[第1の実施形態]
以下、第1の実施形態を図1ないし図15を参照しながら説明する。なお、それぞれの図において同じ符号は同じものを示す。また、スクリーンの形状は四辺形であるとする。また、後述する映像投映装置120に対して、補正処理装置111の幾何補正パラメタ記憶部111gに恒等変換幾何補正パラメタを記憶して映像を投映した場合に映像が表示される領域を該映像投映装置の「映像投映領域」と呼び、調整済みの幾何補正パラメタを記憶して映像を投映した場合に映像が表示される領域を該映像投映装置の「映像表示領域」と呼ぶ。また、幾何補正パラメタのデータ内における上記「映像表示領域」に対応するデータ領域に対しても、「幾何補正パラメタのデータ内における映像表示領域」という表現を用いる。
また、この例では、1台のプロジェクタを用いて、歪みを抑えた映像を、スクリーンの境界と前記プロジェクタの映像表示領域の境界が一致するようにスクリーンに投映する場合について説明する。
図1は、本実施形態にかかる映像表示システムの概略構成を説明する図である。映像表示システムは、映像出力装置100、映像補正装置110、映像投映装置120、撮像装置130、およびスクリーン140を備えている。映像出力装置100から出力された映像に対して、映像補正装置110において幾何補正および画素値変換を行った後、映像投映装置120からスクリーン140に投映する。これにより、スクリーン140に所望の映像を表示することができる。なお、映像出力装置100および映像補正装置110からは、R、G、Bの各色を各々8ビットで表現した画像データが出力されるようになっている。
このシステムでは、スクリーン140に投映された映像を撮像装置130で撮影し、撮影した撮影画像データに基いて、所望の映像をスクリーン140に投映するための幾何補正パラメタおよび画素値変換パラメタを生成する。しかし、本実施形態では幾何補正パラメタの生成についてのみ説明し、画素値変換パラメタについては従来の技術を用いて生成する。このためその詳細は省略する。なお、前記撮像装置は複数台用いても構わない。その場合、各撮像装置の撮影領域の和集合に該スクリーン面全てが含まれていればよい。
図2は、映像出力装置100の詳細を説明する図である。図2に示すように、映像出力装置100は、映像入力部101、画像記憶部102、映像制御部103、映像出力部104、および第一の送受信部105を備えている。
映像入力部101は、スクリーン140に投映するための画像データを入力するものであり、1つまたは複数のCD−ROM(Compact Disk Read Only Memory)、DVD−ROM(Digital Versatile Disk Read Only Memory)、磁気ディスクなどの記憶媒体から画像データを読み込むものである。また、1台または複数台のPC(パーソナルコンピュータ)やゲーム機などによって生成される画像データを入力するような構成としてもよい。
画像記憶部102は、後述する映像補正装置110からの指令に応じてスクリーン140に投映するための調整用の画像データを記憶している。本実施形態では、全ての画素の画素値が後述する前景色の値に等しい画像データおよび全ての画素の画素値が後述する後景色の値に等しい画像データを記憶している。なお、画像記憶部102は、例えば、ハードディスク、DVD、RAM(Random Access Memory)などの補助記憶装置により構成することができる。また、1台または複数台のPCなどを用いて、映像制御部103からの指令に基づいて画像データを自動生成するような構成としてもよい。さらに、映像入力部101と画像記憶部102とを同一の装置で構成してもよい。
映像制御部103は、映像入力部101から入力された画像データや画像記憶部102に記憶されている画像データを映像出力部104を介して映像補正装置110に出力する際の制御を行う。例えば、映像入力部101から入力された画像データを、後述する映像投映装置120の配置に関する設計パラメタに応じて抽出し、映像補正装置110に出力する。また、後述する第一の送受信部105を介して映像補正装置110から、特定の画像データの出力を要求する指令を受信すると、要求された画像データを画像記憶部102から読み出し、映像補正装置110に出力する。なお、映像制御部103は、例えば、CPU(Central Processing Unit)で所定のプログラムを実行することにより実現することができる。
映像出力部104は、画像データを映像補正装置110に出力する。映像出力部104は、既知の映像出力用インターフェースを用いて構成することが可能である。なお、映像補正装置110にアナログ信号を出力する場合には、D/A変換器を備えるインターフェースを用いるとよい。
第一の送受信部105は、映像補正装置110との間でデータの送受信を行う。第一の送受信部105は、赤外線インターフェースやRS−232CインターフェースやNIC(Network Interface Card)等を用いて構成することができる。
図3は、映像補正装置110の詳細を説明する図である。図3に示すように、映像補正装置110は、補正処理装置111、補正制御部112、入力装置113、記憶部114、第二の送受信部115、および第三の送受信部116を備えている。
図4は、図3に示す補正処理装置111の詳細を示す図である。補正処理装置111は、図4に示すように、入力部111a、フレームメモリ111b、幾何補正部111c、画素値変換部111d、出力部111e、幾何補正パラメタ記憶部111g、画素値変換パラメタ記憶部111f、および補正データ入力部111hを備えている。
入力部111aは、映像出力装置100から出力された画像データを補正処理装置111に入力する。入力部111aは、映像出力部104に合わせて、既知の映像入力用インターフェースを用いて構成することができる。なお、映像出力部104としてD/A変換器を備えるインターフェースを用いる場合には、入力部111aにA/D変換器を備えるインターフェースを用いる。
フレームメモリ111bは、入力部111aから入力された画像データを記憶する。
補正データ入力部111hは、映像補正装置110の補正制御部112との間でデータを送受信するインターフェースであり、例えば、PCI(Peripheral Component Interconnect)インターフェースやUSB(Universal Serial Bus)インターフェース等で構成する。
幾何補正パラメタ記憶部111gは、映像補正装置110の補正制御部112から送信された幾何補正パラメタを記憶する。本実施形態では、入力された画像データと幾何的に等価な画像データを出力するための恒等変換幾何補正パラメタ、および映像投映装置120から投映される映像をスクリーン140において幾何的に歪みなく出力するための幾何補正パラメタのうちのいずれか一方を記憶している。いずれのパラメタを記憶しているかは補正制御部112によって制御されるが、一度調整が完了した後、再び調整が必要となるまでは、幾何補正パラメタの方が記憶される。
また、幾何補正パラメタ記憶部111gは、例えば、RAM(Random Access Memory)などの記憶装置で実現することができるが、恒等変換幾何補正パラメタと幾何補正パラメタの両方を記憶しておけるだけの記憶容量がある場合には、恒等変換幾何補正パラメタと幾何補正パラメタの両方を記憶しておき、補正制御部112からは幾何補正部111cが実施する補正処理においてどちらの補正パラメタを使用するかを制御するようにしてもよい。
幾何補正部111cは、幾何補正パラメタ記憶部111gに記憶されている補正パラメタを使用してフレームメモリ111bから読み出した画像データに幾何的な補正を施すものであり、具体的には、FPGA(Field Programmable Gate Array)等の論理回路で構成することができる。
なお、本実施形態では説明を簡単にするため、映像出力装置100から出力される各画像データの解像度と、対応する映像投映装置120に入力すべき画像データの解像度とは等しくなるように、すなわち、幾何補正部111cに入力される画像データの解像度と幾何補正部111cから出力される画像データの解像度とが等しくなるようにシステムを構成しているが、このような態様に限定されるものではなく、幾何補正部111cでの補正の前後における解像度の違いを考慮することにより、両者の解像度が異なる場合にも容易に実施可能である。
画素値変換パラメタ記憶部111fは、映像補正装置110の補正制御部112から送信された画素値変換パラメタを記憶する。本実施形態では、画素値変換部111dに入力された画像データの各画素の画素値をそのまま出力するための恒等変換画素値変換パラメタと、画素値変換部111dに入力された画像データの各画素の画素値に所定の変換を施してから出力するための画素値変換パラメタのうちのいずれか一方を記憶している。いずれのパラメタを記憶しているかは補正制御部112によって制御されるが、一度調整が完了した後、再び調整が必要となるまでは、画素値変換パラメタの方が記憶される。なお、本実施形態においては、画素値変換パラメタは既知の方法で既に生成されているものとする。また、画素値変換パラメタ記憶部111fは、例えば、RAM(Random Access Memory)などの記憶装置で実現することができるが、恒等変換画素値変換パラメタと画素値変換パラメタの両方を記憶しておけるだけの記憶容量がある場合には、恒等変換画素値変換パラメタと画素値変換パラメタの両方を記憶しておき、補正制御部112からは画素値変換部111dが実施する補正処理においてどちらの変換パラメタを使用するかを制御するようにしてもよい。
画素値変換部111dは、画素値変換パラメタ記憶部111fに記憶されている変換パラメタを使用して、幾何補正部111cから入力された画像データの各画素の画素値を変換し、出力部111eに送り出す。画素値変換部111dは、FPGA(Field Programmable Gate Array)等の論理回路で構成することができる。なお、画素値変換部111dにおける処理では、解像度の変更は為されず、画素値変換部111dに入力される画像データと同じ解像度の画像データが出力される。
出力部111eは、画素値変換部111dから送られてきた画像データを映像投映装置120に送信するためのインターフェースであり、既知の映像用出力インターフェースを用いることが可能である。なお、映像投映装置120でアナログ信号を入力するように構成されている場合には、D/A変換器を有するインターフェースを使用する。
図5は、補正制御部112の詳細を説明する図である。補正制御部112は、図5に示すように、補正処理装置制御部112a、撮像装置制御部112b、映像出力装置制御部112c、投映座標・撮影座標対応データ生成部112d、画素値変換パラメタ生成部112e、幾何補正パラメタ生成部112f、幾何補正パラメタ修正部112g、および外周データ取得部112hを備えている。
補正処理装置制御部112aは、補正処理装置111で行う補正処理を制御する。例えば、恒等変換幾何補正パラメタ記憶部114aに記憶されている恒等変換幾何補正パラメタ、あるいは旧幾何補正パラメタ記憶部114bあるいは新幾何補正パラメタ記憶部114cに記憶されている幾何補正パラメタを必要に応じて補正処理装置111の幾何補正パラメタ記憶部111gに記憶させ、また、恒等変換画素値変換パラメタ記憶部114dに記憶されている恒等変換画素値変換パラメタあるいは画素値変換パラメタ記憶部114eに記憶されている画素値変換パラメタを必要に応じて補正処理装置111の画素値変換パラメタ記憶部111fに記憶させる。
なお、記憶部114に記憶されている補正パラメタあるいは変換パラメタが、補正処理装置111の仕様に関係なく汎用的なものとして生成されている場合には、補正処理装置制御部112aは、補正処理装置111において等価な効果が得られるようにデータフォーマットの変換等を施す。
撮像装置制御部112bは、後述する撮像装置130を制御する。例えば、撮像装置130の露出や撮影タイミングの制御を行うとともに、撮像装置130で撮影された撮影画像データの入出力制御を行う。
映像出力装置制御部112cは、後述する第二の送受信部115を介して、映像出力装置100を制御する。例えば、映像出力装置100の画像記憶部102に記憶されている調整用の画像データのうちから、所望の画像データを出力させるための指令を映像出力装置100に送信する。
投映座標・撮影座標対応データ生成部112dは、既存の技術である空間コード化法などを用いて、投映側の座標系と撮影側の座標系の対応関係データを生成する。画素値変換パラメタ生成部112eは、既存の方法(例えば特開2000−350230号公報)で画素値変換パラメタを生成する。幾何補正パラメタ生成部112fは、既存の方法で幾何補正パラメタを生成する。また、幾何補正パラメタ修正部112gは、幾何補正パラメタ生成部112fで生成し、記憶部114の旧幾何補正パラメタ記憶部114bに記憶されている旧幾何補正パラメタを、旧幾何補正パラメタによる映像表示領域の境界がスクリーンの境界に一致するように修正して新幾何補正パラメタを生成する。その詳細は後述する。
外周データ取得部112hは、撮影側の座標系におけるスクリーン境界、あるいは旧幾何補正パラメタによる映像表示領域の境界のデータを取得する。その詳細は後述する。
なお、補正制御部112は、例えば、CPUで所定のプログラムを実行することにより実現可能である。
図6は、映像補正装置110の記憶部114の詳細を説明する図である。図6に示すように、記憶部114は、恒等変換幾何補正パラメタ記憶部114a、旧幾何補正パラメタ記憶部114b、新幾何補正パラメタ記憶部114c、恒等変換画素値変換パラメタ記憶部114d、画素値変換パラメタ記憶部114e、投映座標・撮影座標対応データ記憶部114f、スクリーン4隅対応データ記憶部114g、スクリーン外周データ記憶部114h、旧幾何補正パラメタ映像表示領域外周データ記憶部114i、画素値変換パラメタ生成用データ記憶部114j、および新旧幾何補正パラメタ外周対応データ記憶部114kを備える。
恒等変換幾何補正パラメタ記憶部114aには、恒等変換幾何補正パラメタが記憶されている。恒等変換幾何補正パラメタは、幾何補正部111cに入力された画像データと、幾何補正部111cから出力される画像データとが、幾何的に等価となるようにするためのパラメタである。本実施形態においては、解像度の変換が為されないため、出力される画像データの各々の画素位置に対して、入力される画像データの、その画素位置と同じ画素位置を対応させるようなパラメタが、恒等変換幾何補正パラメタとなる。
旧幾何補正パラメタ記憶部114bには、既存の技術で作成した幾何補正パラメタが記憶されている。幾何補正パラメタの形式は後述する。
新幾何補正パラメタ記憶部114cには、幾何補正パラメタ修正部112gで作成した幾何補正パラメタが記憶されている。新幾何補正パラメタの形式は前記の幾何補正パラメタと同様である。
恒等変換画素値変換パラメタ記憶部114dには、恒等変換画素値変換パラメタが記憶されている。恒等変換画素値変換パラメタは、画素値変換部111dに入力された画像データと、画素値変換部111dから出力される画像データとが、各々対応する画素の画素値を等しくするようなパラメタである。
画素値変換パラメタ記憶部114eには、既存の技術で作成した画素値変換パラメタが記憶されている。
投映座標・撮影座標対応データ記憶部114fには、投映座標・撮影座標対応データを記憶する。投映座標・撮影座標対応データは、補正処理装置111に入力される画像データの解像度と等しい解像度を有する画像データであり、各画素の画素値はその画素に対応する撮影画像データ上の座標位置を表す2次元ベクトル値である。この投映座標・撮影座標対応データは、本実施形態では、投映座標・撮影座標対応データ生成部112dによって既知の方法であらかじめ生成され、投映座標・撮影座標対応データ記憶部114fに記憶されているものとする。例えば、補正処理装置111に恒等変換幾何補正パラメタと恒等変換画素値変換パラメタを設定した上で、グレイコード(交番2進コード)と呼ばれる複数枚のパターン画像データを映像投映装置120から1枚ずつ投映しながら1枚ずつ撮像装置130で撮影した複数の撮影画像データを用いて、補正処理装置111のフレームメモリ111b上の座標位置と撮影画像データ上の座標位置とを対応させることによって生成することができる。なお、ここで使用する既知の方法に必要なパターン画像データは画像記憶部102に記憶しておく。
なお、後述の処理における計算効率を向上させるために、撮影画像データの解像度の情報と、投映座標・撮影座標対応データとから、投映座標・撮影座標対応データの逆写像(撮影画像データの解像度と等しい解像度を有する画像データであり、各画素の画素値は、撮影画像データ上のその画素位置に対応するフレームメモリ上の座標位置を表す2次元ベクトル値であり、対応する画素位置がない画素に対しては画素値としてN/A値が設定されているようなもの)を既存の方法であらかじめ生成し、投映座標・撮影座標対応データと一緒に投映座標・撮影座標対応データ記憶部114fに記憶しておくとよい。この場合は、前記データを利用することにより、投映側から撮影側に、また撮影側から投映側に速やかに座標変換ができるようになる。
スクリーン4隅対応データ記憶部114gには、フレームメモリ111bに記憶されている画像データの4隅と対応する、撮影画像中のスクリーンの外周上の4個の座標の組を記憶する。このデータは、前記画像データのどの隅の点が、撮影画像中のスクリーンの外周上のどの点と対応するかを含んだデータであることが必要である。なお、この対応関係は映像表示システムの設計値として与えて良い。
撮影画像におけるスクリーンの4隅の座標を取得するには、撮影画像中のスクリーンに4隅が明確にある場合は、既存の画像認識処理によって隅にあたる点を取得することができる。また、4隅が明確にはないようなスクリーンの場合は、レーザーポインタなどを利用してスクリーンの外周上に、画像データの4隅に対応する点を示しておき、その点を既存の画像認識処理によって取得すれば良い。
また、前記画像データのどの隅の点が、撮影画像中のスクリーンの外周上のどの点と対応するかは、映像表示システムの設計値として、例えば、撮影画像中の左上の隅として得られた点は前記画像データの左上の隅の点と対応するなどと指定することができる。また、前記レーザーポインタなどのマーキング手段の色などを4点で全て異なるものとして4隅を区別してもよい。
スクリーン外周データ記憶部114hには、スクリーン外周データを記憶する。スクリーン外周データは、撮影画像中のスクリーンの外周を成す座標の集合であり、外周データ取得部112hによって取得する。詳細は後述する。
旧幾何補正パラメタ映像表示領域外周データ記憶部114iには、旧幾何補正パラメタ映像表示領域外周データを記憶する。旧幾何補正パラメタ映像表示領域外周データは、旧幾何補正パラメタによって補正した画像を映像投映装置120でスクリーン140に投映したときの映像表示領域の外周を成す座標の集合であり、スクリーン外周データと同様の方法で外周データ取得部112hによって取得する。詳細は後述する。
画素値変換パラメタ生成用データ記憶部114jには、既存の方法を用いて画素値変換パラメタを生成する際に使用する各種データを記憶する。
新旧幾何補正パラメタ外周対応データ記憶部114kには、旧幾何補正パラメタ映像表示領域外周データと、新幾何補正パラメタ映像表示領域の外周、すなわちスクリーン外周データとの対応を表すデータを記憶する。
図7は、幾何補正パラメタおよび投映座標・撮影座標対応データを説明する図である。図7において、座標系74は幾何補正パラメタの用いる座標系であり、座標系72はフレームメモリ上の座標系であり、座標系70は撮影画像データ上の座標系である。
座標系74上の領域75は、幾何補正部111cにおける処理でフレームメモリ111b上の画像データから画素値を取得することによって補正処理装置111に入力された画像データの一部が出力される領域である。図ではこれらを四辺形で表しているが、各辺は直線になるとは限らない。幾何補正パラメタの画素値としては、次のような2次元ベクトル値を設定する。まず、領域75内の画素位置76に対しては、フレームメモリ111b上の座標系において参照元となる点73の座標値を設定する。また、領域75の外にある画素位置77に対しては、あらかじめ定めておいたN/A値を設定する。なお、幾何補正部111cにおいては、このN/A値に対しては(0、0、0)の画素値を出力する。
同様に、フレームメモリ上の各々の画素位置73に対して、その画素位置の画素のスクリーン上での位置が写っている撮影画像データ上の座標値71を対応付けたものが投映座標・撮影座標対応データである。この投映座標・撮影座標対応データに関しても、対応する撮影画像データ上の座標値が得られない画素位置に対してはN/A値を設定しておく。
なお、幾何補正パラメタおよび投映座標・撮影座標対応データの各画素値に関しては、各々の値が実数値であるような2次元ベクトル値が用いられる。これは各々のデータの精度を向上させることを目的とした既存の技術であり、格子点以外の座標が対応付けられている場合であっても、双線形補間など既存の方法を使うことによって、参照先の座標に対応する画素値を算出することができる。
ここで、前記図3において、入力装置113は、補正制御部112に対してコマンドを入力する装置であって、例えば、キーボードやマウスにより構成することができる。例えば、「調整開始」コマンド等が入力装置113を使用して入力される。
第二の送受信部115は、映像出力装置100との間でデータの送受信を行う。実際には、映像出力装置100の第一の送受信部105と接続されるため、第一の送受信部105に合わせて、例えば、RS−232CインターフェースやNIC(Network Interface Card)を用いて構成すればよい。
第三の送受信部116は、撮像装置130との間でデータの送受信を行う。具体的には、撮像装置130のインターフェースに対応させて、IEEE1394インターフェースやUSB(Universal Serial Bus)インターフェース等を用いればよい。
映像投映装置120は、映像補正装置110から出力された画像データをスクリーン140に投映するものであり、具体的には、液晶プロジェクタ等を用いることができる。なお、映像補正装置110によって画像データに幾何補正と画素値変換を行うことによって、平面ではないスクリーンにも、歪みのない映像を表示できる。
スクリーン140については、フロント投射用とリア投射用のどちらを使用することもでき、また、その形状は、平面状、円筒状、半球状等、撮像装置130が映像投映装置120からスクリーン140に投射されている投射光の全体を一点から撮影可能であるという条件を満たす範囲で任意のものを使用することができるが、本実施形態では、フロント投射用で矩形状のものを使用している。スクリーンの辺が直線である必要はなく、角が直角である必要もない。
撮像装置130は、スクリーン140に投映された映像を撮影した撮影画像データを映像補正装置110に送信する。なお、撮像装置130の露出および撮影タイミングについては、映像補正装置110の撮像装置制御部112bで制御することができるようにされている。例えば、撮像装置130は、デジタルカメラを使用することにより実現することができ、IEEE1394インターフェースやUSBインターフェース等を用いて映像補正装置110とデータの送受信を行うことができるものを使用する。また、撮像装置130は、映像投映装置120からスクリーン140に投映されている投射光の全体を撮影することができるように設置し、位置や姿勢が変わらないように固定しておく。
以上のように構成される映像表示システムにおいて、1台のプロジェクタを用いて、歪みを抑えた映像を、スクリーンの境界と、前記プロジェクタの映像表示領域の境界が一致するようにスクリーンに投映するための幾何補正パラメタの生成方法について以下に説明する。
図8は、幾何補正パラメタの生成処理を説明する図である。幾何補正パラメタ生成部112fにおいて、既存の技術を用いて、形状が未知のスクリーンに歪みのない映像を表示するための幾何補正パラメタを生成する(S800)。生成した幾何補正パラメタを旧幾何補正パラメタとして、旧幾何補正パラメタ記憶部114bに記憶する。なお、既存の技術で得られる前記幾何補正パラメタを施した画像をスクリーン140に投映すると、形状が未知のスクリーンの3次元形状の推定に誤差が生じやすいため、図11に示すように、スクリーン領域140と旧幾何補正パラメタによる映像表示領域1101が一致せず、スクリーン領域140に映像の表示されない映像欠損領域1102が生じる。この映像欠損領域1102を観察者が知覚すると、没入感あるいは臨場感が低下する。このため、旧幾何補正パラメタを修正し、旧幾何補正パラメタの歪み補正の効果はなるべく維持しながらも、スクリーン領域ぴったりに映像を表示できるような新幾何補正パラメタを生成することが必要となる。
次に、投映座標・撮影座標対応データ生成部112dにおいて、既述したような技術を用いて、投映座標・撮影座標対応データを生成する(S801)。生成した投映座標・撮影座標対応データは投映座標・撮影座標対応データ記憶部114fに記憶する。
次に、外周データ取得部112hにおいて、スクリーン外周データを取得する(S802)。取得したスクリーン外周データをスクリーン外周データ記憶部114hに記憶する。スクリーン外周データ取得処理に関しては図9において詳しく説明する。
次に、幾何補正パラメタ修正部112gにおいて、旧幾何補正パラメタを、スクリーン外周データと旧幾何補正パラメタ映像表示領域外周データを対応させることで修正し、新幾何補正パラメタを生成する(S803)。生成した新幾何補正パラメタを新幾何補正パラメタ記憶部114cに記憶する。幾何補正パラメタ修正処理に関しては図10において詳しく説明する。なお、旧幾何補正パラメタ記憶部114bに新幾何補正パラメタを上書きしてもよい。
図9は、スクリーン外周データ取得処理を説明する図である。まず、初期設定を行う(S900)。ここでの初期設定は、補正処理装置111に恒等変換幾何補正パラメタと恒等変換画素値変換パラメタとを設定する処理である。
次に、撮像装置130の露出調整を行う(S901)。この露出調整は、映像出力装置100の画像記憶部102から、映像投映装置120に対して全ての画素の画素値が(255、255、255)の画素値の画像データを出力して、スクリーン140に映像を投映した際に、撮像装置130の撮影画像中において、前記映像投映装置120が投映した映像の画素値の平均値が192〜240の範囲に入るように露出値を調整するものである。ここで、この露出調整は、後述する2値化を安定して行うための処理であり、画素値が厳密にその範囲に入るようにする必要はなく、また、周囲にほかに明るいものがない場合には、撮影画像データの画素値の最大値がこの範囲に入るように調整してもよい。
次に、全体前景色画像データの生成を行う(S902)。この処理は、映像出力装置100の画像記憶部102から、映像投映装置120に対して前景色の画素値、例えば全ての画素の画素値が(0、255、255)の画素値の画像データを出力してスクリーン140に投映した際の映像を、撮像装置130で撮影した際の撮影画像データを全体前景色画像データとする処理である。
次に、全体背景色画像データの生成を行う(S903)。この処理は、映像出力装置100の画像記憶部102から、映像投映装置120に対して背景色の画素値、例えば全ての画素の画素値が(255、0、0)の画素値の画像データを出力してスクリーン140に投映した際の映像を、撮像装置130で撮影した際の撮影画像データを全体背景色画像データとする処理である。
次に、全体2値化画像データの生成を行う(S904)。この処理は、全体前景色画像データと全体背景色画像データとの対応する画素の各々において両者の差分値の絶対値を算出することで生成される絶対差分画像データを作成し、この絶対差分画像データに所定の閾値を用いた2値化処理を施し、その絶対差分値が閾値よりも大きい画素には画素値が1、その絶対差分値が閾値よりも小さい画素には画素値が0、となるようにして全体2値化画像データを作成する処理である。ここで、前記2値化の際に使用する所定の閾値は、例えば大津の判別分析法と呼ばれる方法等、既存の方法を用いて絶対差分画像データから自動で決定されるものを用いる。しかし、スクリーン140の指向性が高い場合など、絶対差分画像データにおける映像投映領域中の濃淡レベル変動が大きくなる場合には、2値化の閾値を画像データ全体で1つの固定値とせず、「動的閾値処理」と呼ばれる既存の方法を用いて(すなわち、「閾値」ではなく「閾面」を用いて)処理をしてもよい。
次に、スクリーン外周データの生成を行う(S905)。この処理は、全体2値化画像データの0と1の境界を探索することでスクリーン外周の座標値の列を抽出する処理である。以上でスクリーン外周データ取得処理を終了する。
図10は、幾何補正パラメタ修正処理を説明する図である。また、図13は、幾何補正パラメタ修正処理における4隅対応付けを説明する図である。図10、図13を用いて幾何補正パラメタ修正処理について説明する。
まず、フレームメモリ111bに記憶されている画像の4隅の点と、スクリーンの外周上の4点との対応付けをし、新幾何補正パラメタの4隅に対応する部分を設定する(S1001)。前述のように、既存の方法あるいは設計値から、スクリーン4隅とフレームメモリ111bに記憶されている画像の4隅の対応関係を表すスクリーン4隅対応データを生成し、スクリーン4隅対応データ記憶部114gに記憶する。
前記図13を用いて左上隅の1点に対する新幾何補正パラメタ修正について具体的に説明する。撮影画像1300において、1301はスクリーン面、1302は旧幾何補正パラメタによって補正した画像を投映した時の映像表示領域である。スクリーン4隅対応データにより、点1304がスクリーンの左上隅の点であることが示されている。点1304に対応する、フレームメモリ111bに記憶されている画像1310の左上隅の点は1311であり、点1311は、旧幾何補正パラメタ1305においては点1308と対応している。なお、図7における参照関係と逆向きになっているが、双線形補間などにより互いに参照し合うことのできる対応関係であるので問題はない。ここで旧幾何補正パラメタ1305のデータ内における映像表示領域は1307であり、旧幾何補正パラメタによる補正では、該領域に画像1310がマッピングされる。図では1307は四辺形となっているが、各辺は一般に直線とは限らない。また、投映座標・撮影座標対応データにより、撮影側の点1304は投映側では点1309と対応していることがわかる。この点1309に画像1310の左上隅の点1311がマッピングされれば、旧幾何補正パラメタによる補正時の撮影画像中の映像表示領域1302の左上隅の点1303はスクリーン左上隅の点1304に対応することになる。このようにして、新幾何補正パラメタの4隅に対応する部分を設定する。
次に、外周データ取得部112hにおいて、旧幾何補正パラメタ映像表示領域外周データを取得し、旧幾何補正パラメタ映像表示領域外周データ記憶部114iに記憶する(S1002)。図13においては旧幾何補正パラメタによる補正時の撮影画像中の映像表示領域1302の外周データを取得することになる。詳細は後述する。
次に、スクリーンの外周と旧幾何補正パラメタによる補正時の撮影画像中の映像表示領域の外周を対応付けする(S1003)。スクリーン外周データ記憶部114hからスクリーンの外周データを、旧幾何補正パラメタ映像表示領域外周データ記憶部114iから旧幾何補正パラメタ映像表示領域外周データを読み出し、両方のデータの各辺をt∈[0.0,1.0]の媒介変数表示で表して、両方のデータの対応する辺の組に対して、対応する点同士を4隅対応付け処理S1001と同様に対応付けることで、新旧幾何補正パラメタ外周対応データを生成し、新旧幾何補正パラメタ外周対応データ記憶部114kに記憶する。スクリーン4隅対応データには4隅の位置データも含まれるため、両方のデータの4辺の対応関係も得られる。
次に、内部の点を、射影変換、双線形補間、RBF(Radial Basis Function)などを用いて対応付ける(S1004)。図13においては、旧幾何補正パラメタのデータ内における映像表示領域1307が、更新された映像表示領域1306(一点鎖線の内部)に修正されたことになる。図では1306および1307は四辺形となっているが、各辺は一般に直線とは限らない。以上で幾何補正パラメタ修正処理を終了する。
図15は、幾何補正パラメタ修正処理における内部の点の対応付け(図10のステップS1004)を説明する図であり、この図を用いて図10に示すステップS1004について説明する。前述のように、1305は幾何補正パラメタであり、旧幾何補正パラメタデータ内映像表示領域1307を新幾何補正パラメタデータ内映像表示領域1306に更新する場合を考える。
まず、単純な例として、旧幾何補正パラメタデータ内映像表示領域1307も新幾何補正パラメタデータ内映像表示領域1306も直線からなる四辺形である場合について説明する。これは平面スクリーンを仮定し、スクリーンの境界またはあらかじめ設定する領域が直線からなると仮定し、カメラ画像内でも映像表示領域が直線からなるような、理想的な場合である。この場合は、幾何補正パラメタ修正処理は旧幾何補正パラメタによる補正を施した四辺形を新幾何補正パラメタによる補正を施した四辺形に射影変換することを意味する。この射影変換は、ステップS1001で得られる前記2つの四辺形の4頂点の対応付けから定義することができる。この場合はステップS1002、S1003は不要となる。
次に、一般的な例として、旧幾何補正パラメタデータ内映像表示領域1307も新幾何補正パラメタデータ内映像表示領域1306も四辺形に準ずる形状(全部の辺または一部の辺が曲線)である場合について説明する。これは曲面スクリーンを用いる場合、または、平面スクリーンを用いるが、スクリーンの境界またはあらかじめ設定する領域が曲線を含む場合である。また、一般的にスクリーンには施工誤差が発生することから、平面スクリーンを用いてスクリーンの境界またはあらかじめ設定する領域が直線からなると仮定する場合であっても、実際には撮影画像における映像表示領域には曲線が含まれる可能性があり、その場合もこの例に該当する。この場合は、例えば、次に説明する補間手法を用いる。
まず、入力画像において格子点を設定し、それらの格子点群を旧幾何補正パラメタに従ってマッピングする。図15においては点1307a〜点1307tがマッピング後の格子点となる。当然ではあるが、各格子点間の距離は様々な値である。次に、各点に質点を置き、自然長が隣の格子点との距離に等しいバネで質点同士をつなぐことを想定する。バネは一次元方向のみに伸び縮みするものとする。この状態では弾性エネルギーは0である。幾何補正パラメタを更新することは、この状態において外周の点1307a〜点1307nを新幾何補正パラメタデータ内映像表示領域1306の外周の点1306a〜点1306nに移動させて固定することである。外周同士の対応関係は、ステップS1003で既に得られているが、この補間手法の場合はステップS1004の段階で初めて取得しても構わない。この時に内部の格子点1307o〜点1307tの、更新後の点1306o〜点1306tの位置を求めれば更新前後の格子点の偏移が全て求まり、例えば、外周の点1307a〜点1307nを新幾何補正パラメタデータ内映像表示領域1306の外周の点1306a〜点1306nに移動させて固定した際に弾性エネルギーの総和が最小になる時の内部の格子点の位置を算出すればよい。
以上より、例えば、旧幾何補正パラメタデータ内映像表示領域1307内部の点1500の更新後の位置を得るには、旧幾何補正パラメタにおける、点1500を含む四辺形(1307b、1307c、1307p、1307oからなる四辺形)と、その四辺形に対応した、パラメタ更新後の四辺形(1306b、1306c、1306p、1306oからなる四辺形)の間の射影変換を用いれば良い。
なお、ここまでに挙げた手法以外にも、各対応点の偏移ベクトル群に対する双線形補間やRBFを用いた補間など、様々な補間手法を用いることができる。
図14は、旧幾何補正パラメタ映像表示領域外周データ取得処理を説明する図である。まず、初期設定を行う(S1400)。ここでの初期設定は、補正処理装置111に旧幾何補正パラメタと恒等変換画素値変換パラメタとを設定する処理である。ステップS1401以降の処理は図9に示すスクリーン外周データ取得処理の流れと同様であるため説明を省略する。この処理よりにより、旧幾何補正パラメタ映像表示領域外周データの取得処理が終了する。
図12は、4辺対応付け処理S1003においてスクリーンの外周と対応させる旧幾何補正パラメタによる映像表示領域の外周を、旧幾何補正パラメタのデータ内の映像表示領域ではなく、旧幾何補正パラメタによる補正時の撮影画像中の映像表示領域のものとした理由を説明する図である。スクリーン140に映像投映装置120で、旧幾何補正パラメタによる補正を行った画像を投映し、その映像表示領域1101を撮像装置130で撮影するという構成である。また、撮影画像1200において、映像表示領域は1201、スクリーンは1202である。また、旧幾何補正パラメタ1205において、1208は映像表示領域、1207は(0、0、0)を表示する領域である。また、A−Bはスクリーンの下辺に対応し、A’−B’は映像表示領域の下辺に対応する。また、スクリーン、撮影画像中のスクリーン、旧幾何補正パラメタの映像表示領域、のそれぞれの十字線は互いに対応している。
撮影画像中のスクリーンの下辺、撮影画像中の映像表示領域の下辺、旧幾何補正パラメタ中の映像表示領域の下辺、のそれぞれの、媒介変数表示t=0.5である点を、1204、1203、1206とする。この時、スクリーンの着目点1204は十字線の縦線の左側、旧幾何補正パラメタの着目点1206は十字線の縦線の右側にあたり、また、旧幾何補正パラメタは台形補正が掛かっている。それに対して、撮影画像中の映像表示領域の着目点1203は、十字線の縦線の左側にあり、また、外周の外形もスクリーンのものと似通っている。従って、スクリーンの外周と旧幾何補正パラメタによる補正時の撮影画像中の映像表示領域の外周を対応付ける方が、旧幾何補正パラメタのデータ内の映像表示領域の外周と対応付けるよりも、歪みの発生を抑えられることが期待できる。
以上説明したように、本実施形態によれば、撮影画像中におけるスクリーンの外周と既存の技術で生成した旧幾何補正パラメタによる補正後の映像表示領域の外周を対応付けることにより、前記旧幾何補正パラメタを修正して新幾何補正パラメタを生成する。このため、歪みの発生を抑えながら(新幾何補正パラメタによる)幾何補正後の映像表示領域の境界をスクリーンの境界に一致させることができる。
なお、スクリーン全体の外周ではなく、スクリーンの特定領域の外周に一致するような幾何補正パラメタを生成する場合は、前記特定領域を設計値として与えるか、マーカを設置して、前記特定領域を画像認識して取得できるようにすれば、本実施例と同様の処理を適用することができる。
図11は、旧幾何補正パラメタおよび新幾何補正パラメタにより補正された映像の表示領域とスクリーンとの関係を説明する図である。ここまでは、図11に示すように、旧幾何補正パラメタ映像表示領域1101はスクリーン140またはあらかじめ設定した領域の内部に全て含まれることを前提に説明した。しかし、本実施形態では、外周データ(映像表示領域の外周データとスクリーンの外周データ)の対応関係のみが必要なのであって、互いの外周データの内外関係には制約されない。また、旧幾何補正パラメタ映像表示領域1101が、スクリーン140から一部はみ出している場合でも、スクリーンからはみ出して撮像装置によって撮影されていない部分は投映座標・撮影座標対応データを用いて外挿することができる。このため、外挿後の旧幾何補正パラメタ映像表示領域1101に対して同様の手法を適用することができる。このことは、以降の実施形態ついても同様である。
また、複数台のプロジェクタを使用して複数の投映画像を滑らかに繋いで1つの映像を形成するシステムの場合においては、1つの映像を形成するための幾何補正パラメタを生成する過程で必ず全てのパラメタを1つの映像投映装置として扱える座標系を経由する。このため、前記座標系において本実施形態と同様の処理を適用すればよい。
[第2の実施形態]
次に、図10、図13、図14を用いて、第2の実施形態について説明する。本実施形態では、第1の実施形態に示す映像表示システムおよびその調整方法において、旧幾何補正パラメタ映像表示領域外周データ取得処理を簡易にし、調整時間の短縮を図るものである。
図10のステップS1002にて行う旧幾何補正パラメタ映像表示領域外周データ取得処理を(図14に記載の処理ではなく)図13を用いて説明する。この場合フレームメモリの画像1310の外周データの取得を、旧幾何補正パラメタのデータ内の映像表示領域1307の外周を経由して撮影画像中の旧幾何補正パラメタの映像表示領域としてマッピングするという処理に置き換える。これにより、撮像装置130を用いる処理ではなくなり、第1の実施形態記載の方法と比較すると歪みの度合いが増す場合もあるが、調整時間の短縮をすることができる。
このように、本実施形態によれば、既存の技術で生成した旧幾何補正パラメタを、スクリーンの外周と旧幾何補正パラメタによる補正時の撮影画像中の映像表示領域の外周とを対応付けることで修正して、新幾何補正パラメタを生成する。この新幾何補正パラメタを用いることにより、歪みを抑えながらも、幾何補正後の映像表示領域の境界をスクリーンの境界に一致させることができる。また、第1の実施形態記載の方法よりも調整時間を短縮をすることができる。
[第3の実施形態]
次に、図16ないし図20を用いて、第3の実施形態について説明する。本実施形態では、第1の実施形態に示す映像表示システムおよびその調整方法において、(幾何補正パラメタを更新するのではなく)スクリーンの外周データおよび映像表示領域の外周データをもとに直接幾何補正パラメタを生成する。これにより調整時間の短縮を図るものである。
本実施形態では、図3(第1の実施形態)における補正制御部112の代わりに図17で説明する補正制御部170を、図3における記憶部114の代わりに図18で説明する記憶部180を用いる。その他の構成は第1の実施形態と同様である。
図17は本実施形態で用いる補正制御部170の構成を説明する図である。補正制御部170は、補正処理装置制御部112a、撮像装置制御部112b、映像出力装置制御部112c、投映座標・撮影座標対応データ生成部112d、画素値変換パラメタ生成部112e、幾何補正パラメタ生成部170f、目標座標系設定部170g、および外周データ取得部112hを備えている。補正処理装置制御部112a、撮像装置制御部112b、映像出力装置制御部112c、投映座標・撮影座標対応データ生成部112d、画素値変換パラメタ生成部112e、および外周データ取得部112hは第1の実施形態で説明したものと同様である。
目標座標系設定部170gは、撮影画像におけるスクリーンまたは映像表示領域に入力画像を貼り付けるための座標系を設定する。詳細は後述する。
幾何補正パラメタ生成部170fは、目標座標系、投映座標・撮影座標対応データをもとに、映像表示領域の境界がスクリーンの境界に一致するような幾何補正パラメタを生成する。詳細は後述する。
図18は本実施形態で用いる記憶部180の構成を説明する図である。記憶部180は、恒等変換幾何補正パラメタ記憶部114a、目標座標系記憶部180b、幾何補正パラメタ記憶部180c、恒等変換画素値変換パラメタ記憶部114d、画素値変換パラメタ記憶部114e、投映座標・撮影座標対応データ記憶部114f、スクリーン4隅対応データ記憶部114g、スクリーン外周データ記憶部114h、および画素値変換パラメタ生成用データ記憶部114jを備える。恒等変換幾何補正パラメタ記憶部114a、恒等変換画素値変換パラメタ記憶部114d、画素値変換パラメタ記憶部114e、投映座標・撮影座標対応データ記憶部114f、スクリーン4隅対応データ記憶部114g、スクリーン外周データ記憶部114h、および画素値変換パラメタ生成用データ記憶部114jは第1の実施形態で説明したものと同様である。
目標座標系記憶部180bには、目標座標系設定部170gで作成した目標座標系データが記憶されている。目標座標系データは、入力画像の各画素位置に対応する撮影画像内の貼り付け位置を列挙したものであり、例えば、サイズは入力画像と等しく、画素値は貼り付け位置であるような画像データとして扱うことができる。
幾何補正パラメタ記憶部180cには、幾何補正パラメタ生成部170fで作成した幾何補正パラメタが記憶されている。幾何補正パラメタの形式は第1の実施形態と同様である。
図16は、本実施形態の幾何補正パラメタの生成処理を説明する図である。まず、投映座標・撮影座標対応データ生成部112dにおいて、既述したような技術を用いて、投映座標・撮影座標対応データを生成する。生成した投映座標・撮影座標対応データは投映座標・撮影座標対応データ記憶部114fに記憶する(S801)。詳細は第1の実施形態と同様である。
次に、外周データ取得部112hにおいて、スクリーン外周データを取得する。取得したスクリーン外周データはスクリーン外周データ記憶部114hに記憶する(S802)。詳細は実施形態1と同様である。
次に、目標座標系設定部170gにおいて、目標座標系を設定する。設定した目標座標系データは目標座標系記憶部180bに記憶する(S1603)。目標座標系の設定方法は後述する。
次に、幾何補正パラメタ生成部170fにおいて、映像表示領域の境界をスクリーンの境界またはあらかじめ設定した領域の境界に一致させるような幾何補正パラメタを生成する(S1604)。詳細は後述する。
本実施形態では、まず撮影画像内のスクリーンまたはあらかじめ設定した領域に、入力画像を貼り付けるための目標座標系を設定する。該目標座標系を設定することで、入力画像の各画素が撮影画像内のどの位置に表示されるべきかが決定し、該目標座標系に従って撮影画像内に貼られた入力画像の各画素に投映座標・撮影座標対応データを適用することで幾何補正パラメタを生成する。前記目標座標系を設定した時点で、映像表示領域の境界がスクリーンの境界または映像表示領域の境界に一致することが保証されるため、所望の幾何補正パラメタが生成されることになる。前記目標座標系の設定方法はカメラパラメタや設計値を用いるなど様々な方法を用いることができる。ここでは例を2つ挙げ、それらを図19および図20を用いて説明する。
図19は、目標座標系の設定方法および幾何補正パラメタの生成方法(第1の方法)を説明する図である。ここで説明する方法は特に平面スクリーンの場合に適する。1310はフレームメモリ内画像であり以降、入力画像と呼ぶ。1300は撮影画像であり、1301は撮影画像内スクリーンである。ここではスクリーンの境界に映像表示領域の境界を一致させる場合を説明するが、あらかじめ設定した領域の境界に映像表示領域の境界を一致させる場合も、1301をあらかじめ設定した領域とみなせばよい。
まず、入力画像1310を撮影画像1300の内部の適当な位置に適当な拡大縮小をして貼り付ける。ここでは入力画像1310のアスペクト比は固定し、定数倍拡大して貼りつけた画像1901を考えるが、一般的な射影変換を行っても構わない。自ら定義した変換であるため、入力画像1310を変換した撮影画像内貼り付け画像1901の境界および格子点も容易に取得できる。尚、撮影画像への貼り付け方は、スクリーンからはみ出しても構わない。
次に、撮影画像内貼り付け画像1901の境界を撮影画像内スクリーン1301の境界に一致させる。スクリーン4隅対応データおよびスクリーン外周データは取得済であり、撮影画像内貼り付け画像1901の境界データも既述の通りに取得できるため、第1の実施形態の図15で説明したのと同様の補間手法を用いることができ、それぞれの境界を一致させたときの内部の点、すなわち格子点群の偏移も算出することができる。この算出した境界および格子点群が、目標座標系データとなる。
次に、前記目標座標系データを投映座標・撮影座標対応データを用いて投映座標にマッピングする。すなわち、撮影画像内スクリーン1301に境界が一致するように各画素位置を偏移した撮影画像内貼り付け画像を幾何補正パラメタデータ内映像表示領域1900にマッピングすることにより幾何補正パラメタ1305の生成が完了する。マッピングの際には双線形補間などを適宜用いると良い。例えば、入力画像1310の1つの画素1311は適当な変換により撮影画像内の画素1902にマッピングされ、次に、撮影画像内スクリーン1301と撮影画像内貼り付け画像1901の境界一致処理により撮影画像内の画素1304にマッピングされ、最後に、投映座標・撮影座標対応データにより幾何補正データ内の画素1309にマッピングされる。
図20は、目標座標系の設定方法および幾何補正パラメタの生成方法(第2の方法)を説明する図である。ここで説明する方法は、曲面スクリーンの場合および平面スクリーンであってもスクリーンと撮像装置が正対していない場合に適している。
まず、入力画像1310を投映座標・撮影座標対応データを用いて撮影画像内にマッピングする。マッピングの際には双線形補間などを適宜用いると良い。ここでは撮影画像内貼り付け画像2001として貼り付けられたものとする。当然ではあるが、この場合は撮影画像内貼り付け画像2001は四辺形に準ずるものの、各辺は必ずしも直線にはならない。また、投映座標・撮影座標対応データは既知のマッピングであるため、撮影画像内貼り付け画像2001の境界および格子点も容易に取得できる。なお、撮像装置と映像投映装置の位置関係によっては撮影画像内貼り付け画像2001が撮影画像1300からはみ出る場合もあるが、はみ出た部分も撮影画像と同じ座標系であると考えることで以降の手法を用いることができる。
次に、撮影画像内貼り付け画像2001の境界を撮影画像内スクリーン1301の境界に一致させる。以降は図19で説明した手法と同様にして目標座標系データが得られ、同様にして幾何補正パラメタ1305が生成される。例えば、入力画像1310の1つの画素1311は投映座標・撮影座標対応データにより撮影画像内の画素2002にマッピングされ、次に、撮影画像内スクリーン1301と撮影画像内貼り付け画像2001の境界一致処理により撮影画像内の画素1304にマッピングされ、最後に、投映座標・撮影座標対応データにより幾何補正データ内の画素1309にマッピングされる。この手法は、投映座標・撮影座標対応データがスクリーン形状の情報も含んでいるため、曲面スクリーンに対しても有効である。
以上、本実施形態によれば、入力画像の境界がスクリーンの境界に一致するような座標系を撮影画像中に設定し、その座標系を経由して幾何補正パラメタを生成することで、幾何補正後の映像表示領域の境界をスクリーンの境界に一致させることができる。また、あらかじめ既存の方法で幾何補正パラメタを作る必要がないため、第1および第2の実施形態に示す方法よりも調整時間を短縮することができる。
[第4の実施形態]
次に、図21ないし図27を用いて、第4の実施形態について説明する。本実施形態は、第3の実施形態において、映像投映装置を複数台用い、スクリーンに表示された複数の映像を繋ぎ合わせて1つの映像とし、スクリーンの境界と、繋ぎ合わせた映像の表示領域の境界が一致するようにスクリーンに投映するように変更したものである。ここでは2台の映像投映装置を横に並べて用いる場合について説明する。
第3の実施形態に対して本実施形態では、図1の映像出力装置100の代わりに図21で説明する映像出力装置2100を、図1の映像補正装置110の代わりに図21で説明する映像補正装置2110を、図1の1台の映像投映装置120の代わりに図21で説明する2台の映像投映装置120a、120bを、図2の1つの映像出力部104の代わりに図22で説明する2つの映像出力部104a、104bを、図3の補正制御部112の代わりに図23で説明する補正制御部240を、図3の記憶部114の代わりに図23で説明する記憶部250を、図3の1つの補正処理装置111の代わりに図23で説明する2つの補正処理装置111a、111bを、図17の幾何補正パラメタ生成部170fの代わりに図24で説明する幾何補正パラメタ生成部240fを、図17の目標座標系設定部170gの代わりに図24で説明する目標座標系設定部240gを、図18の目標座標系記憶部180bの代わりに図25で説明する目標座標系記憶部250bを、図18の幾何補正パラメタ記憶部180cの代わりに図25で説明する幾何補正パラメタ記憶部250cを用いる。更に、補正制御部240は上記に加えて重複領域データ取得部240iを新たに備え、記憶部250は上記に加えて重複領域データ記憶部250iを新たに備える。その他の構成は第3の実施形態と同様である。
図21は、本実施形態の映像表示システムの概略構成を説明する図である。映像表示システムは、映像出力装置2100、映像補正装置2110、2台の映像投映装置120a、120b、撮像装置130、およびスクリーン140を備えている。そして、映像出力装置2100から出力された映像に対して映像補正装置2110で幾何補正および画素値変換を行った後に、映像投映装置120aおよび120bからスクリーン140に投映する。これにより、スクリーン140に所望の映像を表示することができる。
2台の映像投映装置120a、120bは、それぞれから投映される映像がスクリーン140上で一部が重複するように設置されている。また、スクリーン面の全てに映像を表示する場合には、スクリーン面が2台の映像投映装置の投映領域の和集合に含まれるようにする。ただし、スクリーン面の一部に設定した領域のみに映像を表示する場合には、スクリーン面は必ずしも2台の映像投映装置の投映領域の和集合に含まれる必要はない。本実施形態では、2台の映像投映装置から投映された映像をスクリーン上で1つの映像となるように繋ぎ合わせ、その繋ぎ合わされた映像の境界とスクリーンの境界またはあらかじめ設定した領域の境界が一致するような幾何補正パラメタの生成方法について説明する。
図22は、映像出力装置2100を説明する図であり、図22に示すように、映像入力部101、画像記憶部102、映像制御部103、2つの映像出力部104a、104b、第一の送受信部105を備えている。詳細は第1ないし第3の実施形態と同様である。2つの映像出力部104a、104bにそれぞれに対応する映像データを送信する方法としては、例えば、映像入力部101は互いに一部が重複した2つの映像データを保持し、映像制御部103が映像出力部104aに対応する映像データと映像出力部104bに対応する映像データを送信してもよい。また、映像入力部101は1つの横長の映像データを保持し、映像制御部103が該映像データから映像出力部104aおよび104bに対応する部分を、重複を考慮してそれぞれ切り出して対応する映像出力部にそれぞれ送信してもよい。
図23は、映像補正装置2110を説明する図であり、図23に示されているように、2つの補正処理装置111a、111b、補正制御部240、入力装置113、記憶部250、第二の送受信部115、および第三の送受信部116を備えている。詳細は第1ないし第3の実施形態同様であるが、1つの映像投映装置に対して1つの補正処理装置が対応している。なお、図24で説明する補正制御部240はそれぞれの補正処理装置に対応する幾何補正パラメタを生成し、対応する補正処理装置に出力する。図25で説明する記憶部250はそれぞれの補正処理装置に対応する幾何補正パラメタ、画素値変換パラメタと、それぞれのパラメタを生成するためのデータを記憶する。
図24は、補正制御部240を説明する図であり、詳細は第3の実施形態における図17の補正制御部170と同様であるが、更に、重複領域データ取得部240iを備える。重複領域データ取得部240iは撮影画像内における2台の投映領域の重複する領域のデータを取得し、図25で説明する記憶部250の重複領域データ記憶部250iに記憶する。重複領域データは、例えば、サイズは撮影画像と等しく、2つの映像表示領域内で重複している部分は「2」、重複していないがどちらかの映像表示領域である部分は「1」、どちらの映像表示領域でもない部分は「0」という画素値をもつ画像データである。また、外周データ取得部240hは、スクリーン外周データおよびそれぞれの映像投映装置のスクリーンへの表示領域の外周データを取得し、スクリーン外周データと共にスクリーン外周データ記憶部250hに記憶する。それぞれの取得方法に関しては後述する。また、目標座標系設定部240gは外周データと重複領域データの両方を考慮に入れた目標座標系を設定し、図25で説明する記憶部250の目標座標系記憶部250bに記憶する。また、幾何補正パラメタ生成部240fは該目標座標系データと投映座標・撮影座標対応データを用いて、2台の映像投映装置から投映された映像を繋ぎ合わせ、繋ぎ合わされた映像の表示領域の境界がスクリーンの境界またはあらかじめ設定した領域の境界に一致するような幾何補正パラメタを生成し、図25で説明する記憶部250の幾何補正パラメタ記憶部250cに記憶する。
図25は記憶部250を説明する図であり、詳細は第3の実施形態における図18の記憶部180と同様であるが、更に、重複領域データ記憶部250iを備える。目標座標系記憶部250b、幾何補正パラメタ記憶部250c、スクリーン外周データ記憶部250h、および重複領域データ記憶部250iにはそれぞれ補正制御部240で生成されたデータあるいはパラメタが記憶される。
図26は、本実施形態における幾何補正パラメタの生成処理を説明する図である。まず、投映座標・撮影座標対応データ生成部112dにおいて、既述したような技術を用いて、投映座標・撮影座標対応データを生成する。この場合、1つの映像投映装置に対して1つの投映座標・撮影座標対応データを生成する。このため、本実施形態では2つのデータが生成されることになる。なお、生成された投映座標・撮影座標対応データは投映座標・撮影座標対応データ記憶部114fに記憶する。詳細は第1の実施形態と同様である(S2601)。
次に、外周データ取得部240hにおいて、スクリーン外周データおよび2台の映像投映装置120a、120bによるスクリーンへの表示領域の外周データを取得する。まず、それぞれの映像投映装置のスクリーンへの表示領域の外周データは、図9で説明した手法をそれぞれの映像投映装置に対して用いることで取得する。次に、前記2つの表示領域の和集合を取ることでスクリーン領域を取得し、そこからスクリーン外周データを取得する。該スクリーン外周データおよびそれぞれの映像投映装置の表示領域外周データをスクリーン外周データ記憶部250hに記憶する(S2602)。
次に、重複領域データ取得部240iにおいて、重複領域データを取得する。前記ステップS2602の処理において2台の映像投映装置のスクリーンへの映像表示領域データを生成しており、それらの撮影画像内での重複度数を数えることで重複領域データを取得する。該重複領域データを重複領域データ記憶部250iに記憶する(S2603)。
次に、目標座標系設定部240gにおいて、目標座標系を設定する。設定した目標座標系データを目標座標系記憶部180bに記憶する。目標座標系の設定方法は後述する(S2604)。
次に、幾何補正パラメタ生成部240fにおいて、映像表示領域の境界をスクリーンの境界またはあらかじめ設定した領域の境界に一致させるような幾何補正パラメタを生成する。詳細は後述する(S2605)。
本実施形態では、第3の実施形態と同様に、撮影画像内のスクリーンまたはあらかじめ設定した領域に、入力画像を貼り付けるための目標座標系を設定し、該目標座標系に従って撮影画像内に貼られた入力画像の各画素に2つの投映座標・撮影座標対応データを適用することで2つの幾何補正パラメタを生成する。なお、第3の実施形態と異なる部分としては、入力画像は、2つの補正処理装置111a、111bのフレームメモリに記憶される2つの画像をその重複部を重ね合わせて1つにした画像とすること、および入力画像の重複部にあたる部分は撮影画像内の映像表示領域の重複部に含まれるようにすることにある。
入力画像に関しては、例えば、各フレームメモリに記憶される画像のサイズが横1000画素、縦750画素で重複部の幅が200画素の場合には入力画像は横1800画素、縦750画素の画像となる。
また、入力画像の重複部にあたる部分が撮影画像内の映像表示領域の重複部に含まれるときは、撮影画像内の映像表示領域の重複部のスクリーンの境界またはあらかじめ設定した領域の境界には入力画像の重複部の対応する境界が全て乗る必要があるが、撮影画像内の映像表示領域の重複部の全てを覆うように入力画像の重複部にあたる部分を貼り付ける必要はない。前記目標座標系の設定方法はカメラパラメタや設計値を用いるなど様々な方法を用いて良いが、ここでは図19で説明した方法に準ずる方法を図27を用いて説明する。
図27は、本実施形態における目標座標系の設定方法および幾何補正パラメタの生成方法を説明する図である。ここで説明する方法は特に平面スクリーンの場合に適する。2703は前述の入力画像、1310aは補正処理装置111aのフレームメモリに記憶される画像、1310bは補正処理装置111bのフレームメモリに記憶される画像であり、1310aの右側の網掛け部と1310bの左側の網掛け部が画像データにおける重複部であり、入力画像における網掛け部に対応する。1300は撮影画像であり、1301はスクリーンである。2702aは映像投映装置120aの映像投映領域であり、該映像投映装置のスクリーン上の映像表示領域は領域AEHCであり、2702bは映像投映装置120bの映像投映領域であり、該映像投映装置のスクリーン上の映像表示領域は領域GDBFであり、2台の映像投映装置のスクリーン上の映像表示領域の重複部は領域GDCHである。
まず、入力画像2703を撮影画像1300の内部の適当な位置に適当に拡大縮小をして貼り付ける。詳細は図19で説明した手法と同様である。撮影画像内貼り付け画像2701の境界および格子点は容易に取得でき、撮影画像内貼り付け画像2701内の重複部にあたる領域G’D’C’H’の境界も容易に取得できる。該重複部は網掛けで示した。
次に、撮影画像内貼り付け画像2701の境界を撮影画像内スクリーン1301の境界に一致させると同時に、撮影画像内貼り付け画像2701の重複領域G’D’C’H’の辺G’H’をスクリーン境界上の辺GHに乗る(一致させる)ようにし、辺D’C’を辺DCに乗るようにする。このとき、重複領域G’D’C’H’は2台の映像投映装置のスクリーン上の映像表示領域の重複領域GDCHに全て含まれるようにする必要がある。また、辺G’H’は辺GHに一致する必要はなく、例えば辺KLに一致するようにしても構わない。また、辺D’C’も同様に辺IJに一致するようにしても構わない。ここでは、重複領域G’D’C’H’を重複領域GDCHに一致させるとして説明する。スクリーン4隅対応データおよびスクリーン外周データおよびそれぞれの映像投映装置の表示領域外周データは取得済であり、撮影画像内貼り付け画像2701の境界データおよび重複領域の境界データも既述の通りに取得できるため、辺E’G’を辺EGに、辺G’H’を辺GHに、辺H’F’を辺HFに、辺E’A’を辺EAに、辺G’D’を辺GDに、辺H’C’を辺HCに、辺F’B’を辺FBに、辺A’D’を辺ADに、辺D’C’を辺DCに、辺C’B’を辺CBに対応させ、第1の実施形態の図15で説明したのと同様の補間手法を用いることができ、それぞれの辺を一致させたときの内部の点、すなわち格子点群の偏移も算出することができる。この算出した境界および格子点群が、目標座標系データとなる。
次に、該目標座標系データをそれぞれの映像投映装置に対応する投映座標・撮影座標対応データを用いて投映座標にマッピングすることにより(例えば、映像投映装置120aに対応する幾何補正パラメタについて考えると、撮影画像内スクリーン1301の境界上の辺EH、辺EA、辺ACおよび映像投映装置120aの撮影画像内映像表示領域の境界上の辺HCに境界が一致するように各画素位置を偏移した、撮影画像内貼り付け画像のうち補正処理装置111aのフレームメモリに記憶される画像データに対応する領域E’H’C’A’を幾何補正パラメタデータ内映像表示領域2700aにマッピングすることにより)、幾何補正パラメタ1305aの生成が完了する。幾何補正パラメタ1305bについても同様である。
なお、補正処理装置111aのフレームメモリに記憶される画像データ1310aの1つの画素1311aは入力画像においては画素1311に対応し、適当な変換により撮影画像内の画素2703にマッピングされ、次に、撮影画像内スクリーン1301と撮影画像内貼り付け画像2701の境界一致処理により撮影画像内の画素1304にマッピングされ、最後に、映像投映装置120aに対応する投映座標・撮影座標対応データにより幾何補正データ内の画素1309aにマッピングされる。
本実施形態によれば、映像投映装置を複数台用いる場合、入力画像の境界がスクリーンの境界に一致するような座標系を撮影画像中に設定し、その座標系を経由して幾何補正パラメタを生成する。これにより、幾何補正後の映像表示領域の境界をスクリーンの境界に一致させることができる。また、重複領域において画像データが不足しないことも保証される。なお、本実施形態の手法は、3台以上の映像投映装置を用いる場合も同様に適用することができる。
以上説明したように、本発明の実施形態によれば、まず、特許文献1に記載の技術など、従来の技術によってスクリーンに歪みのない映像を表示することのできる幾何補正パラメタ(旧幾何補正パラメタ)を生成する。前述のように、ここで得られた幾何補正パラメタは、歪みはないものの、映像表示領域の境界がスクリーンの境界と一致することを保証するものではない。
次に、空間コード化法など従来の技術を用いて投映側の2次元座標系と撮影側の2次元座標系の対応関係のデータを得る。
次に、従来の技術を用いて撮影側の2次元座標系でのスクリーン外周データを取得する。
以上のデータから、スクリーンの境界とプロジェクタの映像表示領域の境界が一致するような新幾何補正パラメタを生成する。
すなわち、まず、旧幾何補正パラメタの外周に対応する部分がスクリーン外周データに一致するように、新幾何補正パラメタの外周に対応する部分を決定する。この時、旧幾何補正パラメタの外周に対応する部分は、撮影画像中の、旧幾何補正パラメタによる映像表示領域の外周に対応する部分を用いる。次に、旧幾何補正パラメタと新幾何補正パラメタの外周の対応に基いて、旧幾何補正パラメタから射影変換、双線形補間、RBF(Radial Basis Function)などを用いて新幾何補正パラメタの内部領域のパラメタを決定する。
なお、旧幾何補正パラメタを作成せずに、画素を撮影画像におけるスクリーン領域に直接マッピングすることにより幾何補正パラメタ(新幾何補正パラメタに相当)を作成してもよい。
この場合には、例えば、前記撮影側の2次元座標系でのスクリーン外周データを考慮に入れて撮影側に目標座標系を張り、そこに、前記投映側の2次元座標系と撮影側の2次元座標系の対応関係のデータを適用して、入力画像の画素を直接マッピングするような幾何補正パラメタを生成する。
なお、複数台のプロジェクタを使用してそれらの投映画像を繋ぎ合わせて1つの画像を生成する場合には、隣り合う投映領域をもつプロジェクタの重複投映領域に関して、撮影画像上の重複領域に余りなく、入力画像の対応する部分がマッピングされるという条件を加えた上で、各入力画像の画素を直接マッピングするような幾何補正パラメタを生成する。
これにより、1台または複数台のプロジェクタを使用して、3次元形状が未知なスクリーン上に、歪みのない1つの映像を表示する映像表示システムにおいて、スクリーンの境界あるいはスクリーンの指定領域の境界と、プロジェクタの映像表示領域の境界を一致させることができる。このため、任意の形状のスクリーンに臨場感のある映像を表示することのできる。