JP5202448B2 - 画像処理システム及び方法 - Google Patents

Description

本発明は、観察者の運動視差に応じた映像を表示する画像処理システム及び方法に関する。

従来、観察者の運動視差に応じた画像を表示する画像表示システムは、スクリーンの前に位置する観察者をスクリーン上部に隔離して配置された２台の撮像カメラで撮影することにより、観察者の両眼の中点とディスプレイとの相対位置を三角測量によって算出し、観察者の移動に応じて、その運動視差に応じた映像をディスプレイに表示していた。これにより観察者は、ディスプレイの前を左右に移動した場合に、運動視差が再現された観察対象物の映像を左右それぞれの場所からディスプレイ上に観察することができた（特許文献１参照）。

また、監視領域内の動体を検出することを目的として、２台の隣り合うカメラ同士を近接させてレンズ同士の間隔を縮めて配置するとともに、隣り合うカメラ同士を内側に傾けて配置して、映像の欠落領域と重複領域を最小限にして、広域映像を取得する広域撮影方法が知られている（特許文献２参照）。

特開２００８−１４６２２１号公報 特許第３７９８７４７号公報

しかしながら、特許文献１に開示された従来の画像処理システムにおいて、例えば大型ディスプレイに適用すると、その左端に近づいている観察者の左側はディスプレイの右側に備えられたカメラからは死角となる。このような場合、特許文献１に開示された従来の画像処理システムは、観察者の左眼を撮影することができないため、観察者の両眼の中点とディスプレイとの相対位置を三角測量によって算出することができず、運動視差が再現された観察対象物の映像をディスプレイに表示することができないという問題があった。

さらに、特許文献２に開示された従来の広域撮影方法は、動体の運動視差を獲得するものではなく、さらにこれを運動視差の獲得に転用しようとしても、２台のカメラをそのレンズ間隔を縮めて近接させて配置するために、これを例えば大型ディスプレイの中央上部に設けた場合、ディスプレイの中央に近づいている観察者については、観察者が左を向いてしまうと死角となった左眼を撮影することができず、従来の画像処理システムは、運動視差が再現された観察対象物の映像をディスプレイに表示することができないという問題があった。

本発明は、前記の諸点に鑑みてなされたものであり、観察者の運動視差を反映した映像を確実に表示することができる画像処理システムを提供することを目的とする。

本発明は、上記の課題を解決するためになされたものであり、観察者を撮影し、当該観察者が撮影された画像データを出力する複数の撮影部と、前記画像データに基づいて、前記観察者の相対位置を算出する観察者位置算出部と、前記算出された位置に応じて、前記観察者の運動視差を反映した映像を生成し、当該映像を表示部に表示させる映像生成部と、を備え、前記撮影部は、当該撮影部の光軸が前記表示部の中心を通る垂直軸の側に傾いて、前記表示部の周縁部又は当該近傍にそれぞれ備えられることを特徴とする画像処理システムである。

また本発明は、前記複数の撮影部が、前記表示部の頂点近傍に備えられることを特徴とする画像処理システムである。

また本発明は、前記複数の撮影部が、前記表示部の左右両端中央又は当該近傍に備えられることを特徴とする画像処理システムである。

また本発明は、前記画像データに基づいて前記観察者の視線方向を検出し、前記検出した視線方向にある前記撮影部を選択する検出用画像選択部を備え、前記観察者位置算出部は、前記検出用画像選択部が選択した前記画像部が出力した画像データに基づいて、前記観察者の相対位置を算出することを特徴とする画像処理システムである。

また本発明は、前記観察者位置算出部が、前記撮影部を基準とする座標系を用いて表された前記観察者の位置を、前記表示部を基準とする座標系に変換することにより前記相対位置を算出することを特徴とする画像処理システムである。

また本発明は、前記複数の撮影部が、２つ又は４つの撮影部であることを特徴とする画像処理システムである。

また本発明は、表示部の周縁部又は当該近傍に設けられた複数の撮影部により観察者を撮影し、当該観察者が撮影された画像データを出力する過程と、前記画像データに基づいて、前記観察者の相対位置を算出する過程と、前記算出された位置に応じて、前記観察者の運動視差を反映した映像を生成して、前記表示部に表示させる過程と、を備える画像処理方法である。

撮影部が観察者を確実に撮影するので、画像処理システムは観察者の位置を算出して、その運動視差に応じた映像を確実に表示することができる。

また画像処理システムは、観察者が向いている方向の撮影部を選択することができる。

本発明の第１の実施形態における画像処理システムの外観図である。 本発明の第１の実施形態におけるディスプレイ周縁部に設置された場合のカメラの設置例を示す図である。 本発明の第１の実施形態におけるディスプレイ周辺に設置する場合のカメラの設置例を示す図である。 本発明の第１の実施形態におけるカメラの設置角度を示す図である。 本発明の第１の実施形態におけるカメラの画角に応じた設置角度を示す上面図である。 本発明の第１の実施形態における画像処理システムのブロック図である。 本発明の第１の実施形態におけるマーカーを備えた眼鏡型装着器具と眼鏡型装着器具を装着した観察者１００を示す図である。 本発明の第１の実施形態における観察者の視線方向とカメラとの位置関係を示す図である。 本発明の第１の実施形態における観察者とディスプレイとの相対位置の算出に適するカメラの選択手順を示すフローチャートである。 本発明の第１の実施形態における観察者の視線方向の判定手順を示すフローチャートである。 本発明の第１の実施形態におけるカメラ座標系における観察者のＺ座標を求める方法を説明する図である。 本発明の第１の実施形態におけるカメラ座標系における観察者のＸ座標を求める方法を説明する図である。 本発明の第１の実施形態におけるカメラを基準とするカメラ座標系をディスプレイの中心を原点とする共通座標系に変換するための、回転角度と併進量を示す図である。 本発明の第２の実施形態における画像処理システムの外観図である。 本発明の第２の実施形態における画像処理システムの構成を示すブロック図である。 本発明の第２の実施形態における観察者とディスプレイとの相対位置の算出に適するカメラの選択手順を示すフローチャートである。 本発明の第２の実施形態における観察者の視線方向の判定手順を示すフローチャートである。 本発明の第３の実施形態における画像処理システムが備えるディスプレイとカメラを示す外観図である。

[第１の実施形態]
本発明を実施するための第１の実施形態について説明する。図１は、本発明の第１の実施形態における画像処理システムの外観図である。画像処理システムは、カメラ（撮影部）１から４と、画像処理装置７と、画像信号源入力装置９と、操作装置８と、を備える。カメラ１から４は、それぞれ同一の構成を備える。また、観察者１００は正方形又は長方形をしたディスプレイ５（表示部）の前に位置し、表示された映像を観察している。なお、操作装置８は画像処理装置７と一体であってもよい。

カメラ（撮影部）１から４は観察者１００を撮影し、その画像信号（画像データ）を画像処理装置７に出力する。図２は、本発明の第１の実施形態におけるディスプレイ周縁部に設置された場合のカメラの設置例を示す図である。カメラ１から４は、例えばディスプレイ５の周縁部の頂点に設置される。カメラ１は、一例としてディスプレイ周縁部の四隅の頂点に設置された取り付け部材１０の切断面１１に取り付けられる。カメラ１は、そのレンズ系の光軸がディスプレイ５の中心（中心付近を含む）を通る垂直軸６（図１に示すディスプレイ５に垂直な軸）側を向くように、切断面１１によって傾けて備えられる。カメラ２から４も同様である。

図３は、本発明の第１の実施形態におけるディスプレイ周辺に設置する場合のカメラの設置例を示す図である。支柱１２と１３は、ディスプレイ５の近傍（左右）にそれぞれ備えられる。カメラ１と３は、支柱１２に備えられ、カメラ２と４は、支柱１３に備えられる。またカメラ１から４は、図１に示したようにそのレンズ系の光軸がディスプレイ５の中心（中心付近を含む）を通る垂直軸６側に傾けて設置される。なお、これらはカメラ１から４の設置に関する一例である。

図４は、本発明の第１の実施形態におけるカメラの設置角度を示す図である。図４は、にディスプレイ５の正面図（Ａ）と、上面図（Ｂ）と、側面図（Ｃ）とを示す。以下、ディスプレイ５の横の長さを「ｈ」、縦の長さを「ｖ」（ｈ、ｖは所定の正値）として説明を続ける。またディスプレイ５の中心（中心付近でもよい）を原点（基準）として、その原点から右向きをＸ軸の正方向とし、上向きをＹ軸の正方向とし、ディスプレイ５の表示面の裏側方向をＺ軸の正方向とする（以下、「共通座標系」と称する）。このように設定された共通座標系を座標（Ｘ_ｗ，Ｙ_ｗ，Ｚ_ｗ）で表すものとする。

さらに、共通座標系とは別の座標系として、図４の上面図と側面図にそれぞれ示すカメラ１を原点（基準）とするカメラ１座標系を座標（Ｘ_Ｃ１，Ｙ_Ｃ１，Ｚ_Ｃ１）で表すものとする。以下、カメラを原点（基準）とする座標系を「カメラ座標系」と称する。同様に、カメラ２座標系を座標（Ｘ_Ｃ２，Ｙ_Ｃ２，Ｚ_Ｃ２）、カメラ３座標系を座標（Ｘ_Ｃ３，Ｙ_Ｃ３，Ｚ_Ｃ３）、カメラ４座標系を座標（Ｘ_Ｃ４，Ｙ_Ｃ４，Ｚ_Ｃ４）で表すものとする。なお、上面図においてカメラ３とカメラ４は図示されていないが、カメラ３の設置角度は、カメラ１の設置角度と同じである。また、カメラ４の設置角度は、カメラ２の設置角度と同じである。同様に、側面図においてカメラ２とカメラ４は図示されていないが、カメラ２の設置角度は、カメラ１の設置角度と同じである。また、カメラ４の設置角度は、カメラ３の設置角度と同じである。

以下、カメラ１から４のそれぞれが撮影することのできる水平方向の画角をα_Ｈ、垂直方向の画角をα_Ｖとする。また、カメラ１の画角の中心（光軸）を画角中心３００とし、カメラ２の画角の中心（光軸）を画角中心３０１と、カメラ３の画角の中心（光軸）を画角中心３０２とし、カメラ４の画角の中心（光軸）を画角中心３０３（不図示）とする。さらに、カメラ１の画角中心３００（光軸）が、ディスプレイ５の中心を通る垂直軸６の側に傾いて（Ｙ軸回りに）内向きに傾けた角度を「θ_ｌｅｆｔ」とし、カメラ２の画角中心３０１（光軸）が、ディスプレイ５の中心を通る垂直軸６の側に傾いて（Ｙ軸回りに）内向きに傾けた角度を「θ_{ｒｉｇｈｔ}」とする。同様に、カメラ１の画角中心３００（光軸）が、ディスプレイ５の中心を通る垂直軸６の側に傾いて（Ｘ軸回りに）内向きに傾けた角度を「θ_ｔｏｐ」と、カメラ３の画角中心３０２（光軸）が、ディスプレイ５の中心を通る垂直軸６の側に傾いて（Ｘ軸回りに）内向きに傾けた角度を「θ_{ｂｏｔｔｏｍ}」とする。また同様に、カメラ４は、角度「θ_{ｒｉｇｈｔ}」と角度「θ_{ｂｏｔｔｏｍ}」とに傾けられて設置される。

図５は、本発明の第１の実施形態におけるカメラの画角に応じた設置角度を示す上面図である。ディスプレイ５の前に位置する観察者１００を可能な限り死角なく撮影するため、カメラ１から４は、それぞれ［数１］と［数２］とを共に満たすよう設置される。水平方向の画角（α_Ｈ）が９０度以下の場合、Ｙ軸に関して内向きに「θ_ｌｅｆｔ」だけ傾けられてカメラ１が設置されることで（図５（Ａ））、カメラ１は画角の右端１４がＺ軸（垂直軸６）に平行となる範囲まで撮影することができ、また、ディスプレイ５に近い位置に移動した観察者１００を画角の左端１５まで撮影することができる。一方、水平方向の画角（α_Ｈ）が９０度を超える場合、カメラ１の画角の左端１５がディスプレイ５と並行になるようカメラ１を設置する（図５（Ｂ））。垂直方向の画角（α_Ｖ）についても同様である。

このようにすれば、観察者１００が顔を上下左右に向けた場合でも、カメラ１から４が観察者１００を確実に撮影するので、画像処理システムは観察者１００の位置を算出して、その運動視差に応じた映像を確実に表示することができる。

図６は、本発明の第１の実施形態における画像処理システムのブロック図である。画像処理システムは、カメラ１から４と、ディスプレイ５（表示部）と、画像処理装置７と、画像信号源入力装置９と操作装置８とを備える。操作装置８は、運動視差が再現された映像を生成するために用いるレジスタ（不図示）の調整値、処理の開始指示と終了指示、等を指示するユーザの操作入力を検出し、これらのパラメータ（調整値等）をＣＰＵ１６に出力する。ＣＰＵ１６は、中央処理装置（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）であって、各処理部にパラメータを設定する。また画像信号源入力装置９は、画像供給源であって、表示対象の画像データを運動視差映像生成部２４に出力する。

カメラ１から４は、例えばウェブカメラなどの撮像デバイスであって、光学系（不図示）と、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）等の撮像素子（不図示）と、露光調整機構（不図示）とを備える。カメラ１は観察者１００の動画像を撮影し、相関二重サンプリングなどの所定の信号処理が施された画像信号（画像データ）をＩ／Ｆ（インタフェース）１７に所定の周期（例えば、６０フレーム／秒）で出力する。カメラ２から４も同様である。Ｉ／Ｆ１７は、入力された画像信号をカメラ画像メモリ２１におけるデータフォーマットに変換し、カメラ画像メモリ２１に出力する。Ｉ／Ｆ１８から２０も同様である。

カメラ画像メモリ２１は、Ｉ／Ｆ（インタフェース）１７から２０が出力した画像信号（画像データ）を、Ｉ／Ｆ（インタフェース）１７から２０に対応付けて記憶する。すなわちカメラ画像メモリ２１は、画像データと、その画像データの入力時刻と、その画像データがＩ／Ｆ１７から２０（カメラ１から４）のいずれから入力されたかについて記憶する。カメラ画像メモリ２１は、入力時刻を記憶しておくことで各画像データの同期を取ることができる。

検出用画像選択部２２は、カメラ１から４から同時刻に出力された各画像データをカメラ画像メモリ２１から取得する。検出用画像選択部２２は、取得した各画像データに基づいて、観察者１００の視線方向を算出する。さらに検出用画像選択部２２は、算出された視線方向に基づいて、観察者の位置の算出に最も適するカメラ１から４のいずれか１つを選択し、選択されたカメラ番号（識別子）を観察者位置算出部２３に出力する。

次に、観察者１００の位置の算出に最も適するカメラの選択について説明する。図７は、本発明の第１の実施形態におけるマーカーを備えた眼鏡型装着器具と眼鏡型装着器具を装着した観察者１００を示す図である。検出用画像選択部２２は、観察者１００の両眼又はマーカー２７及び２８、を検出する。また図８は、本発明の第１の実施形態における観察者の視線方向とカメラとの位置関係を示す図である。カメラ１から４は、図４に示したように設置されているので、例えば観察者１００が図８において右を向いているために、カメラ１から右眼又はマーカー２８を撮影することができない場合でも、カメラ２によって右眼又はマーカー２８を撮影することができる。同様に、例えば観察者１００が下向きである場合でも、カメラ３及び４のいずれかによって両眼又はマーカーを撮影することができる。

図９は、本発明の第１の実施形態における観察者とディスプレイとの相対位置の算出に適するカメラの選択手順を示すフローチャートである。以下のフローチャートでは両眼を検出するものとして説明をする。検出用画像選択部２２は画像データを所定の周期（例えば、６０フレーム／秒）で取得し、前回取得した画像データと、今回取得した画像データとの画像の差分を算出する。検出用画像選択部２２は、これらの画像データの画像の差分（動き）が所定の閾値以上であるか否かを判定する（ステップＳ１）。検出用画像選択部２２は、所定の閾値以上でないと判定した場合（ステップＳ１−ＮＯ）、ステップＳ１を繰り返す。

ステップＳ１にて差分が所定の閾値以上であると判定した場合（ステップＳ１−ＹＥＳ）、検出用画像選択部２２は、観察者１００の両眼又はマーカー２７及び２８を検出し、視線方向を判定する（ステップＳ２）。

視線方向を判定する「ステップＳ２」の詳細を図１０に示す。図１０は、本発明の第１の実施形態における観察者の視線方向の判定手順を示すフローチャートである。検出用画像選択部２２は、カメラ１から４のうち１つを選択する（ステップＳａ１０）。検出用画像選択部２２は、選択したカメラから今回取得した画像データを用いて観察者１００の顔領域を抽出（検出）する抽出処理を行う。顔領域の抽出処理は、例えば画像データに対するテンプレートマッチング処理により行われる。すなわち、予め用意された「顔の教師データ（画像データ）」と、カメラ１から４が撮影した各画像データを比較することで、観察者１００の顔領域を抽出する（ステップＳａ１１）。

検出用画像選択部２２は、各画像データに観察者１００の顔領域が存在するか否かを判定する。存在しない場合（ステップＳａ１２−ＮＯ）、ステップＳａ１０に戻る。観察者１００の顔領域が存在する場合（ステップＳａ１２−ＹＥＳ）、抽出された顔領域に対して、予め用意された「左眼、右眼、及び口の教師データ（画像データ）」を用いて、同様に、両眼（左眼、右眼）領域と口領域の抽出処理を実行する（ステップＳａ１３）。検出用画像選択部２２は、両眼領域、口領域が存在するか否かを判定する（ステップＳａ１４）。両眼領域と口領域が存在しない場合（ステップＳａ１４−ＮＯ）、検出用画像選択部２２はステップＳａ１０に戻る。

一方、両眼領域と口領域が存在する場合、検出用画像選択部２２は、観察者１００の視線方向を判定する。ここで観察者１００の視線方向は、共通座標系の原点を基準として、左上方向（Ｘ_ｗ軸負値、Ｙ_ｗ軸正値）、右上方向（Ｘ_ｗ軸正値、Ｙ_ｗ軸正値）、左下方向（Ｘ_ｗ軸負値、Ｙ_ｗ軸負値）、右下方向（Ｘ_ｗ軸正値、Ｙ_ｗ軸負値）の４つの方向に分類される。また、観察者１００の視線方向の左右方向の判定と上下方向の判定は別に実行される。視線方向の左右方向の判定は、カメラの画像データにおける、観察者１００の右眼の面積と左眼の面積の差を用いて行われる。

以下、画像データの座標（ｘ，ｙ）が右眼領域内の点である否かについて判定した判定結果を「Ｒ_{ｅｙｅ ｒｉｇｈｔ}（ｘ，ｙ）」とする。ここで、座標（ｘ，ｙ）が右眼領域内の点である場合の判定結果を値「１」、右眼領域内の点でない場合の判定結果を値「０」とする。同様に、座標（ｘ，ｙ）が左眼領域内の点である否かについて判定した判定結果を「Ｒ_{ｅｙｅ ｌｅｆｔ}（ｘ，ｙ）」とする。また、座標（ｘ，ｙ）が左眼領域内の点である場合の判定結果を値「１」、左眼領域内の点でない場合の判定結果を値「０」とする。

このようにして、右眼の面積（画像データにおける画素数）は、右眼領域についての判定結果「Ｒ_{ｅｙｅ ｒｉｇｈｔ}（ｘ，ｙ）」を計数することで算出することができる。左眼の面積も同様である。右眼領域の面積「ｃｎｔ_{ｒｉｇｈｔｅｙｅ}」と左眼領域の面積「ｃｎｔ_{ｌｅｆｔｅｙｅ}」は、それぞれ［数３］で表される。

検出用画像選択部２２は、算出された右眼の面積と左眼の面積とを比較し、面積が大きい（画素数が多い）側の眼が、カメラにより近い眼であると判定する（［数４］）。

なお、検出用画像選択部２２は、顔領域内の目の領域を検出し、さらに両眼の虹彩領域を含む円形状を検出して、その円形状の中心座標に基づいて視線方向を検出するとしてもよい。

一方、視線方向の上下方向の判定は、カメラにより近い眼であると判定された側の眼の面積と口の面積の面積比を用いて行われる。例えば、「眼の面積」を分子、「口の面積」を分母とする面積比が所定の閾値よりも大きい場合、口の面積が相対的に小さいので、検出用画像選択部２２は「視線方向は下向き」であると判定する。同様に、その面積比が所定の閾値よりも小さい場合、検出用画像選択部２２は「視線方向は上向き」であると判定する（ステップＳａ１５）。

次に検出用画像選択部２２は、これらの判定結果に応じて、視線方向を左上方向、右上方向、左下方向、右下方向の４つの方向のいずれかに分類する。まず検出用画像選択部２２は、視線方向が左方向か否かを判定する（ステップＳａ１６）。左方向である場合、次に検出用画像選択部２２は、視線方向が上方向か否かを判定する（ステップＳａ１７）。視線方向が上方向である場合、検出用画像選択部２２は、視線方向が左上方向であると判定する（ステップＳａ１９）。

ステップＳａ１９の次に、検出用画像選択部２２は、すべてのカメラについて視線方向を判定済みか否かについて判定する（ステップＳａ２３）。すべてのカメラについて視線方向を判定済みである場合（ステップＳａ２３−ＹＥＳ）、検出用画像選択部２２は、ステップＳ２４に遷移する。すべてのカメラについて視線方向を判定済みでない場合（ステップＳａ２３−ＮＯ）、検出用画像選択部２２は、ステップＳ１０に遷移する。

ステップＳａ１７において、視線方向が上方向でない場合（ステップＳａ１７−ＮＯ）、検出用画像選択部２２は、視線方向が左下方向であると判定する（ステップＳａ２０）。ステップＳａ２０の次に、検出用画像選択部２２は、ステップＳａ２３に遷移する。

ステップＳａ１６において、視線方向が左方向でない場合（ステップＳａ１６−ＮＯ）、次に検出用画像選択部２２は、視線方向が上方向か否かを判定する（ステップＳａ１８）。視線方向が上方向である場合（ステップＳａ１８−ＹＥＳ）、検出用画像選択部２２は、視線方向が右上方向であると判定する（ステップＳａ２１）。ステップＳａ２１の次に、検出用画像選択部２２は、ステップＳａ２３に遷移する。

ステップＳａ１８において、視線方向が上方向でない場合（ステップＳａ１８−ＮＯ）、検出用画像選択部２２は、視線方向が右下方向であると判定する（ステップＳａ２２）。ステップＳａ２２の次に、検出用画像選択部２２は、ステップＳａ２３に遷移する。

検出用画像選択部２２は、カメラ１から４の各画像データについて、それぞれ視線方向を判定する。検出用画像選択部２２は、各画像データについて判定された視線方向を集計し、多数決によって視線方向の最終的な判定結果を決める。ここで、多数決による視線方向が同数であった場合、カメラ１から４のうちいずれか（例えば、カメラ１）が出力した画像データに基づく視線方向の判定結果を優先させるとしてもよい（ステップＳａ２４）。なお、両眼検出ができなかった場合、画像処理システムは、運動視差を再現しないとしてもよい。

次に図９のフローチャートに戻り、検出用画像選択部２２は、視線方向の最終的な判定結果が左上方向であるか否かを判定する（ステップＳ３）。左上方向である場合、検出用画像選択部２２は、観察者位置算出部２３が観察者１００の位置を算出するのに最も適したカメラとして、視線方向にある「カメラ１」をカメラ番号として観察者位置算出部２３に出力する（ステップＳ６）。カメラ番号を出力後、検出用画像選択部２２は、画像処理システムが表示処理を終了しているか否かについて判定する。表示処理を終了していない場合、検出用画像選択部２２はステップＳ１に戻る（ステップＳ１０）。表示処理を終了している場合、検出用画像選択部２２は視線方向の判定手順処理を終了する。

ステップＳ３において、判定結果が左上方向でない場合、次に検出用画像選択部２２は、判定結果が右上方向であるか否かを判定する（ステップＳ４）。右上方向である場合、検出用画像選択部２２は、観察者位置算出部２３が観察者１００の位置を算出するのに最も適したカメラとして、「カメラ２」をカメラ番号として観察者位置算出部２３に出力する（ステップＳ７）。ステップＳ７の次に、検出用画像選択部２２は、ステップＳ１０に遷移する。

ステップＳ４において、判定結果が右上方向でない場合、次に検出用画像選択部２２は、判定結果が左下方向であるか否かを判定する（ステップＳ５）。左下方向である場合、検出用画像選択部２２は、観察者位置算出部２３が観察者１００の位置を算出するのに最も適したカメラとして、「カメラ３」をカメラ番号として観察者位置算出部２３に出力する（ステップＳ８）。ステップＳ８の次に検出用画像選択部２２は、ステップＳ１０に遷移する。

ステップＳ５において、判定結果が左下方向でない場合、次に検出用画像選択部２２は、観察者位置算出部２３が観察者１００の位置を算出するのに最も適したカメラとして、「カメラ４」をカメラ番号として観察者位置算出部２３に出力する（ステップＳ９）。ステップＳ９の次に、検出用画像選択部２２は、ステップＳ１０に遷移する。

以下、一例として、カメラ１が最適なカメラとして選択されたものとして説明を続ける。観察者位置算出部２３は、「カメラ番号」が示すカメラ１が出力した画像データを取得し、その画像データに基づく観察者１００の位置を表す座標をカメラ座標系から共通座標系に変換する。

図１１は、本発明の第１の実施形態におけるカメラ座標系における観察者のＺ座標を求める方法を説明する図である。カメラ１の水平画角をα_Ｈ、水平画素数をＷ、垂直画素数をＨとする。カメラ１が備える撮像素子（不図示）の１画素２９あたりの撮影角度「Ｒ」は、「水平画角α_Ｈ」を「水平画素数Ｗ」で除算することにより［数５］で表される。また、画素が正方形であるとして、垂直方向の１画素あたりの撮影角度も「Ｒ」とする。

カメラ撮影画像３０に、「左眼またはマーカー２７」の画像３２と、「右眼またはマーカー２８」の画像３１が共に含まれている場合、カメラ撮影画像３０における画像３１と３２との間隔（画素数）（以下、「画像マーカー間隔」と称する）をＬとして、画像マーカー間の角度「θ」は、［数６］で表される。

「左眼またはマーカー２７」に対応するマーカー３５と「右眼またはマーカー２８」に対応するマーカー３４との予め測定された実物の距離（以下、「マーカー間隔」と称する）をＭとすると、観察者１００とカメラ１との距離「ｚ_Ｃ１」は、三角関数を用いて［数７］で表される。

図１２は、本発明の第１の実施形態におけるカメラ座標系における観察者のＸ座標を求める方法を説明する図である。観察者位置算出部２３は、画像３１と３２の中点Ｐ_ｎとカメラ撮影画像３０の中心との距離（ずれ量）に基づいて、観察者１００のカメラ１座標系におけるＸ座標（ｘ_ｃ１）とＹ座標（ｙ_ｃ１）とを算出する。

中点Ｐ_ｎの座標を（ｘ_Ｐｎ，ｙ_Ｐｎ）とすると、中点Ｐ_ｎのＸ_ｃ１軸方向の角度「θ_Ｈ」は、三角測量によって「θ_Ｈ＝Ｒ×（ｘ_ｐｎ−Ｗ／２）」で表される。同様に、中点Ｐ_ｎのＹ_ｃ１軸方向の角度「θ_Ｖ」は「θ_Ｖ＝Ｒ×（ｙ_ｐｎ−Ｈ／２）」で表される。観察者１００のカメラ１座標系における位置（座標）４０は、これらθ_Ｈ、θ_ｖ及び［数７］を用いて［数８］で表される。

次に、観察者位置算出部２３は、観察者１００とディスプレイ５との相対位置、すなわち共通座標系における観察者１００の位置、を算出して、運動視差映像生成部２４に出力する。図１３は、本発明の第１の実施形態におけるカメラを基準とするカメラ座標系をディスプレイの中心を原点とする共通座標系に変換するための、回転角度と併進量を示す図である。観察者位置算出部２３は、共通座標系における観察者１００の位置（座標）を、以下のように算出する。

共通座標系のＸ_ｗ軸回りの回転角度を「θ_ｘ」、Ｙ_ｗ軸回りの回転角度を「θ_ｙ」、Ｚ_ｗ軸回りの回転角度を「θ_ｚ」とすると、回転を示す変換行列は［数９］で表される。

また、共通座標系のＸ_ｗ軸方向の併進量を「ｌ_ｘ」、Ｙ軸方向の併進量を「ｌ_ｙ」、Ｚ軸方向の併進量を「ｌ_ｚ」とすると、併進を示す変換行列は［数１０］で表される。

したがって、カメラ１座標系における任意の座標「Ｐ_ｃ１（ｘ_ｃ１，ｙ_ｃ１，ｚ_ｃ１）」は、［数１１］を用いることで共通座標系に変換される。ここで、共通座標系のＸ_ｗ軸に対するカメラ１の回転角度（俯角）を「θ_Ｘｔｏｐ」、共通座標系のＹ_ｗ軸に対するカメラ１の回転角度（水平方向）を「θ_{Ｙｌｅｆｔ}」とする。また、共通座標系のＸ_ｗ軸に対するカメラ１の併進量（距離）を「＋ｈ／２」、共通座標系のＹ_ｗ軸に対するカメラ１の併進量（距離）を「−ｖ／２」とする。

同様に、カメラ２座標系は［数１２］により、カメラ３座標系は［数１３］により、カメラ４座標系は［数１４］により、それぞれ共通座標系に変換される。

このようにして、観察者位置算出部２３は、取得した画像データのカメラ座標系を共通座標系に変換し、観察者１００の共通座標系における位置（座標）を算出する。さらに観察者位置算出部２３は、算出した位置（座標）を運動視差映像生成部２４に出力する。

図６に示す運動視差映像生成部２４は、観察者位置算出部２３が算出した観察者１００の位置から見た観察対象物の画像データをビュー変換処理によって生成する。ここでビュー変換処理とは、共通座標系を観察者１００の位置に仮想的に置いた仮想カメラを基準とする座標系に変換することである。

仮想カメラを基準とするＸ軸を示すベクトルを「Ｒ＝（ｒ_ｘ，ｕ_ｘ，ｖ_ｘ）」、Ｙ軸を示すベクトルを「Ｕ＝（ｒ_ｙ，ｕ_ｙ，ｖ_ｙ）」、Ｚ軸を示すベクトルを「Ｖ＝（ｒ_ｚ，ｕ_ｚ，ｖ_ｚ）」、さらに、仮想カメラの共通座標系における位置を示すベクトルを「ｐ＝（ｘ，ｙ，ｚ）」とすれば、ビュー変換行列は［数１５］で表される。

さらに運動視差映像生成部２４は、ビュー変換された座標系に透視投影処理を実行する。透視投影処理において運動視差映像生成部２４は、仮想カメラ位置を頂点とした四角錘状の空間内部に、仮想カメラから近い面（前方投影面）と遠い面（後方投影面）の２投影面を仮想的に設定する。次に運動視差映像生成部２４は、前方投影面と後方投影面とで挟まれた空間が立方体となるよう、前方投影面を後方投影面と同じ面積になるまで拡大してプロジェクション変換を行う。このようにして、ビュー変換された座標系は仮想カメラ位置から見て近い物が大きく遠い物が小さく見える射影座標系に変換される。

運動視差映像生成部２４は、［数１６］に示す行列を用いて射影座標系に変換する。ここで、水平方向の視野角を「ｗ」、垂直方向の視野角を「ｈ」、仮想カメラから前方投影面までの距離を「ｚｎ」、仮想カメラから後方投影面までの距離を「ｚｆ」とする。

次に運動視差映像生成部２４は、ディスプレイ５の左上頂点（カメラ１近く）を原点とし、Ｙ軸方向が逆であるスクリーン座標系に射影座標系を変換する。ここで、ディスプレイ５の水平方向の画素数を「Ｗｉｄｔｈ」、垂直方向の画素数を「Ｈｅｉｇｈｔ」、とすれば、射影座標系からスクリーン座標系への変換行列は［数１７］で表される。

運動視差映像生成部２４は、このように生成（３ＤＣＧレンダリング）した観察対象物の画像データを表示メモリ２５に出力する。

表示メモリ２５は、運動視差映像生成部２４が出力した画像データを記憶し、Ｉ／Ｆ（インタフェース）２６に出力する。Ｉ／Ｆ２６は、入力された画像データをディスプレイ５におけるデータフォーマットに変換し、ディスプレイ５に出力する。ディスプレイ５は、入力された画像データを画像（映像）表示する。

このようにすれば、カメラ１から４が観察者１００を確実に撮影するので、画像処理システムは観察者１００の位置を算出して、その運動視差に応じた映像を確実に表示することができる。

また画像処理システムは、観察者１００が向いている方向のカメラ１から４のうち１つを選択することができる。

[第２の実施形態]
次に、第１の実施形態の変形例である第２の実施形態を説明する。多くの場合、観察者はディスプレイの前では水平方向にのみ移動し、上下方向には移動しない。このため、第２の実施形態の画像処理システムは、観察者の水平方向の移動を検出するのに適したシステムである。

図１４は、本発明の第２の実施形態における画像処理システムの外観図である。図１４と図１との対応は、カメラ４１はカメラ１に対応し、カメラ４２はカメラ２に対応し、ディスプレイ４３はディスプレイ５に対応し、垂直軸４４は垂直軸６に対応し、画像処理装置４５は画像処理装置７に対応し、操作装置８は操作装置４６に対応し、画像信号源入力装置４７は画像信号源入力装置９に対応する。

図１５は、本発明の第２の実施形態における画像処理システムの構成を示すブロック図である。図１５と図６との対応は、カメラ４１はカメラ１に対応し、カメラ４２はカメラ２に対応し、Ｉ／Ｆ４９はＩ／Ｆ１７に対応し、Ｉ／Ｆ５０はＩ／Ｆ１８に対応し、カメラ画像メモリ５１はカメラ画像メモリ２１に対応し、検出用画像選択部５２は検出用画像選択部２２に対応し、観察者位置算出部５３は観察者位置算出部２３に対応し、運動視差映像生成部５４は運動視差映像生成部２４に対応し、表示メモリ５５は表示メモリ２５に対応し、Ｉ／Ｆ５６はＩ／Ｆ２６に対応し、ＣＰＵ４８はＣＰＵ１６に対応し、ディスプレイ４３はディスプレイ５に対応し、垂直軸４４は垂直軸６に対応し、画像処理装置４５は画像処理装置７に対応し、操作装置８は操作装置４６に対応し、画像信号源入力装置４７は画像信号源入力装置９に対応する。

以下、第１の実施形態との相違点についてのみ説明する。第１の実施形態と異なり、観察者１００の視線方向は、左方向、右方向の２つの方向にのみ分類される。図１６は、本発明の第２の実施形態における観察者とディスプレイとの相対位置の算出に適するカメラの選択手順を示すフローチャートである。ステップＳｂ２５は図９のステップＳ３に対応する。ステップＳｂ２５において、検出用画像選択部２２は、視線方向の最終的な判定結果が、左方向であるか否かを判定する。

左方向である場合、検出用画像選択部２２は、観察者位置算出部２３が観察者１００の位置を算出するのに最も適したカメラとして、視線方向にある「カメラ４１」をカメラ番号として観察者位置算出部２３に出力する（ステップＳｂ２６）。左方向でない場合（ステップＳｂ２５−ＮＯ）、検出用画像選択部２２は、「カメラ４２」をカメラ番号として観察者位置算出部２３に出力する（ステップＳｂ２７）

図１７は、本発明の第２の実施形態における観察者の視線方向の判定手順を示すフローチャートである。図１７に示すフローチャートは、図１０のステップＳａ１７と、ステップＳａ１８と、ステップＳａ２０と、ステップＳａ２２に相当するステップが省略され、処理が簡略化されている。

このようにすれば、処理を簡略化しながら、カメラ４１及び４２が観察者１００を確実に撮影するので、画像処理システムは観察者１００の位置を算出して、その運動視差に応じた映像を確実に表示することができる。

また画像処理システムは、処理を簡略化しながら、観察者１００が向いている方向のカメラ４１及び４２のうち１つを選択することができる。

[第３の実施形態]
次に、第１の実施形態と第２の実施形態の変形例である第３の実施形態を説明する。第３の実施形態の画像処理システムは、観察者１００の両眼の高さに合わせてカメラが設置される。図１８は、本発明の第３の実施形態における画像処理システムが備えるディスプレイとカメラを示す外観図である。図１８と図１の対応は、カメラ５７はカメラ１に対応し、カメラ５８はカメラ２に対応し、ディスプレイ４３はディスプレイ５に対応する。またカメラ５７は、ディスプレイ４３の中心（中心付近を含む）に正対する位置から観察者１００がディスプレイ４３を見た場合の視線方向である垂直軸６４側に傾けて、観察者の両眼の高さの位置に備えられる。カメラ５８も同様である。

このように、第３の実施形態では第１の実施形態及び第２の実施形態と異なり、観察者の両眼の高さにカメラの設置高さが合わせられている。ここで、第３の実施形態の共通座標系の原点は、垂直軸６４とディスプレイ４３との交点に設定される。したがって、第３の実施形態では、さらに共通座標系のＹ軸方向の併進量と、Ｘ軸方向の回転角度のパラメータを変換式から削除することができ、処理がより簡略化される。

カメラ５７座標系を共通座標系に変換する変換式は、［数１８］で、カメラ５８座標系を共通座標系に変換する変換式は、［数１９］で表される。

このようにすれば、処理をより簡略化して、カメラ１から４が観察者１００を確実に撮影するので、画像処理システムは観察者１００の位置を算出して、その運動視差に応じた映像を確実に表示することができる。

また画像処理システムは、処理を簡略化しながら、観察者１００が向いている方向のカメラ５７及び５８のうち１つを選択することができる。

以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

例えば、ディスプレイ５（表示部）は、曲面をなす（円筒状をなす）表示部であってもよい。

また、本発明に記載の画像処理システムは、本発明の一実施形態における画像処理システムに対応し、撮影部は、カメラ１から４と、カメラ４１から４２と、カメラ５７から５８と、に対応し、表示部は、ディスプレイ５と、ディスプレイ４３と、に対応し、観察者位置算出部は、観察者位置算出部２３と、観察者位置算出部５３と、映像生成部は、運動視差映像生成部２４と、運動視差映像生成部５４と、検出用画像選択部は、検出用画像選択部２２と、検出用画像選択部５２と、に対応する。

また、図９、図１０、図１６、図１７に示す各ステップを実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、実行処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものであってもよい。

また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、フラッシュメモリ等の書き込み可能な不揮発性メモリ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。

さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（例えばＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ））のように、一定時間プログラムを保持しているものも含むものとする。
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。
また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。
さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。

本発明は、観察者の運動視差に応じた映像を表示する、例えば公衆広告システムなどの画像処理システムに好適である。

１から４…カメラ、５…ディスプレイ、６…垂直軸、７…画像処理装置、８…操作装置、９…画像信号源入力装置、１０…取り付け部材、１１…切断面、１２から１３…支柱、１４…画角の右端、１５…画角の左端、１６…ＣＰＵ、１７から２０…Ｉ／Ｆ、２１…カメラ画像メモリ、２２…検出用画像選択部、２３…観察者位置算出部、２４…運動視差映像生成部、２５…表示メモリ、２６…Ｉ／Ｆ、２７から２８…マーカー、２９…画素、３０…カメラ撮影画像、３１…「右眼またはマーカー２８」の画像、３２…「左眼またはマーカー２７」、３４から３５…マーカー、４０…観察者のカメラ座標系における位置、４１から４２…カメラ、４３…ディスプレイ、４４…垂直軸、４５…画像処理装置、４６…操作装置、４７…画像信号源入力装置、４８…ＣＰＵ、４９から５０…Ｉ／Ｆ、５１…カメラ画像メモリ、５２…検出用画像選択部、５３…観察者位置算出部、５４…運動視差映像生成部、５５…表示メモリ、５６…Ｉ／Ｆ、５７から５８…カメラ

Claims (6)

1. 観察者を撮影し、当該観察者が撮影された画像データを出力する複数の撮影部と、
   前記画像データに基づいて前記観察者の視線方向を検出し、前記検出した視線方向にある前記撮影部を選択する検出用画像選択部と、
   前記検出用画像選択部により選択された前記撮影部が出力した画像データに基づいて、前記観察者の相対位置を算出する観察者位置算出部と、
   算出された前記相対位置に応じて、前記観察者の運動視差を反映した映像を生成し、当該映像を表示部に表示させる映像生成部と、
   を備え、
   前記撮影部は、当該撮影部の光軸が前記表示部の中心を通る垂直軸の側に傾けられて、前記表示部の周縁部又は当該周縁部の近傍にそれぞれ備えられることを特徴とする画像処理システム。
2. 前記複数の撮影部は、立てられて設置された前記表示部の周縁部の四隅の近傍に備えられることを特徴とする請求項１に記載の画像処理システム。
3. 前記複数の撮影部は、立てられて設置された前記表示部の周縁部の左右それぞれの縦の縁又は当該縦の縁の近傍に備えられることを特徴とする請求項１に記載の画像処理システム。
4. 前記観察者位置算出部は、前記撮影部を基準とする座標系を用いて表された前記観察者の位置を、前記表示部を基準とする座標系に変換することにより前記相対位置を算出することを特徴とする請求項１から請求項３のいずれか１つに記載の画像処理システム。
5. 前記複数の撮影部は、２つ又は４つの撮影部であることを特徴とする請求項１に記載の画像処理システム。
6. 画像処理システムにおける画像処理方法であって、
   表示部の中心を通る垂直軸の側に光軸が傾けられて前記表示部の周縁部又は当該周縁部の近傍に設けられた複数の撮影部が、観察者を撮影し、当該観察者が撮影された画像データを出力する過程と、
   検出用画像選択部が、前記画像データに基づいて前記観察者の視線方向を検出し、前記検出した視線方向にある前記撮影部を選択する過程と、
   観察者位置算出部が、前記検出用画像選択部により選択された前記撮影部が出力した画像データに基づいて、前記観察者の相対位置を算出する過程と、
   映像生成部が、算出された前記相対位置に応じて、前記観察者の運動視差を反映した映像を生成して、前記表示部に表示させる過程と、
   を備える画像処理方法。

Images