WO2016125851A1 - 画像処理システム、視線計測システム、画像処理方法、視線計測方法及びプログラム - Google Patents

Abstract

　本発明の画像処理システムは、観察対象の３次元形状データの観察対象面データに近似する画像投影面データを生成する画像投影面作成部と、前記画像投影面データに対し、前記観察対象面データに対応する前記観察対象の撮像画像をテクスチャマッピングし、表示画像を生成するレンダリング処理部とを備える。

Description

画像処理システム、視線計測システム、画像処理方法、視線計測方法及びプログラム

　本発明は、観察者の視線方向を計測する画像処理を行う画像処理システム、視線計測システム、画像処理方法、視線計測方法及びプログラムに関する。
　本願は、２０１５年２月４日に日本に出願された特願２０１５－０２０２４７号に基づき優先権を主張し、その内容をここに援用する。

　店舗や展示場などにおいて、様々な観察対象が棚や台に陳列されている陳列空間の中を、移動しながら観察する際における観察者の視線方向を検出する装置として視線計測装置が知られている。この視線計測装置は、観察者の視線方向を検出する視線計測機能と、観察者の前方を撮影する視野ビデオカメラとが一体化されて構成され、観察者の頭部に装着される装着型視線計測装置として実用化されている（例えば、特許文献１、特許文献２参照）。例えば、装着型視線計測装置の場合、視線計測機能から得られる視線計測データは、観察者の頭部に対して固定された視点座標系での視線の方向を示している。
　この場合、視線計測と同時に、視点座標系に対して固定された視野ビデオカメラによって、観察者の視点前方の物体を撮影し、撮影によって捉えた視野ビデオ画像を得る。このとき、視線計測データが示す視線方向と、視野ビデオ画像の画素座標は一義的に対応する。

　この装着型視線計測装置を用いて、視点座標系においての視線計測データが指し示す観察対象の位置を視野ビデオ画像上に表示させることが可能となる。これにより、計測者は、視野ビデオ画像上に表示された観察対象の位置により、観察者が注視する注視箇所を特定することができる。
　このような視線計測装置及び解析用ソフトウェアとしては、例えば、株式会社ナックイメージテクノロジー社のアイマークレコーダＥＭＲ－９（登録商標）、アイマークアプリケーション・ソフトウェアＥＭＲ－ｄＴａｒｇｅｔ（登録商標）のそれぞれが販売されている。

　また、店舗や展示場などの陳列空間での観察対象に対する視線計測を行う事例においては、観察者が注視する注視箇所の集計結果を当該陳列空間における観察対象面を撮像して得られた画像上に示す場合が多い。例えば、店舗において観察対象が陳列してある陳列棚の正面を観察対象面として用い、その画像に、観察者が注視した注視点の分布や視線移動経路などをプロットして用いている。このため、視線計測機能と、陳列空間内での観察者の頭部の位置や方向を計測する３次元センサとを組み合わせることにより、視線計測データが指し示す観察者が注視する注視箇所を特定する方法も考案されている。

　陳列空間の３次元形状を数値データで再現する方法として、陳列空間を異なる方向から撮像した複数の多視点撮像画像から陳列空間の３次元形状データを生成する方法が知られている。そして、生成された３次元形状データの上に、多視点撮像画像をテクスチャとしてマッピングすることで、任意の視点から見た、任意の観察対象面の画像、例えば、陳列棚の正面画像を、ＣＧ（コンピュータグラフィックス）画像として再現することができる（例えば、非特許文献１参照）。例えば、そのＣＧ画像上に、注視点の分布や移動経路を示す注視点マーカーを描画すれば、観察行動の分析結果として報告用資料に用いることができる。

日本国特開平０６－１８９９０６号公報 日本国特開２０１２－１４６１９９号公報

冨山他，多視点映像生成技術の研究とアプリケーション，情報処理学会研究報告ＣＶＩＭ，［コンピュータビジョンとイメージメディア］，２００８（２７），２０７－２１４，２００８－０３－１０

　しかしながら、非特許文献１に開示された方法において、多視点撮像画像から求められる陳列空間の３次元形状データは歪みや欠損を含む場合が多い。このため、観察者が注視する観察対象を十分な精度で特定することができたとしても、ＣＧ画像は、歪みや欠損を含んだままの状態では、上述した観察行動の分析結果として報告用資料等に用いる画像として不十分な表示品質である場合が多い。

　したがって、報告書を作成する作業者は、３次元形状データやＣＧ画像の画像修正の処理を、所定の画像処理のアプリケーションを用いて手作業で行うことで、報告書などに載せる画像の表示品質を改善している。このため、報告書に掲載される画像の表示品質を改善する事は可能であるが、報告書を作成する作業には作業者に対して多大な負荷を与え、報告書の作成工程に無駄な時間を要する。

　本発明は、このような状況に鑑みてなされたもので、少ない作業負荷で、歪みや欠損の無い高品質な報告用画像を出力することができる画像処理システム、視線計測システム、画像処理方法、視線計測方法及びプログラムを提供する。

　上述した課題を解決するために、本発明の第一態様に係る画像処理システムは、観察対象の３次元形状データ（数値データ）を構成する観察対象面データ（数値データ）に近似する画像投影面データを生成する画像投影面作成部と、前記画像投影面データに対し、前記観察対象面データに対応する前記観察対象の撮像画像をテクスチャマッピングし、表示画像を生成するレンダリング処理部とを備える。

　本発明の第一態様に係る画像処理システムにおいては、前記画像投影面作成部が、前記３次元形状データの前記観察対象面データに応じた形状により、当該形状に対応する前記画像投影面データを複数設けることが好ましい。

　本発明の第一態様に係る画像処理システムにおいては、前記画像投影面作成部が、前記３次元形状データにおける観察者の観察視点に対応した前記観察対象面データに基づく位置と、当該観察対象面データに対して設けられた前記画像投影面データに基づく位置との関係を、前記観察対象面データと前記画像投影面データの各々の単位領域の強調表示により示すことが好ましい。

　本発明の第一態様に係る画像処理システムにおいては、前記画像投影面作成部が、前記観察対象面データに基づく位置と前記画像投影面データに基づく位置との関係を、前記観察対象面データ及び前記画像投影面データの各々の前記単位領域の階調度によって強調表示することが好ましい。

　本発明の第一態様に係る画像処理システムにおいては、前記画像投影面作成部が、前記観察対象面データに基づく位置と前記画像投影面データに基づく位置との関係を、前記観察対象面データ及び前記画像投影面データの各々の前記単位領域の表示色によって強調表示することが好ましい。

　本発明の第一態様に係る画像処理システムにおいては、前記画像投影面作成部が、前記観察対象面データと前記画像投影面データとの対応する画素毎の前記３次元空間における距離を元にした統計処理により、前記観察対象面データに基づく位置に対して前記画像投影面データに基づく位置が所定の位置に配置するように、前記画像投影面データを生成することが好ましい。

　本発明の第二態様に係る視線計測システムは、上述の第一態様に係る画像処理システムを備えており、前記画像投影面データに対し、観察者が注視する注視箇所を表示する。

　本発明の第三態様に係る画像処理方法は、画像投影面作成部によって、観察対象の３次元形状データの観察対象面データに近似する画像投影面データを生成する画像投影面作成過程と、レンダリング処理部によって、前記画像投影面データに対し、前記観察対象面データに対応する前記観察対象の撮像画像をテクスチャマッピングし、表示画像を生成するレンダリング処理過程とを含む。

　本発明の第四態様に係る視線計測方法は、上述の第三態様に係る画像処理方法を含んでおり、前記画像投影面データに対し、観察者が注視する注視箇所を表示する。

　本発明の第五態様に係るプログラムは、コンピュータを、観察対象の３次元形状データの観察対象面データに近似する画像投影面データを生成する画像投影面作成部、前記画像投影面データに対し、前記観察対象面データに対応する前記観察対象の撮像画像をテクスチャマッピングし、表示画像を生成するレンダリング部として動作させる。

　本発明の第六態様に係るプログラムは、コンピュータを、観察対象の３次元形状データの観察対象面データに近似する画像投影面データを生成する画像投影面作成部、前記画像投影面データに対し、前記観察対象面データに対応する前記観察対象の撮像画像をテクスチャマッピングし、表示画像を生成するレンダリング部、前記画像投影面データに対し、観察者が注視する注視箇所を表示する表示部を制御する制御部として動作させる。

　以上説明したように、本発明の態様によれば、少ない作業負荷で、歪みや欠損の無い高品質な報告用画像を出力することができる画像処理システム、視線計測システム、画像処理方法、視線計測方法及びプログラムを提供することができる。

本発明の第１実施形態に係る視線計測システムの構成例を示すブロック図である。 撮像データ記憶部１７に書き込まれて記憶されている事前撮像画像のテーブルの構成例を示す図である。 第１実施形態における画像投影面作成部１２による画像投影面データの生成処理を説明する概念図である。 第１実施形態における画像投影面作成部１２による画像投影面データの生成処理を説明する概念図である。 投影画像データ記憶部１９に書き込まれて記憶されているレンダリング条件テーブルの構成例を示す図である。 画像投影面データに対する事前撮像画像の画像データのマッピングを説明する概念図である。 画像投影面データに対する事前撮像画像の画像データのマッピングを説明する概念図である。 画像投影面データに対する事前撮像画像の画像データのマッピングを説明する概念図である。 ３次元形状データにおける観察対象面データの凹凸を有するポリゴンの上に直接に事前撮像画像をマッピングして作成した報告用画像の一例を示す図である。 ３次元形状データにおける観察対象面データに対応して形成した画像投影面データに事前撮像画像をマッピングして作成した報告用画像の一例を示す図である。 画像投影面データに基づく位置と、３次元形状データの観察対象面データに基づく位置との距離の調整を説明する画像である。 画像投影面データに基づく位置と、３次元形状データの観察対象面データに基づく位置との距離の調整を説明する画像である。 ３次元形状データの観察対象面データに基づく位置と、この観察対象面データに対応する画像投影面データに基づく位置との距離差を示す濃淡画像の一例を示す図である。 ３次元形状データの観察対象面データに基づく位置と、この観察対象面データに対応する画像投影面データに基づく位置との距離差を示す濃淡画像の一例を示す図である。 本発明の第１実施形態に係る視線計測システムにおける報告用画像の生成の処理の動作例を示すフローチャートである。 本発明の第２実施形態における画像投影面作成部１２による画像投影面の生成処理を説明する概念図である。 報告用画像において３次元形状データに基づく位置と画像投影面データに基づく位置との位置合わせを行う際に用いる画像領域の設定を説明する図である。 画像投影面作成部１２の行う画像投影面データに基づく位置と３次元形状データの観察対象面データに基づく位置との調整を説明する概念図である。 画像投影面作成部１２の行う画像投影面データに基づく位置と３次元形状データの観察対象面データに基づく位置との調整を説明する概念図である。 画像投影面作成部１２の行う画像投影面データに基づく位置と３次元形状データの観察対象面データに基づく位置との調整を説明する概念図である。 本発明の第３実施形態に係る視線計測システムにおける観察対象面データに基づく位置及び画像投影面データに基づく位置との調整処理の動作例を示すフローチャートである。

＜第１実施形態＞
　以下、本発明の第１実施形態について、図面を参照して説明する。
　図１は、第１実施形態に係る視線計測システムの構成例を示すブロック図である。図１において、視線計測システムは、画像処理装置１、撮像装置２、利用者観測装置３、視線計測装置４及び表示装置５の各々を備えている。画像処理装置１は、３次元空間再構成部１１、画像投影面作成部１２、撮像方向ベクトル変換部１３、レンダリング条件設定部１４、レンダリング処理部１５、画像出力部１６、撮像データ記憶部１７、グローバル座標系データ記憶部１８、投影画像データ記憶部１９の各々を備えている。
　撮像装置２は、ＣＣＤ（Ｃｈａｒｇｅ　Ｃｏｕｐｌｅｄ　Ｄｅｖｉｃｅ）あるいはＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ　Ｍｅｔａｌ　Ｏｘｉｄｅ　Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などのイメージセンサを用いたカメラなどである。撮像装置２は、陳列空間における観察対象（物体）を含む領域を複数の異なる視点から撮像することによって静止画像を得るために用いられる。この静止画像は、事前撮像画像である。

　３次元空間再構成部１１は、複数の異なる視点方向から実際の陳列空間を撮像して得られた２次元画像である事前撮像画像から、すなわち、観察対象を含む領域を多視点から撮像することによって得られた事前撮像画像から、グローバル座標系における陳列空間の３次元形状データを再構成する。また、３次元空間再構成部１１は、撮像装置２の撮像によって得られた事前撮像画像に対して事前撮像画像識別情報を付加し、この事前撮像画像識別情報と事前撮像画像とを対応付けて撮像データ記憶部１７に記憶されている事前撮像画像テーブルに書き込んで、書き込まれた事前撮像画像テーブルを撮像データ記憶部１７に記憶させる。また、３次元空間再構成部１１は、陳列空間の３次元形状データを再構成する際、事前撮像画像毎に得られる特徴点、具体的には、カメラ撮像画像、カメラ撮像方向ベクトル、カメラ撮像座標、カメラ姿勢角、投影変換行列、の各々を、対応する事前撮像画像の事前撮像画像識別情報に対応付けて、撮像データ記憶部１７に記憶されている事前撮像画像テーブルに書き込んで、書き込まれた事前撮像画像テーブルを撮像データ記憶部１７に記憶させる。

　ここで、３次元空間再構成部１１は、特徴点の座標である特徴点座標（例えば、明度が同じように変化している箇所）を抽出する。そして、３次元空間再構成部１１は、陳列空間を多視点から撮像することによって得られた複数の事前撮像画像の間における特徴点の対応付け（マッチング処理）を行う。本実施形態においては、撮像装置２が陳列空間を撮像することによって得られた複数の２次元画像から、撮像された陳列空間の３次元形状をコンピュータ上で再現する。このように実空間の対象物の３次元形状をコンピュータ上で再現させる機能として、例えば、Ａｇｉｓｏｆｔ社のＰｈｏｔｏＳｃａｎ（登録商標）などを利用する。このマッチング処理おいては、画像の類似性、抽出した特徴点間の位置関係を利用する。３次元空間再構成部１１は、特徴点の対応関係からステレオ計測の原理により、各特徴点の３次元空間のグローバル座標系における３次元座標を求める。また、レーザ計測の手法を用いて実際の陳列空間における観察対象の３次元幾何学情報を取得し、この３次元幾何学情報からグローバル座標系における観察対象の３次元形状を示す３次元座標を求めてもよい。

　そして、３次元空間再構成部１１は、グローバル座標系内に配置された各座標点を頂点として、座標点の間に面を割り当てることで多面体（ポリゴンの集合体）を形成して、再生される３次元画像データの外表面を形成する。ここで、３次元形状データのデータ構造は、ポリゴンの集合体としての多角形でなく、点群データ及びボリュームデータなど３次元形状を表現できるデータ形式であればいずれでも良い。ここで、３次元形状データとは、実際の陳列空間における陳列棚及びこの陳列棚に陳列された陳列物（観察対象）を含む３次元形状の物体を示すデータ（例えば、座標値などで示される座標データ）を示している。３次元空間再構成部１１は、作成したグローバル座標系に再構成した陳列空間の３次元形状データを、グローバル座標系データ記憶部１８に書き込んで記憶させる。

　図２は、撮像データ記憶部１７に書き込まれて記憶されている事前撮像画像のテーブルの構成例を示す図である。図２には、事前撮像画像毎に、事前撮像画像識別情報、撮像画像アドレス、特徴点データ、カメラ撮像座標、カメラ撮像方向ベクトル、カメラ姿勢角、画像投影変換行列の各々が撮像データ記憶部１７に書き込まれて記憶されている。ここで、事前撮像画像識別情報は、事前撮像画像を識別する識別情報である。撮像画像アドレスは、事前撮像画像が記憶されているアドレスを示している。特徴点データは、例えば、事前撮像画像におけるＲＧＢ（Ｒｅｄ　Ｇｒｅｅｎ　Ｂｌｕｅ）の階調度及びその座標点などの特徴点を示すデータである。カメラ撮像座標は、事前撮像画像を取得した際の撮像装置２のグローバル座標系における座標の位置を示している。カメラ撮像方向ベクトルは、事前撮像画像を取得した際における撮像装置２の撮像方向を示すベクトルである。カメラ姿勢角は、事前撮像画像を取得した際における撮像装置２の姿勢角である。画像投影変換行列は、グローバル座標系における座標を、事前撮像画像上に投影してプロットする座標変換に用いる行列である。

　図１に戻り、画像投影面作成部１２は、操作者が入力する観察者の観察視点（後述）に対応する３次元形状の面に対してレンダリングを行い、画像投影面データ（凹凸の少ない平滑な面）を作成する。
　図３Ａ及び図３Ｂは、第１実施形態における画像投影面作成部１２による画像投影面データの生成処理を説明する概念図である。図３Ａ及び図３Ｂは、３次元形状データを構成する観察対象面データに基づく位置と、画像投影面データに基づく位置との関係が明確となるように、画像投影面データと３次元形状データの観察対象面データとを上部から俯瞰した図としている。図３Ａは、操作者が３次元空間における画像投影面データを設定する初期設定を説明する図である。図３Ｂは、観察者の観察視点に対応した３次元形状データの観察対象面データに基づく面の位置に対し、この観察面データに対して最も適切な位置に画像投影面データに基づく面を配置させる配置処理を説明する図である。観察対象面データに基づく位置とは、観察者が観察する視点である観察視点から見た物体を示す３次元形状データで表される表面である。画像投影面データに基づく位置とは、観察対象面データに含まれる凹凸（凹凸成分）を低減して近似した仮想的な面であり、観察者が観察する視点から見た３次元形状データのテクスチャデータとして、事前撮像画像の画像データをマッピングしてレンダリングを行う面を示している。これにより、３次元形状データの観察対象面データに対して事前撮像画像の画像データをマッピングする場合に比較して、観察者が観察する表示画像における画像歪みや画素の欠損などの発生を防止し、表示画像の品質を向上させることができる。
　以下の説明では、観察対象面データで表される面を、単に、「観察対象面」とする場合がある。また、画像投影面データで表される面を、単に、「画像投影面」と称する場合がある。また、３次元形状データで表される形状体を、単に、「３次元形状体」と称する場合がある。

　図３Ａに示すように、操作者は、３次元空間において、観察対象の３次元形状体６００における観察対象面６００Ａを観察する観察視点６０２の位置及び角度を指定する。これにより、画像投影面作成部１２は、観察視点６０２から広がっている観察視野６０３に合わせて画像投影面６０１を形成する。

　次に、図３Ｂに示すように、操作者が、観察対象面６００Ａの観察に適するように、図３Ａにおける３次元形状体６００が３次元形状体６００’の位置に配置されるように、３次元形状体６００もしくは観察視点６０２及び観察視野６０３のいずれかを移動させる。さらに、３次元形状体６００の観察対象面６００Ａが画像投影面６０１とほぼ同一の平面上となる位置に画像投影面６０１を移動させる。これにより、図３Ｂに示すように、３次元形状体６００’の観察対象面６００Ａ’が画像投影面６０１に対してほぼ同一の平面上に配置される。ここで、観察対象面とは、３次元形状体６００において観察者が観察する面であり、例えば、実際の陳列棚においてペットボトルなどの商品が配列している面を指す。ここで、「同一の平面上に配置される」とは、観察対象面６００Ａ’が画像投影面６０１に対して平行に配置され、かつ画像投影面６０１が観察対象面６００Ａ’に対して接するように配置されている状態を示している。
　なお、観察視点６０２および画像投影面６０１に対する３次元形状体６００の位置および角度は、相対的な位置および相対的な角度である。このため、観察視点６０２をグローバル座標系に対して固定して３次元形状体６００および画像投影面６０１を移動あるいは回転する場合、逆に３次元形状体６００をグローバル座標系に対して固定して観察視点６０２および画像投影面６０１を移動あるいは回転する場合、のいずれの方法でも処理を行うことは可能である。表示上、上述した２つの場合の両者には違いはない。本実施形態では３次元形状体６００をグローバル座標系に対して固定し、観察視点６０２および画像投影面６０１を移動あるいは回転させることによって相互の位置関係を設定する場合を説明する。

　ここで、観察視点６０２から画像投影面６０１に向けて広がる観察視野６０３に含まれる３次元形状の観察対象面６００Ａ’をレンダリングし、レンダリングされた観察対象面のＣＧ画像を報告用画像として用いる。この図３Ｂにおいて、３次元形状体６００の表面における観察対象面６００Ａ’は、観察視野６０３の範囲についてほぼ平面と見なされる。このため、本実施形態においては、凹凸のある観察対象面に対応させて、単一の平面である画像投影面６０１を設定する。
　一般に、平面と見なせる陳列棚などの上に注視箇所を示す注視点マーカーを表示する場合、実際の陳列空間における観察対象となる面になるべく正対して撮像して得られた事前撮像画像を、報告用画像を作成する際のテクスチャマッピングに用いる。

　このため、本実施形態では、画像投影面６０１は観察視点６０２と常時正対した状態で観察視点６０２と画像投影面６０１との距離のみを調整する。ただし、本発明は、この実施形態に限定しない。例えば、傾斜した陳列面、すなわち観察視点から観た３次元空座標の奥行き方向に対して傾きを有する観察対象面に基づく角度データに対応させ、この観察対象面を近似できるように画像投影面６０１の角度を調整する機能を備えても良い。図３Ａ及び図３Ｂで示したように、３次元形状体６００は、画像投影面６０１に対応させて相対的に６自由度で任意の角度と位置に調整が可能である。上述したように、陳列面の３次元形状が観察視点から観て３次元座標の奥行き方向に所定の角度を有している場合、この陳列面に対応する画像投影面に対して３次元形状に合わせた角度を持たせても良い。

　なお、上述した実施形態においては、観察視点６０２、観察視野６０３および画像投影面６０１の位置の調整は操作者の手作業で行う場合を説明したが、本発明は、この実施形態に限定されない。後述するように、画像投影面作成部１２やレンダリング条件設定部１４を用いて、観察視点６０２、観察視野６０３および画像投影面６０１の位置を自動で調整することも可能である。
　例えば、レンダリング条件設定部１４では、観察対象面が観察視点６０２に正対し、観察対象範囲が観察視野６０３に収まるように、観察視点６０２の角度と位置を調整し、３次元形状体６００’が観察視点６０２に対して図３Ｂに示す位置となるように調整する。
　そして、画像投影面作成部１２では、画像投影面６０１と観察視点６０２との距離を調整し、調整後の３次元形状体６００’における観察対象面と一致するように調整する。

　図１に戻り、撮像方向ベクトル変換部１３は、サンプリングされた（観察視点６０２において撮像された）カメラ座標系におけるカメラ撮像方向ベクトル及びカメラ姿勢角を撮像データ記憶部１７に書き込んで記憶させる。
　また、撮像方向ベクトル変換部１３は、求めたカメラ座標系における３次元空間において検出されたカメラ撮像方向ベクトルを、カメラ姿勢角を用いてカメラ座標系からグローバル座標系に座標変換する。そして、撮像方向ベクトル変換部１３は、カメラ撮像方向ベクトルを、撮像した撮像画像の撮像画像識別情報に対応させて、撮像データ記憶部１７に記憶されている事前撮像画像テーブルに書き込んで記憶させる。

　レンダリング条件設定部１４は、操作者が入力操作により設定した、観察者の視点を示す視点座標、３次元形状データの表示モード、観察者の視点の回転角度、注視点マーカーの有無を示すフラグを含むレンダリング条件の設定を行う。視点座標とは、３次元形状データにおける観察対象面を注視する観察者の観察視点を示す座標である。表示モードとは、３次元形状データをそのまま表示するモード、ポリゴン形状で表示するモード、あるいは特徴点の点群で表示するモードなどの表示モードの設定を示す情報である。回転角度とは、観察者の視点を回転させた角度を示している。例えば、３次元形状体６００が配置された３次元空間において、図３Ａの３次元形状体６００が観察者の視点の回転前の状態とすれば、当該３次元形状体６００の観察対象面６００Ａと、図３Ｂの３次元形状体６００’の観察対象面６００Ａ’とのなす角度に対応付けられる。注視点マーカーの有無を示すフラグは、観察対象面６００Ａ’に対応する、事前撮像画像の画像データを用いてレンダリングされた画像投影面６０１に対し、観察者が注視する注視点マーカーを付加するか否かを示すデータである。

　図４は、投影画像データ記憶部１９に書き込まれて記憶されているレンダリング条件テーブルの構成例を示す図である。レンダリング条件テーブルにおいては、報告書画像情報に対応して、観察視点座標、表示モード、回転角度及び注視点マーカー有無フラグの各々を含むレンダリング条件が書き込まれて記憶されている。報告書画像情報は、報告書に添付する画像データを識別するための識別情報である。ここで、報告書画像は、対応する報告書画像情報が示すレンダリング条件によって、観察対象面が事前撮像画像の画像データを用いてレンダリングされることにより作成される。

　表示モードとは、報告書画像として用いる３次元形状データを、そのまま表示するモード、ポリゴン形状で表示するモード、あるいは特徴点の点群で表示するモードなどの表示モードの設定を示す情報である。回転角度とは、報告書画像を生成する観察視点を回転させた角度を示している。例えば、３次元形状体６００が配置された３次元空間において、図３Ａの３次元形状体６００の観察対象面６００Ａと、図３Ｂの３次元形状体６００’の観察対象面６００Ａ’とのなす角度に対応する。注視点マーカーの有無を示すフラグは、報告書画像として用いる３次元形状体６００’の観察対象面６００Ａ’に対応する、事前撮像画像の画像データを用いてレンダリングされた画像投影面６０１に対し、観察者が注視する注視点マーカーを付加するか否かを示すデータである。

　図１に戻り、レンダリング処理部１５は、例えば、観察視点の回転角度及び座標に近いカメラ姿勢角及びカメラ撮像座標を有する事前撮像画像を報告書用候補画像として、撮像データ記憶部１７に記憶されている事前撮像画像テーブルから抽出する。そして、レンダリング処理部１５は、抽出した事前撮像画像を、そのカメラ撮像座標とカメラ姿勢角および投影変換行列を用いて、画像投影面に投影するレンダリング処理を行い画像データを生成する。ここで、レンダリング処理部１５は、上記投影変換行列は、撮像データ記憶部１７に記憶されている事前撮像画像テーブルから、事前撮像画像に対応して読み出す。

　画像出力部１６は、レンダリング処理部１５がレンダリング処理を行って生成した、２次元平面の画像投影面に投影した２次元画像である３次元形状データを構成する観察対象面データに基づく表示画像を、投影画像データ記憶部１９に書き込んで記憶させる。
　また、画像出力部１６は、３次元形状データと事前撮像画像がレンダリング（後述のテクスチャマッピング）された観察対象面とを、表示装置５の２次元平面である表示画面に投影した２次元画像として表示する。
　また、画像出力部１６は、レンダリング条件における注視点マーカーの有無を示すフラグが注視点マーカー有りである場合、後述する視線計測装置４が求めた３次元形状データの表面上における観察者が注視する注視箇所を注視点マーカーとして、同様の投影変換行列を用いて、３次元形状データ及び画像投影面とともに上記表示画面上の２次元画像に投影する。

　撮像データ記憶部１７は、事前撮像画像の撮像データと、図２に示した事前撮像画像テーブルとが書き込まれて記憶されている。
　グローバル座標系データ記憶部１８は、グローバル座標系における３次元形状データが書き込まれて記憶されている。
　投影画像データ記憶部１９は、図４に示すレンダリング条件テーブルと、３次元形状データを構成する観察対象面データに基づく表示画像とが書き込まれて記憶されている。

　利用者観測装置３は、観察者の頭部に装着されることで固定されている。例えば、利用者観測装置３は、観察者が注視箇所の検出を行う実験において被るヘルメットなどに固定されて取り付けられており、利用者撮像部３１及び利用者視線計測部３２の各々を備えている。
　利用者撮像部３１は、例えば、ＣＣＤ（ｃｈａｒｇｅ　ｃｏｕｐｌｅｄ　ｄｅｖｉｃｅ）またはＣＭＯＳ（ｃｏｍｐｌｅｍｅｎｔａｒｙ　ｍｅｔａｌ　ｏｘｉｄｅ　ｓｅｍｉｃｏｎｄｕｃｔｏｒ）のイメージセンサなどを用いたビデオカメラであり、陳列空間を移動する観察者の顔の向いている方向（観察者の頭部前方）の動画（映像）、すなわち陳列空間における観察者の視野の画像データ（視野画像）を撮像する。この利用者撮像部３１としては、観察者の視野の映像が得られる装置（手段）であれば、ビデオカメラではなく視線計測データから求めた停留点に対応する視野の画像データを撮像するスチルカメラを用いても良い。

　利用者視線計測部３２は、例えば、前記ヘルメットに固定される固定アイカメラを有し、利用者撮像部３１の視野画像のカメラ座標系における、観察者の視線方向を示す眼球画像を取得して視線方向を求める。すなわち、利用者視線計測部３２は、視線計測データから観察者の視線方向を示す視線方向ベクトルを検出する。この眼球画像は、例えば、観察者の眼球画像内の瞳孔の中心の情報を含んでいる。

　視線計測装置４は、３次元形状データにおける観察者が注視する注視点として注視箇所を求めて、３次元座標系における注視箇所の座標を出力する。

　表示装置５は、操作者によって生成された３次元形状データを構成する観察対象面データに基づく表示画像を、表示画面に対して画像表示する。

　図５Ａ～図５Ｃは、画像投影面に対する事前撮像画像の画像データのマッピングを説明する概念図である。図５Ａは、撮像装置５０３と撮像装置５０５との２台で撮像して得られた事前撮像画像の各々と、画像投影面５００の画像投影面領域５０１との対応関係を示している。
　図５Ｂは、撮像装置５０３が撮像して得られた事前撮像画像５０７と、画像投影面５００に対して設けられた画像投影面領域５０１との対応関係を示している。
　図５Ｃは、撮像装置５０５が撮像して得られた事前撮像画像５０９と、画像投影面５００に対して設けられた画像投影面領域５０１との対応関係を示している。
　ここで、歪みや欠損が従来に比較して目立たない報告書画像を作成するためには、なるべく観察対象面に対応する画像投影面５００に対して正対して撮像された事前撮像画像を選択して用いることが望ましい。

　図５Ａに示されているように、３次元形状データの画像投影面５００に対して設けられた画像投影面領域５０１の一部の領域が撮像装置５０３の撮像視野５０４に含まれ、画像投影面領域５０１の他の一部の領域が撮像装置５０５の撮像視野５０６に含まれている。また、画像投影面領域５０１は、観察者の観察視点６０２からの観察視野５０２に含まれる画像投影面５００における画像投影面領域５０１に対応して設けられている。このため、図５Ｂに示されているように、事前撮像画像５０７には、画像投影面領域５０１の一部分である画像投影面領域５０１Ａが含まれている。同様に、図５Ｃに示されているように、事前撮像画像５０９には、画像投影面領域５０１の他の一部分である画像投影面領域５０１Ｂが含まれている。

　したがって、画像投影面領域５０１Ａに対応する事前撮像画像５０９の画像データと、画像投影面領域５０１Ｂの画像データとを重ね合わせて、画像投影面５００のマッピングに用いることにより、この画像投影面５００上に欠損の無い観察対象面の表面の画像を得ることができる。
　ここで、レンダリング処理部１５は、観察者視点（観察視点）６０２からの観察視野５０２の観察ベクトル方向と近い、カメラ撮像方向ベクトルを有する事前撮像画像を、撮像データ記憶部１７に記憶されている事前撮像画像テーブルから検索する。

　そして、レンダリング処理部１５は、撮像装置５０３及び撮像装置５０５の各々の事前撮像画像５０７、事前撮像画像５０９それぞれを、撮像データ記憶部１７に記憶されている事前撮像画像テーブルから読み出す。このとき、レンダリング処理部１５は、事前撮像画像５０７及び事前撮像画像５０９の各々に対応するカメラ座標位置、カメラ姿勢角、投影変換行列それぞれも、撮像データ記憶部１７に記憶されている事前撮像画像テーブルから読み出す。
　次に、レンダリング処理部１５は、カメラ座標位置、カメラ姿勢角、投影変換行列を用いて、観察視野５０２の座標における画像投影面領域５０１の画像投影面領域５０１Ａ（四角形）の頂点座標を求める。同様に、レンダリング処理部１５は、カメラ座標位置、カメラ姿勢角、投影変換行列を用いて、観察視野５０２の座標における画像投影面領域５０１の画像投影面領域５０１Ｂ（四角形）の頂点座標を求める。

　レンダリング処理部１５は、上述して求めた画像投影面領域５０１Ａの頂点座標により、事前撮像画像５０７のデータから画像投影面領域５０１Ａに対応する領域の領域Ａ画像データを抽出し、また、画像投影面領域５０１Ｂの頂点座標により、事前撮像画像５０９のデータから画像投影面領域５０１Ｂに対応する領域の領域Ｂ画像データを抽出する。そして、レンダリング処理部１５は、抽出した領域Ａ画像データ及び領域Ｂ画像データの各々を画像投影面領域５０１に対してテクスチャマッピングしてレンダリング処理を行う。このとき、レンダリング処理部１５は、領域Ａ画像データ及び領域Ｂ画像データの各々を異なるレイヤーにより、画像投影面領域５０１に対してテクスチャマッピングする。このため、領域Ａ画像データ及び領域Ｂ画像データの重なる部分の画質に応じて、いずれかのレイヤーで実際の報告用画像を作成するかは操作者が任意に設定することができる。

　図６は、３次元形状データにおける観察対象面データの凹凸成分（凹凸データ、以下、単に、「凹凸」と称する場合がある）を有するポリゴンの上に直接に事前撮像画像をマッピングして作成した報告用画像の一例を示している。図中における円状のマーク１００２は、観察者が注視する注視箇所を示す注視点マーカーを示している。
　図６から判るように、凹凸を有するポリゴンの上に直接に事前撮像画像をマッピングした場合、観察視点から見た際に凹凸における影となる部分の画素データが報告書画像に反映されないため、領域１０００にある白抜きの部分として観察される画素データの欠損や、領域１００１における画像の歪みなどが散見され、報告用画像の品質が低い状態である。このため、図６の画像を報告用画像として用いるには、品質的に問題があり、実際には使用することができない。

　図７は、３次元形状データにおける観察対象面に対応して形成した画像投影面に事前撮像画像をマッピングして作成した報告用画像の一例を示している。図中における円状のマーク１００２は、図６と同様に、観察者が注視する注視箇所を示す注視点マーカーを示している。
　図７から判るように、本実施形態においては、図５Ａ～図５Ｃで説明した処理を用いて画像投影面に事前撮像画像をマッピングすることにより、図６における領域１０００における画素データの欠損や、領域１００１における画像の歪みなどが観察される問題が無くなり、報告用画像の品質を向上させることができる。このため、図７の画像が報告用画像として十分な品質を有しており、有効に使用することができる。

　以下、画像投影面作成部１２が行う画像投影面と、３次元形状データの観察対象面との距離の調整について説明する。この画像投影面の位置の調整は、以下の４通りがある。
　調整方法Ａ．テクスチャマッピングした画像投影面と観察対象面との比較表示
　調整方法Ｂ．画像投影面と観察対象面との距離を表示画像の濃淡（階調度）で表示
　調整方法Ｃ．画像投影面と観察対象面との距離を表示画像の色で表示
　調整方法Ｄ．画像投影面と観察対象面との表示色を異ならせて表示
　上記４種類の調整方法を順次説明する。調整方法Ａは主として画像投影面と観察対象面との距離調整に用い、調整方法Ｂ、調整方法Ｃ及び調整方法Ｄの各々は主として画像投影面と観察対象面とを平行とする調整に用いる。

　・調整方法Ａの説明
　３次元形状データの観察対象面に対して事前撮像画像をテクスチャマッピングした参照画像と、この観察対象面に対応する画像投影面に対して事前撮像画像をテクスチャマッピングした報告用画像とを重畳表示して比較する。ここで、参照画像と報告用画像との各々は、半透明の画像として重畳表示とする。この参照画像と報告用画像との半透明とした重畳表示は、レンダリング条件における表示モードで設定する。
　３次元形状データの観察対象面に事前撮像画像がマッピングされた参照画像は、観察対象面に対応して設けられた画像投影面とは無関係に、注視箇所と同一の座標系で対応付けられている。一方、画像投影面に事前撮像画像がマッピングされた報告用画像は、画像投影面と観察視点との距離により、表示上の大きさが変化するため、画像投影面が観察対象面に対して一致していない場合、注視箇所を示す注視マーカーの位置ずれが発生する。

　図８は、画像投影面と、３次元形状データの観察対象面との距離の調整を説明する画像である。図８においては、３次元形状データの観察対象面のポリゴンに対して事前撮像画像をテクスチャマッピングした参照画像と、画像投影面に対して事前撮像画像をテクスチャマッピングした報告用画像とを重畳表示している。画像投影面が観察対象面に対して一致していない場合、参照画像と報告用画像とにおける各画像の位置ずれが発生する。
　この図８においては、画像投影面と観察対象面との位置が大きくずれている、すなわち画像投影面と観察対象面との距離が離れているため、参照画像と報告用画像とが２重像として観察されている。

　図９は、画像投影面と、３次元形状データの観察対象面との距離の調整を説明する画像である。図９においては、図８と同様に、３次元形状データの観察対象面のポリゴンに対して事前撮像画像をテクスチャマッピングした参照画像と、画像投影面に対して事前撮像画像をテクスチャマッピングした報告用画像とを重畳表示している。画像投影面が観察対象面に対して一致している場合、参照画像と報告用画像とにおける各画像の位置ずれが発生しない。
　この図９においては、画像投影面と観察対象面との位置が一致している、すなわち画像投影面と観察対象面との距離がほぼ０に近いため、参照画像と報告用画像とが２重像として観察されない。

　調整方法Ａにおいては、図８の参照画像と報告用画像との重畳した画像における２重像が少なくなるように、操作者が観察視点と３次元形状データを互いに平行移動あるいは回転させることにより、画像投影面に対する観察対象面の位置を調整する。この位置の調整毎に、画像投影面作成部１２及びレンダリング条件設定部１４が投影画像面の観察対象面に対する相対位置を、操作者の調整した数値（距離、角度）に対応して変化させ、レンダリング処理部１５が調整後の観察対象面に対して事前撮像画像のテクスチャマッピングを行う。操作者は、上述した調整方法Ａにより、観察対象面の位置の調整処理を行うことにより、観察対象面と画像投影面との面を一致させ、報告用画像を生成する。

　・調整方法Ｂの説明
　３次元形状データの観察対象面と、この観察対象面に対応する画像投影面との距離差を階調画像として画像表示する（濃淡画像の表示）。ここで、画像投影面作成部１２は、表示画素毎に、観察対象面と画像投影面との距離を求め、階調度の範囲において中央値の階調度を観察対象面と画像投影面との距離が観察対象面中央での距離に等しい点、または観察対象面と画像投影面とが一致した点（距離が０）に付与する。また、観察対象面が画像投影面に対して奥側に移動するほど高い階調度（淡色）を付与する。一方、観察対象面が画像投影面に対して手前側に移動するほど低い階調度（濃色）を付与する。

　上述した表示により、観察対象面と、この画像投影面に対応する観察対象面との距離差を示す濃淡画像において、濃淡画像の左右上下における濃淡のバランスが取れていれば、濃淡画像の全面における画像の濃淡分布が一様となる。
　したがって、操作者は、濃淡画像の全面における画像の濃淡が階調度の範囲の中央の階調度の近傍でバランスが取れるように、操作者が観察視点と３次元形状データを相互に平行移動あるいは回転させることにより、画像投影面に対する観察対象面の位置と角度を調整する。

　図１０は、観察対象面と、この観察対象面に対応する画像投影面との距離差を示す濃淡画像の一例を示す図である。図１０においては、陳列棚における向かって右側の画像が濃色で表示され、一方、向かって左側の画像が淡色で表示される傾向がある。これは、観察対象面の右側が画像投影面に対して手前側に、観察対象面の左側が画像投影面に対して奥側に傾いていることを示している。これにより、画像投影面に対応する観察対象面との距離差を示す濃淡画像において、濃淡画像の左右上下における濃淡のバランスが取れておらず、濃淡画像の全面における画像の濃淡が均一となっておらず、観察対象面と画像投影面とが平行となっていないことを直感的に判定することができる。

　図１１は、観察対象面と、この観察対象面に対応する画像投影面との距離差を示す濃淡画像の一例を示す図である。図１１においては、陳列棚における向かって右側の画像と、向かって左側の画像との濃淡のバランスが取れていることが判る。また、同様に、陳列棚における向かって上側の画像と、向かって下側の画像との濃淡のバランスも取れていることが判る。これは、観察対象面と画像投影面とがほぼ平行となり、画像投影面に対して観察対象面が傾いていないことを示している。これにより、画像投影面に対応する観察対象面との距離差を示す濃淡画像において、濃淡画像の左右上下における濃淡のバランスが取れており、濃淡画像の全面における画像の濃淡が均一となり、観察対象面と画像投影面とがほぼ平行であることを直感的に判定することができる。

　調整方法Ｂにおいては、図１０の画像投影面と観察対象面との距離が全面にわたって均一となり、濃淡画像の全面における濃淡の差が少なくなるように、操作者が観察視点と３次元形状データを互いに平行移動あるいは回転させることにより、画像投影面に対する観察対象面の位置を調整する。この位置の調整毎に、画像投影面作成部１２が投影画像面の観察対象面に対する相対位置を、操作者の調整した数値（距離、角度）に対応して変化させ、レンダリング処理部１５が調整後の観察対象面に対して事前撮像画像のテクスチャマッピングを行う。操作者は、上述した調整方法Ｂにより、観察対象面の位置の調整処理を行うことにより、観察対象面と画像投影面との面を一致させ、報告用画像を生成する。

　・調整方法Ｃの説明
　３次元形状データの観察対象面と、この観察対象面に対応する画像投影面との距離差をカラー画像として画像表示する。ここで、画像投影面作成部１２は、観察対象面の画素に対応する画像投影面の画素との距離を求め、所定の第１の色（例えば、黄色）を観察対象面と画像投影面とが一致した点（距離が０）に付与する。また、観察対象面が画像投影面に対して奥側となる領域に対して、上記第１の色と異なる所定の第２の色（例えば、赤色）を付与する。一方、観察対象面の特徴点が画像投影面に対して手前側となる領域に対して、上記第１の色及び第２の色と異なる所定の第３の色（例えば、青色）を付与する。

　上述した表示により、観察対象面と、この観察対象面に対応する画像投影面との距離差を示すカラー画像において、カラー画像の全面において黄色の領域の分布が多いほど観察対象面と画像投影面とが一致していることとなる。
　したがって、操作者は、濃淡画像の全面における画像の黄色の領域が主要な観察対象と一致するように、操作者が観察視点と３次元形状データを互いに平行移動あるいは回転させることにより、画像投影面に対する観察対象面の位置を調整する。

　・調整方法Ｄの説明
　３次元形状データの観察対象面と、この観察対象面に対応する画像投影面とを異なる色で表示する（カラー画像の表示）。ここで、画像投影面作成部１２は、観察対象面の画素を所定の第１の色（例えば、青色）により表示する。また、画像投影面の画素を所定の第２の色（例えば、赤色）で表示する。これにより、観察対象面が画像投影面に対して手前側にあれば、観察対象面が手前にあるため青色が表示される。一方、観察対象面が画像投影面に対して奥側にあれば、画像投影面が手前にあるため赤色が表示される。

　上述した表示により、観察対象面と、この観察対象面に対応する投影画像面とカラー画像において、赤色の領域と青色の領域とが左右上下において適切に分布するように、画像投影面に対する観察対象面の角度を調整する。
　すなわち、操作者は、カラー画像の全面における青色の領域及び赤色の領域の各々の分布のバランスが取れるように、操作者が観察視点と３次元形状データを互いに平行移動あるいは回転させることにより、画像投影面に対して観察対象面が平行となるように、３次元形状データの位置を調整する。

　次に、本実施形態に係る視線計測システムにおける報告用画像の生成の処理を説明する。図１２は、第１実施形態に係る視線計測システムにおける報告用画像を生成する処理の動作例を示すフローチャートである。以下の処理は、視線計測装置が３次元形状データの観察対象面における注視箇所の特定が行われていることを前提として説明する。また、撮像装置２は、撮像して得られた事前撮像画像の画像データを、撮像した際の各パラメータ（撮像データ記憶部１７における事前撮像画像テーブルの各パラメータ）とともに撮像データ記憶部１７に書き込んで記憶させる。また、３次元空間再構成部１１は、事前撮像画像と、この事前撮像画像に対応する事前撮像画像テーブルの各パラメータとから、３次元形状データを生成し、生成した３次元形状データをグローバル座標系データ記憶部１８に書き込んで記憶させている。以下の説明の位置合わせにおいては、調整方法Ａ（距離調整に対応）及び調整方法Ｂ（観察対象面と画像投影面との距離が観察対象面中央での距離に等しい点を中間色として角度調整に対応）の各々を用いている。

　ステップＳ１１：
　画像投影面作成部１２は、操作者が入力するレンダリング条件に基づき、報告用画像の作成に用いる３次元形状データ及び注視箇所の座標点（３次元空間）を読み込む。
　ここで、レンダリング条件とは、図４に示す観察視点座標、表示モード、回転角度、注視点マーカーの有無などである。表示モードは、３次元形状データの表示方法と、いずれの調整方法を用いるかを示す条件である。本説明において、例えば、操作者は、３次元形状データの観察対象面をポリゴンで表示し、かつ観察対象面と画像投影面との距離を画像投影面中央部での距離を中間値として濃淡で表示する表示モードとする。

　ステップＳ１２：
　画像投影面作成部１２は、読み込んだ３次元形状データを画像出力部１６に対して出力する。
　そして、画像出力部１６は、上記３次元形状データを表示装置５の表示画面に対して表示する。

　ステップＳ１３：
　操作者は、表示装置５の表示画面に表示されている３次元形状データに対して、不図示の入力部（キーボード或いはマウス）により観察視点、観察視点の視点方向を示す回転角度及び表示モードを設定する。
　レンダリング条件設定部１４は、設定された観察視点の３次元空間における座標である観察視点座標に対し、報告書画像情報を付加する。そして、レンダリング条件設定部１４は、報告書画像情報とともに観察視点座標と回転角度を、撮像データ記憶部１７のレンダリング条件テーブル（図４）に対して書き込んで記憶させる。

　そして、画像投影面作成部１２は、上記撮像データ記憶部１７のレンダリング条件テーブルにおける観察視点座標及び回転角度の各々に近いカメラ撮像座標、カメラ姿勢角を有する事前撮像画像を、撮像データ記憶部１７に記憶されている事前撮像画像テーブルから読み出す。
　また、画像投影面作成部１２は、観察視点座標及び観察方向角度の各々に対応する、３次元形状データの観察対象面を、画像出力部１６を介して表示装置５の表示画面に表示させる。
　また、画像投影面作成部１２は、観察対象面に対応させ画像投影面を生成し、生成した画像投影面を画像出力部１６を介して表示装置５の表示画面に表示させる（図３Ａ）。このとき、画像投影面作成部１２は、画像投影面を観察視点に対して正対するように設ける。

　ステップＳ１４：
　次に、画像投影面作成部１２は、操作者の入力したレンダリング条件に基づき、画像投影面及び観察対象面の濃淡画像を表示する。すなわち、画像投影面作成部１２は、操作者の入力したレンダリング条件に基づき、画像出力部１６を介して、表示装置５の表示画面において観察対象面と画像投影面との距離を画像投影面中央部での距離を中間値として画像投影面の各画素を濃淡で表示する。

　ステップＳ１５：
　操作者は、表示画面に表示された濃淡画像を観察し、濃淡で表示された階調全面における濃淡分布のバランスが取れるように、観察視点と３次元形状データを互いに回転させる。すなわち、画像投影面に対して観察対象面が平行となるように、観察視点座標と回転角度を調整する。ここで、操作者は、濃淡分布のバランスが取れた場合、調整終了の入力を入力部から行う。
　これにより、レンダリング条件設定部１４は、観察視点座標と回転角度を、撮像データ記憶部１７のレンダリング条件テーブルに書き込んで記憶させる。
　そして、操作者は、画像投影面に対する観察対象面の角度調整が終了したため、画像投影面に対する観察対象面の距離調整を行うため、表示モードを調整方法Ａに対応したモードに再設定する。すなわち、３次元形状データの観察対象面をポリゴンで表示させ、かつ観察対象面及び画像投影面の各々を半透明表示する表示モードとする。

　ステップＳ１６：
　レンダリング処理部１５は、テクスチャマッピングされた観察対象面及び画像投影面の各々の画像を重畳表示させる。
　このとき、レンダリング処理部１５は、３次元形状データにおける観察対象面のポリゴンに対して、抽出された事前撮像画像の画像データをテクスチャマッピングする。また、レンダリング処理部１５は、画像投影面に対して事前撮像画像の画像データをテクスチャマッピングする。
　そして、レンダリング処理部１５は、レンダリング条件に基づき、テクスチャマッピングされた観察対象面及び画像投影面との各々の画像を、半透明画像（あるいは所定の透明度に調節した画像）として重畳させ、画像出力部１６を介して、表示装置５の表示画面の２次元平面に対して２次元画像として投影させて表示する。

　ステップＳ１７：
　表示装置５の表示画面において、観察対象面及び画像投影面の各々の画像が重畳表示されると、操作者は、この重畳表示を用いて、画像投影面と観察対象面との距離の調整を行う。このとき、画像投影面と観察対象面とは平行となっているため、操作者は、観察対象面に対する画像投影面の観察視線方向の距離を調整する制御を行う。
　例えば、操作者は、図８の観察対象面及び画像投影面の各々の画像が重畳表示された画像が２重画像として観察された場合、入力部により、観察対象面に対する画像投影面の距離を、画像投影面を観察対象面に対して観察視線方向に移動させて調整する。このとき、操作者は、観察対象面に対して、画像投影面を手前方向あるいは奥方向に、所定の距離単位で移動させて、２重表示がなくなり画像が重なる距離となるように調整する。

　ステップＳ１８：
　操作者が観察対象面及び画像投影面間の距離の調整を終了する処理を行うと、レンダリング処理部１５は、３次元形状データを非表示として、画像投影面のみ、すなわち画像投影面に対して事前撮像画像がテクスチャマッピング（レンダリング）された報告用画像のみを表示する。

　ステップＳ１９：
　次に、画像出力部１６は、レンダリング条件に基づき、報告書画像に対して、視線計測装置４が求めた注視箇所を示す注視点マーカーを付加して表示する。
　すなわち、画像出力部１６は、視線計測装置４が求めた注視箇所の３次元空間における座標である注視箇所座標のなかから、３次元形状データの観察対象面上の座標に対応する注視箇所座標を抽出する。そして、画像出力部１６は、３次元空間における観察対象面に対して抽出した注視箇所座標に対して注視点マーカーを配置し、表示装置５の表示画面の２次元平面において、注視点マーカーを画像投影面に対して投影する。

　ステップＳ２０：
　操作者は、表示装置５の表示画面において、注視点マーカーと報告用画像における画像（例えば、図９に示された報告用画像における商品の外観であるペットボトルの画像などの対象画像）との位置関係を確認するチェックを行う。
　そして、操作者は、画像の注視点マーカーと位置関係に問題がない場合、すなわち注視点マーカーが対象画像と重なっている場合、入力部から処理を終了させる制御を行う。
一方、操作者は、画像の注視点マーカーと位置関係に問題がある場合、すなわち注視点マーカーが対象画像と重なっていない場合、入力部から再処理をさせる制御を行う。

　このとき、画像投影面作成部１２は、処理を終了させる制御が行われた場合、処理をステップＳ２１へ進め、一方、再処理をさせる制御が行われた場合、処理をステップＳ１３へ進める。ここで、処理をステップＳ１３に進めるのは、対象画像の位置に対して注視点マーカーの位置がずれている場合、画像投影面に対して観察対象面が平行に配置されていない場合が多いため、画像投影面と観察対象面との成す角度を調整する段階からやり直すことが合理的である。

　ステップＳ２１：
　画像出力部１６は、処理が終了された場合、報告書画像情報とともに投影画像データ記憶部１９に対して書き込んで記憶させる。

　上述したように、本実施形態においては、３次元形状データの観察対象面に対してほぼ平行となる画像投影面を設け、この画像投影面に対して事前撮像画像をテクスチャマッピングして報告用画像を生成するため、作成された報告用画像が画素の欠損あるいは画像の歪みなどの画像の品質を低下させる要因を従来に比較して低減することができる。
　これにより、本実施形態によれば、従来に比較して容易に報告用画像の品質を向上させることができる。

＜第２実施形態＞
　以下、本発明の第２実施形態に係る視線計測システムについて説明する。第２実施形態に係る視線計測システムの構成は、図１の第１実施形態と同様である。以下、第１実施形態と異なる第２実施形態係る視線計測システムの動作について説明する。
　図１３は、第２実施形態における画像投影面作成部１２による画像投影面の生成処理を説明する概念図である。
　図１３においては、３次元形状データの観察対象面と、画像投影面との位置関係が明確となるように、画像投影面と３次元形状データの観察対象面とを上部から俯瞰した図としている。

　図１３においては、観察視点６０２の観察視野６０３の範囲内における３次元形状の観察対象面に段差６５０があり、この段差６５０の凹底部面６６０と凸頂部面６７０との距離が同一の画像投影面では表現できない程度ある場合を示している。この場合、例えば、２個の画像投影面６０１＿１及び画像投影面６０１＿２を、３次元形状データ７００の観察対象面に対して設ける。すなわち、３次元形状データ７００の観察対象面において、観察対象面における段差６５０の凹底部面６６０に対して画像投影面６０１＿１を設け、凸頂部面６７０に対して画像投影面６０１＿２を設けている。

　画像投影面作成部１２は、観察対象面の凹底部面６６０に対応させて画像投影面６０１＿１を配置する。また、画像投影面作成部１２は、観察対象面の凸頂部面６７０に対応させ、画像投影面６０１＿２と平行に画像投影面６０１＿２を配置する。
　画像投影面作成部１２は、第１実施施形態で説明したように、画像投影面６０１＿２に対して観察対象面の凸頂部面６７０が平行となるように、調整方法Ｂで制御する。
　そして、レンダリング処理部１５は、画像投影面６０１＿１及び画像投影面６０１＿２の各々に対して、観察視点６０２に対応する事前撮像画像をテクスチャマッピングする。
　また、レンダリング処理部１５は、観察対象面の凹底部面６６０及び凸頂部面６７０に対しても同様に、観察視点６０２に対応する事前撮像画像をテクスチャマッピングする。

　そして、操作者は、画像出力部１６が表示装置５の表示画面に表示する、観察対象面と画像投影面との重畳された画像を観察して、３次元形状データを画像投影面に対して垂直に移動させる。また、操作者は、観察対象面の凹底部面６６０の画像と画像投影面６０１＿１の画像とが２重像とならないように一致させる調整を行う。
　次に、操作者は、画像投影面６０１＿２を観察視線方向に移動させて、観察対象面の凸頂部面６７０の画像と、画像投影面６０１＿２の画像とが２重像とならないように一致させる調整を行う。

　上述したように、本実施形態においては、観察対象面が段差の面の各々に対して、３次元形状データの観察対象面に対してほぼ平行となる画像投影面をそれぞれ設け、この画像投影面に対して事前撮像画像をテクスチャマッピングして報告用画像を生成するため、作成された報告用画像が画素の欠損あるいは画像の歪みなどの画像の品質を低下させる要因を従来に比較して低減することができる。
　これにより、本実施形態によれば、観察対象面が段差の面を有している場合でも、従来に比較して容易に報告用画像の品質を向上させることができる。

＜第３実施形態＞
　以下、本発明の第３実施形態に係る視線計測システムについて説明する。第３実施形態に係る視線計測システムの構成は、図１の第１実施形態と同様である。以下、第１実施形態と異なる第３実施形態に係る視線計測システムの動作について説明する。本実施形態においては、画像投影面と観察視点との距離、および、３次元形状データの角度調整を、操作者の操作によらず、画像投影面作成部１２及びレンダリング条件設定部１４の各々自身が行う構成となっている。
　以下の説明においては、３次元形状データの観察対象面と画像投影面との各々の距離の二乗和を最小化するように、画像投影面作成部１２及びレンダリング条件設定部１４の各々が３次元形状データ及び画像投影面の各々の位置を調整する構成について説明する。

　図１４は、報告用画像において３次元形状データと画像投影面との位置合わせを行う際に用いる画像領域の設定を説明する図である。
　図１４には、操作者の入力部からの入力操作により、報告用画像に適するように３次元形状データと観察視点との位置関係を設定した状態における３次元形状データのレンダリング結果が示されている。この図１４に示す段階においては、３次元形状データと画像投影面との位置合わせは行われていない状態である。
　３次元形状データには、床面Ａ０２、天井Ａ０３及び壁Ａ０４などの位置合わせの対象とはならない領域が含まれているため、この位置合わせの対象とはならない領域を除外するため、操作者の入力操作により、位置合わせの対象となる領域として、図１４の着目領域Ａ０１を選択して設定する。

　図１５は、画像投影面作成部１２が行う、画像投影面と３次元形状データの観察対象面との位置の調整を説明する概念図である。
　画像投影面作成部１２は、３次元形状データＢ０１の調整範囲に含まれる観察対象面に対して、観察視点Ｂ０４の観察視野Ｂ０７に含まれる観察対象面から選択された着目領域Ｂ０２の近似平面Ｂ０３を、着目領域Ｂ０２の面を構成する画素の３次元空間における座標点から最小二乗法により求める。

　また、画像投影面作成部１２は、３次元形状データＢ０１の着目領域Ｂ０２に対応させ、画像投影面Ｂ１０を生成して配置する。ここで、近似平面Ｂ０３と画像投影面Ｂ１０とのなす角をθとする。交点Ｂ０８は、３次元形状データＢ０１を回転させる回転の中心である（後述）。
　また、画像投影面作成部１２が用いる近似平面Ｂ０３の算出方法は、着目領域Ｂ０２における画素との最小二乗法に限るものではない。
　例えば、着目領域Ｂ０２において、観察視点Ｂ０４から近い座標点の画素の重みを大きくすることにより、陳列棚前面の商品等の手前側のオブジェクト（３次元形状データＢ０１における対象物体の画像）と画像投影面Ｂ１０との整合性を高めることができる。

　図１６は、画像投影面作成部１２及びレンダリング条件設定部１４の各々が行う、画像投影面と３次元形状データの観察対象面との位置の調整を説明する概念図である。
　レンダリング条件設定部１４は、観察視線Ｂ０６と近似平面Ｂ０３の交点Ｂ０８を回転中心として、例えば、３次元形状データＢ０１を角度θだけ逆回転（図１５の矢印の向きと反対方向、すなわち時計方向へ回転）させるように観察視点の位置および角度を設定し、近似平面Ｂ０３と画像投影面Ｂ１０とのなす角度θを「０」とする。

　これにより、図１６に示すように、画像投影面Ｂ１０と回転後の着目領域Ｂ０２とは、近似平面Ｂ０３と画像投影面Ｂ１０とのなす角度θが「０」となっているために概ね平行となる。この時点において、観察視点Ｂ０４及び画像投影面Ｂ１０間の距離Ｃ０５と、観察視点Ｂ０４及び回転中心Ｂ０８間の距離Ｃ０６との差が、距離Ｃ０７である。
　なお、本実施形態においては、一例として、２次元平面の説明図を用いて図示しているが実際は３次元空間で、３次元形状データＢ０１を角度θだけ、上述した逆回転させるように観察視点の位置および角度を設定し、画像投影面Ｂ１０が設定される。

　図１７は、画像投影面作成部１２が行う、画像投影面と３次元形状データの観察対象面との位置の調整を説明する概念図である。
　画像投影面作成部１２は、観察視点Ｂ０４及び画像投影面Ｂ１０間の距離Ｃ０５（図１６）と、観察視点Ｂ０４及び回転中心Ｂ０８間の距離Ｃ０６（図１６）とが等しくなるよう、画像投影面Ｂ１０を垂直方向に距離Ｃ０７だけ移動させ、画像投影面Ｂ１０と観察視点Ｂ０４との距離を調整する。
　これにより、図１７に示すように、観察視点Ｂ０４及び画像投影面Ｂ１０間の距離と、観察視点Ｂ０４及び近似平面Ｂ０３間の距離とが等しくなる。すなわち、観察視点Ｂ０４及び画像投影面Ｂ１０間の距離と、観察視点Ｂ０４及び着目領域Ｂ０２間の距離とが等しくなる。
　この後、第１実施形態で説明した調整方法Ａを用いて、微調整を行うようにしても良い。

　以下、図１４、図１５、図１６、図１７及び図１８を用いて、第３実施形態に係る視線計測システムにおける観察対象面及び画像投影面の位置の調整処理を説明する。図１８は、第３実施形態に係る視線計測システムにおける観察対象面及び画像投影面の位置の調整処理の動作例を示すフローチャートである。
　ステップＳ３１：
　画像投影面作成部１２は、図１４に示すように、操作者が入力部から入力した観察視点Ｂ初期視点の設定として、観察視点Ｂ０４の観察視野Ｂ０７に含まれる観察対象面とする報告用画像を、画像出力部１６を介して表示装置５の表示画面に表示する。

　ステップＳ３２：
　操作者は、観察対象面と画像投影面との位置合わせの対象とはならない領域を除外するため、表示装置５の表示画面に表示されている報告用画像において、位置合わせの対象となる領域として、入力部によって着目領域Ａ０１の領域を設定する。
　これにより、画像投影面作成部１２は、操作者の設定に基づいて、３次元形状データにおける観察対象面において、図１４に示すように、着目領域Ａ０１を生成する。

　ステップＳ３３：
　画像投影面作成部１２は、３次元形状データＢ０１の調整範囲に含まれる観察対象面に対して、観察視点Ｂ０４の観察視野Ｂ０７に含まれる観察対象面から選択された着目領域Ｂ０２（図１４における着目領域Ａ０１）の近似平面Ｂ０３を、着目領域Ｂ０２の面を構成する画素の３次元空間における座標点から最小二乗法により求める。

　ステップＳ３４：
　レンダリング条件設定部１４は、観察視線Ｂ０６と近似平面Ｂ０３の交点Ｂ０８を回転中心として、３次元形状データＢ０１を角度θだけ逆回転（反時計方向に回転）させるように観察視点の位置および角度を調整し、近似平面Ｂ０３と画像投影面Ｂ１０とのなす角度θを「０」とする。

　ステップＳ３５：
　画像投影面作成部１２は、観察視点Ｂ０４及び画像投影面Ｂ１０間の距離Ｃ０５と、観察視点Ｂ０４及び回転中心Ｂ０８間の距離Ｃ０６とが等しくなるよう、画像投影面Ｂ１０を観察視線方向に距離Ｃ０７だけ移動させ、画像投影面Ｂ１０と観察視点Ｂ０４との距離を調整する。

　上述したように、本実施形態においては、観察対象面と画像投影面とがほぼ平行かつ観察視点との距離が同一に調整されるため、３次元形状データの観察対象面に対してほぼ平行となる画像投影面を容易に設けることができ、この画像投影面に対して事前撮像画像をテクスチャマッピングして報告用画像を生成するため、作成された報告用画像が画素の欠損あるいは画像の歪みなどの画像の品質を低下させる要因を従来に比較して低減することができる。
　これにより、本実施形態によれば、観察対象面と画像投影面とを平行とする処理、及び観察視点からの距離を同一とする処理が操作者の手作業でなく、画像投影面作成部１２における計算処理で行われるため、従来に比較して容易に報告用画像の品質を向上させることができる。

＜視線計測装置＞
　視線計測装置４は、グローバル座標系における陳列空間において、視野画像のマッチング処理を行い、特徴点の座標である特徴点座標の抽出、カメラ撮像座標、カメラ撮像方向ベクトルの算出を行う。
　視線計測装置４は、カメラ撮像座標及びカメラ撮像方向ベクトルから、視線方向ベクトルをカメラ座標系からグローバル座標系に変換する変換行列を生成する。また、撮像方向ベクトル変換部１３は、生成した変換行列により、抽出したフレーム画像に対応する視線方向ベクトルを、カメラ座標系からグローバル座標系に座標変換し、内部の記憶部に書き込んで記憶する。

　次に、視線計測装置４は、グローバル座標系における３次元形状データで構成される陳列空間の形状データを上記内部の記憶部から読み出す。そして、視線計測装置４は、読み出した３次元形状データと、撮像方向ベクトル変換部１３の求めたグローバル座標系におけるカメラ撮像座標からの視線方向ベクトルとが交差する座標を求める。そして、視線計測装置４は、３次元形状データとカメラ撮像座標からの視線方向ベクトルとが交差する座標を、観察者が注視する注視箇所の候補とする。このとき、視線計測装置４は、注視箇所候補の各々に観察者の視線方向ベクトルが留まっている時間を計測し、所定の閾値を超える時間視線方向ベクトルが留まっている注視箇所候補を、観察者が注視する注視箇所とし、この注視箇所のグローバル座標系における座標を、内部の記憶部に書き込んで記憶させるとともに、画像処理装置１に対して供給する。

　なお、本発明における図１の画像処理装置の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより報告用画像の作成処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。
　また、「コンピュータシステム」は、ホームページ提供環境（あるいは表示環境）を備えたＷＷＷシステムも含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。

　また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。

　１…画像処理装置
　２…撮像装置
　３…利用者観測装置
　４…視線計測装置
　５…表示装置
　１１…３次元空間再構成部
　１２…画像投影面作成部
　１３…撮像方向ベクトル変換部
　１４…レンダリング条件設定部
　１５…レンダリング処理部
　１６…画像出力部
　１７…撮像データ記憶部
　１８…グローバル座標系データ記憶部
　１９…投影画像データ記憶部
　３１…利用者撮像部
　３２…利用者視線計測部

Claims (11)

1. 　観察対象の３次元形状データを構成する観察対象面データに近似する画像投影面データを生成する画像投影面作成部と、
   　前記画像投影面データに対し、前記観察対象面データに対応する前記観察対象の撮像画像をテクスチャマッピングし、表示画像を生成するレンダリング処理部と
   　を備える画像処理システム。
2. 　前記画像投影面作成部が、
   　前記３次元形状データの前記観察対象面データに応じた形状により、当該形状に対応する前記画像投影面データを複数設ける
   　請求項１に記載の画像処理システム。
3. 　前記画像投影面作成部が、
   　前記３次元形状データにおける観察者の観察視点に対応した前記観察対象面データに基づく位置と、当該観察対象面データに対して設けられた前記画像投影面データに基づく位置との関係を、前記観察対象面データと前記画像投影面データの各々の単位領域の強調表示により示す
   　請求項１又は請求項２に記載の画像処理システム。
4. 　前記画像投影面作成部が、
   　前記観察対象面データに基づく位置と前記画像投影面データに基づく位置との関係を、前記観察対象面データ及び前記画像投影面データの各々の前記単位領域の階調度によって強調表示する
   　請求項３に記載の画像処理システム。
5. 　前記画像投影面作成部が、
   　前記観察対象面データに基づく位置と前記画像投影面データに基づく位置との関係を、前記観察対象面データ及び前記画像投影面データの各々の前記単位領域の表示色によって強調表示する
   　請求項３に記載の画像処理システム。
6. 　前記画像投影面作成部が、
   　前記観察対象面データと前記画像投影面データとの対応する画素毎の前記３次元空間における距離を元にした統計処理により、前記観察対象面データに基づく位置に対して前記画像投影面データに基づく位置が所定の位置に配置するように、前記画像投影面データを生成する
   　請求項１から請求項５のいずれか一項に記載の画像処理システム。
7. 　請求項１から請求項６のいずれか一項に記載の画像処理システムを備えており、
   　前記画像投影面データに対し、観察者が注視する注視箇所を表示する
   　視線計測システム。
8. 　画像投影面作成部によって、観察対象の３次元形状データの観察対象面データに近似する画像投影面データを生成する画像投影面作成過程と、
   　レンダリング処理部によって、前記画像投影面データに対し、前記観察対象面データに対応する前記観察対象の撮像画像をテクスチャマッピングし、表示画像を生成するレンダリング処理過程と
   　を含む画像処理方法。
9. 　請求項８に記載の画像処理方法を含んでおり、
   　前記画像投影面データに対し、観察者が注視する注視箇所を表示する
   　視線計測方法。
10. 　コンピュータを、
    　観察対象の３次元形状データの観察対象面データに近似する画像投影面データを生成する画像投影面作成部、
    　前記画像投影面データに対し、前記観察対象面データに対応する前記観察対象の撮像画像をテクスチャマッピングし、表示画像を生成するレンダリング部
    　として動作させるためのプログラム。
11. 　コンピュータを、
    　観察対象の３次元形状データの観察対象面データに近似する画像投影面データを生成する画像投影面作成部、
    　前記画像投影面データに対し、前記観察対象面データに対応する前記観察対象の撮像画像をテクスチャマッピングし、表示画像を生成するレンダリング部、
    　前記画像投影面データに対し、観察者が注視する注視箇所を表示する表示部を制御する制御部
    　として動作させるためのプログラム。

Images