JP5875120B2 - 他視点閉曲面画素値補正装置、他視点閉曲面画素値補正方法、利用者位置情報出力装置、利用者位置情報出力方法 - Google Patents

Description

本発明は、他視点閉曲面画素値補正装置と他視点閉曲面画素値補正方法、利用者位置情報出力装置、利用者位置情報出力方法に関する。

複数の視点から見た画素値情報と実空間位置（距離）情報に基づいて、任意視点の画像を作成する装置や方法が従来から知られている。例えば、特許文献１においては、多視点画素画像と多視点距離画像を利用した３次元画像データ作成方法や、３次元画像データを用いた任意視点画像作成方法が開示されている。

特開２００１―２８３２０１

しかしながら、一の視点から見た画素値情報と実空間位置情報に基づいた、画質の高い任意視点画像作成方法は知られていない。本願は、一の視点から見た実空間位置情報と画素値情報に基づいた、画質の高い任意視点の画像情報を作成することが可能な装置及び方法を提案する。

以上の課題を解決するために、一の視点位置を中心とした仮想閉曲面である一視点閉曲面上に投影可能な計測点群の実空間位置情報とその画素値情報である点群データを取得する点群データ取得部と、前記一視点閉曲面上に前記計測点群を投影して得られる投影点群の閉曲面上座標情報である一視点閉曲面上座標を取得する一視点閉曲面上座標情報取得部と、前記一の視点位置とは異なる他の視点位置を中心とする仮想閉曲面である他視点閉曲面上に前記計測点群を投影して得られる投影点群の閉曲面上座標情報である他視点閉曲面上座標情報を取得する他視点閉曲面上座標情報取得部と、任意の計測点の前記一視点閉曲面上の投影点とその近隣の投影点との相対的位置関係と、前記任意の計測点の前記他視点閉曲面上の投影点とその近隣の投影点との相対的位置関係と、任意の計測点と他の視点位置までの距離と、前記他視点閉曲面上にて近隣の投影点に投影される計測点と他の視点位置までの距離に基づいて、前記他の視点位置を中心として点群データを取得した場合に物体面の陰に隠れてデータを取得できないはずの計測点である隠点を抽出する隠点抽出部と、前記隠点抽出部により抽出された隠点の前記他視点閉曲面上の投影点の画素値を、前記他視点閉曲面上にて近隣の投影点に投影される計測点と他の視点位置までの距離及びその計測点の画素値を用いて補正する第一隠点画素値補正部と、を有する他視点閉曲面画素値補正装置を提案する。

また、一の視点位置を中心とした仮想閉曲面である一視点閉曲面上に投影可能な計測点群の実空間位置情報とその画素値情報である点群データを取得する点群データ取得ステップと、前記一視点閉曲面上に前記計測点群を投影して得られる投影点群の閉曲面上座標情報である一視点閉曲面上座標を取得する一視点閉曲面上座標情報取得ステップと、前記一の視点位置とは異なる他の視点位置を中心とする仮想閉曲面である他視点閉曲面上に前記計測点群を投影して得られる投影点群の閉曲面上座標情報である他視点閉曲面上座標情報を取得する他視点閉曲面上座標情報取得ステップと、任意の計測点の前記一視点閉曲面上の投影点とその近隣の投影点との相対的位置関係と、前記任意の計測点の前記他視点閉曲面上の投影点とその近隣の投影点との相対的位置関係と、任意の計測点と他の視点位置までの距離と、前記他視点閉曲面上にて近隣の投影点に投影される計測点と他の視点位置までの距離に基づいて、前記他の視点位置を中心として点群データを取得した場合に物体面の陰に隠れてデータを取得できないはずの計測点である隠点を抽出する隠点抽出ステップと、前記隠点抽出ステップにより抽出された隠点の前記他視点閉曲面上の投影点の画素値を、前記他視点閉曲面上にて近隣に投影される計測点と他視点位置までの距離及びその計測点の画素値を用いて補正する第一隠点画素値補正ステップと、からなる他視点閉曲面画素値補正方法を提案する。

上記の発明により、一の視点から見た実空間位置情報と画素値情報に基づいて画質の高い任意視点の画像情報を作成することが可能になる。

実施例１の他視点閉曲面画素値補正装置の構成を示す図 一の視点位置を中心とする仮想閉曲面の一例を示す図 一視点閉曲面上座標情報取得の一例を示す図 仮想閉曲面上の投影点の閉曲面上座標が変化する様子を示す図 仮想閉曲面上の投影点の相対的位置関係が変化する様子を示す図 隠点抽出部による隠点抽出の一例を示す図 隠点抽出部による隠点抽出の他の例を示す図 他視点閉曲面画素値補正装置のハードウェア構成の一例を示す図 実施例１の他視点閉曲面画素値補正方法の処理の流れの一例を示す図 実施例２の第一隠点画素値補正部の構成を示す図 実施例２の第二隠点画素値補正部の構成を示す図 第一最短投影点抽出手段の概要を示す図 第二隠点画素値補正手段の概要を示す図 第一隠点画素値補正ステップの処理の流れを示す図 第二隠点画素値補正ステップの処理の流れを示す図 実施例３の他視点閉曲面画素値補正装置の構成を示す図 データ欠損点抽出部によるデータ欠損点抽出の一例を示す図 実施例３の他視点閉曲面画素値補正方法の処理の流れの一例を示す図 実施例４のデータ欠損点画素値補間部の構成を示す図 データ欠損点画素値補間ステップの処理の流れを示す図 実施例５の他視点閉曲面画素値補正装置の構成を示す図 実体の位置と反射面を介して鏡像関係の位置にある計測点を表す図 鏡像点データ抽出手段による鏡像点の抽出の一例を示す図 実施例５の点群データ取得ステップの処理の流れを示す図 実施例６の他視点閉曲面画素値補正装置の構成を示す図 前方交会点データ抽出手段による前方交会点の抽出の一例を示す図 実施例の点群データ取得ステップの処理の流れを示す図 実施例７の利用者位置情報出力装置の構成を示す図 実施例７の利用者位置情報出力方法の処理の流れの一例を示す図 移動経路の誘導を行う場合の各装置の処理の流れを示す図

以下に、本発明の実施例を説明する。実施例と請求項の相互の関係は、以下のとおりである。実施例１は、主に請求項１、３、７、９に対応する。実施例２は、主に請求項２、４、８、１０に対応する。実施例３は、主に請求項５、１１に対応する。実施例４は、主に請求項６、１２に対応する。実施例５は、主に請求項７、１５に対応する。実施例６は、主に請求項８、１６に対応する。実施例７は、主に請求項１７、１８に対応する。なお、本発明はこれらの実施例に何ら限定されるものではなく、その要旨を逸脱しない範囲内において、様々な態様で実施しうる。

＜概要＞
本実施例の他視点閉曲面画素値補正装置等では、一視点閉曲面上に投影可能な計測点群の実空間位置情報とその画素値情報から得られる任意の計測点の一視点閉曲面上の投影点とその近隣の投影点との相対的位置関係と、任意の計測点の他視点閉曲面上の投影点とその近隣の投影点との相対的位置関係と、任意の計測点と他の視点位置までの距離と、他視点閉曲面上にて近隣の投影点に投影される計測点と他の視点位置までの距離に基づいて、他の視点位置を中心として点群データを取得した場合に物体面の陰に隠れてデータを取得できないはずの計測点である隠点を抽出する。さらに、抽出された隠点の他視点閉曲面上の投影点の画素値を、他視点閉曲面上にて近隣の投影点に投影される計測点と他の視点位置までの距離及びその計測点の画素値を用いて補正する。当該特徴により、一の視点位置を中心として取得した計測点群の実空間位置情報と画素値情報に基づいて任意の視点位置を中心とした画質の高い仮想閉曲面画像を生成することが可能になる。

＜構成＞
図１は、本実施例の他視点閉曲面画素値補正装置の構成を示す図である。この図にあるように、本実施例の「他視点閉曲面画素値補正装置」０１００は、「点群データ取得部」０１０１と、「一視点閉曲面上座標情報取得部」０１０２と、「他視点閉曲面上座標情報取得部」０１０３と、「隠点抽出部」０１０４と、「第一隠点画素値補正部（第二隠点画素値補正部）」０１０５と、から構成される。

なお、以下に記載する各装置の機能ブロックは、ハードウェア、ソフトウェア、又はハードウェア及びソフトウェアの両方として実現され得る。また、この発明は装置として実現できるのみでなく、方法としても実現可能である。

また、このような発明の一部をソフトウェアとして構成することができる。さらに、そのようなソフトウェアをコンピュータに実行させるために用いるソフトウェア製品、及び同製品を記録媒体に固定した記録媒体も、当然にこの発明の技術的な範囲に含まれる（本明細書の全体を通じて同様である）。

「点群データ取得部」は、一の視点位置を中心とした仮想閉曲面である一視点閉曲面上に投影可能な計測点群の実空間位置情報とその画素値情報である点群データを取得する機能を有する。

ここで、仮想閉曲面としては、円柱形閉曲面や、球形閉曲面、半球閉曲面、立方体閉曲面などが考えられる。仮想閉曲面は一の視点位置を中心としており一の視点位置から捉えることができる計測点群を当該仮想閉曲面上に投影することが可能である。図２は、一の視点位置を中心とする仮想閉曲面の一例を示す図である。この図の例では、視点位置０２０１を中心とする半径Ｒの円柱形仮想閉曲面上０２０２に水平方向３６０度の範囲の計測点０２０３を投影することが可能である。つまり、一の視点位置を中心とするパノラマ画像を得ることができる。

計測点群の実空間位置座標は、カーテシアン座標系や円柱座標系、極座標系など、種々の座標系で特定することが考えられ、いずれかの座標系に限定されるものではない。ただし、仮想閉曲面に合わせて適切な座標系を選択することが好ましい。

画素値情報は、計測点の明度や輝度（光強度）の情報や、彩度の情報、色相の情報、などが考えられる。例えば、色相の情報として、赤青緑の三原色の色の成分値を取得することが考えられる。

上記の計測点群の情報は、例えば水平方向３６０度の範囲で面的に点群データを取得可能なレーザースキャナを用いて取得することが可能である。当該装置は、視点位置から計測点までの距離をレーザーの反射応答時間によって求め、さらにレーザーの射出方向の情報と合わせて実空間の位置情報を特定することが可能である。なお、これらの装置により得られたデータを蓄積可能な記憶装置からネットワークを介して取得する構成も考えられる。

「一視点閉曲面上座標情報取得部」は、前記一視点閉曲面上に前記計測点群を投影して得られる投影点群の閉曲面上座標情報である一視点閉曲面上座標情報を取得する機能を有する。

ここで、投影点群の閉曲面上座標情報は、仮想閉曲面上の位置を特定するための座標情報であり、カーテシアン座標系や円筒座標系、極座標系など、種々の座標系で特定することが可能である。ただし、実空間位置情報の場合と同様に、仮想閉曲面に合わせて適切な座標系（一視点位置を中心とする円筒座標系や極座標系など）を選択することが好ましい。

なお、一視点閉曲面上座標情報取得部は、具体的にはＣＰＵやＭＰＵ等の処理演算装置やＲＡＭ等の記憶装置等から構成される。また、一視点閉曲面上座標は、一視点位置から計測点まで伸びるベクトルが仮想平曲面と交わる点を算出することにより取得可能である。

図３は、一視点閉曲面上座標情報の取得方法の一例を示す図である。この図の例では、一視点位置０３０１から見た計測点０３０２の実空間座標（Ｒ_Ｒ、θ_Ｒ、Ｚ_Ｒ）と、円柱形仮想閉曲面０３０３の半径Ｒ_Ｖから、投影点０３０４の一視点閉曲面上座標（ｘ_Ｖ、ｚ_Ｖ）＝（Ｒ_Ｖθ_Ｒ、Ｚ_ＲＲ_Ｖ／Ｒ_Ｒ）を算出している。

各計測点について一視点閉曲面上座標を取得して、その座標位置に画素値の情報を割り当てることにより、一の視点位置を中心とする仮想閉曲面上に周囲の空間の情報を仮想的に表現することが可能になる。

「他視点閉曲面上座標情報取得部」は、前記一の視点位置とは異なる他の視点位置を中心とする仮想閉曲面である他視点閉曲面上に前記計測点群を投影して得られる投影点群の閉曲面上座標情報である他視点閉曲面上座標情報を取得する機能を有する。

図４は、一の視点位置から他の視点位置に移動した場合に、各仮想閉曲面上の投影点の閉曲面上座標が変化する様子を示す図である。この図に示すように、一の視点位置０４０１から他の視点位置０４０２に移動した場合、計測点と視点位置を結ぶ線分と仮想閉曲面との交点の位置が変化することから、仮想閉曲面座標が変化することになる。

図５は、一の視点位置から他の視点位置に仮想閉曲面の中心を変化させた場合に、仮想閉曲面上の投影点の相対的位置関係が変化する様子を示した図である。この図に示すように、一の視点位置を中心とする仮想閉曲面である一視点閉曲面上０５０１では計測点Ｐ１、Ｐ２、Ｐ３の投影点は、時計回り方向（水平右側方向）にＰ１、Ｐ２、Ｐ３の投影点の順番で位置しているのに対して、他の視点位置を中心とする仮想閉曲面である他視点閉曲面上０５０２では時計回り方向（水平右側方向）にＰ１、Ｐ３、Ｐ２の投影点の順番で位置することになる。

「隠点抽出部」は、任意の計測点の前記一視点閉曲面上の投影点とその近隣の投影点との相対的位置関係と、前記任意の計測点の前記他視点閉曲面上の投影点とその近隣の投影点との相対的位置関係と、任意の計測点と他の視点位置までの距離と、前記他視点閉曲面上にて近隣の投影点に投影される計測点と他の視点位置までの距離に基づいて、前記他の視点位置を中心として点群データを取得した場合に物体面の陰に隠れてデータを取得できないはずの計測点である隠点を抽出する機能を有する。

図６は、隠点抽出部による隠点抽出の一例を示す図である。一の視点位置０６０１（Ｘ_０、Ｙ_０）から計測点Ｐ１、Ｐ２、Ｐ３を見た場合、一視点閉曲面上ではその投影点は、時計回り方向（水平右側方向）にＰ１、Ｐ２、Ｐ３の投影点の順番に位置しているのに対して、他の視点位置０６０２（Ｘ_ｔ、Ｙ_ｔ）から見た場合、他視点閉曲面上ではその投影点は、Ｐ１の投影点とＰ２の投影点が重なり、時計回り方向（水平右側方向）にＰ３の投影点が位置することになる。

計測点群のデータは一の視点位置を中心として計測されているため、一視点閉曲面上の投影点の相対的位置関係は、実空間における計測点群の相対的位置関係を反映している。つまり、図６の例では、計測点Ｐ１とＰ２とＰ３は、実空間においても一の視点位置を中心として時計回り方向にその順番で連続的に位置している。

これに対して、他視点閉曲面上においては、仮定的に他の視点位置を中心として点群データを取得した場合に物体面の陰に隠れてデータを取得できないはずの計測点である隠点も投影されてしまう。図６の例では、Ｐ１は、Ｐ１とＰ２とＰ３を結ぶ物体面の陰に隠れて本来画素値データ等を取得できないはずの計測点であり、他視点閉曲面上に投影されるべきでない点（隠点）であることが分かる。

具体的な処理としては、まず一視点閉曲面上の投影点の相対的位置関係と他視点閉曲面上の投影点の相対的位置関係を比較して、相対的位置関係が変化する組となる投影点（図６の例ではＰ１、Ｐ２の投影点）を抽出し、組となる各投影点に投影される各計測点のうちいずれが他の視点に対してより離れた位置にあるかを他の視点位置から計測点までの距離に基づいて決定し（図６の例では、Ｐ１）、他の視点位置に対してより離れた位置にある計測点を隠点として抽出することが可能である。

また、図７は、隠点抽出部による隠点抽出の他の例を示す図である。一の視点位置０７０１（Ｘ_０、Ｙ_０）から計測点Ｐ１、Ｐ２、Ｐ３を見た場合、一視点閉曲面上ではその投影点は、時計回り方向（水平右側方向）にＰ１、Ｐ２、Ｐ３の投影点の順番に位置しているのに対して、他の視点位置０７０２（Ｘ_ｔ、Ｙ_ｔ）から見た場合、他視点閉曲面上ではその投影点は、時計回り方向（水平右側方向）にＰ２、Ｐ１、Ｐ３の投影点の順番に位置している。

ここで、任意の計測点（Ｐ１）の一視点閉曲面上の投影点とその近隣の投影点（Ｐ２、Ｐ３の投影点）との相対的位置関係（時計回り方向にＰ１、Ｐ２、Ｐ３の投影点の順番に位置）になっていることから、物体面はＰ１、Ｐ２、Ｐ３という連続性を有するといえる。そして、当該連続性の情報と前記任意の計測点（Ｐ１）の前記他視点閉曲面上の投影点とその近隣の投影点（Ｐ２、Ｐ３の投影点）との相対的位置関係（時計回り方向にＰ２、Ｐ１、Ｐ３の投影点の順番に位置）から、Ｐ１とＰ２のいずれかが隠点となっている可能性がある。ここで、任意の計測点（Ｐ１）と他の視点位置までの距離と、前記他視点閉曲面上にて近隣の投影点に投影される計測点（Ｐ２）と他の視点位置までの距離とから他視点位置に対して任意の計測点（Ｐ１）が近隣の投影点に投影される計測点（Ｐ２）よりも離れた位置にあることが分かるため、任意の点（Ｐ１）がＰ２とＰ３を結ぶ物体面の陰に隠れていると判断できる。

「第一隠点画素値補正部」は、前記隠点抽出部により抽出された隠点の前記他視点閉曲面上の投影点の画素値を、前記他視点閉曲面上にて近隣の投影点に投影される計測点と他の視点位置までの距離及びその計測点の画素値を用いて補正する機能を有する。

隠点抽出部により抽出された隠点は、本来物体面の陰に隠れて他視点閉曲面上に投影されないはずの点であるため、当該物体面の該当箇所の画素値に置換えるべきである。物体面の該当箇所の画素値は、物体面上の近隣の計測点の画素値を用いて推定することが可能になる。当該物体面上の近隣の計測点の抽出は、他の視点位置から計測点までの距離を用いて他の視点位置に対して近い位置にある一又は複数の計測点を決定することにより可能である。

図７の例では、隠点（Ｐ１）の他視点閉曲面上の投影点の近隣に投影される計測点と他の視点位置０７０２までの距離から、他の視点位置に対して近い位置にある近隣の計測点（Ｐ２、Ｐ３）を抽出し、当該計測点の画素値の平均値を隠点の投影点の新たな画素値とすることが考えられる。なお、水平方向の近隣投影点のみならず、垂直方向の近隣投影点の画素値の情報を利用して、隠点の投影点の画素値を補正することも可能である。

また、第一隠点画素値補正部に代えて、下記の第二隠点画素値補正部を設ける構成も考えられる。「第二隠点画素値補正部」は、前記隠点抽出部により抽出された隠点の前記他視点閉曲面上の投影点の画素値を、隠点と他の視点位置までの距離と、前記他視点閉曲面上にて近隣に投影される計測点と他の視点位置までの距離及びその計測点の画素値を用いて補正する機能を有する。

第一隠点画素値補正部と異なる点は、隠点の他視点閉曲面上の投影点の画素値の補正に際して、隠点と他の視点位置までの距離を利用する点である。当該構成とすることにより、隠点と他の視点位置までの距離と他視点閉曲面上にて近隣に投影される計測点と他の視点位置までの距離がほぼ同じである場合は、隠点の画素値をそのまま他視点閉曲面上の投影点の画素値として利用したり、補正処理に際して隠点の画素値の寄与率を大きくしたりすることが可能になる。

＜具体的な構成＞
図８は、上記他視点閉曲面画素値補正装置の機能的な各構成要件をハードウェアとして実現した際の構成の一例を示す概略図である。この図を利用して、それぞれのハードウェア構成部の働きについて説明する。

この図にあるように、他視点閉曲面画素値補正装置は、「ＣＰＵ」０８０１と、「ＲＡＭ」０８０２と、「ＲＯＭ」０８０３と、「通信部」０８０４と、「表示部」０８０５と、「不揮発性メモリ（例えば、フラッシュメモリ）」０８０６を備える。上記の構成は、「システムバス」０８０７のデータ通信経路によって相互に接続され、情報の送受信や処理を行う。

まず、ＣＰＵは、一の視点位置を中心とした仮想閉曲面である一視点閉曲面上に投影可能な計測点群の実空間位置情報とその画素値情報である点群データを取得する処理を行う（点群データ取得処理）。

具体的には、水平方向３６０度の範囲で面的に点群データを取得できるレーザースキャナを用いて計測点群の実空間位置情報（Ｘ、Ｙ、Ｚの座標値や距離や水平角、鉛直角など）とその画素値情報（ＲＧＢのカラー情報など）を取得し、各計測点のＩＤと関連付けて不揮発性メモリに格納する処理を行う。なお、上記レーザースキャナ等の計測機器から直接的にデータを取得する必要は必ずしも無く、データを管理する記憶装置から取得する構成も考えられる。

次に、ＣＰＵは、一視点閉曲面上に前記計測点群を投影して得られる投影点群の閉曲面上座標情報である一視点閉曲面上座標情報を取得する処理を行う（一視点閉曲面上座標情報取得処理）。

具体的には、計測点群の実空間位置情報に基づいて、各計測点を一視点閉曲面上に投影した場合に得られる各計測点の閉曲面上座標情報を算出する処理を行う。これらの算出結果はＲＡＭの所定のアドレスに各計測点のＩＤと関連付けて格納される。

次に、ＣＰＵは、一の視点位置とは異なる他の視点位置を中心とする仮想閉曲面である他視点閉曲面上に前記計測点群を投影して得られる投影点群の閉曲面上座標情報である他視点閉曲面上座標情報を取得する処理を行う（他視点閉曲面上座標情報取得処理）。

具体的には、計測点群の実空間位置情報に基づいて、各計測点を他視点閉曲面に投影した場合に得られる各計測点の閉曲面上座標情報を算出する処理を行う。これらの算出結果はＲＡＭの所定のアドレスに各計測点のＩＤと関連付けて格納される。

次に、ＣＰＵは、任意の計測点の前記一視点閉曲面上の投影点とその近隣の投影点との相対的位置関係と、前記任意の計測点の前記他視点閉曲面上の投影点とその近隣の投影点との相対的位置関係と、任意の計測点と他の視点位置までの距離と、前記他視点閉曲面上にて近隣の投影点に投影される計測点と他の視点位置までの距離に基づいて、前記他の視点位置を中心として点群データを取得した場合に物体面の陰に隠れてデータを取得できないはずの計測点である隠点を抽出する処理を行う（隠点抽出処理）。

具体的には、注目する計測点の一視点閉曲面上の投影点とその近隣の投影点との縦方向及び横方向の順番を各計測点のＩＤと関連付けて取得する処理を行い、次に当該注目する計測点の他視点閉曲面上の投影点とその近隣の投影点との縦方向及び横方向の順番を各計測点のＩＤと関連付けて取得する処理を行う。さらに、一視点閉曲面上の各計測点の並び順と他視点閉曲面上の各計測点の並び順を比較する処理を行い、他視点閉曲面上にて並び順が変わった組となる複数の投影点に投影される各計測点から他の視点位置までの距離を比較する処理を行い、他の視点位置から離れた位置にある計測点を隠点として抽出する処理を行う。

次に、ＣＰＵは、前記隠点抽出処理により抽出された隠点の前記他視点閉曲面上の投影点の画素値を、前記他視点閉曲面上にて近隣の投影点に投影される計測点と他の視点位置までの距離及びその計測点の画素値を用いて補正する処理を行う（第一隠点画素値補正処理）。

具体的には、他視点閉曲面上にて近隣の投影点に投影される計測点と他の視点位置までの距離を算出する処理を行う。ここで、近隣の投影点に投影される計測点のうち他の視点位置までの距離が所定閾値よりも小さいグループと、大きいグループに分ける処理を行い、距離が所定閾値よりも小さいグループの画素値の平均値を算出する処理を行う。さらに、隠点の他視点閉曲面上の投影点の画素値を当該平均値に置換える処理を行う。

なお、上記第一隠点画素値補正処理に代えて、ＣＰＵは、前記隠点抽出処理により抽出された隠点の前記他視点閉曲面上の投影点の画素値を、前記他視点閉曲面上にて近隣の投影点に投影される計測点と他の視点位置までの距離及びその計測点の画素値を用いて補正する処理を行うことも可能である（第二隠点画素値補正処理）。

具体的には、隠点と他の視点位置までの距離と、他視点閉曲面上にて近隣の投影点に投影される計測点と他の視点位置までの距離を算出する処理を行う。ここで、近隣の投影点に投影される計測点のうち他の視点位置までの距離が所定閾値よりも小さいグループと、大きいグループに分ける処理を行い、距離が所定閾値よりも小さいグループの画素値及び他の視点位置までの距離の平均値を算出する処理を行う。さらに、隠点と他の視点位置までの距離が上記小さいグループの他の視点位置までの平均距離値と所定差の範囲内である場合は、隠点の他視点閉曲面上の投影点の画素値を当該平均値に置換える処理を行う。

＜処理の流れ＞
図９は、他視点閉曲面画素値補正方法の処理の流れの一例を示す図である。同図の処理の流れは以下のステップからなる。まずステップＳ０９０１では、一の視点位置を中心とした仮想閉曲面である一視点閉曲面上に投影可能な計測点群の実空間位置情報とその画素値情報である点群データを取得する（点群データ取得ステップ）。次にステップＳ０９０２では、前記一視点閉曲面上に前記計測点群を投影して得られる投影点群の閉曲面上座標情報である一視点閉曲面上座標情報を取得する（一視点閉曲面上座標情報取得ステップ）。次にステップＳ０９０３では、前記一の視点位置とは異なる他の視点位置を中心とする仮想閉曲面である他視点閉曲面上に前記計測点群を投影して得られる投影点群の閉曲面上座標情報である他視点閉曲面上座標情報を取得する（他視点閉曲面上座標情報取得ステップ）。次にステップＳ０９０４では、任意の計測点の前記一視点閉曲面上の投影点とその近隣の投影点との相対的位置関係と、前記任意の計測点の前記他視点閉曲面上の投影点とその近隣の投影点との相対的位置関係と、任意の計測点と他の視点位置までの距離と、前記他視点閉曲面上にて近隣の投影点に投影される計測点と他の視点位置までの距離に基づいて、前記他の視点位置を中心として点群データを取得した場合に物体面の陰に隠れてデータを取得できないはずの計測点である隠点を抽出する（隠点抽出ステップ）。次に、ステップＳ０９０５では、前記隠点抽出ステップにより抽出された隠点の前記他視点閉曲面上の投影点の画素値を、前記他視点閉曲面上にて近隣に投影される計測点と他視点位置までの実空間距離及びその計測点の画素値を用いて補正する（第一隠点画素値補正ステップ）。なお、第一隠点画素値補正ステップに代えて、前記隠点抽出ステップにより抽出された隠点の前記他視点閉曲面上の投影点の画素値を、隠点と他の視点位置までの実空間距離と、前記他視点閉曲面上にて近隣に投影される計測点と他視点位置までの実空間距離及びその計測点の画素値を用いて補正することも可能である（第二隠点画素値補正ステップ）。

＜効果＞
本実施例の他視点閉曲面画素値補正装置等により、一の視点位置を中心として取得した計測点群の実空間位置情報と画素値情報に基づいて任意の視点位置を中心とした画質の高い仮想閉曲面画像を生成することが可能になる。

＜概要＞
本実施例の他視点閉曲面画素値補正装置は、基本的に実施例１と同様であるが、隠点の前記他視点閉曲面上の投影点の画素値を補正する際に、隠点の他視点閉曲面上の投影点の近隣にある投影点からなる点群（第一注目点群）の中から、他の視点位置までの距離が最短となる計測点の投影点（第一最短投影点）を抽出し、第一注目点群の中から、第一最短投影点に投影される計測点との間隔が所定範囲内にある計測点の投影点（第一近距離投影点）を抽出し、隠点の他視点閉曲面上の投影点の画素値を、第一最短投影点の画素値と第一近距離投影点の画素値を用いて補正する。当該特徴により、一の視点位置を中心として取得した計測点群の実空間位置情報と画素値情報に基づいて任意の視点位置を中心とした画質の高い仮想閉曲面画像を生成することが可能になる。

＜構成＞
本実施例の他視点閉曲面画素値補正装置の構成は、基本的に実施例１の図で示した他視点閉曲面画素値補正装置の構成と同様である。ただし、図１０に示すように、「第一隠点画素値補正部」１０００は、「第一最短投影点抽出手段」１００１と、「第一近距離投影点抽出手段」１００２と、「第一隠点画素値補正手段」１００３を有する。また、図１１に示すように、「第二隠点画素値補正部」１１００は、「第一最短投影点抽出手段」１１０１と、「第一近距離投影点抽出手段」１１０２と、「距離差判断手段」１１０３と、「第二隠点画素値補正手段」１１０４を有する。

「第一最短投影点抽出手段」は、隠点抽出部により抽出された隠点の他視点閉曲面上の投影点の近隣にある投影点からなる点群である第一注目点群の中から、前記他の視点位置までの距離が最短となる計測点の投影点である第一最短投影点を抽出する機能を有する。

図１２は、第一最短投影点抽出手段の概要を示す図である。この図の例では、隠点の投影点１２０１の位置を中心とする他視点閉曲面の３×３ピクセルを近隣領域として取り出している。ここで、他の視点位置までの距離が最短となる計測点の投影点（第一最短投影点）は、隠点の投影点の右隣にある投影点であり、第一最短投影点抽出手段は当該投影点を抽出する。なお、最短投影点は一つである必要はなく、他の視点位置までの距離が同一である場合は複数の最短投影点が抽出される場合もある。

「第一近距離投影点抽出手段」は、前記第一注目点群の中から、前記最短投影点に投影される計測点との間隔が所定範囲内にある計測点の投影点である第一近距離投影点を抽出する機能を有する。

例えば、注目する計測点から他の視点位置までの距離が、最短投影点に投影される計測点から他の視点位置までの距離に所定閾値（例えば、２メートル）を足した値よりも小さい場合に、当該注目する計測点を第一近距離投影点とすることが考えられる。なお、注目する計測点から他の視点位置までの距離と、最短投影点に投影される計測点から他の視点位置までの距離との比率が所定値以下である場合に、当該注目する計測点の投影点を第一近距離投影点とすることも可能である。なお、注目する計測点と最短投影点に投影される計測点の間隔の測り方は種々考えられ、上記の例に限定されるものではない。

図１２の例では、最短投影点に投影される計測点との間隔が所定範囲内にある計測点の投影点（第一近距離投影点）は、左列の全ての投影点と中心列の上と下の投影点であり、右列の上と下の投影点は所定範囲内にない計測点の投影点である。この場合、第一近距離投影点抽出手段は、左列の全ての投影点と中心列の上と下の投影点を抽出する。

「第一隠点画素値補正手段」は、前記隠点の前記他視点閉曲面上の投影点の画素値を、前記第一最短投影点の画素値と前記第一近距離投影点の画素値を用いて補正する機能を有する。

隠点の画素値を第一最短投影点の画素値と第一近距離投影点の画素値を用いて補正する方法としては、例えばこれらの画素値の平均値を算出して、当該平均値を隠点の画素値とすることが考えられる。また、他視点閉曲面上にある隠点の投影点との間隔に応じて第一最短投影点の画素値と第一距離投影点の画素値の重み付けを行って隠点の投影点の画素値を算出することも可能である。具体的には、注目する投影点と隠点の投影点との間隔が近い程、投影点の寄与率を高くすることが考えられる。

「距離差判断手段」は、隠点から他の視点位置までの距離と前記第一最短投影点に投影される計測点から他の視点位置までの距離との差が所定値以上であるか否か判断する機能を有する。

「第二隠点画素値補正手段」は、前記距離差判断手段による判断が所定値以上であるとの判断である場合は、前記隠点の前記他視点閉曲面上の投影点の画素値を、前記第一最短投影点の画素値と前記第一近距離投影点の画素値を用いて補正する機能を有する。

図１３は、第二隠点画素値補正手段の概要を示す図である。図１３（a）（c）の例では、隠点から他の視点位置までの距離と第一最短投影点に投影される計測点から他の視点位置までの距離との差が所定値未満であるため、隠点の他視点閉曲面上の投影点の画素値を補正せず、隠点の画素値そのものとしている。また、図１３（b）の例では、隠点から他の視点位置までの距離が第一最短投影点に投影される計測点から他の視点位置までの距離との差が所定値以上であるため、第一最短投影点の画素値と第一近距離投影点の画素値を用いて補正している。つまり、他の視点位置からの距離がほぼ同じである場合は、隠点の他視点閉曲面上の投影点と近隣の投影点の画素値もほぼ同じであると考えられるため、以後の補正処理を省略する。

＜具体的な構成＞
本実施例の他視点閉曲面画素値補正装置のハードウェア構成は、基本的に図８を用いて説明した実施例１の他視点閉曲面画素値補正装置のハードウェア構成と共通する。以下、本実施例の他視点閉曲面画素値補正装置の特徴的な処理である隠点画素値補正処理について説明する。

ＣＰＵは、隠点抽出処理により抽出された隠点の他視点閉曲面上の投影点の近隣にある投影点からなる点群である第一注目点群の中から、他の視点位置までの距離が最短となる計測点の投影点である第一最短投影点を抽出する処理を行う（第一最短投影点抽出処理）。

具体的には、隠点の他視点閉曲面上の投影点を中心としたｎ×ｎピクセル（例えば、３×３ピクセル）の投影点に投影される各計測点と他の視点位置までの距離を算出する処理を行い、当該距離が最小値となる計測点の投影点のＩＤとその距離の値を関連付けて第一最短投影点の情報としてＲＡＭに格納する処理を行う。

次に、ＣＰＵは、前記第一注目点群の中から、前記第一最短投影点に投影される計測点との間隔が所定範囲内にある計測点の投影点である第一近距離投影点を抽出する処理を行う（第一近距離投影点抽出処理）。

具体的には、各計測点と他の視点位置までの距離を第一最短投影点に投影される計測点と他の視点位置までの距離と比較して所定差の範囲内であるか否かを判断する処理を行い、所定差の範囲内であると判断された計測点の投影点のＩＤとその距離の値を関連付けて第一近距離投影点の情報としてＲＡＭに格納する処理を行う。

さらに、ＣＰＵは、前記隠点の画素値を、前記第一最短投影点の画素値と前記第一近距離投影点の画素値を用いて補正する処理を行う（第一隠点画素値補正処理）。

具体的には、第一最短投影点の画素値と第一近距離投影点の画素値の平均値を算出する処理を行い、隠点の画素値を当該平均値に置換える処理を行う。

なお、第一隠点画素値補正処理に代えて、以下の距離差判断処理と第二隠点画素値補正処理を行うことも可能である。

ＣＰＵは、隠点から他の視点位置までの距離と前記第一最短投影点に投影される計測点から他の視点位置までの距離との差が所定値以上であるか否か判断する処理を行う（距離差判断処理）。

具体的には隠点から他の視点位置までの距離と第一最短投影点に投影される計測点から他の視点位置までの距離との差分を算出し、当該差分が所定値以上であるか否か判断する処理を行う。当該判断処理結果は、ＲＡＭに格納される。

さらに、ＣＰＵは、距離差判断処理による判断が所定値以上であるとの判断である場合は、前記隠点の画素値を、前記第一最短投影点の画素値と前記第一近距離投影点の画素値を用いて補正する処理を行う（隠点画素値補正処理）。

具体的には、距離差判断処理による判断が所定値以上であるとの判断である場合は、第一最短投影点の画素値と第一近距離投影点の画素値の平均値を算出する処理を行い、隠点の画素値を当該平均値に置換える処理を行う。

＜処理の流れ＞
本実施例の他視点閉曲面画素値補正方法の処理の流れは、基本的に図９で説明した実施例１の他視点閉曲面画素値補正方法の処理の流れと同様である。ただし、本実施例の第一隠点画素値補正ステップは、図１４に示すように、以下のサブステップからなる。まず、サブステップＳＳ１４０１では、隠点抽出ステップにより抽出された隠点の他視点閉曲面上の投影点の近隣にある投影点からなる点群である第一注目点群の中から、前記他の視点位置までの距離が最短となる計測点の投影点である第一最短投影点を抽出する（第一最短投影点抽出サブステップ）。次に、サブステップＳＳ１４０２では、前記第一注目点群の中から、前記最短投影点に投影される計測点との間隔が所定範囲内にある計測点の投影点である第一近距離投影点を抽出する（第一近距離投影点抽出サブステップ）。次にサブステップＳＳ１４０３では、前記隠点の画素値を、前記第一最短投影点の画素値と前記第一近距離投影点の画素値を用いて補正する（第一隠点画素値補正サブステップ）。

また、本実施例の第二隠点画素値補正ステップは、図１５に示すように、以下のサブステップからなる。まず、サブステップＳＳ１５０１では、隠点抽出ステップにより抽出された隠点の他視点閉曲面上の投影点の近隣にある投影点からなる点群である第一注目点群の中から、前記他の視点位置までの距離が最短となる計測点の投影点である第一最短投影点を抽出する（第一最短投影点抽出サブステップ）。次に、サブステップＳＳ１５０２では、前記第一注目点群の中から、前記最短投影点に投影される計測点との間隔が所定範囲内にある計測点の投影点である第一近距離投影点を抽出する（第一近距離投影点抽出サブステップ）。次にサブステップＳＳ１５０３では、前記第一最短投影点に投影される計測点から他の視点位置までの距離と隠点から他の視点位置までの距離との差が所定値以上であるか否か判断する（距離差判断サブステップ）。次にサブステップＳＳ１５０４では、前記距離差判断サブステップによる判断が所定値以上であるとの判断である場合は、前記隠点の画素値を、前記第一最短投影点の画素値と前記第一近距離投影点の画素値を用いて補正する（第二隠点画素値補正サブステップ）。

＜効果＞
本実施例の他視点閉曲面画素値補正装置等により、一の視点位置を中心として取得した計測点群の実空間位置情報と画素値情報に基づいて任意の視点位置を中心とした画質の高い仮想閉曲面画像を生成することが可能になる。

＜概要＞
本実施例の他視点閉曲面画素値補正装置等では、一視点閉曲面上に投影可能な計測点群の実空間位置情報とその画素値情報から得られる任意の計測点の前記他視点閉曲面上の投影点とその近隣の投影点との相対的位置関係に基づいて、他の視点位置を中心として点群データを取得した場合に前記他視点閉曲面上に存在すべき投影点であるにもかかわらずデータが欠損しているデータ欠損点を抽出する。さらに、抽出されたデータ欠損点の画素値を、前記他視点閉曲面上にて近隣の投影点に投影される計測点と他の視点位置までの距離及びその計測点の画素値に基づいて補間する。当該特徴により、一の視点位置を中心として取得した計測点群の実空間位置情報と画素値情報に基づいて任意の視点位置を中心とした画質の高い仮想閉曲面画像を生成することが可能になる。

＜構成＞
図１６は、本実施例の他視点閉曲面画素値補正装置の構成を示す図である。この図にあるように、本実施例の「他視点閉曲面画素値補正装置」１６００は、「点群データ取得部」１６０１と、「他視点閉曲面上座標情報取得部」１６０２と、「データ欠損点抽出部」１６０３と、「データ欠損点画素値補間部」１６０４と、から構成される。以下、実施例１との相違点である「データ欠損点抽出部」と、「データ欠損点画素値補間部」について説明する。

「データ欠損点抽出部」は、任意の計測点の前記他視点閉曲面上の投影点とその近隣の投影点との相対的位置関係に基づいて、前記他の視点位置を中心として点群データを取得した場合に前記他視点閉曲面上に存在すべき投影点であるにもかかわらずデータが欠損しているデータ欠損点を抽出する機能を有する。

計測点群のデータは一の視点位置を中心として計測されているため、一視点閉曲面上においては計測点のデータを等間隔で隙間無く投影することが可能である。これに対して、他視点閉曲面上においては、他の視点位置ではなく一の視点位置を中心として計測された計測点群のデータを用いるため、他の視点位置を中心として点群データを取得した場合に他視点閉曲面上に存在すべき投影点であるにもかかわらずデータが欠損しているデータ欠損点が生じる可能性がある。

図１７は、データ欠損点抽出部によるデータ欠損点抽出の一例を示す図である。一の視点位置１７０１（Ｘ_０、Ｙ_０）から計測点Ｐ１、Ｐ２、Ｐ３を見た場合、一視点閉曲面上ではその投影点は、時計回り方向（水平右側方向）にＰ１、Ｐ２、Ｐ３の投影点の順番に隙間無く位置しているのに対して、他の視点位置１７０２（Ｘ_ｔ、Ｙ_ｔ）から見た場合、他視点閉曲面上ではＰ２とＰ３の投影点の間にデータの欠損が生じていることが分かる。

具体的には、任意の計測点（Ｐ２）の他視点閉曲面上の投影点とその近隣の投影点（Ｐ３の投影点）との相対的位置関係（Ｐ２とＰ３の投影点の位置にデータ一つ分の間隔がある）とに基づいて、他の視点位置を中心として点群データを取得した場合に他視点閉曲面上に存在すべき投影点であるにもかかわらずデータが欠損しているデータ欠損点が存在すると判断できる。

「データ欠損点画素値補間部」は、前記データ欠損点抽出部により抽出されたデータ欠損点の画素値を、前記他視点閉曲面上にて近隣の投影点に投影される計測点と他の視点位置までの距離及びその計測点の画素値に基づいて補間する機能を有する。

データ欠損点抽出部により抽出されたデータ欠損点は、仮定的に他の視点位置を中心として点群データを取得した場合に他視点閉曲面上に投影されていたはずの計測点の投影点であるため、当該投影点に投影される計測点の画素値として推定される値に置換えるべきである。

よって、データ欠損点画素値補間部では、他視点閉曲面上にてデータ欠損点と近隣の投影点に投影される計測点と他の視点位置までの距離に基づいて他視点閉曲面上に投影されていたはずの計測点の投影点の画素値を算出する。具体的な処理は、第一隠点画素値補正部の処理と同様である。

本実施例の他視点閉曲面画素値補正装置の構成は、実施例１の一視点閉曲面上座標情報取得部と隠点抽出部と第一隠点画素値補正部を、データ欠損点抽出部とデータ欠損点画素値補正部に置換えた構成であるが、これらの構成を全て含むことも可能である。この場合、さらに画質の高い他視点閉曲面画像を生成することが可能になる。

＜具体的な構成＞
本実施例の他視点閉曲面画素値補正装置のハードウェア構成は、基本的に図８を用いて説明した実施例１の他視点閉曲面画素値補正装置のハードウェア構成と共通する。以下、本実施例の他視点閉曲面画素値補正装置の特徴的な処理であるデータ欠損点抽出処理と、データ欠損点画素値補間処理について説明する。

ＣＰＵは、任意の計測点の前記他視点閉曲面上の投影点とその近隣の投影点との相対的位置関係に基づいて、前記他の視点位置を中心として点群データを取得した場合に前記他視点閉曲面上に存在すべき投影点であるにもかかわらずデータが欠損しているデータ欠損点を抽出する処理を行う（データ欠損点抽出処理）。

具体的には、注目する計測点の他視点閉曲面上の投影点とその近隣の投影点との縦方向及び横方向のデータ間隔を取得する処理を行い、他視点閉曲面上でデータの欠損が生じている点をデータ欠損点として抽出する処理を行う。

さらに、ＣＰＵは、前記データ欠損点抽出処理により抽出されたデータ欠損点の画素値を、前記他視点閉曲面上にて近隣の投影点に投影される計測点と他の視点位置までの距離及びその計測点の画素値に基づいて補間する処理を行う（データ欠損点画素値補間処理）。

具体的には、他視点閉曲面上にてデータ欠損点の近隣の投影点に投影される計測点と他の視点位置までの距離を算出する処理を行う。ここで、近隣の投影点に投影される計測点のうち他の視点位置までの距離が所定閾値よりも小さいグループと、大きいグループに分ける処理を行い、距離が所定閾値よりも小さいグループの画素値の平均値を算出する処理を行う。さらに、データ欠損点の画素値を当該平均値にする処理を行う。

＜処理の流れ＞
図１８は、他視点閉曲面画素値補正方法の処理の流れの一例を示す図である。同図の処理の流れは以下のステップからなる。まずステップＳ１８０１では、一の視点位置を中心とした仮想閉曲面である一視点閉曲面上に投影可能な計測点群の実空間位置情報とその画素値情報である点群データを取得する（点群データ取得ステップ）。次にステップＳ１８０２では、前記一の視点位置とは異なる他の視点位置を中心とする仮想閉曲面である他視点閉曲面上に前記計測点群を投影して得られる投影点群の閉曲面上座標情報である他視点閉曲面上座標情報を取得する（他視点閉曲面上座標情報取得ステップ）。次にステップＳ１８０３では、任意の計測点の前記他視点閉曲面上の投影点とその近隣の投影点との相対的位置関係に基づいて、前記他の視点位置を中心として点群データを取得した場合に前記他視点閉曲面上に存在すべき投影点であるにもかかわらずデータが欠損しているデータ欠損点を抽出する（データ欠損点抽出ステップ）。次にステップＳ１８０４では、前記データ欠損点抽出ステップにより抽出されたデータ欠損点の画素値を、前記他視点閉曲面上にて近隣の投影点に投影される計測点と他の視点位置までの距離及びその計測点の画素値に基づいて補間する（データ欠損点画素値補間ステップ）。

＜効果＞
本実施例の他視点閉曲面画素値補正装置等により、一の視点位置を中心として取得した計測点群の実空間位置情報と画素値情報に基づいて任意の視点位置を中心とした画質の高い仮想閉曲面画像を生成することが可能になる。

＜概要＞
本実施例の他視点閉曲面画素値補正装置は、基本的に実施例３と同様であるが、データ欠損点の画素値を補正する際に、抽出されたデータ欠損点と近隣にある他視点閉曲面上の投影点からなる第二注目点群の中から、前記他の視点位置までの距離が最短となる計測点の投影点（第二最短投影点）を抽出し、第二注目点群の中から、第二最短投影点に対する計測点との間隔が所定範囲内にある計測点の投影点（第二近距離投影点）を抽出し、データ欠損点の画素値を、第二最短投影点の画素値及び前記第二近距離投影点の画素値を用いて補間する。当該特徴により、一の視点位置を中心として取得した計測点群の実空間位置情報と画素値情報に基づいて任意の視点位置を中心とした画質の高い仮想閉曲面画像を生成することが可能になる。

＜構成＞
本実施例の他視点閉曲面画素値補正装置の構成は、基本的に実施例３の図１６で示した他視点閉曲面画素値補正装置の構成と同様である。ただし、図１９に示すように、本実施例の他視点閉曲面画素値補正装置の「データ欠損点画素値補間部」１９００は、「第二最短投影点抽出手段」１９０１と、「第二近距離投影点抽出手段」１９０２と、「欠損点画素値補間手段」１９０３を有する。以下、実施例３との相違点である「第二最短投影点抽出手段」と、「第二近距離投影点抽出手段」と、「欠損点画素値補間手段」について説明する。

「第二最短投影点抽出手段」は、データ欠損点抽出部により抽出されたデータ欠損点と近隣にある他視点閉曲面上の投影点からなる第二注目点群の中から、前記他の視点位置までの距離が最短となる計測点の投影点である第二最短投影点を抽出する機能を有する。なお、第二最短投影点は一つである必要はなく、他の視点位置までの距離が同一である場合は複数の第二最短投影点が抽出される場合もある。

「第二近距離投影点抽出手段」は、前記第二注目点群の中から、前記第二最短投影点に対する計測点との間隔が所定範囲内にある計測点の投影点である第二近距離投影点を抽出する機能を有する。

例えば、注目する計測点から他の視点位置までの距離が、最短投影点に投影される計測点から他の視点位置までの距離に所定閾値（例えば、２メートル）を足した値よりも小さい場合に、当該注目する計測点を第二近距離投影点とすることが考えられる。なお、注目する計測点から他の視点位置までの距離と、第二最短投影点に投影される計測点から他の視点位置までの距離との比率が所定値以下である場合に、当該注目する計測点の投影点を第二近距離投影点とすることも可能である。なお、注目する計測点と第二最短投影点に投影される計測点の間隔の測り方は種々考えられ、上記の例に限定されるものではない。

「欠損点画素値補間手段」は、前記データ欠損点の画素値を、前記第二最短投影点の画素値及び前記第二近距離投影点の画素値を用いて補間する機能を有する。

データ欠損点の画素値を第二最短投影点の画素値と第二近距離投影点の画素値を用いて補間する方法としては、例えばこれらの画素値の平均値を算出して、当該平均値をデータ欠損点の画素値とすることが考えられる。また、他視点閉曲面上にあるデータ欠損点との間隔に応じて第二最短投影点の画素値と第二距離投影点の画素値の重み付けを行ってデータ欠損点の画素値を補間することも可能である。具体的には、注目する投影点とデータ欠損点との間隔が近い程、当該投影点のデータ欠損点の画素値に対する寄与率を高くすることが考えられる。

＜具体的な構成＞
本実施例の他視点閉曲面画素値補正装置のハードウェア構成は、基本的に図８を用いて説明した実施例１の他視点閉曲面画素値補正装置のハードウェア構成と共通する。以下、本実施例の他視点閉曲面画素値補正装置の特徴的な処理であるデータ欠損点画素値補間処理について説明する。

ＣＰＵは、データ欠損点抽出部により抽出されたデータ欠損点と近隣にある他視点閉曲面上の投影点からなる第二注目点群の中から、前記他の視点位置までの距離が最短となる計測点の投影点である第二最短投影点を抽出する処理を行う（第二最短投影点抽出処理）。

具体的には、データ欠損点を中心としたｎ×ｎピクセル（例えば、３×３ピクセル）の投影点に投影される各計測点と他の視点位置までの距離を算出する処理を行い、当該距離が最小値となる計測点の投影点のＩＤとその距離の値を関連付けて第二最短投影点の情報としてＲＡＭに格納する処理を行う。

次にＣＰＵは、前記第二注目点群の中から、前記第二最短投影点に対する計測点との間隔が所定範囲内にある計測点の投影点である第二近距離投影点を抽出する処理を行う（第二近距離投影点抽出処理）。

具体的には、各計測点と他の視点位置までの距離を第二最短投影点に投影される計測点と他の視点位置までの距離と比較して所定差の範囲内であるか否かを判断する処理を行い、所定差の範囲内であると判断された計測点の投影点のＩＤとその距離の値を関連付けて第二近距離投影点の情報としてＲＡＭに格納する処理を行う。

さらにＣＰＵは、前記データ欠損点の画素値を、前記第二最短投影点の画素値及び前記第二近距離投影点の画素値を用いて補間する処理を行う（欠損点画素値補間処理）。

具体的には、第二最短投影点の画素値と第二近距離投影点の画素値の平均値を算出する処理を行い、データ欠損点の画素値を当該平均値とする処理を行う。

＜処理の流れ＞
本実施例の他視点閉曲面画素値補正方法の処理の流れは、基本的に図１８で説明した実施例３の他視点閉曲面画素値補正方法の処理の流れと同様である。ただし、本実施例の他視点閉曲面画素値補正方法のデータ欠損点画素値補間ステップは、図２０に示すように、以下のサブステップからなる。まずサブステップＳＳ２００１では、データ欠損点抽出ステップにより抽出されたデータ欠損点と近隣にある他視点閉曲面上の投影点からなる第二注目点群の中から、前記他の視点位置までの距離が最短となる計測点の投影点である第二最短投影点を抽出する（第二最短投影点抽出サブステップ）。次にサブステップＳＳ２００２では、前記第二注目点群の中から、前記第二最短投影点に対する計測点との間隔が所定範囲内にある計測点の投影点である第二近距離投影点を抽出する（第二近距離投影点抽出サブステップ）。次にサブステップＳＳ２００３では、前記データ欠損点の画素値を、前記第二最短投影点の画素値及び前記第二近距離投影点の画素値を用いて補間する（欠損画素値補間サブステップ）。

＜効果＞
本実施例の他視点閉曲面画素値補正装置等により、一の視点位置を中心として取得した計測点群の実空間位置情報と画素値情報に基づいて任意の視点位置を中心とした画質の高い仮想閉曲面画像を生成することが可能になる。

＜概要＞
本実施例の他視点閉曲面画素値補正装置は、基本的に実施例１から４と同様であるが、複数の視点位置について点群データを取得し、実体の位置と反射面を介して鏡像関係の位置にある計測点である鏡像点のデータを抽出し、一の視点位置の点群データから鏡像点のデータを除去する特徴を有する。当該特徴により、現実には存在しない鏡像点を点群データから取り除くため、画質の高い仮想閉曲面画像を生成することが可能になる。

＜構成＞
本実施例の他視点閉曲面画素値補正装置の構成は、基本的に実施例１の図１で示した他視点閉曲面画素値補正装置の構成と同様である。ただし、図２１に示すように、本実施例の他視点閉曲面画素値補正装置の「点群データ取得部」２１００は、「複数点群データ取得手段」２１０１と、「鏡像点データ抽出手段」２１０２と、「鏡像点データ除去手段」２１０３を有する。以下、実施例１との相違点である「複数点群データ取得手段」と、「鏡像点データ抽出手段」と、「鏡像点データ除去手段」について説明する。

「複数点群データ取得手段」は、前記一の視点位置を含み、前記他の視点位置を含まない複数の視点位置について前記点群データを取得する機能を有する。ここで、他の視点位置の点群データを取得していれば、他の視点位置の点群データを他視点閉曲面上に投影することで、画質の高い他視点閉曲面上座標情報を得ることができる。

上記複数の視点位置についての点群データは、例えば水平方向３６０度の範囲で面的に点群データを取得可能なレーザースキャナを複数の視点位置にて用いることによって取得することが可能である。実施例１で説明したように、当該装置は、視点位置から計測点までの距離をレーザーの反射応答時間によって求め、さらにレーザーの射出方向の情報と合わせて実空間の位置情報を特定することが可能である。なお、これらの装置により得られたデータを蓄積可能な記憶装置からネットワークを介して取得する構成も考えられる。

「鏡像点データ抽出手段」は、前記複数の視点位置の点群データから、実体の位置と反射面を介して鏡像関係の位置にある計測点である鏡像点のデータを抽出する機能を有する。図２２は、実体の位置と反射面を介して鏡像関係の位置にある計測点である鏡像点を表す図である。この図にあるように、「反射面」２２００が存在する場合、計測装置の「視点位置」２２０１と「実体」２２０２との間に「反射面」２２００を経由した光路が形成される。「視点位置」２２０１から「実体」２２０２までの距離はレーザー等の反射応答時間によって求めることが可能であるが、その計測点はレーザー等の射出方向にあるとみなされてしまう。このような実体の位置と「反射面」２２００を介して鏡像関係の位置にある計測点である「鏡像点」２２０３はエラーデータであるので、一の視点位置の点群データから取り除くべきものである。

一の視点位置の点群データから鏡像点を取り除く方法としては、レーザーの反射強度を使った閾値処理が知られている。当該方法は、レーザーの反射強度が閾値より小さい計測点に関しては、反射面を経由して届いた光であるとみなし、点群データから当該計測点のデータを除去するものである。しかしながら、この方法は、実際には反射面を経由しないで実体から直接届いた光であるにも関わらず、その計測点のデータを除去してしまうケースが多く発生する。つまり、有効な計測値が大幅に除去されてしまう。その他、３次元ＣＡＤによる閾値処理も存在するが、当該方法は計測対象が平面で構成される場合にのみ有効であり、応用範囲が狭いという問題がある。また、手作業によって鏡像点と推測される計測点を除去することも可能であるが、作業時間が膨大にかかるという問題がある。

そこで、本実施例の他視点閉曲面画素値補正装置においては、上記のような問題を解決するために、複数の視点位置の点群データから、鏡像点のデータを抽出する。図２３は、鏡像点データ抽出手段による鏡像点の抽出方法の一例を示す図である。当該抽出方法は、複数の視点位置の点群データを比較することによって行われる。まず、「視点位置Ａ」２３０１にて計測された点群データの中から実体点である可能性が高い（鏡像点である可能性が低い）「計測点Ｐ１」２３０２を選択する。具体的には、点群データの中から視点位置Ａまでの距離が所定値より小さい計測点を選択したり、他の計測点と比較して視点位置Ａまでの距離が小さい計測点を選択したりする。これは、視点位置Ａからの距離が最も短い計測点は、鏡面反射を起こしている可能性が最も低いことに基づいている。なお、条件を満たせば選択される計測点Ｐ１は複数であってもよい。続いて、「計測点Ｐ１」２３０２と、「視点位置Ｂ」２３０３にて得られる点群データ及び「視点位置Ｃ」２３０４にて得られる点群データとの比較を行う。具体的には、「視点位置Ｂ」２３０３にて得られる点群データのうち、「視点位置Ｂ」２３０３からみて「計測点Ｐ１」２３０２の位置の延長線上にある「計測点Ｐ２」２３０５は鏡像点であると判断する。同様に、「視点位置Ｃ」２３０４にて得られる点群データのうち、「視点位置Ｃ」２３０４からみて「計測点Ｐ１」２３０２の位置の延長線上にある「計測点Ｐ３」２３０６を鏡像点であると判断する。同様に、「視点位置Ｂ、視点位置Ｃにて計測された点群データの中から鏡像点である可能性が低い計測点Ｐ４、Ｐ５を選択し、上記と同様の処理を行う。このような一連の処理を行うことによって、複数の視点位置の点群データから鏡像点のデータを抽出することが可能である。

なお、鏡像点のデータの抽出方法は、上記の方法に限られない。例えば、別の抽出方法として、ある視点位置の点群データには特定の空間位置の計測点が存在するものの、異なる視点位置の点群データには前景に障害物がないにもかかわらずその空間位置の計測点が存在しない場合がある。こういった場合、ある視点位置にて取得される特定の空間位置の計測点は鏡像点であると判断できる。この方法では、上記の方法のように計測された点群データの中から実体点である可能性が高い（鏡像点である可能性が低い）計測点を予め選択しておく必要がない。

「鏡像点データ除去手段」は、前記一の視点位置の点群データから鏡像点のデータを除去する機能を有する。ここで、鏡像点のデータの除去方法の態様としては、データを削除することや、他のデータと置き換えることが挙げられる。

なお、複数の視点位置の点群データからいずれの視点位置を一の視点位置として選択するかは任意であり、特に限定されるものではない。また、複数の視点位置をそれぞれ一の視点位置とみなして、各視点位置の点群データから鏡像点を除去することも考えられる。鏡像点のデータが除去された各視点位置の点群データを用いて、実施例１から４で説明した処理を行い、点群データを取得していない他の視点位置の閉曲面画像を多数生成することができる。ここで、各視点位置から他の視点位置の閉曲面画像を生成する処理は、マルチコアプロセッサーなどにより並列処理とすることも可能である。

＜具体的な構成＞
本実施例の他視点閉曲面画素値補正装置のハードウェア構成は、基本的に図８を用いて説明した実施例１の他視点閉曲面画素値補正装置のハードウェア構成と共通する。以下、本実施例の他視点閉曲面画素値補正装置の特徴的な処理である複数点群データ取得処理と、鏡像点データ抽出処理と、鏡像点データ除去処理について説明する。

まず、ＣＰＵは、一の視点位置を含み、他の視点位置を含まない複数の視点位置について、各視点位置を中心とした仮想閉曲面上に投影可能な計測点群の実空間位置情報とその画素値情報である点群データを取得する処理を行う（複数視点点群データ取得処理）。

具体的には、水平方向３６０度の範囲で面的に点群データを取得できるレーザースキャナを、複数の視点位置において用いて、各視点位置について、計測点群の実空間位置情報（Ｘ、Ｙ、Ｚの座標値や距離や水平角、鉛直角など）とその画素値情報（ＲＧＢのカラー情報など）を取得し、各計測点のＩＤと関連付けて不揮発性メモリに格納する処理を行う。なお、上記レーザースキャナ等の計測機器から直接的にデータを取得する必要は必ずしも無く、データを管理する記憶装置から取得する構成も考えられる。次にＣＰＵは、前記複数の視点位置の点群データから、実体の位置と反射面を介して鏡像関係の位置にある計測点である鏡像点のデータを抽出する処理を行う（鏡像点データ抽出処理）。

具体的には、点群データを取得した複数の視点位置から視点位置Ａを選択し、選択された視点位置Ａの点群データの中から当該視点位置までの距離が他の計測点と比較して小さい計測点Ｐ１を選択する。続いて、点群データを取得した複数の視点位置のうち選択されなかった視点位置Ｂ、Ｃ、・・・の点群データのうち、各視点位置からみて計測点Ｐ１の位置の延長線上にある計測点Ｐ２、Ｐ３、・・・を鏡像点として抽出し、その計測点のＩＤをＲＡＭに格納する。以上の処理を視点位置Ｂ、Ｃ、・・・についても行い、同様に鏡像点を抽出する。

次にＣＰＵは、一の視点位置の点群データから鏡像点のデータを除去する処理を行う（鏡像点データ除去処理）。具体的には、ＲＡＭに読み出された一の視点位置の点群データから、鏡像点のデータを削除したり、他のデータに置き換えたりする処理を行う。

＜処理の流れ＞
本実施例の他視点閉曲面画素値補正方法の処理の流れは、基本的に図９で説明した実施例１の他視点閉曲面画素値補正方法の処理の流れと同様である。ただし、本実施例の他視点閉曲面画素値補正方法の点群データ取得ステップは、図２４に示すように、以下のサブステップからなる。まずサブステップＳＳ２４０１では、前記一の視点位置を含み、前記他の視点位置を含まない複数の視点位置について前記点群データを取得する（複数点群データ取得サブステップ）。次にサブステップＳＳ２４０２では、前記複数の視点位置の点群データから、実体の位置と反射面を介して鏡像関係の位置にある計測点である鏡像点のデータを抽出する（鏡像点データ抽出サブステップ）。次にサブステップＳＳ２４０３では、前記一の視点位置の点群データから鏡像点のデータを除去する（鏡像点データ除去サブステップ）。

＜効果＞
本実施例の他視点閉曲面画素値補正装置等では、現実には存在しない鏡像点を点群データから取り除くため、画質の高い仮想閉曲面画像を生成することが可能になる。

＜概要＞
本実施例の他視点閉曲面画素値補正装置は、基本的に実施例５と同様であるが、複数の視点位置の点群データから、前記複数の視点位置と前記鏡像点を結んで形成される交点である前方交会点のデータを取得し、除去される鏡像点のデータの代わりに、一の視点位置の点群データに前方交会点のデータを追加する。当該特徴により、現実には存在しない鏡像点を現実に存在する反射面の点に置き換えるため、さらに画質の高い仮想閉曲面画像を生成することが可能になる。

＜構成＞
本実施例の他視点閉曲面画素値補正装置の構成は、基本的に実施例５の図２１で示した他視点閉曲面画素値補正装置の構成と同様である。ただし、図２５に示すように、本実施例の他視点閉曲面画素値補正装置の「点群データ取得部」２５００は、「複数点群データ取得手段」２５０１と、「鏡像点データ抽出手段」２５０２と、「鏡像点データ除去手段」２５０３と、「前方交会点データ取得手段」２５０４と、「前方交会点データ追加手段」２５０５と、を有する。以下、実施例５との相違点である「前方交会点データ取得手段」２５０４と、「前方交会点データ追加手段」２５０５について説明する。

実施例５でも述べたように、鏡像点を抽出する際に計測された点群データの中から実体点である可能性が高い（鏡像点である可能性が低い）計測点を予め選択する方法もあるが、当該計測点を選択しないで鏡像点を抽出する方法も可能である。その場合、抽出された鏡像点のデータの代わりに、一の視点位置の点群データに追加すべきデータをさらに取得することが好ましい。以下は、その方法の一例を示すものである。

「前方交会点データ取得手段」は、前記複数の視点位置の点群データから、前記複数の視点位置と前記鏡像点を結んで形成される交点である前方交会点のデータを取得する機能を有する。図２６は、前方交会点データ抽出手段による前方交会点の抽出の一例を示す図である。まず、「視点位置Ａ」２６０１と抽出された「鏡像点Ｐ１」２６０２を「仮想直線Ｌ１」２６０３で結ぶ。次に、「視点位置Ｂ」２６０４と抽出された「鏡像点Ｐ２」２６０５を「仮想直線Ｌ２」２６０６で結ぶ。さらに、「仮想直線Ｌ１」２６０３と「仮想直線Ｌ２」２６０６の「交点（前方交会点）」２６０７の空間座標を前方交会法により算出する。次に、前方交会点の位置にある計測点のデータを複数の視点位置の点群データから取得する。なお、前方交会点の位置に計測点のデータが存在しない場合は、空間的に近隣にある他の計測点のデータに基づいて算出することが可能である。具体的には、近隣にある計測点の平均値を前方交会点の画素値のデータとして算出したり、もっとも近隣にある計測点を前方交会点の画素値のデータとして取得したりすることも考えられる。

「前方交会点データ追加手段」は、前記除去される鏡像点のデータの代わりに、前記一の視点位置の点群データに前記前方交会点のデータを追加する機能を有する。ここで、複数の鏡像点が同一の前方交会点で置き換えられる場合は、追加する前方交会点のデータはひとつのみで足り、除去した各鏡像点のデータに対応してそれぞれ前方交会点のデータを追加することを要求するものではない。

＜具体的な構成＞
本実施例の他視点閉曲面画素値補正装置のハードウェア構成は、基本的に図８を用いて説明した実施例１の他視点閉曲面画素値補正装置のハードウェア構成と共通する。以下、本実施例の他視点閉曲面画素値補正装置の特徴的な処理である前方交会点データ取得処理と、前方交会点データ追加処理について説明する。

まず、ＣＰＵは、前記複数の視点位置の点群データから、前記複数の視点位置と前記鏡像点を結んで形成される交点である前方交会点のデータを取得する処理を行う（前方交会点データ取得処理）。具体的には、任意の視点位置とその視点位置に関して抽出された鏡像点を仮想直線で結ぶ処理を行う。次に、異なる視点位置とその視点位置に関して抽出された鏡像点を仮想直線で結ぶ処理を行う。そして、上記２つの仮想直線の交点（前方交会点）の空間座標を前方交会法により算出する処理を行う。さらに、当該前方交会点の画素値の情報を近隣の計測点の画素値に基づいて算出する。

次に、ＣＰＵは、除去される鏡像点のデータの代わりに、一の視点位置の点群データに前記前方交会点のデータを追加する（前方交会点データ追加サブステップ）。具体的には、ＲＡＭに読み出された一の視点位置の点群データに対して、前方交会点の空間座標位置と画素値のデータを追加する処理を行う。

＜処理の流れ＞
本実施例の他視点閉曲面画素値補正方法の処理の流れは、基本的に図９で説明した実施例１の他視点閉曲面画素値補正方法の処理の流れと同様である。ただし、本実施例の他視点閉曲面画素値補正方法の点群データ取得ステップは、図２７に示すように、以下のサブステップからなる。まずサブステップＳＳ２７０１では、前記一の視点位置を含み、前記他の視点位置を含まない複数の視点位置について前記点群データを取得する（複数点群データ取得サブステップ）。次にサブステップＳＳ２７０２では、前記複数の視点位置の点群データから、実体の位置と反射面を介して鏡像関係の位置にある計測点である鏡像点のデータを抽出する（鏡像点データ抽出サブステップ）。次にサブステップＳＳ２７０３では、前記一の視点位置の点群データから鏡像点のデータを除去する（鏡像点データ除去サブステップ）。次にサブステップＳＳ２７０４では、前記複数の視点位置の点群データから、前記複数の視点位置と各鏡像点を結んで形成される交点である前方交会点のデータを取得する（前方交会点データ取得サブステップ）。次にサブステップＳＳ２７０５では、前記除去される鏡像点のデータの代わりに、前記一の視点位置の点群データに前記前方交会点のデータを追加する（前方交会点データ追加サブステップ）。

＜効果＞
本実施例の他視点閉曲面画素値補正装置等では、現実には存在しない鏡像点を現実に存在する反射面の点に置き換えるため、さらに画質の高い仮想閉曲面画像を生成することが可能になる。

＜概要＞
本実施例の利用者位置情報出力装置は、実施例１から６の他視点閉曲面画素値補正装置にて出力される複数の視点閉曲面上の画素値の情報をデータベースとして保持している。そして、任意の視点位置にて撮影した画像を取得した場合、保持されている複数の視点閉曲面上の画素値分布の中に撮影画像の画素値分布と所定の相関を有する画素値分布があるか否か判断し、相関を有する画素値分布がある場合には、その画素値分布を含む視点閉曲面画像の視点位置を出力する。当該構成を有することにより、画像を撮影することのみによって、撮影画像の視点位置を特定することが可能になる。

＜構成＞
図２８は、本実施例の利用者位置情報出力装置の構成を示す図である。この図にあるように、本実施例の「利用者位置情報出力装置」２８００は、「視点閉曲面画素値保持部」２８０１と、「任意画像取得部」２８０２と、「判断部」２８０３と、「視点位置出力部」２８０４と、から構成される。

「視点閉曲面画素値保持部」は、実施例１から６に記載の他視点閉曲面画素値補正装置にて得られる複数の視点閉曲面上の画素値を保持する機能を有する。具体的には、複数の視点閉曲面上の画素値の情報を記録する長期記録装置が挙げられる。利用者位置情報出力装置と他視点閉曲面画素値補正装置は、有線又は無線の通信手段を介して接続されていてもよいし、一体の装置として構成し、システムバスにより接続されていてもよい。また、利用者位置情報出力装置は、他視点閉曲面画素値補正装置にて得られる複数の視点閉曲面上の画素値を記録した記録媒体を介して取得してもよい。

他視点閉曲面画素値補正装置は、実施例１から４で説明したように、一の視点位置を中心として取得した計測点群の実空間位置情報と画素値情報に基づいて他の視点位置を中心とした画質の高い仮想閉曲面画像を複数生成することが可能である。つまり、限られた視点位置の点群データに基づいて多くの視点位置の閉曲面画像を生成することができる。従来の方式では各視点位置にて画像を撮像する必要があり、多くの視点位置の画像を取得することができなかったが、本実施例の利用者位置情報出力装置は他視点閉曲面画素値補正装置から多くの視点位置の閉曲面画像を取得することができる。

「任意画像取得部」は、視点位置が不明である任意の視点位置にて撮影した画像を取得する機能を有する。視点位置が不明であるとは、撮像画像に対して視点位置の情報が関連付けられていないことを意味するものであり、それ以上の条件を課すものではない。例えば、画像を撮影する者がその視点位置の情報を把握しているような状況を排除するものではない。

任意画像を取得する態様としては、具体的には、任意の視点位置にて撮影した画像を撮像装置から有線又は無線の通信手段を介して受信したり、撮影画像を記録した記録媒体を介して取得したりしてもよい。撮像装置は、撮像機能付きの携帯端末や、デジタルカメラなど種々のものが考えられ、撮像手段を有するものであれば特に限定されるものではない。なお、利用者位置情報出力装置が撮像手段を有している場合は、その撮像手段にて撮影された画像を取得してもよい。

「判断部」は、前記視点閉曲面画素値保持部にて保持されている複数の視点閉曲面上の画素値分布の中に、前記任意画像取得部にて取得された画像の画素値分布と所定の相関を有する画素値分布があるか判断する機能を有する。具体的には、複数の視点閉曲面上の画素値分布と撮影した画像の画素値分布のマッチング処理を行い、撮影した画像の画素値部分との相関が所定レベル以上である画素値分布が視点閉曲面上の画素値分布の中に存在するか否か判断する。

例えば撮像画像をマッチング対象となる視点閉曲面画像のあらゆる領域に重ね合わせ、撮影画像と視点閉曲面画像の所定領域の画素値の差分値の絶対値（又は二乗値）の総和の値を算出する。そして、選択された視点閉曲面画像の中に上記総和値が所定値以下となる領域があるか否か判断する。ここで、上記総和値が所定値以下となる領域がないと判断される場合は、別の視点閉曲面画像に対して同様の処理を行う。そして、ある視点閉曲面画像の中に上記総和値が所定値以下となる領域があると判断される場合は、その視点閉曲面画像のＩＤを保持する。また、全ての視点閉曲面画像についてマッチング処理を行っても、相関がある領域が見つからない場合は、見つからないことを示す情報を保持する。

なお、上記で説明したマッチング処理の他に、正規化相互相関を用いたマッチング処理や、位相限定相関法に基づくマッチング処理などが考えられ、特に限定されるものではない。また、撮像画像の全ての画素値の情報をマッチング処理に用いる必要はなく、一部の画素値を用いてマッチング処理を行うことも可能である。例えば、撮像画像のエッジ部分の画素値の特徴（輪郭や稜線がどのような形をしているか等）を利用してマッチング処理を行うことも可能である。これにより、時間帯や季節、日照による変化があってもマッチング処理の精度を高めることができる。

「視点位置出力部」は、判断部での判断結果が所定の相関を有する画素値分布があるとの判断結果である場合には、その画素値分布を有する視点閉曲面の視点位置を不明であった視点位置の値として出力する機能を有する。ここで、出力される視点位置の情報は、通信手段を介して撮像装置に対して送信されてもよいし、利用者位置情報出力装置の表示手段や音声出力手段、印刷手段を介して出力したり、長期記憶装置に記録したりしてもよい。

＜具体的な構成＞
本実施例の利用者位置情報出力装置のハードウェア構成は、基本的に図８を用いて説明した実施例１の他視点閉曲面画素値補正装置のハードウェア構成と同様である。なお、利用者位置情報出力装置は他視点閉曲面画素値補正装置を一体の装置とし、共通のハードウェアによって実現することも可能である。以下、別々の装置として実現される場合について説明する。

まず、ＣＰＵは、ＬＡＮを介して接続される他視点閉曲面画素値補正装置から複数の視点閉曲面上の画素値の情報を受信して、長期記憶装置（不揮発性メモリ、ハードディスクなど）に記録する処理を行う（視点閉曲面画素値記録処理）。次にＣＰＵは、通信部を介して撮像装置から撮影位置の情報が含まれない撮影画像を受信して、ＲＡＭに格納する（任意画像取得処理）。

さらにＣＰＵは、長期記憶装置に記録されている複数の視点閉曲面上の画素値の情報をＲＡＭに読み出して、複数の視点閉曲面上の画素値分布の中に、撮像画像の画素値分布と所定の相関を有する画素値分布があるか否かをマッチング処理によって判断し、その判断結果をＲＡＭに格納する（判断処理）。ここで、判断結果の情報としては、いずれの視点閉曲面画像の中に撮像画像の画素値分布と所定の相関を有する画素値分布が含まれているかという情報（該当する視点閉曲面画像のＩＤなど）や、視点閉曲面画像の中のいずれの領域に撮像画像の画素値分布があらわれているかという情報（該当する領域の二次元座標値など）が挙げられる。前者の情報は視点位置を特定するために用いられ、後者の情報はその視点位置においていずれの視線方向を向いているかを特定するために用いられる。

次にＣＰＵは、判断処理の結果が所定の相関を有する画素値分布があるとの判断結果である場合に、その画素値分布を有する視点閉曲面の視点位置の情報を通信部を介して携帯端末装置に対して送信する。なお、視点位置の情報に加えて、視線方向の情報を同時に送信することも可能である。

＜処理の流れ＞
図２９は、本実施例の利用者位置情報出力方法の処理の流れの一例を示す図である。同図の処理の流れは以下のステップからなる。まず、ステップＳ２９０１において、他視点閉曲面画素値補正方法にて得られる複数の視点閉曲面上の画素値を記録媒体に記録する（視点閉曲面画素値記録ステップ）。次に、ステップＳ２９０２において、視点位置が不明である任意の視点位置にて撮影した画像を取得する（任意画像取得ステップ）。次に、ステップＳ２９０３において、前記視点閉曲面画素値記録ステップにて記録された複数の視点閉曲面上の画素値分布の中に、前記任意画像取得ステップにて取得された画像の画素値分布と所定の相関を有する画素値分布があるか判断する（判断ステップ）。次に、ステップＳ２９０４において、判断ステップでの判断結果が所定の相関を有する画素値分布があるとの判断結果である場合には、その画素値分布を有する視点閉局面の視点位置を不明であった視点位置の値として出力する（視点位置出力ステップ）。

＜具体的な応用例＞
本実施例の利用者位置情報出力装置を用いて、移動経路の誘導を行うことも可能である。ここでは、撮像機能付き携帯端末を有する利用者に対して、移動経路の誘導を行う場合を考える。また、他視点閉曲面画素値補正装置は、移動経路の誘導を行う領域に関して一又は複数の視点位置の点群データを予め取得して、その他の視点位置の閉曲面画像を生成しているものとする。さらに、利用者位置情報出力装置は、他視点閉曲面画素値補正装置にて生成された複数の視点位置の閉曲面画像のデータを通信手段を介して受信して、保持しているものとする。なお、閉曲面画像を生成すべき視点位置は、移動経路及びその周辺の経路の情報に基づいて所定間隔で自動的に選択してもよいし、移動経路誘導サービスの提供者が操作入力機器を介して手作業で選択してもよい。

図３０は、移動経路の誘導を行う場合の利用者位置情報出力装置と携帯端末装置の処理の流れを示す図である。まず、上記携帯端末装置は、利用者から操作入力を受け付けて、スタート地点の画像を撮影する。次に、当該携帯端末装置は利用者から操作入力を受け付けて、撮像した画像を利用者位置情報出力装置に対して送信する。

利用者位置情報出力装置は、上記携帯端末装置から撮像画像を受信する。次に、利用者位置情報出力装置は、複数の視点閉曲面上の画素値分布の中に、受信した撮像画像の画素値分布と所定値以上の相関度を有する画素値分布が存在するか否かマッチング処理により判断する。ここで、所定値以上の相関度を有する画素値分布が存在するとの判断結果である場合には、その画素値分布がいずれの視点位置の閉曲面画像に含まれるかという情報（視点位置の情報）、また該当する閉曲面画像の中のいずれの領域にその画素値分布が含まれるかという情報（視線方向の情報）を取得する。

利用者位置情報出力装置は、撮影画像の視点位置・視線方向の情報に基づいて、最初の目標地点に誘導するための経路の情報（誘導経路情報）を生成する。ここで、誘導経路情報は、撮影画像の視点位置から利用者がどちらの方向にどれだけの距離を進めばいいかを示す情報や、利用者が進むべき経路が含まれる閉曲面画像の情報などが挙げられる。

携帯端末装置は、利用者位置情報出力装置から誘導経路の情報を受信して、その情報を表示出力又は／及び音声出力する。利用者は、出力される誘導経路の情報に基づいて、移動方向や移動距離を把握し、最初の目標地点まで進む。そして、携帯端末装置は、最初の目標地点に到達した利用者から操作入力を受け付けて任意の視点位置及び視線方向の画像を撮影し、利用者位置情報出力装置に対して再度送信する。以降の処理は、上記で説明したものと同様である。

利用者位置情報出力装置は、最終的な目標地点に利用者を誘導したと判断した場合は、最終的な目標地点に到達したことを示す情報を利用者の携帯端末装置に対して送信する。そして、携帯端末装置は最終的な目標地点に到達したことを示す情報を出力する。

＜効果＞
本実施例の利用者位置情報出力装置等では、画像を撮影することのみによって、撮影画像の視点位置を特定することが可能になる。

０１００…他視点閉曲面画素値補正装置、０１０１…点群データ取得部、０１０２…一視点閉曲面上座標情報取得部、０１０３…他視点閉曲面上座標情報取得部、０１０４…隠点抽出部、０１０５…第一隠点画素値補正部（第二隠点画素値補正部）、０８０１…ＣＰＵ、０８０２…ＲＡＭ、０８０３…ＲＯＭ、０８０４…通信部、０８０５…表示部、０８０６…不揮発性メモリ、１０００…第一隠点画素値補正部、１００１…第一最短投影点抽出手段、１００２…第一近距離投影点抽出手段、１００３…第一隠点画素値補正手段、１１０３…距離差判断手段、１１０４…第二隠点画素値補正手段、１６０４…データ欠損点抽出部、１６０５…データ欠損点画素値補間部、１９００…データ欠損点画素値補間部、１９０１…第二最短投影点抽出手段、１９０２…第二近距離投影点抽出手段、１９０３…欠損点画素値補間手段、２１００…点群データ取得部、２１０１…複数点群データ取得手段、２１０２…鏡像点データ抽出手段、２１０３…鏡像点データ除去手段、２５０４…前方交会点データ取得手段、２５０６…前方交会点データ追加手段

Claims (18)

1. 一の視点位置を中心とした仮想閉曲面である一視点閉曲面上に投影可能な計測点群の実空間位置情報とその画素値情報である点群データを取得する点群データ取得部と、
   前記一視点閉曲面上に前記計測点群を投影して得られる投影点群の閉曲面上座標情報である一視点閉曲面上座標情報を取得する一視点閉曲面上座標情報取得部と、
   前記一の視点位置とは異なる他の視点位置を中心とする仮想閉曲面である他視点閉曲面上に前記計測点群を投影して得られる投影点群の閉曲面上座標情報である他視点閉曲面上座標情報を取得する他視点閉曲面上座標情報取得部と、
   任意の計測点の前記一視点閉曲面上の投影点とその近隣の投影点との相対的位置関係と、前記任意の計測点の前記他視点閉曲面上の投影点とその近隣の投影点との相対的位置関係と、前記任意の計測点と他の視点位置までの距離と、前記他視点閉曲面上にて近隣の投影点に投影される計測点と他の視点位置までの距離に基づいて、前記他の視点位置を中心として点群データを取得した場合に物体面の陰に隠れてデータを取得できないはずの計測点である隠点を抽出する隠点抽出部と、
   前記隠点抽出部により抽出された隠点の前記他視点閉曲面上の投影点の画素値を、前記他視点閉曲面上にて近隣の投影点に投影される計測点と他の視点位置までの距離及びその計測点の画素値を用いて補正する第一隠点画素値補正部と、
   を有する他視点閉曲面画素値補正装置。
2. 前記第一隠点画素値補正部は、
   隠点抽出部により抽出された隠点の他視点閉曲面上の投影点の近隣にある投影点からなる点群である第一注目点群の中から、前記他の視点位置までの距離が最短となる計測点の投影点である第一最短投影点を抽出する第一最短投影点抽出手段と、
   前記第一注目点群の中から、前記第一最短投影点に投影される計測点との間隔が所定範囲内にある計測点の投影点である第一近距離投影点を抽出する第一近距離投影点抽出手段と、
   前記隠点の前記他視点閉曲面上の投影点の画素値を、前記第一最短投影点の画素値と前記第一近距離投影点の画素値を用いて補正する第一隠点画素値補正手段と、
   を有する請求項１に記載の他視点閉曲面画素値補正装置。
3. 第一隠点画素値補正部に代えて、
   前記隠点抽出部により抽出された隠点の前記他視点閉曲面上の投影点の画素値を、隠点と他の視点位置までの距離と、前記他視点閉曲面上にて近隣の投影点に投影される計測点と他の視点位置までの距離及びその計測点の画素値を用いて補正する第二隠点画素値補正部を有する請求項１に記載の他視点閉曲面画素値補正装置。
4. 前記第二隠点画素値補正部は、
   隠点抽出部により抽出された隠点の他視点閉曲面上の投影点の近隣にある投影点からなる点群である第一注目点群の中から、前記他の視点位置までの距離が最短となる計測点の投影点である第一最短投影点を抽出する第一最短投影点抽出手段と、
   前記第一注目点群の中から、前記第一最短投影点に投影される計測点との間隔が所定範囲内にある計測点の投影点である第一近距離投影点を抽出する第一近距離投影点抽出手段と、
   隠点から他の視点位置までの距離と前記第一最短投影点に投影される計測点から他の視点位置までの距離との差が所定値以上であるか否か判断する距離差判断手段と、
   前記距離差判断手段による判断が所定値以上であるとの判断である場合は、前記隠点の前記他視点閉曲面上の投影点の画素値を、前記第一最短投影点の画素値と前記第一近距離投影点の画素値を用いて補正する第二隠点画素値補正手段と、
   を有する請求項３に記載の他視点閉曲面画素値補正装置。
5. 一の視点位置を中心とした仮想閉曲面である一視点閉曲面上に投影可能な計測点群の実空間位置情報とその画素値情報である点群データを取得する点群データ取得部と、
   前記一の視点位置とは異なる他の視点位置を中心とする仮想閉曲面である他視点閉曲面上に前記計測点群を投影して得られる投影点群の閉曲面上座標情報である他視点閉曲面上座標情報を取得する他視点閉曲面上座標情報取得部と、
   任意の計測点の前記他視点閉曲面上の投影点とその近隣の投影点との相対的位置関係に基づいて、前記他の視点位置を中心として点群データを取得した場合に前記他視点閉曲面上に存在すべき投影点であるにもかかわらずデータが欠損しているデータ欠損点を抽出するデータ欠損点抽出部と、
   前記データ欠損点抽出部により抽出されたデータ欠損点の画素値を、前記他視点閉曲面上にて近隣の投影点に投影される計測点と他の視点位置までの距離及びその計測点の画素値に基づいて補間するデータ欠損点画素値補間部と、
   を有する他視点閉曲面画素値補正装置。
6. 前記データ欠損点画素値補間部は、
   データ欠損点抽出部により抽出されたデータ欠損点と近隣にある他視点閉曲面上の投影点からなる第二注目点群の中から、前記他の視点位置までの距離が最短となる計測点の投影点である第二最短投影点を抽出する第二最短投影点抽出手段と、
   前記第二注目点群の中から、前記第二最短投影点に対する計測点との間隔が所定範囲内にある計測点の投影点である第二近距離投影点を抽出する第二近距離投影点抽出手段と、
   前記データ欠損点の画素値を、前記第二最短投影点の画素値及び前記第二近距離投影点の画素値を用いて補間する欠損点画素値補間手段と、
   を有する請求項５に記載の他視点閉曲面画素値補正装置。
7. 前記点群データ取得部は、
   前記一の視点位置を含み、前記他の視点位置を含まない複数の視点位置について前記点群データを取得する複数点群データ取得手段と、
   前記複数の視点位置の点群データから、実体の位置と反射面を介して鏡像関係の位置にある計測点である鏡像点のデータを抽出する鏡像点データ抽出手段と、
   前記一の視点位置の点群データから鏡像点のデータを除去する鏡像点データ除去手段と、
   を有する請求項１から６のいずれか一に記載の他視点閉曲面画素値補正装置。
8. 前記点群データ取得部は、
   前記複数の視点位置の点群データから、前記複数の視点位置と鏡像点を結んで形成される交点である前方交会点のデータを取得する前方交会点データ取得手段と、
   前記除去される鏡像点のデータの代わりに、前記一の視点位置の点群データに前記前方交会点のデータを追加する前方交会点データ追加手段と、
   を有する請求項７に記載の他視点閉曲面画素値補正装置。
9. 一の視点位置を中心とした仮想閉曲面である一視点閉曲面上に投影可能な計測点群の実空間位置情報とその画素値情報である点群データを取得する点群データ取得ステップと、
   前記一視点閉曲面上に前記計測点群を投影して得られる投影点群の閉曲面上座標情報である一視点閉曲面上座標を取得する一視点閉曲面上座標情報取得ステップと、
   前記一の視点位置とは異なる他の視点位置を中心とする仮想閉曲面である他視点閉曲面上に前記計測点群を投影して得られる投影点群の閉曲面上座標情報である他視点閉曲面上座標情報を取得する他視点閉曲面上座標情報取得ステップと、
   任意の計測点の前記一視点閉曲面上の投影点とその近隣の投影点との相対的位置関係と、前記任意の計測点の前記他視点閉曲面上の投影点とその近隣の投影点との相対的位置関係と、任意の計測点と他の視点位置までの距離と、前記他視点閉曲面上にて近隣の投影点に投影される計測点と他の視点位置までの距離に基づいて、前記他の視点位置を中心として点群データを取得した場合に物体面の陰に隠れてデータを取得できないはずの計測点である隠点を抽出する隠点抽出ステップと、
   前記隠点抽出ステップにより抽出された隠点の前記他視点閉曲面上の投影点の画素値を、前記他視点閉曲面上にて近隣に投影される計測点と他視点位置までの距離及びその計測点の画素値を用いて補正する第一隠点画素値補正ステップと、
   からなる他視点閉曲面画素値補正方法。
10. 前記第一隠点画素値補正ステップは、
    隠点抽出ステップにより抽出された隠点の他視点閉曲面上の投影点及びその近隣にある投影点とからなる点群である第一注目点群の中から、他の視点位置までの距離が最短となる計測点の投影点である第一最短投影点を抽出する第一最短投影点抽出サブステップと、
    前記第一注目点群の中から、前記第一最短投影点に投影される計測点との間隔が所定範囲内にある計測点の投影点である第一近距離投影点を抽出する第一近距離投影点抽出サブステップと、
    前記隠点の前記他視点閉曲面上の投影点の画素値を、前記第一最短投影点の画素値と前記第一近距離投影点の画素値を用いて補正する第一隠点画素値補正サブステップと、
    を有する請求項９に記載の他視点閉曲面画素値補正方法。
11. 前記第一隠点画素値補正ステップに代えて、
    前記隠点抽出部により抽出された隠点の前記他視点閉曲面上の投影点の画素値を、隠点と他の視点位置までの距離と、前記他視点閉曲面上にて近隣に投影される計測点と他視点位置までの距離及びその計測点の画素値を用いて補正する第二隠点画素値補正ステップを有する請求項９に記載の他視点閉曲面画素値補正方法。
12. 前記第二隠点画素値補正ステップは、
    隠点抽出ステップにより抽出された隠点の他視点閉曲面上の投影点及びその近隣にある投影点とからなる点群である第一注目点群の中から、他の視点位置までの距離が最短となる計測点の投影点である第一最短投影点を抽出する第一最短投影点抽出サブステップと、
    前記第一注目点群の中から、前記第一最短投影点に投影される計測点との間隔が所定範囲内にある計測点の投影点である第一近距離投影点を抽出する第一近距離投影点抽出サブステップと、
    隠点から他の視点位置までの距離と前記第一最短投影点に投影される計測点から他の視点位置までの距離との差が所定値以上であるか否か判断する距離差判断サブステップと、
    前記距離差判断サブステップによる判断が所定値以上であるとの判断である場合は、前記隠点の前記他視点閉曲面上の投影点の画素値を、前記第一最短投影点の画素値と前記第一近距離投影点の画素値を用いて補正する第二隠点画素値補正サブステップと、
    を有する請求項１１に記載の他視点閉曲面画素値補正方法。
13. 一の視点位置を中心とした仮想閉曲面である一視点閉曲面上に投影可能な計測点群の実空間位置情報とその画素値情報である点群データを取得する点群データ取得ステップと、
    前記一の視点位置とは異なる他の視点位置を中心とする仮想閉曲面である他視点閉曲面上に前記計測点群を投影して得られる投影点群の閉曲面上座標情報である他視点閉曲面上座標情報を取得する他視点閉曲面上座標情報取得ステップと、
    任意の計測点の前記他視点閉曲面上の投影点とその近隣の投影点との相対的位置関係に基づいて、前記他の視点位置を中心として点群データを取得した場合に前記他視点閉曲面上に存在すべき投影点であるにもかかわらずデータが欠損しているデータ欠損点を抽出するデータ欠損点抽出ステップと、
    前記データ欠損点抽出ステップにより抽出されたデータ欠損点の画素値を、前記他視点閉曲面上にて近隣の投影点に投影される計測点と他の視点位置までの距離及びその計測点の画素値に基づいて補間するデータ欠損点画素値補間ステップと、
    からなる他視点閉曲面画素値補正方法。
14. 前記データ欠損点画素値補間ステップは、
    データ欠損点抽出ステップにより抽出されたデータ欠損点と近隣にある他視点閉曲面上の投影点からなる第二注目点群の中から、前記他の視点位置までの距離が最短となる計測点の投影点である第二最短投影点を抽出する第二最短投影点抽出サブステップと、
    前記第二注目点群の中から、前記第二最短投影点に対する計測点との間隔が所定範囲内にある計測点の投影点である第二近距離投影点を抽出する第二近距離投影点抽出サブステップと、
    前記データ欠損点の画素値を、前記第二最短投影点の画素値及び前記第二近距離投影点の画素値を用いて補間する欠損点画素値補間サブステップと、
    からなる請求項１３に記載の他視点閉曲面画素値補正方法。
15. 前記点群データ取得ステップは、
    前記一の視点位置を含み、前記他の視点位置を含まない複数の視点位置について前記点群データを取得する複数点群データ取得サブステップと、
    前記複数の視点位置の点群データから、実体の位置と反射面を介して鏡像関係の位置にある計測点である鏡像点のデータを抽出する鏡像点データ抽出サブステップと、
    前記点群データから鏡像点のデータを除去する鏡像点データ除去サブステップと、
    を有する請求項９から１４のいずれか一に記載の他視点閉曲面画素値補正方法。
    
    
    
    
16. 前記点群データ取得ステップは、
    前記複数の視点位置の点群データから、前記複数の視点位置と各鏡像点を結んで形成される交点である前方交会点のデータを抽出する前方交会点データ取得サブステップと、
    前記除去される鏡像点のデータの代わりに、前記一の視点位置の点群データに前記前方交会点のデータを追加する前方交会点データ追加サブステップと、
    を有する請求項１５に記載の他視点閉曲面画素値補正方法。
17. 請求項１から８に記載の他視点閉曲面画素値補正装置にて得られる複数の視点閉曲面上の画素値を保持する視点閉曲面画素値保持部と、
    視点位置が不明である任意の視点位置にて撮影した画像を取得する任意画像取得部と、
    前記視点閉曲面画素値保持部にて保持されている複数の視点閉曲面上の画素値分布の中に、前記任意画像取得部にて取得された画像の画素値分布と所定の相関を有する画素値分布があるか判断する判断部と、
    判断部での判断結果が所定の相関を有する画素値分布があるとの判断結果である場合には、その画素値分布を有する視点閉局面の視点位置を不明であった視点位置の値として出力する視点位置出力部と、
    を有する利用者位置情報出力装置。
18. 請求項９から１６に記載の他視点閉曲面画素値補正方法にて得られる複数の視点閉曲面上の画素値を記録媒体に記録する視点閉曲面画素値記録ステップと、
    視点位置が不明である任意の視点位置にて撮影した画像を取得する任意画像取得ステップと、
    前記視点閉曲面画素値記録ステップにて記録された複数の視点閉曲面上の画素値分布の中に、前記任意画像取得ステップにて取得された画像の画素値分布と所定の相関を有する画素値分布があるか判断する判断ステップと、
    判断ステップでの判断結果が所定の相関を有する画素値分布があるとの判断結果である場合には、その画素値分布を有する視点閉局面の視点位置を不明であった視点位置の値として出力する視点位置出力ステップと、
    を有する利用者位置情報出力方法。

Images