JP5067450B2 - 撮影装置、撮影装置の制御装置、撮影装置の制御プログラム、及び撮影装置の制御方法 - Google Patents

撮影装置、撮影装置の制御装置、撮影装置の制御プログラム、及び撮影装置の制御方法 Download PDF

Info

Publication number
JP5067450B2
JP5067450B2 JP2010147924A JP2010147924A JP5067450B2 JP 5067450 B2 JP5067450 B2 JP 5067450B2 JP 2010147924 A JP2010147924 A JP 2010147924A JP 2010147924 A JP2010147924 A JP 2010147924A JP 5067450 B2 JP5067450 B2 JP 5067450B2
Authority
JP
Japan
Prior art keywords
noise
model
dimensional model
generating
dimensional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2010147924A
Other languages
English (en)
Other versions
JP2012014259A (ja
Inventor
光康 中嶋
敬一 櫻井
崇史 山谷
由紀 吉濱
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Casio Computer Co Ltd
Original Assignee
Casio Computer Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Casio Computer Co Ltd filed Critical Casio Computer Co Ltd
Priority to JP2010147924A priority Critical patent/JP5067450B2/ja
Priority to US13/161,645 priority patent/US8817075B2/en
Priority to CN201110180593.0A priority patent/CN102316254B/zh
Publication of JP2012014259A publication Critical patent/JP2012014259A/ja
Application granted granted Critical
Publication of JP5067450B2 publication Critical patent/JP5067450B2/ja
Priority to US14/224,590 priority patent/US9336626B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/21—Circuitry for suppressing or minimising disturbance, e.g. moiré or halo
    • H04N5/213—Circuitry for suppressing or minimising impulsive noise
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Generation (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Description

本発明は、画像を撮影する撮影装置、並びに撮影装置の制御装置、撮影装置の制御プログラム、及び制御方法に関する。
非特許文献１には、２つのカメラを光軸が平行で、かつ画像座標系の座標軸が同一直線上で同一方向になる配置（つまり、平行ステレオ）に固定すると共に、固定した２つのカメラで撮影された画像における撮影対象物（つまり、被写体という）の見え方の差異（つまり、視差）とカメラ間の距離（つまり、基線長）とに基づいて、対象物の三次元画像を生成する技術が開示されている。
佐藤 洋一 著、「ディジタル画像処理」、ＣＧ−ＡＲＴＳ協会出版、２００９年１１月２日発行、第２５１頁から第２６２頁
ここで、非特許文献１に係る技術では、生成された三次元画像に含まれるノイズを除去できないため、撮影された対象物の三次元画像を精度良く生成できないという問題があった。
そこで、本発明は、このような点に鑑み、その目的とするところは、被写体の三次元画像を精度良く生成できる撮影装置、撮影装置の制御装置、撮影装置の制御プログラム、及び撮影装置の制御方法を提供することにある。
上記目的を達成するため、本発明の第１の観点に係る撮影装置は、
被写体を撮影する撮影手段と、
前記撮影手段で撮影された撮影画像を用いて、前記被写体の三次元モデルを生成するモデル生成手段と、
前記モデル生成手段で生成された三次元モデルからノイズを除去するノイズ除去手段と、
前記ノイズ除去手段でノイズが除去された三次元モデルに基づいて、三次元画像を生成する三次元画像生成手段と、を備え、
前記ノイズ除去手段は、前記モデル生成手段で生成された三次元モデルを構成する点を基準点として所定の距離までの空間範囲において、当該三次元モデルの生成に用いられた撮影画像の撮影位置と異なる位置から撮影された撮影画像を用いて生成された他の三次元モデルを構成する頂点を、所定数得られない場合に、前記基準点はノイズであると判定する、
ことを特徴とする。
上記目的を達成するため、本発明の第２の観点に係る撮影装置は、
被写体を撮影する撮影手段と、
前記撮影手段で撮影された撮影画像を用いて、前記被写体の三次元モデルを生成するモデル生成手段と、
前記モデル生成手段で生成された三次元モデルからノイズを除去するノイズ除去手段と、
前記ノイズ除去手段でノイズが除去された三次元モデルに基づいて、三次元画像を生成する三次元画像生成手段と、
前記モデル生成手段で生成された三次元モデルを構成する点に基づいて、前記三次元モデルの生成に用いられた撮影画像の撮影時における前記撮影手段の撮影方向を推定する撮影方向推定手段と、を備え、
前記ノイズ除去手段は、
前記モデル生成手段で生成された三次元モデルを構成する基準点に対応する対応点が、当該三次元モデルの生成に用いられた撮影画像の撮影位置と異なる位置から撮影された撮影画像を用いて生成された三次元モデルを構成しない場合に、当該基準点はノイズであると判定し、
前記撮影方向推定手段で推定された撮影方向の差異が所定値よりも小さい複数の三次元モデルの内で、他の三次元モデルの生成に用いられた撮影画像の撮影時刻よりも早い撮影時刻の撮影画像を用いて生成された三次元モデルを、前記三次元画像生成手段が三次元画像を生成する基礎とする三次元モデルから除去する、
ことを特徴とする。
上記目的を達成するため、本発明の第３の観点に係る撮影装置は、
被写体を撮影する撮影手段と、
前記撮影手段で撮影された撮影画像を用いて、前記被写体の三次元モデルを生成するモデル生成手段と、
前記モデル生成手段で生成された三次元モデルからノイズを除去するノイズ除去手段と、
前記ノイズ除去手段でノイズが除去された三次元モデルに基づいて、三次元画像を生成する三次元画像生成手段と、
前記モデル生成手段で生成された三次元モデルを構成する点に基づいて、前記三次元モデルの生成に用いられた撮影画像の撮影時における前記撮影手段の撮影方向を推定する撮影方向推定手段と、を備え、
前記ノイズ除去手段は、
前記モデル生成手段で生成された三次元モデルを構成する基準点に対応する対応点が、当該三次元モデルの生成に用いられた撮影画像の撮影位置と異なる位置から撮影された撮影画像を用いて生成された三次元モデルを構成しない場合に、当該基準点はノイズであると判定し、
前記撮影方向推定手段で推定された撮影方向と、前記三次元モデルを構成する点を頂点とするポリゴン面の法線との相違が所定値よりも大きい場合に、当該頂点はノイズであると判定する、
ことを特徴とする。
上記目的を達成するため、本発明の第４の観点に係る撮影装置は、
被写体を撮影する撮影手段と、
前記撮影手段で撮影された撮影画像を用いて、前記被写体の三次元モデルを生成するモデル生成手段と、
前記モデル生成手段で生成された三次元モデルからノイズを除去するノイズ除去手段と、
前記ノイズ除去手段でノイズが除去された三次元モデルに基づいて、三次元画像を生成する三次元画像生成手段と、
前記モデル生成手段で生成された三次元モデルを構成する点に基づいて、前記三次元モデルの生成に用いられた撮影画像の撮影時における前記撮影手段の撮影方向を推定する撮影方向推定手段と、を備え、
前記ノイズ除去手段は、
前記モデル生成手段で生成された三次元モデルを構成する基準点に対応する対応点が、当該三次元モデルの生成に用いられた撮影画像の撮影位置と異なる位置から撮影された撮影画像を用いて生成された三次元モデルを構成しない場合に、当該基準点はノイズであると判定し、
前記撮影方向推定手段で推定された撮影方向と、前記三次元モデルを構成する点を頂点とする複数のポリゴン面の法線で定まる当該頂点の方向との相違が所定値よりも大きい場合に、当該頂点はノイズであると判定する、
ことを特徴とする。
上記第４の観点に係る撮影装置において、
前記ノイズ除去手段でノイズを除去された三次元モデルと、前記三次元モデルを構成する点がノイズであるか否かを前記ノイズ除去手段が判定するために用いた所定値とを対応付けて表示する表示手段と、
値を指定する操作に応じた信号を入力する入力手段と、をさらに備え、
前記ノイズ除去手段は、前記入力手段で入力された信号に応じた値を前記所定値として、前記三次元モデルを構成する点がノイズであるか否かを再度判定すると共に、ノイズであると判定した点を前記三次元モデルから再度除去し、
前記表示手段は、前記ノイズ除去手段でノイズが再度除去された三次元モデルを表示する、
としても良い。
また上記目的を達成するため、本発明の第５の観点に係る撮影装置の制御装置は、
被写体を撮影するように撮影手段を制御する撮影制御手段と、
前記撮影手段から出力された撮影画像を用いて、前記被写体の三次元モデルを生成するモデル生成手段と、
前記モデル生成手段で生成された三次元モデルからノイズを除去するノイズ除去手段と、
前記ノイズ除去手段でノイズが除去された三次元モデルに基づいて、三次元画像を生成する三次元画像生成手段と、を備え、
前記ノイズ除去手段は、前記モデル生成手段で生成された三次元モデルを構成する点を基準点として所定の距離までの空間範囲において、当該三次元モデルの生成に用いられた撮影画像の撮影位置と異なる位置から撮影された撮影画像を用いて生成された他の三次元モデルを構成する頂点を、所定数得られない場合に、前記基準点はノイズであると判定する、
ことを特徴とする。
上記目的を達成するため、本発明の第６の観点に係る撮影装置の制御装置は、
被写体を撮影するように撮影手段を制御する撮影制御手段と、
前記撮影手段から出力された撮影画像を用いて、前記被写体の三次元モデルを生成するモデル生成手段と、
前記モデル生成手段で生成された三次元モデルからノイズを除去するノイズ除去手段と、
前記ノイズ除去手段でノイズが除去された三次元モデルに基づいて、三次元画像を生成する三次元画像生成手段と、
前記モデル生成手段で生成された三次元モデルを構成する点に基づいて、前記三次元モデルの生成に用いられた撮影画像の撮影時における前記撮影手段の撮影方向を推定する撮影方向推定手段と、を備え、
前記ノイズ除去手段は、
前記モデル生成手段で生成された三次元モデルを構成する基準点に対応する対応点が、当該三次元モデルの生成に用いられた撮影画像の撮影位置と異なる位置から撮影された撮影画像を用いて生成された三次元モデルを構成しない場合に、当該基準点はノイズであると判定し、
前記撮影方向推定手段で推定された撮影方向の差異が所定値よりも小さい複数の三次元モデルの内で、他の三次元モデルの生成に用いられた撮影画像の撮影時刻よりも早い撮影時刻の撮影画像を用いて生成された三次元モデルを、前記三次元画像生成手段が三次元画像を生成する基礎とする三次元モデルから除去する、
ことを特徴とする。
上記目的を達成するため、本発明の第７の観点に係る撮影装置の制御装置は、
被写体を撮影するように撮影手段を制御する撮影制御手段と、
前記撮影手段から出力された撮影画像を用いて、前記被写体の三次元モデルを生成するモデル生成手段と、
前記モデル生成手段で生成された三次元モデルからノイズを除去するノイズ除去手段と、
前記ノイズ除去手段でノイズが除去された三次元モデルに基づいて、三次元画像を生成する三次元画像生成手段と、
前記モデル生成手段で生成された三次元モデルを構成する点に基づいて、前記三次元モデルの生成に用いられた撮影画像の撮影時における前記撮影手段の撮影方向を推定する撮影方向推定手段と、を備え、
前記ノイズ除去手段は、
前記モデル生成手段で生成された三次元モデルを構成する基準点に対応する対応点が、当該三次元モデルの生成に用いられた撮影画像の撮影位置と異なる位置から撮影された撮影画像を用いて生成された三次元モデルを構成しない場合に、当該基準点はノイズであると判定し、
前記撮影方向推定手段で推定された撮影方向と、前記三次元モデルを構成する点を頂点とするポリゴン面の法線との相違が所定値よりも大きい場合に、当該頂点はノイズであると判定する、
ことを特徴とする。
上記目的を達成するため、本発明の第８の観点に係る撮影装置の制御装置は、
被写体を撮影するように撮影手段を制御する撮影制御手段と、
前記撮影手段から出力された撮影画像を用いて、前記被写体の三次元モデルを生成するモデル生成手段と、
前記モデル生成手段で生成された三次元モデルからノイズを除去するノイズ除去手段と、
前記ノイズ除去手段でノイズが除去された三次元モデルに基づいて、三次元画像を生成する三次元画像生成手段と、
前記モデル生成手段で生成された三次元モデルを構成する点に基づいて、前記三次元モデルの生成に用いられた撮影画像の撮影時における前記撮影手段の撮影方向を推定する撮影方向推定手段と、を備え、
前記ノイズ除去手段は、
前記モデル生成手段で生成された三次元モデルを構成する基準点に対応する対応点が、当該三次元モデルの生成に用いられた撮影画像の撮影位置と異なる位置から撮影された撮影画像を用いて生成された三次元モデルを構成しない場合に、当該基準点はノイズであると判定し、
前記撮影方向推定手段で推定された撮影方向と、前記三次元モデルを構成する点を頂点とする複数のポリゴン面の法線で定まる当該頂点の方向との相違が所定値よりも大きい場合に、当該頂点はノイズであると判定する、
ことを特徴とする。
また上記目的を達成するため、本発明の第９の観点に係る撮影装置の制御プログラムは、
コンピュータを、
被写体を撮影するように撮影手段を制御する撮影制御手段、
前記撮影手段から出力された撮影画像を用いて、前記被写体の三次元モデルを生成するモデル生成手段、
前記モデル生成手段で生成された三次元モデルからノイズを除去するノイズ除去手段、
前記ノイズ除去手段でノイズが除去された三次元モデルに基づいて、三次元画像を生成する三次元画像生成手段、として機能させ、
前記ノイズ除去手段は、前記モデル生成手段で生成された三次元モデルを構成する点を基準点として所定の距離までの空間範囲において、当該三次元モデルの生成に用いられた撮影画像の撮影位置と異なる位置から撮影された撮影画像を用いて生成された他の三次元モデルを構成する頂点を、所定数得られない場合に、前記基準点はノイズであると判定する、
ことを特徴とする。
上記目的を達成するため、本発明の第１０の観点に係る撮影装置の制御プログラムは、
コンピュータを、
被写体を撮影するように撮影手段を制御する撮影制御手段、
前記撮影手段から出力された撮影画像を用いて、前記被写体の三次元モデルを生成するモデル生成手段、
前記モデル生成手段で生成された三次元モデルからノイズを除去するノイズ除去手段、
前記ノイズ除去手段でノイズが除去された三次元モデルに基づいて、三次元画像を生成する三次元画像生成手段、
前記モデル生成手段で生成された三次元モデルを構成する点に基づいて、前記三次元モデルの生成に用いられた撮影画像の撮影時における前記撮影手段の撮影方向を推定する撮影方向推定手段、として機能させ、
前記ノイズ除去手段は、
前記モデル生成手段で生成された三次元モデルを構成する基準点に対応する対応点が、当該三次元モデルの生成に用いられた撮影画像の撮影位置と異なる位置から撮影された撮影画像を用いて生成された三次元モデルを構成しない場合に、当該基準点はノイズであると判定し、
前記撮影方向推定手段で推定された撮影方向の差異が所定値よりも小さい複数の三次元モデルの内で、他の三次元モデルの生成に用いられた撮影画像の撮影時刻よりも早い撮影時刻の撮影画像を用いて生成された三次元モデルを、前記三次元画像生成手段が三次元画像を生成する基礎とする三次元モデルから除去する、
ことを特徴とする。
上記目的を達成するため、本発明の第１１の観点に係る撮影装置の制御プログラムは、
コンピュータを、
被写体を撮影するように撮影手段を制御する撮影制御手段、
前記撮影手段から出力された撮影画像を用いて、前記被写体の三次元モデルを生成するモデル生成手段、
前記モデル生成手段で生成された三次元モデルからノイズを除去するノイズ除去手段、
前記ノイズ除去手段でノイズが除去された三次元モデルに基づいて、三次元画像を生成する三次元画像生成手段、
前記モデル生成手段で生成された三次元モデルを構成する点に基づいて、前記三次元モデルの生成に用いられた撮影画像の撮影時における前記撮影手段の撮影方向を推定する撮影方向推定手段、として機能させ、
前記ノイズ除去手段は、
前記モデル生成手段で生成された三次元モデルを構成する基準点に対応する対応点が、当該三次元モデルの生成に用いられた撮影画像の撮影位置と異なる位置から撮影された撮影画像を用いて生成された三次元モデルを構成しない場合に、当該基準点はノイズであると判定し、
前記撮影方向推定手段で推定された撮影方向と、前記三次元モデルを構成する点を頂点とするポリゴン面の法線との相違が所定値よりも大きい場合に、当該頂点はノイズであると判定する、
ことを特徴とする。
上記目的を達成するため、本発明の第１２の観点に係る撮影装置の制御プログラムは、
コンピュータを、
被写体を撮影するように撮影手段を制御する撮影制御手段、
前記撮影手段から出力された撮影画像を用いて、前記被写体の三次元モデルを生成するモデル生成手段、
前記モデル生成手段で生成された三次元モデルからノイズを除去するノイズ除去手段、
前記ノイズ除去手段でノイズが除去された三次元モデルに基づいて、三次元画像を生成する三次元画像生成手段、
前記モデル生成手段で生成された三次元モデルを構成する点に基づいて、前記三次元モデルの生成に用いられた撮影画像の撮影時における前記撮影手段の撮影方向を推定する撮影方向推定手段、として機能させ、
前記ノイズ除去手段は、
前記モデル生成手段で生成された三次元モデルを構成する基準点に対応する対応点が、当該三次元モデルの生成に用いられた撮影画像の撮影位置と異なる位置から撮影された撮影画像を用いて生成された三次元モデルを構成しない場合に、当該基準点はノイズであると判定し、
前記撮影方向推定手段で推定された撮影方向と、前記三次元モデルを構成する点を頂点とする複数のポリゴン面の法線で定まる当該頂点の方向との相違が所定値よりも大きい場合に、当該頂点はノイズであると判定する、
ことを特徴とする。
さらに上記目的を達成するため、本発明の第１３の観点に係る撮影装置の制御方法は、
被写体を撮影するように撮影手段を制御する撮影制御ステップと、
前記撮影手段から出力された撮影画像を用いて、前記被写体の三次元モデルを生成するモデル生成ステップと、
前記モデル生成ステップで生成された三次元モデルからノイズを除去するノイズ除去ステップと、
前記ノイズ除去ステップでノイズが除去された三次元モデルに基づいて、三次元画像を生成する三次元画像生成ステップと、を有し、
前記ノイズ除去ステップは、前記モデル生成ステップで生成された三次元モデルを構成する点を基準点として所定の距離までの空間範囲において、当該三次元モデルの生成に用いられた撮影画像の撮影位置と異なる位置から撮影された撮影画像を用いて生成された他の三次元モデルを構成する頂点を、所定数得られない場合に、前記基準点はノイズであると判定する、
ことを特徴とする。
上記目的を達成するため、本発明の第１４の観点に係る撮影装置の制御方法は、
被写体を撮影するように撮影手段を制御する撮影制御ステップと、
前記撮影手段から出力された撮影画像を用いて、前記被写体の三次元モデルを生成するモデル生成ステップと、
前記モデル生成ステップで生成された三次元モデルからノイズを除去するノイズ除去ステップと、
前記ノイズ除去ステップでノイズが除去された三次元モデルに基づいて、三次元画像を生成する三次元画像生成ステップと、
前記モデル生成ステップで生成された三次元モデルを構成する点に基づいて、前記三次元モデルの生成に用いられた撮影画像の撮影時における前記撮影手段の撮影方向を推定する撮影方向推定ステップと、を有し、
前記ノイズ除去ステップは、
前記モデル生成ステップで生成された三次元モデルを構成する基準点に対応する対応点が、当該三次元モデルの生成に用いられた撮影画像の撮影位置と異なる位置から撮影された撮影画像を用いて生成された三次元モデルを構成しない場合に、当該基準点はノイズであると判定し、
前記撮影方向推定ステップで推定された撮影方向の差異が所定値よりも小さい複数の三次元モデルの内で、他の三次元モデルの生成に用いられた撮影画像の撮影時刻よりも早い撮影時刻の撮影画像を用いて生成された三次元モデルを、前記三次元画像生成ステップで三次元画像を生成する基礎とする三次元モデルから除去する、
ことを特徴とする。
上記目的を達成するため、本発明の第１５の観点に係る撮影装置の制御方法は、
被写体を撮影するように撮影手段を制御する撮影制御ステップと、
前記撮影手段から出力された撮影画像を用いて、前記被写体の三次元モデルを生成するモデル生成ステップと、
前記モデル生成ステップで生成された三次元モデルからノイズを除去するノイズ除去ステップと、
前記ノイズ除去ステップでノイズが除去された三次元モデルに基づいて、三次元画像を生成する三次元画像生成ステップと、
前記モデル生成ステップで生成された三次元モデルを構成する点に基づいて、前記三次元モデルの生成に用いられた撮影画像の撮影時における前記撮影手段の撮影方向を推定する撮影方向推定ステップと、を有し、
前記ノイズ除去ステップは、
前記モデル生成ステップで生成された三次元モデルを構成する基準点に対応する対応点が、当該三次元モデルの生成に用いられた撮影画像の撮影位置と異なる位置から撮影された撮影画像を用いて生成された三次元モデルを構成しない場合に、当該基準点はノイズであると判定し、
前記撮影方向推定ステップで推定された撮影方向と、前記三次元モデルを構成する点を頂点とするポリゴン面の法線との相違が所定値よりも大きい場合に、当該頂点はノイズであると判定する、
ことを特徴とする。
上記目的を達成するため、本発明の第１６の観点に係る撮影装置の制御方法は、
被写体を撮影するように撮影手段を制御する撮影制御ステップと、
前記撮影手段から出力された撮影画像を用いて、前記被写体の三次元モデルを生成するモデル生成ステップと、
前記モデル生成ステップで生成された三次元モデルからノイズを除去するノイズ除去ステップと、
前記ノイズ除去ステップでノイズが除去された三次元モデルに基づいて、三次元画像を生成する三次元画像生成ステップと、
前記モデル生成ステップで生成された三次元モデルを構成する点に基づいて、前記三次元モデルの生成に用いられた撮影画像の撮影時における前記撮影手段の撮影方向を推定する撮影方向推定ステップと、を有し、
前記ノイズ除去ステップは、
前記モデル生成ステップで生成された三次元モデルを構成する基準点に対応する対応点が、当該三次元モデルの生成に用いられた撮影画像の撮影位置と異なる位置から撮影された撮影画像を用いて生成された三次元モデルを構成しない場合に、当該基準点はノイズであると判定し、
前記撮影方向推定ステップで推定された撮影方向と、前記三次元モデルを構成する点を頂点とする複数のポリゴン面の法線で定まる当該頂点の方向との相違が所定値よりも大きい場合に、当該頂点はノイズであると判定する、
ことを特徴とする。
本発明に係る撮影装置、撮影装置の制御装置、撮影装置の制御プログラム、及び撮影装置の制御方法によれば、被写体の三次元画像を精度良く生成できる。
図１（ａ）は、本実施形態に係る撮影装置の一例を表す正面図である。図１（ｂ）は撮影装置の一例を表す背面図、図１（ｃ）は撮影装置の一例を表す右側面図、図１（ｄ）は撮影装置の一例を表す上面図である。 図２（ａ）は、本実施形態に係る撮影装置が撮影する被写体及び被写体の撮影位置の一例を表す図である。図２（ｂ）は、初回の撮影により生成された被写体の三次元モデルの一例を表す図である。図２（ｃ）は、１０回目の撮影により生成された被写体の三次元モデルの一例を表す図である。図２（ｄ）は、２０回目の撮影により生成された被写体の三次元モデルの一例を表す図である。 図３は、撮影装置の回路構成の一例を表すブロック図である。 図４は、制御部が実行する三次元画像生成処理の一例を表すフローチャートである。 図５（ａ）は、本実施形態に係る撮影装置が有する機能の一例を表す機能ブロック図である。図５（ｂ）は、モデル群更新部の一構成例を表す機能ブロック図である。 図６（ａ）は、モデル群更新部が実行するモデル群更新処理の一例を表すフローチャートである。図６（ｂ）は、撮影状態推定部が実行する撮影状態推定処理の一例を表すフローチャートである。 図７は、撮影部の透視投影モデルの一例を表す図である。 図８は、初回の撮影状態を基準とした他の撮影状態を表す回転行列Ｒと併進ベクトルｔとの一例を表す図である。 図９（ａ）は、ノイズ除去部が実行する第１除去処理の一例を表すフローチャートである。図９（ｂ）は、ノイズ除去部が実行する第２除去処理の一例を表すフローチャートである。図９（ｃ）は、ノイズ除去部が実行する第３除去処理の一例を表すフローチャートである。 図１０は、撮影位置を用いたノイズ除去方法の一例を説明するための図である。 図１１は、モデル群編集部が実行するモデル群編集処理の一例を表すフローチャートである。 図１２（ａ）は、表示メニューの一例を表す図である。図１２（ｂ）は、ノイズ除去レベルが「0」の場合に表示される点群の一例を表す図である。図１２（ｃ）は、ノイズ除去レベルが「0.5」の場合に表示される点群の一例を表す図である。図１２（ｄ）は、ズームレベルが「180%」の場合に表示される点群の一例を表す図である。図１２（ｅ）は、ズームレベルが「30%」の場合に表示される点群の一例を表す図である。 図１３（ａ）は、モデル群編集部が実行するノイズ除去表示処理の一例を表すフローチャートである。図１３（ｂ）は、モデル群編集部が実行するズーム表示処理の一例を表すフローチャートである。図１３（ｃ）は、モデル群編集部が実行する自由視点表示処理の一例を表すフローチャートである。 図１４は、変形例においてノイズ除去部が実行する第１除去処理の一例を表すフローチャートである。
以下、本発明の最良の実施形態について添付図面を参照しつつ説明する。
＜実施形態＞
本発明の実施形態に係る撮影装置１００は、デジタルカメラであり、図１（ａ）に示すような、携帯可能な所謂コンパクトカメラの形状を模している。撮影装置１００は、図２（ａ）に示すように撮影位置を変更され、変更されたそれぞれの撮影位置で被写体（つまり、撮影対象物）を複数回に亘って撮影する。撮影装置１００は、それぞれの撮影位置で取得したそれぞれの撮影画像に基づいて、図２（ｂ）から図２（ｄ）に示すような被写体の三次元モデルを複数生成し、生成した複数の三次元モデルを合成する。その後、撮影装置１００は、合成された三次元モデルに基づいて三次元画像を生成する。
撮影装置１００は、図１（ａ）に示すように、正面にストロボ発光窓１０１、並びに撮影レンズ１０２ａ及び１０２ｂを有する。ストロボ発光窓１０１は、必要に応じてキセノンフラッシュが発光したストロボ光を被写体に向けて照射する。
また、図１（ｂ）に示すように、撮影装置１００の背面には、液晶モニタ画面である表示部１０３、電源キー１０４ｐ、３Ｄ（dimension）モデリングキー１０４ｄ、及び操作キー１０５を有する。
表示部１０３は、ファインダーとして機能するＬＣＤ（Liquid Crystal Display）パネルを有する。また、表示部１０３のＬＣＤパネルは、撮影装置１００の操作に必要な種々の画面、撮影時のライブビュー画像、撮影装置１００が撮影した画像（以下、撮影画像という）及び撮影画像に基づいて生成された三次元画像を表示する。さらに、ＬＣＤパネルの表示面は、透明なタッチパネルで覆われており、タッチパネルは、ユーザによるタッチ操作に応じた信号（例えば、タッチ位置の座標値を表す信号など）を出力する。
電源キー１０４ｐは、撮影装置１００の電源がＯＮである場合に長押しをされると、撮影装置１００の電源をＯＦＦにするように命じる信号を入力し、撮影装置１００の電源がＯＦＦである場合に押されると、撮影装置１００の電源をＯＮにするように命じる信号を入力する。
３Ｄモデリングキー１０４ｄは、トグル動作をし、押される度に通常の撮影を行う通常撮影モードと、三次元画像を生成する３Ｄ（Dimension）モデリングモードとの二者を択一に切り替える信号を入力する。
操作キー１０５は、十字キー及び決定キーを有する。十字キーは、撮影モードの切替時又は表示切替時に表示部１０３に表示されるアイコンを選択するユーザの選択操作に応じた信号を撮影装置１００へ入力する。決定キーは、選択されたアイコンに対応付けられた命令（つまり、コマンド）を実行させることを決定するユーザの決定操作に応じた信号を撮影装置１００へ入力する。
さらに、撮影装置１００は、図１（ｃ）に示すように、右側面に、ＵＳＢ（Universal Serial Bus）接続端子である外部インターフェース部（以下、外部Ｉ／Ｆ部という）１０６を有する。尚、外部Ｉ／Ｆ部１０６は、ビデオ出力端子であっても良い。また、撮影装置１００は、図１（ｄ）に示すように、上面に、シャッターボタン１０９を有する。
次に、撮影装置１００の回路構成について説明する。
撮影装置１００は、図３に示すような２つの撮影部１１０ａ及び１１０ｂ、データ処理部１２０、及びインターフェース部１３０（以下単に、Ｉ／Ｆ部１３０という）で構成される。
撮影部１１０ａと撮影部１１０ｂとは、平行ステレオとなるように配置されている。つまり、撮影部１１０ａが有する図１（ａ）の撮影レンズ１０２ａと、撮影部１１０ｂが有する撮影レンズ１０２ｂとは、撮影装置１００の外面を構成する同一平面上に配置され、かつそれぞれの中心位置が、シャッターボタン１０９を上に向けた使用時における撮影装置１００の水平方向の同一線上に位置するように配置されている。つまり、撮影部１１０ａと撮影部１１０ｂとを同時に動作させて同一被写体を撮影すると、撮影部１１０ａで取得された撮影画像における光軸位置と、撮影部１１０ｂ取得された撮影画像における光軸位置とが撮影画像の横方向に互いにずれる。撮影部１１０ａと撮影部１１０ｂとは、それぞれの光軸が平行で、かつそれぞれの画像座標系における座標軸が同一直線上で同一方向になる配置に固定されている（つまり、平行ステレオである）ためである。尚、撮影部１１０ａの構成と撮影部１１０ｂの構成とは、それぞれ同様であるので、撮影部１１０ｂの説明を省略する。
撮影部１１０ａは、光学装置１１１ａ及びイメージセンサ部１１２ａで構成される。光学装置１１１ａは、図１（ａ）の撮影レンズ１０２ａ、並びに不図示の絞り機構及びシャッター機構を有し、被写体の撮影に関する光学的動作を行う。この光学的動作は、撮影レンズ１０２ａを用いて入射光を集光すると、焦点距離及び絞りを調節すると共にシャッタースピードを調整する動作をいう。つまり、光学的動作は、画角、ピント、及び露出といった光学的な要素を調整する動作である。尚、光学装置１１１ａが有するシャッター機構はいわゆるメカニカルシャッターである。しかし、イメージセンサの動作によってシャッター動作を行う場合には、光学装置１１１ａは、シャッター機構を有さなくても良い。
イメージセンサ部１１２ａは、ＣＣＤ（Charge Coupled Device：電荷結合素子）で構成される。イメージセンサ部１１２ａは、光電変換を行うことで、光学装置１１１ａによって集光された入射光に応じた電気信号を発生させると共に、発生させた電気信号をデータ処理部１２０に出力する。尚、イメージセンサ部１１２ａは、ＣＭＯＳ（Complementary Metal Oxide Semiconductor：相補型金属酸化物半導体）で構成されても良い。
データ処理部１２０は、撮影部１１０ａ又は撮影部１１０ｂから出力された電気信号を処理することで、撮影部１１０ａ又は撮影部１１０ｂが撮影した撮影画像を表すデジタルデータを生成すると共に、生成したデータが表す撮影画像に対する画像処理を行う。尚、データ処理部１２０は、制御部１２１、記憶部１２２、外部記憶部１２３、画像処理部１２４、画像メモリ１２５、及び画像出力部１２６で構成される。
制御部１２１は、不図示のＣＰＵ（Central Processing Unit：中央演算処理部）及びＲＡＭ（Random Access Memory）で構成され、記憶部１２２に格納されたプログラムを実行することで、撮影装置１００の各部を制御する。
記憶部１２２は、ＲＯＭ（Read Only Memory）で構成され、制御部１２１が実行するプログラム及びプログラムの実行時に使用されるパラメーター及び演算式を表すデータを格納する。尚、記憶部１２２は、フラッシュメモリであっても良い。
外部記憶部１２３は、撮影装置１００に着脱可能な記憶装置であるメモリカードで構成され、撮影画像を表す画像データ及び撮影画像に基づいて生成した三次元画像を表すデータ（以下、３Ｄモデリングデータという）を格納する。
画像処理部１２４は、不図示のＡＤＣ（Analog‐Digital Converter：アナログ・デジタル変換器）、バッファメモリ、画像処理用のプロセッサ（いわゆる、画像処理エンジン）で構成される。画像処理部１２４は、イメージセンサ部１１２ａ又１１２ｂから出力されたアナログ電気信号をＡＤＣでデジタル信号に変換すると共に、変換したデジタル信号で表されるデータを順次バッファメモリに格納する。次に、画像処理部１２４は、バッファメモに格納したデジタルデータに対して、画像処理用のプロセッサが現像処理を行うことで、撮影画像の画質の調整及び画像データの圧縮を行う。
画像メモリ１２５は、画像処理部１２４によって生成された画像データ、及び制御部１２１によって処理される画像データを一時的に格納する。
画像出力部１２６は、ＲＧＢ信号を生成する回路で構成され、画像メモリ１２５に展開された画像データをＲＧＢ信号に変換して表示部１０３及び外部Ｉ／Ｆ部１０６へ出力する。
Ｉ／Ｆ部１３０は、撮影装置１００と、撮影装置１００の使用者（つまり、ユーザ）又は撮影装置１００と接続する外部装置とのインターフェースを提供する。尚、Ｉ／Ｆ部１３０は、図１（ｂ）の表示部１０３、図１（ｃ）の外部Ｉ／Ｆ部１０６、及び操作部１３１で構成される。操作部１３１は、図１の電源キー１０４ｐ、３Ｄモデリングキー１０４ｄ、操作キー１０５、及び表示部１０３の上に重ねて設置された不図示のタッチパネルとタッチパネルのコントローラとで構成される。
次に、撮影装置１００が図３に示したハードウェアを用いて三次元画像を生成するために実行する三次元画像生成処理について説明を行う。図３の制御部１２１は、図４に示すような三次元画像生成処理を実行することで、図５（ａ）に示すような撮影制御部１４１、画像取得部１４２、モデル群更新部１４３、モデル群編集部１４４、三次元画像生成部１４５、及び三次元画像表示制御部１４６として機能する。
ユーザが図１（ｂ）の３Ｄモデリングキー１０４ｄを操作して３Ｄモデリングモードを選択すると、制御部１２１は、３Ｄモデリングキー１０４ｄから出力される信号を検出して図４の三次元画像生成処理を開始する。三次元画像生成処理が開始されると、図５（ａ）の撮影制御部１４１は、三次元画像を生成するために撮影が行われた回数を計数する撮影回数カウンタの値を「1」として初期化する（ステップＳ０１）。次に、撮影制御部１４１は、シャッターボタン１０９がユーザによって押し下げられたか否かを、シャッターボタン１０９から出力される信号に基づいて判別する（ステップＳ０２）。
ステップＳ０２において、シャッターボタン１０９が押し下げられなかったと判別すると（ステップＳ０２；Ｎｏ）、撮影制御部１４１は、終了イベントが発生したか否かを判別する（ステップＳ０３）。具体例としては、撮影制御部１４１は、例えば、シャッターボタン１０９が所定時間を超えて押し下げられる終了イベントが発生したか（つまり、長押しされたか）否かを、シャッターボタン１０９が出力する信号に基づいて判別する。このときに、終了イベントが発生したと判別すると（ステップＳ０３；Ｙｅｓ）、撮影制御部１４１は、三次元画像生成処理の実行を終了する。これに対して、撮影制御部１４１は、終了イベントが発生しなかったと判別する場合には（ステップＳ０３；Ｎｏ）、ステップＳ０２に戻り上記処理を繰り返す。
ステップＳ０２において、シャッターボタン１０９が押し下げられたと判別すると（ステップＳ０２；Ｙｅｓ）、撮影制御部１４１は、被写体の撮影を行うように撮影部１１０ａと撮影部１１０ｂとを制御する（ステップＳ０４）。次に、画像取得部１４２は、撮影部１１０ａと撮影部１１０ｂとから、それぞれの撮影画像を取得する（ステップＳ０５）。尚、平行ステレオに配置された撮影部１１０ａの撮影画像（以下、撮影画像Ａという）と撮影部１１０ｂの撮影画像（以下、撮影画像Ｂという）との組み合わせをペア画像（又はステレオ画像）という。
次に、モデル群更新部１４３は、ステップＳ０５で取得されたペア画像に基づいて被写体の三次元モデルを生成し、かつ前回までに生成された複数の三次元モデルで構成される三次元モデル群に対して、今回に生成された三次元モデルを追加することで、三次元モデル群を更新するモデル群更新処理を実行する（ステップＳ０６）。尚、モデル群更新部１４３は、図５（ｂ）に示すようなモデル生成部１４３ａ、撮影状態推定部１４３ｂ、頂点座標値変換部１４３ｃ、ノイズ除去部１４３ｄ、及び頂点方向算出部１４３ｅで構成され、図６（ａ）に示すようなモデル群更新処理をこれらの構成を用いて実行する。
図６（ａ）のモデル群更新処理の実行を開始すると、モデル生成部１４３ａは、図４のステップＳ０５で取得されたペア画像に基づいて、撮影された被写体の三次元モデルを生成する（３Ｄモデリングともいう）（ステップＳ２１）。尚、三次元モデルとは、被写体を表す複数の点の位置を表す三次元座標の座標値の集まりをいう。
一例として、モデル生成部１４３ａは、非特許文献１「デジタル画像処理」の第２５９頁に開示された方法を用いてペア画像から三次元モデルを生成する。この方法は、図７に示すような撮影部１１０ａと撮影部１１０ｂとの透視投影モデルに表されるように、以下の式（１）から（３）を用いて、被写体の三次元モデルを構成する点Ｍの座標値（Ｘｍ，Ｙｍ，Ｚｍ）を算出する方法である。
Ｘｍ＝（ｂ＊ｕ）／（ｕ−ｕ’）・・・（１）
Ｙｍ＝（ｂ＊ｖ）／（ｕ−ｕ’）・・・（２）
Ｚｍ＝（ｂ＊ｆ）／（ｕ−ｕ’）・・・（３）
尚、記号ｕ及びｖは、撮影画像Ａに被写体上の点Ｍが表された位置ｍａの座標値（ｕ，ｖ）を表し、記号ｕ’及びｖ’は、撮影画像Ｂに点Ｍが表された位置ｍｂの位置座標（ｕ’，ｖ’）を表す。また、記号ｂは、撮影部１１０ａの主点Ｃａと撮影部１１０ｂの主点Ｃｂとの距離である基線長を表し、記号ｆは、撮影部１１０ａの主点Ｃａと焦点ｆａとの焦点距離を表す。ここで、撮影部１１０ａの構成と撮影部１１０ｂの構成とは同一であるため、焦点距離ｆは、撮影部１１０ｂの主点Ｃｂと焦点ｆｂとの距離に等しい。また、位置ｍａを表す座標値（ｕ，ｖ）は、撮影部１１０ａの投影面に投影された撮影画像Ａの左上の角を原点とし、かつ撮影画像Ａの縦方向（副走査方向）及び横方向（主走査方向）に一致した座標軸ｕ及びｖからなる画像座標系Ｐａにおける座標値である。同様に、位置ｍｂを表す座標値（ｕ’，ｖ’）は、撮影部１１０ｂの投影面に投影された撮影画像Ｂの左上の角を原点とし、かつ撮影画像Ｂの縦方向（副走査方向）及び横方向（主走査方向）に一致した座標軸ｕ及びｖからなる画像座標系Ｐｂにおける座標値である。
さらに、点Ｍの座標値（Ｘｍ，Ｙｍ，Ｚｍ）は、今回の処理で用いられる世界座標系（ワールド座標系）で表され、今回の処理で用いられる世界座標系の原点は、今回の撮影位置における撮影部１１０ａの主点Ｃａの位置を原点とし、今回の処理で用いられる世界座標系のＸ軸及びＹ軸は、今回の撮影位置における画像座標系Ｐａのｕ軸及びｖ軸とそれぞれ平行であり、今回の世界座標系のＺ軸は、撮影部１１０ａの光軸ｌａ（及び撮影部１１０ｂの光軸ｌｂ）と平行である。つまり、ステップＳ２１で座標値を算出される頂点が被写体上の同じ点であっても、撮影装置１００の撮影位置及び撮影方向によって異なる値として算出される。座標系が異なるためである。
三次元モデルを生成した後に、モデル生成部１４３ａは、ペア画像から生成した三次元モデルを構成する各座標値で表される点（以下、三次元モデルを構成する点という）に対してドルネー（ドロネー：Delaunay）分割を行うことで、三角形ポリゴンを表すポリゴン情報を取得し、ポリゴン情報を三次元モデルを表す情報に追加する。
図６（ａ）のステップＳ２１の後に、撮影状態推定部１４３ｂは、初回の撮影状態（つまり、撮影カウンタの値が「1」のときにペア画像を撮影した撮影位置及び撮影方向）を基準とした今回の撮影状態を推定する、図６（ｂ）に示すような撮影状態推定処理を実行する（ステップＳ２２）。尚、ペア画像の撮影方向は、撮影部１１０ａの光軸方向（又は撮影部１１０ｂの光軸方向）をいうとして説明する。
図６（ｂ）の撮影状態推定処理の実行を開始すると、撮影状態推定部１４３ｂは、初回に生成された三次元モデルと、今回に生成された三次元モデルとの双方から特徴点を取得する（ステップＳ３１）。例えば、撮影状態推定部１４３ｂは、それぞれの三次元モデルを構成する頂点の内で、ペア画像におけるコーナー強度が高く、かつステレオマッチングの一致度が高い点に相当する頂点を特徴点として選択する。
次に、撮影状態推定部１４３ｂは、初回の三次元モデルから３つの特徴点を選択した後に、今回に生成された三次元モデルが有する３つの特徴点を頂点とする三角形の中から、選択された３つの特徴点を頂点とする三角形と合同な三角形の組を複数探索する（ステップＳ３２）。初回の三次元モデルの点と、今回の三次元モデルの点とから同じ被写体上の点を表す点（つまり、対応点ペア）をそれぞれ特定するためである。尚、撮影状態推定部１４３ｂは、３辺それぞれにおける長さの相違がそれぞれ所定値以下であれば、２つの三角形を合同であると判別する。
撮影状態推定部１４３ｂは、探索された複数の三角形が有する頂点のそれぞれに対して値「1」から始まる番号を付番する。次に、撮影状態推定部１４３ｂは、番号「1」が付された（今回の三次元モデルを構成する）頂点の座標値（ｘ1，ｙ1，ｚ1）と、探索された三角形と合同な三角形の頂点であって、当該頂点に対応する（初回の三次元モデルを構成する）頂点の座標値（ｘ’1，ｙ’1，ｚ’1）とをそれぞれ以下の式（４）及び（５）に代入することで、対応点ペアｐ1及びｐ’1を設定し、かつ同様に番号「2」から「N」が付された他の頂点についても対応点ペアｐｉ及びｐ’ｉ（但し、ｉ＝２からＮ、かつＮはペア数）を設定する。（ステップＳ３３）。
ここで、初回の撮影位置及び撮影方向を基準にした今回の撮影位置及び撮影方向との関係は、図８に示すように、初回の撮影位置Ｓｐから今回の撮影位置Ｓｐ’への移動を表す移動ベクトルｔ（以下、併進ベクトルｔという）と、撮影装置１００の回転を表す回転行列Ｒとで表される。このため、式（４）で表される対応点ｐｉは、式（５）で表される対応点ｐ’ｉと、回転行列Ｒと併進ベクトルｔとを用いた式（６）で表される。
ここで、撮影状態推定部１４３ｂは、式（６）から直接的に回転行列Ｒと併進ベクトルｔとを算出する構成を採用し得る。しかし、ノイズの影響を軽減し、回転行列Ｒを安定的かつ精度良く算出するために、以下の処理を実行する。
ステップＳ３３の後に、撮影状態推定部１４３ｂは、以下の式（７）を用いて対応点ｐの重心を算出し、以下の式（８）を用いて対応点ｐ’の重心を算出する（ステップＳ３４）。次に、撮影状態推定部１４３ｂは、算出した重心を基準とした対応点ｐの分布ｄ１を以下の式（９）を用いて算出し、重心を基準とした対応点ｐ’の分布ｄ２を以下の式（１０）を用いて算出する（ステップＳ３５）。
ここで、対応点ｐと対応点ｐ’とは、同じ被写体上の複数の点を表すので、対応点ｐｉの重心を基準とした分布ｄ１と、対応点ｐ’ｉの重心を基準とした分布ｄ２とは、ほぼ一致する。また、重心を基準としているので、分布ｄ１と分布ｄ２との関係は、併進ベクトルｔによって定められず、回転量列Ｒのみによって定められる。このため、分布ｄ１と分布ｄ２とは、以下の式（１１）を満足する。
上記の式（１１）から回転行列を算出するため、ステップＳ３５の後に、撮影状態推定部１４３ｂは、式（１２）及び（１３）に示すように、分布ｄ１及びｄ２を特異値分解して、ユニタリ行列Ｕ１及びＵ２、特異値の対角行列Ｓ１及びＳ３、並びに随伴行列Ｖ１ ＊及びＶ２ ＊をそれぞれ算出する。（ステップＳ３６）。但し、特異値は、降順に並べられているものとし、記号＊は複素共役転置を表す。
ここで、上記の式（１２）及び（１３）と上記の式（１１）とから、回転行列Ｒは、以下の式（１４）で表される。
ここで、行列Ｕ１と行列Ｕ２ ＊とを関連付ける行列を、以下の式（１５）に示すような関連付け行列Ｋとすると、回転行列Ｒは、以下の式（１６）で表される。
ここで、ユニタリ行列Ｕ１及びＵ２の列ベクトルは、それぞれ分布ｄ１の固有ベクトル及び分布ｄ２の固有ベクトルに相当する。よって、行列Ｕ１及びＵ２ ＊を関係付ける関係付け行列Ｋの要素は、それぞれの固有ベクトルが対応する場合は「1」又は「-1」であり、そうでない場合は「0」である。ここで、分布ｄ１と分布ｄ２が等しいため、それぞれが分解される特異値も等しい（つまり、特異値の対角行列Ｓ１及びＳ３も等しい）。しかし実際には、分布ｄ１と分布ｄ２とには誤差が含まれているため、誤差を丸める必要がある。このため、関連付け行列Ｋは、例えば、四捨五入を行うｒｏｕｎｄ関数を用いた下記の式（１７）で表される。
このため、図６（ｂ）のステップＳ３６の後に、撮影状態推定部１４３ｂは、上記の式（１７）に対して、ステップＳ３６で算出された随伴行列Ｖ１ ＊及びＶ２ ＊を用いて関連付け行列Ｋを算出する（ステップＳ３７）。次に、撮影状態推定部１４３ｂは、算出された関連付け行列Ｋと、ステップＳ３６で算出されたユニタリ行列Ｕ１及びＵ２とを上記の式（１６）に代入することで、回転行列Ｒを算出する（ステップＳ３８）。
ここで、それぞれの対応ペアの重心からそれぞれの対応点へ向かうベクトルは、回転行列Ｒによって回転させるとそれぞれ等しいため、以下の式（１８）が成立し、以下の式（１８）を変形すると以下の式（１９）が得られる。
ここで、上記の式（１９）で表されるｐｉを上記の式（６）に代入することで、併進ベクトルｔの算出に用いられる以下の式（２０）が得られる。
このため、ステップＳ３８の後に、撮影状態推定部１４３ｂは、上記の式（２０）に対して、ステップＳ３４で算出された重心ｔ１及びｔ２を用いて併進ベクトルｔを算出する（ステップＳ３９）。その後、撮影状態推定部１４３ｂは、撮影状態推定処理の実行を終了する。
図６（ａ）のステップＳ２２の後に、図５（ｂ）の頂点座標値変換部１４３ｃは、ステップＳ２１で生成されたモデルを構成するポリゴン頂点の座標値を、今回の処理で用いられる世界座標系の座標値から初回の処理で用いられた世界座標系の座標値へ変換する（ステップＳ２３）。具体的には、頂点座標値変換部１４３ｃは、ステップＳ２２で推定された撮影装置１００の撮影位置を表す併進ベクトルｔ及び撮影方向を表す回転行列Ｒを以下の式（２１）に用いることで、今回の世界座標系における座標値Ｗを初回の世界座標系における座標値Ｗ’に変換する。その後、頂点座標値変換部１４３ｃは、変換後の頂点座標値で構成されるモデルを表すデータを、撮影カウンタの値と対応付けて外部記憶部１２３に保存する。
Ｗ’＝ｉｎｖ（Ｒ）（Ｗ−ｔ）・・・（２１）
但し、ｉｎｖ（Ｒ）は、回転行列Ｒの逆行列を表す。
ステップＳ２３の後に、図５（ｂ）のノイズ除去部１４３ｄは、今回に生成された三次元モデルを構成するポリゴン面の向きを利用してノイズを三次元モデルから除去する、図９（ａ）に示すような第１除去処理を実行する。尚、ノイズ除去部１４３ｄが除去するノイズは、例えば、被写体上の点に対応しない三次元モデルの点を含む。
第１除去処理の実行を開始すると、先ず、ノイズ除去部１４３ｄは、ステップＳ２１で生成された三次元モデルを構成する各ポリゴン面の頂点座標値に基づいて、各ポリゴン面の法線ベクトルを取得する（ステップＳ４１）。尚、ステップＳ４１で取得されるポリゴン面の法線ベクトルは、撮影装置１００のカメラ視線（つまり、撮影部１１０ａの光軸方向）と同じ向きの（つまり、カメラ視線との内積が正の値となる）ベクトルと逆向きのベクトルとの２種類のベクトルの内で、カメラ視線と同じ向きのベクトルとする。処理の便宜のためである。
次に、ノイズ除去部１４３ｄは、図６（ｂ）のステップＳ３８で算出された回転行列Ｒによって今回のカメラ視線の方向を特定した後に、特定したカメラ視線と各ポリゴン面の法線ベクトルとの内積を算出する（ステップＳ４２）。その後、ノイズ除去部１４３ｄは、算出された内積の値が所定の閾値ＴＨ＿ＮＰ以下のポリゴン面を、三次元モデルから削除する（ステップＳ４３）。
次に、ノイズ除去部１４３ｄは、ポリゴン面の画定に使用されていない頂点をノイズであると判定する（ステップＳ４４）。その後、ノイズ除去部１４３ｄは、ノイズであると判定した頂点を、今回生成された三次元モデルから削除する（ステップＳ４５）。その後、ノイズ除去部１４３ｄは、第１除去処理の実行を終了する。
これらの構成によれば、ポリゴン面のカメラ視線に対する向きに基づいて、ポリゴン面を画定する頂点がノイズであるか否かを精度良く判定できる。カメラ視線との内積値が低い面ほどカメラ視線に対して正対していないため、三次元モデルの生成に用いられたペア画像にモデルを生成するのに十分な情報が表されていないことが多く、ノイズを有する可能性が高いためである。
図６（ａ）のステップＳ２４の後に、頂点方向算出部１４３ｅは、三次元モデルを構成する各頂点に対して頂点方向を算出する（ステップＳ２５）。一例として、頂点方向算出部１４３ｅは、ある頂点で画定されるポリゴン面が１つである場合には、当該ポリゴン面の法線方向を当該頂点の頂点方向とする。ある頂点で画定されるポリゴン面が複数存在する場合には、当該複数のポリゴン面が有する法線方向の単純平均又は面積を重みとした加重平均を当該頂点の頂点方向とする。
次に、ノイズ除去部１４３ｄは、撮影カウンタの値が所定値Ｋ１をより大きいか否かを判別する（ステップＳ２６）。撮影カウンタの値が所定値Ｋ１より大きいと判別した場合には（ステップＳ２６；Ｙｅｓ）、ノイズ除去部１４３ｄは、今回に生成された三次元モデルを、今回の撮影カウンタの値及び図６のステップＳ２２で推定された撮影状態とに対応付けて、三次元モデル群に追加する（ステップＳ２７）。次に、ノイズ除去部１４３ｄは、撮影位置を利用してノイズを除去する、図９（ｂ）に示すような第２除去処理を実行する（ステップＳ２８）。第２除去処理によりノイズを除去するためには、所定個数より多い三次元モデルが必要であるためである。
図９（ｂ）に示す第２除去処理の実行を開始すると、ノイズ除去部１４３ｄは、今回の撮影状態に近い前回までの撮影状態（つまり、過去の撮影状態）をＫ２個選出する（ステップＳ５１）。
具体的には、ノイズ除去部１４３ｄは、現在の撮影カウンタの値との差異がＫ２以内の撮影カウンタの値と対応付けて三次元モデル群に追加された三次元モデルを、差異が小さい順に選出する。この構成によれば、少ない計算量で今回の撮影状態に近い過去の撮影状態を選出できる。
また、これに限定される訳ではなく、ノイズ除去部１４３ｄは、今回推定された回転行列Ｒとの距離（行列の各要素の差分の２乗和）が所定の閾値ＴＨ＿Ｒ１よりも小さい回転行列と対応付けて三次元モデル群に追加された三次元モデルを、距離が小さい順に選出しても良い。この構成によれば、撮影カウンタの値に基づいて今回の撮影状態に近い過去の撮影状態を選出する方法よりも精度が良いだけでなく、後述する併進ベクトルｔに基づいて今回の撮影状態に近い過去の撮影状態を選出する方法よりも計算量が少ない。
さらに、これらに限定される訳ではなく、ノイズ除去部１４３ｄは、今回推定された併進ベクトルｔとの差異が所定の閾値ＴＨ＿Ｔ１よりも小さい併進ベクトルと対応付けて三次元モデル群に追加された三次元モデルを、差異が小さい順に選出しても良い。この構成によれば、回転行列Ｒに基づいて今回の撮影状態に近い過去の撮影状態を選出する方法よりも精度が良い。
図９（ｂ）のステップＳ５１を実行した後に、ノイズ除去部１４３ｄは、選出された撮影状態に対応付けられた三次元モデルを、三次元モデル群からＫ２個選出した後に（ステップＳ５２）、選出された全ての三次元モデルを構成する全ての頂点について以下のステップＳ５４からＳ５６の処理を実行したか否かを判別する（ステップＳ５３）。このとき、未だ全頂点に対して処理が行われていないと判別された場合には（ステップＳ５３；Ｎｏ）、ノイズ除去部１４３ｄは、未処理の頂点の内１つを処理対象とする頂点（以下単に、対象頂点という）とし、対象頂点で構成される三次元モデルを対象モデルとする。次に、ノイズ除去部１４３ｄは、対象頂点から所定距離（以下、近傍距離という）までの空間範囲（以下、近傍範囲という）に含まれる対象モデルと異なる他の三次元モデルの頂点の数を算出する（ステップＳ５４）。その後、ノイズ除去部１４３ｄは、近傍範囲に含まれる他の三次元モデルの頂点数が所定の閾値ＴＨ＿Ｎ以下であるか否かを判別する（ステップＳ５５）。
ステップＳ５５において、ノイズ除去部１４３ｄは、近傍範囲に含まれる他の三次元モデルの頂点数が所定の閾値ＴＨ＿Ｎ以下であると判別すると（ステップＳ５５；Ｙｅｓ）、対象頂点をノイズであると判定し、対象頂点で構成されていた三次元モデル及び三次元モデル群から対象頂点を削除する（ステップＳ５６）。その後、ノイズ除去部１４３ｄは、ステップＳ５３に戻り上記処理を繰り返す。
具体的には、図１０に示すように、対象頂点ＴＰ１から近傍距離ｄｓ以内の近傍範囲ＳＰには、対象頂点ＴＰ１と同様に２０回目の撮影により得られたペア画像を用いて生成された三次元モデル（以下、２０回目の三次元モデルという）を構成する頂点が３つ含まれるが、１６回目の三次元モデルを構成する頂点が１つしか含まれない。このため、閾値ＴＨ＿Ｎが値「1」である場合には、対象頂点ＴＰ１はノイズであると判別される。
ここで、被写体を複数回撮影すると、同じ対象物上の点が複数のペア画像に表されるので、対象物上のある点に対応する点は、通常、複数の三次元モデルに含まれる。このため、これらの構成によれば、ある点の近傍範囲ＳＰに含まれる他の三次元モデルを構成する点の数に基づいて、当該点がノイズであるか否かを精度良く判定できる。また、撮影回数が増える程、生成される三次元モデルの数が増えるため、撮影回数が増える程、三次元モデルの点がノイズであるか否かを精度良く判定できる。
ステップＳ５５において、ノイズ除去部１４３ｄは、近傍範囲に含まれる他の三次元モデルの頂点数が所定の閾値ＴＨ＿Ｎよりも大きいと判別すると（ステップＳ５５；Ｎｏ）、対象頂点はノイズでないと判定し、ステップＳ５３に戻り上記処理を繰り返す。
具体的には、図１０に示すように、対象頂点ＴＰ２の近傍範囲ＳＰには、１６回目の三次元モデルを構成する頂点が３つ含まれ、１１回目の三次元モデルを構成する頂点が２つ含まれる。このため、閾値ＴＨ＿Ｎが値「1」である場合には、対象頂点ＴＰ１はノイズではないと判別される。
その後、図９（ｂ）のステップＳ５３において、全頂点に対してステップＳ５４からＳ５６の処理が行われたと判別すると（ステップＳ５３；Ｙｅｓ）、ノイズ除去部１４３ｄは、第２ノイズ除去処理の実行を終了する。
図６（ａ）のステップＳ２８を実行した後に、ノイズ除去部１４３ｄは、撮影時刻を利用してノイズを除去する、図９（ｃ）に示すような第３除去処理を実行する（ステップＳ２９）。
第３除去処理の実行を開始すると、ノイズ除去部１４３ｄは、図９（ｂ）のステップＳ５１と同様の処理を実行して、今回の撮影状態に近い撮影状態を選出する（ステップＳ６１）。次に、ノイズ除去部１４３ｄは、選出された撮影状態の数（以下、選出撮影状態数）が所定の閾値ＴＨｃｎ＋１以上であるか否かを判別する（ステップＳ６２）。このとき、選出撮影状態数が所定の閾値ＴＨｃｎ以下であると判別すると（ステップＳ６２；Ｎｏ）、ノイズ除去部１４３ｄは、第３除去処理の実行を終了する。第３除去処理の実行に必要な数の撮影状態が選出されていないためである。
ステップＳ６２において、選出撮影状態数が所定の閾値ＴＨｃｎ＋１以上であると判別すると、ノイズ除去部１４３ｄは、撮影時刻が新しい（つまり、撮影カウンタの値が大きい）撮影状態から順にＴＨｃｎ個の撮影状態を抽出する（ステップＳ６３）。次に、ノイズ除去部１４３ｄは、抽出した撮影状態以外の撮影状態に対応付けられた（つまり、抽出した撮影状態以外の撮影状態において撮影されたペア画像を用いて生成された）三次元モデルの頂点を三次元モデル群から削除する（ステップＳ６４）。その後、ノイズ除去部１４３ｄは、第３除去処理の実行を終了する。
ここで、同じ撮影位置及び撮影方向から同じ被写体を撮影した場合であっても、撮影時刻が異なると、例えば、被写体を照らす照明、被写体の背景、又は被写体自体の動作などにより、撮影されたペア画像に表される被写体の情報が異なる。このためこれらの構成によれば、古い撮影時刻に撮影されたペア画像を用いて生成された三次元モデルの頂点を三次元モデル群から除去するため、ペア画像に表される被写体の情報の相違を軽減し、均一な三次元モデルで構成される三次元モデル群を生成できる。
図４のステップＳ０６の後に、図５（ａ）のモデル群編集部１４４は、ステップＳ０６で更新された三次元モデル群を編集する、図１１に示すようなモデル群編集処理を実行する（ステップＳ０７）。
図１１に示すモデル群編集処理の実行を開始すると、モデル群編集部１４４は、図３の操作部１３１を構成するタッチパネルに対してタッチ操作がなされたか否かを、操作部１３１から出力される信号に基づいて判別する（ステップＳ７１）。このとき、タッチ操作がなされたと判別すると（ステップＳ７１；Ｙｅｓ）、モデル群編集部１４４は、図１２（ａ）に示すような表示メニューＭＮを図１（ｂ）の表示部１０３に表示させる（ステップＳ７２）。この表示メニューは、図１２（ａ）に示すようなモデル表示エリアＤＡＭに表示される三次元モデルの拡大又は縮小を命じる命令に関連付けられたズームアイコンＩＣＺ、三次元モデルの表示視点を変える命令と関連付けられた自由視点アイコンＩＣＦ、三次元モデルに対するノイズ除去を命じる命令と関連付けられたノイズ除去アイコンＩＣＮ、及び現在の３Ｄモデリングモードから通常撮影モードへの復帰を命じる命令と関連付けられた撮影モードアイコンＩＣＭで構成される。
ステップＳ７２を実行した後に、モデル群編集部１４４は、タッチパネルから出力されたタッチ位置の座標値を表す信号と、表示部１０３に表示させた各アイコンの位置座標とに基づいて、タッチ操作が行われた位置に表示されていたアイコン（つまり、ユーザによりタッチされたアイコン）が撮影モードアイコンＩＣＭであるか否かを判別する（ステップＳ７３）。
ステップＳ７１において、タッチ操作がなされなかったと判別した場合（ステップＳ７１；Ｎｏ）、又はステップＳ７３において、撮影モードアイコンＩＣＭがタッチされたと判別した場合に（ステップＳ７３；Ｙｅｓ）、モデル群編集部１４４は、現在の撮影視線の方向から三次元モデル群を構成する各三次元モデルの頂点（以下単に、点群という）を表した画像を、表示部１０３のモデル表示エリアＤＡＭに表示させる（ステップＳ７４）。その後、モデル群編集部１４４は、モデル群編集処理の実行を終了する。
ステップＳ７３において、撮影モードアイコンＩＣＭがタッチされなかったと判別した場合には（ステップＳ７３；Ｎｏ）、モデル群編集部１４４は、ステップＳ７３と同様に、ノイズ除去アイコンＩＣＮがタッチされたか否かを判別する（ステップＳ７５）。このとき、ノイズ除去アイコンＩＣＮがタッチされたと判別すると（ステップＳ７５；Ｙｅｓ）、モデル群編集部１４４は、タッチパネルから入力されたノイズ除去レベルに基づいて三次元座標群からノイズを取り除いた後に、ノイズを取り除かれた三次元座標群の頂点を表示部１０３に表示させる、図１３（ａ）に示すようなノイズ除去表示処理を実行する（ステップＳ７６）。その後、モデル群編集部１４４は、ステップＳ７３に戻り上記処理を繰り返す。
図１３（ａ）のノイズ除去表示処理の実行を開始すると、モデル群編集部１４４は、図１２（ｂ）に示すようにノイズ除去アイコンＩＣＮをハイライト表示するように表示部１０３を制御する（ステップＳ８１）。尚、モデル群編集部１４４は、ノイズ除去アイコンＩＣＮを反転表示させても良い。次に、モデル群編集部１４４は、モデル表示エリアＤＡＭの下側に、ノイズ除去レベルを表すレベルバーＬＢを表示させる。
次に、モデル群編集部１４４は、三次元モデル群の各頂点について、図６（ａ）のステップＳ２５で算出された頂点方向と、図６（ｂ）のステップＳ３８で算出された回転行列Ｒで定まる撮影視線の方向との内積を算出する（ステップＳ８３）。
次に、モデル群編集部１４４は、タッチパネルから出力されるタッチ座標値を表す信号に基づいて、ユーザによって指定されたノイズ除去レベル（以下単に、指定レベルという）を取得する（ステップＳ８４）。例えば、タッチパネルが出力する座標値が、表示部１０３に表示されたレベルバーの中心位置を表す場合には、モデル群編集部１４４は、最小の内積値「0」と最大の内積値「1」との中間値「0.5」を指定レベルとして取得する。その後、モデル群編集部１４４は、図１２（ｃ）に示すように、取得した指定レベルをレベルバーＬＢに表示させる（ステップＳ８５）。
次に、モデル群編集部１４４は、ステップＳ８４で取得した指定レベルより高い内積値の算出に用いられた頂点方向を有する頂点を表示するように表示部１０３を制御する（ステップＳ８６）。これに対して、モデル群編集部１４４は、指定レベルより低い内積値の算出に用いられた頂点方向を有する頂点を表示しないように表示部１０３を制御する（ステップＳ８７）。このため、ノイズ除去レベルが値「0.5」に指定されると、図１２（ｂ）に示されていたポリゴン面ＰＮ１からＰＮ３の頂点の内で、視線方向と正対する度合いが高く、ノイズを有する可能性が低い面ＰＮ１（つまり、内積値が「0.5」以上の面）の頂点だけが表示される。
その後、モデル群編集部１４４は、ノイズ除去アイコンＩＣＮ以外の他のアイコンに対してタッチ操作がなされたか否かを判別する（ステップＳ８８）。このとき、他のアイコンに対してタッチ操作がなされなかったと判別すると（ステップＳ８８；Ｎｏ）、モデル群編集部１４４は、ステップＳ８４に戻り上記処理を繰り返す。
ステップＳ８８において、他のアイコンに対してタッチ操作がなされたと判別すると（ステップＳ８８；Ｙｅｓ）、ステップＳ８７において非表示とした頂点をモデル群から削除する（ステップＳ８９）。その後、モデル群編集部１４４は、表示部１０３に対して、ノイズ除去アイコンＩＣＮのハイライト表示を終了し、かつレベルバーの表示を終了させた後に（ステップＳ９０）、ノイズ除去表示処理の実行を終了する。
これらの構成によれば、被写体を撮影すると直ぐに、生成された三次元モデル群を表示するだけでなく、ユーザの操作により指定されたノイズ除去レベルに応じて三次元モデル群のノイズを除去し、ノイズを除去した三次元モデル群を表示する。このため、ユーザは、被写体を複数回に亘って撮影しながら、生成された三次元モデル群を直ちに確認できるだけでなく、確認結果に基づいて三次元モデル群に対して行うノイズ除去のレベルを容易かつ迅速に指定できるので、ユーザの撮影装置１００に対する利便性が向上する。
図１１のステップＳ７５において、ノイズ除去アイコンＩＣＮがタッチされなかったと判別した場合には（ステップＳ７５；Ｎｏ）、モデル群編集部１４４は、ステップＳ７３と同様に、ズームアイコンＩＣＺがタッチされたか否かを判別する（ステップＳ７７）。このとき、ズームアイコンＩＣＺがタッチされたと判別すると（ステップＳ７７；Ｙｅｓ）、モデル群編集部１４４は、タッチパネルから入力されたサイズに基づいて三次元座標群の表示サイズを変更する、図１３（ｂ）に示すようなズーム表示処理を実行した後に（ステップＳ７８）、ステップＳ７３に戻り上記処理を繰り返す。
図１３（ｂ）のズーム表示処理の実行を開始すると、モデル群編集部１４４は、図１２（ｄ）に示すようにズームアイコンＩＣＺをハイライト表示するように表示部１０３を制御する（ステップＳ９１）。次に、モデル群編集部１４４は、モデル表示エリアＤＡＭの下側に、サイズを表すサイズバーＬＺを表示させる。
次に、モデル群編集部１４４は、タッチパネルから出力されるタッチ位置の座標値を表す信号に基づいて、ユーザによって指定された三次元モデルの表示サイズ（以下単に、指定サイズという）を取得する（ステップＳ９３）。例えば、タッチパネルが出力する座標値がサイズバーＬＺの中心位置を表す場合に、モデル群編集部１４４は、デフォルトの表示サイズを指定サイズ（つまり、１００％）として取得する。また例えば、タッチパネルが出力する座標値が、サイズバーＬＺの右端を表す場合には、モデル群編集部１４４は、デフォルトの表示サイズの２倍（つまり、２００％）を指定サイズとして取得する。その後、モデル群編集部１４４は、図１２（ｄ）及び（ｅ）に示すように、取得した指定サイズをサイズバーＬＺに表示させる（ステップＳ９４）。
次に、モデル群編集部１４４は、ステップＳ９３で取得した指定サイズで三次元モデル群を表示するように表示部１０３を制御する（ステップＳ９５）。つまり、図１２（ｄ）に示すように、指定サイズがデフォルトサイズの１８０％の大きさである場合には、モデル群編集部１４４は、図１２（ａ）に示すようなデフォルトのサイズの三次元モデル群を１．８倍の大きさに拡大した三次元モデル群を表示させる。また図１２（ｅ）に示すように、指定サイズがデフォルトサイズの３０％の大きさである場合には、デフォルトサイズの三次元モデル群を０．３倍の大きさに縮小した三次元モデル群を表示させる。
その後、モデル群編集部１４４は、ズームアイコンＩＣＺ以外の他のアイコンに対してタッチ操作がなされたか否かを判別する（ステップＳ９６）。このとき、他のアイコンに対してタッチ操作がなされなかったと判別すると（ステップＳ９６；Ｎｏ）、モデル群編集部１４４は、ステップＳ９３に戻り上記処理を繰り返す。
ステップＳ９６において、他のアイコンに対してタッチ操作がなされたと判別すると（ステップＳ９６；Ｙｅｓ）、ズームアイコンＩＣＺのハイライト表示を終了し、かつサイズバーＬＺの表示を終了させた後に（ステップＳ９７）、ズーム表示処理の実行を終了する。
図１１のステップＳ７７において、ズームアイコンＩＣＺがタッチされなかったと判別した場合には（ステップＳ７７；Ｎｏ）、モデル群編集部１４４は、ステップＳ７３と同様に、自由視点アイコンＩＣＦがタッチされたか否かを判別する（ステップＳ７９）。このとき、自由視点アイコンＩＣＦがタッチされなかった（つまり、タッチ操作がなかった）と判別すると（ステップＳ７９；Ｎｏ）、モデル群編集部１４４は、ステップＳ７３に戻り上記処理を繰り返す。これに対して、自由視点アイコンＩＣＦがタッチされたと判別すると（ステップＳ７９；Ｙｅｓ）、モデル群編集部１４４は、タッチパネルから入力されたタッチ位置から被写体の三次元モデル群に向かう視線の方向を特定し、特定した視線の方向から三次元モデル群を表示部１０３に表示させる、図１３（ｃ）に示すような自由視点表示処理を実行する（ステップＳ８０）。
図１３（ｃ）の自由視点表示処理の実行を開始すると、モデル群編集部１４４は、自由視点アイコンＩＣＦをハイライト表示するように表示部１０３を制御する（ステップＳ１０１）。次に、モデル群編集部１４４は、タッチパネルから出力される信号に基づいて、ユーザによって指定された視線の始点位置を検出し、検出した始点から三次元モデル群へ向かう視線（以下単に、指定視線という）を取得する（ステップＳ１０２）。
次に、モデル群編集部１４４は、指定視線に応じて三次元モデル群を上下左右に回転させることで、指定視線から三次元モデル群を表示部１０３に表示させる（ステップＳ１０３）。具体例としては、モデル群編集部１４４は、指定視線をユーザの視線（つまり、表示部１０３の表示方向の逆向き）とするような回転行列を算出し、算出した回転行列に基づいて三次元モデル群の頂点座標を変換し、変換した三次元モデル群を表示部１０３に表示させる。
その後、モデル群編集部１４４は、自由視点アイコンＩＣＦ以外の他のアイコンに対してタッチ操作がなされたか否かを判別する（ステップＳ１０４）。このとき、他のアイコンに対してタッチ操作がなされなかったと判別すると（ステップＳ１０４；Ｎｏ）、モデル群編集部１４４は、ステップＳ１０２に戻り上記処理を繰り返す。
ステップＳ１０４において、他のアイコンに対してタッチ操作がなされたと判別すると（ステップＳ１０４；Ｙｅｓ）、自由視点アイコンＩＣＦのハイライト表示を終了させた後に（ステップＳ１０５）、自由視点表示処理の実行を終了する。
図４のステップＳ０７の後に、図５（ａ）の撮影制御部１４１は、図１（ａ）のシャッターボタン１０９がユーザによって押し下げられたか否かを再度判別する（ステップＳ０８）。このとき、シャッターボタン１０９が押し下げられたと判別すると（ステップＳ０８；Ｙｅｓ）、撮影制御部１４１は、撮影カウンタを値「1」だけインクリメントする（ステップＳ０９）。その後、ステップＳ０４から上記処理が繰り返される。
ステップＳ０８において、シャッターボタン１０９が押し下げられていないと判別すると（ステップＳ０８；Ｎｏ）、撮影制御部１４１は、ステップＳ０３と同様に、所定期間において終了イベントが発生したか否かを判別する（ステップＳ１０）。このとき、所定期間において終了イベントが発生しなかったと判別された場合には（ステップＳ１０；Ｎｏ）、ステップＳ０７から上記処理が繰り返される。
ステップＳ１０において、終了イベントが発生したと判別された場合には（ステップＳ１０；Ｙｅｓ）、図５（ａ）の三次元画像生成部１４５は、撮影装置１００のモードが、ポリゴン画像を表示するポリゴン表示モードであるか否かを判別する（ステップＳ１１）。このとき、ポリゴン表示モードでないと判別すると（ステップＳ１１；Ｎｏ）、三次元画像生成部１４５は、三次元画像生成処理の実行を終了する。尚、撮影装置１００が３Ｄモデリングモードである場合には、ポリゴン表示モードに設定されるとして良い。また、撮影装置１００がポリゴン表示モードに設定されていない場合としては、例えば、図１１のモデル群編集処理の実行中に、撮影装置１００が通常撮影モードに設定された場合を一例として挙げることができる。
ステップＳ１１において、撮影装置１００がポリゴン表示モードに設定されていると判別すると、三次元画像生成部１４５は、例えば、アルファ・シェイプ（Alpha-Shapes）法を用いて、三次元モデル群の点群から三次元画像であるポリゴン画像を生成する（ステップＳ１２）。具体的には、三次元画像生成部１４５は、点群を用いてドロネー分割を行うことでポリゴン候補を作成する。次に、三次元画像生成部１４５は、直径Alphaの球を、各ポリゴン候補を画定する各頂点に置き、各頂点に置かれた球によってポリゴン候補内が満されるものを有効とし、満たされないものを無効とする。
その後、図５（ａ）の三次元画像表示制御部１４６は、生成された被写体のポリゴン画像（つまり、三次元画像）を表示部１０３に表示させた後に（ステップＳ１３）、三次元画像生成処理の実行を終了する。
これらの構成によれば、図９（ｂ）の第２除去処理において、三次元モデルに含まれる点が、当該三次元モデルの生成に用いられた撮影画像の撮影位置と異なる位置から撮影された撮影画像を用いて生成された三次元モデルに含まれているか否かに基づいて当該点がノイズであるか否かを判定される。またこれらの構成によれば、ノイズであると判定された点を除去されたモデルに基づいて三次元画像を生成するため、精度の良い被写体の三次元画像を生成できる。
またこれらの構成によれば、図９（ｂ）の第２除去処理において、あるモデルに含まれるある点がノイズであるか否かを、当該点の所定距離内（つまり、近傍範囲）に他のモデルに含まれる点が存在するか否かに基づいて判定するため、撮影回数が増すほど精度良くノイズ判定できる。同一の点が複数の撮影画像に表されている場合には、それぞれの撮影画像に基づいて算出された同一点の三次元座標は、誤差により生じる距離を超えて離れることがないためである。
さらにこれらの構成によれば、図９（ｃ）の第３除去処理において、三次元モデルを生成するために用いられた撮影画像の撮影位置における差異に基づいて、対応する三次元モデルの点から他の点よりもノイズである可能性が高い点を抽出し、かつ抽出した点を三次元モデルから除去するため、精度の良い三次元画像を生成できる。通常、複数の撮影画像の撮影位置における差異が小さい場合の方が、差異が大きい場合に比べて、複数の撮影画像に同一の点が表されている可能性が高いので、複数の撮影画像から生成された複数の三次元モデルの対応点にノイズが含まれる可能性が低いためである。またこれに対して、複数の撮影画像の撮影位置における差異が大きい場合の方が、差異が小さい場合に比べて、複数の撮影画像に同一の点が表されている可能性が低いので、複数のモデルに含まれる対応点にノイズが含まれる可能性が高いためである。
またこれらの構成によれば、図９（ａ）の第１除去処理において、撮影視線の方向とポリゴン面の法線との相違が所定よりも大きい場合に、当該ポリゴン面の頂点はノイズであるとして当該三次元モデルから除去するため、精度の良い被写体の三次元画像を生成できる。ポリゴン面の法線方向と撮影視線の方向との相違が大きくなる程、ポリゴン面の生成に用いられる撮影画像中の情報量が少なくなるので、ポリゴン面にノイズが生じ易くなるからである。
さらにこれらの構成によれば、図１３（ａ）のノイズ除去表示処理において、撮影視線の方向と頂点の方向との相違が所定よりも大きい場合に、当該頂点はノイズである可能性が高いとして当該三次元モデルから除去されるため、精度の良い被写体の三次元画像を生成できる。これは、頂点の方向と撮影視線の方向との相違が大きくなる程、頂点を画定する複数のポリゴン面の生成にそれぞれ用いられる撮影画像中の情報量の総量が少なくなるので、これらのポリゴン面にノイズが生じ易くなり、ノイズが生じ易いポリゴン面で画定される頂点はノイズである可能性が高いからである。
＜変形例＞
本実施形態において、図９（ａ）の第１除去処理によって、隣接するポリゴン面を有する頂点は、隣接する全てのポリゴン面の法線ベクトルと撮影視線との内積値が閾値ＴＨ＿ＮＰ以下である場合にノイズであるとして除去されるとして説明した。しかし、図１４に示すように、少なくとも１つの隣接するポリゴン面の法線ベクトルと撮影視線との内積値が閾値ＴＨ＿ＮＰＸ以下である場合に、当該頂点はノイズであるとして除去されるとしても良い。
この変形例において、図１４に示すような第１除去処理の実行を開始すると、ノイズ除去部１４３ｄは、今回の三次元モデルを構成する全頂点について、以下のステップＳ１１２からＳ１１７の実行が終了したか否かを判別する（ステップＳ１１１）。このとき、全頂点についてステップＳ１１２などの処理が終了していないと判別すると（ステップＳ１１１；Ｎｏ）、ステップＳ１１２などの処理の対象とされていない頂点の１つを対象頂点とし、対象頂点に隣接する複数のポリゴン面を特定する（ステップＳ１１２）。
次に、ノイズ除去部１４３ｄは、特定されたポリゴン面の法線ベクトルを取得する（ステップＳ１１３）。その後、ノイズ除去部１４３ｄは、各ポリゴン面の法線ベクトルと、図６（ｂ）の撮影状態推定処理で推定された撮影視線との内積をそれぞれ算出する（ステップＳ１１４）。その後、ノイズ除去部１４３ｄは、算出された内積値の内で最も小さい内積値を選択し（ステップＳ１１５）、選択した内積値が閾値ＴＨ＿ＮＰＸ以下であるか否かを判別する（ステップＳ１１６）。このときに、選択された内積値が閾値ＴＨ＿ＮＰＸより大きいと判別されると（ステップＳ１１６；Ｎｏ）、ノイズ除去部１４３ｄは、ステップＳ１１１に戻り上記処理を繰り返す。
ステップＳ１１６において、選択された内積値が閾値ＴＨ＿ＮＰＸ以下であると判別されると（ステップＳ１１６；Ｙｅｓ）、ノイズ除去部１４３ｄは、対象頂点をノイズと判定し、今回の三次元モデルから当該対象頂点を削除する（ステップＳ１１７）。その後、ノイズ除去部１４３ｄは、ステップＳ１１１から上記処理の実行を繰り返す。
これらの構成によれば、ある頂点に隣接するポリゴン面の内で、少なくとも１つのポリゴン面の法線ベクトルと撮影視線との内積値が閾値ＴＨ＿ＮＰＸ以下である場合に、当該頂点はノイズであるとして除去される。このため、例えば、ある頂点に隣接する全てのポリゴン面の法線ベクトルと撮影視線との内積値が閾値ＴＨ＿ＮＰ以下である場合に当該頂点がノイズであるとして除去される場合と比べて、ノイズを確実に除去できる。
尚、本発明に係る機能を実現するための構成を予め備えた撮影装置として提供できることはもとより、プログラムの適用により、既存の撮影装置を本発明に係る撮影装置として機能させることもできる。すなわち、上記実施形態で例示した撮影装置１００による各機能構成を実現させるための制御プログラムを、既存の撮影装置を制御するコンピューター（ＣＰＵなど）が実行できるように適用することで、本発明に係る撮影装置１００として機能させることができる。また、本発明に係る撮影装置の制御方法は、撮影装置１００を用いて実施できる。
このようなプログラムの配布方法は任意であり、例えば、メモリカード、ＣＤ−ＲＯＭ、又はＤＶＤ−ＲＯＭなどの記録媒体に格納して配布できる他、インターネットなどの通信媒体を介して配布することもできる。
以上本発明の好ましい実施例について詳述したが、本発明は係る特定の実施例に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形、変更が可能である。
１００・・・撮影装置、１０１・・・ストロボ発光窓、１０２ａ，１０２ｂ・・・撮影レンズ、１０３・・・表示部、１０４ｄ・・・３Ｄモデリングキー、１０４ｐ・・・電源キー、１０５・・・操作キー、１０６・・・外部Ｉ／Ｆ部、１０９・・・シャッターボタン、１１０ａ，１１０ｂ・・・撮影部、１１１ａ，１１１ｂ・・・光学装置、１１２ａ，１１２ｂ・・・イメージセンサ部、１２０・・・データ処理部、１２１・・・制御部、１２２・・・記憶部、１２３・・・外部記憶部、１２４・・・画像処理部、１２５・・・画像メモリ、１２６・・・画像出力部、１３０・・・Ｉ／Ｆ部、１３１・・・操作部、１４１・・・撮影制御部、１４２・・・画像取得部、１４３・・・モデル群更新部、１４３ａ・・・モデル生成部、１４３ｂ・・・撮影状態推定部、１４３ｃ・・・頂点座標値変換部、１４３ｄ・・・ノイズ除去部、１４３ｅ・・・頂点方向算出部、１４４・・・モデル群編集部、１４５・・・三次元画像生成部、１４６・・・三次元画像表示制御部

Claims (17)

  1. 被写体を撮影する撮影手段と、
    前記撮影手段で撮影された撮影画像を用いて、前記被写体の三次元モデルを生成するモデル生成手段と、
    前記モデル生成手段で生成された三次元モデルからノイズを除去するノイズ除去手段と、
    前記ノイズ除去手段でノイズが除去された三次元モデルに基づいて、三次元画像を生成する三次元画像生成手段と、を備え、
    前記ノイズ除去手段は、前記モデル生成手段で生成された三次元モデルを構成する点を基準点として所定の距離までの空間範囲において、当該三次元モデルの生成に用いられた撮影画像の撮影位置と異なる位置から撮影された撮影画像を用いて生成された他の三次元モデルを構成する頂点を、所定数得られない場合に、前記基準点はノイズであると判定する、
    ことを特徴とする撮影装置。
  2. 被写体を撮影する撮影手段と、
    前記撮影手段で撮影された撮影画像を用いて、前記被写体の三次元モデルを生成するモデル生成手段と、
    前記モデル生成手段で生成された三次元モデルからノイズを除去するノイズ除去手段と、
    前記ノイズ除去手段でノイズが除去された三次元モデルに基づいて、三次元画像を生成する三次元画像生成手段と、
    前記モデル生成手段で生成された三次元モデルを構成する点に基づいて、前記三次元モデルの生成に用いられた撮影画像の撮影時における前記撮影手段の撮影方向を推定する撮影方向推定手段と、を備え、
    前記ノイズ除去手段は、
    前記モデル生成手段で生成された三次元モデルを構成する基準点に対応する対応点が、当該三次元モデルの生成に用いられた撮影画像の撮影位置と異なる位置から撮影された撮影画像を用いて生成された三次元モデルを構成しない場合に、当該基準点はノイズであると判定し、
    前記撮影方向推定手段で推定された撮影方向の差異が所定値よりも小さい複数の三次元モデルの内で、他の三次元モデルの生成に用いられた撮影画像の撮影時刻よりも早い撮影時刻の撮影画像を用いて生成された三次元モデルを、前記三次元画像生成手段が三次元画像を生成する基礎とする三次元モデルから除去する、
    ことを特徴とする撮影装置。
  3. 被写体を撮影する撮影手段と、
    前記撮影手段で撮影された撮影画像を用いて、前記被写体の三次元モデルを生成するモデル生成手段と、
    前記モデル生成手段で生成された三次元モデルからノイズを除去するノイズ除去手段と、
    前記ノイズ除去手段でノイズが除去された三次元モデルに基づいて、三次元画像を生成する三次元画像生成手段と、
    前記モデル生成手段で生成された三次元モデルを構成する点に基づいて、前記三次元モデルの生成に用いられた撮影画像の撮影時における前記撮影手段の撮影方向を推定する撮影方向推定手段と、を備え、
    前記ノイズ除去手段は、
    前記モデル生成手段で生成された三次元モデルを構成する基準点に対応する対応点が、当該三次元モデルの生成に用いられた撮影画像の撮影位置と異なる位置から撮影された撮影画像を用いて生成された三次元モデルを構成しない場合に、当該基準点はノイズであると判定し、
    前記撮影方向推定手段で推定された撮影方向と、前記三次元モデルを構成する点を頂点とするポリゴン面の法線との相違が所定値よりも大きい場合に、当該頂点はノイズであると判定する、
    ことを特徴とする撮影装置。
  4. 被写体を撮影する撮影手段と、
    前記撮影手段で撮影された撮影画像を用いて、前記被写体の三次元モデルを生成するモデル生成手段と、
    前記モデル生成手段で生成された三次元モデルからノイズを除去するノイズ除去手段と、
    前記ノイズ除去手段でノイズが除去された三次元モデルに基づいて、三次元画像を生成する三次元画像生成手段と、
    前記モデル生成手段で生成された三次元モデルを構成する点に基づいて、前記三次元モデルの生成に用いられた撮影画像の撮影時における前記撮影手段の撮影方向を推定する撮影方向推定手段と、を備え、
    前記ノイズ除去手段は、
    前記モデル生成手段で生成された三次元モデルを構成する基準点に対応する対応点が、当該三次元モデルの生成に用いられた撮影画像の撮影位置と異なる位置から撮影された撮影画像を用いて生成された三次元モデルを構成しない場合に、当該基準点はノイズであると判定し、
    前記撮影方向推定手段で推定された撮影方向と、前記三次元モデルを構成する点を頂点とする複数のポリゴン面の法線で定まる当該頂点の方向との相違が所定値よりも大きい場合に、当該頂点はノイズであると判定する、
    ことを特徴とする撮影装置。
  5. 前記ノイズ除去手段でノイズを除去された三次元モデルと、前記三次元モデルを構成する点がノイズであるか否かを前記ノイズ除去手段が判定するために用いた所定値とを対応付けて表示する表示手段と、
    値を指定する操作に応じた信号を入力する入力手段と、をさらに備え、
    前記ノイズ除去手段は、前記入力手段で入力された信号に応じた値を前記所定値として、前記三次元モデルを構成する点がノイズであるか否かを再度判定すると共に、ノイズであると判定した点を前記三次元モデルから再度除去し、
    前記表示手段は、前記ノイズ除去手段でノイズが再度除去された三次元モデルを表示する、
    ことを特徴とする請求項４に記載の撮影装置。
  6. 被写体を撮影するように撮影手段を制御する撮影制御手段と、
    前記撮影手段から出力された撮影画像を用いて、前記被写体の三次元モデルを生成するモデル生成手段と、
    前記モデル生成手段で生成された三次元モデルからノイズを除去するノイズ除去手段と、
    前記ノイズ除去手段でノイズが除去された三次元モデルに基づいて、三次元画像を生成する三次元画像生成手段と、を備え、
    前記ノイズ除去手段は、前記モデル生成手段で生成された三次元モデルを構成する点を基準点として所定の距離までの空間範囲において、当該三次元モデルの生成に用いられた撮影画像の撮影位置と異なる位置から撮影された撮影画像を用いて生成された他の三次元モデルを構成する頂点を、所定数得られない場合に、前記基準点はノイズであると判定する、
    ことを特徴とする撮影装置の制御装置。
  7. 被写体を撮影するように撮影手段を制御する撮影制御手段と、
    前記撮影手段から出力された撮影画像を用いて、前記被写体の三次元モデルを生成するモデル生成手段と、
    前記モデル生成手段で生成された三次元モデルからノイズを除去するノイズ除去手段と、
    前記ノイズ除去手段でノイズが除去された三次元モデルに基づいて、三次元画像を生成する三次元画像生成手段と、
    前記モデル生成手段で生成された三次元モデルを構成する点に基づいて、前記三次元モデルの生成に用いられた撮影画像の撮影時における前記撮影手段の撮影方向を推定する撮影方向推定手段と、を備え、
    前記ノイズ除去手段は、
    前記モデル生成手段で生成された三次元モデルを構成する基準点に対応する対応点が、当該三次元モデルの生成に用いられた撮影画像の撮影位置と異なる位置から撮影された撮影画像を用いて生成された三次元モデルを構成しない場合に、当該基準点はノイズであると判定し、
    前記撮影方向推定手段で推定された撮影方向の差異が所定値よりも小さい複数の三次元モデルの内で、他の三次元モデルの生成に用いられた撮影画像の撮影時刻よりも早い撮影時刻の撮影画像を用いて生成された三次元モデルを、前記三次元画像生成手段が三次元画像を生成する基礎とする三次元モデルから除去する、
    ことを特徴とする撮影装置の制御装置。
  8. 被写体を撮影するように撮影手段を制御する撮影制御手段と、
    前記撮影手段から出力された撮影画像を用いて、前記被写体の三次元モデルを生成するモデル生成手段と、
    前記モデル生成手段で生成された三次元モデルからノイズを除去するノイズ除去手段と、
    前記ノイズ除去手段でノイズが除去された三次元モデルに基づいて、三次元画像を生成する三次元画像生成手段と、
    前記モデル生成手段で生成された三次元モデルを構成する点に基づいて、前記三次元モデルの生成に用いられた撮影画像の撮影時における前記撮影手段の撮影方向を推定する撮影方向推定手段と、を備え、
    前記ノイズ除去手段は、
    前記モデル生成手段で生成された三次元モデルを構成する基準点に対応する対応点が、当該三次元モデルの生成に用いられた撮影画像の撮影位置と異なる位置から撮影された撮影画像を用いて生成された三次元モデルを構成しない場合に、当該基準点はノイズであると判定し、
    前記撮影方向推定手段で推定された撮影方向と、前記三次元モデルを構成する点を頂点とするポリゴン面の法線との相違が所定値よりも大きい場合に、当該頂点はノイズであると判定する、
    ことを特徴とする撮影装置の制御装置。
  9. 被写体を撮影するように撮影手段を制御する撮影制御手段と、
    前記撮影手段から出力された撮影画像を用いて、前記被写体の三次元モデルを生成するモデル生成手段と、
    前記モデル生成手段で生成された三次元モデルからノイズを除去するノイズ除去手段と、
    前記ノイズ除去手段でノイズが除去された三次元モデルに基づいて、三次元画像を生成する三次元画像生成手段と、
    前記モデル生成手段で生成された三次元モデルを構成する点に基づいて、前記三次元モデルの生成に用いられた撮影画像の撮影時における前記撮影手段の撮影方向を推定する撮影方向推定手段と、を備え、
    前記ノイズ除去手段は、
    前記モデル生成手段で生成された三次元モデルを構成する基準点に対応する対応点が、当該三次元モデルの生成に用いられた撮影画像の撮影位置と異なる位置から撮影された撮影画像を用いて生成された三次元モデルを構成しない場合に、当該基準点はノイズであると判定し、
    前記撮影方向推定手段で推定された撮影方向と、前記三次元モデルを構成する点を頂点とする複数のポリゴン面の法線で定まる当該頂点の方向との相違が所定値よりも大きい場合に、当該頂点はノイズであると判定する、
    ことを特徴とする撮影装置の制御装置。
  10. コンピュータを、
    被写体を撮影するように撮影手段を制御する撮影制御手段、
    前記撮影手段から出力された撮影画像を用いて、前記被写体の三次元モデルを生成するモデル生成手段、
    前記モデル生成手段で生成された三次元モデルからノイズを除去するノイズ除去手段、
    前記ノイズ除去手段でノイズが除去された三次元モデルに基づいて、三次元画像を生成する三次元画像生成手段、として機能させ、
    前記ノイズ除去手段は、前記モデル生成手段で生成された三次元モデルを構成する点を基準点として所定の距離までの空間範囲において、当該三次元モデルの生成に用いられた撮影画像の撮影位置と異なる位置から撮影された撮影画像を用いて生成された他の三次元モデルを構成する頂点を、所定数得られない場合に、前記基準点はノイズであると判定する、
    ことを特徴とする撮影装置の制御プログラム。
  11. コンピュータを、
    被写体を撮影するように撮影手段を制御する撮影制御手段、
    前記撮影手段から出力された撮影画像を用いて、前記被写体の三次元モデルを生成するモデル生成手段、
    前記モデル生成手段で生成された三次元モデルからノイズを除去するノイズ除去手段、
    前記ノイズ除去手段でノイズが除去された三次元モデルに基づいて、三次元画像を生成する三次元画像生成手段、
    前記モデル生成手段で生成された三次元モデルを構成する点に基づいて、前記三次元モデルの生成に用いられた撮影画像の撮影時における前記撮影手段の撮影方向を推定する撮影方向推定手段、として機能させ、
    前記ノイズ除去手段は、
    前記モデル生成手段で生成された三次元モデルを構成する基準点に対応する対応点が、当該三次元モデルの生成に用いられた撮影画像の撮影位置と異なる位置から撮影された撮影画像を用いて生成された三次元モデルを構成しない場合に、当該基準点はノイズであると判定し、
    前記撮影方向推定手段で推定された撮影方向の差異が所定値よりも小さい複数の三次元モデルの内で、他の三次元モデルの生成に用いられた撮影画像の撮影時刻よりも早い撮影時刻の撮影画像を用いて生成された三次元モデルを、前記三次元画像生成手段が三次元画像を生成する基礎とする三次元モデルから除去する、
    ことを特徴とする撮影装置の制御プログラム。
  12. コンピュータを、
    被写体を撮影するように撮影手段を制御する撮影制御手段、
    前記撮影手段から出力された撮影画像を用いて、前記被写体の三次元モデルを生成するモデル生成手段、
    前記モデル生成手段で生成された三次元モデルからノイズを除去するノイズ除去手段、
    前記ノイズ除去手段でノイズが除去された三次元モデルに基づいて、三次元画像を生成する三次元画像生成手段、
    前記モデル生成手段で生成された三次元モデルを構成する点に基づいて、前記三次元モデルの生成に用いられた撮影画像の撮影時における前記撮影手段の撮影方向を推定する撮影方向推定手段、として機能させ、
    前記ノイズ除去手段は、
    前記モデル生成手段で生成された三次元モデルを構成する基準点に対応する対応点が、当該三次元モデルの生成に用いられた撮影画像の撮影位置と異なる位置から撮影された撮影画像を用いて生成された三次元モデルを構成しない場合に、当該基準点はノイズであると判定し、
    前記撮影方向推定手段で推定された撮影方向と、前記三次元モデルを構成する点を頂点とするポリゴン面の法線との相違が所定値よりも大きい場合に、当該頂点はノイズであると判定する、
    ことを特徴とする撮影装置の制御プログラム。
  13. コンピュータを、
    被写体を撮影するように撮影手段を制御する撮影制御手段、
    前記撮影手段から出力された撮影画像を用いて、前記被写体の三次元モデルを生成するモデル生成手段、
    前記モデル生成手段で生成された三次元モデルからノイズを除去するノイズ除去手段、
    前記ノイズ除去手段でノイズが除去された三次元モデルに基づいて、三次元画像を生成する三次元画像生成手段、
    前記モデル生成手段で生成された三次元モデルを構成する点に基づいて、前記三次元モデルの生成に用いられた撮影画像の撮影時における前記撮影手段の撮影方向を推定する撮影方向推定手段、として機能させ、
    前記ノイズ除去手段は、
    前記モデル生成手段で生成された三次元モデルを構成する基準点に対応する対応点が、当該三次元モデルの生成に用いられた撮影画像の撮影位置と異なる位置から撮影された撮影画像を用いて生成された三次元モデルを構成しない場合に、当該基準点はノイズであると判定し、
    前記撮影方向推定手段で推定された撮影方向と、前記三次元モデルを構成する点を頂点とする複数のポリゴン面の法線で定まる当該頂点の方向との相違が所定値よりも大きい場合に、当該頂点はノイズであると判定する、
    ことを特徴とする撮影装置の制御プログラム。
  14. 被写体を撮影するように撮影手段を制御する撮影制御ステップと、
    前記撮影手段から出力された撮影画像を用いて、前記被写体の三次元モデルを生成するモデル生成ステップと、
    前記モデル生成ステップで生成された三次元モデルからノイズを除去するノイズ除去ステップと、
    前記ノイズ除去ステップでノイズが除去された三次元モデルに基づいて、三次元画像を生成する三次元画像生成ステップと、を有し、
    前記ノイズ除去ステップは、前記モデル生成ステップで生成された三次元モデルを構成する点を基準点として所定の距離までの空間範囲において、当該三次元モデルの生成に用いられた撮影画像の撮影位置と異なる位置から撮影された撮影画像を用いて生成された他の三次元モデルを構成する頂点を、所定数得られない場合に、前記基準点はノイズであると判定する、
    ことを特徴とする撮影装置の制御方法。
  15. 被写体を撮影するように撮影手段を制御する撮影制御ステップと、
    前記撮影手段から出力された撮影画像を用いて、前記被写体の三次元モデルを生成するモデル生成ステップと、
    前記モデル生成ステップで生成された三次元モデルからノイズを除去するノイズ除去ステップと、
    前記ノイズ除去ステップでノイズが除去された三次元モデルに基づいて、三次元画像を生成する三次元画像生成ステップと、
    前記モデル生成ステップで生成された三次元モデルを構成する点に基づいて、前記三次元モデルの生成に用いられた撮影画像の撮影時における前記撮影手段の撮影方向を推定する撮影方向推定ステップと、を有し、
    前記ノイズ除去ステップは、
    前記モデル生成ステップで生成された三次元モデルを構成する基準点に対応する対応点が、当該三次元モデルの生成に用いられた撮影画像の撮影位置と異なる位置から撮影された撮影画像を用いて生成された三次元モデルを構成しない場合に、当該基準点はノイズであると判定し、
    前記撮影方向推定ステップで推定された撮影方向の差異が所定値よりも小さい複数の三次元モデルの内で、他の三次元モデルの生成に用いられた撮影画像の撮影時刻よりも早い撮影時刻の撮影画像を用いて生成された三次元モデルを、前記三次元画像生成ステップで三次元画像を生成する基礎とする三次元モデルから除去する、
    ことを特徴とする撮影装置の制御方法。
  16. 被写体を撮影するように撮影手段を制御する撮影制御ステップと、
    前記撮影手段から出力された撮影画像を用いて、前記被写体の三次元モデルを生成するモデル生成ステップと、
    前記モデル生成ステップで生成された三次元モデルからノイズを除去するノイズ除去ステップと、
    前記ノイズ除去ステップでノイズが除去された三次元モデルに基づいて、三次元画像を生成する三次元画像生成ステップと、
    前記モデル生成ステップで生成された三次元モデルを構成する点に基づいて、前記三次元モデルの生成に用いられた撮影画像の撮影時における前記撮影手段の撮影方向を推定する撮影方向推定ステップと、を有し、
    前記ノイズ除去ステップは、
    前記モデル生成ステップで生成された三次元モデルを構成する基準点に対応する対応点が、当該三次元モデルの生成に用いられた撮影画像の撮影位置と異なる位置から撮影された撮影画像を用いて生成された三次元モデルを構成しない場合に、当該基準点はノイズであると判定し、
    前記撮影方向推定ステップで推定された撮影方向と、前記三次元モデルを構成する点を頂点とするポリゴン面の法線との相違が所定値よりも大きい場合に、当該頂点はノイズであると判定する、
    ことを特徴とする撮影装置の制御方法。
  17. 被写体を撮影するように撮影手段を制御する撮影制御ステップと、
    前記撮影手段から出力された撮影画像を用いて、前記被写体の三次元モデルを生成するモデル生成ステップと、
    前記モデル生成ステップで生成された三次元モデルからノイズを除去するノイズ除去ステップと、
    前記ノイズ除去ステップでノイズが除去された三次元モデルに基づいて、三次元画像を生成する三次元画像生成ステップと、
    前記モデル生成ステップで生成された三次元モデルを構成する点に基づいて、前記三次元モデルの生成に用いられた撮影画像の撮影時における前記撮影手段の撮影方向を推定する撮影方向推定ステップと、を有し、
    前記ノイズ除去ステップは、
    前記モデル生成ステップで生成された三次元モデルを構成する基準点に対応する対応点が、当該三次元モデルの生成に用いられた撮影画像の撮影位置と異なる位置から撮影された撮影画像を用いて生成された三次元モデルを構成しない場合に、当該基準点はノイズであると判定し、
    前記撮影方向推定ステップで推定された撮影方向と、前記三次元モデルを構成する点を頂点とする複数のポリゴン面の法線で定まる当該頂点の方向との相違が所定値よりも大きい場合に、当該頂点はノイズであると判定する、
    ことを特徴とする撮影装置の制御方法。
JP2010147924A 2010-06-29 2010-06-29 撮影装置、撮影装置の制御装置、撮影装置の制御プログラム、及び撮影装置の制御方法 Active JP5067450B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2010147924A JP5067450B2 (ja) 2010-06-29 2010-06-29 撮影装置、撮影装置の制御装置、撮影装置の制御プログラム、及び撮影装置の制御方法
US13/161,645 US8817075B2 (en) 2010-06-29 2011-06-16 Imaging apparatus capable of generating three-dimensional images, three-dimensional image generating method, and recording medium
CN201110180593.0A CN102316254B (zh) 2010-06-29 2011-06-24 具备生成三维图像的功能的摄影装置及三维图像生成方法
US14/224,590 US9336626B2 (en) 2010-06-29 2014-03-25 Imaging apparatus capable of generating three-dimensional images, three-dimensional image generating method, and recording medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010147924A JP5067450B2 (ja) 2010-06-29 2010-06-29 撮影装置、撮影装置の制御装置、撮影装置の制御プログラム、及び撮影装置の制御方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2012130590A Division JP5126442B2 (ja) 2012-06-08 2012-06-08 三次元モデル生成装置、及び三次元モデル生成方法

Publications (2)

Publication Number Publication Date
JP2012014259A JP2012014259A (ja) 2012-01-19
JP5067450B2 true JP5067450B2 (ja) 2012-11-07

Family

ID=45352159

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010147924A Active JP5067450B2 (ja) 2010-06-29 2010-06-29 撮影装置、撮影装置の制御装置、撮影装置の制御プログラム、及び撮影装置の制御方法

Country Status (3)

Country Link
US (2) US8817075B2 (ja)
JP (1) JP5067450B2 (ja)
CN (1) CN102316254B (ja)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101630302B1 (ko) * 2010-02-02 2016-06-14 삼성전자주식회사 입체 터치 패널을 구비하는 디지털 촬영 장치 및 이의 제어 방법
US10163261B2 (en) 2014-03-19 2018-12-25 Matterport, Inc. Selecting two-dimensional imagery data for display within a three-dimensional model
US9786097B2 (en) 2012-06-22 2017-10-10 Matterport, Inc. Multi-modal method for interacting with 3D models
US10127722B2 (en) 2015-06-30 2018-11-13 Matterport, Inc. Mobile capture visualization incorporating three-dimensional and two-dimensional imagery
US10139985B2 (en) 2012-06-22 2018-11-27 Matterport, Inc. Defining, displaying and interacting with tags in a three-dimensional model
JP6282725B2 (ja) * 2014-03-28 2018-02-21 株式会社日立産機システム 画像データ編集装置および画像データ編集方法ならびに画像データ編集プログラム
US11196997B2 (en) 2015-05-15 2021-12-07 Hewlett-Packard Development Company, L.P. Image compression
JP6380685B2 (ja) * 2015-10-01 2018-08-29 三菱電機株式会社 寸法計測装置
US10257505B2 (en) * 2016-02-08 2019-04-09 Microsoft Technology Licensing, Llc Optimized object scanning using sensor fusion
US11769275B2 (en) * 2017-10-19 2023-09-26 Interdigital Vc Holdings, Inc. Method and device for predictive encoding/decoding of a point cloud
CN116402984B (zh) * 2023-02-28 2024-04-16 神力视界(深圳)文化科技有限公司 三维模型处理方法、装置及电子设备
CN116597111B (zh) * 2023-03-15 2024-04-26 磅客策(上海)智能医疗科技有限公司 一种三维图像的处理方法以及处理装置

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0397449A (ja) * 1989-09-12 1991-04-23 Hitachi Ltd 画像ノイズ除去装置および方法
JPH09231371A (ja) * 1996-02-21 1997-09-05 Canon Inc 画像情報入力装置及び画像情報入力方法
US6476803B1 (en) * 2000-01-06 2002-11-05 Microsoft Corporation Object modeling system and process employing noise elimination and robust surface extraction techniques
JP4156893B2 (ja) * 2002-09-27 2008-09-24 富士フイルム株式会社 画像処理装置、方法及びプログラム
US7420542B2 (en) * 2004-05-25 2008-09-02 Avago Technologies Ecbu Ip Pte Ltd Apparatus for capturing and analyzing light and method embodied therein
CN100355272C (zh) * 2005-06-24 2007-12-12 清华大学 一种交互式多视点视频系统中虚拟视点的合成方法
US7995054B2 (en) * 2005-11-21 2011-08-09 Leica Geosystems Ag Identification of edge regions from 3D point data
JP5248992B2 (ja) * 2008-11-17 2013-07-31 Ｋｄｄｉ株式会社 ３次元物体モデル情報生成装置及びプログラム
KR101200490B1 (ko) * 2008-12-10 2012-11-12 한국전자통신연구원 영상 정합 장치 및 방법
US8442304B2 (en) * 2008-12-29 2013-05-14 Cognex Corporation System and method for three-dimensional alignment of objects using machine vision
US8731876B2 (en) * 2009-08-21 2014-05-20 Adobe Systems Incorporated Creating editable feature curves for a multi-dimensional model
WO2011070927A1 (ja) * 2009-12-11 2011-06-16 株式会社トプコン 点群データ処理装置、点群データ処理方法、および点群データ処理プログラム
US8803992B2 (en) * 2010-05-12 2014-08-12 Fuji Xerox Co., Ltd. Augmented reality navigation for repeat photography and difference extraction

Also Published As

Publication number Publication date
CN102316254A (zh) 2012-01-11
US8817075B2 (en) 2014-08-26
US9336626B2 (en) 2016-05-10
US20140204086A1 (en) 2014-07-24
US20110316976A1 (en) 2011-12-29
CN102316254B (zh) 2014-02-26
JP2012014259A (ja) 2012-01-19

Similar Documents

Publication Publication Date Title
JP5067450B2 (ja) 撮影装置、撮影装置の制御装置、撮影装置の制御プログラム、及び撮影装置の制御方法
CN109242961B (zh) 一种脸部建模方法、装置、电子设备和计算机可读介质
JP4983905B2 (ja) 撮像装置、３ｄモデリングデータ生成方法、および、プログラム
KR101192893B1 (ko) 촬영 장치, 컴퓨터 판독 가능한 기록 매체, 및 제어 방법
JP4752918B2 (ja) 画像処理装置、画像照合方法、および、プログラム
JP5035372B2 (ja) 三次元モデリング装置、三次元モデリング方法、ならびに、プログラム
JP5024410B2 (ja) 三次元モデリング装置、三次元モデリング方法、ならびに、プログラム
US8928736B2 (en) Three-dimensional modeling apparatus, three-dimensional modeling method and computer-readable recording medium storing three-dimensional modeling program
JP5110138B2 (ja) Ａｒ処理装置、ａｒ処理方法及びプログラム
US20120242795A1 (en) Digital 3d camera using periodic illumination
KR102637901B1 (ko) 전자 장치에 의한 돌리 줌 효과 제공 방법 및 상기 방법에서 사용되는 전자 장치
JP6902881B2 (ja) 情報処理装置及び三次元モデルの生成方法
JP5263437B2 (ja) 三次元モデリング装置、三次元モデリング方法、ならびに、プログラム
JP6635764B2 (ja) 撮像装置、その制御方法、および制御プログラム
KR20160125715A (ko) 3차원 스캐너 및 스캐닝 방법
JP5987584B2 (ja) 画像処理装置、映像投影システムおよびプログラム
JP5126442B2 (ja) 三次元モデル生成装置、及び三次元モデル生成方法
JP2012073930A (ja) 画像処理装置、画像処理方法及びプログラム
CN114241127A (zh) 全景图像生成方法、装置、电子设备和介质
JP2010154323A (ja) 画像処理装置、画像抽出方法、および、プログラム
JP2017215851A (ja) 画像処理装置および画像処理方法、造形システム
JP2012248206A (ja) Ａｒ処理装置、ａｒ処理方法及びプログラム
JP6704700B2 (ja) 画像処理装置およびその制御方法ならびにプログラム
KR102535136B1 (ko) 영상정합장치 및 방법
KR102151250B1 (ko) 객체 좌표를 도출하는 장치 및 방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20111124

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20111129

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20111215

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120104

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120305

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120515

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120608

TRDD Decision of grant or rejection written
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120712

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120717

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120730

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150824

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 5067450

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150