JP5067477B2 - 撮像パラメータ取得装置、撮像パラメータ取得方法、及び、プログラム - Google Patents

撮像パラメータ取得装置、撮像パラメータ取得方法、及び、プログラム Download PDF

Info

Publication number
JP5067477B2
JP5067477B2 JP2010294258A JP2010294258A JP5067477B2 JP 5067477 B2 JP5067477 B2 JP 5067477B2 JP 2010294258 A JP2010294258 A JP 2010294258A JP 2010294258 A JP2010294258 A JP 2010294258A JP 5067477 B2 JP5067477 B2 JP 5067477B2
Authority
JP
Japan
Prior art keywords
imaging
image
display
sight
display device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2010294258A
Other languages
English (en)
Other versions
JP2012142792A (ja
Inventor
敬一 櫻井
光康 中嶋
崇史 山谷
由紀 吉濱
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Casio Computer Co Ltd
Original Assignee
Casio Computer Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Casio Computer Co Ltd filed Critical Casio Computer Co Ltd
Priority to JP2010294258A priority Critical patent/JP5067477B2/ja
Priority to CN201110437883.9A priority patent/CN102547121B/zh
Priority to US13/338,696 priority patent/US8531505B2/en
Publication of JP2012142792A publication Critical patent/JP2012142792A/ja
Application granted granted Critical
Publication of JP5067477B2 publication Critical patent/JP5067477B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85Stereo camera calibration
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/243Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/246Calibration of cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/275Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/66Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661Transmitting camera control signals through networks, e.g. control via the Internet

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Processing Or Creating Images (AREA)

Description

本発明は、撮像パラメータ取得装置、撮像パラメータ取得方法、及び、プログラムに関する。
同一被写体を異なる方向から撮像したペア画像から三次元モデルを作成するためには、当該ペア画像を撮像した各カメラの撮像パラメータを取得する必要がある。
特許文献1には、パラメータ算出用のパターンを有する校正用ボードをカメラに撮像させ、撮像させた画像からカメラの撮像パラメータを算出することが記載されている。
特開2003−078925号公報
特許文献1に記載の技術では、特殊な校正用ボードを準備して、パラメータを算出したいカメラの前に配置する必要があり、ユーザにとって面倒であった。
本発明は、上記実情に鑑みてなされたものであり、容易に撮像装置の撮像パラメータを取得することができる撮像パラメータ取得装置、撮像パラメータ取得方法、及び、プログラムを提供することを目的とする。
上記目的を達成するため本発明の第1の観点に係る撮像パラメータ取得装置は、
複数の撮像装置と表示装置とを備えたクライアントシステムとネットワークを介して接続された撮像パラメータ取得装置であって、
前記クライアントシステムに、三次元モデルを作成するための視線を構成する各前記撮像装置が前記表示装置の表示面を撮像可能となるように該表示装置の移動を指示するメッセージ情報を送信する移動指示手段と、
前記表示装置の移動を指示するメッセージ情報を送信した前記クライアントシステムに、撮像パラメータ算出用のパターン画像を前記表示装置に表示させることを指示する表示指示情報を送信するパターン画像表示指示手段と、
前記表示指示情報を送信した前記クライアントシステムに、前記視線を構成する各前記撮像装置に前記表示装置の表示面の撮像を指示する撮像指示情報を送信する撮像指示手段と、
前記撮像指示情報が示す指示に従って前記視線を構成する各前記撮像装置が撮像した画像を取得する画像取得手段と、
前記画像取得手段が取得した画像に基づいて、前記視線を構成する各前記撮像装置の撮像パラメータを取得する撮像パラメータ取得手段と、
前記撮像パラメータ取得手段が取得した撮像パラメータを記憶する記憶手段と、
を備え
前記記憶手段は、
前記ネットワークを介して接続された複数のクライアントシステムの各々に対応付けて、前記撮像パラメータ取得手段が取得した、各クライアントシステムが備える複数の撮像装置の各撮像パラメータを、記憶する、
ことを特徴とする。
前記パターン画像の前記画像取得手段が取得した画像内での位置及びサイズに基づいて、前記視線を構成する各前記撮像装置の撮像位置が適切であるか否かを判別する撮像位置判別手段をさらに備え、
前記移動指示手段は、前記撮像位置判別手段が撮像位置が適切で無いと判別した場合、前記表示装置の移動を指示するメッセージ情報を再度送信してもよい。
前記撮像パラメータ取得手段が取得した撮像パラメータの精度を算出するパラメータ精度算出取得手段をさらに備え、
前記移動指示手段は、前記パラメータ精度算出取得手段が算出した撮像パラメータの精度が所定の閾値未満の場合、前記表示装置の移動を指示するメッセージ情報を再度送信してもよい。
前記撮像パラメータ取得手段が取得した撮像パラメータの精度を算出するパラメータ精度算出取得手段をさらに備え、
前記パターン画像表示指示手段は、前記パラメータ精度算出取得手段が算出した撮像パラメータの精度が所定の閾値未満の場合、前回表示を指示したパターン画像とは異なるパターン画像を表示させることを指示する表示指示情報を送信してもよい。
前記撮像パラメータ取得手段は、焦点距離係数、画像の角度係数、レンズの歪み係数を、前記視線を構成する各前記撮像装置の撮像パラメータとして取得してもよい。
上記目的を達成するため本発明の第2の観点に係る撮像パラメータ取得方法は、
複数の撮像装置と表示装置とを備えたクライアントシステムとネットワークを介して接続されたコンピュータ撮像パラメータ取得方法であって、
記クライアントシステムに、三次元モデルを作成するための視線を構成する各前記撮像装置が前記表示装置の表示面を撮像可能となるように該表示装置の移動を指示するメッセージ情報を送信する移動指示ステップと、
記表示装置の移動を指示するメッセージ情報を送信した前記クライアントシステムに、撮像パラメータ算出用のパターン画像を前記表示装置に表示させることを指示する表示指示情報を送信するパターン画像表示指示ステップと、
記表示指示情報を送信した前記クライアントシステムに、前記視線を構成する各前記撮像装置に前記表示装置の表示面の撮像を指示する撮像指示情報を送信する撮像指示ステップと、
記撮像指示情報が示す指示に従って前記視線を構成する各前記撮像装置が撮像した画像を取得する画像取得ステップと、
記画像取得ステップで取得した画像に基づいて、前記視線を構成する各前記撮像装置の撮像パラメータを取得する撮像パラメータ取得ステップと、
前記ネットワークを介して接続された複数のクライアントシステムの各々に対応付けて、前記撮像パラメータ取得ステップで取得した、各クライアントシステムが備える複数の撮像装置の各撮像パラメータを、記憶装置に記憶させる記憶制御ステップと、
を含む
上記目的を達成するため本発明の第3の観点に係るプログラムは、
複数の撮像装置と表示装置とを備えたクライアントシステムとネットワークを介して接続されたコンピュータを、
前記クライアントシステムに、三次元モデルを作成するための視線を構成する各前記撮像装置が前記表示装置の表示面を撮像可能となるように該表示装置の移動を指示するメッセージ情報を送信する移動指示手段、
前記表示装置の移動を指示するメッセージ情報を送信した前記クライアントシステムに、撮像パラメータ算出用のパターン画像を前記表示装置に表示させることを指示する表示指示情報を送信するパターン画像表示指示手段、
前記表示指示情報を送信した前記クライアントシステムに、前記視線を構成する各前記撮像装置に前記表示装置の表示面の撮像を指示する撮像指示情報を送信する撮像指示手段、
前記撮像指示情報が示す指示に従って前記視線を構成する各前記撮像装置が撮像した画像を取得する画像取得手段、
前記画像取得手段が取得した画像に基づいて、前記視線を構成する各前記撮像装置の撮像パラメータを取得する撮像パラメータ取得手段、
前記ネットワークを介して接続された複数のクライアントシステムの各々に対応付けて、前記撮像パラメータ取得手段が取得した、各クライアントシステムが備える複数の撮像装置の各撮像パラメータを、記憶装置に記憶させる記憶制御手段、
として機能させることを特徴とする。
本発明によれば、撮像装置のユーザは、撮像装置が表示装置の表示面を撮像可能となるように当該表示装置を移動するだけの作業を行うだけで、容易にカメラの撮像パラメータを取得することが可能となる。
本発明の実施形態に係る三次元モデル作成システムの構成を示す図である。 クライアントシステムの構成を示す図である。 被写体と各カメラの位置関係を示す図である。 サーバの構成を示す図である。 クライアントDBの構成例を示す図である。 クライアント登録処理を説明するためのフローチャートである。 登録要求データ及び登録応答データの構成例を示す図である。 パラメータ取得処理を説明するためのフローチャートである。 パラメータ取得処理を説明するためのフローチャートである。 被写体と表示装置の位置関係を示す図である。 カメラのパラメータ算出用のパターン画像の例を示した図である。 三次元モデル作成処理を説明するためのフローチャートである。 3次元モデル作成要求データ及び3次元モデル作成応答データの構成例を示す図である。 モデリング処理を説明するためのフローチャートである。 三次元モデル合成処理を説明するためのフローチャートである。 3次元モデル合成要求データ及び3次元モデル合成応答データの構成例を示す図である。 合成処理を説明するためのフローチャートである。
以下、本発明の実施形態について、図面を参照しながら詳細に説明する。なお、本発明は下記の実施形態及び図面によって限定されるものではない。また、本発明の要旨を変更しない範囲で下記の実施形態及び図面に変更を加えることが出来る。また、図中同一または相当部分には同一符号を付す。
本発明の実施形態に係る三次元モデル作成システム1について説明する。三次元モデル作成システム1は、図1に示すように、複数のクライアントシステム10(以下、単にクライアント10とする)と、サーバ20とを備える。各クライアント10とサーバ20とは、インターネットを介して相互通信可能に接続されている。
各クライアント10は、図2に示すように、複数のカメラ11A〜11Fと、端末装置12と、表示装置13と、入力装置14を備える。
各カメラ11A〜11Fは、レンズ、絞り機構、シャッタ機構、CCD(Charge Coupled Device)等を備え、被写体を撮像し、撮像した画像データを端末装置12に送信する。なお、カメラ11A〜11Fは、それぞれ、クライアント10内でそれぞれを識別可能なカメラIDが設定されている。
なお、カメラ11A〜11Fのそれぞれを区別しない場合は、単にカメラ11と呼称する。また、必要に応じて、カメラ11A〜11Fが撮像した画像をそれぞれ、画像A〜画像Fとして説明する。なお、カメラ11の数は6に限定するものではなく、2以上の任意の数でよい。
ここで、カメラ11の配置について説明する。各カメラ11A〜11Fは、図3に示すように被写体を取り囲むように配置されている。従って、カメラ11A〜11Fは、それぞれ、被写体を異なる方向から撮像することができる。なお、カメラ11は床やステージ等に固定されており、容易に動かせないものとするのが望ましい。
図2に戻り、端末装置12は、例えば、PC(Personal Computer)等のコンピュータである。端末装置12は、外部I/F部121と通信部122と記憶部123と制御部124とを備える。
外部I/F部121は、USB(Universal Serial Bus)やIEEE1394等の規格に準拠したコネクタ、又は、拡張スロットに挿入されるカメラ接続用のボード(基板)等から構成され、各カメラ11と接続するためのインタフェースである。
通信部122は、NIC(Network Interface Card)等を備え、制御部124の指示に基づいて、インターネットを介して、サーバ20と情報の送受信を行う。
記憶部は123は、RAM(Read Only Memory)、ROM(Rondom Access Memory)、ハードディスク装置等から構成され、各種の情報、各カメラ11が撮影した画像データ、及び、制御部124が実行するためのプログラム等を記憶する。また、記憶部123は、制御部124が処理を実行するためのワークエリアとして機能する。また、記憶部123は、サーバ20から送信された三次元モデル(ポリゴン情報)を保存する。
制御部124は、CPU(Central Processing Unit)等を備え、記憶部123に記憶されているプログラムを実行することにより、端末装置12の各部を制御する。また、制御部124は、各カメラ11が撮像した画像から三次元モデルを作成することをサーバ20に要求し、サーバ20から受信した三次元モデルを表示装置13に表示させる。また、制御部124は、複数の三次元モデルを合成することをサーバ20に要求し、サーバ20から受信した合成された三次元モデルを表示装置13に表示させる。なお、制御部124の行う処理の詳細については後述する。
表示装置13は、PC用のモニター等であり、制御部124の指示に基づいて、各種の情報を表示する。例えば、表示装置13は、サーバ20から受信した三次元モデルを表示する。
入力装置14は、キーボードやマウス等であり、ユーザによる操作に応じた入力信号を生成して制御部124に供給する。
続いて、サーバ20について説明する。サーバ20は、端末装置12から受信した画像データから三次元モデルを作成したり、複数の三次元モデルを合成する機能を有する。サーバ20は、図4(A)に示すように、通信部21と、記憶部22と、制御部23とを備える。
通信部21は、NIC(Network Interface Card)等を備え、インターネットを介して、端末装置12と情報の送受信を行う。
記憶部22は、ハードディスク装置等から構成され、各種の情報、及び、制御部23が実行するためのプログラム等を記憶する。また、記憶部22は、制御部23が処理を実行するためのワークエリアとして機能する。また、記憶部22は、カメラ11の撮像パラメータ算出用にクライアント10の表示装置13に表示させるパターン画像を記憶する。また、記憶部22は、図4(B)に示すように、クライアントDB(データベース)221と、三次元モデルDB222とを備える。
クライアントDB221は、後述する登録処理で登録されたクライアント10に関する各種の情報が格納されるデータベースである。クライアントDB221には、図5に示すように、登録されたクライアント10毎に、クライアント10を識別するクライアントIDと、認証用のパスワードと、当該クライアント10が備える各カメラ11のカメラ情報と、視線情報と、が記憶される。カメラ情報は、カメラIDと、基本属性、内部パラメータ、外部パラメータ等から構成される情報であり、クライアント10内のカメラ11毎に登録される。
基本属性は、経年劣化等の影響を受けにくい不変的なカメラ11の属性(性能)を示す。従って、同じ種類のカメラ11であれば、ほぼ同一の基本属性を有する。基本属性は、例えば、カメラ11の解像度、画角、フォーカス距離等である。
内部パラメータは、経年劣化等の影響を受けて時間と共に変化するカメラ11の撮像パラメータである。従って、同じ種類のカメラ11であっても、それぞれで内部パラメータは異なる。内部パラメータは、例えば、焦点距離係数、画像の角度係数、レンズの歪み係数等である。
外部パラメータは、被写体に対するカメラ11の位置関係を示す撮像パラメータである。外部パラメータは、例えば、被写体からみたカメラ11の位置座標(x,y,z)、カメラ11の上下方向の角度(チルト)、左右方向の角度(パン)、回転角度(ロール)などを示す情報から構成される。
視線情報は、クライアント10内のカメラ11のうち、どのカメラ11同士が三次元モデルを作成するための視線となるかを定義する情報である。具体的には、視線情報は、視線を構成するカメラ11のカメラID同士を対応付けた情報となる。例えば、図3に示すようにカメラ11が配置されており、隣り合うカメラ11同士で1つの視線を構成するとした場合を考える。この場合、視線情報として、カメラ11Aとカメラ11Bとを対応付けた情報、カメラ11Bとカメラ11Cとを対応付けた情報、カメラ11Cとカメラ11Dとを対応付けた情報、カメラ11Dとカメラ11Eとを対応付けた情報、及び、カメラ11Eとカメラ11Fとを対応付けた情報が視線情報となる。
図4(B)に戻り、三次元モデルDB222には、端末装置12からの依頼を受けて作成した三次元モデル(ポリゴン情報)が、当該三次元モデルを識別するポリゴンID、当該三次元モデル作成の元となったペア画像を撮影した各カメラ11のカメラID等と対応付けられて格納される。
図4(A)に戻り、制御部23は、CPU(Central Processing Unit)等を備え、記憶部22に記憶されているプログラムを実行することにより、サーバ20の各部を制御する。また、制御部23は、クライアント10からの依頼を受けて、当該クライアント10のカメラ情報等を登録する処理(クライアント登録処理)、三次元モデルを作成する処理(三次元モデル作成処理)、及び、既に作成されている複数の三次元モデルを合成する処理(三次元モデル合成処理)などを実行する。制御部23の行うこれら処理の詳細については後述する。
続いて、三次元モデル作成システム1の動作について説明する。
(クライアント登録処理)
始めに、クライアント登録処理について説明する。
サーバ20は、クライアント10内の各カメラ11が撮像した画像から三次元モデルを作成するために、当該クライアント10および、当該クライアント10内の各カメラ11のカメラ情報等を事前に登録する処理(クライアント登録処理)を行う必要がある。このクライアント登録処理について、図6のフローチャートを参照して、詳細に説明する。
クライアント10のユーザは、入力装置14を操作して、クライアント登録用の画面を表示装置13に表示させる。そして、ユーザは、入力装置14を操作して、当該クライアント登録用の画面から、端末装置12に接続されている各カメラ11の基本属性を入力する。なお、カメラ11の基本属性は、カメラ11のマニュアル等を参照することで取得すればよい。また、ユーザは、入力装置14を操作して、どのカメラ11同士が視線を構成しているのかを示す視線情報も入力する。そして、ユーザは、入力が完了した後、クライアント登録用の画面に表示されている登録用のボタンをクリックする。このクリック操作に応答して、制御部124は、入力されたこれらの情報を含む登録要求データを作成する(ステップS101)。
図7(A)に登録要求データの構成を示す。登録要求データは、当該データが登録要求データであることを示すコマンド識別子、各カメラ11のカメラIDと基本属性、及び、視線情報等を含むデータである。
図6に戻り、続いて、制御部124は、作成した登録要求データを、インターネットを介して、サーバ20に送信する(ステップS102)。
登録要求データを受信すると(ステップS103)、サーバ20の制御部23は、当該要求データに含まれる各カメラ11のカメラIDと基本属性、及び、視線情報をクライアントDB221に新規エントリとして登録する(ステップS104)。なお、この登録される新規エントリには、新たに作成したクライアントIDと認証用のパスワードとを付与する。また、この時点では、新規登録されたエントリ内の各カメラ11の内部パラメータ、および、外部パラメータの値は空欄である。
続いて、制御部23は、ステップS104で登録した視線情報が示す視線のなかから1つを選択する(ステップS105)。そして、制御部23は、選択した視線を構成する各カメラ11の撮像パラメータ(内部パラメータ、外部パラメータ)を取得する処理(パラメータ取得処理)を行う(ステップS106)。
パラメータ取得処理の詳細について、図8と図9のフローチャートを参照して説明する。
まず、制御部23は、ステップS105で選択した視線を構成する各カメラ11が表示装置13の表示面全体を撮像可能となるような位置に当該表示装置13を移動させることを指示するメッセージ情報をクライアント10に送信する(ステップS201)。
そして、クライアント10の端末装置12の制御部124は、サーバ20から受信したメッセージ情報が示すメッセージを表示装置13に表示させる(ステップS202)。クライアント10のユーザは、このメッセージに従い、被写体が設置されている位置に表示装置13を移動させ、且つ、表示面の向きを、ステップS105で選択した視線を構成する各カメラ11が撮像可能な位置に移動させる。
例えば、図3に示す視線1を構成するカメラ11A、11Bの撮像パラメータを算出したい場合、クライアント10のユーザは、図10に示すような位置に表示装置13を移動させる。
図8に戻り、表示装置13の移動が完了すると、ユーザは入力装置14を介してその旨を通知するための操作入力を行う。端末装置12の制御部124は、この操作入力に応答して、インターネットを介して、移動完了通知をサーバ20に送信する(ステップS203)。
移動完了通知を受信すると、サーバ20の制御部23は、カメラ11の内部パラメータ算出用のパターン画像をインターネットを介してクライアント10の端末装置12に送信するとともに、該パターン画像を表示装置13に表示させることを指示する(ステップS204)。この指示に応じて、端末装置12の制御部124は、受信した内部パラメータ算出用のパターン画像を、表示装置13に表示させる(ステップS205)。内部パラメータ算出用のパターン画像は、例えば、図11に示すような、個々の点が格子状に等間隔に配置されている画像である。
図8に戻り、端末装置12の制御部124は、内部パラメータ算出用のパターン画像の表示が完了すると、その旨を伝える表示完了通知をインターネットを介して、サーバ20に送信する(ステップS206)。
表示完了通知を受信すると、サーバ20の制御部23は、ステップS105で選択した視線を構成する各カメラ11の撮像を端末装置12に指示する(ステップS207)。
端末装置12の制御部124は、サーバ20のからの指示を受けて、内部パラメータ算出対象の各カメラ11に撮像を実行させ、撮像した画像のペア(ペア画像)を取得する(ステップS208)。そして、制御部124は、取得したペア画像をインターネットを介してサーバ20に送信する(ステップS209)。
サーバ20の制御部23は、内部パラメータ算出用のパターン画像を撮像したペア画像を受信すると、当該パターン画像が適切な位置で撮像されたか否かを判別する(ステップS210)。例えば、予めパターン画像の四隅に印を付しておき、受信したペア画像内の所定位置に当該印が正しく位置しているか否かを判別することで、パターン画像が適切な位置で撮影されたか否かを判別すればよい。
パターン画像が適切な位置で撮像されていないと判別した場合(ステップS210;No)、ステップS201に処理は移り、制御部23は、表示装置13の移動を再度指示し、以降の処理を繰り返す。
パターン画像が適切な位置で撮像されていると判別した場合(ステップS210;Yes)、制御部23は、ペア画像内に表示されているパターン画像に基づいて、公知の手法により、当該ペア画像を撮像した各カメラ11の内部パラメータを求める(ステップS211)。例えば、ペア画像の各画像内で同じ点を示す特徴点の視差を算出し、その視差から内部パラメータを求めればよい。
ここで、カメラ11に対するパターン画像の位置合わせが不十分であったり、パターン画像の一部に汚れ等があり、特徴点の抽出精度が悪くなるなど、何らかの不備により、内部パラメータの精度が確保されていない可能性がある。従って、制御部23は、公知の手法により、ステップS211で求めた内部パラメータの精度を求める(ステップS212)。そして、制御部23は、求めた精度が所定の閾値以上であるか否かを判別する(ステップS213)。
なお、内部パラメータの精度は、例えば、文献"A Flexible New Technique for Camera Calibration, Zhengyou Zhang, December 2, 1998"に記載されている手法を用いて算出すればよい。より具体的には、同文献に記載の下記式の値(0に近い程精度が高い)を算出することで、パラメータの精度を算出すればよい。
Figure 0005067477

閾値以上の精度でない場合(ステップS213;No)、ステップS201に処理は移り、制御部23は、表示装置13の移動を再度指示し、以降の処理を繰り返す。
閾値以上の精度である場合(ステップS213;Yes)、制御部23は、カメラ11の外部パラメータ算出用のパターン画像をインターネットを介して、クライアント10の端末装置12に送信するとともに、該パターン画像を表示装置13に表示させることを指示する(図9:ステップS214)。この指示に応じて、端末装置12の制御部124は、受信した外部パラメータ算出用のパターン画像を、表示装置13に表示させる(ステップS215)。
端末装置12の制御部124は、外部パラメータ算出用のパターン画像の表示が完了すると、その旨を伝える表示完了通知をインターネットを介して、サーバ20に送信する(ステップS216)。
表示完了通知を受信すると、サーバ20の制御部23は、ステップS105で選択した視線を構成する各カメラ11の撮像を端末装置12に指示する(ステップS217)。
端末装置12の制御部124は、サーバ20のからの指示を受けて、外部パラメータ算出対象の各カメラ11に撮像を実行させ、撮像したペア画像を取得する(ステップS218)。そして、制御部124は、取得したペア画像をインターネットを介してサーバ20に送信する(ステップS219)。
サーバ20の制御部23は、外部パラメータ算出用パターン画像を撮像したペア画像を受信すると、当該ペア画像内に表示されているパターン画像に基づいて、内部パラメータと同様に、公知の手法により、当該ペア画像を撮像した各カメラ11の外部パラメータを求める(ステップS220)。
続いて、制御部23は、公知の手法により、ステップS220で求めた外部パラメータの精度を求める(ステップS221)。そして、制御部23は、求めた精度が所定の閾値以上であるか否かを判別する(ステップS222)。
閾値以上の精度でない場合(ステップS222;No)、ステップS214に処理は移り、制御部23は、外部パラメータ算出用のパターン画像の表示を再度指示し、以降の処理を繰り返す。なお、この際、前回の処理とは異なる外部パラメータ算出用のパターン画像を表示させるのが望ましい。
閾値以上の精度である場合(ステップS222;Yes)、制御部は23、ステップS211で求めた内部パラメータとステップS220で求めた外部パラメータとをクライアントDB221に保存する(ステップS223)。以上でパラメータ取得処理は終了する。
図6に戻り、パラメータ取得処理が終了すると、制御部23は、ステップS103で登録した視線情報が示す全ての視線を選択したか否かを判別する(ステップS107)。未選択の視線がある場合(ステップS107;No)、ステップS105に処理は移り、未選択の視線を選択して、その視線を構成する2つのカメラ11について撮像パラメータを取得する処理を繰り返す。
全ての視線を選択した場合(ステップS107;Yes)、制御部23は、ステップS104で新規登録したエントリに含まれるクライアントID、及び、パスワードを含む、図7(B)に示すような登録応答データを、クライアント10登録要求の送信元である端末装置12に送信する(ステップS108)。
図6に戻り、端末装置12の制御部23は、登録応答データを受信すると(ステップS109)、当該登録応答データに含まれるクライアントIDとパスワードとを記憶部22に記憶する(ステップS110)。以上でクライアント登録処理は終了する。
このように、登録処理により、クライアント10毎に、クライアント10内の各カメラ11のカメラ情報や視線情報がサーバ20に登録(記憶)される。そして、登録が完了すると、クライアント10の端末装置12は、サーバ20からクライアントIDとパスワードを受信する。そして、以降の各処理(三次元モデル作成処理、三次元モデル合成処理)を行う際に、端末装置12は、クライアントIDとパスワードとをサーバ20に送信して、認証を受けることが可能となる。
(三次元モデル作成処理)
始めに、クライアント登録処理について説明する。
サーバ20は、クライアント10から送信された画像ペアから三次元モデルを作成する三次元モデル作成処理を実行する。この三次元モデル作成処理の詳細について、カメラ11Aが撮像した画像Aとカメラ11Bが撮像した画像Bとからなるペア画像から三次元モデルを作成する場合を例に、図12のフローチャートを参照して説明する。
まず、クライアント10のユーザは、入力装置14を操作して、三次元モデル作成用の画面を表示装置13に表示させる。そして、ユーザは、入力装置14を操作して、当該三次元モデル作成用の画面から、クライアントIDとパスワードの入力、及び、三次元モデルを作成したいカメラ11Aおよびカメラ11Bが撮像した画像の選択行い、当該三次元モデル作成用の画面に表示されている作成ボタン等をクリックする。このクリック操作に応答して、制御部124は、三次元モデル作成要求データを作成する(ステップS301)。なお、クライアントIDとパスワードとは、前述した登録処理でサーバ20から受信したものを入力すればよい。
三次元モデル作成要求データの構成例を図13(A)に示す。三次元モデル作成要求データには、当該データが三次元モデル作成要求データであることを示すコマンド識別子と、クライアントIDと、パスワードと、要求IDと、3Dモデルを作成したいペア画像(画像Aと画像B)の各画像データと、該各画像を撮影した各カメラ11A、11BのカメラID等を含むデータである。なお、要求IDは、同一のクライアント10から連続して三次元モデル作成要求データを受信した場合に、各要求データを識別するためにクライアント10が生成したユニークなIDである。
図12に戻り、続いて、制御部124は、作成した三次元モデル作成要求データを、インターネットを介して、サーバ20に送信する(ステップS302)。
三次元モデル作成要求データを受信すると(ステップS303)、サーバ20の制御部23は、三次元モデル作成要求データの送信元であるクライアント10が前述の登録処理により事前に登録されているクライアント10であるか否かを判別する(ステップS304)。具体的には、制御部23は、三次元モデル作成要求データに含まれるクライアントIDとパスワードとの組が、クライアントDB221に記憶されているか否かを判別し、記憶されている場合に、登録されているクライアント10であると判別すればよい。
登録されていないクライアント10であると判別した場合(ステップS304;No)、未認証のクライアント10からの要求であり、三次元モデル作成処理はエラー終了する。
登録されているクライアント10であると判別した場合(ステップS304;No)、制御部23は、三次元モデル作成要求データに含まれている画像データから三次元モデルを生成するモデリング処理を実行する(ステップS305)。
ここで、図14に示すフローチャートを参照して、モデリング処理について詳細に説明する。なお、モデリング処理は、一組のペア画像から三次元モデルを生成する処理である。つまり、モデリング処理は、一つの視線から見た三次元モデルを生成する処理と考えることができる。
まず、制御部23は、特徴点の候補を抽出する(ステップS401)。例えば、制御部23は、画像Aに対してコーナー検出を行う。コーナー検出においては、ハリスなどのコーナー特徴量が、所定閾値以上かつ所定半径内で最大になる点がコーナー点として選択される。従って、被写体の先端など、他の点に対して特徴のある点が特徴点として抽出される。
続いて、制御部23は、ステレオマッチングを実行し、画像Aの特徴点に対応する点(対応点)を画像Bから探す(ステップS402)。具体的には、制御部23は、テンプレートマッチングにより類似度が所定閾値以上かつ最大のもの(相違度が所定閾値以下かつ最小のもの)を対応点とする。テンプレートマッチングには、例えば、残差絶対値和(SAD)、残差平方和(SSD)、正規化相関(NCCやZNCC)、方向符号相関など、様々な既知の技法が利用可能である。
続いて、制御部23は、三次元モデル作成要求データに含まれているカメラ11Aと11BのカメラIDをキーにクライアントDB221を検索して、ペア画像(画像Aと画像B)のそれぞれを撮像したカメラ11A、11Bのカメラ情報を取得する(ステップS403)。
続いて、制御部23は、ステップS402で検出された対応点の視差情報と、ステップS403で取得したカメラ情報とに基づいて、特徴点の位置情報(三次元位置座標)を算出する(ステップS404)。生成された特徴点の位置情報は、例えば、記憶部22に記憶される。
続いて、制御部23は、ステップS404において算出された特徴点の位置情報をもとにドロネー三角形分割を実行し、ポリゴン化を実行し、三次元モデル(ポリゴン情報)を生成する(ステップS405)。
そして、制御部23は、ステップS405で生成した三次元モデル(ポリゴン情報)に対して新規のポリゴンIDを付し、該三次元モデルの作成の元となった画像A、画像Bを作成したカメラ11A,11BのカメラIDと対応付けて三次元モデルDB222に保存する(ステップS406)。以上でモデリング処理は終了する。
図12に戻り、モデルリング処理が終了すると、制御部23は、三次元モデル作成要求データに対するレスポンスとして、三次元モデル作成応答データを作成する(ステップS306)。
図13(B)に三次元モデル作成応答データの構成を示す。三次元モデル作成応答データは、当該データが三次元モデル作成応答データであることを示すコマンド識別子、応答ID、モデリング処理(ステップS305)で生成された三次元モデル、及び、そのポリゴンIDを含むデータである。なお、応答IDは、同一のクライアント10から連続して三次元モデル作成要求データを受信した場合に、クライアント10がどの要求データに対する応答データなのかを識別するために付与されたIDである。応答IDは、要求IDと同一のものでよい。
図12に戻り、続いて、制御部23は、三次元モデル作成要求データの送信元であるクライアント10の端末装置12に、作成した三次元モデル作成応答データを送信する(ステップS307)。
三次元モデル作成応答データを受信すると(ステップS308)、端末装置12の制御部124は、応答データに含まれる三次元モデルとポリゴンIDとを対応付けて記憶部123に保存する(ステップS309)。そして、制御部124は、保存した三次元モデルを表示装置13に表示させる(ステップS310)。以上で、三次元モデリング処理は終了する。
(三次元モデル合成処理)
続いて、前述した三次元モデル作成処理によって作成された複数の三次元モデルを合成して、より精度の高い三次元モデルを作成する三次元モデル合成処理について、図15のフローチャートを参照して説明する。
まず、クライアント10のユーザは、入力装置14を操作して、三次元モデル合成用の画面を表示装置13に表示させる。そして、ユーザは、入力装置14を操作して、当該三次元モデル作成用の画面から、クライアントIDとパスワードの入力、及び、合成したい複数の三次元モデル(ポリゴン情報)のポリゴンIDの入力を行い、当該三次元モデル合成用の画面に表示されている合成ボタン等をクリックする。このクリック操作に応答して、制御部124は、三次元モデル合成要求データを作成する(ステップS501)。なお、クライアントIDとパスワードとは、前述した登録処理でサーバ20から受信したものを入力すればよい。また、ポリゴンIDは、前述の三次元モデル作成処理、または、過去の三次元モデル合成処理でサーバ20から受信したものを入力すればよい。また、過去の三次元モデル作成処理や三次元モデル合成処理で取得した三次元モデルをそのポリゴンIDとともに作成の元となった視線毎に記憶部123に記憶しておき、各視線の三次元モデルを表示装置13に一覧表示させ、そのなかから合成したい三次元モデルを選択させることで、合成したい三次元モデルのIDを取得するようにしてもよい。
三次元モデル合成要求データの構成例を図16(A)に示す。三次元モデル合成要求データには、当該データが三次元モデル作成要求データであることを示すコマンド識別子と、クライアントIDと、パスワードと、要求IDと、合成したい三次元モデルを特定する複数のポリゴンID等を含むデータである。なお、要求IDは、同一のクライアント10から連続して三次元モデル合成要求データを受信した場合に、各要求データを識別するためにクライアント10が生成したユニークなIDである。
図15に戻り、続いて、制御部124は、作成した三次元モデル合成要求データを、インターネットを介して、サーバ20に送信する(ステップS502)。
三次元モデル作成合成データを受信すると(ステップS503)、サーバ20の制御部23は、三次元モデル合成要求データの送信元であるクライアント10が前述の登録処理により事前に登録されているクライアント10であるか否かを判別する(ステップS504)。
登録されていないクライアント10であると判別した場合(ステップS504;No)、未認証のクライアント10からの要求であり、三次元モデル作成処理はエラー終了する。
登録されているクライアント10であると判別した場合(ステップS504;No)、制御部23は、合成処理を実行する(ステップS505)。合成処理の詳細について、図17のフローチャートを参照して説明する。
まず、制御部23は、三次元モデル作成要求データに含まれる複数のポリゴンIDのうちから、2つを選択する(ステップS601)。ここでは、2つのポリゴンIDp1、p2を選択したものとして以下説明する。
そして、制御部23は、選択した2つのポリゴンIDのそれぞれに対して、当該ポリゴンIDが示すポリゴン情報(三次元モデル)の作成の元となったペア画像を撮影した各カメラ11の外部パラメータを取得する(ステップS602)。具体的には、選択した各ポリゴンIDをキーに三次元モデルDB222を検索してカメラIDを取得する。そして、取得したカメラIDに対応するカメラ11の外部パラメータをクライアントDB221から取得すればよい。
続いて、制御部23は、取得した外部パラメータに基づいて、ステップステップS601で選択した一方のポリゴンIDp1が示す三次元モデルの座標を、選択した他方のポリゴンIDp2が示す三次元モデルの座標に変換するための、座標変換パラメータを取得する(ステップS603)。
具体的には、この処理は、式(1)を満たす回転行列Rと移動ベクトルtとを求める処理である。なお、XはポリゴンIDp1が示す三次元モデルの座標を示し、X’は、ポリゴンIDp2が示す三次元モデルの座標を示す。
Figure 0005067477


前述したように、外部パラメータは、被写体からみたカメラ11の位置を示す情報(座標、チルト、パン、ロール)である。従って、制御部23は、これらの外部パラメータに基づいて、当該外部パラメータを有するカメラペアの撮像画像から作成された被写体の三次元モデルの座標変換パラメータを公知の座標変換式等を用いて算出すればよい。
続いて、制御部23は、取得した座標変換パラメータを用いて、ポリゴンIDp1で特定される三次元モデルと、ポリゴンIDp2で特定される三次元モデルとを重ねる(ステップS604)。
続いて、制御部23は、ポリゴンIDp1で特定される三次元モデルの特徴点とポリゴンIDp2で特定される三次元モデルの特徴点との重なり具合から信頼性の低い特徴点を除去する(ステップS605)。例えば、ある三次元モデルの注目特徴点に対する他の三次元モデルの最近傍の特徴点の分布から、当該注目特徴点のマハラノビス距離が計算され、このマハラノビス距離が所定値以上の場合は当該注目特徴点の信頼性が低いと判別される。なお、注目特徴点からの距離が所定値以上の特徴点は、最近傍の特徴点に含めないようにしても良い。また、最近傍の特徴点の数が少ない場合、信頼性が低いものと見なされてもよい。なお、特徴点を実際に除去する処理は、全ての特徴点に対して、除去するか否かが判別された後に、実行されるものとする。
続いて、制御部23は、同一と見なせる特徴点を統合する(ステップS606)。例えば、所定距離以内の特徴点は、全て同一の特徴点を表すグループに属するものとして扱われ、これらの特徴点の重心が新たな特徴点とされる。
続いて、制御部23は、ポリゴンメッシュを再構成する(ステップS607)。つまり、ステップS606において求められた新たな特徴点に基づいて、三次元モデル(ポリゴン情報)が生成される。
続いて、制御部23は、三次元モデル作成要求データに含まれる複数のポリゴンIDのうち、未選択のもの(即ち、合成していないもの)が有るか否かを判別する(ステップS608)。
未選択のポリゴンIDが有る場合(ステップS608;Yes)、制御部23は、当該ポリゴンIDを1つ選択する(ステップS609)。そして、ステップS602に処理は移り、制御部23は、ステップS609で選択したポリゴンIDが示す三次元モデルとステップS607で再構成した三次元モデルとの間で、同様に、座標変換パラメータを取得して、両三次元モデルを重ね、ポリゴンを再構成する処理を繰り返す。
未選択のポリゴンIDが無い場合(ステップS608;No)、三次元モデル作成要求データに含まれるポリゴンIDが示す三次元モデルは全て合成されたことになる。従って、制御部23は、ステップS607で再構成した三次元モデル(ポリゴン情報)に対して新規のポリゴンIDを付し、三次元モデルDB222に登録する(ステップS610)。以上で合成処理は終了する。
図15に戻り、合成処理が終了すると、制御部23は、三次元モデル合成要求データに対するレスポンスとして、三次元モデル合成応答データを作成する(ステップS506)。
図16(B)に三次元モデル合成応答データの構成を示す。三次元モデル合成応答データは、当該データが三次元モデル合成応答データであることを示すコマンド識別子、応答ID、合成処理(ステップS505)で生成(再構成)された三次元モデルと、当該三次元モデルのポリゴンIDと、を含むデータである。なお、応答IDは、同一のクライアント10から連続して三次元モデル合成要求データを受信した場合に、クライアント10がどの要求データに対する応答データなのかを識別するために付与されたIDである。応答IDは、要求IDと同一のものでよい。
図15に戻り、続いて、制御部23は、三次元モデル合成要求データの送信元であるクライアント10の端末装置12に、作成した三次元モデル合成応答データを送信する(ステップS507)。
三次元モデル合成応答データを受信すると(ステップS508)、端末装置12の制御部124は、三次元モデル合成応答データに含まれるポリゴン情報とポリゴンIDとを対応付けて記憶部123に保存する(ステップS509)。そして、制御部124は、保存した三次元モデルを表示装置13に表示させる(ステップS510)。以上で、三次元モデル合成処理は終了する。
このように、三次元モデル合成処理により、複数の三次元モデルが合成されるので、形状情報の欠損を抑えつつ、高精度な三次元モデリングが可能になる。
本発明の実施形態に係る三次元モデル作成システム1によれば、各クライアント10の備えるカメラ11のカメラ情報や視線情報が、クライアント10毎に、事前にサーバ20に保存される。そして、各クライアント10は、撮像したペア画像から三次元モデルを作成したい場合、当該ペア画像をサーバ20に送信し、サーバ20が受信したペア画像と事前に記憶されているカメラ情報とに基づいて三次元モデルを作成する。従って、膨大な演算処理が必要な三次元モデル作成の処理は、1台のサーバ20が全クライアント10の処理を代行して実施するため、クライアント10内の端末装置12は、比較的安価なCPU等で実現可能である。従って、システム全体として、比較的低コストで、撮像画像から三次元モデルを作成することが可能となる。
なお、本発明は、上記各実施形態に限定されず、本発明の要旨を逸脱しない範囲での種々の変更は勿論可能である。
例えば、クライアント10内の端末装置12の制御部124は、所定のフレーム周期(例えば、1/30秒)で各カメラ11に被写体を撮像させ、撮像させた画像をサーバ20にストリーミング送信するようにした構成にも、本発明を適用することが可能である。この場合、サーバ20の制御部23は、連続的に受信した画像を、当該画像を撮像したカメラ11のカメラID及び連続受信した各画像を一意に識別するフレーム番号と対応付けて記憶部22に逐次保存する。そして、三次元モデル作成処理を実施する場合、クライアント10の端末装置12のユーザは、三次元モデルを作成したい画像をカメラIDとフレーム番号で指定する図13(C)に示すような三次元モデル作成要求データを作成して、サーバ20に三次元モデルの作成を実行させればよい。
このようにすることで、三次元モデル作成要求データにサイズの大きな画像データを含めなくて済むため、三次元モデル作成要求データのサーバ20への転送時間を少なくすることが可能となる。
また、三次元モデル作成処理において、端末装置12が三次元モデル作成要求データに含めて送信する画像データを、カメラ11が撮像した画像を劣化させた(例えば、画素数を減じた)画像データとしてもよい。この場合、サーバ20は、劣化された画像データから三次元モデルを作成して、端末装置12に送信する。端末装置12は、受信した三次元モデルに、劣化させる前の画像データをテクスチャーとして貼り付け、貼り付けた三次元モデルを表示装置13に表示させる。
このようにすることで、端末装置12は、劣化させた画像をサーバ20に送信するため、転送時間を少なくすることができる。さらに、劣化画像から作成された三次元モデルに、劣化されていない画像をテクスチャーとして貼り付けて三次元モデルを表示するため、三次元モデル自体の劣化はある程度抑えることが可能となる。
また、例えば、本発明に係るサーバ20の動作を規定する動作プログラムを既存のパーソナルコンピュータや情報端末機器等に適用することで、当該パーソナルコンピュータ等を本発明に係るサーバ20として機能させることも可能である。
また、このようなプログラムの配布方法は任意であり、例えば、CD−ROM(Compact Disk Read-Only Memory)、DVD(Digital Versatile Disk)、MO(Magneto Optical Disk)、メモリカードなどのコンピュータ読み取り可能な記録媒体に格納して配布してもよいし、インターネットなどの通信ネットワークを介して配布してもよい。
1…三次元モデル作成システム、10…クライアントシステム、20…サーバ、11…カメラ、12…端末装置、13…表示装置、14…入力装置

Claims (7)

  1. 複数の撮像装置と表示装置とを備えたクライアントシステムとネットワークを介して接続された撮像パラメータ取得装置であって、
    前記クライアントシステムに、三次元モデルを作成するための視線を構成する各前記撮像装置が前記表示装置の表示面を撮像可能となるように該表示装置の移動を指示するメッセージ情報を送信する移動指示手段と、
    前記表示装置の移動を指示するメッセージ情報を送信した前記クライアントシステムに、撮像パラメータ算出用のパターン画像を前記表示装置に表示させることを指示する表示指示情報を送信するパターン画像表示指示手段と、
    前記表示指示情報を送信した前記クライアントシステムに、前記視線を構成する各前記撮像装置に前記表示装置の表示面の撮像を指示する撮像指示情報を送信する撮像指示手段と、
    前記撮像指示情報が示す指示に従って前記視線を構成する各前記撮像装置が撮像した画像を取得する画像取得手段と、
    前記画像取得手段が取得した画像に基づいて、前記視線を構成する各前記撮像装置の撮像パラメータを取得する撮像パラメータ取得手段と、
    前記撮像パラメータ取得手段が取得した撮像パラメータを記憶する記憶手段と、
    を備え
    前記記憶手段は、
    前記ネットワークを介して接続された複数のクライアントシステムの各々に対応付けて、前記撮像パラメータ取得手段が取得した、各クライアントシステムが備える複数の撮像装置の各撮像パラメータを、記憶する、
    ことを特徴とする撮像パラメータ取得装置。
  2. 前記パターン画像の前記画像取得手段が取得した画像内での位置及びサイズに基づいて、前記視線を構成する各前記撮像装置の撮像位置が適切であるか否かを判別する撮像位置判別手段をさらに備え、
    前記移動指示手段は、前記撮像位置判別手段が撮像位置が適切で無いと判別した場合、前記表示装置の移動を指示するメッセージ情報を再度送信する、
    ことを特徴とする請求項1に記載の撮像パラメータ取得装置。
  3. 前記撮像パラメータ取得手段が取得した撮像パラメータの精度を算出するパラメータ精度算出取得手段をさらに備え、
    前記移動指示手段は、前記パラメータ精度算出取得手段が算出した撮像パラメータの精度が所定の閾値未満の場合、前記表示装置の移動を指示するメッセージ情報を再度送信する、
    ことを特徴とする請求項1又は2に記載の撮像パラメータ取得装置。
  4. 前記撮像パラメータ取得手段が取得した撮像パラメータの精度を算出するパラメータ精度算出取得手段をさらに備え、
    前記パターン画像表示指示手段は、前記パラメータ精度算出取得手段が算出した撮像パラメータの精度が所定の閾値未満の場合、前回表示を指示したパターン画像とは異なるパターン画像を表示させることを指示する表示指示情報を送信する、
    ことを特徴とする請求項1乃至3の何れか1項に記載の撮像パラメータ取得装置。
  5. 前記撮像パラメータ取得手段は、焦点距離係数、画像の角度係数、レンズの歪み係数を、前記視線を構成する各前記撮像装置の撮像パラメータとして取得する
    ことを特徴とする請求項1乃至4の何れか1項に記載の撮像パラメータ取得装置。
  6. 複数の撮像装置と表示装置とを備えたクライアントシステムとネットワークを介して接続されたコンピュータ撮像パラメータ取得方法であって、
    記クライアントシステムに、三次元モデルを作成するための視線を構成する各前記撮像装置が前記表示装置の表示面を撮像可能となるように該表示装置の移動を指示するメッセージ情報を送信する移動指示ステップと、
    記表示装置の移動を指示するメッセージ情報を送信した前記クライアントシステムに、撮像パラメータ算出用のパターン画像を前記表示装置に表示させることを指示する表示指示情報を送信するパターン画像表示指示ステップと、
    記表示指示情報を送信した前記クライアントシステムに、前記視線を構成する各前記撮像装置に前記表示装置の表示面の撮像を指示する撮像指示情報を送信する撮像指示ステップと、
    記撮像指示情報が示す指示に従って前記視線を構成する各前記撮像装置が撮像した画像を取得する画像取得ステップと、
    記画像取得ステップで取得した画像に基づいて、前記視線を構成する各前記撮像装置の撮像パラメータを取得する撮像パラメータ取得ステップと、
    前記ネットワークを介して接続された複数のクライアントシステムの各々に対応付けて、前記撮像パラメータ取得ステップで取得した、各クライアントシステムが備える複数の撮像装置の各撮像パラメータを、記憶装置に記憶させる記憶制御ステップと、
    を含む撮像パラメータ取得方法。
  7. 複数の撮像装置と表示装置とを備えたクライアントシステムとネットワークを介して接続されたコンピュータを、
    前記クライアントシステムに、三次元モデルを作成するための視線を構成する各前記撮像装置が前記表示装置の表示面を撮像可能となるように該表示装置の移動を指示するメッセージ情報を送信する移動指示手段、
    前記表示装置の移動を指示するメッセージ情報を送信した前記クライアントシステムに、撮像パラメータ算出用のパターン画像を前記表示装置に表示させることを指示する表示指示情報を送信するパターン画像表示指示手段、
    前記表示指示情報を送信した前記クライアントシステムに、前記視線を構成する各前記撮像装置に前記表示装置の表示面の撮像を指示する撮像指示情報を送信する撮像指示手段、
    前記撮像指示情報が示す指示に従って前記視線を構成する各前記撮像装置が撮像した画像を取得する画像取得手段、
    前記画像取得手段が取得した画像に基づいて、前記視線を構成する各前記撮像装置の撮像パラメータを取得する撮像パラメータ取得手段、
    前記ネットワークを介して接続された複数のクライアントシステムの各々に対応付けて、前記撮像パラメータ取得手段が取得した、各クライアントシステムが備える複数の撮像装置の各撮像パラメータを、記憶装置に記憶させる記憶制御手段、
    として機能させることを特徴とするプログラム。
JP2010294258A 2010-12-28 2010-12-28 撮像パラメータ取得装置、撮像パラメータ取得方法、及び、プログラム Expired - Fee Related JP5067477B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2010294258A JP5067477B2 (ja) 2010-12-28 2010-12-28 撮像パラメータ取得装置、撮像パラメータ取得方法、及び、プログラム
CN201110437883.9A CN102547121B (zh) 2010-12-28 2011-12-23 拍摄参数取得装置、拍摄参数取得方法
US13/338,696 US8531505B2 (en) 2010-12-28 2011-12-28 Imaging parameter acquisition apparatus, imaging parameter acquisition method and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010294258A JP5067477B2 (ja) 2010-12-28 2010-12-28 撮像パラメータ取得装置、撮像パラメータ取得方法、及び、プログラム

Publications (2)

Publication Number Publication Date
JP2012142792A JP2012142792A (ja) 2012-07-26
JP5067477B2 true JP5067477B2 (ja) 2012-11-07

Family

ID=46316201

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010294258A Expired - Fee Related JP5067477B2 (ja) 2010-12-28 2010-12-28 撮像パラメータ取得装置、撮像パラメータ取得方法、及び、プログラム

Country Status (3)

Country Link
US (1) US8531505B2 (ja)
JP (1) JP5067477B2 (ja)
CN (1) CN102547121B (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10116911B2 (en) 2012-12-18 2018-10-30 Qualcomm Incorporated Realistic point of view video method and apparatus
JP6506036B2 (ja) * 2015-02-02 2019-04-24 オリンパス株式会社 撮像機器
CN105976151B (zh) * 2016-05-27 2021-11-12 北京京东振世信息技术有限公司 配送区域的绘制方法和装置
CN112954295B (zh) * 2016-09-01 2023-08-04 松下知识产权经营株式会社 多视点摄像系统、三维空间重构系统及三维空间识别系统
WO2019130409A1 (ja) * 2017-12-26 2019-07-04 株式会社日立製作所 ステレオ計測装置及び方法
WO2020127185A1 (en) * 2018-12-21 2020-06-25 Koninklijke Kpn N.V. Cloud-based camera calibration
CN111881045B (zh) * 2020-07-28 2023-04-28 杭州海康机器人股份有限公司 工业相机仿真方法、装置及插件
CN114697516B (zh) * 2020-12-25 2023-11-10 花瓣云科技有限公司 三维模型重建方法、设备和存储介质
CN113452988B (zh) * 2021-06-10 2023-03-10 江西晶浩光学有限公司 标靶、基于标靶的三维摄像模组检测系统及检测方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2953154B2 (ja) 1991-11-29 1999-09-27 日本電気株式会社 形状合成方法
JP2003078925A (ja) * 2001-08-31 2003-03-14 Matsushita Electric Ind Co Ltd カメラ校正システムおよびカメラ校正方法
JP4238586B2 (ja) * 2003-01-30 2009-03-18 ソニー株式会社 キャリブレーション処理装置、およびキャリブレーション処理方法、並びにコンピュータ・プログラム
US7538876B2 (en) * 2006-06-12 2009-05-26 The Boeing Company Efficient and accurate alignment of stereoscopic displays
JP2008154195A (ja) * 2006-11-21 2008-07-03 Nikon Corp レンズのキャリブレーション用パターン作成方法、レンズのキャリブレーション用パターン、キャリブレーション用パターンを利用したレンズのキャリブレーション方法、レンズのキャリブレーション装置、撮像装置のキャリブレーション方法、および撮像装置のキャリブレーション装置
CN100449459C (zh) * 2006-12-27 2009-01-07 北京航空航天大学 一种单摄像机虚拟鼠标系统的校准方法
DE102007026628B3 (de) * 2007-06-07 2008-08-14 Visumotion Gmbh Verfahren zur Ausrichtung eines Parallaxenbarriereschirms auf einem Bildschirm
US20110199491A1 (en) 2008-10-28 2011-08-18 Takashi Jikihira Calibration index determination device, calibration device, calibration performance evaluation device, system, method, and program
JP5210203B2 (ja) * 2009-02-25 2013-06-12 ローランドディー.ジー.株式会社 画像の差分による高精度ステレオカメラキャリブレーション
CN101697233B (zh) * 2009-10-16 2012-06-06 长春理工大学 一种基于结构光的三维物体表面重建方法

Also Published As

Publication number Publication date
CN102547121A (zh) 2012-07-04
JP2012142792A (ja) 2012-07-26
US8531505B2 (en) 2013-09-10
CN102547121B (zh) 2014-08-27
US20120162387A1 (en) 2012-06-28

Similar Documents

Publication Publication Date Title
JP5067476B2 (ja) 三次元モデル作成システム
JP5067477B2 (ja) 撮像パラメータ取得装置、撮像パラメータ取得方法、及び、プログラム
CN108476358B (zh) 一种用于生成定制/个性化头部相关传递函数的方法
WO2019205852A1 (zh) 确定图像捕捉设备的位姿的方法、装置及其存储介质
JP5538667B2 (ja) 位置姿勢計測装置及びその制御方法
US8928736B2 (en) Three-dimensional modeling apparatus, three-dimensional modeling method and computer-readable recording medium storing three-dimensional modeling program
JP5018980B2 (ja) 撮像装置、長さ測定方法、及びプログラム
JP4297197B2 (ja) キャリブレーション処理装置、およびキャリブレーション処理方法、並びにコンピュータ・プログラム
CN110458865B (zh) 平面自然特征目标的原位形成
JPWO2018235163A1 (ja) キャリブレーション装置、キャリブレーション用チャート、チャートパターン生成装置、およびキャリブレーション方法
JP7046567B2 (ja) 情報処理装置、情報処理方法及びプログラム
JP2019190974A (ja) キャリブレーション装置、キャリブレーション方法、及びプログラム
US11736802B2 (en) Communication management apparatus, image communication system, communication management method, and recording medium
JP7504688B2 (ja) 画像処理装置、画像処理方法およびプログラム
JP2016194783A (ja) 画像管理システム、通信端末、通信システム、画像管理方法、及びプログラム
JP2006113832A (ja) ステレオ画像処理装置およびプログラム
US11348335B2 (en) Computer implemented structural thermal audit systems and methods
JP2012257282A (ja) 三次元画像生成方法
JP2017215706A (ja) 映像合成方法、映像取得装置、映像合成装置、映像合成システム及びコンピュータプログラム。
JP2015005200A (ja) 情報処理装置、情報処理システム、情報処理方法、プログラムおよび記憶媒体
JP7075090B1 (ja) 情報処理システム、及び、情報処理方法
JP6071142B2 (ja) 画像変換装置
JP6700539B2 (ja) 映像処理装置、映像処理方法、及び映像処理プログラム
KR102151250B1 (ko) 객체 좌표를 도출하는 장치 및 방법
JP2006195758A (ja) ステレオマッチング装置、方法およびこの方法のプログラム

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120424

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120625

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120717

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120730

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150824

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 5067477

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees