JP4191449B2 - 画像キャリブレーション方法、画像キャリブレーション処理装置、画像キャリブレーション処理端末 - Google Patents

Description

【０００１】
【産業上の利用分野】
本発明は、一般のカメラで撮影した画像に対して、カメラキャリブレーションを施すことにより、当該カメラで撮影した画像のレンズ歪みを補正する画像キャリブレーション方法に関し、特に精密なキャリブレーション演算をカメラ利用者側で負担する必要のない画像キャリブレーション方法に関する。
また、本発明は例えばステレオ視できる程度の精密なキャリブレーション演算を行う画像キャリブレーション処理装置に関する。また、本発明は画像キャリブレーション処理装置に対して、撮影するカメラの撮影画像又は撮影情報を送信して、キャリブレーション演算の施された修正被写体画像を表示できる画像キャリブレーション処理端末に関する。
【０００２】
【従来の技術】
従来、複数の単写真の撮影を行い、これらからパノラマ写真を形成するような場合に、組合せる画像歪みを除去する修正を施す必要がある。また２次元的に撮影された画像を用いて目的物の寸法測定を行う場合において、画像歪みを除去する修正を施す必要がある。
【０００３】
更に、撮影された２枚の画像に基づき計測対象物の三次元形状の計測を行なう場合、ステレオ法の原理に基づき計測対象物の計測点を求めている。そして、３次元計測を行うには、あらかじめカメラのキャリブレーション、すなわち、カメラの内部定位（レンズ歪み量、焦点距離、主点位置）を行う必要がある。そして、計測対象物の三次元形状は、カメラで撮影された画像の視差を用いて行うため、非常に精密に撮影したカメラのレンズ歪みを修正する必要がある。
【０００４】
【特許文献１】
特開平９−３２９４１８号公報（段落番号０００６、００２０、図４、図５）
【特許文献２】
特開平１１−３５１８６５号公報（段落番号０００２、０００４、図１、図３）
【０００５】
【発明が解決しようとする課題】
しかし、前述のカメラのキャリブレーションを行うには、正確に計測された広範囲の３次元状のターゲット場や解析ソフト、撮影ノウハウ等が要求される。そこで、例えば建設現場、遺跡発掘現場、衣料販売店の従業者等が、カメラのキャリブレーションを行うとする場合、キャリブレーション作業が煩雑であるという課題があった。また、本出願人は、カメラのキャリブレーションに適したキャリブレーション体を上述の特許文献１で提案しているが、当該キャリブレーション体を利用する場合でも、キャリブレーション用ソフトを購入する必要があり、撮影対象物や撮影方法、解析にノウハウを要している。そこで、複数の単写真の組合せからパノラマ写真を形成したり、２次元的に撮影された画像を用いて目的物の寸法測定を行ったり、ステレオ法の原理に基づく３次元計測を、不慣れな建設現場、遺跡発掘現場、衣料販売店の従業者等が行うには、心理的な抵抗が大きいという課題があった。
【０００６】
本発明は上述の課題を解決したもので、建設現場、遺跡発掘現場、衣料販売店の従業者等のようにステレオ法の原理に基づく３次元計測や、２次元の精密な計測、精密な画像形成に不慣れな人でも、カメラのレンズ歪みを修正した修正被写体画像の得られる画像キャリブレーション方法を提供することを第１の目的とする。
また、本発明は、簡便に３次元計測や、２次元の精密な計測、精密な画像形成が行える程度にカメラのレンズ歪みを修正した修正被写体画像の得られる画像キャリブレーション処理装置を提供することを第２の目的とする。また、本発明は、画像キャリブレーション処理装置にアクセスして簡便にカメラのレンズ歪みを修正した修正被写体画像の得られる画像キャリブレーション処理端末を提供することを第３の目的とする。
【０００７】
【課題を解決するための手段】
本発明の画像キャリブレーション方法は、第１の目的を達成するもので、図１及び図２に示すように、ユーザ端末２０からのキャリブレーション要求を画像キャリブレーション処理装置１０にて受信するステップ（Ｓ１０）と受信したキャリブレーション要求に適合するものであって、校正体４の撮影方法を説明するインストラクションをキャリブレーション処理装置１０内に置かれたインストラクションデータベース１８から抽出し、ユーザ端末２０に返信するステップ（Ｓ１２）と、キャリブレーション撮影の前記インストラクションに従い撮影された校正体画像を画像キャリブレーション処理装置１０にて受信するステップ（Ｓ１６）と、前記受信した前記校正体画像を用いてキャリブレーション処理を行なうステップ（Ｓ２６）と、 ユーザ端末２０から送信された被写体画像であって、前記校正体画像を撮影したカメラ２で撮影された被写体画像を画像キャリブレーション処理装置１０にて受信するステップ（Ｓ３０）と、前記キャリブレーション処理の結果に従い、前記被写体画像にキャリブレーションを施して修正被写体画像を形成するステップ（Ｓ３２）と、前記形成された修正被写体画像を画像キャリブレーション処理装置１０からユーザ端末２０に返信するステップ（Ｓ３４）とを含んでいる。
【０００８】
このようなステップを含む画像キャリブレーション方法によれば、キャリブレーション対象となるカメラ２で撮影した校正体画像を画像キャリブレーション処理装置１０にて受信して、キャリブレーション処理を行ない、レンズ歪み等の修正に必要なキャリブレーション処理の結果を算出する。次に、カメラ２で撮影した被写体画像を画像キャリブレーション処理装置１０にて受信し、キャリブレーション処理の結果に従い、前記被写体画像にキャリブレーションを施して修正被写体画像を形成して、修正被写体画像を画像キャリブレーション処理装置１０からユーザ端末２０に返信する。すると、ユーザ端末２０ではキャリブレーション撮影のインストラクションに従い、カメラ２で撮影された校正体画像を画像キャリブレーション処理装置１０に送信し、次にカメラ２で撮影した被写体画像を送信すれば、複雑な修正被写体画像の演算処理を画像キャリブレーション処理装置１０が負担するので、ユーザ端末２０の演算負荷が軽減される。ユーザ端末２０は工事現場や旅行先で用いられるため、演算負荷が軽ければユーザ端末２０の消費電力が少なくて済み、現場での作業性が安定する。
【０００９】
好ましくは、上記の画像キャリブレーション方法において、図１８及び図１９に示すように、さらに校正体画像と被写体画像は、校正体４と被写体６が同時に撮影された共通の画像であり、修正被写体画像を用いて、前記被写体の三次元計測を行うステップ（Ｓ２２２）を有すると、被写体の三次元画像計測が行える。そこで、三次元画像計測の必要な利用者に対して、キャリブレーション処理の付加サービスとして画像キャリブレーション処理装置１０により提供できる。
【００１０】
本発明の画像キャリブレーション方法は、第１の目的を達成するもので、図１４及び図１５に示すように、ユーザ端末４０からのキャリブレーション要求を画像キャリブレーション処理装置３０にて受信するステップ（Ｓ１００）と、前記受信したキャリブレーション要求に適合するものであって、校正体４の撮影方法を説明するインストラクションをキャリブレーション処理装置３０内に置かれたインストラクションデータベース３８から抽出し、ユーザ端末４０に返信するステップ（Ｓ１０２）と、キャリブレーション撮影の前記インストラクションに従い撮影された校正体画像を画像キャリブレーション処理装置３０にて受信するステップ（Ｓ１０６）と、前記受信した校正体画像を用いてキャリブレーション処理を行なうステップ（Ｓ１１６）と、前記キャリブレーション処理で算出されたキャリブレーション処理の結果を画像キャリブレーション処理装置３０から送信するステップ（Ｓ１１８）とを含んでいる。そして、ユーザ端末４０側では、画像キャリブレーション処理装置３０から送信されたキャリブレーション処理の結果を用いて、前記校正体画像を撮影したカメラで撮影された（Ｓ１２０）被写体画像にキャリブレーションを施して修正被写体画像を形成する（Ｓ１２２）。
【００１１】
このようなステップを含む画像キャリブレーション方法によれば、キャリブレーション対象となるカメラ２で撮影した校正体画像を画像キャリブレーション処理装置３０にて受信して、キャリブレーション処理を行ない、レンズ歪み等の修正に必要なキャリブレーション処理の結果を算出して、ユーザ端末４０に返信する。次に、ユーザ端末４０側では、画像キャリブレーション処理装置３０から送信されたキャリブレーション処理の結果を用いて、カメラ２で撮影した被写体画像にキャリブレーションを施して修正被写体画像を形成する。すると、ユーザ端末４０では画像キャリブレーション処理装置３０で得られたキャリブレーション処理の結果を用いて、カメラ２で撮影した被写体画像から修正被写体画像が得られる。この際に修正被写体画像の演算処理をユーザ端末４０で負荷するので、ユーザ端末４０と画像キャリブレーション処理装置３０との通信回線の容量が小さかったり、通信の安定性に乏しい場合にも安定して修正被写体画像が得られる。
【００１２】
好ましくは、上記の画像キャリブレーション方法において、図２０及び図２１に示すように、さらに校正体画像と被写体画像は、校正体４と被写体６が同時に撮影された共通の画像であり、ユーザ端末４０側にて、さらに、前記修正被写体画像を用いて、前記被写体の三次元計測を行う（Ｓ２３４）ように構成されるとよい。
【００１３】
好ましくは、上記の画像キャリブレーション方法において、さらにキャリブレーション撮影のインストラクションが、画像キャリブレーション処理装置（１０、３０）からユーザ端末（２０、４０）に送信されるステップ（Ｓ１２、Ｓ１０２）を有すると良い。キャリブレーション撮影のインストラクションは、現場や旅行先に携行することを失念する場合もあり、このとき画像キャリブレーション処理装置（１０、３０）にアクセスしてユーザ端末（２０、４０）にダウンロードできる。好ましくは、インストラクションは撮影状態を示した画像を含むステップとすると、キャリブレーション対象となるカメラ２で校正体画像を撮影する作業者にとって、校正体画像撮影作業が容易に理解できる。
【００１４】
好ましくは、上記の画像キャリブレーション方法において、画像キャリブレーション処理装置（１０、３０）が、ユーザ端末（２０、４０）から送信される校正体画像と共に、更に少なくとも撮影時の焦点距離及びカメラ機種、又は撮影時の焦点距離及び撮影に用いた撮像素子の大きさを受信するステップ（Ｓ１６、Ｓ１０６）を有すると良い。撮影時の焦点距離及びカメラ機種、又は撮影時の焦点距離及び撮影に用いた撮像素子の大きさは、キャリブレーション処理に有効な情報である。
【００１５】
好ましくは、上記の画像キャリブレーション方法において、画像キャリブレーション処理装置（１０、３０）が、ユーザ端末（２０、４０）から送信される校正体画像に添付された撮影情報から、前記キャリブレーション処理に必要なデータを読み出すステップ（Ｓ１６、Ｓ１０６）を有するとよい。読み出されたデータはキャリブレーション処理に用いられる。
【００１６】
好ましくは、上記の画像キャリブレーション方法において、前記キャリブレーション処理では、前記校正体画像の撮影に掛かるカメラの主点位置、デストーションデータ、又は撮影レンズの焦点距離の少なくとも一つを算出されたキャリブレーション処理の結果に含むと、修正被写体画像の演算処理に必要なパラメータが得られる。
【００１７】
好ましくは、上記の画像キャリブレーション方法において、画像キャリブレーション処理装置（１０、３０）は、前記受信した校正体画像を用いてキャリブレーション処理を行なう際に、算出されたキャリブレーション処理の結果をキャリブレーションデータベース（１９、３９）に蓄積するステップを含むとよい。蓄積されたキャリブレーション処理の結果は、例えばＣＲＭ(Customer Relation Management)等に利用することができる。
【００１８】
本発明の画像キャリブレーション方法は、第１の目的を達成するもので、図１２及び図１３に示すように、カメラの機種に対応するキャリブレーション処理の結果が蓄積されたキャリブレーションデータベース１９を有する画像キャリブレーション処理装置１０に用いられる画像キャリブレーション方法である。即ち、ユーザ端末２０からのキャリブレーション要求を、被写体画像の撮影を行なうカメラ２の機種と共に画像キャリブレーション処理装置１０にて受信するステップ（Ｓ１０、Ｓ１１ｂ）と、前記受信したカメラの機種に対応するキャリブレーション処理の結果をキャリブレーションデータベース１９から抽出するステップ（Ｓ１１ｃ）と、カメラ２の機種に対応する前記キャリブレーション処理の結果が抽出された場合には、前記抽出されたキャリブレーション処理の結果を用いて、前記被写体画像にキャリブレーションを施して修正被写体画像を形成し（Ｓ３２）、カメラ２の機種に対応する前記キャリブレーション処理の結果が抽出されない場合には、校正体４の撮影方法を説明するインストラクションをユーザ端末２０に送信し、前記送信された前記インストラクションに従い撮影された校正体画像を受信し、前記受信した校正体画像を用いてキャリブレーション処理を行い、得られたキャリブレーション処理の結果に従い前記被写体画像にキャリブレーションを施して修正被写体画像を形成するステップ（Ｓ１２〜Ｓ３２）と、前記形成された修正被写体画像を画像キャリブレーション処理装置１０からユーザ端末２０に返信するステップ（Ｓ３４）とを含んでいる。
【００１９】
このようなステップを含む画像キャリブレーション方法によれば、キャリブレーション対象となるカメラ２の機種に対応するキャリブレーション処理の結果が予めキャリブレーションデータベース１９に蓄積されている。そこで、ユーザ端末２０からのキャリブレーション要求を、被写体画像の撮影を行なうカメラ２の機種と共に画像キャリブレーション処理装置１０にて受信することで、キャリブレーションデータベース１９に蓄積されているカメラ２の機種に対応するキャリブレーション処理の結果を読み出すことができる。すると、カメラ２の機種とキャリブレーション処理の結果がある許容範囲内で対応している場合には、キャリブレーションデータベース１９に蓄積されているカメラ２の機種に対応するキャリブレーション処理の結果が利用でき、キャリブレーション撮影のインストラクションに従い撮影された校正体画像を用いる必要がない。そこで、ユーザ端末２０ではカメラ２で撮影した校正体画像を画像キャリブレーション処理装置１０に送信することが不要となり、画像キャリブレーション処理装置１０では、レンズ歪み等の修正に必要なキャリブレーション処理の結果を算出する必要がなく、作業が円滑に進む。
【００２０】
本発明の画像キャリブレーション方法は、第１の目的を達成するもので図１６及び図１７に示すように、カメラの機種に対応するキャリブレーション処理の結果が蓄積されたキャリブレーションデータベース３９を有する画像キャリブレーション処理装置３０に用いられる画像キャリブレーション方法である。即ち、ユーザ端末４０からのキャリブレーション要求を、被写体画像の撮影を行なうカメラ２の機種と共に画像キャリブレーション処理装置３０にて受信するステップ（Ｓ１００、Ｓ１０１ｂ）と、前記受信したカメラ２の機種に対応するキャリブレーション処理の結果をキャリブレーションデータベース３９から抽出するステップ（Ｓ１０１ｃ）と、カメラ２の機種に対応する前記キャリブレーション処理の結果が抽出された場合には、前記抽出されたキャリブレーション処理の結果を画像キャリブレーション処理装置３０から送信し、カメラ２の機種に対応する前記キャリブレーション処理の結果が抽出されない場合には、校正体４の撮影方法を説明するインストラクションをユーザ端末４０に送信し、前記送信された前記インストラクションに従い撮影された校正体画像を受信し、前記受信した校正体画像を用いてキャリブレーション処理を行い、得られたキャリブレーション処理の結果を画像キャリブレーション処理装置３０から送信するステップ（Ｓ１１８）を含んでいる。そして、ユーザ端末４０側では、前記画像キャリブレーション処理装置３０から送信されたキャリブレーション処理の結果を用いて、被写体画像にキャリブレーションを施して修正被写体画像を形成する（Ｓ１２２）。
【００２１】
このようなステップを含む画像キャリブレーション方法によれば、キャリブレーション対象となるカメラ２の機種に対応するキャリブレーション処理の結果が予めキャリブレーションデータベース３９に蓄積されている。そこで、カメラ２の機種とキャリブレーション処理の結果がある許容範囲内で対応している場合には、キャリブレーションデータベース３９に蓄積されているカメラ２の機種に対応するキャリブレーション処理の結果が利用でき、キャリブレーション撮影のインストラクションに従い撮影された校正体画像を用いる必要がない。また、ユーザ端末４０では画像キャリブレーション処理装置３０で得られたキャリブレーション処理の結果を用いて、カメラ２で撮影した被写体画像から修正被写体画像が得られる。この際に修正被写体画像の演算処理をユーザ端末４０で負荷するので、ユーザ端末４０と画像キャリブレーション処理装置３０との通信回線の容量が小さかったり、通信の安定性に乏しい場合にも安定して修正被写体画像が得られる。
【００２２】
好ましくは、上記の画像キャリブレーション方法において、キャリブレーションデータベース（１９、３９）には、ユーザ端末（２０、４０）から受信した校正体画像を用いてキャリブレーション処理を行なう際に、算出されたキャリブレーション処理の結果を、カメラの機種と共に蓄積するとよい。
【００２３】
本発明の画像キャリブレーション方法は、第１の目的を達成するもので、図1及び図２に示すように、画像キャリブレーション処理装置１０に対するキャリブレーション要求をユーザ端末２０から送信するステップ（Ｓ１０）と、前記送信したキャリブレーション要求に適合したものであって、画像キャリブレーション処理装置内１０に置かれたインストラクションデータベース１８から抽出され、画像キャリブレーション処理装置１０から送信された、校正体の撮影方法を説明するインストラクションに従い、校正体画像をユーザ端末２０から画像キャリブレーション処理装置１０に送信するステップ（Ｓ１６）と、前記校正体画像を撮影したカメラ２で撮影された被写体画像を画像キャリブレーション処理装置１０に送信するステップ（Ｓ３０）と、画像キャリブレーション処理装置１０から送信された修正被写体画像であって、前記送信した校正体画像を用いて得られたキャリブレーション処理の結果に従い、前記被写体画像にキャリブレーションを施して形成された前記修正被写体画像をユーザ端末２０で受信するステップ（Ｓ３４）とを含んでいる。
【００２４】
本発明の画像キャリブレーション方法は、第１の目的を達成するもので、図１４及び図１５に示すように、画像キャリブレーション処理装置３０に対するキャリブレーション要求をユーザ端末４０から送信するステップ（Ｓ１００）と、前記送信したキャリブレーション要求に適合したものであって、画像キャリブレーション処理装置３０内に置かれたインストラクションデータベース３８から抽出され、画像キャリブレーション処理装置３０から送信された、校正体４の撮影方法を説明するインストラクションに従い、所定のカメラ２で撮影された校正体画像をユーザ端末４０から画像キャリブレーション処理装置３０に送信するステップ（Ｓ１０６）と、画像キャリブレーション処理装置３０で算出されたキャリブレーション処理の結果をユーザ端末４０で受信するステップ（Ｓ１１８）と、前記受信したキャリブレーション処理の結果を用いて前記校正体画像を撮影したカメラ２で撮影された被写体画像にキャリブレーションを施して修正被写体画像を形成するステップ（Ｓ１２２）とを含んでいる。
【００２５】
本発明の画像キャリブレーション処理装置１０は、第２の目的を達成するもので、図１に示すように、ユーザ端末２０から送信された画像キャリブレーションの利用要求と、前記利用要求に適合するものであって、校正体の撮影方法を説明するインストラクションに従い撮影された校正体画像、並びに前記校正体画像を撮影したカメラ２で撮影された被写体画像を受信するユーザ端末向け受信部１１と、ユーザ端末向け受信部１１で受信した画像キャリブレーションの利用要求に適合する、前記インストラクションを抽出するインストラクション抽出部１３と、ユーザ端末向け受信部１１で受信した前記校正体画像を用いてキャリブレーション処理を行うキャリブレーション処理部１４と、前記キャリブレーション処理の結果に従い、前記被写体画像にキャリブレーションを施して修正被写体画像を形成する修正被写体画像形成部１５と、修正被写体画像形成部１５で形成された修正被写体画像、並びに前記インストラクション抽出部１３で抽出された前記インストラクションをユーザ端末２０に送信するユーザ端末向け返信部１６とを備えている。
【００２６】
好ましくは、本発明の画像キャリブレーション処理装置１０において、さらに、修正被写体画像形成部１５で形成された修正被写体画像を表示する表示部１６ａを備えるとよい。好ましくは、本発明の画像キャリブレーション処理装置１０において、図１８に示すように、さらに、校正体画像と被写体画像は、校正体４と被写体６が同時に撮影された共通の画像であり、修正被写体画像を用いて、前記被写体の三次元計測を行う三次元計測部１５ａを備える構成とするとよい。
【００２７】
本発明の画像キャリブレーション処理装置３０は、第２の目的を達成するもので、図１４に示すように、ユーザ端末４０から送信された画像キャリブレーションの利用要求と、前記利用要求に適合するものであって、校正体の撮影方法を説明するインストラクションに従い撮影された校正体画像を受信するユーザ端末向け受信部３１と、ユーザ端末向け受信部３１で受信した画像キャリブレーションの利用要求に適合する、前記インストラクションを抽出するインストラクション抽出部３３と、ユーザ端末向け受信部３１で受信した前記校正体画像を用いてキャリブレーション処理を行うキャリブレーション処理部３４と、キャリブレーション処理部３４で算出されたキャリブレーション処理の結果、並びに前記インストラクション抽出部３３で抽出された前記インストラクションをユーザ端末４０に送信するユーザ端末向け返信部３６とを備えている。そして、ユーザ端末４０側では、ユーザ端末向け返信部３６から送信されたキャリブレーション処理の結果を用いて、前記校正体画像を撮影したカメラ２で撮影された被写体画像にキャリブレーションを施して修正被写体画像を形成する。
【００２８】
好ましくは、本発明の画像キャリブレーション処理装置３０において、図２０に示すように、さらに、校正体画像と被写体画像は、校正体４と被写体６が同時に撮影された共通の画像であり、ユーザ端末４０側にて、さらに、前記修正被写体画像を用いて、前記被写体の三次元計測を行う三次元計測部４７を備える構成とするとよい。
【００２９】
好ましくは、本発明の画像キャリブレーション処理装置（１０、３０）において、さらに、ユーザ端末向け受信部（１１、３１）で受信した画像キャリブレーションの利用要求に適合する、前記インストラクションを抽出するインストラクション抽出部（１３、３３）を備え、ユーザ端末向け返信部（１６、３６）は、インストラクション抽出部（１３、３３）で抽出されたインストラクションをユーザ端末（２０、４０）に返信する構成とすると良い。さらに、好ましくは、前記インストラクションには、撮影状態を示した画像を含むと、校正体画像や被写体画像を撮影する担当者によって理解が容易になる。
【００３０】
好ましくは、本発明の画像キャリブレーション処理装置（１０、３０）において、ユーザ端末向け受信部（１１、３１）は、ユーザ端末（２０、４０）から送信される校正体画像又は被写体画像と共に、更に少なくとも撮影時の焦点距離及びカメラ機種、又は撮影時の焦点距離及び撮影に用いた撮像素子の大きさを受信する構成とすると良い。撮影時の焦点距離及びカメラ機種、又は撮影時の焦点距離及び撮影に用いた撮像素子の大きさは、キャリブレーション処理に有効な情報である。
【００３１】
好ましくは、本発明の画像キャリブレーション処理装置（１０、３０）において、画像キャリブレーション処理装置（１０、３０）が、ユーザ端末（２０、４０）から送信される校正体画像に添付された撮影情報から、前記キャリブレーション処理に必要なデータを読み出す情報読出し部（１４ｂ、３４ｂ）を有するとよい。情報読出し部で読み出されたデータは、キャリブレーション処理部（１４、３４）でのキャリブレーション処理に用いられる。好ましくは、本発明の画像キャリブレーション処理装置（１０、３０）において、キャリブレーション処理部（１４、３４）では、前記被写体画像の撮影に掛かるカメラの主点位置、デストーションデータ、又は撮影レンズの焦点距離の少なくとも一つをキャリブレーション処理の結果に含めて算出する構成とするとよい。
【００３２】
本発明の画像キャリブレーション処理装置１０は、第２の目的を達成するもので、図１２に示すように、ユーザ端末２０からのキャリブレーション要求と被写体画像を、被写体画像の撮影を行なうカメラ２の機種と共に受信するユーザ端末向け受信部１１と、カメラ２の機種に対応するキャリブレーション処理の結果が蓄積されたキャリブレーションデータベース１９と、受信したカメラの機種に対応するキャリブレーション処理の結果をキャリブレーションデータベース１９から抽出するキャリブレーション処理結果抽出部１４ａと、前記抽出されたキャリブレーション処理の結果を用いて、ユーザ端末２０から送信される被写体画像にキャリブレーションを施して修正被写体画像を形成する修正被写体画像形成部１５と、形成された修正被写体画像をユーザ端末２０に返信するユーザ端末向け返信部１６とを備え、前記キャリブレーション処理結果抽出部１４ａにてカメラ２の機種に対応するキャリブレーション処理の結果が抽出されない場合には、ユーザ端末向け返信部１１は、校正体４の撮影方法を説明するインストラクションをユーザ端末２０に送信し、ユーザ端末向け受信部１１は前記インストラクションに従い撮影された校正体画像を受信し、修正被写体画像形成部１５は前記インストラクションに従い撮影された校正体画像より求めたキャリブレーション処理の結果を用いて、ユーザ端末２０から送信される被写体画像にキャリブレーションを施して修正被写体画像を形成するように構成されている。
【００３３】
本発明の画像キャリブレーション処理装置３０は、第２の目的を達成するもので、図１６に示すように、ユーザ端末４０からのキャリブレーション要求を、被写体画像の撮影を行なうカメラ２の機種と共に受信するユーザ端末向け受信部３１と、カメラの機種に対応するキャリブレーション処理の結果が蓄積されたキャリブレーションデータベース３９と、前記受信したカメラの機種に対応するキャリブレーション処理の結果をキャリブレーションデータベース３９から抽出するキャリブレーション処理結果抽出部３４ａと、前記抽出されたキャリブレーション処理の結果をユーザ端末４０に送信するユーザ端末向け返信部３６とを備えている。そして、キャリブレーション処理結果抽出部３４ａにてカメラ２の機種に対応するキャリブレーション処理の結果が抽出されない場合には、ユーザ端末向け受信部３１は、校正体４の撮影方法を説明するインストラクションに従い撮影された校正体画像を受信し、ユーザ端末向け返信部３６は前記インストラクションの送信および前記校正体画像より求めたキャリブレーション処理の結果の返信を行い、ユーザ端末４０側でユーザ端末向け返信部３６から送信されたキャリブレーション処理の結果を用いて、前記被写体画像にキャリブレーションを施して修正被写体画像を形成するように構成されている。
【００３４】
本発明の画像キャリブレーション処理端末２０は、第３の目的を達成するもので、図１に示すように、画像キャリブレーションの利用要求と、前記利用要求に適合するものであって、画像キャリブレーション処理装置１０に置かれたインストラクションデータベース１８から抽出され、校正体４の撮影方法を説明するインストラクションに従い撮影された校正体画像、並びに前記校正体画像を撮影したカメラ２で撮影された被写体画像を画像キャリブレーション処理装置１０に送信する処理装置向け送信部２１と、画像キャリブレーション処理装置１０から送信された修正被写体画像であって、前記被写体画像にキャリブレーションを施して形成された前記修正被写体画像を受信する処理装置向け受信部２４と、処理装置向け受信部２４で受信した前記インストラクションと、前記修正被写体画像を表示する表示部２５とを備えている。
【００３５】
本発明の画像キャリブレーション処理端末は、第３の目的を達成するもので、図１４に示すように、画像キャリブレーションの利用要求と、前記利用要求に適合するものであって、画像キャリブレーション処理装置３０に置かれたインストラクションデータベース３８から抽出され、校正体４の撮影方法を説明するインストラクションに従い撮影された校正体画像を前記画像キャリブレーション処理装置３０に送信する処理装置向け送信部４１と、画像キャリブレーション処理装置３０から送信されたキャリブレーション処理の結果を受信する処理装置向け受信部４４と、処理装置向け受信部４４で受信したキャリブレーション処理の結果を用いて、前記校正体画像を撮影したカメラ２で撮影された被写体画像にキャリブレーションを施して修正被写体画像を形成する修正被写体画像形成部４６とを備えている。
【００３６】
【発明の実施の形態】
以下図面を用いて本発明を説明する。図１は本発明の第１の実施の形態を説明する全体構成ブロック図である。図において、本発明の画像キャリブレーション処理システムは、カメラ２、校正体４、被写体６、通信回線８、画像キャリブレーション処理装置１０、並びに複数のユーザ端末２０を備えている。カメラ２は、例えば汎用の一眼レフカメラやディジタルカメラのように、高精度計測用カメラに比較すると、レンズ収差の大きい光学機器である。校正体４は、レンズ収差を補償するキャリブレーションを行う為のチャートで、立体チャートと平面チャートがある。立体チャートに設けられた各基準点は、平面位置と高さが精密に求められている。平面チャートに関しては、後で詳細を説明する。被写体６は、カメラ２で撮影の対象となるもので、パノラマ写真での被写体（例えば風景）や２次元計測、３次元計測の対象となる被写体（例えば工作物、地形等）がある。通信回線８は、有線や無線の公衆回線や専用回線であって、データ通信が可能であればよい。
【００３７】
画像キャリブレーション処理装置１０は、ユーザ端末向け受信部１１、利用者認証部１２、インストラクション抽出部１３、キャリブレーション処理部１４、情報読出し部１４ｂ、修正被写体画像形成部１５、ユーザ端末向け返信部１６、表示部１６ａ、利用者データベース１７、インストラクションデータベース１８、キャリブレーションデータベース１９を備えるもので、例えばサーバーやワークステーションのような高度の演算能力を有する機器が用いられる。
【００３８】
ユーザ端末向け受信部１１は、ユーザ端末２０から送信された画像キャリブレーションの利用要求と、キャリブレーション撮影のインストラクションに従い撮影された校正体画像、並びに被写体６をカメラ２で撮影した被写体画像を通信回線８経由で受信する。校正体画像と被写体画像は、撮影された校正体４と被写体６とが単独で撮影された画像を原則とし、共通のカメラ２で撮影されている。画像キャリブレーションの利用要求には、カメラの機種や焦点距離等のようなキャリブレーション処理に有用な撮影条件情報を含ませるとよい。撮影条件情報は、独立したデータとして送信してもよく、また校正体画像や被写体画像の付帯情報として含ませてもよい。例えば、ディジタルカメラのフォーマットには、”Ｅｘｉｆ”と呼ばれる基本フォーマットが採用されているが、フォーマットの頭の部分には、撮影した機器や日付、絞り、シャッタースピード等の撮影条件情報が含まれている。
【００３９】
利用者認証部１２は、画像キャリブレーション処理装置１０の運営者がユーザ端末２０の利用者に正当な利用権原のあることを認証するもので、例えば利用者の住所、氏名、通信回線８で利用する電話回線番号、画像キャリブレーション処理装置１０で配布した認証キー等を用いる。利用者データベース１７は、正当な利用権原のあるユーザ端末２０の利用者を登録したもので、会員制を採用している場合には登録日、会員登録有効期間、利用回数、有償性を採用している場合には課金状態が記録してある。利用者認証部１２にてユーザ端末２０の利用者に正当な利用権原のあることを認証できた場合に、ユーザ端末向け受信部１１で受信した画像キャリブレーションの利用要求に応える。
【００４０】
インストラクション抽出部１３は、ユーザ端末向け受信部１１で受信した画像キャリブレーションの利用要求に適合する、キャリブレーション撮影のインストラクションをインストラクションデータベース１８から抽出する。インストラクション抽出部１３は、ユーザ端末２０の利用者が既にキャリブレーション撮影のインストラクションを利用できる状態にあるときは、インストラクションの抽出を行わなくてもよい。インストラクションデータベース１８は、カメラ２の機種や校正体４の種類に応じたキャリブレーション撮影のインストラクションを記録してある。カメラ２の機種には、例えばズーム式レンズ、広角レンズ、望遠レンズ、パノラマレンズ、標準レンズ等がある。校正体４の種類には、例えば平面式チャート、立体式チャート等がある。
【００４１】
キャリブレーション処理部１４は、ユーザ端末向け受信部１１で受信した校正体画像を用いてキャリブレーション処理を行う。キャリブレーション処理とは、カメラ収差を補償する各種のパラメータを求めるもので、詳細は後で説明する。情報読出し部１４ｂは、ユーザ端末２０から送信される校正体画像に添付された撮影情報から、キャリブレーション処理に必要なデータを読み出すものである。情報読出し部１４ｂは、例えばディジタルカメラの基本フォーマット”Ｅｘｉｆ”に含まれる撮影情報を読み出す。キャリブレーションデータベース１９は、カメラ２の機種やレンズの焦点距離に応じたキャリブレーション処理の結果が蓄積されている。
【００４２】
修正被写体画像形成部１５は、キャリブレーション処理に従い、ユーザ端末向け受信部１１で受信した被写体画像にキャリブレーションを施して修正被写体画像を形成する。ユーザ端末向け返信部１６は、インストラクション抽出部１３で抽出されたインストラクション、及び修正被写体画像形成部１５で形成された修正被写体画像を、通信回線８経由でユーザ端末２０に返信する。表示部１６ａは、ＣＲＴや液晶表示画面で、修正被写体画像形成部１５で形成された修正被写体画像、キャリブレーション処理部１４でのキャリブレーション処理の結果、ユーザ端末向け受信部１１で受信した校正体画像、被写体画像等を表示する。
【００４３】
本発明の画像キャリブレーション処理端末２０は、処理装置向け送信部２１、キー入力部２２、処理装置向け受信部２４、表示部２５を備えたもので、例えばパソコン、情報携帯端末、カメラ内蔵型の携帯電話端末が用いられる。処理装置向け送信部２１と処理装置向け受信部２４には、通信回線８接続用のモデムを用いるとよい。処理装置向け送信部２１は、画像キャリブレーションの利用要求と、キャリブレーション撮影のインストラクションに従い撮影された校正体画像、並びに校正体画像を撮影したカメラ２で撮影された被写体画像を、通信回線８経由で画像キャリブレーション処理装置１０に送信する。画像キャリブレーションの利用要求には、利用者に正当な利用権原のあることを認証情報や、撮影条件情報も含めて送信してもよい。
【００４４】
キー入力部２２は、英数字、かな文字、その他の操作命令を利用者が入力するもので、例えばキーボード、表示部２５を用いたタッチパネル、押しボタンなどで形成されている。処理装置向け受信部２４は、画像キャリブレーション処理装置１０から送信された修正被写体画像であって、被写体画像にキャリブレーションを施して形成された修正被写体画像を受信する。キャリブレーション撮影のインストラクションが必要な場合も、通信回線８経由で処理装置向け受信部２４にて受信する。表示部２５は、処理装置向け受信部２４で受信したキャリブレーション撮影のインストラクションや修正被写体画像を表示する。表示部２５では、校正体画像や被写体画像を表示してもよい。
【００４５】
次に、このように構成された装置の動作について説明する。図２は本方法発明の第１の実施の形態を説明するフローチャートである。ユーザ端末２０は、カメラ２のキャリブレーション要求（サービスリクエスト）を、通信回線８経由で画像キャリブレーション処理装置１０に送信する（Ｓ１０）。すると、画像キャリブレーション処理装置１０では、キャリブレーション要求に対してユーザ端末２０の利用者に正当な利用権原があるか認証を行う。認証の結果、ユーザ端末２０の利用者に正当な利用権原があると認められると、画像キャリブレーション処理装置１０は、カメラ２の機種に応じたキャリブレーション撮影のインストラクションをユーザ端末２０に返信する（Ｓ１２）。キャリブレーション撮影のインストラクションには、例えば校正体４としての平面チャートが随伴している。なお、校正体４として立体チャートをユーザ端末２０側で所持している場合には、送信される平面チャートに代えて、当該立体チャートを校正体４として用いることができる。
【００４６】
ユーザ端末２０側では、キャリブレーション撮影のインストラクションに従い、カメラ２にて校正体４を撮影する（Ｓ１４）。撮影された校正体画像は、撮影データと共にユーザ端末２０から画像キャリブレーション処理装置１０へ、通信回線８経由で送信される（Ｓ１６）。画像キャリブレーション処理装置１０では、送信された校正体画像の撮影品質を判断し、例えばピントが適切でない画像や校正体４の画像が小さくてキャリブレーション処理に適していない画像か判断する（Ｓ１８）。不適切な校正体画像であれば、再度のカメラ２による校正体４撮影を要求する（Ｓ２０）。このとき、キャリブレーション処理に適する校正体画像とするには、何れの点に留意して撮影するかのコメントを含ませると良い。利用者は、再撮影要求に対して、コメントに留意してカメラ２にて校正体４を撮影する（Ｓ２２）。撮影された校正体画像は、撮影データと共にユーザ端末２０から画像キャリブレーション処理装置１０へ、通信回線８経由で送信され（Ｓ２４）、Ｓ１８にて校正体画像の撮影品質が判断される。
【００４７】
校正体画像の撮影品質が適正であれば、キャリブレーション処理部１４では受信した校正体画像を用いてキャリブレーション処理を行なう（Ｓ２６）。このキャリブレーション処理の結果は、カメラの機種と共にキャリブレーションデータベース１９に蓄積される。次に、ユーザ端末２０側では、校正体画像を撮影したカメラ２で被写体６を撮影する（Ｓ２８）。ユーザ端末２０では、被写体画像を通信回線８経由で画像キャリブレーション処理装置１０に送信する（Ｓ３０）。画像キャリブレーション処理装置１０では、受信した被写体画像をＳ２６で求めたキャリブレーション処理の結果に従い、被写体画像にキャリブレーションを施して修正被写体画像を形成する（Ｓ３２）。そして、形成された修正被写体画像を画像キャリブレーション処理装置１０からユーザ端末２０に返信する（Ｓ３４）。
【００４８】
この際に、画像キャリブレーション処理装置１０では、送信された被写体画像の撮影品質を判断し、例えばピントが適切でない画像や被写体６の画像が小さくて被写体画像の修正処理に適していない画像か判断してもよい。不適切な被写体画像であれば、再度のカメラ２による被写体６撮影を要求する。有償サービスの場合には、利用者データベース１７に利用情報を蓄積すると共に、課金に必要な処理を行う。
【００４９】
ここで、校正体４としての平面チャートについて説明する。ここでは、平面チャートとして紙やプラスチックシートに所定のマークを印刷してある場合を例に説明するが、平面画面に所定のマークを配列した画像を表示するものでもよい。図３は、平面チャートの一例を示す平面図である。平面チャートは、平面的なシート形状であって、表側に視認容易な第１マークと多数の点から構成される第２マークが印刷されている。第１マークは、キャリブレーション処理に利用されると共に、カメラ２が平面チャートを撮影した撮影角度を決めるために利用される。第１マークは、平面チャートの少なくとも３箇所に設けられるもので、好ましくは平面チャートを４区分に等分したときの各象限に設けると良い。第２マークは、カメラ２によって撮影された平面チャートの画像データの位置を指定するもので、ターゲットとも呼ばれており、好ましくは均等の密度で満遍なく平面チャートに配置する。第２マークは、平面チャートの３０箇所以上に設けられるのが好ましく、さらに好ましくは１００〜２００箇所程度にするとよい。
【００５０】
ここでは、第１マークは平面チャートに総計５個配置されるもので、外形菱形で、中心部分に第２マークと共通の図柄が描かれている。第１マーク１ａ、１ｂ、１ｃ、１ｄは、平面チャートを４象限に区分したとき、各象限に設けられるもので、第１マーク１ａは左上象限、第１マーク１ｂは右上象限、第１マーク１ｃは左下象限、第１マーク１ｄは右下象限に位置している。第１マーク１ｅは、各象限と共通となる原点位置に設けられている。例えば第１マーク１ａ、１ｂ、１ｃ、１ｄは、第１マーク１ｅに対して等距離ｄの位置に設けられている。平面チャートが矩形であるとして、第１マーク１ａ、１ｂと第１マーク１ｅとの縦方向の間隔をｈ、第１マーク１ｃ、１ｄと第１マーク１ｅとの縦方向の間隔をｌとする。このとき、第１マーク１ａ、１ｂ、１ｃ、１ｄと第１マーク１ｅとの距離ｄは、以下の関係を充足する。
ｄ＝（ｈ^２＋ｌ^２）^１／２ （１）
【００５１】
第１マークと第２マークは、予め所望の寸法で印刷するか、もしくは寸法を計測しておく。第１マークと第２マークの位置は、予めキャリブレーションデータベース１９の中に記憶しておくと良く、その記憶された座標にてシートに印刷すればよい。
【００５２】
図４は、キャリブレーション処理の結果の一例を示す説明図である。例えば、表示部１６ａへの表示には、キャリブレーション要素である焦点距離、主点位置、歪曲パラメータを表示する。レンズ収差を示すディストーションについては、補正前曲線１４２、補正後曲線１４４、理想に補正された場合１４６についてグラフィック表示するとわかりやすい。
【００５３】
図５は、ズーム式レンズに対するキャリブレーション処理の結果の一例を示す説明図で、（Ａ）は係数ｋ１、（Ｂ）は係数ｋ２、（Ｃ）は画像座標系ｘでのカメラ主点と画像中心のｘ軸位置ずれ係数ｘ０、（Ｄ）は画像座標系ｙでのカメラ主点と画像中心のｙ軸位置ずれ係数ｙ０を表している。ここでは、ズーム式カメラ２の焦点距離が７．２ｍｍから５０．８ｍｍで調整可能な場合を取り上げる。焦点距離データの測定個数を６個とすると、７．２ｍｍが最広角となり、５２．２ｍｍが最望遠となり、中間の測定点として光学的意味での等間隔で測定をする為に、８．７ｍｍ、１１．６ｍｍ、２４．８ｍｍ、３９．０ｍｍが選択される。係数ｋ１、ｋ２は、後で説明するセルフキャリブレーション付きバンドル調整法の式（４）で用いられる係数で、最広角側で最大値をとり、最望遠側では小さくなっている。
【００５４】
図６は校正体画像を撮影するインストラクションの概括を示すフローチャートで、カメラ２のキャリブレーション要求（サービスリクエスト）段階での詳細を説明している。まず、画像キャリブレーション処理装置１０は、ユーザ端末２０に対して項目記入シートを送信する（Ｓ５０）。項目記入シートには、校正体４としての撮影ターゲットとして平面チャートを用いるか、既存の立体チャートを用いるかなどのキャリブレーション処理に必要な項目が設けられている。
【００５５】
ユーザ端末２０では、送信された項目記入シートを印刷或いは表示して（Ｓ５２）、必要な項目に対してカメラ２、校正体４、被写体６、撮影条件等を記入或いは補充する。次に、ユーザ端末２０からの要求に応じて、校正体４としての平面チャートを送信する（Ｓ５４）。ユーザ端末２０では、送信された校正体４としての平面チャートを印刷或いは表示する（Ｓ５６）。そして、ユーザ端末２０では、撮影条件等を記入或いは補充した項目記入シートを、画像キャリブレーション処理装置１０に返信して、撮影準備完了を知らせる（Ｓ５８）。この際に、ユーザ端末２０側では、印刷した平面チャートを壁に貼ったり、送信された平面チャートを表示するユーザ端末２０の表示部２５を適宜の場所に設置する。なお、撮影条件としてのカメラの画角や補正したい精度によっては、Ｓ５６で送信された平面チャートでは精度不充分の場合がある。この場合には、高精度に印刷した平面チャートや高精度に製作された立体チャートでないと、要求される修正被写体画像の精度が得られない為、別途必要な平面チャートや立体チャートが郵送又は送付されるのを待つ。
【００５６】
次に、画像キャリブレーション処理装置１０は、ユーザ端末２０に対してカメラ２の機種に応じたキャリブレーション撮影のインストラクションを送信する（Ｓ６０）。インストラクションは、一括ファイルとして送信しても良く、またストリーミングのように撮影の進行に応じてリアルタイムで逐次送信してもよい。ユーザ端末２０側では、キャリブレーション撮影のインストラクションに従って、カメラ２により校正体４の校正体画像を撮影する（Ｓ６２）。そして、校正体画像を撮影が終了したら、ユーザ端末２０から画像キャリブレーション処理装置１０に撮影終了信号を送信する（Ｓ６４）。すると、画像キャリブレーション処理装置１０では、校正体画像の受信準備をしてから、画像送信要求信号がユーザ端末２０に送信される（Ｓ６６）。
【００５７】
図７は項目記入シートの一例を示す説明図で、オンライン送付されるシート画面を示してある。項目記入シート画面には、初期値カメラパラメータ設定画面、補正モデル設定画面、その他のカメラパラメータ確認画面が設けられている。初期値カメラパラメータ設定画面には、焦点距離の初期値、撮像素子の大きさと画像分解能の入力欄が設けられている。
【００５８】
続いて、キャリブレーション撮影のインストラクションとして、カメラ２により平面チャートを撮影する手順について説明する。図８はカメラの各種焦点距離でのレンズ収差を計測する場合のカメラ配置を説明する斜視図である。平面チャートを異なる撮影角度から撮影した画像が、２枚以上の画像があれば、キャリブレーションが可能となる。好ましくは、平面チャートとしてシートに印刷された平面チャートを用いる場合には、３以上の撮影角度方向から撮影することによって、広角レンズのように焦点距離が短い場合でも、各キャリブレーション要素、特に焦点距離、の測定値が安定し、かつ信頼性の高いものになる。
【００５９】
図８の場合には、５方向、即ち正面（Ｉ）、左上（II）、右上（III）、左下（IV）、右下（Ｖ）から撮影する手順を示している。カメラ２の光軸と平面チャートとの撮影入射角は、実際の撮影現場での奥行き精度を１ｃｍ程度に設定すると、１０度〜３０度の範囲が好ましく、他方レンズの焦点深度との関係でピントの合う距離も限られていることも考慮すると、１２度〜２０度の範囲がさらに好ましい。典型的には、カメラ２の光軸と平面チャートとの撮影入射角として１５度を採用するとよい。また各種焦点距離とは、典型的には一眼レフカメラでいう標準レンズ、広角レンズ、望遠レンズに相当する各種の焦点距離をいう。
【００６０】
以下、図９を参照してカメラによる平面チャートの撮影手順を説明する。図９は、（Ａ１）、（Ａ２）、（Ａ３）、（Ａ４）にてカメラの画像を示し、カメラ画像に対応する平面チャートとカメラ２の位置関係を（Ｂ１）、（Ｂ２）、（Ｂ３）、（Ｂ４）にて示している。なお、番号（Ｉ）〜（Ｖ）は図８のカメラ位置に対応している。
【００６１】
（Ｉ）：正面から、平面チャートの第１マークと第２マーク全てが一杯に入るよう撮影する（図９（Ａ１）、（Ｂ１））。第１マークと第２マークをなるべく一杯に、撮影画像のすみまでいれることにより、レンズ周辺部までのディストーション補正が確実になる。そこで、カメラの焦点距離に応じて、撮影距離Ｈが変化する。
（II）：次に、一般的にズーム式カメラの焦点距離が望遠レンズ及び標準レンズに相当している場合に、正面のカメラ位置を中心として、撮影距離Ｈの１／３程度離れた位置にカメラを移動させて、例えば左上象限の第１マーク１ａが撮影中心となるようにカメラ位置を変える（図９（Ａ２）、（Ｂ２））。但し、ズーム式カメラの焦点距離が広角レンズに相当している際に、撮影距離Ｈが約１ｍ以内の場合は、カメラ位置は目的とする第１マークが正面に来るようにカメラ２を移動させればよい。そして、カメラ２のカメラ位置をそのままにして、中央にある第１マーク１ｅが中心となるようにカメラ２の方向を向ける（図９（Ａ３）、（Ｂ３））。次に、カメラ２を平面チャートに近づけるように移動して、カメラ２の撮影画像に対して第１マークと第２マークが一杯に入るようにして撮影する（図９（Ａ４）、（Ｂ４））。
【００６２】
（III）：右上象限の第１マーク１ｂが撮影中心となるようにカメラ位置を変える。そして、カメラをそのまま中央にある第１マーク１ｅが中心となるようにカメラの方向を向け、第１マークと第２マークが一杯に入るようにして撮影する。
（IV）：左下象限の第１マーク１ｃが撮影中心となるようにカメラ位置を変える。そして、カメラをそのまま中央にある第１マーク１ｅが中心となるようにカメラの方向を向け、第１マークと第２マークが一杯に入るようにして撮影する。
（Ｖ）：右下象限の第１マーク１ｄが撮影中心となるようにカメラ位置を変える。そして、カメラをそのまま中央にある第１マーク１ｅが中心となるようにカメラの方向を向け、第１マークと第２マークが一杯に入るようにして撮影する。
このような手順によって、カメラ２の角度が必要な撮影角度の差として確保できるので、焦点距離が確実に測定できるようになる。
【００６３】
またカメラ２と平面チャートの間隔Ｈは、ズーム式カメラの焦点距離ｆから定められる。例えば、ズーム式カメラの焦点距離が３５ｍｍの標準レンズに相当している場合では、撮影距離Ｈは９０ｃｍ程度になる。平面チャートに設けられた第１マークの相互間隔ｄは、例えば２０ｃｍであるから、正面（Ｉ）から左上（II）等に撮影方向を傾けるとき、撮影角度として約１０度が確保される。
なお、撮影方向の傾斜角度の上限は焦点深度などによって定まる。即ち、撮影方向の傾斜角度が大きいとカメラ２と第１マーク間の距離が各第１マークによって相違し、画像に写る第１マークの像がボケてしまう。そこで、撮影方向の傾斜角度の上限は、例えば３０度となる。実際の撮影手順は上記（Ｉ）〜（Ｖ）に示した通りで、カメラの画面一杯に第１マークと第２マークが入るように撮影すれば、自ずと上記条件になるので、撮影距離と位置の条件が満足される。
【００６４】
図１０は標準レンズや望遠レンズに相当する焦点距離でのレンズ収差を計測する場合の、カメラ間隔を示した図である。焦点距離が標準レンズや望遠レンズに相当する場合には、撮影レンズの画角が狭くなり、角度がつかなくなるため、正面（Ｉ）から左上（II）等に撮影方向を傾けるとき、撮影角度としての１０度が確保されなくなる。即ち、焦点距離が長い場合にはカメラ２と平面チャートの撮影距離Ｈが１ｍ以上であって、第１マークの相互間隔ｄが２０ｃｍ程度に過ぎないためである。そこで、正面のカメラ位置を中心として、左側のカメラ位置（II）、（IV）と、右側のカメラ位置（III）、（Ｖ）を定める。この際に、左右のカメラ位置の間隔を正面（Ｉ）の位置からそれぞれ撮影距離Ｈの１／３程度とった位置にカメラを設置して、上述の左上（II）、左下（IV）及び右上（III）、右下（Ｖ）での撮影を行えばよい。カメラの光軸は、平面チャートの法線方向と一致させればよいが、平面チャート方向を向けても良い。
【００６５】
なお、上記のキャリブレーション撮影のインストラクションにおいては、撮影位置として正面（Ｉ）、左上（II）、右上（III）、左下（IV）、右下（Ｖ）の５方向の場合を示したが、撮影位置は最低の場合には左右２方向あればよく、また３方向以上でもよい。左右２方向の場合も、撮影角度として約１０度が確保されるようにして平面チャートの撮影を行う。
【００６６】
続いて、キャリブレーション撮影のインストラクションについてフローチャートを用いて説明する。図１１はインストラクションに従い校正体画像を撮影する手順の一例を説明するフローチャートである。ここでは、画像キャリブレーション処理装置１０とユーザ端末２０とでインタラクティブにインストラクションを授受して校正体画像を撮影する場合を示しているが、撮影手順をすべて一括して一度に顧客側に送り、それを顧客がコンピュータ上で適宜参照しながら撮影を行っても良い。ここでは、図８に示すように平面チャートを正面（Ｉ）、左上（II）、右上（III）、左下（IV）、右下（Ｖ）の５方向から撮影する場合について説明する。
【００６７】
まず正面（Ｉ）方向について、撮影方法１を画像キャリブレーション処理装置１０からユーザ端末２０へ送信する（Ｓ７０）。撮影方法１は、例えば図９（Ａ１）、（Ｂ１）に図示する状態となるように、撮影する。好ましくは、ユーザ端末２０にて撮影手順を簡単なコメント、例えば「中央にある第１マーク１ｅが中心となるようにカメラ２をセットして、平面チャート全体がいっぱいに入るようにして写します。」を表示させる。この時、図９（Ａ１）、（Ｂ１）の図面も、コメントと同時にユーザ端末２０に表示してもよく、また順次顧客の要求によって表示してもよい。また、表示部２５に撮影ターゲットとしての第１マーク１ｅを表示させる場合は、撮影ターゲット画像に切り替え表示して撮影する。この場合、画面いっぱいになるように撮影するので、カメラ２の画角によって自ずから撮影距離Ｈが定まる。
【００６８】
次に、カメラ２を用いて平面チャートの第１マーク１ｅを撮影する（Ｓ７２）。このときインストラクションに表示されているのと同様な画像が、ファインダ（モニタ）上に写っているか確認しながら、作業者は校正体４の撮影を行う。そして、第１マーク１ｅの撮影が終了したことを、画像キャリブレーション処理装置１０に通知する（Ｓ７４）。なお、予め一括手順でインストラクションをダウンロードしていれば、第１マーク１ｅ撮影完了における逐次連絡は必要でない。好ましくは、カメラがコンピュータに接続されている場合や、撮影画像を送信する作業が面倒でなければ、Ｓ７４で撮影画像を送信してもよい。また、即時に撮影した校正体画像を送信できれば、校正体画像を判定して、撮影品質が低い場合に再撮影する作業が容易になる。
【００６９】
平面チャートの第１マーク１ａ、１ｂ、１ｃ、１ｄの各象限４点については、以下のように撮影手順を順次表示、確認しながら行う。まず、第１マーク１ａに関しては、撮影方法２の手順１を送信する（Ｓ７６）。例えば図９（Ａ２）、（Ｂ２）とコメント「次に、第１マーク１ａを撮影します。まず、カメラの中心が第１マーク１ａの位置になるように撮影距離をそのまま保って移動します。移動はおおよそ撮影距離の１／３程度にしてください。」を送信する。これに対応して、利用者が校正体４とカメラ２の撮影配置を図９（Ｂ２）のようにして、ファインダの画像がコメントと同様であるか確認する（Ｓ７８）。そして、ユーザ端末２０から手順１の終了信号を画像キャリブレーション処理装置１０に通知する（Ｓ８０）。
【００７０】
次に、画像キャリブレーション処理装置１０から手順２を送信する（Ｓ８２）。図９（Ａ３）、（Ｂ３）の場合、コメント「次に、その撮影位置から中央にある第１マーク１ｅが中心になるようにカメラを向けます。」を送信する。これに対応して、利用者が校正体４とカメラ２の撮影配置を図９（Ｂ３）のようにして、ファインダの画像がコメントと同様であるか確認する（Ｓ８４）。そして、ユーザ端末２０から手順１の終了信号を画像キャリブレーション処理装置１０に通知する（Ｓ８６）。
【００７１】
次に、画像キャリブレーション処理装置１０から手順３を送信する（Ｓ８８）。図９（Ａ４）、（Ｂ４）の場合、コメント「最後に、第１マーク１ｅを中心にしながら、ターゲットが画面全体に入るように前進します。そしてシャッターを押します。」を送信する。これに対応して、利用者が校正体４とカメラ２の撮影配置を図９（Ｂ４）のようにして、ファインダの画像がコメントと同様であるか確認する（Ｓ９０）。そして、ユーザ端末２０から第１マーク１ｅの撮影終了信号を画像キャリブレーション処理装置１０に送信する（Ｓ９２）。Ｓ９２で画像を送信する場合は、その画像を判定して撮影方法を送りなおすことも可能となる。その場合、図２のＳ１８、Ｓ２０、Ｓ２２、Ｓ２４と同様の手順となる。
【００７２】
そして、平面チャートの残り３点の第１マーク１ｂ、１ｃ、１ｄについて、第１マーク１ａに関する撮影方法２の手順１〜３と同様に、それぞれ撮影方法３〜５、手順１〜３を図１１のＳ７６〜Ｓ９２と同様の手順にて行う。
【００７３】
図１２は本発明の第２の実施の形態を説明する全体構成ブロック図である。なお、図１２において前記図１と同一作用をするものには同一符号を付して、説明を省略する。画像キャリブレーション処理装置１０は、キャリブレーション処理部１４とキャリブレーションデータベース１９に加えて、キャリブレーション処理結果抽出部１４ａを備えている。キャリブレーション処理結果抽出部１４ａは、受信したカメラの機種に対応するキャリブレーション処理の結果をキャリブレーションデータベース１９から抽出するもので、キャリブレーションデータベース１９に蓄積されているカメラの機種データに対するキャリブレーション処理の結果を利用している。修正被写体画像の精度として標準的な値が要求されている場合には、キャリブレーションデータベース１９に蓄積されているキャリブレーション処理の結果を利用することで、キャリブレーション処理部１４での個別カメラ２に対するキャリブレーション処理に代えることができる。
【００７４】
次に、このように構成された装置の動作について説明する。図１３は本方法発明の第２の実施の形態を説明するフローチャートである。ユーザ端末２０は、カメラ２のキャリブレーション要求（サービスリクエスト）を、通信回線８経由で画像キャリブレーション処理装置１０に送信する（Ｓ１０）。すると、画像キャリブレーション処理装置１０では、認証の結果、ユーザ端末２０の利用者に正当な利用権原があると認められると、画像キャリブレーション処理装置１０は、カメラ２の機種データを要求する（Ｓ１１ａ）。ユーザ端末２０側では、キー入力部２２で入力するとか、ユーザ端末２０に設けられるカメラ２の判別機能を用いてカメラ２の機種データを取得して、画像キャリブレーション処理装置１０へ、通信回線８経由で送信する（Ｓ１１ｂ）。すると、キャリブレーション処理結果抽出部１４ａにて、キャリブレーションデータベース１９に蓄積されているキャリブレーション処理の結果を検索して、該当するカメラの機種データを抽出する（Ｓ１１ｃ）。
【００７５】
キャリブレーション処理結果抽出部１４ａで該当するカメラの機種データを抽出できた場合には、Ｓ２８に進む。この際に、キャリブレーションデータベース１９で抽出されたカメラの機種データに対するキャリブレーション処理の結果のバラツキも考慮するとよい。例えば、修正被写体画像に高精度が要求される場合には、要求される精度を充足するキャリブレーション処理の結果が得られた場合に、Ｓ２８に進む構成としても良い。なお、Ｓ２８〜Ｓ３４については、図２にて説明済みなので、詳細を省略する。
【００７６】
他方、Ｓ１１ｄにてキャリブレーション処理結果抽出部１４ａで該当するカメラの機種データを抽出できない場合は、Ｓ１２に進んで校正体画像をカメラ２で撮影して、個別カメラ２に適合するキャリブレーション処理の結果を取得する。なお、Ｓ１２〜Ｓ２６については、図２にて説明済みなので、詳細を省略する。
【００７７】
本発明の第２の実施の形態によれば、キャリブレーションデータベース１９にキャリブレーション処理の結果を蓄積させ、利用者からの要求に応じてカメラの機種データに対応するキャリブレーション処理の結果を抽出して、ユーザ端末に送信している。すると、利用者は校正体画像を撮影する必要もなく、目的とするキャリブレーション処理の結果を取得できるので、利用者にとって大変簡便な方法となる。また、画像キャリブレーション処理装置１０では、キャリブレーションデータ-ベース１９にキャリブレーション処理の結果を蓄積させているので、キャリブレーション処理の結果を蓄積すれば累積効果によって、対応できるカメラの機種データも増大して、効率のよいものになる。
【００７８】
図１４は本発明の第３の実施の形態を説明する全体構成ブロック図である。第３の実施の形態を第１の実施の形態と比較して説明すると、修正被写体画像形成部はユーザ端末４０側に設けられている点が相違する。即ち、画像キャリブレーション処理装置３０では、キャリブレーション処理部３４で演算されたキャリブレーション処理の結果が、ユーザ端末向け返信部３６によりユーザ端末４０に送信される。ユーザ端末４０には修正被写体画像形成部４６が設けられており、被写体画像を修正被写体画像にする処理を行う。ここでは、図１４で示す第３の実施の形態の構成要素に関しては、図１で示す第１の実施の形態の同一名称の構成要素に関する説明を、性質に反しない範囲で援用して、詳細な説明を省略する。
【００７９】
図において、画像キャリブレーション処理装置３０は、ユーザ端末向け受信部３１、利用者認証部３２、インストラクション抽出部３３、キャリブレーション処理部３４、情報読出し部３４ｂ、ユーザ端末向け返信部３６、表示部３６ａ、利用者データベース３７、インストラクションデータベース３８、キャリブレーションデータベース３９を備えている。画像キャリブレーション処理端末４０は、処理装置向け送信部４１、キー入力部４２、処理装置向け受信部４４、表示部４５、修正被写体画像形成部４６を備えている。
【００８０】
次に、このように構成された装置の動作について説明する。図１５は本方法発明の第３の実施の形態を説明するフローチャートである。ユーザ端末４０は、カメラ２のキャリブレーション要求（サービスリクエスト）を、通信回線８経由で画像キャリブレーション処理装置３０に送信する（Ｓ１００）。すると、画像キャリブレーション処理装置３０では、キャリブレーション要求に対してユーザ端末４０の利用者に正当な利用権原があるか認証を行う。認証の結果、ユーザ端末４０の利用者に正当な利用権原があると認められると、画像キャリブレーション処理装置３０は、カメラ２の機種に応じたキャリブレーション撮影のインストラクションをユーザ端末４０に返信する（Ｓ１０２）。
【００８１】
ユーザ端末４０側では、キャリブレーション撮影のインストラクションに従い、カメラ２にて校正体４を撮影する（Ｓ１０４）。撮影された校正体画像は、撮影データと共にユーザ端末４０から画像キャリブレーション処理装置３０へ、通信回線８経由で送信される（Ｓ１０６）。画像キャリブレーション処理装置３０では、送信された校正体画像の撮影品質を判断し、例えばピントが適切でない画像や校正体４の画像が小さくてキャリブレーション処理に適していない画像か判断する（Ｓ１０８）。不適切な校正体画像であれば、再度のカメラ２による校正体４撮影を要求する（Ｓ１１０）。利用者は、再撮影要求に対して、コメントに留意してカメラ２にて校正体４を撮影する（Ｓ１１２）。撮影された校正体画像は、撮影データと共にユーザ端末４０から画像キャリブレーション処理装置３０へ、通信回線８経由で送信され（Ｓ１１４）、Ｓ１０８にて校正体画像の撮影品質が判断される。
【００８２】
校正体画像の撮影品質が適正であれば、キャリブレーション処理部１４では受信した校正体画像を用いてキャリブレーション処理を行なう（Ｓ１１６）。このキャリブレーション処理の結果は、カメラの機種と共にキャリブレーションデータベース１９に蓄積される。カメラの機種は、例えば校正体画像に付随する撮影状態情報を情報読出し部１４ｂにて読み出して、取得する。そして、画像キャリブレーション処理装置３０では、Ｓ１１６で求めたキャリブレーション処理の結果をユーザ端末４０に返信する（Ｓ１１８）。
【００８３】
次に、ユーザ端末４０側では、校正体画像を撮影したカメラ２で被写体６を撮影する（Ｓ１２０）。ユーザ端末４０では、被写体画像を受信したキャリブレーション処理の結果に従い、被写体画像にキャリブレーションを施して修正被写体画像を形成する（Ｓ１２２）。そして、形成された修正被写体画像を、例えば表示部４５に表示したり、紙媒体に印刷したり、電子磁気記憶媒体に記憶させる。
【００８４】
図１６は本発明の第４の実施の形態を説明する全体構成ブロック図である。なお、図１６において前記図１、図１２、図１４と同一作用をするものには同一符号を付して、説明を省略する。画像キャリブレーション処理装置３０は、キャリブレーション処理部３４とキャリブレーションデータベース３９に加えて、キャリブレーション処理結果抽出部３４ａを備えていると共に、修正被写体画像形成部４６は、画像キャリブレーション処理装置３０に設けるのではなく、ユーザ端末４０側に設けられる。キャリブレーション処理結果抽出部３４ａは、受信したカメラの機種に対応するキャリブレーション処理の結果をキャリブレーションデータベース３９から抽出するもので、キャリブレーションデータベース３９に蓄積されているカメラの機種データに対するキャリブレーション処理の結果を利用している。
【００８５】
次に、このように構成された装置の動作について説明する。図１７は本方法発明の第４の実施の形態を説明するフローチャートである。ユーザ端末４０は、カメラ２のキャリブレーション要求（サービスリクエスト）を、通信回線８経由で画像キャリブレーション処理装置３０に送信する（Ｓ１００）。すると、画像キャリブレーション処理装置３０では、認証の結果、ユーザ端末４０の利用者に正当な利用権原があると認められると、画像キャリブレーション処理装置３０は、カメラ２の機種データを要求する（Ｓ１０１ａ）。ユーザ端末４０側では、キー入力部２２で入力するとか、ユーザ端末４０に設けられるカメラ２の判別機能を用いてカメラ２の機種データを取得して、画像キャリブレーション処理装置３０へ、通信回線８経由で送信する（Ｓ１０１ｂ）。すると、キャリブレーション処理結果抽出部３４ａにて、キャリブレーションデータベース３９に蓄積されているキャリブレーション処理の結果を検索して、該当するカメラの機種データを抽出する（Ｓ１０１ｃ）。
【００８６】
キャリブレーション処理結果抽出部３４ａで該当するカメラの機種データを抽出できた場合には、Ｓ１１８に進む。なお、Ｓ１１８〜Ｓ１２２については、図１５にて説明済みなので、詳細を省略する。
【００８７】
他方、Ｓ１０１ｄにてキャリブレーション処理結果抽出部３４ａで該当するカメラの機種データを抽出できない場合は、Ｓ１１２に進んで校正体画像をカメラ２で撮影して、個別カメラ２に適合するキャリブレーション処理の結果を取得する。なお、Ｓ１１２〜Ｓ１１６については、図１５にて説明済みなので、詳細を省略する。
【００８８】
図１８は本発明の第５の実施の形態を説明する全体構成ブロック図である。なお、図１８において前記図１と同一作用をするものには同一符号を付して、説明を省略する。ここでは、カメラ２は校正体４と被写体６を一枚の画像で撮影するものとし、少なくとも左撮影方向と右撮影方向の２方向で撮影されたステレオ画像として、ユーザ端末２０にて取扱われる。画像キャリブレーション処理装置１０には、修正被写体画像形成部１５とユーザ端末向け返信部１６の間に三次元計測部１５ａが設けられている。
【００８９】
三次元計測部１５ａは、ステレオ画像生成部１５１、画像計測部１５２を備えている。ステレオ画像生成部１５１は、カメラ２で撮影されたステレオ画像について標定（相互標定と絶対標定）を行って偏位修正を行って、偏位修正画像を生成する機能を有するもので、典型的にはコンピュータによって実行可能なソフトウェアにて構成されている。ここで偏位修正画像とは、右撮影方向と左撮影方向の一組のステレオ撮影された画像を偏位修正して、立体視できるように調整したものをいう。画像計測部１５２は、ステレオ画像生成部１５１により作成されたステレオ画像から、いわゆる絶対標定を行って、各画素（ピクセル）の地上座標を計算する。この処理の詳細は、例えば特開平１１−３５１８６５号公報に開示されている。画像計測部１５２を用いることで、計測対象物３０表面の凹凸形状のような三次元形状を正確に測定できる。
【００９０】
次に、このように構成された装置の動作について説明する。図１９は本方法発明の第５の実施の形態を説明するフローチャートである。ユーザ端末２０は、カメラ２のキャリブレーション要求（サービスリクエスト）を、通信回線８経由で画像キャリブレーション処理装置１０に送信する（Ｓ２００）。キャリブレーション要求には、ステレオ画像を用いた被写体６の３次元画像計測も含まれている。すると、画像キャリブレーション処理装置１０では、ユーザ端末２０の利用者に正当な利用権原があるか認証を行なう。認証の結果、ユーザ端末２０の利用者に正当な利用権原があると認められると、画像キャリブレーション処理装置１０は、カメラ２の機種に応じたキャリブレーション撮影のインストラクションをユーザ端末２０に返信する（Ｓ２０２）。キャリブレーション撮影のインストラクションには、ステレオ画像を用いた被写体６の３次元画像計測用の留意事項も含まれている。
【００９１】
ユーザ端末２０側では、キャリブレーション撮影のインストラクションに従い、カメラ２にて校正体４と被写体６を一枚の画像に同時に含まれるようにステレオ撮影する（Ｓ２０４）。ステレオ撮影なので、カメラ２を用いて、右撮影方向と左撮影方向の一組のステレオ撮影された画像が得られる。ステレオ撮影された校正体・被写体画像は、撮影データと共にユーザ端末２０から画像キャリブレーション処理装置１０へ、通信回線８経由で送信される（Ｓ２０６）。
【００９２】
画像キャリブレーション処理装置１０では、送信された校正体・被写体画像の撮影品質を判断し、例えばピントが適切でない画像や校正体４の画像が小さくてキャリブレーション処理に適していない画像か判断する（Ｓ２０８）。不適切な校正体・被写体画像であれば、再度のカメラ２による校正体４と被写体６の撮影を要求する（Ｓ２１０）。このとき、キャリブレーション処理に適する校正体・被写体画像とするには、何れの点に留意して撮影するかのコメントを含ませると良い。利用者は、再撮影要求に対して、コメントに留意してカメラ２にて校正体４と被写体６を撮影する（Ｓ２１２）。撮影された校正体・被写体画像は、撮影データと共にユーザ端末２０から画像キャリブレーション処理装置１０へ、通信回線８経由で送信され（Ｓ２１４）、Ｓ２０８にて校正体・被写体画像の撮影品質が判断される。
【００９３】
校正体・被写体画像の撮影品質が適正であれば、キャリブレーション処理部１４では受信した校正体・被写体画像のうち、校正体４の画像を用いてキャリブレーション処理を行なう（Ｓ２１６）。このキャリブレーション処理の結果は、カメラの機種と共にキャリブレーションデータベース１９に蓄積される。次に、ユーザ端末２０側では、校正体・被写体画像から修正被写体画像を生成して（Ｓ２１８）、通信回線８経由でユーザ端末２０に送信する（Ｓ２２０）。さらに、画像キャリブレーション処理装置１０では、修正被写体画像を三次元計測部１５ａで処理して三次元計測を行なう（Ｓ２２２）。そして、得られた三次元計測結果を画像キャリブレーション処理装置１０からユーザ端末２０に返信する（Ｓ２２４）。この時、さらに修正被写体画像をオルソ画像に変換して、画像キャリブレーション処理装置１０からユーザ端末２０に返信してもよい。上述において、三次元計測を２つの画像を用いるステレオ法により行う場合を説明したが、校正体４と被写体６が写されている一枚の画像を用いて単写真標定法、また複数の画像から求めるセルフキャリブレーション付きバンドル調整法等の各種方法が採用できる。
【００９４】
図２０は本発明の第６の実施の形態を説明する全体構成ブロック図である。なお、図２０において前記図１８と同一作用をするものには同一符号を付して、説明を省略する。ここでは、三次元計測部が画像キャリブレーション処理装置３０ではなく、ユーザ端末２０側に設けられている。三次元計測部４７は、ステレオ画像生成部４７１、画像計測部４７２を備えている。ステレオ画像生成部４７１、画像計測部４７２に関しては、前述のステレオ画像生成部１５１、画像計測部１５２の説明を援用する。
【００９５】
次に、このように構成された装置の動作について説明する。図２１は本方法発明の第６の実施の形態を説明するフローチャートである。図２１のＳ２００〜Ｓ２１６までは、図１９のＳ２００〜Ｓ２１６と同様なので説明を省略する。Ｓ２１６のキャリブレーション処理の結果は、カメラの機種と共にキャリブレーションデータベース１９に蓄積されると共に、ユーザ端末４０に送信される（Ｓ２３０）。ユーザ端末４０は、送信されたキャリブレーション処理の結果を用いて、校正体・被写体画像から修正被写体画像を生成する（Ｓ２３２）。さらに、ユーザ端末４０は、修正被写体画像を三次元計測部４７で処理して三次元計測を行なう（Ｓ２３４）。この時、さらに修正被写体画像をオルソ画像に変換してもよい。修正被写体画像は、例えばユーザ端末４０の表示部４５に表示させたり、或いはステレオ表示用テレビに表示する。
【００９６】
続いて、第１乃至第６の実施の形態で使用されるセルフキャリブレーションバンドル調整法について説明する。キャリブレーション処理部１４、３４で用いられるキャリブレーション処理としては、例えば写真測量分野で使用されている「セルフキャリブレーション付きバンドル調整法」を用いる。ここで、「バンドル調整」とは、被写体、レンズ、ＣＣＤ面を結ぶ光束（バンドル）は同一直線上になければならないという共線条件に基づき、各画像の光束１本毎に観測方程式をたて、最小２乗法によりカメラの位置と傾き（外部標定要素）と第２マークの座標位置を同時調整する方法である。「セルフキャリブレーション付き」とはさらに、キャリブレーション要素、即ちカメラの内部定位（レンズ収差、主点、焦点距離）を求めることができる方法である。セルフキャリブレーション付きバンドル調整法（以下単に「バンドル調整法」という）の共線条件基本式は、次の（式２）と（式３）である。
【００９７】
【数１】

【数２】

ここで、要素ａ₁₁〜ａ₃₃は、カメラの傾き（ω、φ、κ）に回転行列の要素である。ω、φ、κは、対象座標系を構成する３軸Ｘ，Ｙ，Ｚに対するカメラ撮影時の傾きを表すもので、外部標定要素と呼ばれる。（Ｘ，Ｙ，Ｚ）は対象座標系における基準マークのような対象物の座標、（Ｘ₀，Ｙ₀，Ｚ₀）は投影中心点Ｏｃの座標とする。（特願２００２−１９５０５８明細書［００５２］、［００５６］、［００６８］参照）バンドル調整法は、（式２）と（式３）を用いて、複数画像から最小二乗近似して、各種解を算出する手法であり、各撮影位置のカメラの外部標定要素を同時に求めることが可能となる。即ち、カメラのキャリブレーション要素を求めることが可能となる。
【００９８】
次に、内部定位の補正モデル（レンズ収差）として、放射方向レンズ歪を有する場合の一例を次の（式４）に示す。
【数３】

補正モデルはこれに限らず、使用レンズにあてはまるものを選択すればよい。これら計算は、基準点を地上座標と画像座標で６点以上あれば、逐次近似解法によって算出される。
【００９９】
次に、図３に示した校正体４としての平面チャートを用いてレンズ収差を演算することは、既に本出願人が提案している特願２００２−１９５０５８明細書等に開示されている。平面チャートを用いてレンズ収差を演算する具体的内容は、本発明の主題との関係が薄いので、当該明細書を引用して、本明細書では繰返しを避けることにする。校正体４としては、図３に示す平面チャートの他に、他の形式の平面チャートや立体チャートを用いることもでき、各チャートに対応してレンズ収差を演算式が得られているから、これを用いてキャリブレーション処理を行えばよい。
【０１００】
【発明の効果】
以上説明したように、本発明の画像キャリブレーション方法によれば、キャリブレーション撮影のインストラクションに従い撮影された校正体画像を画像キャリブレーション処理装置にて受信するステップと、受信した校正体画像を用いてキャリブレーション処理を行なうステップとによって、カメラに対するキャリブレーション処理がユーザ端末から離れた位置にある画像キャリブレーション処理装置によって演算される。また、校正体画像を撮影したカメラで撮影された被写体画像に対して、キャリブレーション処理の結果に従い、被写体画像にキャリブレーションを施して修正被写体画像を形成しているので、カメラのレンズ収差の影響を補償した修正被写体画像が容易に得られる。
【０１０１】
また、本発明の画像キャリブレーション方法によれば、カメラの機種に対応するキャリブレーション処理の結果が蓄積されたキャリブレーションデータベースを有する画像キャリブレーション処理装置に対して、ユーザ端末から被写体画像の撮影を行なうカメラの機種情報を送信するステップと、受信したカメラの機種に対応するキャリブレーション処理の結果をキャリブレーションデータベースから抽出するステップを有しているので、抽出されたキャリブレーション処理の結果がカメラの被写体画像に適用できるのであれば、カメラの利用者はキャリブレーション撮影のインストラクションに従って校正体画像を撮影しなくてもすみ、修正被写体画像が容易に得られる。
【図面の簡単な説明】
【図１】 本発明の第１の実施の形態を説明する全体構成ブロック図である。
【図２】 本方法発明の第１の実施の形態を説明するフローチャートである。
【図３】 平面チャートの一例を示す平面図である。
【図４】 キャリブレーション処理の結果の一例を示す説明図である。
【図５】 ズーム式レンズに対するキャリブレーション処理の結果の一例を示す説明図である。
【図６】 校正体画像を撮影するインストラクションの詳細を示すフローチャートである。
【図７】 項目記入シートの一例を示す説明図である。
【図８】 カメラの各種焦点距離でのレンズ収差を計測する場合のカメラ配置を説明する斜視図である。
【図９】 カメラによる平面チャートの撮影手順を説明する図で、（Ａ１）、（Ａ２）、（Ａ３）、（Ａ４）にてカメラの画像を示し、カメラ画像に対応する平面チャートとカメラ２の位置関係を（Ｂ１）、（Ｂ２）、（Ｂ３）、（Ｂ４）にて示している。
【図１０】 標準レンズや望遠レンズに相当する焦点距離でのレンズ収差を計測する場合の、カメラ間隔を示した図である。
【図１１】 インストラクションに従い校正体画像を撮影する手順の一例を説明するフローチャートである。
【図１２】 本発明の第２の実施の形態を説明する全体構成ブロック図である。
【図１３】 本方法発明の第２の実施の形態を説明するフローチャートである。
【図１４】 本発明の第３の実施の形態を説明する全体構成ブロック図である。
【図１５】 本方法発明の第３の実施の形態を説明するフローチャートである。
【図１６】 本発明の第４の実施の形態を説明する全体構成ブロック図である。
【図１７】 本方法発明の第４の実施の形態を説明するフローチャートである。
【図１８】 本発明の第５の実施の形態を説明する全体構成ブロック図である。
【図１９】 本方法発明の第５の実施の形態を説明するフローチャートである。
【図２０】 本発明の第６の実施の形態を説明する全体構成ブロック図である。
【図２１】 本方法発明の第６の実施の形態を説明するフローチャートである。
【符号の説明】
２ カメラ
４ 校正体
６ 被写体
８ 通信回線
１０、３０ 画像キャリブレーション処理装置
１１、３１ ユーザ端末向け受信部
１３、３３ インストラクション抽出部
１４、３４ キャリブレーション処理部
１４ａ、３４ａ キャリブレーション処理結果抽出部
１４ｂ、３４ｂ 情報読出し部
１５ 修正被写体画像形成部
１５ａ、４７ 三次元計測部
１６、３６ ユーザ端末向け返信部
１６ａ、３６ａ 表示部
１９、３９ キャリブレーションＤＢ（データベース）
２０、４０ ユーザ端末（画像キャリブレーション処理端末）
２１、４１ 処理装置向け送信部
２４、４４ 処理装置向け受信部
４６ 修正被写体画像形成部

Claims (24)

1. ユーザ端末からのキャリブレーション要求を画像キャリブレーション処理装置にて受信するステップと；
   前記受信したキャリブレーション要求に適合するものであって、校正体の撮影方法を説明するインストラクションを前記キャリブレーション処理装置内に置かれたインストラクションデータベースから抽出し、ユーザ端末に返信するステップと；
   キャリブレーション撮影の前記インストラクションに従い撮影された校正体画像を前記画像キャリブレーション処理装置にて受信するステップと；
   前記受信した前記校正体画像を用いてキャリブレーション処理を行なうステップと；
   前記ユーザ端末から送信された被写体画像であって、前記校正体画像を撮影したカメラで撮影された前記被写体画像を前記画像キャリブレーション処理装置にて受信するステップと；
   前記キャリブレーション処理の結果に従い、前記被写体画像にキャリブレーションを施して修正被写体画像を形成するステップと；
   前記形成された修正被写体画像を前記画像キャリブレーション処理装置から前記ユーザ端末に返信するステップと；
   を含む画像キャリブレーション方法。
2. 前記校正体画像と前記被写体画像は、校正体と被写体が同時に撮影された共通の画像であり；
   さらに、前記修正被写体画像を用いて、前記被写体の三次元計測を行うステップを有する；
   請求項１に記載の画像キャリブレーション方法。
3. ユーザ端末からのキャリブレーション要求を画像キャリブレーション処理装置にて受信するステップと；
   前記受信したキャリブレーション要求に適合するものであって、校正体の撮影方法を説明するインストラクションを前記キャリブレーション処理装置内に置かれたインストラクションデータベースから抽出し、ユーザ端末に返信するステップと；
   キャリブレーション撮影の前記インストラクションに従い撮影された校正体画像を前記画像キャリブレーション処理装置にて受信するステップと；
   前記受信した前記校正体画像を用いてキャリブレーション処理を行なうステップと；
   前記キャリブレーション処理の結果を前記画像キャリブレーション処理装置から送信するステップと；
   を含み、前記ユーザ端末側では、前記画像キャリブレーション処理装置から送信されたキャリブレーション処理の結果を用いて、前記校正体画像を撮影したカメラで撮影された被写体画像にキャリブレーションを施して修正被写体画像を形成する画像キャリブレーション方法。
4. 前記校正体画像と前記被写体画像は、校正体と被写体が同時に撮影された共通の画像であり；
   前記ユーザ端末側にて、さらに、前記修正被写体画像を用いて、前記被写体の三次元計測を行うように構成された；
   請求項３に記載の画像キャリブレーション方法。
5. 前記画像キャリブレーション処理装置が、前記ユーザ端末から送信される校正体画像と共に、更に少なくとも撮影時の焦点距離及びカメラ機種、又は撮影時の焦点距離及び撮影に用いた撮像素子の大きさを受信するステップを有する；
   請求項１乃至請求項４の何れか１項に記載の画像キャリブレーション方法。
6. 前記画像キャリブレーション処理装置は、前記ユーザ端末から送信される校正体画像に添付された撮影情報から、前記キャリブレーション処理に必要なデータを読み出すステップを有し；
   該読み出されたデータは前記キャリブレーション処理に用いられる；
   請求項１乃至請求項４の何れか１項に記載の画像キャリブレーション方法。
7. 前記キャリブレーション処理では、前記校正体画像の撮影に掛かるカメラの主点位置、デストーションデータ、又は撮影レンズの焦点距離の少なくとも一つをキャリブレーション処理の結果に含む；
   請求項１乃至請求項６の何れか１項に記載の画像キャリブレーション方法。
8. 前記画像キャリブレーション処理装置は、前記受信した校正体画像を用いてキャリブレーション処理を行なう際に、算出されたキャリブレーション処理の結果をキャリブレーションデータベースに蓄積するステップを含む；
   請求項１乃至請求項７の何れか１項に記載の画像キャリブレーション方法。
9. カメラの機種に対応するキャリブレーション処理の結果が蓄積されたキャリブレーションデータベースを有する画像キャリブレーション処理装置に用いられる画像キャリブレーション方法であって；
   ユーザ端末からのキャリブレーション要求と被写体画像を、当該被写体画像の撮影を行なうカメラの機種と共に画像キャリブレーション処理装置にて受信するステップと；
   前記受信したカメラの機種に対応するキャリブレーション処理の結果を前記キャリブレーションデータベースから抽出するステップと；
   前記カメラの機種に対応する前記キャリブレーション処理の結果が抽出された場合には、前記抽出されたキャリブレーション処理の結果を用いて、前記被写体画像にキャリブレーションを施して修正被写体画像を形成し、
   前記カメラの機種に対応する前記キャリブレーション処理の結果が抽出されない場合には、校正体の撮影方法を説明するインストラクションをユーザ端末に送信し、前記送信された前記インストラクションに従い撮影された校正体画像を受信し、前記受信した校正体画像を用いてキャリブレーション処理を行い、得られたキャリブレーション処理の結果に従い前記被写体画像にキャリブレーションを施して修正被写体画像を形成するステップと；
   前記形成された修正被写体画像を前記画像キャリブレーション処理装置から前記ユーザ端末に返信するステップと；
   を含む画像キャリブレーション方法。
10. カメラの機種に対応するキャリブレーション処理の結果が蓄積されたキャリブレーションデータベースを有する画像キャリブレーション処理装置に用いられる画像キャリブレーション方法であって；
    ユーザ端末からのキャリブレーション要求を、被写体画像の撮影を行なうカメラの機種と共に画像キャリブレーション処理装置にて受信するステップと；
    前記受信したカメラの機種に対応するキャリブレーション処理の結果を前記キャリブレーションデータベースから抽出するステップと；
    前記カメラの機種に対応する前記キャリブレーション処理の結果が抽出された場合には、前記抽出されたキャリブレーション処理の結果を前記画像キャリブレーション処理装置から送信し、
    前記カメラの機種に対応する前記キャリブレーション処理の結果が抽出されない場合には、校正体の撮影方法を説明するインストラクションをユーザ端末に送信し、前記送信された前記インストラクションに従い撮影された校正体画像を受信し、前記受信した校正体 画像を用いてキャリブレーション処理を行い、得られたキャリブレーション処理の結果を前記画像キャリブレーション処理装置から送信するステップと；
    を含み、前記ユーザ端末側では、前記画像キャリブレーション処理装置から送信されたキャリブレーション処理の結果を用いて、前記被写体画像にキャリブレーションを施して修正被写体画像を形成する画像キャリブレーション方法。
11. 画像キャリブレーション処理装置に対するキャリブレーション要求をユーザ端末から送信するステップと；
    前記送信したキャリブレーション要求に適合したものであって、前記画像キャリブレーション処理装置内に置かれたインストラクションデータベースから抽出され、前記画像キャリブレーション処理装置から送信された、校正体の撮影方法を説明するインストラクションに従い、校正体画像を前記ユーザ端末から前記画像キャリブレーション処理装置に送信するステップと；
    前記校正体画像を撮影したカメラで撮影された被写体画像を前記画像キャリブレーション処理装置に送信するステップと；
    前記画像キャリブレーション処理装置から送信された修正被写体画像であって、前記送信した校正体画像を用いて得られたキャリブレーション処理の結果に従い、前記被写体画像にキャリブレーションを施して形成された前記修正被写体画像をユーザ端末で受信するステップと；
    を含む画像キャリブレーション方法。
12. 画像キャリブレーション処理装置に対するキャリブレーション要求をユーザ端末から送信するステップと；
    前記送信したキャリブレーション要求に適合したものであって、前記画像キャリブレーション処理装置内に置かれたインストラクションデータベースから抽出され、前記画像キャリブレーション処理装置から送信された、校正体の撮影方法を説明するインストラクションに従い、所定のカメラで撮影された校正体画像を前記ユーザ端末から前記画像キャリブレーション処理装置に送信するステップと；
    前記画像キャリブレーション処理装置で算出されたキャリブレーション処理の結果を前記ユーザ端末で受信するステップと；
    前記受信したキャリブレーション処理の結果を用いて、前記校正体画像を撮影したカメラで撮影された被写体画像にキャリブレーションを施して修正被写体画像を形成するステップと；
    を含む画像キャリブレーション方法。
13. ユーザ端末から送信された画像キャリブレーションの利用要求と、前記利用要求に適合するものであって、校正体の撮影方法を説明するインストラクションに従い撮影された校正体画像、並びに前記校正体画像を撮影したカメラで撮影された被写体画像を受信するユーザ端末向け受信部と；
    前記ユーザ端末向け受信部で受信した画像キャリブレーションの利用要求に適合する、前記インストラクションを抽出するインストラクション抽出部と；
    前記ユーザ端末向け受信部で受信した前記校正体画像を用いてキャリブレーション処理を行うキャリブレーション処理部と；
    前記キャリブレーション処理の結果に従い、前記被写体画像にキャリブレーションを施して修正被写体画像を形成する修正被写体画像形成部と；
    前記修正被写体画像形成部で形成された修正被写体画像、並びに前記インストラクション抽出部で抽出された前記インストラクションを前記ユーザ端末に送信するユーザ端末向け返信部と；
    を備える画像キャリブレーション処理装置。
14. さらに、前記修正被写体画像形成部で形成された修正被写体画像を表示する表示部を備える；
    請求項１３に記載の画像キャリブレーション処理装置。
15. 前記校正体画像と前記被写体画像は、校正体と被写体が同時に撮影された共通の画像であり；
    さらに、前記修正被写体画像を用いて、前記被写体の三次元計測を行う三次元計測部を有する；
    請求項１３又は請求項１４に記載の画像キャリブレーション処理装置。
16. ユーザ端末から送信された画像キャリブレーションの利用要求と、前記利用要求に適合するものであって、校正体の撮影方法を説明するインストラクションに従い撮影された校正体画像を受信するユーザ端末向け受信部と；
    前記ユーザ端末向け受信部で受信した画像キャリブレーションの利用要求に適合する、前記インストラクションを抽出するインストラクション抽出部と；
    前記ユーザ端末向け受信部で受信した前記校正体画像を用いてキャリブレーション処理を行うキャリブレーション処理部と；
    前記キャリブレーション処理部で算出されたキャリブレーション処理の結果、並びに前記インストラクション抽出部で抽出された前記インストラクションを前記ユーザ端末に送信するユーザ端末向け返信部と；
    を備え、前記ユーザ端末側では、前記ユーザ端末向け返信部から送信されたキャリブレーション処理の結果を用いて、前記校正体画像を撮影したカメラで撮影された被写体画像にキャリブレーションを施して修正被写体画像を形成する画像キャリブレーション処理装置。
17. 前記校正体画像と前記被写体画像は、校正体と被写体が同時に撮影された共通の画像であり；
    前記ユーザ端末側にて、さらに、前記修正被写体画像を用いて、前記被写体の三次元計測を行うように構成された；
    請求項１６に記載の画像キャリブレーション処理装置。
18. 前記ユーザ端末向け受信部は、前記ユーザ端末から送信される校正体画像又は被写体画像と共に、更に少なくとも撮影時の焦点距離及びカメラ機種、又は撮影時の焦点距離及び撮影に用いた撮像素子の大きさを受信する；
    請求項１３乃至請求項１７の何れか１項に記載の画像キャリブレーション処理装置。
19. キャリブレーション処理部は、前記ユーザ端末から送信される校正体画像に添付された撮影情報から、前記キャリブレーション処理に必要なデータを読み出す撮影情報読出し部を有し、該読み出されたデータは前記キャリブレーション処理に用いられる；
    請求項１３乃至請求項１７の何れか１項に記載の画像キャリブレーション処理装置。
20. 前記キャリブレーション処理部では、前記校正体画像の撮影に掛かるカメラの主点位置、デストーションデータ、又は撮影レンズの焦点距離の少なくとも一つをキャリブレーション処理の結果に含めて算出する；
    請求項１３乃至請求項１９の何れか１項に記載の画像キャリブレーション処理装置。
21. ユーザ端末からのキャリブレーション要求と被写体画像を、被写体画像の撮影を行なうカメラの機種と共に受信するユーザ端末向け受信部と；
    カメラの機種に対応するキャリブレーション処理の結果が蓄積されたキャリブレーションデータベースと；
    前記受信したカメラの機種に対応するキャリブレーション処理の結果を前記キャリブレーションデータベースから抽出するキャリブレーション処理結果抽出部と；
    前記抽出されたキャリブレーション処理の結果を用いて、ユーザ端末から送信される被写体画像にキャリブレーションを施して修正被写体画像を形成する修正被写体画像形成部と；
    前記形成された修正被写体画像を前記ユーザ端末に返信するユーザ端末向け返信部と；
    を備え、
    前記キャリブレーション処理結果抽出部にて前記カメラの機種に対応するキャリブレーション処理の結果が抽出されない場合には、
    前記ユーザ端末向け返信部は、校正体の撮影方法を説明するインストラクションをユーザ端末に送信し、
    前記ユーザ端末向け受信部は前記インストラクションに従い撮影された校正体画像を受信し、
    前記修正被写体画像形成部は前記インストラクションに従い撮影された校正体画像より求めたキャリブレーション処理の結果を用いて、ユーザ端末から送信される被写体画像にキャリブレーションを施して修正被写体画像を形成する画像キャリブレーション処理装置。
22. ユーザ端末からのキャリブレーション要求を、被写体画像の撮影を行なうカメラの機種と共に受信するユーザ端末向け受信部と；
    カメラの機種に対応するキャリブレーション処理の結果が蓄積されたキャリブレーションデータベースと；
    前記受信したカメラの機種に対応するキャリブレーション処理の結果を前記キャリブレーションデータベースから抽出するキャリブレーション処理結果抽出部と；
    前記抽出されたキャリブレーション処理の結果を前記ユーザ端末に送信するユーザ端末向け返信部と；
    を備え、
    前記キャリブレーション処理結果抽出部にて前記カメラの機種に対応するキャリブレーション処理の結果が抽出されない場合には、
    前記ユーザ端末向け受信部は、校正体の撮影方法を説明するインストラクションに従い撮影された校正体画像を受信し、
    前記ユーザ端末向け返信部は前記インストラクションの送信および前記校正体画像より求めたキャリブレーション処理の結果の返信を行い、
    前記ユーザ端末側で前記ユーザ端末向け返信部から送信されたキャリブレーション処理の結果を用いて、前記被写体画像にキャリブレーションを施して修正被写体画像を形成するように構成された画像キャリブレーション処理装置。
23. 画像キャリブレーションの利用要求と、前記利用要求に適合するものであって、画像キャリブレーション処理装置に置かれたインストラクションデータベースから抽出され、校正体の撮影方法を説明するインストラクションに従い撮影された校正体画像、並びに前記校正体画像を撮影したカメラで撮影された被写体画像を前記画像キャリブレーション処理装置に送信する処理装置向け送信部と；
    前記画像キャリブレーション処理装置から送信された修正被写体画像であって、前記被写体画像にキャリブレーションを施して形成された前記修正被写体画像を受信する処理装置向け受信部と；
    処理装置向け受信部で受信した前記インストラクションと、前記修正被写体画像を表示する表示部と；
    を備える画像キャリブレーション処理端末。
24. 画像キャリブレーションの利用要求と、前記利用要求に適合するものであって、画像キ ャリブレーション処理装置に置かれたインストラクションデータベースから抽出され、校正体の撮影方法を説明するインストラクションに従い撮影された校正体画像を前記画像キャリブレーション処理装置に送信する処理装置向け送信部と；
    前記画像キャリブレーション処理装置から送信されたキャリブレーション処理の結果を受信する処理装置向け受信部と；
    前記処理装置向け受信部で受信したキャリブレーション処理の結果を用いて、前記校正体画像を撮影したカメラで撮影された被写体画像にキャリブレーションを施して修正被写体画像を形成する修正被写体画像形成部と；
    を備える画像キャリブレーション処理端末。

Images