JP5825256B2

JP5825256B2 - 画像処理装置、画像処理方法および画像処理用プログラム

Info

Publication number: JP5825256B2
Application number: JP2012517123A
Authority: JP
Inventors: 中野　学; 学中野
Original assignee: NEC Corp
Current assignee: NEC Corp
Priority date: 2010-05-26
Filing date: 2011-05-18
Publication date: 2015-12-02
Anticipated expiration: 2031-05-18
Also published as: US9053522B2; WO2011148595A1; JPWO2011148595A1; US20130064430A1

Description

本発明は、画像処理装置、画像処理方法および画像処理用プログラムに関し、特に、注目物体を含む複数の変換対象画像から注目物体の３次元表示を行うための画像を生成するための画像処理装置、画像処理方法および画像処理用プログラムに関する。

様々な角度から撮影した注目物体の画像をユーザ操作により連続的に切り替えることで、３次元表示を行う表現方法がある。ユーザに見やすい３次元映像を提供するためには、注目物体が画像の中心に位置していることが望ましい。

注目物体が画像の中心に位置する画像を撮影する方法の一例が特許文献１〜３に記載されている。特許文献１に記載されている撮影方法では、複数のカメラとそれらを支える支持部を用いて注目物体が様々な角度から撮影されている。

また、特許文献２に記載されている撮影装置は、複数のカメラと計算機に接続された回転台とを用いて注目物体を様々な角度から撮影する。

また、特許文献３に記載されている画像入力方法では、固定されていないカメラで注目物体が様々な角度から撮影され、姿勢検出部により検出されたカメラの姿勢情報から画像中の注目物体の中心位置を揃えるための２次元幾何変換行列が算出され、画像変換が施される。

特開２００４−２６４４９２号公報特開２００７−７２５３７号公報特開２００５−４９９９９号公報

しかし、特許文献１〜３に記載されている方法および装置では、注目物体を画像の中心に位置させるために、単一のカメラ以外にも、設置場所が固定された複数のカメラや注目物体を設置する回転台、加速度センサ等の多数の装置が必要であるという課題があった。

例えば、特許文献１に記載されている撮影方法では、支持部はカメラを固定する複数の雲台と、雲台を支える支持フレームと支持アームおよび支柱などの多数の装置が必要である。また、撮影者は複数のカメラを同一直線上、同一円弧状、同一平面上、同一形状のいずれかに配置しなければならず、撮影にいたるまでの準備が非常に複雑である。

また、特許文献２に記載されている撮影装置では、回転台は計算機により動作を制御される。またカメラは、円弧状の撮像装置設置台に等間隔に設置されている。撮影者は注目物体を回転台に載せるだけで撮影できるため、カメラや工作の知識は必要ないが、特許文献１と同様にカメラ以外にも多数の装置が必要である。

また、特許文献３に記載されている画像入力方法では、複数のカメラやカメラを固定するための設置台は不要である。従って、撮影者はカメラで撮影するだけでよい。しかし、特許文献１や特許文献２と同様に、加速度センサや磁気センサといった姿勢検出装置等のカメラ以外の装置が必要である。

そこで、本発明は、注目物体を設置する回転台、加速度センサ等の他の装置を用いずに、単一のカメラで撮影した画像から３次元表示用の画像を生成することができる画像処理装置、画像処理方法および画像処理用プログラムを提供することを目的とする。

本発明による画像処理装置は、注目物体を含む複数の変換対象画像から注目物体の３次元表示を行うための画像を生成する画像処理装置であって、少なくとも１つの変換対象画像を表示する画像表示手段と、ユーザ操作に応じて、幾何変換の入力の基準となる第１基準点の候補である第１基準点候補の情報と、第１基準点候補の情報に基づき変換対象画像上に表示される第１基準点候補に対する決定信号とを受け付け、受け付けた決定信号の対象とされた第１基準点候補の情報を基に第１基準点を決定する第１基準点受付決定手段と、幾何変換の出力の基準となる第２基準点の情報を受け付け、第２基準点を決定する第２基準点受付決定手段と、第１基準点受付決定手段によって決定された第１基準点と、第２基準点受付決定手段によって決定された第２基準点とに基づいて、変換対象画像を幾何変換し、変換画像を出力する幾何変換手段と、各変換対象画像について、撮影時のカメラ位置姿勢を推定するカメラ位置姿勢推定手段と、カメラ位置姿勢推定手段によって推定されたカメラ位置姿勢に基づいて、３次元座標で表現される第１基準点候補を各変換対象画像に射影し、各変換対象画像における射影第１基準点候補を生成する第１基準点候補射影手段とを備え、第１基準点受付決定手段は、３次元座標で表現される第１基準点候補の情報と、第１基準点候補の情報に基づき少なくとも１つの変換対象画像上に表示される射影第１基準点候補に対する決定信号とを受け付け、決定信号を受け付けた場合に当該決定信号の対象とされた射影第１基準点候補の射影元である第１基準点候補の情報に基づいて生成される各変換対象画像における射影第１基準点候補をそれぞれ各変換対象画像における第１基準点として決定することを特徴とする。

また、本発明による画像処理方法は、注目物体を含む複数の画像である変換対象画像それぞれに幾何変換を施して３次元画像を生成するための画像処理方法であって、各変換対象画像について、撮影時のカメラ位置姿勢を推定し、ユーザ操作に応じて、幾何変換の入力の基準となる第１基準点の候補であって、３次元座標で表現される第１基準点候補の情報を受け付け、受け付けた第１基準点候補の情報と、推定されたカメラ位置姿勢とに基づいて、少なくとも１つの変換対象画像上に第１基準点候補を射影した射影第１基準点候補を表示し、ユーザ操作に応じて、変換対象画像上に表示される射影第１基準点候補に対する決定信号を受け付け、受け付けた決定信号の対象とされた射影第１基準点候補の射影元となる３次元座標と、各変換対象画像のカメラ位置姿勢とに基づき、各変換対象画像における第１基準点を決定し、幾何変換の出力の基準となる第２基準点の情報を受け付けて、第２基準点を決定し、変換対象画像それぞれについて、決定された第１基準点と第２基準点とに基づいて、変換対象画像を幾何変換し、変換画像を出力することを特徴とする。

また、本発明による画像処理用プログラムは、注目物体を含む複数の画像である変換対象画像それぞれに幾何変換を施して３次元画像を生成するための画像処理用プログラムであって、コンピュータに、各変換対象画像について、撮影時のカメラ位置姿勢を推定する処理、ユーザ操作に応じて、幾何変換の入力の基準となる第１基準点の候補であって、３次元座標で表現される第１基準点候補の情報を受け付ける処理、受け付けた第１基準点候補の情報と、推定されたカメラ位置姿勢とに基づいて、少なくとも１つの変換対象画像上に第１基準点候補を射影した射影第１基準点候補を表示する処理、ユーザ操作に応じて、変換対象画像上に表示される射影第１基準点候補に対する決定信号を受け付けた場合に、受け付けた決定信号の対象とされた射影第１基準点候補の射影元となる３次元座標と、各変換対象画像のカメラ位置姿勢とに基づき、各変換対象画像における第１基準点を決定する処理、幾何変換の出力の基準となる第２基準点の情報を受け付けた場合に、第２基準点を決定する処理、および第１基準点と第２基準点とに基づいて、変換対象画像を幾何変換する処理を実行させることを特徴とする。

本発明によれば、注目物体を設置する回転台、加速度センサ等の他の装置を用いずに、単一のカメラで撮影した画像から３次元表示用の画像を生成することができる。

第１の実施形態の構成例を示すブロック図である。第１の実施形態の動作の一例を示すフローチャートである。第１の実施形態の変換処理の概要を示す説明図である。第２の実施形態の構成例を示すブロック図である。第２の実施形態の動作の一例を示すフローチャートである。第３の実施形態の構成例を示すブロック図である。第３の実施形態の動作の一例を示すフローチャートである。本発明を情報処理システムに適用した場合のブロック図である。本発明の概要を示すブロック図である。

実施形態１．
以下、本発明の実施形態を図面を参照して説明する。図１は、本発明の第１の実施形態の画像処理装置の構成例を示すブロック図である。図１に示す画像処理装置は、第１基準点受付手段１１と、画像表示手段１２と、第２基準点受付手段１３と、幾何変換手法決定手段１４と、幾何変換手段１５とを備える。

第１基準点受付手段１１は、ユーザからの入力として、注目物体を含む複数の画像（以下、変換対象画像という。）のそれぞれについて、第１基準点の候補とする第１基準点候補を受け付ける。また、第１基準点受付手段１１は、受け付けた第１基準点候補に対する決定信号を受け付けて、第１基準点を決定する。

第１基準点は、幾何変換の入力と出力の基準となる点のうち、入力側の基準点である。すなわち、第１基準点は、変換対象画像の座標系における位置情報（画像座標）によって表される基準点である。なお、第１基準点は、変換対象画像それぞれに対して設定される。基準点は、例えば、変換画像により表現したい３次元画像（例えば、注目物体の３６０度回転画像など）においてカメラの回転軸を構成する２以上の点であってもよい。なお、カメラの回転軸は、実際に撮影した際のカメラの回転軸ではなく、目的とする３次元画像においてユーザがカメラの移動の中心としたい軸である。また、基準点として必要な点の数（対応点数）は、幾何変換の方式に応じて設定可能であるが、いずれの方式においても２以上である。第２基準点は、出力側の基準点をいい、第１基準点の変換先となる点である。すなわち、第２基準点は、変換画像の座標系における位置情報によって表される基準点である。第１基準点の各点と第２基準点の各点とは、同一の３次元座標が投影された画像座標であるという対応関係をもつ。また、３次元画像の生成において、カメラの回転軸を構成する２以上の点のように、各変換対象画像間で同一の３次元座標を基準点とすることがより望ましい。

第１基準点受付手段１１は、例えば、画像表示手段１２に表示される各変換対象画像に対して行われるユーザ操作に応じて、第１基準点候補の情報（位置情報等）を入力することによって、第１基準点候補を受け付けてもよい。第１基準点受付手段１１は、受け付けた第１基準点候補を画像表示手段１２を介して変換対象画像上に表示させればよい。なお、第１基準点候補の情報が変更された場合にはその情報を基に変換対象画像上で第１基準点を移動させる。第１基準点候補の情報入力は、例えば、マウス等によるポインティングやキーボード等を介して行われる。最終的に、第１基準点受付手段１１が第１基準点決定信号（当該第１基準点決定信号の対象とする第１基準点候補を第１基準点に決定する旨を指示する情報）を受け付けることによって、そのときの第１基準点候補を第１基準点として決定すればよい。なお、第１基準点受付手段１１は、第１基準点として少なくとも２点を決定する。

なお、操作画面の描画領域に予め第１基準点候補の初期値として設定しておいた２点を表示した上で、その２点の位置をユーザに移動させてもよい。

第１基準点受付手段１１は、第１基準点を決定すると、決定した第１基準点を幾何変換手法決定手段１４に出力する。

画像表示手段１２は、画像を表示する。本実施形態では、画像表示手段１２は、変換対象画像を表示したり、変換対象画像に第１基準点を重ねた画像を表示する。また、画像表示手段１２は、変換後の画像である変換画像の枠内に第２基準点を表示したり、変換画像を表示してもよい。画像表示手段１２は、例えば、これらの表示を含む操作画面の画像情報を表示すればよい。

第２基準点受付手段１３は、第１基準点の変換先である第２基準点を受け付け、幾何変換手法決定手段１４に出力する。例えば、第１基準点が変換対象画像においてカメラの回転軸を構成する点（２以上）の位置を示す複数の画像座標である場合には、第２基準点を、その変換画像においてそのカメラの回転軸を構成する各点を投影したい位置を示す複数の画像座標とすればよい。第２基準点受付手段１３は、第１基準点と同様に、ユーザにその都度第２基準点を設定（入力）させてもよい。第２基準点は、予め設定されておいてもよい。第２基準点の各点は第１基準点の各点と対応づけて設定される。なお、第２基準点が予め設定される場合には、その設定情報の読み出しが、第２基準点の入力に相当する。また、第２基準点を、全変換画像共通の値として設定することも可能である。例えば、各変換画像において注目物体がほぼ中央に位置するようにカメラの回転軸の位置（画像座標）を設定してもよい。

幾何変換手法決定手段１４は、第１基準点受付手段１１から出力される第１基準点と、第２基準点受付手段１３から出力される第２基準点とに基づき、各変換対象画像に施す幾何変換手法を決定する。より具体的には、幾何変換手法決定手段１４は、変換対象画像に施す幾何変換の変換式（座標変換式）のパラメータを決定する。幾何変換手法決定手段１４は、例えば、予め設定された変換手法に従って、各変換対象画像に対して設定された必要な数の第１基準点および第２基準点を基に、該変換手法において使用される所定の変換式（座標変換式）のパラメータを決定してもよい。幾何変換手法決定手段１４は、決定したパラメータまたは決定したパラメータを含む座標変換式の情報を、幾何変換手法を示す情報として幾何変換手段１５に出力する。

幾何変換手段１５は、幾何変換手法決定手段１４によって決定された幾何変換手法に基づき各変換対象画像に幾何変換を施し、変換画像を出力する。幾何変換手段１５は、例えば、幾何変換手法を示す情報として入力される座標変換式を用いて、変換対象画像の画素情報を変換することにより変換画像を得る。この変換処理には、変換後の画像座標に対して内挿を行い画素の欠損を補償する処理を含む。なお、幾何変換手段１５が、幾何変換手法決定手段１４の機能を含んで構成されてもよい。すなわち、幾何変換手法決定手段１４は、幾何変換手段１５に実装されていてもよい。

第１基準点受付手段１１、第２基準点受付手段１３は、例えば、マウスやキーボード、タッチパネルなどの情報入力装置と、プログラムによって動作するＣＰＵとによって実現される。また、画像表示手段１２は、例えば、モニタやプロジェクタなどの画像表示装置と、プログラムに従って動作するＣＰＵによって実現される。また、幾何変換手法決定手段１４、幾何変換手段１５は、例えば、特定の演算処理等を行うよう設計されたハードウェアや、プログラムに従って動作するＣＰＵによって実現される。

次に、本実施形態の動作を図２を参照して説明する。図２は、本実施形態の画像処理装置の動作の一例を示すフローチャートである。図２に示す例では、まず、画像表示手段１２が、変換対象画像を表示する（ステップＳ１１）。ここでは、第１基準点候補の入力を受け付けるために変換対象画像を表示する。例えば、注目物体を含む複数の画像が変換対象画像として入力されると、画像表示手段１２は、入力された変換対象画像群の中から選択された１つの変換対象画像を背景とする描画領域（例えばマウス操作に応じて点や印、それらを結ぶ線などの入力が可能な領域）を含む操作画面を表示する。画像表示手段１２は、表示する変換対象画像を順次切り替えてもよいし、ユーザ操作に応じて任意に切り替えてもよい。

次いで、第１基準点受付手段１１は、ユーザ操作に応じて、表示中の変換対象画像に対する第１基準点候補を入力する（ステップＳ１２）。ここでは、第１基準点受付手段１１は、１つの変換対象画像につき第１基準点候補の情報を入力する。第１基準点受付手段１１は、例えば、変換対象画像を表示している操作画面上に第１基準点候補の入力を促すメッセージを表示したり、変換対象画像上に第１基準点候補の初期値として設定されている２点を表示した上で、それらの点の調節を促すメッセージを表示するなどして、ユーザに第１基準点候補を入力させる。

また、第１基準点候補の情報が入力されると、画像表示手段１２は、入力された情報に基づき第１基準点候補を変換対象画像に重ねて表示する（ステップＳ１３）。すなわち、画像表示手段１２は、変換対象画像と第１基準点候補との合成画像を表示する。ステップＳ１３の処理において、画像表示手段１２は、操作画面の描画領域において入力された情報に基づき第１基準点候補が描画されるようなユーザ・インタフェースを用いてもよい。

次いで、第１基準点受付手段１１は、ユーザ操作に応じて第１基準点を決定する（ステップＳ１４）。第１基準点受付手段１１は、例えば、ユーザ操作に応じて入力される第１基準点決定信号を受け付けた場合に、その時表示している第１基準点候補を第１基準点に決定する。または、第１基準点受付手段１１は、その時選択状態である第１基準点候補が第１基準点候補を第１基準点に決定してもよい。第１基準点受付手段１１は、例えば、必須とする基準点の数より多く第１基準点候補が表示されている場合には、ユーザがそのうちのいくつかを選択した状態で第１基準点決定信号を入力するようなインタフェースを備えていてもよい。

第１基準点決定信号は、ユーザが決定ボタンを押下することによって入力されるようにしてもよい。ユーザは、ステップＳ１３において表示された第１基準点候補の位置等を確認し、基準点の条件を満たしていると判断した場合に決定ボタンを押下すればよい。なお、ユーザは、必要であれば位置の調節や削除、追加等を行ってもよい。例えば、第１基準点受付手段１１が第１基準点決定信号を受け付けた時に、第１基準点決定信号の対象とされた第１基準点候補（例えば、表示中の第１基準点候補や選択状態にある第１基準点候補）の数が、必須とする基準点の数に満たなかったとする。この場合、第１基準点受付手段１１は、その旨をユーザに通知して選択操作をやり直させたり、新たな第１基準点候補の情報を入力させてもよい。第１基準点受付手段１１は、このようなユーザ操作に応じて、変換対象画像それぞれに対して２以上の点からなる第１基準点を決定する。なお、第１基準点とされた各点には、第２基準点との対応づけのための識別情報が付与されるものとする。識別情報は、第１基準点のある１点とそれに対応する第２基準点のある１点との関係が保持できるものであればよい。識別情報は、例えば、配列の添字であってもよい。

次いで、第２基準点受付手段１３は、第２基準点を入力する（ステップＳ１５）。第２基準点受付手段１３は、例えば予め設定されている第２基準点の情報を記憶手段等から読み出すことによって第２基準点を入力してもよい。また、第１基準点受付手段１１と同様に、ユーザから第２基準点の情報を受け付けることにより第２基準点を入力してもよい。また、第２基準点を全変換対象画像に共通とする場合には、第２基準点受付手段１３は、例えば、全変換対象画像に共通の第２基準点の情報を入力すればよい。

各変換対象画像に対して必要な対応点数分の第１基準点と第２基準点とが決まると、幾何変換手法決定手段１４は、それら第１基準点および第２基準点から、各変換対象画像に対して施す幾何変換手法を決定する（ステップＳ１６）。幾何変換手法決定手段１４は、例えば、基準点の数やそれらの画像における位置（画像座標）に基づいて、各変換対象画像に施す幾何変換の変換式のパラメータを決定することにより、変換式を生成する。

最後に、幾何変換手段１５は、ステップＳ１６で決定した変換手法（変換式）を用いて各変換対象画像に幾何変換を施す。そして、幾何変換手段１５は、その結果生成される画像を変換画像として出力する（ステップＳ１７）。なお、上記説明では、各ステップで複数ある変換対象画像全てに対して処理を行う例を示したが、当該フローチャートを１つの変換対象画像に対する一連の処理として実行することも可能である。そのような場合には、変換対象画像の数分上記ステップ（ステップＳ１１〜Ｓ１７）を繰り返せばよい。

以下、具体的な例を用いて本実施形態を説明する。図３は、本実施形態において変換対象画像に施す幾何変換の概要を示す説明図である。図３に示す例では、｛画像１，・・・，画像ｍ，・・・，画像ｎ，・・・｝が変換対象画像として入力されている。また、第１基準点を、３次元空間においてカメラの回転軸となる線分の一例として、地面に垂直で注目物体の重心を通る線分を構成する２点の画像座標（当該変換対象画像軸における座標）としている。なお、２点は注目物体の上端と下端である。

図３において、上段の変換対象画像（画像１、ｍ、ｎ）上に記された◇印と×印は、その変換対象画像に対して設定された第１基準点（◇印が上端、×印が下端）を表している。なお、◇印の方を第１基準点の第１の点（上端基準点）とし、×印を第１基準点の第２の点（下端基準点）とする。また、下段の変換画像１，ｍ、ｎに記された◇印と×印は、変換対象画像１，ｍ，ｎに対して設定された第１基準点の変換先である第２基準点を表している。

なお、図３では、第１基準点を”Ｐ１”、第２基準点を”Ｐ２”と表し、つづく［Ａ］［Ｂ］の添字で、Ａ＝画像のインデックスとＢ＝基準点のインデックスを表している。本例では、各インデックスがともに１から始まる値として示している。例えば、Ｐ１［１］［１］は、第１の変換対象画像（画像１）における第１基準点のうちの第１の点（上端基準点）の情報である画像座標を表し、Ｐ１［１］［２］は、画像１における第１基準点のうちの第２の点（下端基準点）の情報である画像座標を表している。また、例えばＰ２［ｎ］［１］は、第ｎの変換対象画像（画像ｎ）から生成される変換画像ｎにおける第２基準点の第１の点（上端基準点）の情報である画像座標を表し、Ｐ２［ｎ］［２］は、画像ｎから生成される変換画像ｎにおける第２基準点の第２の点（下端基準点）の情報である画像座標を表している。なお、本例では第２基準点は全画像で共通としている。

本例では、まず画像表示手段１２が、当該画像表示手段１２が有するモニタやプロジェクタなどの画像表示装置を介して、変換対象画像として入力された注目物体を含む画像を表示する。このとき、画像表示手段１２は、変換対象画像と、ツールバー、カーソル等の入力用インタフェースとを含む操作画面を表示する。ユーザは、画像表示手段１２に表示された変換対象画像を見ながら、マウスやキーボードなどを用いて第１基準点候補を入力する。ここでは、地面に垂直で注目物体の重心を通る線分を構成する２点の位置をクリック操作で指し示すことにより、第１基準点候補の情報（◇印と×印の画像座標）を入力する。

第１基準点受付手段１１は、例えば、現在表示中の画像１に対する第１基準点候補の情報（◇印と×印の画像座標）をユーザから入力として受け付ける。このとき、画像表示手段１２は、入力された第１基準点候補を変換対象画像に重ねて表示するなどして、ユーザがその変換対象画像における第１基準点候補の位置を確認できるようにする。ユーザは、表示された変換対象画像に対する第１基準点候補の位置等を確認し、現在表示されている第１基準点候補を第１基準点としてもよいと判断した場合には、第１基準点決定信号を入力する。なお、ユーザは、位置関係が満足できなければ、マウスやキーボードなどを用いてツールバー、カーソル等の入力用インタフェースを操作して、第１基準点候補の有効／無効を切り替えたり、位置を調節すればよい。

第１基準点決定信号が入力されると、第１基準点受付手段１１は、それら第１基準点候補を第１基準点とし、幾何変換手法決定手段１４に出力する。

次に、第２基準点受付手段１３は、第１基準点の変換先である第２基準点を受け付ける。本例では、ユーザがマウスやキーボードなどを用いて第２基準点候補を入力し、満足すれば第２基準点決定信号を入力したものを第２基準点として受け付ける。例えば、変換対象画像中に注目物体が傾いて写っている場合、これを画面に対して垂直に幾何変換を施すには、ユーザは、第１基準点と第２基準点の水平座標を一致させるように入力すればよい。変換画像の幅をｗ画素、高さをｈ画素とした場合、幾何変換後の注目物体が横方向の中央に位置し、縦方向の８割の長さであるようには、第２基準点の第１の点（上端基準点）の画像座標を（０．５ｗ，０．９ｈ）とし、第２の点（下端基準点）の画像座標を（０．５ｗ，０．１ｈ）とする。または、上記の設定を事前に決めておき、このような第２基準点の情報を外部記録媒体等の記憶手段から読み込んでもよい。第２基準点受付手段１３は、第２基準点を受け付けると、幾何変換手法決定手段１４に出力する。

次に、幾何変換手法決定手段１４は、第１基準点と第２基準点から幾何変換手法を決定し、幾何変換手段１５に出力する。本例では第１基準点、第２基準点でそれぞれ２点が選択されているため、相似変換を利用する。相似変換は以下の式（１）で与えられる。

ｕ_ｉ’＝ａｕ_ｉ−ｂｖ_ｉ＋ｃ
ｖ_ｉ’＝ｂｕ_ｉ＋ａｖ_ｉ＋ｃ・・・式（１）

ここで、（ｕ_ｉ，ｖ_ｉ）は、処理対象とした変換対象画像における第１基準点のうちの第１または第２の点の画像座標を表す。また、（ｕ_ｉ’，ｖ_ｉ’）は、処理対象とした変換対象画像から生成される変換画像における第２基準点のうちの第１または第２の点の画像座標を表している。また、（ａ，ｂ，ｃ，ｄ）は、相似変換パラメータである。添字のｉは、ｉ＝１で第１の点（上端基準点）を表し、ｉ＝２で第２の点（下端基準点）を表している。式（１）を変形すると以下の式（２）を得る。

求める相似変換パラメータ（ａ，ｂ，ｃ，ｄ）は、式（２）を最小化するベクトルであり、式（２）右辺の４×５行列の絶対値最小固有値に対応する固有ベクトルの第５成分を１にスケーリングすることで算出できる。

幾何変換手段１５は、このようにして得られた相似変換パラメータ（ａ，ｂ，ｃ，ｄ）を用いて、処理対象とした変換対象画像に幾何変換を施し、変換画像を出力する。ここでは、得られた相似変換パラメータを式（１）に代入し、画像の全画素に対して実行することで相似変換が施された画像を得ることができる。ここで、変換後の画像座標は一般に整数値にならないため、幾何変換手段１５は、内挿を行い画素の欠損を補償する。内挿の手法には、内挿点に最も近い観測点の画素値を内挿点の画素値とする方法である最近隣法や、内挿点周囲の観測点４点の画素値の線形補間を内挿点の画素値とする方法であるバイリニア法など様々な手法が利用可能である。幾何変換手段１５は、相似変換が施された画像を変換画像として出力する。

以上のように、本実施形態によれば、簡単なユーザ操作を行うだけで、回転台やカメラ位置姿勢情報を検出する加速度センサなどの機材がなくても単一のカメラで３次元画像を生成することができる。

その理由は、注目物体を含む複数の画像のそれぞれについて、カメラの回転軸を構成する複数の画像座標をユーザに指定させ、指定された画像座標が一致するように幾何変換を施すことにより、複数の画像のそれぞれにおける注目物体の大きさと傾きが揃うためである。また、幾何変換手法を決定する第１基準点を、注目物体を含む複数の画像から求めるためである。すなわち、画像情報のみを利用して幾何変換パラメータを算出することによって、撮影時にカメラ以外の機材を不要としたためである。

なお、上記説明では、具体的な例として相似変換を行う例を示したが、相似変換以外にもアフィン変換、射影変換など任意の幾何変換が選択可能である。その場合、第１基準点受付手段１１と第２基準点受付手段１２とがそれぞれ２点以上の画像座標を受け付けて、幾何変換手法決定手段１４に出力すればよい。そして、選択した幾何変換のパラメータ数と変換式により、幾何変換手法決定手段１４の計算方法を変更することで対応することが可能である。

例えば、アフィン変換を選択する場合、必要な対応点数（基準点の数）は最低３点である。第１基準点受付手段１１と第２基準点受付手段１２とは、それぞれ３点以上の画像座標を受け付けて、幾何変換手法決定手段１４に出力すればよい。幾何変換手法決定手段１４は、出力される第１基準点および第２基準点の情報に基づき、以下の式（３）から変換パラメータ（ａ，ｂ，ｃ，ｄ，ｅ，ｆ）を求めればよい。

ｕ_ｉ’＝ａｕ_ｉ＋ｂｖ_ｉ＋ｃ
ｖ_ｉ’＝ｄｕ_ｉ＋ｅｖ_ｉ＋ｆ・・・式（３）

また、例えば、射影変換を選択する場合、必要な対応点数は最低４点である。第１基準点受付手段１１と第２基準点受付手段１２とは、それぞれ４点以上の画像座標を受け付けて、幾何変換手法決定手段１４に出力すればよい。幾何変換手法決定手段１４は、出力される第１基準点および第２基準点の情報に基づき、以下の式（４）から変換パラメータ（ａ１〜ａ８）を求めればよい。

ｕ_ｉ’＝（ａ１＊ｕ_ｉ＋ａ２＊ｖ_ｉ＋ａ３）／（ａ７＊ｕ_ｉ＋ａ８＊ｖ_ｉ＋１）
ｖ_ｉ’＝（ａ４＊ｕ_ｉ＋ａ５＊ｖ_ｉ＋ａ６）／（ａ７＊ｕ_ｉ＋ａ８＊ｖ_ｉ＋１）
・・・式（４）

実施形態２．
次に、本発明の第２の実施形態を図面を参照して説明する。図４は、本実施形態の画像処理装置の構成例を示すブロック図である。図４に示す画像処理装置は、図１に示す第１の実施形態と比べて、さらにカメラ位置姿勢推定手段２１と第１基準点候補射影手段２２とを備える点が異なる。

本実施形態では、第１基準点候補として、注目物体を含む画像（変換対象画像）におけるカメラの回転軸の候補を構成する複数の３次元座標をユーザに入力させる。

カメラ位置姿勢推定手段２１は、変換対象画像のそれぞれについて、当該変換対象画像を撮影したカメラの位置および姿勢を推定し、第１基準点候補射影手段２２に出力する。カメラの位置および姿勢を推定するために、既定のマーカを用いる手法や既知の３次元座標とそれが観測された画像座標の対応を用いる手法など、様々な手法を利用可能である。

第１基準点候補射影手段２２は、入力された第１基準点候補の情報と変換対象画像のカメラ位置姿勢とに基づいて、第１基準点候補（またはそれらを結んだ線分）を当該変換対象画像へ射影し、その結果を射影第１基準点候補として画像表示手段１２に出力する。なお、射影第１基準点候補は、当該変換対象画像における座標情報で表された第１基準点候補ともいえる。

本実施形態では、１つの変換対象画像について第１基準点が決定されると、その情報を基に、第１基準点候補射影手段２２が生成した他の変換対象画像における射影第１基準点候補を、当該他の変換対象画像における第１基準点として決定する。

なお、他の変換対象画像について、算出した射影第１基準点候補を第１基準点として出力するのではなく、一旦射影第１基準点候補を表示させてユーザに良否の判定をさせたり、個別に調節させることも可能である。個別に調節する動作は、第１の実施形態の動作と同様である。なお、表示した射影第１基準手候補に対する調節を他の変換対象画像に反映させるか否かは、その旨をユーザに指定させたり、個別調節用のページに移行するなど操作画面の切り替えによって判定できる。第１基準点候補射影手段２２は、決定した各変換対象画像における第１基準点の情報を、適宜幾何変換手法決定手段１４に出力する。

なお、第１基準点候補射影手段２２が各変換対象画像の射影第１基準点候補の情報を第１基準点受付手段１１に出力し、第１基準点受付手段１１がその情報を元に、各変換対象画像における第１基準点を出力するようにしてもよい。

また、本実施形態では、画像表示手段１２は、変換対象画像に射影第１基準点候補を重ねた画像を表示する。

カメラ位置姿勢推定手段２１および第１基準点候補射影手段２２は、例えば、特定の演算処理等を行うよう設計されたハードウェアや、プログラムに従って動作するＣＰＵによって実現される。

次に、本実施の形態の動作を図５を参照して説明する。図５は、本実施形態の画像処理装置の動作の一例を示すフローチャートである。図５に示す例では、まず、カメラ位置姿勢推定手段２１が、変換対象画像のカメラ位置姿勢を推定する（ステップＳ２１）。ここでは、カメラ位置姿勢推定手段２１は、入力された各変換対象画像についてカメラの位置姿勢を推定する。カメラ位置姿勢推定手段２１は、例えば、撮影された画像情報から、カメラの位置として、ワールド座標系における３次元座標（Ｘ，Ｙ，Ｚ）を推定し、かつ、カメラの姿勢として、ワールド座標系に対する回転を表す３×３行列を推定してもよい。

次に、第１基準点受付手段１１は、少なくとも１つの画像に対する第１基準点候補の情報として、変換対象画像においてカメラの回転軸の候補を構成する複数の３次元座標を入力する（ステップＳ２１）。第１基準点受付手段１１は、例えば、使用する幾何変換式で必要な対応点数分の第１基準点候補の情報入力用の入力フィールドを含む操作画面を表示して、ユーザに第１基準点候補の情報を入力させてもよい。また、第１基準点受付手段１１は、予め設定されている初期値を読み込むことによって、その値を得てもよい。そして、入力された第１基準点候補の情報は、第１基準点候補射影手段２２に出力される。

第１基準点候補射影手段２２は、ある変換対象画像に対する第１基準点候補の情報が入力されると、入力された第１基準点候補をカメラ位置姿勢に基づき画像に射影する（ステップＳ２３）。次に、画像表示手段１２が、射影第１基準点候補とその画像とを重ねて表示する（ステップＳ２４）。画像表示手段１２は、例えば、変換対象画像上で射影第１基準点候補の位置等を調節するための操作画面を表示する。画像表示手段１２は、複数の射影第１基準点候補を結ぶことで画像上に射影した回転軸（線分）を生成したものを含む操作画面を表示してもよい。

ユーザは、ステップＳ２３により表示された射影第１基準点候補の変換対象画像における位置等を確認し、満足すれば第１基準点決定信号を入力する。また、ユーザは、複数の射影第１基準点候補を結んだ線分の長さ、傾き、位置がカメラの回転軸として適切となるように、射影第１基準点候補の位置を移動させるなどの調節を行う。このとき、第１基準点候補の情報が変更される。なお、ユーザは、第１基準点候補の情報として入力した値（３次元座標）を直接変更してもよい。第１基準点決定信号は、第１基準点受付手段１１および第１基準点候補射影手段２２に入力される。

第１基準点受付手段１１または第１基準点候補射影手段２２は、第１基準点決定信号を受け付けると、射影第１基準点候補を第１基準点として決定する（ステップＳ２５）。第１基準点受付手段１１または第１基準点候補射影手段２２は、例えば、当該第１基準点決定信号の対象とされた射影第基準点候補として、その時表示している射影第基準点候補（より具体的には、表示している線分を構成している射影第基準点候補）を第１基準点に決定してもよい。本実施の形態では、１つの変換対象画像について射影第１基準点候補から第１基準点を決定すると、その射影第１基準点候補の射影元となる３次元座標が決定することになる。そのため、その３次元座標と各画像のカメラ位置姿勢に基づいて、他の変換対象画像についても第１基準点を算出することができる。

次いで、第２基準点受付手段１３は、第２基準点を入力する（ステップＳ２６）。次に、幾何変換手法決定手段１４は、第１基準点と第２基準点から幾何変換手法を決定する（ステップＳ２７）。最後に、幾何変換手段１５は、画像に幾何変換を施し、変換画像を出力する（ステップＳ２８）。なお、ステップＳ２６〜Ｓ２８の動作は、第１の実施形態におけるステップＳ１５〜Ｓ１７と同様でよい。

なお、上記説明では、各ステップにおいて、複数の変換対象画像全てに対して処理を行うことが想定されているが、１つの変換対象画像ごとに各々のステップの処理を施すことも可能である。そのような場合には、変換対象画像の数分上記ステップ（ステップＳ２１〜Ｓ２８）を繰り返せばよい。なお、ステップＳ２２〜Ｓ２４については、変換対象画像群のうちのいずれかの画像に対して既に処理済みであれば、他の変換対象画像についての当該処理を省略することができる。ユーザに第１基準点候補を改めて入力させなくても、ステップＳ２５で当該変換対象画像における第１基準点を求めることができるからである。より具体的には、ある変換対象画像について第１基準点を一度決定すれば、画像毎のカメラ位置姿勢に基づき、画像毎の第１基準点は一意に定まるからである。

以下、具体的な例を用いて本実施形態を説明する。まず、カメラ位置姿勢推定手段２１は、変換対象画像それぞれについて、その画像を撮影したカメラ位置姿勢を推定する。カメラ位置姿勢推定手段２１は、例えば、紙などに印刷するなどして事前に登録したマーカの画像上の見えからカメラの位置ｔおよび姿勢Ｒを推定する。また、カメラ位置姿勢推定手段２１は、例えば、既知の３次元座標とそれが観測された画像座標との対応点の複数の組み合わせからカメラの位置ｔおよび姿勢Ｒを推定する。カメラの位置ｔとして、例えば、ワールド座標系における３次元座標（Ｘ、Ｙ、Ｚ）を求める。また、カメラ位置姿勢推定手段２１は、カメラの姿勢Ｒとして、例えば、ワールド座標系に対する回転を表す３×３行列を求める。なお、カメラの姿勢Ｒは、ロール・ピッチ・ヨーによる表現によれば、以下の式（５）のように表現される。また、４元数による表現によれば、以下の式（６）のように表現される。

なお、φはＺ軸回りの回転（ｒｏｌｌ）を表し、θは新しいＹ軸回りの回転（ｐｉｔｃｈ）を表し、ψは新しいＸ軸回りの回転（ｙａｗ）を表している。

次に、第１基準点受付手段１１は、第１基準点候補をユーザから入力として受け付け、第１基準点候補射影手段２２へ出力する。ユーザは、画像表示手段１２に表示された画像を見ながら、マウスやキーボードなどを用いて第１基準点候補を入力する。ユーザは、例えば、第１基準点候補の第１の点（上端基準点）の初期値として３次元座標（０，０，０）を、第２の点（下端基準点）の初期値として３次元座標（０，１，０）を入力してもよい。

第１基準点候補射影手段２２は、入力された第１基準点候補の３次元座標値と、当該変換対象画像についてのカメラ位置姿勢の推定値とに基づいて、入力された第１基準点候補を当該変換対象画像に射影する。なお、第１基準点候補の初期値は、ユーザによって入力された値ではなく、予め設定しておいたものを用いてもよい。

射影第１基準点候補は、カメラの位置をｔ、姿勢をＲ、第１基準点候補の第１の３次元座標をＸ_１、第２の３次元座標をＸ_２とすると、以下の式（７）で求めることができる。

ここで、Ｋ［Ｒ^Ｔ −Ｒ^Ｔｔ］Ｘ_ｉの左側の符合は、定数倍に等しいことを表す。なお、添字の^Ｔは、行列の転置を表す。また、Ｋはカメラの内部パラメータである。Ｋは、例えば、射影変換を利用してカメラの内部パラメータを推定する方法（例えば、Ｚｈａｎｇらの手法）を用いて予め決定されていてもよい。また、Ｋは、３枚以上の画像からカメラの内部パラメータを推定する方法（例えば、Ｐｏｌｌｅｆｅｙｓらの手法）を用いて撮影と同時に求められてもよい。カメラの内部パラメータを推定する場合、カメラ位置姿勢推定手段２１は、カメラ位置姿勢に加え、カメラの内部パラメータを第１基準点候補射影手段２２に出力する。

ユーザは、表示された射影第１基準点候補と注目物体とを比較し、射影第１基準点候補を結んだ線分の長さ、傾き、位置がカメラの回転軸として適切となるように第１基準点候補を調節し、満足すれば第１基準点決定信号を入力する。本実施形態では、第１基準点受付手段１１は、第１基準点決定信号が入力されても何も動作はしない。

ユーザが第１基準点決定信号を入力すると、第１基準点候補射影手段２２は、現在表示中の射影第１基準点候補を当該変換対象画像における第１基準点として決定し、幾何変換手法決定手段１４に出力する。また、第１基準点候補射影手段２２は、他の変換対象画像について、このときの射影元の第１基準点候補の情報と画像毎のカメラ位置姿勢とに基づいて、画像毎の第１基準点を求める。これ以降の動作は第１の実施形態と同様である。

以上のように、本実施の形態では、ユーザが画像毎に第１基準点候補の情報を入力したり、第１基準点として決定したりする必要がない。その理由は、第１基準点を一度決定すれば、画像毎のカメラ位置姿勢に基づき、画像毎の第１基準点は一意に定まるからである。

実施形態３．
次に、本発明の第３の実施形態について図面を参照して説明する。図６は、第３の実施形態の画像処理装置の構成例を示すブロック図である。図６に示す画像処理装置は、図１に示す第１の実施形態と比べて、さらに画像特徴点検出手段３１を備える点が異なる。

本実施形態では、第１基準点候補は、注目物体を含む複数の画像（変換対象画像）のそれぞれにおいて、カメラの回転軸の候補を構成する複数の画像座標とする。ただし、画像毎にそれらをユーザに入力させるのではなく、複数の画像に共通する画像特徴点がある場合にはそれを利用して画像毎の第１基準点を決定する。

画像特徴点検出手段３１は、変換対象画像のそれぞれについて、画像特徴点を検出する。また、画像特徴点検出手段３１は、検出した画像特徴点に対して変換対象画像間でマッチングを行い、複数の画像上で同一の３次元座標が射影された画像座標として観測されている画像特徴点を検出する。また、画像特徴点検出手段３１は、検出した画像特徴点を、画像表示手段１２に表示させる。画像特徴点の検出には、例えば、画素値の周囲勾配からコーナーか否かを判別するＨａｒｒｉｓコーナー検出法を利用して、コーナーと判別した箇所を画像特徴点として検出してもよい。また、画像特徴点検出手段３１は、例えば、照明変動や回転、拡大縮小に強靱な画像特徴点の検出手法および特徴量の記述方法であるＳＩＦＴなど、様々な手法を利用して検出する。また、画像特徴点に対するマッチングとして、画素値の正規化相互相関を利用する手法やＫＬＴ法など、様々な手法を利用することができる。正規化相互相関を利用する手法は、探索範囲内において、平均画素値を引き、標準偏差で割った画像に対して相関値を計算して比較する方法である。また、ＫＬＴ法は、微小時間における輝度勾配は不変と仮定して対応点探索を行う手法である。

本実施形態において、画像表示手段１２は、変換対象画像に画像特徴点を重ねた画像を表示する。また、画像表示手段１２は、変換対象画像に画像特徴点から選択された第１基準点候補を重ねた画像を表示する。

画像特徴点検出手段３１は、例えば、特定の演算処理等を行うよう設計されたハードウェアや、プログラムに従って動作するＣＰＵによって実現される。

次に、本実施形態の動作を説明する。図７は、本実施形態の画像処理装置の動作の一例を示すフローチャートである。図７に示す例では、まず、画像特徴点検出手段３１は、各変換対象画像について、当該変換対象画像を含む複数の画像に共通する画像特徴点を検出する（ステップＳ３１）。

次に、画像表示手段１２が、各画像につき、当該画像と当該画像から検出された画像特徴点とを重ねて表示する（ステップＳ３２）。ここで、ユーザは、画像表示手段１２によって表示されているある画像とその画像の画像特徴点とを見比べながら、当該画像において、表示されている画像特徴点から第１基準点候補とする点を２以上選択する操作を行う（ステップＳ３３）。第１基準点受付手段１１は、ユーザ操作に応じて、第１基準点候補として選択された画像特徴点の情報を得る。また、画像表示手段１２は、ユーザの選択操作に応じて、各画像について、当該画像における第１基準点候補を重ねて表示する（ステップＳ３４）。ここでは、ある画像に対して行われた第１基準点候補の選択結果に基づいて、その第１基準点候補とされた画像特徴点と同一の特徴点とされる画像特徴点を有する他の画像においても、その画像特徴点が第１基準点候補として選択されたものとする。画像表示手段１２は、各画像について第１基準点候補を表示させればよい。すなわち、第１基準点受付手段１１は、選択された画像特徴点が複数の画像に共通の画像特徴点であればその画像特徴点を有する他の画像についても自動的に第１基準点候補として選択する。

ユーザは、表示される第１基準点候補が各画像において満足するものであれば、第１基準点決定信号を入力して、第１基準点として決定すればよい（ステップＳ３５）。第１基準点決定信号による第１基準点の決定方法は、第１の実施形態と同様である。例えば、第１基準点受付手段１１は、ユーザ操作に応じて入力される第１基準点決定信号を受け付けた場合に、その時表示されている第１基準候補（すなわち、選択されたことによって第１基準点候補として表示されている画像特徴点）を第１基準点に決定する。

また、第１基準点受付手段１１は、このとき未決定の画像があれば、未決定の画像を対象にして、ステップＳ３２〜Ｓ３５の処理を繰り返せばよい。

次に、第２基準点受付手段１３は、第２基準点を入力する（ステップＳ３６）。次に、幾何変換手法決定手段１４は、第１基準点と第２基準点から幾何変換手法を決定する（ステップＳ３７）。最後に、幾何変換手段１５は、画像に幾何変換を施し、変換画像を出力する（ステップＳ３８）。なお、ステップＳ３６〜Ｓ３８の動作は、第１の実施形態におけるステップＳ１５〜Ｓ１７と同様でよい。

以下、具体的な例を用いて本実施形態を説明する。まず、画像特徴点検出手段３１は、変換対象画像のそれぞれにおいて、画像特徴点の検出とマッチングを行い、複数の画像間で対応がとれる画像特徴点を検出する。ここでは、全ての画像に共通する画像特徴点が検出されることが望ましい。ただし、全ての画像に共通する画像特徴点が検出されない場合には、画像特徴点検出手段３１は、例えば、連続して撮影された画像群における一定区間の画像で共通する画像特徴点を検出する。

ここでは、全ての画像に共通な画像特徴点を画像１枚あたりｎ点、画像数をＮ枚とし、ｎ×Ｎ点の画像特徴点が検出されたとする。ユーザは、表示される画像特徴点と画像とを見比べながらｎ点から任意の２点を選択し、満足すれば第１基準点決定信号を入力する。この２点は全画像でマッチングが取れている。そのため、ある画像の２点を選択すれば、全画像の第１基準点（２×Ｎ点）を自動で決定することができる。

第１基準点決定信号が入力されると、第１基準点受付手段１１は、決定した２×Ｎ点の第１基準点を対応する画像の処理毎に幾何変換手法決定手段１４に出力する。これ以降の動作は第１の実施形態と同様である。

なお、全ての画像に共通な画像特徴点が検出されなかった場合には、共通する画像特徴点が検出された範囲において、上記第１基準点候補の自動決定を行うようにしてもよい。

また、例えば、画像特徴点検出手段３１は、共通の画像特徴点を検出する場合に、全画面に対して、画像特徴点のマッチングが途切れるまで行ってもよい。そして、画像特徴点検出手段３１は、画像特徴点のマッチングが途切れたら、その画像から次に途切れるまで再度画像特徴点のマッチングを行う動作を繰り返し行い、共通する画像特徴点の検出とともに画像特徴点が連続する区間と区間の切れ目（不連続になる部分）とを検出してもよい。そして、第１基準点受付手段１１は、特徴点が連続した区間については、共通する画像特徴点からユーザに選択させた第１基準点候補を用いて、幾何変換パラメータを算出させる。一方、区間の切れ目に対しては、ユーザに個別に第１基準点候補を選択させる手動設定としてもよい。また、連続区間に対して選択された第１基準点候補に近い点を自動で選択して、幾何変換パラメータを算出させてもよい。後者の方法によれば、ユーザに１度選択させれば、他の全ての変換対象画像について第１基準点を自動で決定することができる。

以上のように、本実施形態では、画像毎に第１基準点を決定する必要がない。また、カメラ位置姿勢の推定も必要がない。その理由は、複数の画像に共通する画像特徴点を検出し、それを利用して第１基準点を決定するためである。

なお、上記各実施形態は、各手段に対応したハードウェア等により実現される画像処理装置に限らず、図８に示すような情報処理システムによっても実現可能である。図８は、本発明による画像処理装置を情報処理システムに実装した場合のブロック図である。図８に示す情報処理システムは、プロセッサ４００と、プログラムメモリ４０１と、記憶媒体４０２とを備える一般的な情報処理システムである。

記憶媒体４０２は、別個の記憶媒体からなる記憶領域であってもよいし、同一の記憶媒体からなる記憶領域であってもよい。記憶媒体としては、ＲＡＭや、ハードディスク等の磁気記憶媒体を用いることができる。

プログラムメモリ４０１には、上述した第１基準点受付手段１１と、第２基準点受付手段１３と、幾何変換手法決定手段１４と、幾何変換手段１５の各部の処理を、プロセッサ４００に行わせるためのプログラムが格納されており、このプログラムに従ってプロセッサ４００は動作する。

プロセッサ４００は、例えば、ＣＰＵ等のプログラムに従って動作するプロセッサであればよい。

このように、本発明は、コンピュータプログラムにより実現することも可能である。なお、プログラムによる動作が可能な手段（例えば、第１基準点受付手段１１、第２基準点受付手段１３、幾何変換手法決定手段１４、幾何変換手段１５など）の全てをプログラムで動作させる必要はなく、一部をハードウェアで構成してもかまわない。また、それぞれ別々のユニットとして実現されていてもよい。

次に、本発明の概要について説明する。図９は、本発明の概要を示すブロック図である。図９に示す画像処理装置は、画像表示手段５０１と、第１基準点受付決定手段５０２と、第２基準点受付決定手段５０３と、幾何変換手段５０４とを備えている。

画像表示手段５０１は、少なくとも１つの変換対象画像を表示する。画像表示手段５０１は、上記実施形態では、例えば、画像表示手段１２として示されている。

第１基準点受付決定手段５０２は、ユーザ操作に応じて、幾何変換の入力の基準となる第１基準点の候補である第１基準点候補の情報と、第１基準点候補の情報に基づき変換対象画像上に表示される第１基準点候補に対する決定信号とを受け付け、受け付けた決定信号の対象とされた第１基準点候補の情報を基に第１基準点を決定する。

第１基準点受付決定手段５０２は、例えば、ユーザ操作に応じて、幾何変換の入力の基準となる第１基準点の候補である第１基準点候補の情報を受け付け、受け付けた第１基準点候補の情報に基づき変換対象画像上に第１基準点候補を表示し、その上でユーザ操作に応じて、変換対象画像上に表示される第１基準点候補に対する決定信号を受け付け、受け付けた決定信号の対象とされた第１基準点候補の情報を基に第１基準点を決定してもよい。

なお、第１基準点受付決定手段５０２は、上記実施形態では、例えば、第１基準点受付手段１１として示されている。なお、第１基準点受付決定手段５０２は、例えば、さらに第１基準点の決定に必要な他の手段であるカメラ位置姿勢推定手段２１や第１基準点候補射影手段２２、画像特徴点検出手段３１を含むものとして捉えてもよいし、またはそれらを制御する制御手段を含むものとして捉えてもよい。

第２基準点受付決定手段５０３は、幾何変換の出力の基準となる第２基準点の情報を受け付け、第２基準点を決定する。第２基準点受付決定手段５０３は、上記実施形態では、例えば、第２基準点受付手段１３として示されている。

幾何変換手段５０４は、第１基準点受付決定手段５０２によって決定された第１基準点と、第２基準点受付決定手段５０３によって決定された第２基準点とに基づいて、変換対象画像を幾何変換し、変換画像を出力する。幾何変換手段５０４は、上記実施形態では、例えば、幾何変換手法決定手段１４および幾何変換手段１５として示されている。

また、上記実施形態の一部または全部は、以下の付記のようにも記載されうるが、以下には限られない。

（付記１）注目物体を含む複数の変換対象画像から注目物体の３次元表示を行うための画像を生成する画像処理装置であって、少なくとも１つの変換対象画像を表示する画像表示手段と、ユーザ操作に応じて、幾何変換の入力の基準となる第１基準点の候補である第１基準点候補の情報と、第１基準点候補の情報に基づき変換対象画像上に表示される第１基準点候補に対する決定信号とを受け付け、受け付けた決定信号の対象とされた第１基準点候補の情報を基に第１基準点を決定する第１基準点受付決定手段と、幾何変換の出力の基準となる第２基準点の情報を受け付け、第２基準点を決定する第２基準点受付決定手段と、第１基準点受付決定手段によって決定された第１基準点と、第２基準点受付決定手段によって決定された第２基準点とに基づいて、変換対象画像を幾何変換し、変換画像を出力する幾何変換手段とを備えた画像処理装置。

（付記２）各変換対象画像について、第１基準点と第２基準点とに基づいて、所定の幾何変換式のパラメータを算出する幾何変換手法決定手段を備え、幾何変換手段は、幾何変換手法決定手段が算出したパラメータによる幾何変換式を用いて変換対象画像を幾何変換する付記１に記載の画像処理装置。

（付記３）第１基準点受付決定手段は、各変換対象画像について、第１基準点候補の情報と、第１基準点候補の情報に基づき当該変換対象画像上に表示される第１基準点候補に対する決定信号とを受け付け、決定信号を受け付けた場合に当該決定信号の対象とされた第１基準点候補を当該変換対象画像における第１基準点として決定する付記１または付記２に記載の画像処理装置。

（付記４）各変換対象画像について、撮影時のカメラ位置姿勢を推定するカメラ位置姿勢推定手段と、カメラ位置姿勢推定手段によって推定されたカメラ位置姿勢に基づいて、３次元座標で表現される第１基準点候補を各変換対象画像に射影し、各変換対象画像における射影第１基準点候補を生成する第１基準点候補射影手段とを備え、第１基準点受付決定手段は、３次元座標で表現される第１基準点候補の情報と、第１基準点候補の情報に基づき少なくとも１つの変換対象画像上に表示される射影第１基準点候補に対する決定信号とを受け付け、決定信号を受け付けた場合に当該決定信号の対象とされた射影第１基準点候補の射影元である第１基準点候補の情報に基づいて生成される各変換対象画像における射影第１基準点候補をそれぞれ各変換対象画像における第１基準点として決定する付記１から付記３のうちのいずれかに記載の画像処理装置。

（付記５）各変換対象画像について画像特徴点の検出を行うとともに、検出した画像特徴点を変換対象画像間で比較し、複数の変換対象画像間に共通する画像特徴点を検出する画像特徴点検出手段を備え、第１基準点受付決定手段は、変換対象画像上に表示される画像特徴点を第１基準点候補に指定する旨の情報と、指定された画像特徴点である第１基準点候補に対する決定信号とを受け付け、決定信号を受け付けた場合に当該決定信号の対象とされた第１基準点候補である指定された画像特徴点を変換対象画像における第１基準点として決定するとともに、当該決定信号の対象とされた画像特徴点の画像間の対応関係を基に、該画像特徴点と同一とされた各変換対象画像の画像特徴点を各変換対象画像における第１基準点として決定する付記１から付記４のうちのいずれかに記載の画像処理装置。

（付記６）第２基準点受付決定手段は、全ての変換画像に共通の情報として第２基準点の情報を受け付ける付記１から付記５のうちのいずれかに記載の画像処理装置。

（付記７）第２基準点受付決定手段は、第２基準点の情報として、変換画像においてカメラの回転軸を構成する複数の画像座標を受け付け、第１基準点受付決定手段は、第１基準点候補の情報として、変換対象画像においてカメラの回転軸を構成する複数の画像座標または３次元座標を受け付ける付記１から付記６のうちのいずれかに記載の画像処理装置。

（付記８）幾何変換手段は、内挿を行い画素の欠損を補償する付記１から付記７のうちのいずれかに記載の画像処理装置。

（付記９）注目物体を含む複数の画像である変換対象画像それぞれに幾何変換を施して３次元画像を生成するための画像処理方法であって、画像表示手段を介して少なくとも１つの変換対象画像を表示し、ユーザ操作に応じて、幾何変換の入力の基準となる第１基準点の候補である第１基準点候補の情報を受け付け、受け付けた第１基準点候補の情報に基づき変換対象画像上に第１基準点候補を表示し、ユーザ操作に応じて、変換対象画像上に表示される第１基準点候補に対する決定信号を受け付け、受け付けた決定信号の対象とされた第１基準点候補の情報を基に第１基準点を決定し、幾何変換の出力の基準となる第２基準点の情報を受け付けて、第２基準点を決定し、変換対象画像それぞれについて、決定された第１基準点と第２基準点とに基づいて、変換対象画像を幾何変換し、変換画像を出力する画像処理方法。

（付記１０）各変換対象画像について、第１基準点候補の情報と、第１基準点候補の情報に基づき当該変換対象画像上に表示される第１基準点候補に対する決定信号とを受け付け、決定信号を受け付けた場合に当該決定信号の対象とされた第１基準点候補を当該変換対象画像における第１基準点として決定する付記９に記載の画像処理方法。

（付記１１）各変換対象画像について、撮影時のカメラ位置姿勢を推定し、画像表示手段を介して少なくとも１つの変換対象画像を表示し、ユーザ操作に応じて、３次元座標で表現される第１基準点候補の情報を受け付け、受け付けた第１基準点候補の情報と推定されたカメラ位置姿勢とに基づいて、変換対象画像上に第１基準点候補を射影した射影第１基準点候補を表示し、変換対象画像上に表示される射影第１基準点候補に対する決定信号とを受け付け、決定信号を受け付けた場合に当該決定信号の対象とされた射影第１基準点候補の射影元である第１基準点候補の情報に基づいて生成される各変換対象画像における射影第１基準点候補をそれぞれ各変換対象画像における第１基準点として決定する付記９に記載の画像処理方法。

（付記１２）各変換対象画像について画像特徴点の検出を行うとともに、検出した画像特徴点を変換対象画像間で比較し、複数の変換対象画像間に共通する画像特徴点を検出し、画像表示手段を介して少なくとも１つの変換対象画像上に画像特徴点を表示し、ユーザ操作に応じて、変換対象画像上に表示される画像特徴点を第１基準点候補に指定する旨の情報を受け付け、受け付けた情報に基づいて少なくとも１つの変換対象画像上に第１基準点候補として指定された画像特徴点を表示し、ユーザ操作に応じて、指定された画像特徴点である第１基準点候補に対する決定信号を受け付け、決定信号を受け付けた場合に当該決定信号の対象とされた第１基準点候補である指定された画像特徴点を変換対象画像における第１基準点として決定するとともに、当該決定信号の対象とされた画像特徴点の画像間の対応関係を基に、該画像特徴点と同一とされた各変換対象画像の画像特徴点を各変換対象画像における第１基準点として決定する付記９に記載の画像処理方法。

（付記１３）注目物体を含む複数の画像である変換対象画像それぞれに幾何変換を施して３次元画像を生成するための画像処理用プログラムであって、コンピュータに、画像表示手段を介して少なくとも１つの変換対象画像を表示する処理、ユーザ操作に応じて入力される、幾何変換の入力の基準となる第１基準点の候補である第１基準点候補の情報を受け付けて、変換対象画像上に第１基準点候補を表示する処理、ユーザ操作に応じて入力される変換対象画像上に表示した第１基準点候補に対する決定信号を受け付けた場合に、受け付けた決定信号の対象とされた第１基準点候補の情報に基づき、第１基準点を決定する処理、幾何変換の出力の基準となる第２基準点の情報を受け付けた場合に、第２基準点を決定する処理、および第１基準点と第２基準点とに基づいて、変換対象画像を幾何変換する処理を実行させる画像処理用プログラム。

（付記１４）コンピュータに、各変換対象画像における第１基準点候補の情報を受け付けさせ、受け付けた変換対象画像上に第１基準点候補を表示させ、ユーザ操作に応じて入力される変換対象画像上に表示した第１基準点候補に対する決定信号を受け付けた場合に、当該決定信号の対象とされた第１基準点候補を該決定信号を受け付けた変換対象画像における第１基準点として決定する処理を実行させる付記１３に記載の画像処理用プログラム。

（付記１５）コンピュータに、各変換対象画像について、撮影時のカメラ位置姿勢を推定する処理、推定されたカメラ位置姿勢に基づいて、３次元座標で表現される第１基準点候補を各変換対象画像に射影し、各変換対象画像における射影第１基準点候補を生成する処理、ユーザ操作に応じて入力される３次元座標で表現される第１基準点候補の情報を受け付けて、少なくとも１つの変換対象画像上に第１基準点候補の情報から生成される射影第１基準点候補を表示する処理、およびユーザ操作に応じて入力される変換対象画像上に表示される射影第１基準点候補に対する決定信号を受け付けた場合に当該決定信号の対象とされた射影第１基準点候補の射影元である第１基準点候補の情報に基づいて生成される各変換対象画像における射影第１基準点候補をそれぞれ各変換対象画像における第１基準点として決定する処理を実行させる付記１３に記載の画像処理用プログラム。

（付記１６）コンピュータに、各変換対象画像について画像特徴点の検出を行うとともに、検出した画像特徴点を変換対象画像間で比較し、複数の変換対象画像間に共通する画像特徴点を検出する処理、少なくとも１つの変換対象画像上に検出された画像特徴点を表示する処理、変換対象画像上に表示される画像特徴点を第１基準点候補に指定する旨の情報を受け付けて、受け付けた情報に基づいて少なくとも１つの変換対象画像上に第１基準点候補として指定された画像特徴点を表示する処理、および指定された画像特徴点である第１基準点候補に対する決定信号を受け付けた場合に当該決定信号の対象とされた第１基準点候補である指定された画像特徴点を変換対象画像における第１基準点として決定するとともに、当該決定信号の対象とされた画像特徴点の画像間の対応関係を基に、該画像特徴点と同一とされた各変換対象画像の画像特徴点を各変換対象画像における第１基準点として決定する処理を実行させる付記１３に記載の画像処理用プログラム。

以上、実施形態及び実施例を参照して本願発明を説明したが、本願発明は上記実施形態および実施例に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。

この出願は、２０１０年５月２６日に出願された日本特許出願２０１０−１２１０１８を基礎とする優先権を主張し、その開示の全てをここに取り込む。

本発明は、注目物体の３次元表示用の画像を生成する用途に好適に適用可能である。

１１第１基準点受付手段
１２画像表示手段
１３第２基準点受付手段
１４幾何変換手法決定手段
１５幾何変換手段
２１カメラ位置姿勢推定手段
２２第１基準点候補射影手段
３１画像特徴点検出手段
４００プロセッサ
４０１プログラムメモリ
４０２記録媒体
５０１画像表示手段
５０２第１基準点受付決定手段
５０３第２基準点受付決定手段
５０４幾何変換手段

Claims

注目物体を含む複数の変換対象画像から注目物体の３次元表示を行うための画像を生成する画像処理装置であって、
少なくとも１つの変換対象画像を表示する画像表示手段と、
ユーザ操作に応じて、幾何変換の入力の基準となる第１基準点の候補である第１基準点候補の情報と、前記第１基準点候補の情報に基づき変換対象画像上に表示される第１基準点候補に対する決定信号とを受け付け、受け付けた前記決定信号の対象とされた第１基準点候補の情報を基に第１基準点を決定する第１基準点受付決定手段と、
幾何変換の出力の基準となる第２基準点の情報を受け付け、第２基準点を決定する第２基準点受付決定手段と、
前記第１基準点受付決定手段によって決定された第１基準点と、第２基準点受付決定手段によって決定された第２基準点とに基づいて、変換対象画像を幾何変換し、変換画像を出力する幾何変換手段と、
各変換対象画像について、撮影時のカメラ位置姿勢を推定するカメラ位置姿勢推定手段と、
前記カメラ位置姿勢推定手段によって推定されたカメラ位置姿勢に基づいて、３次元座標で表現される第１基準点候補を各変換対象画像に射影し、各変換対象画像における射影第１基準点候補を生成する第１基準点候補射影手段とを備え、
前記第１基準点受付決定手段は、３次元座標で表現される第１基準点候補の情報と、前記第１基準点候補の情報に基づき少なくとも１つの変換対象画像上に表示される射影第１基準点候補に対する決定信号とを受け付け、前記決定信号を受け付けた場合に当該決定信号の対象とされた射影第１基準点候補の射影元である第１基準点候補の情報に基づいて生成される前記各変換対象画像における射影第１基準点候補をそれぞれ各変換対象画像における第１基準点として決定する
ことを特徴とする画像処理装置。
各変換対象画像について、第１基準点と第２基準点とに基づいて、所定の幾何変換式のパラメータを算出する幾何変換手法決定手段を備え、
幾何変換手段は、前記幾何変換手法決定手段が算出したパラメータによる幾何変換式を用いて変換対象画像を幾何変換する
請求項１に記載の画像処理装置。
第２基準点受付決定手段は、全ての変換画像に共通の情報として第２基準点の情報を受け付ける
請求項１または請求項２に記載の画像処理装置。
第２基準点受付決定手段は、第２基準点の情報として、変換画像においてカメラの回転軸を構成する複数の画像座標を受け付け、
第１基準点受付決定手段は、第１基準点候補の情報として、変換対象画像においてカメラの回転軸を構成する３次元座標を受け付ける
請求項１から請求項３のうちのいずれか１項に記載の画像処理装置。
幾何変換手段は、内挿を行い画素の欠損を補償する
請求項１から請求項４のうちのいずれか１項に記載の画像処理装置。
注目物体を含む複数の画像である変換対象画像それぞれに幾何変換を施して３次元画像を生成するための画像処理方法であって、
各変換対象画像について、撮影時のカメラ位置姿勢を推定し、
ユーザ操作に応じて、幾何変換の入力の基準となる第１基準点の候補であって、３次元座標で表現される第１基準点候補の情報を受け付け、
受け付けた前記第１基準点候補の情報と、推定されたカメラ位置姿勢とに基づいて、少なくとも１つの変換対象画像上に前記第１基準点候補を射影した射影第１基準点候補を表示し、
ユーザ操作に応じて、前記変換対象画像上に表示される前記射影第１基準点候補に対する決定信号を受け付け、
受け付けた前記決定信号の対象とされた射影第１基準点候補の射影元となる３次元座標と、各変換対象画像のカメラ位置姿勢とに基づき、各変換対象画像における第１基準点を決定し、
幾何変換の出力の基準となる第２基準点の情報を受け付けて、第２基準点を決定し、
変換対象画像それぞれについて、決定された第１基準点と第２基準点とに基づいて、変換対象画像を幾何変換し、変換画像を出力する
ことを特徴とする画像処理方法。
注目物体を含む複数の画像である変換対象画像それぞれに幾何変換を施して３次元画像を生成するための画像処理用プログラムであって、
コンピュータに、
各変換対象画像について、撮影時のカメラ位置姿勢を推定する処理、
ユーザ操作に応じて、幾何変換の入力の基準となる第１基準点の候補であって、３次元座標で表現される第１基準点候補の情報を受け付ける処理、
受け付けた前記第１基準点候補の情報と、推定されたカメラ位置姿勢とに基づいて、少なくとも１つの変換対象画像上に前記第１基準点候補を射影した射影第１基準点候補を表示する処理、
ユーザ操作に応じて、前記変換対象画像上に表示される前記射影第１基準点候補に対する決定信号を受け付けた場合に、受け付けた前記決定信号の対象とされた射影第１基準点候補の射影元となる３次元座標と、各変換対象画像のカメラ位置姿勢とに基づき、各変換対象画像における第１基準点を決定する処理、
幾何変換の出力の基準となる第２基準点の情報を受け付けた場合に、第２基準点を決定する処理、および
前記第１基準点と前記第２基準点とに基づいて、変換対象画像を幾何変換する処理
を実行させるための画像処理用プログラム。