JP7032179B2 - 画像処理装置、画像処理方法及び画像処理プログラム - Google Patents

Description

本発明は、画像処理装置、画像処理方法及び画像処理プログラムに関する。

従来、タイムスライス（Time Slice）やバレットタイム（Bullet Time）等と呼ばれる撮影技術が知られている。この撮影技術では、複数の撮像装置（例えば、カメラ）が撮像対象（例えば、人間などの被写体）の周囲に配置される。このとき、複数の撮像装置は、各撮像装置の光軸が撮像対象における所定の位置を通過するように配置され、被写体を撮像する。かかる撮影技術により撮像された画像データを結合することで生成される画像は、自由視点画像等と呼ばれる。ユーザは、自由視点画像において任意の視点を選択することが可能であり、様々な角度から被写体を視認することができる。例えば、自由視点画像は、販促などに用いられた場合に、通常の画像よりも高い販促効果を発揮することがある。

なお、被写体の撮影に関して、特徴点であるマーカーが印刷されたシート上で被写体を撮影することで、被写体を認識する技術が知られている（例えば、特許文献１）。従来技術に係る文献では、マーカーにマーカー自体に関する情報である特徴点表示媒体情報を記録しておき、画像認識でそれを特定することにより、マーカーの使用できる条件を自由に変更出来る旨が開示されている。なお、自由視点画像に関する技術として、自由視点画像の生成処理の手法等が開示されている（例えば、特許文献２及び３）。

特開２００７－２８６７１５号公報 特開２０１４－２３９３８４号公報 特開２０１５－１２７９０３号公報

しかしながら、上記の従来技術（特許文献１）では、一般ユーザに自由視点画像を有効に活用させることは困難であった。具体的には、上記の特許文献１に係る従来技術は、一つの被写体を一つの角度で撮影する場合に被写体を認識する技術である。すなわち、自由視点画像の生成のために、一つの被写体を様々な角度で撮影する場合には、上記の特許文献１に係る従来技術を適用することは難しい。このため、上記の特許文献１に係る従来技術では、例えば、一般ユーザが容易に自由視点画像を生成したり、生成した自由視点画像を第三者に閲覧させたりといった、自由視点画像の活用を促進させることが難しい。

本願の開示する技術は、上記に鑑みてなされたものであって、一般ユーザに自由視点画像を有効に活用させることができる画像処理装置、画像処理方法及び画像処理プログラムを提供することを目的とする。

本願に係る画像処理装置は、視点位置が異なる複数の画像データであって、所定のパラメータを有するとともに各々を識別可能であるマーカーが、各画像データ内に少なくとも一つは含まれる複数の画像データを受け付ける受付部と、前記受付部によって受け付けられた複数の画像データの各々において、当該マーカーが有するパラメータを用いて推定される平面情報と当該平面情報に対応する平面に含まれる当該マーカーの位置情報とに基づいて算出される、当該画像データを撮像した撮像装置と当該マーカーとの回転角及び平行移動量から、当該複数の画像データを撮像した各々の撮像装置のカメラパラメータを導出する校正を行う校正部と、前記校正部によって導出されたカメラパラメータに基づき算出される射影変換行列を用いて、前記複数の画像データに射影変換を行うことにより、前記複数の画像データをそれぞれ変換後画像データに変換し、変換された前記変換後画像データに基づいて、複数の視点位置に対応する画像を滑らかに遷移させて表示可能である自由視点画像を生成する生成部と、を備え、前記受付部は、各画像データ内に複数のマーカーが含まれる前記複数の画像データを受け付け、前記校正部は、前記パラメータとして、前記複数のマーカーの各々の位置情報の対応関係に基づいて、当該複数の画像データに関する校正を行うことを特徴とする。

実施形態の一態様である画像処理装置によれば、一般ユーザに自由視点画像を有効に活用させることができるという効果を奏する。

図１は、実施形態に係る画像処理の一例を示す図である。 図２は、実施形態に係る画像処理装置の構成例を示す図である。 図３は、実施形態に係る画像データ記憶部の一例を示す図である。 図４は、実施形態に係る自由視点画像記憶部の一例を示す図である。 図５は、自由視点画像に関する撮像装置の理想的な配置の一例を示す図である。 図６は、実施形態に係る自由視点画像に関する撮像処理の一例を示す図である。 図７は、実施形態に係る自由視点画像に関する撮像装置の配置の一例を示す図である。 図８は、実施形態に係る画像処理装置が利用するマーカーを説明するための図（１）である。 図９は、実施形態に係る画像処理装置が利用するマーカーを説明するための図（２）である。 図１０は、実施形態に係る生成部による生成処理の一例を示す図である。 図１１は、実施形態に係る画像処理手順を示すフローチャートである。 図１２は、画像処理装置の機能を実現するコンピュータの一例を示すハードウェア構成図である。

以下に、本願に係る画像処理装置、画像処理方法及び画像処理プログラムの実施形態を図面に基づいて詳細に説明する。なお、この実施形態により本願に係る画像処理装置、画像処理方法及び画像処理プログラムが限定されるものではない。また、以下の各実施形態において同一の部位には同一の符号を付し、重複する説明は省略される。

〔１．画像処理の一例〕
まず、図１を用いて、実施形態に係る画像処理の一例について説明する。図１は、実施形態に係る画像処理の一例を示す図である。図１に示すように、実施形態に係る画像処理システム１には、ユーザ端末１０と、画像処理装置１００とが含まれる。ユーザ端末１０と画像処理装置１００とは、図示しないネットワークＮ（例えば、インターネット）を介して互いに通信可能に接続される。なお、画像処理システム１に含まれる各装置の台数は、図１に示した例に限られない。例えば、画像処理システム１には、複数台のユーザ端末１０が含まれてもよい。

ユーザ端末１０は、自由視点画像の生成を画像処理装置１００に要求するユーザによって利用される情報処理装置である。例えば、ユーザ端末１０は、デスクトップ型ＰＣ（Personal Computer）や、ノート型ＰＣ、スマートフォン等の携帯電話機、ＰＤＡ（Personal Digital Assistant）、タブレット端末等により実現される。なお、以下では、ユーザとユーザ端末１０とを同一視する場合がある。例えば、「ユーザに自由視点画像を配信する」とは、実際には、「ユーザが利用するユーザ端末１０に自由視点画像を配信する」ことを意味する場合がある。

実施形態において、ユーザ端末１０を利用するユーザは、例えば、自身が所有する商品をオークションサイト等に出品する出品者である。ユーザは、商品を被写体として様々な角度から撮影を行い、複数の画像データを取得する。続いて、ユーザは、ユーザ端末１０を介して、複数の画像データを画像処理装置１００に送信する。そして、ユーザは、複数の画像データに基づいて生成される自由視点画像を画像処理装置１００から取得する。ユーザは、例えば、商品を紹介するための情報の一つとして自由視点画像を用いて、オークションサイト等に出品する。

画像処理装置１００は、任意の視点位置に対応する画像を連続的に表示可能な画像である自由視点画像を生成するサーバ装置である。具体的には、実施形態に係る画像処理装置１００は、自由視点画像の配信を所望するユーザから複数の画像データの入稿を受け付け、受け付けた複数の画像データから自由視点画像を生成する。そして、画像処理装置１００は、生成した自由視点画像をユーザ端末１０に配信する。

画像処理装置１００は、ユーザ端末１０から入稿される元画像データに所定の変換処理を行うことにより、自由視点画像を生成する。画像処理装置１００は、多視点から撮像された複数の画像を、３次元位置のある一点で各撮像装置（カメラ）の光軸が重なった状態で撮影されたかのような画像である自由視点画像へ変換するため、射影変換行列を導出する。この場合、画像処理装置１００は、各画像を撮像する撮像装置のパラメータとして、撮像装置の位置姿勢を含むカメラパラメータを参照する。言い換えれば、自由視点画像の生成においては、各画像データが取得される際の撮像装置が強校正されていることが望ましい。

カメラパラメータが特定できない場合に、撮像された画像データに基づいて、カメラパラメータを推定する既知の手法も知られている。しかし、業務用の機材や設備を用いて撮像が行われない場合、既知の手法では、正確なカメラパラメータの推定を高精度で行うことができず、自由視点画像の生成において不具合が生じることがある。例えば、オークションサイトに出品する商品を紹介するような目的で撮像される画像は、出品者自身によって撮像される機会が多く、専門の撮影業者等によって撮像が行われる機会は少ない。このため、既知の手法では、自由視点画像の元となる画像データに関してカメラパラメータを高精度に推定することが困難な場合がある。

そこで、実施形態に係る画像処理装置１００は、画像データに含まれるビジュアルマーカー（以下、単に「マーカー」と表記する）を利用して、入稿された複数の画像データに関して所定の校正（カメラキャリブレーション）を行う。マーカーは、各々が識別可能なように描画された図形を用いる。なお、画像処理装置１００は、マーカーを用いる場合、画像内のマーカーと撮像装置との回転角Ｒと平行移動量Ｔを求めることで、校正処理を行うことができる。これにより、画像処理装置１００は、元の画像から自由視点画像を構成するための画像に射影変換するための適切なパラメータ（例えば、射影変換行列）を取得する。そして、画像処理装置１００は、射影変換された画像を連結することにより、複数の画像について滑らかに表示を遷移させることのできる自由視点画像を生成する。以下、画像処理装置１００が行う画像処理について、流れに沿って説明する。

まず、ユーザは、自由視点画像を生成するための元となる画像データを準備する。このとき、ユーザは、被写体とともに、マーカーを画像内に含むような複数の画像データを準備するものとする（ステップＳ１１）。ユーザは、マーカーの一例として、用紙（シート）に描かれた円を利用することができる。具体的には、ユーザは、画像処理装置１００から提供されるシートであって、所定の円が４隅に描かれたシート７０を準備する。例えば、ユーザは、ネットワークＮを介してシート７０の画像データを取得する。そして、ユーザは、シート７０の画像データを所定の用紙（例えば、Ａ４サイズの紙など）にプリントアウトすることで、シート７０を取得する。

シート７０には、円で示される円マーカーＭ０１、Ｍ０２、Ｍ０３及びＭ０４が描かれる。円マーカーとして採用される円は、円周上の任意の点から中心までの距離が等しい正円であるものとする。また、画像処理装置１００は、円マーカーＭ０１、Ｍ０２、Ｍ０３及びＭ０４のシート７０上における位置関係（例えば、座標上の関係性）に係る情報を有しているものとする。また、円マーカーは、一つの円としてではなく、黒色で描かれる外円と、内側の白色部分で描かれる内円という、二つの同心円として認識される。

また、円マーカーＭ０１、Ｍ０２、Ｍ０３及びＭ０４は、画像処理装置１００が認識可能な程度に、異なるサイズを有しているものとする。このため、画像処理装置１００は、画像データに二つの円マーカーが含まれている場合、射影変換後の正しい円のサイズを照らすことにより、円マーカーを識別可能である。また、詳細は後述するが、画像処理装置１００は、外円と内円の円周の比率を用いることで、円マーカーＭ０１、Ｍ０２、Ｍ０３及びＭ０４をそれぞれ識別するようにしてもよい。この場合、画像処理装置１００は、画像データに一つの円マーカーしか含まれていない場合であっても、円マーカーを識別することができる。

ユーザは、シート７０の中央に被写体６０を乗せて、様々な角度から撮像を行う。例えば、ユーザは、ユーザ端末１０の撮像機能を用いて、被写体６０を撮像する。あるいは、ユーザは、デジタルカメラ等、撮像によって画像データを取得することが可能な機器を用いて被写体６０を撮像する。そして、ユーザは、撮像によって取得した画像データをユーザ端末１０に格納する。

このようにして、ユーザは、シート７０に乗せられた状態で撮像された被写体６０の画像データを複数準備する。図１に示すように、ユーザは、被写体６０を取り囲むようにして撮像された元画像データＰ０１、Ｐ０２、Ｐ０３、・・・、Ｐ０Ｎ（Ｎは任意の数）を準備する。図１に示す例では、元画像データＰ０１は、被写体６０を右側から撮像した画像である。また、元画像データＰ０２は、被写体６０を右斜め前から撮像した画像である。また、元画像データＰ０３は、元画像データＰ０２と比較して、被写体６０を正面側に近い右斜め前側から撮像した画像である。このように、元画像データＰ０１～Ｐ０Ｎは、例えば、被写体６０を半円状に取り囲むようにして順番に撮像された画像データである。

上述のように、シート７０には、円マーカーＭ０１、Ｍ０２、Ｍ０３及びＭ０４が描かれている。しかしながら、被写体６０がシート７０の中央に乗せられて撮像が行われる場合、多くの画像データにおいて、一つ乃至二つの円マーカーは、被写体６０によって遮蔽されることで画像データに含まれなくなる。図１に示す元画像データＰ０１、Ｐ０２及びＰ０３の例では、円マーカーＭ０４は、被写体６０によって遮蔽されるため、完全な形では画像データに含まれなくなる。言い換えれば、被写体６０がシート７０の中央に乗せられて撮像が行われる場合、多くの画像データにおいて、二つ乃至３つの円マーカーが画像データに含まれることとなる。例えば、図１に示すように、元画像データＰ０１、Ｐ０２及びＰ０３は、被写体６０とともに、円マーカーＭ０１、Ｍ０２及びＭ０３を含む画像データである。なお、詳細については後述するが、画像処理装置１００が行う画像処理では、マーカーの種類によって画像データ内に含む必要のあるマーカーの数が変化する。例えば、画像に含まれるマーカーが円マーカーである場合、画像処理装置１００は、各画像に少なくとも二つの円マーカーを含む複数の画像データから、自由視点画像を生成することができる。

続いて、ユーザ端末１０は、ユーザの操作に従って、複数の元画像データＰ０１～Ｐ０Ｎを画像処理装置１００に入稿する（ステップＳ１２）。例えば、ユーザ端末１０は、画像処理装置１００が提供する画像生成サービスを提供するウェブページにおいて、複数の元画像データＰ０１～Ｐ０Ｎをアップロードすることにより、画像データを入稿する。

画像処理装置１００は、各画像データに、被写体６０とともに少なくとも二つの円マーカーが含まれる元画像データＰ０１～Ｐ０Ｎの入稿を受け付ける。そして、画像処理装置１００は、入稿された画像データに基づいて、自由視点画像を生成する（ステップＳ１３）。具体的には、画像処理装置１００は、一つの画像データに含まれる少なくとも二つの円マーカーに基づいて、入稿された複数の画像データに関して所定の校正を行う。

一般に、マーカーを利用した画像データに関する校正処理は、画像データ内におけるマーカーと、当該画像データを撮像した撮像装置（カメラ）との回転角Ｒ及び平行移動量Ｔというパラメータを算出することで実現される。

ここで、実施形態に係る画像処理装置１００が行う校正処理について、元画像データＰ０１を例に挙げて説明する。まず、画像処理装置１００は、元画像データＰ０１内の各円マーカーを検出する。この例では、画像処理装置１００は、円マーカーＭ０１及びＭ０２を検出するものとする。なお、画像処理装置１００は、円マーカーＭ０１及びＭ０２それぞれの外円と内円の比率の相違によって、円マーカーＭ０１及びＭ０２を識別する。上述のように、シート７０上に描かれる各円マーカーは、正円である。このため、撮像によって取得された画像データ内では、各円マーカーは、楕円となる。

画像処理装置１００は、検出した各楕円のパラメータに基づいて、各楕円の法線を推定する。楕円の法線は、一つの楕円につき２本算出される。このため、画像処理装置１００は、二つの円マーカーＭ０１及びＭ０２から算出された法線の解を組み合わせることで、円マーカーＭ０１及びＭ０２を含む平面を推定できる。さらに、画像処理装置１００は、推定した平面の法線を推定できる。

画像処理装置１００は、推定した平面の法線を、元画像データＰ０１におけるワールド座標系（空間の中での物体の位置を示すための座標系。「世界座標系」や「グローバル座標系」と表記される場合もある）におけるＹ軸と仮定する。そして、画像処理装置１００は、適当な円心同士（例えば、円マーカーＭ０１及びＭ０２）を結ぶベクトルをワールド座標系における仮のＸ軸とする。これらの情報に基づいて、画像処理装置１００は、画像内の円マーカーＭ０１又はＭ０２と撮像装置との回転角Ｒの関係を求めることができる。また、画像処理装置１００は、円心同士の距離を１と仮定することで、仮の平行移動量Ｔを算出することができる。画像処理装置１００は、仮のパラメータである回転角Ｒ及び平行移動量Ｔを用いて、検出された円の本来の大小関係を求めれば、どの円が楕円として検出できたのかを決定することができる。そして、シート７０における円の位置情報は既知であるから、検出された円のワールド座標系における位置に基づいて、画像処理装置１００は、正しいＸ軸と平行移動量Ｔを推定することができる。これにより、画像処理装置１００は、強校正を完了する。

そして、画像処理装置１００は、入稿された画像データから自由視点画像を構成するための画像に射影変換するための適切なパラメータを取得する。そして、画像処理装置１００は、取得されたパラメータを用いて画像データを射影変換する。画像処理装置１００は、射影変換された画像を連結することにより、入稿された各画像データを任意の視点で表示させることのできる自由視点画像Ｆ０１を生成する。

画像処理装置１００は、生成した自由視点画像Ｆ０１をユーザ端末１０に配信する（ステップＳ１４）。図１に示すように、自由視点画像Ｆ０１は、元画像データＰ０１～Ｐ０Ｎが変換された変換後画像データＲＰ０１～ＲＰ０Ｎを含む。また、自由視点画像Ｆ０１は、例えばユーザの操作に従って、変換後画像データＲＰ０１～ＲＰ０Ｎの表示を滑らかに遷移することが可能である。また、図１に示すように、変換後画像データＲＰ０１～ＲＰ０Ｎに含まれる各々の被写体６０は、校正の結果、元画像データＰ０１～Ｐ０Ｎに含まれる被写体６０と比較して、大きさが均一に揃えられている。

ユーザ端末１０は、画像処理装置１００から配信された自由視点画像Ｆ０１を取得する。ユーザは、例えば、オークションサイトの出品にあたり、自身の商品を紹介する情報の一つとして、自由視点画像Ｆ０１を利用する（ステップＳ１５）。

このように、実施形態に係る画像処理装置１００は、視点位置が異なる複数の画像データであって、所定のパラメータを有するとともに各々を識別可能である円マーカーＭ０１～Ｍ０４が、各画像データ内に少なくとも二つは含まれる複数の元画像データＰ０１～Ｐ０Ｎを受け付ける。そして、画像処理装置１００は、円マーカーが有するパラメータに基づいて、受け付けられた複数の元画像データＰ０１～Ｐ０Ｎに関する校正をする。さらに、画像処理装置１００は、校正された複数の画像データに所定の変換処理を行うことにより、任意の視点位置に対応する画像を連続的に表示可能である自由視点画像Ｆ０１を生成する。

これにより、実施形態に係る画像処理装置１００は、例えば、ユーザ端末１０のユーザのように、自由視点画像を活用して商材販売の促進を図るユーザに自由視点画像を提供することができる。すなわち、ユーザは、自由視点画像を販促などに利用することにより、通常の画像を提示するよりも、より高い販促効果を発揮させることができる。また、画像処理装置１００は、自由視点画像を生成するにあたり、マーカーを利用した校正処理を行う。画像処理装置１００は、マーカーを利用することで、専門の機材や装置の整った撮影環境で取得されていない元画像データからであっても、頑健に校正を行うことができる。すなわち、画像処理装置１００は、強校正が行われていない撮像装置によって取得された元画像データからも、任意の視点からの表示を自然に行うことのできる自由視点画像を生成することができる。結果として、画像処理装置１００は、一般ユーザに自由視点画像を有効に活用させることができるという効果を奏する。

〔２．画像処理装置の構成〕
次に、図２を用いて、実施形態に係る画像処理装置１００の構成について説明する。図２は、実施形態に係る画像処理装置１００の構成例を示す図である。図２に示すように、画像処理装置１００は、通信部１１０と、記憶部１２０と、制御部１３０とを有する。

（通信部１１０について）
通信部１１０は、例えば、ＮＩＣ（Network Interface Card）等によって実現される。そして、通信部１１０は、図示しないネットワークＮと有線又は無線で接続され、ユーザ端末１０との間で情報の送受信を行う。

（記憶部１２０について）
記憶部１２０は、例えば、ＲＡＭ（Random Access Memory)、フラッシュメモリ（Flash Memory）等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。図２に示すように、記憶部１２０は、画像データ記憶部１２１と、自由視点画像記憶部１２２とを有する。

（画像データ記憶部１２１について）
画像データ記憶部１２１は、ユーザ端末１０から入稿された画像データに関する情報を記憶する。ここで、図３に、実施形態に係る画像データ記憶部１２１の一例を示す。図３に示した例では、画像データ記憶部１２１は、「入稿ＩＤ」、「画像データ」といった項目を有する。

「入稿ＩＤ」は、入稿された画像データを識別するための識別情報を示す。入稿ＩＤが示す情報には、例えば、入稿された日時や、入稿元となるユーザ端末１０を識別する情報が含まれてもよい。

「画像データ」は、入稿された画像データを示す。図１で示したように、ユーザ端末１０は、自由視点画像の元となる画像データとして、複数の画像データを入稿する。「画像データ」の項目には、ユーザ端末１０から入稿された一連の画像データが対応付けられて記憶される。また、各画像データには、「Ｐ０１、Ｐ０２、Ｐ０３、Ｐ０４、Ｐ０５・・・」などの続き番号による識別情報が付与されてもよい。このような続き番号により、画像処理装置１００は、自由視点画像における画像同士の連結順を認識する。

すなわち、図３では、入稿ＩＤ「Ａ０１」で識別される画像データの入稿では、画像データ「Ｐ０１、Ｐ０２、Ｐ０３、Ｐ０４、Ｐ０５・・・」が自由視点画像を生成する元となる画像データとして入稿されたことを示す。

（自由視点画像記憶部１２２について）
自由視点画像記憶部１２２は、画像処理装置１００が生成した自由視点画像に関する情報を記憶する。ここで、図４に、実施形態に係る自由視点画像記憶部１２２の一例を示す。図４に示した例では、自由視点画像記憶部１２２は、「自由視点画像ＩＤ」、「元画像データ」、「校正データ」、「変換後画像データ」、「初期表示画面」といった項目を有する。

「自由視点画像ＩＤ」は、自由視点画像の識別情報を示す。「元画像データ」は、自由視点画像の生成元となった画像データを示す。自由視点画像は複数の画像データから生成されるため、元画像データは、一つの自由視点画像に対して複数記憶される。

「校正データ」は、自由視点画像を生成するための所定の校正データ（カメラキャリブレーション）を示す。図４では、校正データを「Ｒ０１」のような概念で示す。校正データには、画像処理装置１００が自由視点画像を構成する画像を取得するために、元画像データを適切に射影変換するための種々のデータが含まれる。例えば、校正データには、マーカーと撮像装置との回転角Ｒや平行移動量Ｔが含まれる。なお、校正データには、各画像データに関して、撮像装置のカメラパラメータとして、撮像装置の焦点距離や、撮像装置によって生成される画像のアスペクト比及びスキューなどが含まれてもよい。

「変換後画像データ」は、自由視点画像を構成する画像データを示す。変換後画像データは、例えば、元画像データに対して所定の校正が行われ、校正で算出されたパラメータにより射影変換された後の画像データである。

「初期表示画面」は、自由視点画像の最初の表示に対応する画像を示す。初期表示画面は、変換後画像データのうちの一つの変換後画像データが選択される。

すなわち、図４では、自由視点画像ＩＤ「Ｆ０１」で識別される自由視点画像は、元画像データが「Ｐ０１、Ｐ０２、Ｐ０３、Ｐ０４、Ｐ０５、・・・」であり、それぞれの校正データは「Ｒ０１、Ｒ０２、Ｒ０３、Ｒ０４、Ｒ０５、・・・」であり、変換後画像データは「ＲＰ０１、ＲＰ０２、ＲＰ０３、ＲＰ０４、ＲＰ０５、・・・」であり、初期表示画面は「ＲＰ０３」である例を示している。

なお、自由視点画像は、ユーザの任意の選択により自由視点画像の回転中心（注視点）が各々異なる自由視点画像が生成される場合がある。この場合、自由視点画像記憶部１２２には、自由視点画像ＩＤに対応付けられて、注視点に関する情報が記憶されてもよい。

（制御部１３０について）
制御部１３０は、例えば、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）等によって、画像処理装置１００内部の記憶装置に記憶されている各種プログラム（画像処理プログラムの一例に相当）がＲＡＭを作業領域として実行されることにより実現される。また、制御部１３０は、例えば、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等の集積回路により実現される。

制御部１３０は、図２に示すように、受付部１３１と、校正部１３２と、生成部１３３と、配信部１３４とを有し、以下に説明する情報処理の機能や作用を実現または実行する。なお、制御部１３０の内部構成は、図２に示した構成に限られず、後述する情報処理を行う構成であれば他の構成であってもよい。また、制御部１３０が有する各処理部の接続関係は、図２に示した接続関係に限られず、他の接続関係であってもよい。

（受付部１３１について）
受付部１３１は、視点位置が異なる複数の画像データを受け付ける。具体的には、実施形態に係る受付部１３１は、視点位置が異なる複数の画像データであって、所定のパラメータを有するとともに各々を識別可能であるマーカーが、各画像データ内に少なくとも一つは含まれる複数の画像データの入稿を受け付ける。

上述のように、画像処理装置１００が行う画像処理では、マーカーの種類によって画像データ内に含む必要のあるマーカーの数が変化する。例えば、画像に含まれるマーカーが円マーカーである場合、後述する校正部１３２及び生成部１３３は、各画像に少なくとも二つの円マーカーを含む複数の画像データから自由視点画像を生成することができる。すなわち、マーカーが円マーカーである場合、受付部１３１は、各々を識別可能である円マーカーが各画像データ内に少なくとも二つは含まれる複数の画像データの入稿を受け付ける。

また、画像処理装置１００が利用するマーカーの有するパラメータについても、マーカーの種類によって異なる場合がある。例えば、画像処理装置１００は、円マーカーの場合は、円マーカーを構成する同心円の径の長さや、シート７０における各円マーカーの位置情報等をパラメータとして用いる。また、例えば、画像処理装置１００は、四角形の２次元コード（例えば、ＱＲコード（登録商標））のように、識別情報と平行する２組の線分とを有するマーカーである場合、識別情報と平行する２組の線分をパラメータとして用いる。言い換えれば、画像処理装置１００は、円マーカーの場合に推定した法線に代わるパラメータとして、四角形のマーカーの場合には、四角形を構成する線分である平行する２組の線分をパラメータとして用いる。

受付部１３１は、入稿を受け付けた一連の画像データに入稿ＩＤを付与し、画像データ記憶部１２１に格納する。

（校正部１３２について）
校正部１３２は、マーカーが有するパラメータに基づいて、受付部１３１によって受け付けられた複数の画像データに関する校正を行う。具体的には、実施形態に係る校正部１３２は、入稿された元画像データについて所定の校正を行うことで、自由視点画像を構成する画像に変換させるための変換行列に用いられるカメラパラメータを算出する。なお、後述する生成部１３３は、校正部１３２による校正の結果に基づいて、元画像データに所定の変換処理を行うことで、自由視点画像を生成する。

ここで、校正部１３２及び生成部１３３が扱う自由視点画像について、図５、図６及び図７を用いて説明する。まず、図５を用いて、自由視点画像に関する撮像装置の配置について説明する。図５は、自由視点画像に関する撮像装置の理想的な配置の一例を示す図である。図５では、自由視点画像の元となる複数の画像データの撮像について、理想的な撮像装置の配置の一例を示している。なお、図５では、被写体６０を上から見た例を示す。

図５において、撮像装置Ｃ１１～Ｃ１６は、例えば、デジタルカメラである。また、撮像装置Ｃ１１～Ｃ１６は、各撮像装置における光軸が所定の位置を通過するように、撮像対象となる被写体６０の周囲に配置される。図５の例では、撮像装置Ｃ１１は、被写体６０の中心に該当する３次元位置Ｄ１を光軸Ｅ１１_１が通過するように配置される。また、撮像装置Ｃ１２～Ｃ１６は、それぞれの光軸Ｅ１２_１～Ｅ１６_１が３次元位置Ｄ１を通過するように配置される。なお、理想的な状況として、撮像装置Ｃ１１～Ｃ１６は、少なくとも投影面の底辺が地面と略平行となるように設置されるものとする。そして、撮像装置Ｃ１１～Ｃ１６は、図１に示した状態で一斉に被写体６０を撮像することにより、被写体６０の自由視点画像を生成する元となる画像データを取得することができる。

なお、図５の例では、６台の撮像装置Ｃ１１～Ｃ１６を用いて被写体６０を撮像する例を示したが、撮像装置の数はこの例に限られない。また、撮像装置Ｃ１１～Ｃ１６の配置位置は、図５に示した例に限られない。例えば、撮像装置Ｃ１１～Ｃ１６は、被写体６０を半円状に囲むのではなく、複数の撮像装置が被写体６０を囲むように、円周上に等間隔に配置されてもよい。

ただし、図５の撮像手法では、撮像装置Ｃ１１～Ｃ１６の適切な配置や、撮像装置Ｃ１１～Ｃ１６の適切なキャリブレーションが求められる。すなわち、図５で示すような撮像処理をユーザのように撮像の専門家でない一般ユーザが行うのは困難である。

ここで、図６及び図７を用いて、撮像の専門家でない一般ユーザ等（以下、単に「ユーザ」と表記する）によって被写体６０が撮像される場合の撮像処理について説明する。図６は、実施形態に係る自由視点画像に関する撮像処理の一例を示す図である。図６では、ユーザが、撮像装置Ｃ２０を用いて、シート７０に乗せられた被写体６０を撮像する状況を示している。

図６に示すように、ユーザは、シート７０に乗せられた被写体６０の周囲を回転するように、連続的に被写体６０を撮像する。この場合、図５と比較して、カメラの光軸や焦点距離が、撮像された各画像データについて一定でないことが想定される。

なお、図１でも説明したように、ユーザが被写体６０を周囲から撮像した各画像データでは、シート７０に描かれた円マーカーのいずれかが遮蔽されて隠れてしまうものの、少なくとも二つの円マーカーが各画像データに含まれることが想定される。

次に、図７を用いて、図６で示した撮像の状況を上から見た場合を説明する。図７は、実施形態に係る自由視点画像に関する撮像装置の配置の一例を示す図である。図７では、自由視点画像の元となる複数の画像データの撮像について、ユーザが実際に被写体６０を撮像する場合に想定される撮像装置の配置等を示す。なお、以下の説明において、撮像装置Ｃ２０_１～２０_Ｎを区別する必要のないときは、「撮像装置Ｃ２０」と記載する。

撮像装置Ｃ２０_１～２０_Ｎは、例えば、デジタルカメラである。理想的には、撮像装置Ｃ２０_１～２０_Ｎは、図５で説明したように、それぞれ個別の撮像装置として、被写体６０の周囲に配置されることが望ましい。ところが、実際には、ユーザは、１台の撮像装置Ｃ２０_１を図７の撮像装置Ｃ２０_１～２０_Ｎが示す箇所に移動させながら、被写体６０を撮像することが想定される。具体的には、ユーザは、図７に示す撮像装置Ｃ２０_１の場所から被写体６０を撮像する。そして、ユーザは、被写体６０を中心とした円に沿って、図７に示す撮像装置Ｃ２０_２の場所へ移動し、被写体６０を撮像する。かかる作業を繰り返し、ユーザは、被写体６０について複数の画像データを取得する。

この場合、ユーザが、光軸Ｅ２０_１が被写体６０の中心を通るように注意深く撮像したとしても、自由視点画像の元画像として正確に（例えば、図５で示したように）被写体６０を撮像することは難しい。また、ユーザによって扱われる撮像装置Ｃ２０についてカメラキャリブレーションされているとは限らないため、画像データからカメラパラメータ等を取得することができない場合がある。

そこで、校正部１３２は、受付部１３１によって受け付けられた画像データについて、マーカーを利用した所定の校正を行うことにより、自由視点画像を構成する画像に変換できるようにする。この点について、図８を用いて説明する。

図８は、実施形態に係る画像処理装置１００が利用するマーカーを説明するための図（１）である。図８では、校正部１３２が校正に利用する円マーカーＭ０１、Ｍ０２、Ｍ０３及びＭ０４が４隅に描かれた、シート７０について説明する。

図８に示すように、シート７０には、円マーカーＭ０１、Ｍ０２、Ｍ０３及びＭ０４と、中央表示７５が含まれる。なお、中央表示７５は、例えば、シート７０に被写体６０を設置する場合の目安となる表示である。ユーザは、図８に示すシート７０を取得し、シート７０に乗せられた被写体６０を撮像する。

また、上述のように、校正部１３２は、シート７０に描かれる円マーカーＭ０１、Ｍ０２、Ｍ０３及びＭ０４の位置情報を予め取得する。これにより、校正部１３２は、各円マーカーを識別することができれば、円マーカーＭ０１、Ｍ０２、Ｍ０３及びＭ０４の各々の位置関係を推定することができるため、マーカーを利用した校正処理を行うことができる。なお、校正部１３２は、画像データにおいて、マーカーの位置情報をワールド座標系における絶対値として与えておいてもよい。すなわち、校正部１３２は、複数のマーカーを予めワールド座標系においてマッピングするマッピング処理を行う。これにより、校正部１３２は、被写体６０やその他の物体等に遮蔽されたマーカーが画像データ内にある場合でも、遮蔽されたマーカーの位置を推定して校正処理を行うことができる。

ここで、画像処理装置１００が行う円マーカーの識別処理の一例について説明する。図９は、実施形態に係る画像処理装置１００が利用するマーカーを説明するための図（２）である。図９では、画像処理装置１００に係る校正部１３２が校正に利用する円マーカーＭ０１を例に挙げて説明する。

図９に示すように、校正部１３２は、円マーカーＭ０１について、内円８０と外円８５という同心の２円として認識可能である。図９の例では、内円８０及び外円８５の中心を点Ｃとし、内円８０の径を線ＢＤ、外円８５の径を線ＡＥとして示している。

ここで、校正部１３２は、各円マーカーの識別に関して、射影空間において、線分の復比（長さの比の比）が不変という性質を利用する。例えば、校正部１３２は、（線ＡＣ／線ＡＤ）と（線ＢＣ／線ＢＤ）との比率が不変であることを利用する。言い換えれば、校正部１３２は、（線ＡＣ×線ＢＤ）／（線ＡＤ／線ＢＣ）の値が不変であることを利用する。このため、校正部１３２は、内円８０と外円８５の半径の比である（線ＢＣ／線ＡＣ）を予め登録することにより、円マーカーＭ０１を識別することができる。

すなわち、校正部１３２は、円マーカーＭ０１、Ｍ０２、Ｍ０３及びＭ０４の各々の内円と外円の半径の比が異なるように描かれたシート７０を作成する。これにより、校正部１３２は、ユーザから入稿された画像データに含まれる各々の円マーカーを識別することができる。

上述してきたように、校正部１３２は、各円マーカーを識別することにより、入稿された各元画像データ間の各円マーカーの対応を参照することができる。例えば、校正部１３２は、元画像データにおいて、マーカーが有するパラメータを用いて推定される平面情報と、平面情報に対応する平面に含まれるマーカーの位置情報とに基づいて、複数の画像データに関する校正を行う。

また、校正部１３２は、マーカーが有するパラメータとして、複数のマーカーの各々の位置情報の対応関係に基づいて、複数の画像データに関する校正を行う。また、校正部１３２は、マーカーが円マーカーである場合、円マーカーが有するパラメータを用いて推定される円マーカーの法線を含む平面情報と、平面情報に対応する平面に含まれる二つの円マーカーの位置情報の対応関係とに基づいて、複数の画像データに関する校正を行う。

（生成部１３３について）
生成部１３３は、校正部１３２によって校正された複数の画像データに所定の変換処理を行うことにより、任意の視点位置に対応する画像を連続的に表示可能である自由視点画像を生成する。

図７を用いて説明したように、ユーザ端末１０から入稿される元画像データ群は、被写体６０に光軸を向けて撮像されているものの、厳密には光軸が上下左右にばらついていることが想定される。このため、入稿される元画像データ群を単に連続的に表示させたとしても、かかる連続画像では、不連続性が際立つと推定される。

そのため、生成部１３３は、各々の元画像データが撮像された際の撮像装置Ｃ２０の光軸が、３次元空間上のある１点（例えば、図５に示した３次元位置Ｄ１など）を通過していたかのような画像へと変換する射影変換行列を用いて、元画像データを変換する。かかる射影変換行列は、校正部１３２が行う校正処理によって導出されたパラメータにより作成されうる。

例えば、生成部１３３は、射影変換によって、自由視点画像を構成する変換後画像データを生成する。例えば、変換後の画像データに対応する所定の撮像装置（カメラ）をカメラｋと仮定すると、このようなカメラｋにおける射影変換行列Ｈ_ｋは、各カメラの回転角（回転行列）Ｒ、及び光軸を通過させたい３次元点に基づいて、下記式（１）で求めることができる。

上記式（１）において、Ｒ_ｋの逆行列とは、カメラｋにおける元の回転角Ｒであり、Ｒ´_ｋとは新しい回転角Ｒであり、Ａ_ｋとは内部パラメータである。内部パラメータは、例えば、画像中心位置や焦点距離により与えられる。なお、新しい回転角Ｒ´_ｋは、既知の手法により、カメラ位置と、ワールド座標系において回転させたい中心から求まる理想的な光軸と、元の光軸とから求めることが可能である。

生成部１３３は、上記式（１）のように生成された射影変換行列を用いて、各元画像データを変換することにより、自由視点画像を生成する。ここで、図１０を用いて、実施形態に係る生成部１３３による生成処理の一例を説明する。図１０は、実施形態に係る生成部１３３による生成処理の一例を示す図である。

図１０に示すように、生成部１３３は、校正部１３２による校正処理とともに、所定の変換処理を行うことにより、元画像データＰ０１～Ｐ０５を、変換後画像データＲＰ０１～ＲＰ０５に変換することで、自由視点画像を生成する。

元画像データＰ０１を例に挙げると、校正部１３２は、元画像データＰ０１から、円マーカーを少なくとも二つ検出する。例えば、校正部１３２は、元画像データＰ０１から、円マーカーＭ０２及び円マーカーＭ０３を検出する。そして、校正部１３２は、上述した処理によって、元画像データＰ０１に関する校正を行う。すなわち、校正部１３２は、校正処理によって、元画像データＰ０１を撮像した撮像装置Ｃ２０のカメラパラメータを導出する。言い換えれば、校正部１３２は、射影変換行列を生成するためのパラメータを取得する。

そして、生成部１３３は、校正部１３２による校正処理の結果を受けて、射影変換行列を生成する。続けて、生成部１３３は、元画像データＰ０１を射影変換することで、変換後画像データＲＰ０１を生成する。生成部１３３は、同様に、元画像データＰ０２～Ｐ０５に基づいて、それぞれ、変換後画像データＲＰ０２～ＲＰ０５を生成する（ステップＳ２０）。

なお、校正部１３２又は生成部１３３は、マーカーを利用した校正処理が行われた後は、既知の種々の手法を用いて、校正処理を行ったり、射影変換を行ったりしてもよい。例えば、校正部１３２又は生成部１３３は、ストラクチャーフロムモーション（Structure From Motion、以下、「ＳＦＭ」と記載する）と呼ばれる既知の手法を用いてもよい。ＳＦＭによれば、種々の視点位置から撮像された複数の画像データに基づいて、画像の３次元形状を復元することが可能となる。具体的には、ＳＦＭは、画像データ間で対応付けされた対応点を用いて、かかる対応点の移動を基礎行列で表現することにより、撮像装置Ｃ２０の動きを算出する。なお、ＳＦＭによれば、撮像装置Ｃ２０の位置情報を復元することができるため、校正部１３２は、所定の処理において、ＳＦＭの手法を適宜用いて、カメラパラメータを取得するようにしてもよい。

上記のように、校正部１３２は、所定の校正処理として、複数の画像データ間で対応するマーカーの関係に基づいて、当該画像データを取得した撮像装置Ｃ２０のカメラパラメータ（例えば、相対的な位置情報等）を取得する。そして、生成部１３３は、校正部１３２によって取得されたパラメータ等の校正データを用いて、各画像データに対応する射影変換行列を算出する。そして、生成部１３３は、算出された射影変換行列を用いて、各元画像データを変換する。そして、生成部１３３は、変換した変換後画像データに基づいて、自由視点画像を生成する。生成部１３３は、生成した自由視点画像を自由視点画像記憶部１２２に格納する。なお、校正部１３２及び生成部１３３が実行する処理には、上記先行技術文献の特許文献２及び３にて開示された処理が、適宜応用されてもよい。

なお、生成部１３３は、複数の画像データが所定の連続性を有するか否かを判定することにより、生成処理で取り扱う画像データを抽出し、抽出された画像データを用いて自由視点画像を生成してもよい。言い換えれば、生成部１３３は、入稿された複数の画像データのうち、自由視点画像の生成に適する画像データを抽出して自由視点画像を生成する。例えば、生成部１３３は、生成処理において、入稿された複数の画像データのうち、誤って入稿された画像データや、自由視点画像の生成に不適切な画像データを排除することができる。かかる処理は、例えば、マーカーを利用した校正処理を行う際に、マーカーが検出できなかったり、元画像データにおいて対応するマーカーが検出されなかったりした場合に行われうる。また、生成部１３３は、入稿された複数の画像データによって自由視点画像を生成することができない場合には、生成することができない理由、又は自由視点画像を生成可能とするための画像データの差し換えに係る情報が含まれる通知データを生成してもよい。

（配信部１３４について）
配信部１３４は、生成部１３３によって生成された自由視点画像を配信する。具体的には、実施形態に係る配信部１３４は、生成部１３３によって生成され、自由視点画像記憶部１２２に記憶されている自由視点画像を、元画像データの入稿元であるユーザ端末１０に配信する。

なお、配信部１３４は、元画像データが適切でなく、生成部１３３が自由視点画像を生成することができない旨や、自由視点画像の生成のための追加の画像データの入稿を求める旨を示した通知データを生成したときは、かかる通知データを元画像データの入稿元に配信してもよい。

〔３．画像処理手順〕
次に、図１１を用いて、実施形態に係る画像処理装置１００による画像処理の手順について説明する。図１１は、実施形態に係る画像処理手順を示すフローチャートである。

図１１に示すように、画像処理装置１００の受付部１３１は、ユーザ端末１０から画像データの入稿を受け付けたか否かを判定する（ステップＳ１０１）。このとき、受付部１３１は、画像データの入稿を受け付けていない場合には（ステップＳ１０１；Ｎｏ）、画像データの入稿を受け付けるまで待機する。

一方、受付部１３１は、画像データの入稿を受け付けた場合には（ステップＳ１０１；Ｙｅｓ）、受け付けた画像データを画像データ記憶部１２１に格納する。そして、校正部１３２は、各画像データに含まれるマーカーを特定（検出）する（ステップＳ１０２）。

そして、校正部１３２は、マーカーを利用して、画像データに関する校正処理を行う（ステップＳ１０３）。続けて、生成部１３３は、校正部１３２によって行われた校正処理の校正データに基づいて、画像データを変換する（ステップＳ１０４）。

そして、生成部１３３は、変換された画像データに基づいて、自由視点画像を生成する（ステップＳ１０５）。続いて、配信部１３４は、自由視点画像をユーザ端末１０に配信する（ステップＳ１０６）。

〔４．変形例〕
上述してきた実施形態に係る画像処理装置１００は、上記実施形態以外にも種々の異なる形態にて実施されてよい。そこで、以下に、上記の画像処理装置１００の他の実施形態について説明する。

〔４－１．円以外の図形を利用したマーカー〕
上記実施形態では、画像処理装置１００は、円マーカーを利用して各画像データに関する校正処理を行うことを説明した。しかし、画像処理装置１００は、円マーカー以外のマーカーを利用してもよい。

例えば、画像処理装置１００は、上記のように、識別情報を有する２次元コードを利用することができる。この場合、２次元コード自体に識別情報が含まれ、かつ、一つの２次元コードには２組の（互いに平行ではない）平行の線分が含まれるため、画像処理装置１００は、各画像データから少なくとも一つのマーカーを検出することで、校正処理を実行することができる。なお、画像データ内に平面を規定することのできる線分であれば、校正処理において、線分が平行である必要はない。

このように、画像処理装置１００は、マーカーとして、四角形の形状と識別情報とを有する２次元コードが、各画像データ内に少なくとも一つは含まれる複数の画像データを受け付ける。そして、画像処理装置１００は、２次元コードが有する２辺の線分の情報を用いて推定される平面情報と、平面情報に対応する平面に含まれる少なくとも一つの２次元コードの位置情報とに基づいて、複数の画像データに関する校正を行う。このように、画像処理装置１００は、校正に利用されるマーカーが円以外の図形であっても、適切な校正を行うことができる。

〔４－２．４点を利用するマーカー〕
また、画像処理装置１００は、マーカーとして、互いの位置関係が既知である４つ以上の点をマーカーとして用いることもできる。この場合、画像処理装置１００は、各画像データに少なくとも４つの点が含まれている画像データの入稿を受け付ける。

すなわち、画像処理装置１００は、画像データ内からマーカーとして４つの点を検出することで、４つの点のうちから２点を結び、線分を二つ規定することができる。これにより、画像処理装置１００は、上記実施形態で説明したような、円マーカーを用いた処理と同様の処理を行うことができる。

具体的には、画像処理装置１００は、互いの位置情報の対応関係が予め規定された複数の点であって、各画像データ内に少なくとも４つは含まれる複数の点を含んだ複数の画像データを受け付ける。そして、画像処理装置１００は、複数の点のうち２点を結ぶ線分から２本の線分を抽出し、抽出された２本の線分を用いて推定される複数の点を含む平面情報と、平面情報に対応する平面に含まれる複数の点の位置情報の対応関係とに基づいて、複数の画像データに関する校正を行う。このように、画像処理装置１００は、マーカーそのものに識別情報を有しなくても、各点の位置情報や座標に基づいて各点の対応関係を利用することにより、点をマーカーとして利用することができる。

〔４－３．活用例（１）〕
上記実施形態では、画像処理装置１００は、オークションの出品を所望するユーザから入稿された複数の画像データに基づいて、自由視点画像を生成する処理を例として示した。この場合、画像処理装置１００は、生成した自由視点画像を、自由視点画像の元となる複数の画像データを入稿したユーザ端末１０もしくはユーザ端末１０を利用するユーザを識別する識別情報、又は、ユーザが利用するサービスにおける出品情報の少なくともいずれか一つと対応付けて、所定の記憶部に格納するようにしてもよい。

すなわち、画像処理装置１００は、生成した自由視点画像をユーザに配信するのみならず、ユーザ端末１０やユーザの識別情報（例えば、ユーザＩＤ）や、ユーザが利用するサービスにおける出品情報とともに、自由視点画像記憶部１２２等に記憶するようにしてもよい。なお、ユーザが利用するサービスにおける出品情報とは、例えば、オークションサイトにおける出品商品を示す識別情報であったり、オークションサイトにおいて行われているオークションを識別する識別情報であったり、ショッピングサイトにおける商品を識別する識別情報といった、出品物（例えば、自由視点画像の元画像データの被写体であることが想定される）を特定することのできる情報である。

この場合、画像処理装置１００は、例えば、サービスを管理運営するウェブサーバ等から自由視点画像の配信の要求を受け付ける。そして、画像処理装置１００は、要求を受けた場合に、ユーザ端末１０やユーザの識別情報や出品情報に基づいて、自由視点画像を特定する。そして、画像処理装置１００は、特定された自由視点画像をサービス側（例えばウェブサーバ）に配信する。自由視点画像を取得したウェブサーバは、オークションにおける商品の紹介画像として、自由視点画像を掲載する。

このように、画像処理装置１００は、ユーザに自由視点画像を配信するのみならず、ユーザを識別する情報とともに自由視点画像を記憶部１２０内に格納しておき、要求に応じて、サービス側に自由視点画像を配信するようにしてもよい。これにより、画像処理装置１００は、多様な要求に応答して自由視点画像を配信することができるため、より自由視点画像を活用させることができる。この場合、画像処理装置１００は、例えば、図６に示した自由視点画像記憶部１２２内に、自由視点画像ＩＤと対応付けて、ユーザＩＤや、ユーザの出品情報ＩＤ等の情報を格納するようにしてもよい。

〔４－４．活用例（２）〕
上記実施形態においては、自由視点画像がユーザに利用される例として、オークションサイトへの商品の出品等を示した。しかし、画像処理装置１００は、生成した自由視点画像を様々な対象に配信してもよい。例えば、画像処理装置１００は、ユーザ端末１０ではなく、直接、ウェブサーバ等に配信するサービスを行ってもよい。また、画像処理装置１００は、主としてＵＧＣ（User-Generated Contents）を掲載するサイトであるＵＧＭ（User-Generated Media）、またはＣＧＭ（Consumer-Generated Media）等に、生成した自由視点画像を配信してもよい。なお、ＵＧＭには、投稿動画共有サイト、写真共有サイト、イラスト投稿サイト、ＳＮＳ（Social Networking Service）等が含まれる。

〔５．その他〕
また、上述した各実施形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。例えば、各図に示した各種情報は、図示した情報に限られない。

また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。例えば、図２に示した校正部１３２と生成部１３３とは統合されてもよい。また、画像処理装置１００は、ユーザ等の利用者とデータのやりとりを主に行うフロントエンドサーバと、生成処理等を行うバックエンドサーバとに分散される態様であってもよい。この場合、フロントエンドサーバは、少なくとも、受付部１３１と配信部１３４とを有する。また、バックエンドサーバは、少なくとも、校正部１３２と生成部１３３とを有する。また、画像処理装置１００は、記憶部１２０を内部に備えるのではなく、外部のストレージサーバを利用する態様であってもよい。

また、上述してきた各実施形態は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。

〔６．ハードウェア構成〕
また、上述してきた実施形態に係る画像処理装置１００は、例えば図１２に示すような構成のコンピュータ１０００によって実現される。図１２は、画像処理装置１００の機能を実現するコンピュータ１０００の一例を示すハードウェア構成図である。コンピュータ１０００は、ＣＰＵ１１００、ＲＡＭ１２００、ＲＯＭ１３００、ＨＤＤ１４００、通信インターフェイス（Ｉ／Ｆ）１５００、入出力インターフェイス（Ｉ／Ｆ）１６００、及びメディアインターフェイス（Ｉ／Ｆ）１７００を有する。

ＣＰＵ１１００は、ＲＯＭ１３００又はＨＤＤ１４００に格納されたプログラムに基づいて動作し、各部の制御を行う。ＲＯＭ１３００は、コンピュータ１０００の起動時にＣＰＵ１１００によって実行されるブートプログラムや、コンピュータ１０００のハードウェアに依存するプログラム等を格納する。

ＨＤＤ１４００は、ＣＰＵ１１００によって実行されるプログラム、及び、かかるプログラムによって使用されるデータ等を記憶する。通信インターフェイス１５００は、通信網５００（実施形態のネットワークＮに対応する）を介して他の機器からデータを受信してＣＰＵ１１００へ送り、また、通信網５００を介してＣＰＵ１１００が生成したデータを他の機器へ送信する。

ＣＰＵ１１００は、入出力インターフェイス１６００を介して、ディスプレイやプリンタ等の出力装置、及び、キーボードやマウス等の入力装置を制御する。ＣＰＵ１１００は、入出力インターフェイス１６００を介して、入力装置からデータを取得する。また、ＣＰＵ１１００は、入出力インターフェイス１６００を介して生成したデータを出力装置へ出力する。

メディアインターフェイス１７００は、記録媒体１８００に格納されたプログラム又はデータを読み取り、ＲＡＭ１２００を介してＣＰＵ１１００に提供する。ＣＰＵ１１００は、かかるプログラムを、メディアインターフェイス１７００を介して記録媒体１８００からＲＡＭ１２００上にロードし、ロードしたプログラムを実行する。記録媒体１８００は、例えばＤＶＤ（Digital Versatile Disc）、ＰＤ（Phase change rewritable Disk）等の光学記録媒体、ＭＯ（Magneto-Optical disk）等の光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリ等である。

例えば、コンピュータ１０００が画像処理装置１００として機能する場合、コンピュータ１０００のＣＰＵ１１００は、ＲＡＭ１２００上にロードされたプログラムを実行することにより、制御部１３０の機能を実現する。また、ＨＤＤ１４００には、記憶部１２０内の各データが格納される。コンピュータ１０００のＣＰＵ１１００は、これらのプログラムを記録媒体１８００から読み取って実行するが、他の例として、他の装置から通信網５００を介してこれらのプログラムを取得してもよい。

〔７．効果〕
上述してきたように、実施形態に係る画像処理装置１００は、受付部１３１と、校正部１３２と、生成部１３３とを有する。受付部１３１は、視点位置が異なる複数の画像データであって、所定のパラメータを有するとともに各々を識別可能であるマーカーが、各画像データ内に少なくとも一つは含まれる複数の画像データを受け付ける。校正部１３２は、マーカーが有するパラメータに基づいて、受付部１３１によって受け付けられた複数の画像データに関する校正を行う。生成部１３３は、校正部１３２によって校正された複数の画像データに所定の変換処理を行うことにより、任意の視点位置に対応する画像を連続的に表示可能である自由視点画像を生成する。

このように、実施形態に係る画像処理装置１００は、自由視点画像を生成するにあたり、マーカーを利用した校正処理を行う。例えば、画像処理装置１００は、被写体とともにマーカーを撮像した画像データを利用することで、専門の機材や装置の整った撮影環境で取得されていない、一般ユーザによって撮像されたような元画像データからであっても、頑健に校正を行うことができる。すなわち、画像処理装置１００は、強校正が行われていない撮像装置によって取得された元画像データからも、任意の視点からの表示を自然に行うことのできる自由視点画像を生成することができる。結果として、画像処理装置１００は、一般ユーザに自由視点画像を有効に活用させることができるという効果を奏する。

また、校正部１３２は、画像データにおいて、マーカーが有するパラメータを用いて推定される平面情報と、平面情報に対応する平面に含まれるマーカーの位置情報とに基づいて、複数の画像データに関する校正を行う。

このように、実施形態に係る画像処理装置１００は、平面情報を規定することのできるパラメータ（例えば、２本の線分を規定する情報）を有するマーカーを利用して、校正処理を行う。これにより、画像処理装置１００は、一般的なユーザによって撮像された画像データであっても、適切な校正処理を行うことができる。

また、受付部１３１は、各画像データ内に複数のマーカーが含まれる複数の画像データを受け付ける。校正部１３２は、パラメータとして、複数のマーカーの各々の位置情報の対応関係に基づいて、複数の画像データに関する校正を行う。

このように、実施形態に係る画像処理装置１００は、画像データ内におけるマーカーの位置情報の対応関係（マッピング情報）に基づいて、複数の画像データに関する校正を行うことができる。これにより、画像処理装置１００は、互いのマーカー、すなわち、各画像間の対応点を適切に特定することができるため、頑健な校正を行うことができる。

また、受付部１３１は、同心を有する二つの円から構成されるマーカーである円マーカーが、各画像データ内に少なくとも二つは含まれる複数の画像データを受け付ける。校正部１３２は、円マーカーが有するパラメータを用いて推定される円マーカーの法線を含む平面情報と、平面情報に対応する平面に含まれる二つの円マーカーの位置情報の対応関係とに基づいて、複数の画像データに関する校正を行う。

このように、実施形態に係る画像処理装置１００は、円マーカーによる校正処理を行うことができる。円マーカーは、画像データとして投影された場合に、楕円パラメータを有するため、法線を推定できる。このため、画像処理装置１００は、法線に基づく平面情報を容易に推定可能であり、さらに平面の法線を推定可能である。これにより、画像処理装置１００は、画像データにおけるワールド座標系との対応をとることができるため、適切な校正処理を行うことができる。

また、受付部１３１は、互いの位置情報の対応関係が予め規定された複数の点であって、各画像データ内に少なくとも４つは含まれる複数の点を含んだ複数の画像データを受け付ける。校正部１３２は、複数の点のうち２点を結ぶ線分から２本の線分を抽出し、抽出された２本の線分を用いて推定される複数の点を含む平面情報と、平面情報に対応する平面に含まれる複数の点の位置情報の対応関係とに基づいて、複数の画像データに関する校正を行う。

このように、実施形態に係る画像処理装置１００は、少なくとも４点をマーカーとして利用することもできる。このため、画像処理装置１００は、互いに識別可能な情報であれば、円などの図形を用いなくとも、適切な校正処理を行うことができる。すなわち、画像処理装置１００は、汎用性の高い画像処理を行うことができる。

また、受付部１３１は、四角形の形状と識別情報とを有する２次元コードが、各画像データ内に少なくとも一つは含まれる複数の画像データを受け付ける。校正部１３２は、２次元コードが有する２辺の線分の情報を用いて推定される平面情報と、平面情報に対応する平面に含まれる少なくとも一つの２次元コードの位置情報とに基づいて、複数の画像データに関する校正を行う。

このように、実施形態に係る画像処理装置１００は、２次元コードをマーカーとして用いてもよい。２次元コードは、２次元コード自体を識別する識別情報を有するため、円マーカーのようにサイズ等を用いて二つの円を特定せずとも、一つのマーカーで識別されることができる。このため、画像処理装置１００は、少なくとも一つの２次元コードに基づいて、校正処理を行うことができる。すなわち、画像処理装置１００は、複数個のマーカーの対応関係を算出するといった処理負担を軽減させることができる。

また、実施形態に係る画像処理装置１００は、生成部１３３によって生成された自由視点画像を配信する配信部１３４をさらに備える。また、受付部１３１は、ユーザ端末１０から複数の画像データの入稿を受け付けるとともに、ユーザ端末１０を識別する情報を受け付ける。配信部１３４は、受付部１３１によって受け付けられたユーザ端末１０を識別する情報に基づいて、ユーザ端末１０に自由視点画像を配信する。

上述してきたように、実施形態に係る画像処理装置１００は、ユーザが自由に撮像したような、校正がなされていない画像データによっても、自由視点画像を生成することができる。そして、画像処理装置１００は、生成した自由視点画像をユーザが利用するユーザ端末１０に配信する。すなわち、画像処理装置１００によれば、ユーザは、自由視点画像をオークションサイトの出品等に利用することが可能になる。このように、画像処理装置１００は、一般ユーザの自由視点画像の活用を促進させることができる。

また、生成部１３３は、生成した前記自由視点画像を、当該自由視点画像の元となる複数の画像データを入稿したユーザ端末１０もしくはユーザ端末１０を利用するユーザを識別する識別情報、又は、ユーザが利用するサービスにおける出品情報の少なくともいずれか一つと対応付けて、所定の記憶部に格納する。

このように、実施形態に係る画像処理装置１００は、ユーザを識別する情報とともに自由視点画像を記憶部１２０内に格納しておき、例えば、要求に応じて、サービス側に自由視点画像を配信するようにしてもよい。これにより、画像処理装置１００は、多様な要求に応答して自由視点画像を利用させることができるため、よりユーザに自由視点画像を有用に利用させることができる。

以上、本願の実施形態のいくつかを図面に基づいて詳細に説明したが、これらは例示であり、発明の開示の欄に記載の態様を始めとして、当業者の知識に基づいて種々の変形、改良を施した他の形態で本発明を実施することが可能である。

また、上述した画像処理装置１００は、複数のサーバコンピュータで実現してもよく、また、機能によっては外部のプラットフォーム等をＡＰＩ（Application Programming Interface）やネットワークコンピューティングなどで呼び出して実現するなど、構成は柔軟に変更できる。

また、特許請求の範囲に記載した「手段」は、「部（section、module、unit）」や「回路」などに読み替えることができる。例えば、生成手段は、生成部や生成回路に読み替えることができる。

１ 画像処理システム
１０ ユーザ端末
１００ 画像処理装置
１１０ 通信部
１２０ 記憶部
１２１ 画像データ記憶部
１２２ 自由視点画像記憶部
１３０ 制御部
１３１ 受付部
１３２ 校正部
１３３ 生成部
１３４ 配信部

Claims (9)

1. 視点位置が異なる複数の画像データであって、所定のパラメータを有するとともに各々を識別可能であるマーカーが、各画像データ内に少なくとも一つは含まれる複数の画像データを受け付ける受付部と、
   前記受付部によって受け付けられた複数の画像データの各々において、当該マーカーが有するパラメータを用いて推定される平面情報と当該平面情報に対応する平面に含まれる当該マーカーの位置情報とに基づいて算出される、当該画像データを撮像した撮像装置と当該マーカーとの回転角及び平行移動量から、当該複数の画像データを撮像した各々の撮像装置のカメラパラメータを導出する校正を行う校正部と、
   前記校正部によって導出されたカメラパラメータに基づき算出される射影変換行列を用いて、前記複数の画像データに射影変換を行うことにより、前記複数の画像データをそれぞれ変換後画像データに変換し、変換された前記変換後画像データに基づいて、複数の視点位置に対応する画像を滑らかに遷移させて表示可能である自由視点画像を生成する生成部と、
   を備え、
   前記受付部は、
   各画像データ内に複数のマーカーが含まれる前記複数の画像データを受け付け、
   前記校正部は、
   前記パラメータとして、前記複数のマーカーの各々の位置情報の対応関係に基づいて、当該複数の画像データに関する校正を行う、
   ことを特徴とする画像処理装置。
2. 前記受付部は、４隅にマーカーが描かれたシートの中央に乗せられた被写体を視点位置が異なるように撮像した複数の画像データであって、前記４隅のマーカーのうち前記被写体により遮蔽されていないマーカーが各画像データ内に含まれる複数の画像データを受け付ける、
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記受付部は、
   同心を有する二つの円から構成されるマーカーである円マーカーが、各画像データ内に少なくとも二つは含まれる複数の画像データを受け付け、
   前記校正部は、
   前記円マーカーが有するパラメータを用いて推定される当該円マーカーの法線を含む平面情報と、当該平面情報に対応する平面に含まれる二つの円マーカーの位置情報の対応関係とに基づいて、前記複数の画像データに関する校正を行う、
   ことを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記受付部は、
   互いの位置情報の対応関係が予め規定された複数の点であって、各画像データ内に少なくとも４つは含まれる複数の点を含んだ前記複数の画像データを受け付け、
   前記校正部は、
   前記複数の点のうち２点を結ぶ線分から２本の線分を抽出し、抽出された２本の線分を用いて推定される当該複数の点を含む平面情報と、当該平面情報に対応する平面に含まれる複数の点の位置情報の対応関係とに基づいて、前記複数の画像データに関する校正を行う、
   ことを特徴とする請求項１又は２に記載の画像処理装置。
5. 前記受付部は、
   四角形の形状と識別情報とを有する２次元コードが、各画像データ内に少なくとも一つは含まれる複数の画像データを受け付け、
   前記校正部は、
   前記２次元コードが有する２辺の線分の情報を用いて推定される平面情報と、当該平面情報に対応する平面に含まれる少なくとも一つの当該２次元コードの位置情報とに基づいて、前記複数の画像データに関する校正を行う、
   ことを特徴とする請求項１又は２に記載の画像処理装置。
6. 前記生成部によって生成された自由視点画像を配信する配信部、
   をさらに備え、
   前記受付部は、
   端末装置から前記複数の画像データの入稿を受け付けるとともに、当該端末装置を識別する情報を受け付け、
   前記配信部は、
   前記受付部によって受け付けられた前記端末装置を識別する情報に基づいて、当該端末装置に前記自由視点画像を配信する、
   ことを特徴とする請求項１～５のいずれか一つに記載の画像処理装置。
7. 前記生成部は、
   生成した前記自由視点画像を、当該自由視点画像の元となる複数の画像データを入稿した端末装置もしくは当該端末装置を利用するユーザを識別する識別情報、又は、当該ユーザが利用するサービスにおける出品情報の少なくともいずれか一つと対応付けて、所定の記憶部に格納する、
   ことを特徴とする請求項１～６のいずれか一つに記載の画像処理装置。
8. コンピュータが実行する画像処理方法であって、
   視点位置が異なる複数の画像データであって、所定のパラメータを有するとともに各々を識別可能であるマーカーが、各画像データ内に少なくとも一つは含まれる複数の画像データを受け付ける受付工程と、
   前記受付工程によって受け付けられた複数の画像データの各々において、当該マーカーが有するパラメータを用いて推定される平面情報と当該平面情報に対応する平面に含まれる当該マーカーの位置情報とに基づいて算出される、当該画像データを撮像した撮像装置と当該マーカーとの回転角及び平行移動量から、当該複数の画像データを撮像した各々の撮像装置のカメラパラメータを導出する校正を行う校正工程と、
   前記校正工程によって導出されたカメラパラメータに基づき算出される射影変換行列を用いて、前記複数の画像データに射影変換を行うことにより、前記複数の画像データをそれぞれ変換後画像データに変換し、変換された前記変換後画像データに基づいて、複数の視点位置に対応する画像を滑らかに遷移させて表示可能である自由視点画像を生成する生成工程と、
   を含み、
   前記受付工程では、
   各画像データ内に複数のマーカーが含まれる前記複数の画像データを受け付け、
   前記校正工程では、
   前記パラメータとして、前記複数のマーカーの各々の位置情報の対応関係に基づいて、当該複数の画像データに関する校正を行う、
   ことを特徴とする画像処理方法。
9. 視点位置が異なる複数の画像データであって、所定のパラメータを有するとともに各々を識別可能であるマーカーが、各画像データ内に少なくとも一つは含まれる複数の画像データを受け付ける受付手順と、
   前記受付手順によって受け付けられた複数の画像データの各々において、当該マーカーが有するパラメータを用いて推定される平面情報と当該平面情報に対応する平面に含まれる当該マーカーの位置情報とに基づいて算出される、当該画像データを撮像した撮像装置と当該マーカーとの回転角及び平行移動量から、当該複数の画像データを撮像した各々の撮像装置のカメラパラメータを導出する校正を行う校正手順と、
   前記校正手順によって導出されたカメラパラメータに基づき算出される射影変換行列を用いて、前記複数の画像データに射影変換を行うことにより、前記複数の画像データをそれぞれ変換後画像データに変換し、変換された前記変換後画像データに基づいて、複数の視点位置に対応する画像を滑らかに遷移させて表示可能である自由視点画像を生成する生成手順と、
   をコンピュータに実行させ、
   前記受付手順では、
   各画像データ内に複数のマーカーが含まれる前記複数の画像データを受け付け、
   前記校正手順では、
   前記パラメータとして、前記複数のマーカーの各々の位置情報の対応関係に基づいて、当該複数の画像データに関する校正を行う、
   ことを特徴とする画像処理プログラム。

Images