JP6111790B2 - 撮影補助装置、画像生成システムおよび立体画像生成方法 - Google Patents

Description

本発明は、撮影補助装置、画像生成システムおよび立体画像生成方法に関する。

左眼用と右眼用の画像を一つのカメラで取り込むステレオアダプタを用いることで、既存の携帯電話やデジタルカメラにより、手軽に立体画像を撮影できるようにするシステムがある。例えば、撮像装置において、通常撮影モードと立体静止画像モードとのための一対の撮像素子や、ステレオアダプタを用いる例が知られている。このような例では、立体静止画像モードと通常撮影モードとを切換えて設定する、スイッチなどの切換設定手段等を備えていることがある。このような切換設定手段により、一対の撮像素子への電力供給を制御する動作や、ステレオアダプタの着脱の状態を識別する等の動作が行われる。

別の例として、左眼用と、右眼用の画像のどちらか一方にマークを形成して左眼用と右眼用の画像を判別する例が知られている。さらに、ステレオ撮影時の画像データに汎用性を持たせるための付加情報を生成することを容易に行えるシステムにおいて、撮影した画像のうち、非記録エリアの所定の位置にマーカを付す例も知られている。この例では、ステレオアダプタには、撮影した映像のうち、非記録エリアの所定の位置に映り込むような所定の形状のマーカを付し、マーカを撮影した映像から画像処理により抽出することにより、ステレオアダプタの装着を検出している。

さらに、別の例として、移動可能な撮像装置により複数の指標を撮像することによって、指標間の相対的な位置関係を計測する方法が知られている。この方法では、第１の画像と第２の画像とに共通して含まれている共通指標と、第１の画像に含まれている指標との配置関係と、共通指標と第２の画像に含まれている指標との配置関係とを用いる。これにより、第１の画像に含まれている指標と第２の画像に含まれている指標との配置関係が求められる。

また、画像中の図形の頂点などを検出する方法として、Harrisの方法等が提案されている（例えば、特許文献１〜６、非特許文献１参照）。

特開平０８−３１７４２５号公報 特開平０７−２７４２１３号公報 特開２００１−２２２０８３号公報 特開２００５−１４８２９５号公報 特開２００４−２７４２５３号公報 特開２００６−２１４８３２号公報

"A COMBINED CORNER AND EDGE DETECTOR", Chris Harris & Mike Stephens, In Proceedings of The Fourth Alvey Vision Conference (1988), pp.147~151

上記のように、切換手段を用いる例では、次のような問題がある。すなわち、通常撮影と立体撮影とを切り換える際には、切換操作や、専用の回路が必要になる。

左眼用と、右眼用の画像のどちらか一方にマークを形成して左眼用と右眼用の画像を判別する例では、被写体領域内にマークが映るため、マークの色と類似した色を持つ被写体を撮影した場合、識別が困難になる。また、ステレオアダプタの非記録エリアに映りこむ位置にマーカを付し、撮影された映像からマーカを検出してステレオアダプタの装着を検出する例では、画像中の位置とアダプタの位置との関係が規定されていない。このため、所定の位置にマーカが映るように試行実験等を行う必要があるとともに、映ったとしても所望の形状にならない場合がある。また、外部の光の映り込みを考慮しておらず、外部からの光によってマーカが見えなくなる場合がある。

移動可能な撮像装置により複数の指標を撮像することによって、指標間の相対的な位置関係を計測する方法においては、指標が撮像装置の公差の影響で、映像に映らない可能性がある。また、指標の形状、配置によっては、相対的な位置関係が算出できない場合が考えられる。

１つの側面において、本発明は、立体画像生成用に撮影された画像から、立体画像生成用であることを示すマークを確実に検出可能にすることを目的とする。

ひとつの態様である撮影装置に装着される撮影補助装置は、筐体と、第１および第２の平面ミラーと、第３および第４の平面ミラーと、マークとを備えている。筐体は、第１および第２の光入射部と、光出射部と、裏面部とを有している。第１と第２の光入射部は、前記撮影補助装置の被写体側に撮影時の左右方向に並列に設けられ、前記被写体からの光を前記撮影補助装置内部に導入する。光出射部は、前記左右方向と直交する方向であって前記被写体側とは逆の前記撮影装置側に設けられ、前記撮影装置に光を導出する。裏面部には、前記光出射部が設けられている。第１の平面ミラーは、前記筐体内部であって前記光出射部に対し前記左右方向のうちの右側に設けられ、前記第１の光入射部から入射した前記被写体からの光を反射する。第３の平面ミラーは、前記第１の平面ミラーからの光を前記第１の光入射部側とは異なる前記光出射部側に反射する。第２の平面ミラーは、前記筐体内部であって前記光出射部の前記左右方向の左側に設けられ、前記第２の光入射部から入射した前記被写体からの光を反射する。第４の平面ミラーは、前記第２の平面ミラーからの光を前記第２の光入射部側とは異なる前記光出射部側に反射する。マークは、前記裏面部の前記撮影装置側内面の、前記光出射部と前記第１の平面ミラーとの間の領域または前記光出射部と前記第２の平面ミラーとの間の領域のうち少なくとも一方の領域に配置される。このとき、マークが反射した光が前記第３の平面ミラーまたは前記第４の平面ミラーにより前記光出射部に導かれる。

別の態様である画像生成システムは、撮影補助装置を撮影装置に装着して画像を撮影し、撮影した画像に基づき情報処理装置が立体画像を生成する。このとき、撮影補助装置は、例えば、上記態様の撮影補助装置である。また、前記撮影装置は、少なくともひとつのレンズと、撮像素子と、演算処理部と、送受信装置とを有する。少なくともひとつのレンズは、前記被写体からの光が前記光出射部を介して入射する。撮像素子は、前記レンズを介して前記被写体からの光を検出して前記光に基づく信号を出力する。演算処理部は、前記撮像素子からの信号に基づき第１の画像を生成する。送受信装置は、前記第１の画像を送信するとともに、前記情報処理装置から立体画像を受信する。情報処理装置は、画像受信部と、マーク検出部と、立体画像化部とを有している。画像受信部は、前記第１の画像を受信する。マーク検出部は、取得した前記第１の画像に、前記マークに応じた第２の画像があるか否かを判別する。立体画像化部は、前記第２の画像があると判別された場合に、前記第１の画像から前記第１の光入射部を介して取得された画像と、前記第２の光入射部を介して取得された画像とを分離し、立体画像を生成する。前記第２の画像は、前記第１の画像において、前記第１の光入射部を介して取得された画像と、前記第２の光入射部を介して取得された画像との間に検出される。

さらに別の態様である立体画像生成方法では、演算処理装置が、第１の画像を取得する。演算処理装置は、前記第１の画像において、撮影時の上下方向および横方向のいずれにも３辺が平行でない３角形のマークがある場合に、前記３角形のマークの３つの頂点の前記上下方向および前記横方向の座標を算出する。演算処理装置は、前記３つの頂点の座標、および前記第１の画像を取得するための補助装置の構成に基づき、前記画像取得時における３次元の位置および３方向の回転の６つの公差を算出し、前記第１の画像を前記６つの公差に基づき補正して第２の画像とする。演算処理装置は、前記第２の画像から立体画像を生成する。

上述した態様によれば、立体画像生成用に撮影された画像から、立体画像生成用であることを示すマークを確実に検出可能にすることができる。

第１の実施の形態によるアダプタの透視斜視図である。 第１の実施の形態による裏蓋におけるマークの配置の一例を示す図である。 第１の実施の形態によるアダプタおよび撮影装置のハードウエア構成を示す図である。 第１の実施の形態による撮影装置の機能を示すブロック図である。 第１の実施の形態による撮影された画像の一例を示す図である。 第１の実施の形態によるアダプタにおけるマークの配置のための横方向の有効範囲を説明する図である。 第１の実施の形態によるアダプタにおけるマークの配置のための縦方向の有効範囲を説明する図である。 第１の実施の形態による画像における有効領域を示す図である。 第１の実施の形態による裏蓋における有効領域を示す図である。 第１の実施の形態による立体画像生成方法を示すフローチャートである。 変形例による画像上の位置と、アダプタのマーク挿入部上の位置との関係を説明する図である。 変形例による画像上の位置と、アダプタのマーク挿入部上の位置との関係を説明する図である。 変形例による画像上の位置と、アダプタのマーク挿入部上の位置との関係を説明する図である。 変形例による裏蓋におけるマークの記載の方法の一例を説明する図である。 第２の実施の形態による画像生成システムの機能構成を示す図である。 第２の実施の形態による撮影装置のハードウエア構成を示す図である 第２の実施の形態による画像生成システム２５０の動作を示すフローチャートである。 標準的なコンピュータのハードウエア構成を示す図である。 第３の実施の形態によるアダプタおよび撮影装置の構成を示す図である。 第３の実施の形態による撮影装置の画像補正部の機能を示す図である。 第３の実施の形態によるアダプタにおけるマーク類の配置のための横方向の有効範囲への公差の影響を説明する図である。 第３の実施の形態によるアダプタにおけるマーク類の配置のための横方向の有効範囲への公差の影響を説明する図である。 第３の実施の形態によるアダプタにおけるマーク類の配置のための縦方向の有効範囲を説明する図である。 第３の実施の形態による撮影される画像のレンズの回転による変化を示す図である。 第３の実施の形態による撮影される画像のレンズの回転による変化を示す図である。 第３の実施の形態による有効領域が最も狭くなる場合を説明する図である。 第３の実施の形態によるアダプタの横方向断面において、任意の点と、対応する横方向の角度との関係を説明する図である。 第３の実施の形態によるアダプタの縦方向断面において、任意の点と、対応する縦方向の角度との関係を説明する図である。 第３の実施の形態による回転公差と画像上の点との関係を示す図である。 第３の実施の形態による公差の算出が不安定になる三角マーカの一例を示す図である。 第３の実施の形態による立体画像生成方法を示すフローチャートである。 第３の実施の形態による画像補正部の処理を説明するフローチャートである。

（第１の実施の形態）
以下、図面を参照しながら、第１の実施の形態による立体画像生成方法について説明する。ここで、画像とは、被写体を撮影して生成され、表示装置で表示が可能な静止画像または動画像である。立体画像とは、右眼用と左眼用の画像に基づき、立体視が可能に生成された画像をいう。

図１は、アダプタ１の透視斜視図である。図１に示すように、アダプタ１は、後述する撮影装置に取り付け、アダプタ１を介して撮影することにより、右眼用と左眼用の画像を取得するための撮影補助装置である。

アダプタ１は、筐体３を有している。筐体３は、上面３ａ、下面３ｂ、側面３ｃ、３ｄ、および裏蓋１３を有している。上面３ａ、下面３ｂ、側面３ｃ、３ｄは、それぞれ板状部材とすることができる。筐体３においては、上面３ａと下面３ｂとは互いに平行であり、側面３ｃと側面３ｄとは互いに平行である。

以下、アダプタ１において、上面３ａ側を上、下面３ｂ側を下というとともに、その上下関係でアダプタ１を裏蓋１３側から見て、左右を規定するものとする。また、上下方向は縦方向、垂直方向ともいい、縦方向に垂直な方向を横方向または水平方向という。

さらに、筐体３は、被写体からの光を、筐体３内部へ入射させるための光入射部２１、２３、および、被写体からの光を撮影装置側へ出力するための光出射部１５を有している。

光入射部２１は、上面３ａ、下面３ｂ、側面３ｃ、および平面ミラー７に囲まれた部分である。光入射部２３は、上面３ａ、下面３ｂ、側面３ｄ、および平面ミラー９に囲まれた部分である。光出射部１５は、図１の例では円形であり、裏蓋１３の中央部に配置され、例えば中心１６は、上面３ａ側から距離αに配置される。光出射部１５、光入射部２１、光入射部２３は、開口部としてもよいし、光の入射を妨げない透明部材により覆われていてもよい。光出射部１５の横方向の径は、例えば、後述するレンズ５５と裏蓋１３の距離をｘ、レンズ５５の横方向の画角を角度（２ｕ）とすれば、２ｘｔａｎ（ｕ）とすることができる。光出射部１５の縦方向の径は、レンズ５５の縦方向の画角を角度（２ｖ）とすれば、２ｘｔａｎ（ｖ）とすることができる。

筐体３内部には、平面ミラー５、１１、平面ミラー７、９が備えられている。図１の例では、平面ミラー５、１１、平面ミラー７、９は、それぞれ長方形の板状形状であり、例えば上面３ａおよび下面３ｂに対して垂直に配置されている。平面ミラー５、平面ミラー７と、平面ミラー１１、平面ミラー９とは、例えば、光出射部１５の中心１６を通り、裏蓋１３、上面３ａ、および下面３ｂに垂直な面に対し、対称な位置に配置される。

平面ミラー５は、被写体からの光を平面ミラー７へ反射するミラーであり、反射面が平面よりなる平面ミラーである。平面ミラー５は、図１の例では、長方形の一短辺が、光出射部１５の中心１６から距離ｚの位置で裏蓋１３に接するように配置される。平面ミラー７は、平面ミラー５で反射された光を光出射部１５へ反射するためのミラーであり、反射面が平面よりなる平面ミラーである。平面ミラー７は、例えば、上面３ａ上の裏蓋１３に垂直な直線１４において、裏蓋１３から距離ｙの位置に長方形の一端側が配置され、直線１４に対して、角度θをなすように配置される。平面ミラー５および平面ミラー７を介して、例えば、右眼用の画像となる光が光出射部１５から出射される。

平面ミラー１１は、被写体からの光を平面ミラー９へ反射するミラーであり、反射面が平面よりなる平面ミラーである。平面ミラー１１は、図１の例では、長方形の一短辺が、光出射部１５の中心１６から距離ｚの位置で裏蓋１３に接している。平面ミラー９は、平面ミラー１１で反射された光を光出射部１５へ反射するためのミラーであり、反射面が平面よりなる平面ミラーである。平面ミラー９は、例えば、上面３ａ上の裏蓋１３に垂直な直線１４において、裏蓋１３から距離ｙの位置に長方形の一端側が配置され、直線１４に対して、角度θをなすように配置される。ミラー１１および平面ミラー９を介して、例えば、左眼用の画像となる光が光出射部１５から出射される。

裏蓋１３には、マーク挿入部１７、１９が示されている。マーク挿入部１７およびマーク挿入部１９からの反射光の少なくとも一部は、平面ミラー７または平面ミラー９により反射され、光出射部１５から出射される。よって、このマーク挿入部１７またはマーク挿入部１９の少なくとも一方に、立体画像であることを示すマーク３０を配置する。これにより、マーク３０に応じた光は、図１の例では平面ミラー９により反射され、光出射部１５から出射される。

図２は、裏蓋１３におけるマーク３０の配置の一例を示す図である。図２に示すように、裏蓋１３には、光出射部１５が形成されている。光出射部１５に対して、図の左右に、マーク挿入部１７、マーク挿入部１９が示されている。マーク挿入部１７、マーク挿入部１９は、本実施の形態においては、光出射部１５の中心１６を通り、図２の上下方向に延びる直線に対して対称であるので、ここでは、マーク挿入部１９についてのみ説明する。マーク挿入部１９は、境界３５を上底、境界３７を下底、境界３１、境界３３を斜辺とする台形をなしている。境界３１〜３７の規定の方法については、後述する。なお、マーク３０は、識別が可能であればどのような形状、色でもよい。

図３は、アダプタ１および撮影装置５０のハードウエア構成を示す図である。図３では、アダプタ１を撮影装置５０に装着した状態を模式的に示している。ここでは、アダプタ１は、横方向断面で表されている。図３に示すように、撮影装置５０は、例えば、デジタルカメラや、カメラ機能付き携帯通信端末装置などである。撮影装置５０は、レンズ５５、撮像素子５７、処理部５９、レリーズボタン６１、記憶部６３、表示装置６９を有している。

レンズ５５は、アダプタ１を介して被写体からの光を撮像素子５７上に導くための光学部品であり、少なくともひとつのレンズを有する。レンズ５５は、例えば焦点距離を可変とするように構成された、複数のレンズを有するレンズの組としてもよい。撮像素子５７は、入射光に応じた電気信号を出力する素子である。処理部５９は、撮影装置５０において、撮像素子５７からの信号に基づき画像を生成する処理、表示装置６９に画像を表示させるためのデータを生成する処理、記憶部６３とのデータの授受などに関する処理等を行う演算処理装置である。

レリーズボタン６１は、撮影の開始または停止等を行うときに押下するボタンである。記憶部６３は、Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ（ＲＯＭ）６５、Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ（ＲＡＭ）６７を有している。ＲＯＭ６５は、読み出し可能な記憶装置であり、例えば、撮影装置５０を制御するプログラムデータなどを記憶させておく。ＲＡＭ６７は、随時読み出し書き込み可能な記憶装置であり、例えば、処理部５９で生成された画像のデータなどが記憶される。表示装置６９は、処理部５９で生成された画像のデータに基づき画像を表示する装置であり、例えば液晶表示装置である。

図３の例では、撮影装置５０にアダプタ１が装着されたときに、撮影装置５０のレンズ５５の中心からアダプタ１の光出射部１５の中心１６までの距離が、距離ｘとなるように設計されている。

図４は、撮影装置５０の機能を示すブロック図である。図４に示すように、撮影装置５０は、画像取得部８２、マーク検出部８４、立体画像化部８６、立体画像保存部８８、表示部９０の機能を有している。

画像取得部８２は、外部からの光を検出し、検出した光に応じた画像のデータを取得する。マーク検出部８４は、画像取得部８２が取得した画像において、立体画像であることを示すマークがあるか否か検出し、立体画像化部８６へ出力する。立体画像化部８６は、マーク検出部８４でマークがあると検出されると、画像取得部８２が取得した画像に基づき立体画像を生成する。立体画像保存部８８は、立体画像化部８６で生成された立体画像を例えばＲＡＭ６７に保存する。表示部９０は、立体画像化部８６で生成された立体画像を例えば表示装置６９に表示させる。

図５は、アダプタ１を装着された撮影装置５０で撮影された画像１００の一例を示す図である。図５に示すように、画像１００では、右眼用画像１０２および左眼用画像１０４が一枚の画像１００に映し込まれている。右眼用画像１０２と左眼用画像１０４との間は、画像中央部１０８となっている。画像中央部１０８は、平面ミラー７、または平面ミラー９の反射光が入射しているが、右眼用画像１０２、左眼用画像１０４のいずれでもない右眼用画像１０２と左眼用画像１０４との間の領域である。この画像中央部１０８に、立体画像であることを示すマーク１０６が映り込むように、アダプタ１にマーク３０を設ける。

なお、画像１００の例では、右眼用画像１０２及び左眼用画像１０４のいずれでもない被写体領域以外の領域であって、画像中央部１０８以外の領域に、外部光映り込み１１０が生じることがある。外部光映り込み１１０が画像中央部１０８以外に生じやすい理由は後述する。

以下、図６、図７を参照しながら、マーク３０を配置する位置について詳細に説明する。図６は、アダプタ１におけるマーク３０の配置のための横方向の有効範囲を説明する図である。図７は、アダプタ１におけるマーク３０の配置のための縦方向の有効範囲を説明する図である。

図６は、画像１００と、アダプタ１の横方向断面９５とを示している。横方向断面９５は、光出射部１５の中心１６を通り、上面３ａ、下面３ｂに平行な面である。図６においては、画像１００における境界の位置と、アダプタ１における横方向との位置が対応付けられている。図６に示すように、レンズ５５の中心とアダプタ１の光出射部１５の中心１６との距離ｘ、中心１６と平面ミラー７端部との距離ｙ、平面ミラー７と平面ミラー９のなす角（２θ）とする。

以下、画像１００において、図６における画像１００の左下の点を原点とし、一例として、縦方向の長さを長さｈ、横方向の長さを幅ｗとする。このとき、画像１００においては、横方向のｗ／２からｗ／２（１±ｔａｎ（β）／ｔａｎ（ｕ））が有効範囲となる。ここで、角度βは、点１４０からレンズ５５への光路１２６における、レンズ５５への入射光と光軸１３２のなす角度である。対応する裏蓋１３における横方向の有効範囲は、左右対称な範囲となるので、ここでは図６の右側のみについて説明する。

まず、裏蓋１３中央側の境界について説明する。図６において、画像１００の左右方向の中央の境界１１６として検出される光は、一例として一点鎖線の光路１２４で表される。すなわち、画像１００側から辿ると、光路１２４は、レンズ５５の中心１６を通って、アダプタ１における平面ミラー７と平面ミラー９との交点付近で平面ミラー７の垂線１３６に対して、レンズ５５への光と対称な角度γ＝π／２−θをなし、点１３８に至る。レンズ５５の光軸１３２は光出射部１５の中心１６を通るとする。このとき、中心１６と、点１３８との距離ｌは、距離ｌ＝ｙｔａｎ（２γ）で表される。

次に、画像中央部１０８と右眼用画像１０２との境界１１８について説明する。境界１１８は、アダプタ１のミラー５と裏蓋１３との接触部に対応している。ミラー５と裏蓋１３との接触部の一点として、図６では点１４０が示されている。光路１２６は、点１４０から、平面ミラー７で反射され境界１１８として検出される光の一例を示している。光路１２６を辿ると、点１４０で反射された光は、平面ミラー７で反射されて、レンズ５５の光軸１３２と角度βをなす方向でレンズ５５に入射し、レンズ５５により屈折されて境界１１８として検出される。角度βについては後述する。

このように、図６におけるアダプタ１の横方向断面においては、点１３８と点１４０との間が、有効範囲となる。すなわち、横方向において、光出射部１５の中心１６から、距離ｌ＝ｙｔａｎ（π−２θ）から距離ｚの範囲が、マーク３０を配置するための有効範囲となる。

なお、画像１００の境界１２２は、平面ミラー７の点１４２と対応している。２点鎖線で表された光路１２８は、点１４２から境界１２２への光の一例を示している。ここで、レンズ５５の光軸１３２と光路１２８とのなす角は、レンズ５５の横方向の画角（２ｕ）の半分の角度ｕとしている。なお、角度ｕは、レンズ５５により決まる角度である。

次に、図７を参照しながら、縦方向の有効範囲について説明する。断面１３３は、光軸１３２を含み、裏蓋１３に垂直な、アダプタ１の縦方向断面である。図６に示したように、画像１００において、境界１１６における縦方向の有効範囲は、０からｈとなる。これに対応する、レンズ５５の垂直方向（縦方向）の画角を角（２ｖ）とすると、有効範囲の上端は、図７における点１５８となる。

図７に示すように、レンズ５５とアダプタ１の光出射部１５の中心１６との距離は、距離ｘ、中心１６と平面ミラー７との距離は、距離ｙである。また、平面ミラー７と平面ミラー９とのなす角は、角（２θ）、レンズ５５の縦方向の画角は、角（２ｖ）である。これにより、境界１１６と対応する縦方向の有効範囲は、次の範囲となる。すなわち、有効範囲は、光出射部１５の中心１６から上側に距離（ｘ＋２ｙ）ｔａｎ（ｖ）の位置から下側に距離（ｘ＋２ｙ）ｔａｎ（ｖ）の範囲である。

同様に、図６における画像１００の境界１１８に対応する縦方向の有効範囲は、０からｈである。これに対応するアダプタ１の裏蓋１３における有効範囲は、図６の交点１５２と点１５４との距離ｔを考慮することにより、境界１１６の場合と同様に算出される。すなわち、有効範囲は、図7において、距離ｙを距離（ｙ＋ｔ）と置き換えることにより計算され、光出射部１５の中心１６から上側に距離（ｘ＋２ｙ＋２ｔ）ｔａｎ（ｖ）の位置から下側に距離（ｘ＋２ｙ＋２ｔ）ｔａｎ（ｖ）の位置の範囲である。

このとき、角度βに関して、下記の式１が成り立つ。
ｚ＝ｘｔａｎβ＋（ｙ＋ｔ）（ｔａｎβ＋ｔａｎ（π-２θ＋β））・・・・（式１）
ここで、距離ｔは、下記の式２で表される。
ｔ＝（ｘ＋ｙ）ｔａｎβ／（ｔａｎθ−ｔａｎβ）・・・・（式２）
以上のように算出された有効範囲をまとめると、図８、図９のようになる。図８は、画像１００における有効領域を示す図、図９は、裏蓋１３における有効領域を示す図である。

図８に示すように、画像１００においては、マークを検出するための有効領域は、境界１１６を挟んで左右に位置する画像中央部１０８（１０８ａ、１０８ｂ）となる。ここで、画像１００において右半分に注目すると、境界１１２、境界１１４、境界１１６、および境界１１８に囲まれた領域となる。このとき、縦方向の有効範囲は、０からｈ、横方向の有効範囲はｗ／２からｗ／２（１±ｔａｎ（β）／ｔａｎ（ｕ））となる。

図９に示すように、裏蓋１３におけるマークを挿入するための有効領域は、マーク挿入部１７、マーク挿入部１９で表される。マーク挿入部１７は、画像中央部１０８ａに対応し、マーク挿入部１９は、画像中央部１０８ｂに対応する。マーク挿入部１９について説明すると、境界３５は、境界１１６に対応し、境界３１は、境界１１２に対応し、境界３７は、境界１１８に対応し、境界１１４は、境界３３に対応する。

このとき、マーク挿入部１９の横方向の範囲は、光出射部１５の中心１６から距離（ｙｔａｎ（π―２θ））から距離ｚである。また、マーク挿入部１９の縦方向の境界３５の範囲は、中心１６を通り横方向に平行な直線に対して、−（ｘ＋２ｙ）ｔａｎ（ｖ）から（ｘ＋２ｙ）ｔａｎ（ｖ）の範囲である。同様に、境界３７の範囲は、−（ｘ＋２ｙ＋２ｔ）ｔａｎ（ｖ）から（ｘ＋２ｙ＋２ｔ）ｔａｎ（ｖ）の範囲である。すなわち、画像１００において、有効領域は、横幅（ｗｔａｎ（β）／（２ｔａｎ（ｕ）））、縦幅（ｈ）の長方形の画像中央部１０８ｂで表現される。これに対し、裏蓋１３において有効領域は、短辺（２（ｘ＋２ｙ）ｔａｎ（ｖ））、長辺（２（ｘ＋２ｙ＋２ｔ）ｔａｎ（ｖ））、高さ（ｚ−ｙｔａｎ（２γ））の台形で近似されるマーク挿入部１７またはマーク挿入部１９に対応すると規定できる。このとき、横方向に有効範囲が存在する条件は、下記の式３で表される。
ｚ−ｙｔａｎ（π―２θ）＞０・・・（式３）

また、画像１００において、画像中央部１０８の横方向の幅を最大限に利用するための条件は、下記の式４で表される。
ｘｔａｎ（ｕ）＜ｙｔａｎ（π―２θ）・・・（式４）

以上のように構成されるアダプタ１および撮影装置５０により、立体画像を生成する方法を、図１０を参照しながらさらに説明する。図１０は、第１の実施の形態による立体画像生成方法を示すフローチャートである。以下の処理は、処理部５９が各部との情報の授受を行いながら実行する処理であるが、ここでは、図４に示した各部が実行するものとして説明する。

図１０に示すように、撮影装置５０において、画像取得部８２は、例えば、レンズ５５、撮像素子５７を介して画像を取得する（Ｓ２０１）。マーク検出部８４は、取得された画像において、例えばアダプタ１のマーク挿入部１９に記載されたマーク３０を、画像１００の画像中央部１０８などの所定位置からマーク１０６として検出することにより、アダプタ１の装着を検知する（Ｓ２０２）。立体画像化部８６は、マーク検出部８４により例えばマーク１０６が検知されると、画像１００から、決定された切り出し位置および切り出し領域のサイズに応じて右眼用および左眼用の画像を切り出し、立体画像を生成する（Ｓ２０３）。立体画像保存部８８は、立体画像化部８６で生成された立体画像を、例えばＲＡＭ６７に保存する（Ｓ２０４）。表示部９０は、例えば、表示装置６９により、生成した立体画像を表示する（Ｓ２０５）。

以上説明したように、第１の実施の形態によるアダプタ１において、アダプタ１を装着した撮影装置５０により撮影される画像１００の画像中央部１０８の領域に対応するアダプタ１の裏蓋１３の領域に、画像中央部１０８に映るようにマーク３０を記載する。撮影装置５０において、取得された画像１００の、例えば画像中央部１０８など所定領域にマーク１０６が検出されると、撮影装置５０は、アダプタ１が装着されていることを検知し、画像１００に基づき立体画像を生成する。このとき、マーク３０が記載される位置は、アダプタ１の裏蓋１３の中央部であり、アダプタ１の平面ミラー７、９、平面ミラー５、１１の配置と撮影装置５０のレンズ５５との位置関係に基づき、マーク挿入部１７、マーク挿入部１９として規定される。

以上のように、アダプタ１および撮影装置５０によれば、アダプタ１の所定位置にマークを記載し、取得した画像においてマークを検出するという簡易な構成で、自動的にアダプタ１の装着を検知して立体画像を生成することが可能となる。アダプタ１の所定位置とは、マーク３０とマーク１０６との位置関係および画像１００の画像中央部１０８全てが有効となる各ミラーとの位置関係を明確化することにより設定される画像１００の画像中央部１０８に対応する位置である。

このとき、画像１００においては、右眼用画像１０２および左眼用画像１０４の被写体領域の上下の領域には、例えば図５に示したように外部の光が映り込むため、画像１００の画像中央部１０８を有効領域として用いる。このため、アダプタ１のマーク３０は、裏蓋１３という、光入射部２１、光入射部２３から離れた場所に配置される。よって、アダプタ１では、マーク３０を、外部光の映り込みが少ない領域に配置することができる。

ここで、外部の光の映り込みが被写体領域の上下に発生しやすいのは、以下の理由による。例えば、図５の右眼用画像１０２または左眼用画像１０４の上下の端部の領域に届く光路において、外部の光はアダプタ１の下部や上部を通ることになる。このとき、アダプタ１の下部や上部は光入射部２１および光入射部２３に近い側にも位置するので、太陽光等の外部の光が多く入りやすい。その結果、外部の光の映り込みが右眼用画像１０２または左眼用画像１０４の上下に発生しやすくなる。

これに対して、画像１００の画像中央部１０８に届く光路では、図６に示したように、アダプタ１の光出射部１５を外部の光が通ることになる。しかし、裏蓋１３に設けられた光出射部１５は、光入射部２１、光入射部２３に対して遠い側に位置するため、太陽光等の外部の光が入りにくい。その結果、画像中央部１０８には、外部の光の映り込みが発生しにくくなる。実際に撮影される画像１００では、図５に示すように、外部の光の映り込みが被写体領域の上下の領域で発生しているのに対して、画像中央部１０８には発生していない場合が多い。

よって、マーク３０が画像１００中に映らなかったり、所望の形状として映らなかったりすることを防止できる。これにより、撮影装置５０では、取得された画像１００から確実にマーク１０６を検出することが可能である。

本実施の形態においては、画像１００の画像中央部１０８全てが有効となるアダプタ１のミラーの位置関係が式４のように明確化できる。また、上記のように、マーク３０を記載する位置をマーク挿入部１７、マーク挿入部１９として規定して有効に活用することが可能になる。マーク３０の形態は、形や色を様々に変形させることが可能である。例えば、可視光に対して反射率を最適化することにより、さらに確実に検出することも可能となる。

（変形例）
以下、第１の実施の形態による変形例について説明する。本変形例は、第１の実施の形態におけるマーク３０の変形例である。本変形例において、第１の実施の形態と同様の構成については、同一記号を付し、詳細説明を省略する。本変形例のアダプタ１、撮影装置５０の構成は、第１の実施の形態と同様である。取得される画像についても、画像１００を用いて説明する。本変形例においては、マーク３０として、画像１００において長方形に表示されるバーコードを用いる。

図１１、図１２、図１３は、画像１００上の位置と、アダプタ１のマーク挿入部１７またはマーク挿入部１９上の位置との関係を説明する図である。図１１に示すように、画像１００の画像中央部１０８における一点を点Ｐとし、裏蓋１３上の点Ｐに対応する点を点Ｑとする。点Ｐは、画像１００における図１１の左下の点を原点とする座標系において、座標（ｗｐ、ｈｐ）で表されるとする。点Ｑは、裏蓋１３の中心１６を原点として、座標（ｍ、ｎ）で表されるとする。

図１２においては、アダプタ１の光出射部１５の中心１６を通る横方向断面図９５に、点Ｑおよび点Ｑからレンズ５５への光線を投影して示している。図１２に示すように、点１７１は、点Ｑを横方向断面図９５に投影した点である。点１７３は、点Ｑからレンズ５５への光線が平面ミラー７で反射される点を横方向断面図９５に投影した点である。光路１７５は、点Ｑからレンズ５５への光線を投影した光路である。

図１２において、中心１６と、点１７１との距離は、距離ｍである。光軸１３２と、点１７３からレンズ５５への光路とのなす角を角ｕ１、点１７３からレンズ５５への光路と裏蓋１３との交点を点１７９とする。平面ミラー７の点１７３における垂線１７７と、光路１７５とのなす角を角ｕ２、点１７３を通り、光軸１３２と平行な直線１８１と、裏蓋１３との交点を点１８３とする。このとき、中心１６と点１７９との距離を距離ｍ１、点１７９と点１８３との距離を距離ｍ２、点１８３と点１７１との距離を距離ｍ３とする。また、交点１５２と、点１７３から光軸１３２への垂線の足の点との距離を距離ｔ１とする。

図１２において、ｍ＝ｍ１＋ｍ２＋ｍ３である。また、ｍ１〜ｍ３は、下記の式５で表される。
ｍ１＝ｘｔａｎ（ｕ１）
ｍ２＝（ｙ＋ｔ１）ｔａｎ（ｕ１）
ｍ３＝（ｙ＋ｔ１）ｔａｎ（π−２θ＋ｕ１）
・・・・（式５）
よって、ｍは、下記の式６で表される。
ｍ＝ｘｔａｎ（ｕ１）＋（ｙ＋ｔ１）ｔａｎ（ｕ１）＋（ｙ＋ｔ１）ｔａｎ（π−２θ＋ｕ１）・・・（式６）

同様に、縦方向の座標ｎを考える。図１３は、画像上の位置と、アダプタのマーク挿入部上の位置との縦方向における関係を説明する図である。図１３は、点Ｑから点Ｐへ向かう光が平面ミラー７と反射する点を通り、側面３ｃ、３ｄに平行な縦方向断面１９７を示している。例えば、図１３において、点１８９は、点Ｑを断面１９７に投影した点である。光路１８７は、点Ｑからレンズ５５への光路を縦方向断面１９７に投影したものである。角ｖ１は、レンズ５５へ入射する光路１８７と、光軸１３２とのなす角である。座標ｎは、中心１６と点１８９との距離であり、下記の式７で表される。
ｎ＝（ｘ＋２ｙ＋２ｔ１）ｔａｎ（ｖ１）・・・（式７）
ここで、ｔ１、ｕ１、ｖ１は、下記式８を満たす。
ｔ１＝（ｘ＋ｙ）ｔａｎ（ｕ１）／（ｔａｎθ−ｔａｎ（ｕ１））
ｔａｎ（ｕ１）＝（２ｗｐ／ｗ−１）ｔａｎ（ｕ）
ｔａｎ（ｖ１）＝（２ｈｐ／ｈ−１）ｔａｎ（ｖ）
・・・（式８）

図１４は、画像１００において、マーク１０６が、境界１１６および境界１１８に接する長方形である場合の、裏蓋１３０におけるマーク３０の記載の方法を説明する図である。図１４に示すように、マーク１０６の図１４における左下の頂点を点Ｐ１、左上の頂点を点Ｐ２、右下の頂点を点Ｐ３、右上の頂点を点Ｐ４とする。このとき、点Ｐ１の座標を、座標（ｗ，ｈｐ）とすると、点Ｐ２の座標は、座標（ｗ，ｈｐ＋Δ）である。また、点Ｐ３の座標は、（ｗ／２（1＋ｔａｎ（β）／ｔａｎ（ｕ）），ｈｐ）、点Ｐ４の座標は、（ｗ／２（1＋ｔａｎ（β）／ｔａｎ（ｕ）），ｈｐ＋Δ）である。ここで、Δは、マーク１０６の縦方向の幅である。

このとき、式６、式７の関係を用いると、裏蓋１３におけるマーク３０の４つの頂点、点Ｑ１、Ｑ２、Ｑ３、Ｑ４の座標は、次のように表される。
点Ｑ１：座標（ｙｔａｎ（２γ），（ｘ＋２ｙ）ｔａｎ（v１））
点Ｑ２：座標（ｙｔａｎ（２γ），（ｘ＋２ｙ）ｔａｎ（v２））
点Ｑ３：座標（ｚ，（ｘ＋２ｙ＋２ｔ）ｔａｎ（ｖ１））
点Ｑ４：座標（ｚ，（ｘ＋２ｙ＋２ｔ）ｔａｎ（ｖ２））
ここで、ｔは、式２で表される。また、ｖ１は、式８に示した。ｖ２は、下記式９を満たす。
ｔａｎ（ｖ２）＝（２（ｈｐ＋Δ）／ｈ−１）ｔａｎ（ｖ）・・・（式９）

点Ｑ１〜Ｑ４の座標から、マーク１０６が境界１１６から境界１１８の横幅を持つ長方形の場合には、マーク３０の中央側の幅と外側の幅は、下記のように表される。
中央側の幅：（ｘ＋２ｙ）（ｔａｎ（ｖ２）−ｔａｎ（ｖ１））
外側の幅 ：（ｘ＋２ｙ＋２ｔ）（ｔａｎ（ｖ２）−ｔａｎ（ｖ１））

このとき、中央側の辺の長さと外側の辺の長さを比較すると、外側の方が（ｘ＋２ｙ＋２ｔ）／（ｘ＋２ｙ）倍太くなる。また、中央側の辺と外側の辺とは平行である。つまり、台形のマーク３０を裏蓋１３に記載することで、画像１００中に長方形のマーク１０６が映る。

以上説明したように、本変形例によるアダプタ１においては、裏蓋１３のマーク挿入部１７、またはマーク挿入部１９のいずれか少なくとも一方の任意の位置に、画像１００において長方形となるようにマーク３０を記載する。このとき、マーク３０は、例えば、裏蓋１３において外側の方が中央側よりも（ｘ＋２ｙ＋２ｔ）／（ｘ＋２ｙ）倍太い台形とすることができる。なお、この倍率は、マーク３０の横幅によって異なる。このとき、マーク１０６として、バーコードを用いることもできる。

これにより、撮影装置５０のマーク検出部８４は、裏蓋１３に記載したマーク３０を、画像１００のマーク１０６から検出することにより、アダプタ１が装着されていることを検知する。立体画像化部８６は、検出結果を取得し、アダプタ１が装着されている場合には、立体画像を生成する。立体画像保存部８８は、生成された立体画像を例えばＲＡＭ６７に保存する。表示部９０は、表示装置６９に立体画像を出力し、表示させる。

以上のように、本変形例によれば、第１の実施の形態による効果に加え、マーク３０を外側が中央側に比べて、一定の倍率で太い台形とすることにより、画像１００において、長方形のマーク１０６とすることが可能となる。このように上記に規定されたマーク３０とマーク１０６との位置関係を用いることで、映像中の所定の位置にバーコードが映るようにアダプタ１の裏蓋１３に正確にバーコードを打ち込むことが可能となる。よって、マーク３０として記載されたバーコードを、汎用のバーコードとして検出することが可能となる。

（第２の実施の形態）
以下、図１５から図１８を参照しながら、第２の実施の形態による画像生成システムについて説明する。本実施の形態においては、画像を立体画像に変換する処理は、撮影装置ではなく、別の情報処理装置で実行する。図１５は、第２の実施の形態による画像生成システム２５０の機能構成を示す図である。図１６は、第２の実施の形態による撮影装置２６０のハードウエア構成を示す図である。

図１５に示すように、画像生成システム２５０は、アダプタ１、撮影装置２６０、サーバ２８０を有している。第２の実施の形態において、第１の実施の形態と同様の構成については同一記号を付し、詳細説明を省略する。アダプタ１は、第１の実施の形態によるアダプタ１と同様の構成である。撮影装置２６０は、例えば、デジタルカメラや、カメラ機能付き携帯通信端末装置などである。

図１６に示すように、撮影装置２６０のハードウエア構成は、撮影装置５０のハードウエア構成に加えて、送受信装置２５２、媒体駆動装置２５４を備えている。送受信装置２５２は、撮影装置２６０で生成されたデータを有線または無線を介して外部との間で授受する装置である。媒体駆動装置２５４は、例えば小型メモリカードなど、可搬記録媒体を装着することにより、可搬記録媒体に、例えば、画像取得部８２で取得した画像のデータや、送受信装置２５２で受信した画像のデータを記憶したり、記憶された画像のデータを読み出したりする。

図１５に戻って、撮影装置２６０は、画像取得部８２、画像送信部２６２、立体画像受信部２６４、立体画像保存部２６６、表示部２６８の機能を有している。画像送信部２６２は、画像取得部８２で取得された画像のデータを、例えば有線または無線の通信により、サーバ２８０へ送信する。立体画像受信部２６４は、有線または無線の通信により、サーバ２８０から立体画像を受信する。立体画像保存部２６６は、立体画像受信部２６４が受信した立体画像のデータを例えばＲＡＭ６７に保存する。

サーバ２８０は、例えば、標準的なコンピュータなどの情報処理装置である。サーバ２８０は、画像受信部２８２、マーク検出部２８４、立体画像化部２８６、立体画像送信部２８８の機能を有している。画像受信部２８２は、撮影装置２６０からの画像のデータを受信する。マーク検出部２８４は、受信した画像のデータにおいて、マーク１０６があるか否かを検出する。立体画像化部２８６は、マーク１０６が検出された場合に、取得した画像のデータに基づき立体画像を生成する。立体画像送信部２８８は、立体画像化部２８６により生成された立体画像のデータを撮影装置２６０に送信する。

図１７は、第２の実施の形態による画像生成システム２５０の動作を示すフローチャートである。まず、撮影装置２６０の画像取得部８２は、例えば、レンズ５５、撮像素子５７を介して画像を取得する（Ｓ３０１）。画像送信部２６２は、サーバ２８０に、取得した画像のデータを送信する（Ｓ３０２）。サーバ２８０の画像受信部２８２は、撮影装置２６０からの画像のデータを受信する（Ｓ３０３）。マーク検出部２８４は、例えば画像１００の画像中央部１０８の所定の位置に映る、例えば長方形のマーク１０６としてのバーコード等を検出することにより、受信した画像１００の撮影時に、撮影装置２６０にアダプタ１が装着されていたことを検知する（Ｓ３０４）。立体画像化部２８６は、バーコード等が検出された場合には、取得した画像に基づき、立体画像を生成する（Ｓ３０５）。立体画像送信部２８８は、生成された立体画像のデータを撮影装置２６０に送信する（Ｓ３０６）。

撮影装置２６０は、立体画像受信部２６４でサーバ２８０から送信された立体画像を受信する（Ｓ３０７）。立体画像保存部２６６は、受信した立体画像のデータを例えばＲＡＭ６７に保存する（Ｓ３０８）。表示部２６８は、表示装置６９に立体画像を表示させる（Ｓ３０９）。

以上詳細に説明したように、第２の実施の形態による画像生成システム２５０においては、撮影装置２６０は、アダプタ１を介して画像取得部８２が画像を取得する。撮影装置２６０は、取得した画像のデータをサーバ２８０に送信する。サーバ２８０では、受信した画像でマーク１０６が検出された場合には、立体画像を生成し、撮影装置２６０に送信する。撮影装置２６０では、受信した画像を表示させるとともに、記憶部６３に保存する。

以上のように、撮影装置２６０において、マーク検出部８４、立体画像化部８６を備える必要がない。これにより、撮影装置２６０の構成を簡易化することができる。また、第２の実施の形態による画像生成システム２５０によれば、ユーザは自身の携帯電話やデジタルカメラの演算処理装置に負担をかけることなく、撮影した画像を立体画像化することが可能である。また、サーバ２８０により、立体画像生成を行うので、迅速に処理を行うことも可能となる。

なお、本発明は、以上に述べた実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内で種々の構成または実施形態を採ることができる。

上記第１および第２の実施の形態および変形例において、角度ｕは、レンズ５５により決まるものであるが、レンズ５５の焦点距離が変更可能に構成されている場合には、画角も変化する。よって、図６における光路１２８は、必ずしも平面ミラー７の端点を通らない。このような場合、レンズ５５の最大の画角に対して、図６の光路１２８の関係が満たされるように、角度θ、または筐体３の構成の少なくとも一方のサイズを調整することが好ましい。

光出射部１５は、円形を例にして説明したが、画角２ｕが画角２ｖと等しくない場合などには、楕円形などとすることもできる。筐体３においては、上面３ａと下面３ｂとは互いに平行であり、側面３ｃと側面３ｄとは互いに平行である場合を例にして説明したが、これに限定されない。筐体３の形状は、第１および第２の実施の形態および変形例では、略直方体形状である場合を例にして説明したが、これに限定されない。マーク３０が、光入射部２１、光入射部２３から離れた位置であって、撮影装置５０または、撮影装置２６０により、右眼用画像と左眼用画像の間に撮影されるような構成であれば、適用が可能である。

撮影装置２６０とサーバ２８０とは、有線または無線の通信により接続されているが、画像のデータを取り外し可能な媒体に記録し、サーバ２８０は媒体から画像のデータを取得するようにしてもよい。

ここで、上記第２の実施の形態による立体画像生成方法の動作を行わせるために適用されるサーバ２８０の構成例について説明する。サーバ２８０は、標準的なコンピュータとすることができる。図１８は、標準的なコンピュータのハードウエア構成の一例を示すブロック図である。図１８に示すように、コンピュータ５００は、Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ（ＣＰＵ）５０２、メモリ５０４、入力装置５０６、出力装置５０８、外部記憶装置５１２、媒体駆動装置５１４、ネットワーク接続装置等がバス５１０を介して接続されている。

ＣＰＵ５０２は、コンピュータ５００全体の動作を制御する演算処理装置である。メモリ５０４は、コンピュータ５００の動作を制御するプログラムを予め記憶したり、プログラムを実行する際に必要に応じて作業領域として使用したりするための記憶部である。メモリ５０４は、例えばＲＡＭ、ＲＯＭ等である。入力装置５０６は、コンピュータの使用者により操作されると、その操作内容に対応付けられている使用者からの各種情報の入力を取得し、取得した入力情報をＣＰＵ５０２に送付する装置であり、例えばキーボード装置、マウス装置などである。出力装置５０８は、コンピュータ５００による処理結果を出力する装置であり、表示装置などが含まれる。例えば表示装置は、ＣＰＵ５０２により送付される表示データに応じてテキストや画像を表示する。

外部記憶装置５１２は、例えば、ハードディスクなどの記憶装置であり、ＣＰＵ５０２により実行される各種制御プログラムや、取得したデータ等を記憶しておく装置である。媒体駆動装置５１４は、可搬記録媒体５１６に書き込みおよび読み出しを行うための装置である。ＣＰＵ５０２は、可搬記録媒体５１６に記録されている所定の制御プログラムを、記録媒体駆動装置５１４を介して読み出して実行することによって、各種の制御処理を行うようにすることもできる。可搬記録媒体５１６は、例えばＣｏｍｐａｃｔ Ｄｉｓｃ（ＣＤ）−ＲＯＭ、Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ（ＤＶＤ）、Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ（ＵＳＢ）メモリ等である。ネットワーク接続装置５１８は、有線または無線により外部との間で行われる各種データの授受の管理を行うインタフェース装置である。バス５１０は、上記各装置等を互いに接続し、データのやり取りを行う通信経路である。

上記第２の実施の形態による立体画像生成方法をコンピュータに実行させるプログラムは、例えば外部記憶装置５１２に記憶させる。ＣＰＵ５０２は、外部記憶装置５１２からプログラムを読み出し、コンピュータ５００に立体画像生成の動作を行なわせる。このとき、まず、立体画像生成の処理をＣＰＵ５０２に行わせるための制御プログラムを作成して外部記憶装置５１２に記憶させておく。そして、入力装置５０６から所定の指示をＣＰＵ５０２に与えて、この制御プログラムを外部記憶装置５１２から読み出させて実行させるようにする。また、このプログラムは、可搬記録媒体５１６に記憶するようにしてもよい。

（第３の実施の形態）
以下、図１９から図３２を参照しながら、第３の実施の形態による立体画像生成方法について説明する。本実施の形態は、アダプタと撮影装置における取り付け公差を考慮した実施形態である。ここで、取り付け公差とは、撮影装置内の、レンズや撮像素子などの撮像用部品を撮影装置内へ設置する際に生ずる可能性のある公差、アダプタを撮影装置に取り付けることにより生ずる可能性のある公差をいう。以下取り付け公差を、単に公差ともいう。

第３の実施の形態においては、公差が生じたとしても、アダプタに設けられたマークが映るようにするとともに、取得した画像において公差を補正する。本実施の形態では、画像を補正するために、アダプタに、撮影時の上下方向または横方向に平行な辺を持たない三角形のマーカが記載される。

本実施の形態において、第１または第２の実施の形態、または変形例と同様の構成には同一番号を付し、詳細説明を省略する。図１９は、第３の実施の形態によるアダプタ６００および撮影装置６５０の構成を示す図である。図２０は、撮影装置６５０の画像補正部６９０の機能を示す図である。

以下のアダプタ６００に関する説明においては、例えば、第１の実施の形態におけるアダプタ１の代りにアダプタ６００を撮影装置５０に公差がない状態で接続させた場合に、撮影装置５０のレンズ５５の中心の位置を原点として、次の座標軸を定義する。すなわち、撮影時に被写体に向かって右側を正とする水平方向のΦ軸、Φ軸に直交し、撮影時の下方向を正とするΨ軸、Φ軸およびΨ軸に直交し、アダプタ６００側から撮影装置６５０内部に向かう方向を正としたΩ軸である。また、以下の説明は、撮影装置６５０に関して行うが、説明の都合上、例えば、図２１、図２２等の図面にレンズ５５の位置を示している。

図１９に示すように、アダプタ６００は、例えば図１に示したアダプタ１と、裏蓋６１３を除いて同様の構成である。裏蓋６１３は、マーク３０を挿入可能なマーク挿入部１７、１９が公差を考慮したマーク挿入部６１７、６１９になっていることと、マーク挿入部６１７には三角マーカ６３０が設けられる点で、裏蓋１３と異なっている。裏蓋６１３の中央部に光出射部１５が設けられていることは共通している。マーク挿入部６１７、６１９は、公差を考慮した際にも撮影装置６５０で撮影可能な領域である。マーク挿入部６１７、６１９、三角マーカ６３０の詳細については後述する。

撮影装置６５０は、例えば、デジタルカメラや、カメラ機能付き携帯通信端末装置などである。図１９に示すように、撮影装置６５０は、撮影装置５０の機能に加えて、画像補正部６９０を有している。すなわち、撮影装置６５０は、画像取得部８２、マーク検出部８４、立体画像化部８６、立体画像保存部８８、表示部９０に加えて、画像補正部６９０を備えている。画像補正部６９０は、裏蓋６１３に備えられた三角マーカ６３０の各頂点を検出し、取り付け等による公差を考慮したアダプタ６００の位置関係から得られる方程式を解くことで、アダプタ６００と撮影装置６５０との間に生じた公差を算出する。また、画像補正部６９０は、算出された公差を用いて、取得した画像を補正する。撮影装置６５０のハードウエア構成は、図３に示した撮影装置５０と同様であるが、レンズ５５に代えて、レンズ６５５を備えているとする。レンズ６５５は、レンズ５５と実質的に同様の性能のレンズであるとすることができるが、位置が異なるために、別な符号を付している。

図２０に示すように、画像補正部６９０は、頂点検出部６９２、公差算出部６９４、公差除去部６９６を有している。頂点検出部６９２は、三角マーカ６３０の３つの頂点を検出し、検出した頂点の座標を算出する。公差算出部６９４は、検出された三角マーカ６３０の各頂点の位置に基づき、アダプタ６００と撮影装置６５０との間で生じている公差を算出する。公差除去部６９６は、公差算出部６９４で算出された公差を用いて、取得された画像７００から公差を除去する処理を行う。

以下、図２１〜図２３を参照しながら、公差を考慮した位置関係から定まる領域にマーク３０、三角マーカ６３０（以下まとめてマーク類ともいう）を配置する方法について詳細に説明する。図２１、図２２は、アダプタ６００におけるマーク類の配置のための横方向の有効範囲への公差の影響を説明する図である。図２３は、アダプタ６００におけるマーク類の配置のための縦方向の有効範囲を説明する図である。

図２１、図２２は、アダプタ６００の横方向断面６９５を示している。横方向断面６９５は、アダプタ６００の光出射部１５の中心１６を通り、上面３ａ、下面３ｂに平行な面である。図２１、図２２に示すように、公差がなく配置された場合のレンズ５５の中心（以下原点という）とアダプタ６００の光出射部１５の中心１６との距離ｘ、中心１６と平面ミラー７端部との距離ｙ、平面ミラー７と平面ミラー９のなす角（２θ）とする。図２１、図２２において、レンズ６５５は、レンズ５５に対し、Ω軸の正方向にλ、Φ軸の正方向（撮影時の右）にμ、Ψ軸の正方向（撮影時の下）にη平行移動したことを想定する。また、レンズ６５５は、Φ軸を回転軸として下方向にδΦ、Ψ軸を回転軸として、右方向にδΨ回転したことを想定する。このように、アダプタ６００と撮影装置６５０との間に生ずる公差を、上記λ、μ、η、δΦ、δΨ、δΩで表す。

以下、図２１を参照しながら、アダプタ６００を備えた撮影装置６５０により撮影される画像における、裏蓋６１３のマーク挿入部６１９の横方向中央側の境界について説明する。なお、ここでは、アダプタ６００の右側のみについて説明する。図２１の断面６９５は、アダプタ６００の光出射部１５の中心１６を通り、上面３ａ、下面３ｂに平行な横方向断面である。図２１において、断面６９５に、撮影装置６５０により撮影される画像の横方向の中央に向かう光の光路を投影して光路６０３として示している。

撮影装置６５０から辿ると、この光路６０３は、原点を通るレンズ５５の光軸１３２に対し角度τ１で、アダプタ６００における平面ミラー７と平面ミラー９との交点付近で交わっているとする。光路６０３は、平面ミラー７の垂線１３６に対して、角度＝π／２−θ−τ１をなし、点６０５に至る。なお、レンズ５５の光軸１３２は光出射部１５の中心１６を通る。このとき、中心１６と、点６０５との距離は、距離＝ｙｔａｎ（π−２θ−τ１）で表される。

このように、図２１におけるアダプタ６００の断面６９５においては、点６０５と点１４０との間が、マーカ類を配置するための有効領域となる。すなわち、横方向において、光出射部１５の中心１６から距離＝ｙｔａｎ（π−２θ−τ１）から距離ｚの範囲が有効範囲となる。ここで、角度τ１は、下記の式１０を満たす値となる。すなわち、横方向の有効範囲をまとめると以下のようになる。
横方向の有効範囲：距離＝ｙｔａｎ（π−２θ−τ１）から距離ｚ
ｔａｎ（τ１）＝μ／（ｘ＋ｙ＋λ）・・・（式１０）

続いて、図２２を参照しながら、マーク挿入部６１９の横方向外側の右眼用画像との境界について説明する。この境界は、アダプタ６００のミラー５と裏蓋６１３との接触部に対応している。断面６９５においては、この境界は、ミラー５と裏蓋６１３との接点となる点１４０と対応するため、点１４０を通る光路６０９について説明する。光路６０９は、点１４０から平面ミラー７を経て、レンズ６５５に向かう光路の一例を断面６９５に投影した光路である。光路６０９において、平面ミラー７の点６１１からレンズ６５５に向かう光路６０９が、レンズ６５５を通りΩ軸と平行な直線６２１となす角度を角度τ２とする。また、点６１１から、光軸１３２に下ろした垂線の足を点６１５とする。平面ミラー７と平面ミラー９との交点を交点１５２とし、交点１５２と点６１５との距離をτとする。

このとき、角度τ２は、光路６０９、直線６２１、点６１３と点６１５とを結ぶ直線で形成される三角形に注目して得られる下記の式１１を式１２に代入し解くことで得られる。
τ＝（ｘ＋ｙ＋λ）ｔａｎ（τ２）／（ｔａｎθ−ｔａｎ（τ２））
＋μ／（ｔａｎθ−ｔａｎ（τ２））・・・（式１１）
ｚ−μ＝（ｘ＋λ）ｔａｎ（τ２）
＋（ｙ＋ｔ）（ｔａｎ（τ２）＋ｔａｎ（τ２−２θ））・・・（式１２）

次に、図２３を参照しながら、縦方向の有効範囲について説明する。断面６３３は、図２２に示したΩ軸を含み、裏蓋６１３に垂直な、アダプタ６００の縦方向断面である。上述のように、レンズ６５５は、Ω軸の正方向にλ、Φ軸の正方向（撮影時の右）にμ、Ψ軸の正方向（撮影時の下）にη平行移動したことを想定する。また、レンズ６５５は、レンズ６５５の中心を通りΦ軸と平行な軸を回転軸として下方向にδΦ、レンズ６５５の中心を通りΨ軸と平行な軸を回転軸として、右方向にδΨ回転したことを想定する。ただし、図２３では、断面６３３と同一の平面に投影したレンズ６５５を示しており、Φ軸方向の平行移動μは表していない。

ここで、例えば、図６、図７において説明したように、画像１００の境界１１６における縦方向の有効範囲（０からｈ）に対応する、レンズ５５の垂直方向（縦方向）の画角を角（２ｖ）とする。このとき、図２３において、レンズ６５５は、下方向にδΦ回転しているため、縦方向の上方の画角は角度＝ｖ−δΦとなる。

図２３に示すように、裏蓋６１３から距離ｙの位置で反射される光路の一例を断面６３３に投影した光路６５９を考えることにより、境界１１６と対応する縦方向の有効範囲の上端は点６５８となる。よって、境界１１６と対応する有効範囲の上端の位置は、下記の式１３で表される（下端の位置も上端と同様に計算される）。
上端の位置＝（ｘ＋２ｙ＋λ）ｔａｎ(ｖ−δΦ)−η
・・・（式１３）
以上と同様に、アダプタ６００における平面ミラー７の位置が、裏蓋６１３から距離ｙ＋τとなる点６１１を含む縦断面を考えると、図６に示した画像１００の境界１１８に対応する縦方向の有効範囲の上端の位置は、下記の式１４のように表される。
上端の位置＝（ｘ＋２ｙ＋λ＋２τ）ｔａｎ（ｖ−δΦ）−η
・・・（式１４）
続いて、図２４、図２５を参照しながら、レンズ６５５の中心を通りΩ軸と平行な軸を回転軸とした回転を考慮した有効領域について説明する。図２４、図２５は、撮影される画像のレンズ６５５の回転による変化を示す図である。

図２４に示すように、レンズ６５５が、アダプタ６００に対して、レンズ６５５を通る軸を回転軸として時計回りにδΩ回転したとき、レンズ６５５と撮像素子５７との距離が変わらないと仮定すれば、撮影される画像は角度δΩに応じて変化する。すなわち、第１の実施の形態による画像１００のように撮影されるはずの画像は、画像７００のようにδΩ回転した状態で撮像素子５７上に撮影されることになる。このとき、例えば、領域７０４に示すように、境界１１６、境界１１８に対応する縦方向の画角ｖ−δΦが変化する。

図２５は、画像１００、画像７００、画像８００の一例を示している。画像１００は、レンズ６５５の回転公差がない場合に撮影される画像の一例を示している。なお、平行移動する前の画像を記載していないが、レンズ６５５を通る軸を回転軸として時計回りにδΩ回転したときに影響するのがカメラで撮影できる画角（縦方向）であり、平行移動はその画角に影響しない。また、直線１１９は、画像１００における中心１６１を通り、境界１１６に垂直な直線である。上述のように、画像１００の横方向の長さは幅ｗ、縦方向の長さは長さｈであるとする。画像８００は、レンズ６５５が、それぞれの回転軸に対し角度δΦ、δΨ回転している場合に撮影される画像の一例を示している。画像７００は、それぞれの回転軸に対し角度δΦ、δΨ、δΩ回転している場合に撮影される画像の一例を示している。

図２５に示すように、レンズ６５５と画像１００、８００、７００との距離を距離Ｒ（例えば、レンズ６５５から３ｍ先の位置で撮像される画像までの距離を表すが、その距離は任意である（距離は画角の計算に影響しない））とすると、画像１００において、中心１６１からある距離にある点１６３に対応する横方向の角度を角度Θ（右方向を正とする）とする。このとき、画像１００において、横方向の角度Θに対応する位置での縦方向の角度は、第１の実施の形態において説明したように、画像の縦方向の長さｈの２分の１に対応する角度ｖとなる。しかしながら、画像７００においては、角度Θに対応する位置での縦方向は、点１６４までしか撮影されない。このため、横方向の角度Θに対応する縦方向の角度は、中心１６１と、点１６５との距離のレンズ６５５の中心に対応する角度ｖ３と同一である。なお、点１６５は、点１６４から境界１１６に下ろした垂線の足である。

ここで、中心１６１と、点１６３との距離は、距離＝Ｒｔａｎ（Θ）である。また、中心１６１を通り、境界１１６と角度δΩをなす直線と画像７００との交点を点７１２とすると中心１６１と点７１２との距離は、画像８００の縦方向の画角から、距離＝Ｒｔａｎ（ｖ−δΦ）である。よって、境界１１６と画像７００との交点を点７１０とすると、点１６１と点７１０の距離は、距離＝Ｒｔａｎ（ｖ−δΦ）／ｃｏｓ（δΩ）であり、点１６５と点７１０との距離は、距離＝Ｒｔａｎ（Θ）ｔａｎ（δΩ）である。よって、中心１６１と点１６５との距離に注目することにより、角度ｖ３は、下記の式１５を満たす値となる。
Ｒｔａｎ（ｖ３）＝Ｒ（ｔａｎ（ｖ−δΦ）／ｃｏｓ（δΩ）
−ｔａｎ（Θ）ｔａｎ（δΩ））
→ｔａｎ（ｖ３）＝ｔａｎ（ｖ−δΦ）／ｃｏｓ（δΩ）
−ｔａｎ（Θ）ｔａｎ（δΩ）
・・・（式１５）

ここで、図２３を参照しながら説明した、画像７００における、中心側の縦方向の有効範囲に対応する角度を角度ｖ３１、右眼用画像１０２との境界の縦方向の有効範囲に対応する角度を角度ｖ３２とすると、それぞれ下記の式１６、式１７で表される。
ｔａｎ（ｖ３１）＝ｔａｎ（ｖ−δΦ）／ｃｏｓ（δΩ）
−ｔａｎ（ｆ（τ１））ｔａｎ（δΩ）・・・（式１６）
ｔａｎ（ｖ３２）＝ｔａｎ（ｖ−δΦ）／ｃｏｓ（δΩ）
−ｔａｎ（ｆ（τ２））ｔａｎ（δΩ）・・・（式１７）

ここで、ｆ（ｇ）は角度ｇが境界１１６より右側である場合に｜ｇ｜を返し、左側である場合に−｜ｇ｜を返す。式１６では、図２２における点１５２がレンズ６５５の左側に位置する場合（μ＞＝０）にｆ（τ１）＝｜τ１｜であり、点１５２がレンズ６５５の右側に位置する場合（μ＜０）にｆ（τ１）＝−｜τ１｜を返す。また、式１７では、図２２における点６１１がレンズ６５５の左側に位置する場合（μ＞＝０）にｆ（τ２）＝｜τ２｜であり、点６１１がレンズ６５５の右側に位置する場合（μ＜０）にｆ（τ２）＝−｜τ２｜を返す。

以上より、式１３と式１６、式１４と式１７とより、アダプタ６００での縦方向の有効範囲の上端の位置は、下記の式１８、１９のように算出可能である（下端の位置も同様に計算される）。
上端の位置＝（ｘ＋２ｙ＋λ）ｔａｎ(ｖ３１)−η
・・・（式１８）
上端の位置＝（ｘ＋２ｙ＋λ＋２τ）ｔａｎ（ｖ３２）−η
・・・（式１９）

ここで、図２６を参照しながら、上記の有効範囲が最も狭くなる場合について説明する。図２６は、有効領域が最も狭くなる場合を説明する図である。マーク挿入部６１７、マーク挿入部６１９が最も狭くなる場合は、下記のような最悪の条件で表される場合である。なお、上下前後左右は、アダプタ６００の撮影状態の上下、および被写体側を前とした場合を示す。すなわち、上は、Ψ軸のマイナス方向であり、前は、Ω軸のマイナス方向であり、右は、Φ軸のプラス方向である。また、回転軸に対する回転方向は、回転軸のプラス方向を基準とした方向である。

（最悪の条件）
前後（λ）：前に移動すると、有効領域の上側、左側が狭まる（λ＜０）
左右（μ）：左に移動すると、有効領域の左側が狭まる（μ＜０）
上下（η）：下に移動すると、有効領域の上側が狭まる（η＞０）
δΦ：下向きに回転すると、有効領域の上側が狭まる（δΦ＞０）
δΨ：影響なし
δΩ：時計回りに回転すると、有効領域の上側が狭まる（δΩ＞０）
なお、６つの公差の値は、例えばλ＝−０．３５ｍｍ、μ＝−０．３５ｍｍ、η＝０．３５ｍ、δΦ＝δΨ＝δΩ＝１．５２度等が挙げられる。

以上のように、マーク挿入部６１９の上半分において、式１８、１９で上記最悪の条件である場合が、最もマーク挿入部６１９の上半分が狭くなる場合である。よって、この最悪の条件により得られるマーク挿入部６１９の上半分と上下対称な領域が、最も狭いマーク挿入部６１９と考えられる。マーク挿入部６１７については、裏蓋６１３の中心に対してマーク挿入部６１９と対称な領域が、最も狭いマーク挿入部６１７と考えられる。これらのマーク挿入部６１７、またはマーク挿入部６１９に、マーク３０および三角マーカ６３０を配置することが好ましい。

次に、図２７から図２９を参照しながら、三角マーカ６３０により画像を補正する方法について説明する。アダプタ６００においては、上記で定義した最も狭いマーク挿入部６１９に三角マーカ６３０を配置することが好ましい。しかし、三角マーカ６３０の３辺のうちのいずれかが、Φ軸またはΨ軸と平行である場合、三角マーカ６３０の３つの頂点の２次元座標のうちの２つが同一の値になる。このとき、公差の６つのパラメータ（平行移動公差３パラメータλ、μ、η、回転公差３パラメータδΦ、δΨ、δΩ）を持つ公差を解くために必要な方程式のうち、２つの方程式が同じ式になり、解の算出が不安定になる場合が存在する（詳細な導出は後述する）。そこで、図１９の裏蓋６１３に示したように、Φ軸、Ψ軸のいずれとも平行な辺を持たない三角マーカ６３０のような３角形のマークを配置する。配置する位置は、図２６を参照しながら説明した、最悪の条件によるマーク挿入部６１７の内部である。

以下、公差を考慮した場合の、裏蓋６１３上の任意の点Ｐρｑの座標（ｍρ、ｎｑ）と、点Ｐρｑが射影される画像上の点（ｗρ、ｈｑ）との関係を、図２７、図２８を参照しながら説明する。Ω軸に対するレンズ６５５の中心から任意の点Ｐρｑへの方向に対応する横方向の角度を角度ρ、縦方向の角度を角度ｑとする。ここでは、まず、レンズ６５５が回転公差を持たないとして説明する。

図２７は、アダプタ６００の横方向断面６９５において、上記任意の点Ｐρｑと、対応する横方向の角度ρとの関係を説明する図である。図２７において、点Ｐρｑからレンズ６５５への光路の一例を断面６９５に投影した光路を光路６７５としている。図２７に示すように、レンズ６５５は、ここでは、原点に対し、後ろに距離λ、右に距離μ移動しているとする。また、点６７１は、点Ｐρｑを断面６９５に投影した点である。このとき、光路６７５は、点６７１からレンズ６５５へ向かう光路を示している。光路６７５の、レンズ６５５への入射角を、Ω軸に対して角度ρとしている。レンズ６５５の中心を通りΩ軸に平行な直線と裏蓋６１３との交点を断面６９５に投影した点を点６１６とする。また、光路６７５と裏蓋６１３との交点を点６７９、平面ミラー７と光路６７５との交点を点６８１、点６８１から裏蓋６１３に下ろした垂線の足を点６８３とする。

このとき、点６１６から点６７９の距離は、距離＝（ｘ＋λ）ｔａｎ（ρ）である。点６７９から点６８３の距離は、距離＝（ｙ＋τ１）ｔａｎ（ρ）である。また、点６８３から点６７１の距離は、距離＝（ｙ＋τ１）ｔａｎ（π−２θ＋ρ）である。よって、距離ｍρは、下記の式２０で表される。
ｍρ＝μ＋（ｘ＋λ）ｔａｎ（ρ）
＋（ｙ＋τ１）（ｔａｎ（ρ）＋ｔａｎ（π−２θ＋ρ））・・・（式２０）

図２８は、アダプタ６００の縦方向断面７９７において、上記任意の点Ｐρｑと、対応する縦方向の角度ｑとの関係を説明する図である。図２８において、断面７９７は、裏蓋６１３から距離（ｙ＋τ１）の点で平面ミラー７と交わる点を通る縦方向断面である。断面７９７においては、点Ｐρｑからレンズ６５５への光路の一例を断面７９７に投影した光路を光路７８７としている。

図２８に示すように、レンズ６５５は、断面７９７と同一の断面上に投影して表しており、ここでは、被写体を前として後ろに距離λ、下に距離η移動している。また、点７８９は、点Ｐρｑを断面７９７に投影した点である。このとき、光路７８７は、点７８９からレンズ６５５へ向かう光路を示す。点７８９からレンズ６５５へ向かう光路７８７の、レンズ６５５への入射角は、Ω軸に対して角度ｑとなる。また、レンズ６５５の中心を通りΩ軸に平行な直線の断面７９７への投影直線と平面ミラー７との交点を点７９２、光路７８７と、平面ミラー７との交点を点７８５、点７８９から平面ミラー７へ下ろした垂線の足を点７８６とする。

このとき、点７９２から点７８５の距離は、距離＝（ｘ＋ｙ＋λ＋τ１）ｔａｎ（ｑ）である。点７８５から点７８６の距離は、距離＝（ｙ＋τ１）ｔａｎ（ｑ）である。よって、距離ｎｑは、下記の式２１で表される。
ｎｑ＝（ｘ＋２ｙ＋λ＋２τ１）ｔａｎ（ｑ）−η・・・（式２１）
また、上記式１１において、τ２＝ρ、τ＝τ１とすることにより、下記の式２２が導かれる。
τ１＝（ｘ＋ｙ＋λ）ｔａｎρ／（ｔａｎθ−ｔａｎρ）
＋μ／（ｔａｎθ−ｔａｎρ）・・・（式２２）

次に、回転公差について、図２９を参照しながら説明する。図２９は、回転公差と画像上の点との関係を示す図である。図２９には、レンズ６５５に回転公差がない場合の画像１００、δΦ、δΨの回転公差がある場合の画像８００、δΦ、δΨ、δΩの公差がある場合の画像７００を示している。また、レンズ６５５と、画像１００、画像８００、画像７００との距離は距離Ｒとする。

このとき、点Ｐ１００、Ｐ８００、Ｐ７００は、それぞれ、アダプタ６００の裏蓋６１３の点Ｐρｑ（ｍρ、ｎｑ）が射影された点であるとする。このとき、点Ｐ７００の座標は（ｗρ、ｈｑ）と表す。角度ｕρ、角度ｖｑは、それぞれ、レンズ６５５の中心から点Ｐ１００への方向が、Ω軸と平行な直線に対してなす横方向の角度、縦方向の角度である。角度ρおよび角度ｑは、それぞれ、レンズ６５５の中心から点Ｐ７００への方向が、Ω軸と平行な直線に対してなす横方向の角度、縦方向の角度である。

図２９において、画像１００における点Ｐ１００について、点Ｐ１００に対する縦方向の角度ｕρ及び横方向の角度ｖｑを用いて、画像１００の中心１６１を原点とする座標で表すとする。画像上での位置を（ｗρ、ｈｑ）とすると、ｕρとｖｑは以下の式が成り立つ。
ｔａｎ（ｕρ）＝（２ｗρ／ｗ−１）ｔａｎ（ｕ）
ｔａｎ（ｖｑ）＝（２ｈｑ／ｈ−１）ｔａｎ（ｖ）・・・（式２３）

ここで上式は、公差δΦ、δΨ、δΩがなく、画像上の座標系と実空間上での座標系が一致する場合における、画像上での位置と実空間上での角度の対応関係を表している。以降では、回転公差によって画像上の座標系が変化した場合における、画像上での位置と実空間上での角度の対応関係を説明する。

まず、距離Ｒにおける点Ｐ１００の実空間上の座標は、角度ｕρ、ｖｑを用いて、座標（Ｒｔａｎ（ｕρ），Ｒｔａｎ（ｖｑ））となる。画像１００に対し、公差δΦ、δΨが加わった画像８００において、点Ｐ１００に対応する点Ｐ８００の実空間上の座標は、座標（Ｒｔａｎ（ｕρ＋δΦ），Ｒｔａｎ（ｖｑ−δΨ））と表される。ここで、画像上での位置はあくまで（ｗρ、ｈｑ）であり、その点に対応する角度ｕρ、ｖｑが、公差δΦ、δΨによって、実空間上でそれぞれ角度ｕρ＋δΦ、ｖｑ−δΨとなる。すなわち、公差δΦ、δΨがある場合、画像上での位置（ｗρ、ｈｑ）は、実空間上での角度ｕρ＋δΦ、ｖｑ−δΨに対応することになる。

ここで、中心１６１と点Ｐ８００との距離は、下記の式２４で表される。

中心１６１と点Ｐ８００とを結ぶ直線と、中心１６１と点Ｐ７００とを結ぶ直線とのなす角は、角度δΩである。また、中心１６１と点Ｐ７００との距離は、中心１６１と点Ｐ８００との距離と等しいことから、点Ｐ７００と、直線１４１との距離は、下記式２５で表される。

ここで、角度ｓは、中心１６１と点Ｐ８００とを結ぶ直線が、中心１６１を通る画像１００の横方向の直線１４１となす角度である。ここで角度ｓは、下記の式２６を満たす角度である。
ｔａｎ（ｓ）＝ｔａｎ（ｖｑ−δΦ）／ｔａｎ（ｕρ＋δΨ）・・・（式２６）

以上より、点Ｐ７００に対応する横方向の角度ρ、および縦方向の角度ｑは、下記の式２７、２８を満たす角度である。

ここで、（式２３）、式（２６）、式（２７）は、画像上での位置が（ｗρ、ｈｑ）である点が、公差δΦ、δΨ、δΩにより実空間上での角度ρ、ｑに対応づけられることを意味する。

上述の式２０〜２２、式２６〜２８に、検出した三角形のマーカの頂点の座標を入力し、得られる６つの方程式を用いて推定した６つのパラメータに基づき、画像を補正する。このとき、三角形の３つの頂点を用いることで、公差のパラメータの数（６つ）の方程式を立てるので、公差の算出が可能となる。

しかしながら、例えば、三角マーカ６３０の頂点のうちの２点が撮影時の上下方向に平行な直線上にある（ｍの値が同じ）と、角度δΩが0付近のとき、角度ｕρがほぼ同じになるとともに、直線状の２点において得られる角度ρの値が、下記の式２９に示すようにほぼ同じ値となる。

その結果、式２０より導出される２つの方程式が同じになって、解の算出が不安定となる。

図３０は、第３の実施の形態による公差の算出が不安定になる三角マーカの一例を示す図である。図３０に示すように、三角マーカ６３２は、撮影時の縦方向と平行な辺を有しており、その辺の両端の頂点に対応する位置ｍが等しくなる。よって、角度δΩが０付近のとき、角度ｕρがほぼ等しくなるとともに、角度ρは式２９のようにほぼ同じ値となる。

同様に、三角マーカ６３０の頂点のうちの２点が撮影時の横方向に平行な直線上にある（ｎの値が同じ）と、角度δΩが０付近のとき、角度ｖｑがほぼ同じになるとともに、角度ｑは下記の式３０に示すようにほぼ同じ値となる。

さらに、τ１も0付近(ｘ＋ｙ＋λ，μが0付近)という条件が加わると、式２１より導出される２つの方程式が同じになって、解の算出が不安定となる。そこで本実施の形態においては、解の算出を安定させるために、三角形の各辺が水平面および鉛直面のいずれとも平行ではない三角マーカ６３０を配置する。

以上のように構成されるアダプタ６００および撮影装置６５０により、立体画像を生成する方法を、図３１、図３２を参照しながらさらに説明する。図３１は、第３の実施の形態による立体画像生成方法を示すフローチャートである。図３２は、画像補正部６９０の処理を説明するフローチャートである。以下の処理は、処理部５９が各部との情報の授受を行いながら実行する処理であるが、ここでは、図１９に示した各部が実行するものとして説明する。

図３１に示すように、撮影装置６５０において、画像取得部８２は、例えば、レンズ６５５、撮像素子５７を介して画像を取得する（Ｓ８５１）。画像補正部６９０は、三角マーカ６３０に基づき算出した公差を用いて、画像７００を補正する（Ｓ８５２）。このとき、三角マーカ６３０は、アダプタ６００と撮影装置６５０との間に取り付け公差が発生したとしても、画像７００に映る領域、すなわち、例えばマーク挿入部６１７に記載する。また、上述のように、三角マーカ６３０は、撮影時の上下方向または横方向に平行な辺を持たない。画像補正部６９０の処理の詳細については、後述する。

マーク検出部８４は、取得された画像において、例えばアダプタ６００のマーク挿入部６１９に記載されたマーク３０を、画像７００の画像中央部１０８などの所定位置から検出することにより、アダプタ６００の装着を検知する（Ｓ８５３）。マーク３０は、例えば台形のバーコードとしてもよい。

立体画像化部８６は、マーク検出部８４により例えばマーク１０６が検知されると、補正済みの画像７００から、決定された切り出し位置および切り出し領域のサイズに応じて右眼用および左眼用の画像を切り出し、立体画像を生成する（Ｓ８５４）。立体画像保存部８８は、立体画像化部８６で生成された立体画像を、例えばＲＡＭ６７に保存する（Ｓ８５５）。表示部９０は、例えば、表示装置６９により、生成した立体画像を表示する（Ｓ８５６）。

図３２に示すように、画像補正部６９０の頂点検出部６９２は、例えば、非特許文献１に記載のＨａｒｒｉｓの方法などを用いて、画像７００において、三角マーカ６３０の頂点を検出する（Ｓ８７１）。頂点検出部６９２は、例えば画像７００において、左下を原点とする直交座標系を定義し、定義された座標系における２次元座標を算出する。

公差算出部６９４は、頂点検出部６９２が検出した頂点の座標に基づき、上記式２０〜２２、式２６〜２８から６つの公差を算出する（Ｓ８７２）。また、公差除去部６９６は、公差算出部６９４により算出された公差に基づき、画像７００から公差を除去する補正を行う（Ｓ８７３）。画像の補正とは、例えば、公差算出部６９４で算出された３つの平行移動公差、３つの回転公差について、それぞれ公差を打ち消すような座標変換を行う処理とすることができる。

以上説明したように、本実施の形態では、アダプタ６００を装着した撮影装置６５０により撮影される画像７００の画像中央部１０８の領域であって、公差を考慮した領域に対応するアダプタ６００の裏蓋６１３の領域に、マーク３０、三角マーカ６３０を記載する。画像補正部６９０は、三角マーカ６３０を検出し、検出した３つの頂点の座標と上述した式に基づき、６つの公差を求める。画像補正部６９０は、求めた公差により、画像７００を補正する。

マーク検出部８４が、補正された画像７００において、マーク３０を検出すると、立体画像化部８６は、補正された画像７００に基づき、立体画像を生成する。なおこのとき、三角マーカ６３０、マーク３０は、公差があっても画像７００に映ることが可能なマーク挿入部６１７、６１９に記載される。マーク挿入部６１７、６１９は、アダプタ６００における平面ミラー７、平面ミラー９、平面ミラー５、平面ミラー１１の配置、撮影装置６５０におけるレンズ６５５の配置、および取り付け時の公差に応じて変化する。

以上のように、アダプタ６００および撮影装置６５０においては、アダプタ６００または撮影装置６５０の組み立て時や、互いの装着時に生ずる公差があっても画像７００に映る位置に、三角マーカ６３０、マーク３０を記載する。このとき、三角マーカ６３０は、撮影時の上下方向および横方向に平行な辺を持たない三角形とする。画像補正部６９０が、検出した三角マーカ６３０の３つの頂点の、例えば画像７００における座標と、上述した式に基づき公差を算出し、画像７００において公差を補正することができる。

マーク検出部８４は、補正された画像７００において、マーク３０を検出する。これにより、公差があっても確実かつ正確にマーク３０を検出することが可能である。また、右眼用および左眼用の画像において、公差を補正することができるので、より質の高い立体画像を表示させることができる。

このように、アダプタ６００の所定位置に三角マーカ６３０を記載し、三角マーカ６３０に基づき画像を補正し、補正した画像においてマーク３０を検出するという簡易な構成で、自動的にアダプタ６００の装着を検知して立体画像を生成することが可能となる。

このとき、画像７００においては、画像中央部１０８を有効領域として用いる。このため、アダプタ６００の、三角マーカ６３０、マーク３０は、裏蓋６１３という、光入射部２１、光入射部２３から離れた場所に配置される。よって、アダプタ６００では、三角マーカ６３０、マーク３０を、外部光の映り込みが少ない領域に配置することができる。

また、本実施の形態による立体画像生成方法では、公差がある場合に、三角マーカ６３０およびマーク３０を配置する位置が式１８、式１９および最悪の条件のように明確化される。このように、条件が明確化されることにより、公差が発生したとしても画像７００に映る有効領域が特定される。これにより、マーク３０、三角マーカ６３０が公差により一部が映らないという事態を回避できる。

第３の実施の形態によれば、公差が安定して算出されるので、立体画像が好適に補正される。これにより、マーク３０の形状が歪んで映ったりした場合に、補正により、本来の形状として検出することができる。

第３の実施の形態による三角マーカ６３０とマーク３０とは、裏蓋６１３の左右にそれぞれ配置したが、上記に限定されない。三角マーカ６３０およびマーク３０がそれぞれ識別が可能であれば、マーク挿入部６１７またはマーク挿入部６１９のいずれかに三角マーカ６３０とマーク３０とをともに配置するようにしてもよい。また、三角マーカ６３０のみを配置することもできる。このとき、撮影装置６５０は、三角マーカ６３０を検出することにより、アダプタ６００の装着を検知し、画像７００が立体画像用の画像であるとして処理を行う。

さらに、第２の実施の形態において、アダプタ６００を用いて撮影装置２６０で画像を撮影し、サーバ２８０に画像補正部６９０の機能を持たせて、撮影装置６５０のような公差算出および画像補正の処理をサーバ２８０で行うようにしてもよい。上記第１から第３の実施の形態および変形例は、実施が可能であるいずれの組み合わせも本発明の範囲であると考えられる。

上記第１から第３の実施の形態および変形例において、アダプタ１、アダプタ６００は、撮影補助装置の一例であり、裏蓋１３、裏蓋６１３は、裏面部の一例である。また、平面ミラー５は、第１のミラーの一例であり、平面ミラー７は、第３の平面ミラーの一例である。平面ミラー９は、第４の平面ミラーの一例であり、平面ミラー１１は、第２のミラーの一例である。光入射部２１は、第１の光入射部の一例であり、光入射部２３は、第２の光入射部の一例である。また、処理部５９は、演算処理部の一例である。

以上の実施形態に関し、さらに以下の付記を開示する。
（付記１）
撮影装置に装着される撮影補助装置であって、
前記撮影補助装置の被写体側に撮影時の左右方向に並列に設けられ、前記被写体からの光を前記撮影補助装置内部に導入するための第１および第２の光入射部と、前記左右方向と直交する方向であって前記被写体側とは逆の前記撮影装置側に設けられ、前記撮影装置に光を導出するための光出射部と、前記光出射部が設けられた裏面部とを有する筐体と、
前記筐体内部であって前記光出射部に対し前記左右方向のうちの右側に設けられ、前記第１の光入射部から入射した前記被写体からの光を反射する第１の平面ミラーと、
前記第１の平面ミラーからの光を前記第１の光入射部側とは異なる前記光出射部側に反射する第３の平面ミラーと、
前記筐体内部であって前記光出射部の前記左右方向の左側に設けられ、前記第２の光入射部から入射した前記被写体からの光を反射する第２の平面ミラーと、
前記第２の平面ミラーからの光を前記第２の光入射部側とは異なる前記光出射部側に反射する第４の平面ミラーと、
前記裏面部の前記撮影装置側内面において、前記光出射部と前記第１の平面ミラーとの間の領域または前記光出射部と前記第２の平面ミラーとの間の領域のうち少なくとも一方の領域であって、反射した光が前記第３の平面ミラーまたは前記第４の平面ミラーにより前記光出射部に導かれるような領域に配置されたマークと、
を有することを特徴とする撮影補助装置。
（付記２）
前記マークは、前記筐体の前記撮影装置側内面であって、前記光出射部の中心から前記第３の平面ミラーおよび前記第４の平面ミラーへの最短距離、および前記撮影装置に装着された状態での前記撮影装置の画像取得用レンズの光軸の方向に対する前記第３の平面ミラーまたは前記第４の平面ミラーの角度に応じた距離以上離れ、かつ、前記中心側が狭い台形の領域内に配置されることを特徴とする付記１に記載の撮影補助装置。
（付記３）
前記マークは、前記筐体の前記撮影装置側内面において、前記光出射部側では、上下方向に細く、前記出射部から遠い側では上下方向に太い形状に記載されることを特徴とする付記１に記載の撮影補助装置。
（付記４）
前記マークは、バーコードであることを特徴とする付記３に記載の撮影補助装置。
（付記５）
さらに、前記裏面部の前記撮影装置側内面において、前記光出射部と前記第１の平面ミラーとの間の領域または前記光出射部と前記第２の平面ミラーとの間の領域のうち少なくとも一方の領域であって、反射した光が前記第３の平面ミラーまたは前記第４の平面ミラーにより前記光出射部に導かれるような領域に配置され、撮影時の上下方向および横方向と平行な辺を持たない３角形のマーク、
を備えことを特徴とする付記１から付記４のいずれかに記載の撮影補助装置。
（付記６）
前記３角形のマークは、前記筐体の前記撮影装置側内面であって、前記光出射部の中心から前記第３の平面ミラーおよび前記第４の平面ミラーへの最短距離、および前記撮影装置に装着された状態での前記撮影装置の画像取得用レンズの光軸の方向に対する前記第３の平面ミラーまたは前記第４の平面ミラーの角度に応じた距離以上離れ、かつ、前記中心側が狭い台形の領域内であって、前記撮影装置と接続された状態での画像取得用のレンズの３次元の位置および３方向の角度に所定の公差があっても検出が可能な領域内に配置されることを特徴とする付記５に記載の撮影補助装置。
（付記７）
撮影補助装置を撮影装置に装着して画像を撮影し、撮影した画像に基づき情報処理装置が立体画像を生成する画像生成システムであって、
前記撮影補助装置は、
前記撮影補助装置の被写体側に撮影時の左右方向に並列に設けられ、前記被写体からの光を前記撮影補助装置内部に導入するための第１および第２の光入射部と、前記左右方向と直交する方向であって前記被写体側とは逆の前記撮影装置側に設けられ、前記撮影装置に光を導出するための光出射部と、前記光出射部が設けられた裏面部とを有する筐体と、
前記筐体内部であって前記光出射部に対し前記左右方向のうちの右側に設けられ、前記第１の光入射部から入射した前記被写体からの光を反射する第１の平面ミラーと、
前記第１の平面ミラーからの光を前記第１の光入射部側とは異なる前記光出射部側に反射する第３の平面ミラーと、
前記筐体内部であって前記光出射部の前記左右方向の左側に設けられ、前記第２の光入射部から入射した前記被写体からの光を反射する第２の平面ミラーと、
前記第２のミラーからの光を前記第２の光入射部側とは異なる前記光出射部側に反射する第４の平面ミラーと、
前記裏面部の前記撮影装置側内面において、前記光出射部と前記第１の平面ミラーとの間の領域または前記光出射部と前記第２の平面ミラーとの間の領域のうち少なくとも一方の領域であって、反射した光が前記第３の平面ミラーまたは前記第４の平面ミラーにより前記光出射部に導かれるような領域に配置されたマークと、
を有し、
前記撮影装置は、
前記被写体からの光が前記光出射部を介して入射する少なくともひとつのレンズと、
前記レンズを介して前記被写体からの光を検出して前記光に基づく信号を出力する撮像素子と、
前記撮像素子からの信号に基づき第１の画像を生成する演算処理部と、
前記第１の画像を送信するとともに、前記情報処理装置から立体画像を受信する送受信装置と、
を有し、
前記情報処理装置は、
前記第１の画像を受信する画像受信部と、
取得した前記第１の画像に、前記マークに応じた第２の画像があるか否かを判別するマーク検出部と、
前記第２の画像があると判別された場合に、前記第１の画像から前記第１の光入射部を介して取得された画像と前記第２の光入射部を介して取得された画像とを分離し、立体画像を生成する立体画像化部と、
を有し、
前記第２の画像は、前記第１の画像において、前記第１の光入射部を介して取得された画像と前記第２の光入射部を介して取得された画像との間に検出されることを特徴とする画像生成システム。
（付記８）
前記マークは、前記筐体の前記撮影装置側内面であって、前記光出射部の中心から前記第３の平面ミラーおよび前記第４の平面ミラーへの最短距離、および前記撮影装置に装着された状態での前記撮影装置の画像取得用レンズの光軸の方向に対する前記第３の平面ミラーまたは前記第４の平面ミラーの角度に応じた距離以上離れ、かつ、前記中心側が狭い台形の領域内に配置されることを特徴とする付記７に記載の画像生成システム。
（付記９）
前記マークは、バーコードであることを特徴とする付記８に記載の画像生成システム。
（付記１０）
演算処理装置が、
第１の画像を取得し、
前記第１の画像において、撮影時の上下方向および横方向のいずれにも３辺が平行でない３角形のマークがある場合に、前記３角形のマークの３つの頂点の前記上下方向および前記横方向の座標を算出し、
前記３つの頂点の座標、および前記第１の画像を取得するための補助装置の構成に基づき、前記画像取得時における３次元の位置および３方向の回転の６つの公差を算出し、
前記第１の画像を前記６つの公差に基づき補正して第２の画像とし、
前記第２の画像から立体画像を生成する、
ことを特徴とする立体画像生成方法。
（付記１１）
前記第１の画像は、前記立体画像を生成するための右眼用画像および左眼用画像を含んでおり、
前記３角形のマークは、前記右眼用画像と前記左眼用画像との間に配置されていることを特徴とする付記１０に記載の撮影補助装置。

１ アダプタ
３ 筐体
３ａ 上面
３ｂ 下面
３ｃ 側面
３ｄ 側面
５ 平面ミラー
７ 平面ミラー
９ 平面ミラー
１１ 平面ミラー
１３ 裏蓋
１５ 光出射部
１６ 中心
１７ マーク挿入部
１９ マーク挿入部
２１ 光入射部
２３ 光入射部
３０ マーク
３１ 境界
３３ 境界
３５ 境界
３７ 境界
５０ 撮影装置
５３ 前面
５５ レンズ
５７ 撮像素子
５９ 処理部
６１ レリーズボタン
６３ 記憶部
６５ ＲＯＭ
６７ ＲＡＭ
６９ 表示装置
８２ 画像取得部
８４ マーク検出部
８６ 立体画像化部
８８ 立体画像保存部
９５ 横方向断面
１００ 画像
１０２ 右眼用画像
１０４ 左眼用画像
１０６ マーク
１０８ 画像中央部

Claims (7)

1. 撮影装置に装着される撮影補助装置であって、
   前記撮影補助装置の被写体側に撮影時の左右方向に並列に設けられ、前記被写体からの光を前記撮影補助装置内部に導入するための第１および第２の光入射部と、前記左右方向と直交する方向であって前記被写体側とは逆の前記撮影装置側に設けられ、前記撮影装置に光を導出するための光出射部と、前記光出射部が設けられた裏面部とを有する筐体と、
   前記筐体内部であって前記光出射部に対し前記左右方向のうちの右側に設けられ、前記第１の光入射部から入射した前記被写体からの光を反射する第１の平面ミラーと、
   前記第１の平面ミラーからの光を前記第１の光入射部側とは異なる前記光出射部側に反射する第３の平面ミラーと、
   前記筐体内部であって前記光出射部の前記左右方向の左側に設けられ、前記第２の光入射部から入射した前記被写体からの光を反射する第２の平面ミラーと、
   前記第２の平面ミラーからの光を前記第２の光入射部側とは異なる前記光出射部側に反射する第４の平面ミラーと、
   前記裏面部の前記撮影装置側内面において、前記光出射部と前記第１の平面ミラーとの間の領域または前記光出射部と前記第２の平面ミラーとの間の領域のうち少なくとも一方の領域であって、反射した光が前記第３の平面ミラーまたは前記第４の平面ミラーにより前記光出射部に導かれるような領域に配置されたマークと、
   を有することを特徴とする撮影補助装置。
2. 前記マークは、前記筐体の前記撮影装置側内面であって、前記光出射部の中心から前記第３の平面ミラーおよび前記第４の平面ミラーへの最短距離、および前記撮影装置に装着された状態での前記撮影装置の画像取得用レンズの光軸の方向に対する前記第３の平面ミラーまたは前記第４の平面ミラーの角度に応じた距離以上離れ、かつ、前記中心側が狭い台形の領域内に配置されることを特徴とする請求項１に記載の撮影補助装置。
3. 前記マークは、前記筐体の前記撮影装置側内面において、前記光出射部側では、上下方向に細く、前記出射部から遠い側では上下方向に太い形状に記載されることを特徴とする請求項１に記載の撮影補助装置。
4. 前記マークは、バーコードであることを特徴とする請求項３に記載の撮影補助装置。
5. さらに、前記裏面部の前記撮影装置側内面において、前記光出射部と前記第１の平面ミラーとの間の領域または前記光出射部と前記第２の平面ミラーとの間の領域のうち少なくとも一方の領域であって、反射した光が前記第３の平面ミラーまたは前記第４の平面ミラーにより前記光出射部に導かれるような領域に配置され、撮影時の上下方向および横方向と平行な辺を持たない３角形のマーク、
   を備えことを特徴とする請求項１から請求項４のいずれかに記載の撮影補助装置。
6. 前記３角形のマークは、前記筐体の前記撮影装置側内面であって、前記光出射部の中心から前記第３の平面ミラーおよび前記第４の平面ミラーへの最短距離、および前記撮影装置に装着された状態での前記撮影装置の画像取得用レンズの光軸の方向に対する前記第３の平面ミラーまたは前記第４の平面ミラーの角度に応じた距離以上離れ、かつ、前記中心側が狭い台形の領域内であって、前記撮影装置と接続された状態での画像取得用のレンズの３次元の位置および３方向の角度に所定の公差があっても検出が可能な領域内に配置されることを特徴とする請求項５に記載の撮影補助装置。
7. 撮影補助装置を撮影装置に装着して画像を撮影し、撮影した画像に基づき情報処理装置が立体画像を生成する画像生成システムであって、
   前記撮影補助装置は、
   前記撮影補助装置の被写体側に撮影時の左右方向に並列に設けられ、前記被写体からの光を前記撮影補助装置内部に導入するための第１および第２の光入射部と、前記左右方向と直交する方向であって前記被写体側とは逆の前記撮影装置側に設けられ、前記撮影装置に光を導出するための光出射部と、前記光出射部が設けられた裏面部とを有する筐体と、
   前記筐体内部であって前記光出射部に対し前記左右方向のうちの右側に設けられ、前記第１の光入射部から入射した前記被写体からの光を反射する第１の平面ミラーと、
   前記第１の平面ミラーからの光を前記第１の光入射部側とは異なる前記光出射部側に反射する第３の平面ミラーと、
   前記筐体内部であって前記光出射部の前記左右方向の左側に設けられ、前記第２の光入射部から入射した前記被写体からの光を反射する第２の平面ミラーと、
   前記第２の平面ミラーからの光を前記第２の光入射部側とは異なる前記光出射部側に反射する第４の平面ミラーと、
   前記裏面部の前記撮影装置側内面において、前記光出射部と前記第１の平面ミラーとの間の領域または前記光出射部と前記第２の平面ミラーとの間の領域のうち少なくとも一方の領域であって、反射した光が前記第３の平面ミラーまたは前記第４の平面ミラーにより前記光出射部に導かれるような領域に配置されたマークと、
   を有し、
   前記撮影装置は、
   前記被写体からの光が前記光出射部を介して入射する少なくともひとつのレンズと、
   前記レンズを介して前記被写体からの光を検出して前記光に基づく信号を出力する撮像素子と、
   前記撮像素子からの信号に基づき第１の画像を生成する演算処理部と、
   前記第１の画像を送信するとともに、前記情報処理装置から立体画像を受信する送受信装置と、
   を有し、
   前記情報処理装置は、
   前記第１の画像を受信する画像受信部と、
   取得した前記第１の画像に、前記マークに応じた第２の画像があるか否かを判別するマーク検出部と、
   前記第２の画像があると判別された場合に、前記第１の画像から第１の光入射部を介して取得された画像と前記第２の光入射部を介して取得された画像とを分離し、立体画像を生成する立体画像化部と、
   を有し、
   前記第２の画像は、前記第１の画像において、前記第１の光入射部を介して取得された画像と前記第２の光入射部を介して取得された画像との間に検出されることを特徴とする画像生成システム。

Images