JP5519396B2 - 立体画像作成装置及び立体画像作成方法 - Google Patents

Description

本発明は、立体画像作成装置及び立体画像作成方法に関するものであり、特に、立体カメラと立体カメラにおける立体映像作成方法に関するものである。

従来における立体カメラとしては、人間の左右の眼に対応する２個のレンズで被写体を撮影して、撮影して得られた左右一対の画像を左眼と右眼でそれぞれ独立して見ることにより立体画像を得るものが存在する。例えば、特許文献１における立体映像カメラにおいては、右目と左目に対応する２本のレンズが設けられ、また、特許文献２における立体カメラにおいては、カメラ本体の前方に向けて左右に並べられた２つの撮影用レンズが設けられ、また、特許文献３におけるデジタル立体カメラにおいては、２つの撮影光学系ユニットが設けられている。

また、特許文献４に記載の立体情報検出方法及び装置においては、照明光の輝度および撮像利得の少なくとも一方が時間とともに変化するという条件で撮像した被写体の映像の輝度情報を利用することで、映像信号のフレーム時間に実時間で追随できる速度で被写体各部の距離を２次元的に求め、立体情報を検出する点が開示されている。

特開平５−１９７０４５号公報 特開２００６−２３５３１６号公報 特開２００９−４７８９４号公報 特開２０００−１２１３３９号公報

しかし、上記従来の特許文献１〜３の立体カメラにおいては、２つのレンズを設けることから、構造が複雑となって製造コストが高くなり、また、カメラ自体が大型化してしまうという問題があった。また、上記従来の立体カメラにおいては、既存のカメラを利用することができないという問題があった。

また、特許文献４に記載の立体情報検出方法及び装置においては、照明光の輝度を振幅変調したり、撮像利得を時間とともに線形増加させる等して、照明光の輝度および撮像利得の少なくとも一方を時間とともに変化させるので、立体画像作成のための処理が複雑となり、装置の構成が複雑となって製造コストが掛かるという問題がある。すなわち、照明光の輝度を時間とともに変化させる場合には、照明光変調信号により直接変調可能な発光素子又は外部変調器が必要となり、また、撮像利得を時間とともに変化させる場合には、撮像利得変調信号に応じて撮像利得を制御可能な装置（例えば、ゲート付きイメージインテンシファイア）が必要となってしまう。

そこで、本発明は、複数のレンズを使用する必要がなく、既存のカメラを利用することができ、立体画像作成のための処理が複雑とならない立体画像作成装置及び立体画像作成方法を提供することを目的とするものである。

本発明は上記問題点を解決するために創作されたものであって、第１には、被写体を撮影して立体画像を作成する立体画像作成装置であって、被写体に対して光を照射する発光装置と、被写体を撮影して画像データを取得する撮影装置と、被写体におけるある位置と立体画像作成装置の間の距離を測定する測定装置と、第１の光が照射された被写体を撮影する第１撮影を行うとともに、第１撮影の前又は後に行う第２撮影であって、該発光装置から第２の光としての光を照射させて第１の光と第２の光とが照射された被写体を撮影する第２撮影を行うように、撮影装置及び発光装置の動作を制御するとともに、第１撮影により取得された二次元画像としての第１画像データと第２撮影により取得された二次元画像としての第２画像データとにおける画素ごとの輝度値の比を算出し、算出された輝度値の比に応じてシフト量を算出し、算出したシフト量に従い視差画像を作成するとともに、第１の光の強度をIeとし、第２の光の強度をIoとし、発光装置から被写体までの距離をＺとし、各画素の輝度値の比をＦ（ｘ，ｙ）とした場合に、測定装置により測定した距離を式（Ａ）のＺに代入することよりIe／Ioを算出し、算出されたIe／Ioを入れた状態の式（Ａ）に従い、被写体における上記で距離をすでに測定した画素以外の各画素と発光装置の間の距離を算出する制御装置と、を有することを特徴とする。

第１の構成の立体画像作成装置によれば、第１撮影により取得された二次元画像としての第１画像データと第２撮影により取得された二次元画像としての第２画像データとにおける画素ごとの輝度値の比を算出し、算出された輝度値の比に応じてシフト量を算出し、算出したシフト量に従い視差画像を作成するので、複数のレンズを設ける必要がないので、製造コストを低くするとともに、カメラの大型化を防ぐことができ、さらには、既存のカメラを利用することができる。特に、デジタルカメラ等のカメラにおける動作プログラムを記憶する記憶装置に上記の動作を行うプログラムを記憶させることにより既存のカメラを利用できるので、製造コストを抑えることができる。また、照明光の輝度や撮像利得を時間とともに変化させる必要がないので、立体画像作成のための処理が複雑とならず、これにより装置の構成が複雑とならず、その点でも製造コストを抑えることができる。また、算出された距離データにより奥行き情報の精度を高めることができ、該算出された距離データを用いて立体画像の表示に使用することができる。

また、第２には、上記第１の構成において、第１の光が自然光であり、第１撮影及び第２撮影において、自然光を第１の光として撮影を行うことを特徴とする。

また、第３には、上記第１の構成において、立体画像作成装置が、上記発光装置の光の照射方向とは異なる方向に光を照射する第２発光装置を有し、第１撮影及び第２撮影において、制御装置が第２発光装置から第１の光としての光を照射させ、第２発光装置が照射した光が被写体の周囲の反射面に反射することにより被写体に照射された光を第１の光として撮影を行うことを特徴とする。よって、第２発光装置によりバウンズ光を利用して撮影を行うので、自然光が弱い場合でも撮影を行うことができる。

また、第４には、上記第１の構成において、立体画像作成装置が、上記発光装置の光の照射方向とは異なる方向に光を照射する第２発光装置を有し、制御装置が、第１撮影及び第２撮影の前に撮影対象の被写体を撮影するように撮影装置の動作を制御し、撮影対象の被写体の画像全体の輝度値を測定し、予め定められたしきい値と比較し、測定した輝度値が該しきい値以上である場合には、第１撮影及び第２撮影において、自然光を第１の光として撮影を行い、一方、測定した輝度値が該しきい値未満である場合には、制御装置が第２発光装置から第１の光としての光を照射させ、第２発光装置が照射した光が被写体の周囲の反射面に反射することにより被写体に照射された光を第１の光として撮影を行うことを特徴とする。

よって、撮影対象の被写体の画像全体の輝度値を予め測定して、動作モードを切り換えるので、自然光の強度に関係なく使用することが可能となる。特に、第２発光装置によりバウンズ光を利用して撮影を行うので、自然光が弱い場合でも撮影を行うことができる。

また、第５には、前記第１から第４までのいずれかの構成において、視差画像の作成に際して、第１画像データと第２画像データのいずれかを原画像とし、該原画像に対して、算出されたシフト量に従い左右のいずれかの方向に輝度値をシフトさせ、シフト先の画素において輝度値が重なる場合には、シフト量が大きい画素の輝度値をその画素の輝度値とし、シフト後に輝度値のない無輝度画素がある場合には、該無輝度画素の最初の輝度値がシフトしたシフト方向とは反対方向に隣接する画素の輝度値をその無輝度画素の輝度値とすることを特徴とする。

なお、上記第１〜第５の構成において、制御装置が、算出された輝度値の比（各画素ごとに算出された第１画像データと第２画像データの輝度値の比）が予め設定された範囲を超える場合、又は、第１画像データの輝度値と第２画像データの輝度値の差が予め設定された範囲を超える場合には、ハレーションが発生した画像であるとして、該画素の周囲の画素でハレーションが発生していない画素のシフト量をその画素のシフト量として視差画像を作成するようにしてもよい。

また、第６には、被写体を撮影して立体画像を作成する立体画像作成装置であって、
被写体に対して光を照射する発光手段と、第１の光が照射された被写体を撮影する第１撮影を行うとともに、第１撮影の前又は後に行う第２撮影であって、発光手段から第２の光としての光を照射させて第１の光と第２の光とが照射された被写体を撮影する第２撮影を行う撮影手段と、第１撮影により取得された二次元画像としての第１画像データと第２撮影により取得された二次元画像としての第２画像データとにおける画素ごとの輝度値の比を算出する輝度値の比算出手段と、算出された輝度値の比に応じてシフト量を算出し、算出したシフト量に従い視差画像を作成する視差画像作成手段と、被写体におけるある位置と立体画像作成装置の間の距離を測定する測定手段と、第１の光の強度をIeとし、第２の光の強度をIoとし、発光装置から被写体までの距離をＺとし、各画素の輝度値の比をＦ（ｘ，ｙ）とした場合に、測定手段により測定した距離を式（Ｂ）のＺに代入することよりIe／Ioを算出し、算出されたIe／Ioを入れた状態の式（Ｂ）に従い、被写体における上記で距離をすでに測定した画素以外の各画素と発光装置の間の距離を算出する距離算出手段と、を有することを特徴とする。

第６の構成の立体画像作成装置によれば、第１撮影により取得された二次元画像としての第１画像データと第２撮影により取得された二次元画像としての第２画像データとにおける画素ごとの輝度値の比を算出し、算出された輝度値の比に応じてシフト量を算出し、算出したシフト量に従い視差画像を作成するので、複数のレンズを設ける必要がないので、製造コストを低くするとともに、カメラの大型化を防ぐことができ、さらには、既存のカメラを利用することができる。特に、デジタルカメラ等のカメラにおける動作プログラムを記憶する記憶装置に上記の動作を行うプログラムを記憶させることにより既存のカメラを利用できるので、製造コストを抑えることができる。また、照明光の輝度や撮像利得を時間とともに変化させる必要がないので、立体画像作成のための処理が複雑にならず、これにより装置の構成が複雑とならず、その点でも製造コストを抑えることができる。また、算出された距離データにより奥行き情報の精度を高めることができ、該算出された距離データを用いて立体画像の表示に使用することができる。

また、第６−１の構成として以下の構成としてもよい。すなわち、「上記第６の構成において、第１の光が自然光であり、第１撮影及び第２撮影において、自然光を第１の光として撮影を行うことを特徴とする。」ものとする。また、第６−２の構成として以下の構成としてもよい。すなわち、「上記第６の構成において、立体画像作成装置が、上記発光装置の光の照射方向とは異なる方向に光を照射する第２発光手段を有し、第１撮影及び第２撮影において、第２発光手段から第１の光としての光を照射させ、第２発光装置が照射した光が被写体の周囲の反射面に反射することにより被写体に照射された光を第１の光として撮影を行うことを特徴とする。」ものとする。よって、第２発光手段によりバウンズ光を利用して撮影を行うので、自然光が弱い場合でも撮影を行うことができる。

また、第６−３の構成として以下の構成としてもよい。すなわち、「上記第６の構成において、立体画像作成装置が、上記発光装置の光の照射方向とは異なる方向に光を照射する第２発光装置を有し、第１撮影及び第２撮影の前に撮影手段により被写体を撮影し、撮影対象の被写体の画像全体の輝度値を測定し、予め定められたしきい値と比較する比較手段を有し、上記撮影手段が、測定した輝度値が該しきい値以上である場合には、第１撮影及び第２撮影において、自然光を第１の光として撮影を行い、一方、測定した輝度値が該しきい値未満である場合には、第２発光装置から第１の光としての光を照射させ、第２発光装置が照射した光が被写体の周囲の反射面に反射することにより被写体に照射された光を第１の光として撮影を行うことを特徴とする。」ものとする。

よって、撮影対象の被写体の画像全体の輝度値を予め測定して、動作モードを切り換えるので、自然光の強度に関係なく使用することが可能となる。特に、第２発光手段によりバウンズ光を利用して撮影を行うので、自然光が弱い場合でも撮影を行うことができる。

また、第６−４の構成として以下の構成としてもよい。すなわち、「上記第６又は第６−１又は第６−２又は第６−３の構成において、視差画像の作成に際して、第１画像データと第２画像データのいずれかを原画像とし、該原画像に対して、算出されたシフト量に従い左右のいずれかの方向に輝度値をシフトさせ、シフト先の画素において輝度値が重なる場合には、シフト量が大きい画素の輝度値をその画素の輝度値とし、シフト後に輝度値のない無輝度画素がある場合には、該無輝度画素の最初の輝度値がシフトしたシフト方向とは反対方向に隣接する画素の輝度値をその無輝度画素の輝度値とすることを特徴とする。」ものとする。

なお、上記第６〜第６−５の構成において、視差画像作成手段が、輝度値の比算出手段により算出された輝度値の比（各画素ごとに算出された第１画像データと第２画像データの輝度値の比）が予め設定された範囲を超える場合、又は、第１画像データの輝度値と第２画像データの輝度値の差が予め設定された範囲を超える場合には、ハレーションが発生した画像であるとして、該画素の周囲の画素でハレーションが発生していない画素のシフト量をその画素のシフト量として視差画像を作成するものとしてもよい。

また、第７には、被写体を撮影して画像データを取得する撮影装置と被写体に対して光を照射する発光装置と被写体におけるある位置と立体画像作成装置の間の距離を測定する測定装置とを有する立体画像作成装置により被写体を撮影して立体画像を作成する立体画像作成方法であって、第１の光が照射された被写体を撮影する第１撮影を行うとともに、第１撮影の前又は後に行う第２撮影であって、発光装置から第２の光としての光を照射させて第１の光と第２の光とが照射された被写体を撮影する第２撮影を行う撮影工程と、第１撮影により取得された二次元画像としての第１画像データと第２撮影により取得された二次元画像としての第２画像データとにおける画素ごとの輝度値の比を算出する輝度値の比算出工程と、算出された輝度値の比に応じてシフト量を算出し、算出したシフト量に従い視差画像を作成する視差画像作成工程と、該測定装置により被写体におけるある位置と立体画像作成装置の間の距離を測定する測定工程と、第１の光の強度をIeとし、第２の光の強度をIoとし、発光装置から被写体までの距離をＺとし、各画素の輝度値の比をＦ（ｘ，ｙ）とした場合に、測定工程において測定した距離を式（Ｃ）のＺに代入することよりIe／Ioを算出し、算出されたIe／Ioを入れた状態の式（Ｃ）に従い、被写体における上記で距離をすでに測定した画素以外の各画素と発光装置の間の距離を算出する距離算出工程と、を有することを特徴とする。

この第７の立体画像作成方法によれば、第１撮影により取得された二次元画像としての第１画像データと第２撮影により取得された二次元画像としての第２画像データとにおける画素ごとの輝度値の比を算出し、算出された輝度値の比に応じてシフト量を算出し、算出したシフト量に従い視差画像を作成するので、複数のレンズを使用する必要がないので、本発明の立体画像作成方法を行う装置の製造コストを低くするとともに、該装置の大型化を防ぐことができ、さらには、既存のカメラを利用することができる。特に、デジタルカメラ等のカメラにおける動作プログラムを記憶する記憶装置に上記の動作を行うプログラムを記憶させることにより既存のカメラを利用できるので、製造コストを抑えることができる。また、照明光の輝度や撮像利得を時間とともに変化させる必要がないので、立体画像作成のための処理が複雑とならず、その点でも装置の製造コストを抑えることができる。また、算出された距離データにより奥行き情報の精度を高めることができ、該算出された距離データを用いて立体画像の表示に使用することができる。

また、第８には、上記第７の構成において、第１の光が自然光であり、第１撮影及び第２撮影において、自然光を第１の光として撮影を行うことを特徴とする。また、第９には、上記第７の構成において、立体画像作成装置が、上記発光装置の光の照射方向とは異なる方向に光を照射する第２発光装置を有し、第１撮影及び第２撮影において、第２発光装置から第１の光としての光を照射させ、第２発光装置が照射した光が被写体の周囲の反射面に反射することにより被写体に照射された光を第１の光として撮影を行うことを特徴とする。よって、第２発光装置によりバウンズ光を利用して撮影を行うので、自然光が弱い場合でも撮影を行うことができる。

また、第１０には、上記第７の構成において、立体画像作成装置が、上記発光装置の光の照射方向とは異なる方向に光を照射する第２発光装置を有し、撮影工程の前に設けられた比較工程であって、撮影対象の被写体の画像全体の輝度値を測定し、予め定められたしきい値と比較する比較工程を有し、上記撮影工程において、測定した輝度値が該しきい値以上である場合には、第１撮影及び第２撮影において、自然光を第１の光として撮影を行い、一方、測定した輝度値が該しきい値未満である場合には、第２発光装置から第１の光としての光を照射させ、第２発光装置が照射した光が被写体の周囲の反射面に反射することにより被写体に照射された光を第１の光として撮影を行うことを特徴とする。

よって、撮影対象の被写体の画像全体の輝度値を予め測定して、動作モードを切り換えるので、自然光の強度に関係なく使用することが可能となる。特に、第２発光手段によりバウンズ光を利用して撮影を行うので、自然光が弱い場合でも撮影を行うことができる。

また、第１１の構成として以下の構成としてもよい。すなわち、「上記第７又は第８又は第９又は第１０の構成において、視差画像作成工程において、第１画像データと第２画像データのいずれかを原画像とし、該原画像に対して、算出されたシフト量に従い左右のいずれかの方向に輝度値をシフトさせ、シフト先の画素において輝度値が重なる場合には、シフト量が大きい画素の輝度値をその画素の輝度値とし、シフト後に輝度値のない無輝度画素がある場合には、該無輝度画素の最初の輝度値がシフトしたシフト方向とは反対方向に隣接する画素の輝度値をその無輝度画素の輝度値とすることを特徴とする。」ものとしてもよい。

なお、上記第７〜第１１の構成において、視差画像作成工程において、輝度値の比算出工程において算出された輝度値の比（各画素ごとに算出された第１画像データと第２画像データの輝度値の比）が予め設定された範囲を超える場合、又は、第１画像データの輝度値と第２画像データの輝度値の差が予め設定された範囲を超える場合には、ハレーションが発生した画像であるとして、該画素の周囲の画素でハレーションが発生していない画素のシフト量をその画素のシフト量として視差画像を作成するものとしてもよい。

本発明に基づく立体画像作成装置及び立体画像作成方法によれば、第１撮影により取得された二次元画像としての第１画像データと第２撮影により取得された二次元画像としての第２画像データとにおける画素ごとの輝度値の比を算出し、算出された輝度値の比に応じてシフト量を算出し、算出したシフト量に従い視差画像を作成するので、複数のレンズを設ける必要がないので、製造コストを低くするとともに、カメラの大型化を防ぐことができ、さらには、既存のカメラを利用することができる。特に、デジタルカメラ等のカメラにおける動作プログラムを記憶する記憶装置に上記の動作を行うプログラムを記憶させることにより既存のカメラを利用できるので、製造コストを抑えることができる。また、算出された距離データにより奥行き情報の精度を高めることができ、該算出された距離データを用いて立体画像の表示に使用することができる。

実施例１の立体カメラの構成を示す斜視図である。 実施例１の立体カメラの構成を示すブロック図である。 実施例１の立体カメラの動作を示すフローチャートである。 実施例１の立体カメラの作用を説明するための説明図である。 実施例１の立体カメラの作用を説明するための説明図である。 実施例１の立体カメラにおけるシフトの一例を示す説明図である。 実施例２及び実施例３の立体カメラの構成を示す斜視図である。 実施例２及び実施例３の立体カメラの構成を示すブロック図である。 実施例２の立体カメラの動作を示すフローチャートである。 実施例３の立体カメラの動作を示すフローチャートである。

本発明においては、複数のレンズを設ける必要がないことにより、製造コストを低くするとともに、カメラの大型化を防ぎ、さらには、既存のカメラを利用することができる立体カメラ及び立体カメラにおける立体映像撮影方法を提供するという目的を以下のようにして実現した。

本発明に基づく立体カメラ（立体画像作成装置）５は、図１、図２に示すように構成され、撮影部（撮影装置）１０と、発光部（発光装置、発光手段）２０と、記憶部３０と、出力部４０と、ＣＰＵ５０とを有している。

ここで、撮影部１０は、撮影操作をするためのシャッターボタン１２と、被写体を撮影する機構であり、レンズ１４と、レンズ１４を通して得られた画像（静止画像）を電気信号に変換するＣＣＤ等の撮像素子（光学センサ）（図示せず）と、撮像素子により得られた画像信号をＡ／Ｄ変換してデジタル信号にするＣＣＤドライバ（図示せず）等を有する。

また、発光部２０は、シャッターボタン１２の操作と連動して被写体に向けて発光する発光装置（発光器としてもよい）であり、被写体に向けて発光するように、発光する光の光軸（中心軸）は、レンズ１４の光軸と略平行な方向となるように設けられている。

記憶部３０は、動作プログラムのデータや撮影した画像データを記憶する記憶装置であり、具体的には、動作プログラムを記憶する内蔵フラッシュメモリや、画像データ等を一時的に記憶するＤＲＡＭ等がこれに当たる。

特に、動作プログラムとしては、図３に示すフローチャートに示す動作を行うためのプログラムが格納されている。

また、出力部４０は、外部に画像データを出力するものであり、着脱自在のメモリカードを挿脱するスロットや、外部出力用のケーブルを接続する端子等がこれに当たる。

また、ＣＰＵ５０は、撮影部１０と、発光部２０と、記憶部３０と、出力部４０に接続され、各部の動作を制御するものであり、制御部として機能し、特に、記憶部３０に格納された動作プログラムに従い動作する。ＣＰＵ５０と該動作プログラムとが、制御装置に当たる。

次に、上記構成の立体カメラ５の動作、つまり、立体画像作成方法について、主として図３を使用して説明する。本実施例の立体カメラ５は、自然光において撮影した画像を用いるので、自然光の強度が十分に存在する場所で撮影を行うのが好ましい。

レンズを被写体に向けてシャッターボタン１２を押すことにより、図３に示す処理が行われる。

すなわち、まず、シャッターボタン１２を押す（つまり、撮影操作を行う）ことにより、自然光における撮影（Ｓ１１）と、発光部２０を発光させた状態での撮影（Ｓ１２）とをほぼ同時に行う（撮影工程）。

つまり、まず、自然光の状態で（つまり、発光部２０を発光させない状態で）撮影部１０により撮影（第１撮影）を行い（Ｓ１１）、その直後に、発光部２０を発光させて被写体に向けて光を照射した状態で撮影部１０により撮影（第２撮影）を行う（Ｓ１２）。つまり、第１撮影においては、自然光（第１の光）が照射された被写体を撮影し、第２撮影においては、自然光（第１の光）と発光部２０からの光（第２の光）とが照射された被写体を撮影する。

撮影することにより得られた画像データ（すなわち、撮影部１０から出力された二次元静止画像データ）はＣＰＵ５０が記憶部３０（特に、ＤＲＡＭ）に記憶する。つまり、自然光において撮影することにより得られた画像データ（第１画像データ）と、発光部２０を発光させて撮影することにより得られた画像データ（第２画像データ）とが記憶部３０に記憶される。なお、上記の説明では、第１撮影（自然光における撮影）の後に、第２撮影（発光部２０を発光させた状態における撮影）を行っているが、順序を逆にして、第２撮影（発光部２０を発光させた状態における撮影）の後に、第１撮影（自然光における撮影）を行ってもよい。

なお、第１撮影（自然光における撮影）と、第２撮影（発光部２０を発光させた状態での撮影）との間の時間は、適切なステレオ画像を得るために、なるべく短くし、例えば、１／１００秒〜１／１０００秒程度とする。なお、発光部２０を発光させた状態における撮影の後に、自然光における撮影を行う場合には、発光部２０による光の影響が残存していない状態で、自然光における撮影を行うのが好ましい。

また、第１撮影と第２撮影の撮影条件としては、上記のように発光部２０を発光させるか否かの点以外は同じとし、例えば、シャッター速度、絞り値（Ｆ値）、ＩＳＯ感度等の条件は同じとする。

なお、撮影部１０と撮影部１０と発光部２０の動作を制御するＣＰＵ５０とＣＰＵ５０の動作を制御するプログラムとが、撮影手段に当たる。

その後、第１画像データと第２画像データにおける画素ごとの輝度値の比を算出する（Ｓ１３、輝度値の比算出工程）。例えば、第２画像データの輝度値を第１画像データの輝度値で除算して、輝度値の比の値を算出する。算出されたデータは、記憶部３０に記憶する。なお、輝度値の比の算出に際して、ＣＰＵ５０とＣＰＵ５０の動作を制御するプログラムとが、輝度値の比算出手段に当たる。

その後、算出した輝度値の比のデータに従い、シフト量（移動量としてもよい。他においても同じ）を算出し（Ｓ１４）、算出したシフト量に従い視差画像を作成し（Ｓ１５、視差画像作成工程）、上記の撮影で得られた画像データとともに、ステレオ画像とする。なお、上記の撮影で得られた画像データとしては、第１画像データと第２画像データのいずれとしてもよい。なお、シフト量の算出と視差画像の作成に際して、ＣＰＵ５０とＣＰＵ５０の動作を制御するプログラムとが、視差画像作成手段に当たる。

なお、算出した輝度の比のデータに従いシフト量を算出する意義と具体的な方法は以下のようになる。

すなわち、図４に示すように、自然光における光の強度をIeとし、発光部２０の発光強度をIoとし、発光部２０から被写体までの距離をＺとすると、自然光のみにおいて撮影した場合の画像データにおける各画素の輝度値（輝度の値）は、式（１）に示すようになる。式（１）において、ｆ（ｘ、ｙ）は、画像データ（つまり、二次元画像データ）における各画素を示すものである。

一方、発光部２０を発光させた状態においては、自然光と発光部２０による光とが被写体に照射され、発光部２０からの光の強度は距離の二乗に反比例するので、各画素の輝度値は、式（２）に示すようになる。

そして、式（１）の輝度値と式（２）の輝度値の比の値（Ｆ（ｘ，ｙ））、つまり、式（２）／式（１）は、式（３）に示すようになる。

この式（３）は、Io／IeとＺに依存する関数となり、この式（３）を変形してＺを求めると、式（４）に示すようになる。

つまり、式（４）によれば、各画素における発光部２０からの距離Ｚは、Ie／Ioと（Ｆ（ｘ，ｙ）−１）に依存するが、Ie／Ioは、ある撮影（つまり、ほぼ同時に行った、自然光における撮影と、発光部２０を発光させた状態での撮影）においては、固定値であるので、Ｚの値は、輝度値の比の値（Ｆ（ｘ，ｙ））に依存し、輝度値の比の値（Ｆ（ｘ，ｙ））に対応することになる。

次に、図５に示すように、人間の眼球Ｇから被写体までの距離をＺとし、２つの眼球の間の距離をＤ（例えば、６５ｍｍ）とし、眼球における水晶体から網膜までの距離をＣとし、網膜に投影される視差量をΔｄとすると、図５における大小２つの三角形は相似形であるので、式（５）のようになる。

そこで、式（４）を式（５）に代入すると、Δｄは、式（６）のようになる。なお、図５において、眼球はカメラ５におけるレンズの位置に対応するものとし、その場合には、発光部２０から被写体までの距離とレンズから被写体までの距離は厳密には異なるが、ほぼ等しいものとして、式（４）におけるＺを式（５）におけるＺに代入すると、式（６）に示すようになる。

すると、式（６）において、Ｄの値とＣの値を固定値とし、Io／Ieは上記のように固定値であるので、Δｄは式（７）に比例とするといえる。

つまり、撮影した画像に対する視差画像における水平方向のシフト量は、式（７）に比例する。

ただし、実際のシフト量Saは、式（８）に示すように、ディスプレイの大きさに応じた値Sbと、無限遠の設定位置に応じた値Scを考慮した値となる。ここで、無限遠の設定位置に応じた値Scは、無限遠をディスプレイ画面の位置とする場合には、０となり、無限遠を無限遠の位置とする場合には、２つの眼球の間の距離Ｄとなる。

以上のような理由から、図３のステップＳ１４においては、算出した輝度値の比に応じてシフト量を算出すればよいのである。なお、画像データはデジタルデータであるので、算出したシフト量は、小数点以下を四捨五入等により処理することにより、シフトする画素数の値となる。

具体的なシフトの方法としては、第１画像データと第２画像データのいずれかを原画像として、その原画像に対して、各画素について、算出したシフト量だけ輝度値のデータを左右いずれかの方向にシフトさせる。シフト先の画素において輝度値が重なる場合には、シフト量が大きい画素の輝度値をその画素の輝度値とする。よって、例えば、ある画素のシフト先の画素がシフトしていない場合には、シフトした画素の輝度値により上書きする。また、シフト後に輝度値のない無輝度画素（ブランク画素としてもよい）がある場合には、該画素の最初の輝度値がシフトしたシフト方向とは反対方向に隣接する画素の輝度値をその無輝度画素の輝度値とする。

左方向に移動する場合を例にとって説明すると、図６のＷ１に示すように、各ピクセルＰ２１〜Ｐ２５の輝度値が、Ｙ−Ｐ２１〜Ｙ−Ｐ２５とした場合に、上記のようにシフト量を算出した結果、画素（ピクセル）Ｐ２１については、シフト量が１画素（ピクセル）分で、画素Ｐ２２については、シフト量が２画素分で、画素Ｐ２３については、シフト量が１画素分で、画素Ｐ２４については、シフト量が２画素分で、画素Ｐ２５については、シフト量が１画素分であるとする。

すると、画素Ｐ２４については、輝度値をＹ−Ｐ２５とし、画素Ｐ２５については、輝度値をＹ−Ｐ２６（画素Ｐ２６から移動してきた値）とする。また、画素Ｐ２２については、画素Ｐ２３から移動した輝度値と画素Ｐ２４から移動した輝度値とが重なるが、画素Ｐ２４から移動した輝度値の方がシフト量が大きいので、この画素Ｐ２４の輝度値Ｙ−Ｐ２４を画素Ｐ２２の輝度値とする。

よって、図６のＷ１の状態から上記のように算出したシフト量に従い輝度値の移動を行うことにより、図６のＷ２の状態となる。

また、画素Ｐ２１や画素Ｐ２３については、結果として移動先とならなかった画素であり、いわゆる無輝度画素（無輝度ピクセル）である。この無輝度画素の処理の方法については以下のようになる。

すなわち、各画素の輝度値をシフトさせた後の二次元画像において、無輝度画素が存在する場合には、輝度値の補間を行う（補間工程）。つまり、基本的に、水平方向に隣接する（つまり、左右に隣接する）画素の輝度値をその無輝度ピクセルの輝度値とするが、該画素の輝度値がシフトしたシフト方向とは反対方向に隣接する画素の輝度値をその画素の輝度値とする。

例えば、図６のＷ２の状態においては、画素Ｐ２３は無輝度画素であるが、Ｗ１からＷ２のように輝度値をシフトした際には、画素Ｐ２３の輝度値（最初の輝度値）は左方向にシフトしたので、左方向とは反対方向の右方向に隣接する画素（つまり、画素Ｐ２４）の輝度値（Ｙ−Ｐ２５）を画素Ｐ２３の輝度値とする。

また、同様に、画素Ｐ２１は無輝度画素であるが、Ｗ１からＷ２のように輝度値をシフトした際には、画素Ｐ２１の輝度値は左方向にシフトしたので、左方向とは反対方向の右方向に隣接する画素（つまり、画素Ｐ２２）の輝度値（Ｙ−Ｐ２４）を画素Ｐ２１の輝度値とする。以上のようにして、図６のＷ３に示す状態となる。

なお、無輝度画素が横方向に連続する場合には、シフト方向とは反対方向の画素の輝度値を順次コピーして無輝度画素の輝度値とする。例えば、図６において、Ｗ１からＷ２に移行する際に、画素Ｐ２５が輝度値がシフトせず、Ｗ２において、画素Ｐ２４も無輝度画素になった場合には、画素Ｐ２３と画素Ｐ２４とが連続して無輝度画素となるが、その場合には、まず、画素Ｐ２４について、画素Ｐ２４のシフト方向（左方向）とは反対方向に隣接する画素Ｐ２５の輝度値（Ｙ−Ｐ２６）を画素Ｐ２４の輝度値とし、さらに、画素Ｐ２３については、画素Ｐ２３のシフト方向（左方向）とは反対方向に隣接する画素Ｐ２４の輝度値（Ｙ−Ｐ２６）を画素Ｐ２３の輝度値とする。

以上のようにして、原画像に対する視差画像が作成されるので、視差画像のデータを原画像のデータとともに記憶部３０に記憶しておく。なお、原画像のデータは、上記第１画像データと第２画像データのうち、視差画像を作成するもととなった画像データである。

なお、実際には、原画像は、ＲＧＢの各色（原色）について画素ごとの輝度値のデータにより構成されるので、視差画像についても、ＲＧＢの各色について、上記のシフトを行うことになる。

原画像と視差画像のデータは、出力部４０から出力することにより、他の映像表示装置により原画像と視差画像により構成されるステレオ画像を表示することにより、立体画像を表示させる。例えば、原画像と視差画像のデータをメモリカードに保存させて、そのメモリカードをステレオ画像を表示するソフトウエアを格納したパーソナルコンピュータに装着して表示する。立体画像を視認する者は、例えば、３Ｄメガネを装着して該パーソナルコンピュータに表示された画像を見ることにより、立体画像を見ることができる。

以上のように、本実施例の立体カメラ５によれば、複数のレンズを設ける必要がないので、製造コストを低くするとともに、カメラの大型化を防ぐことができ、さらには、既存のカメラを利用することができる。特に、動作プログラムを記憶する内蔵フラッシュメモリに図３に示す動作を行うプログラムを記憶させ、また、既存のカメラに搭載されたフラッシュ装置を発光部として利用することにより既存のカメラを利用できるので、製造コストを抑えることができる。また、照明光の輝度や撮像利得を時間とともに変化させる必要がないので、立体画像作成のための処理が複雑とならず、これにより装置がの構成が複雑とならず、その点でも製造コストを抑えることができる。同様に、本実施例の立体画像作成方法によれば、複数のレンズを使用する必要がないので、本実施例の立体画像作成方法を行う装置の製造コストを低くするとともに、該装置の大型化を防ぐことができ、さらには、既存のカメラを利用することができる。また、照明光の輝度や撮像利得を時間とともに変化させる必要がないので、立体画像作成のための処理が複雑とならず、その点でも装置の製造コストを抑えることができる。

次に、実施例２の立体カメラ（立体画像作成装置）１０５は、実施例１の立体カメラと略同一の構成であるが、図７、図８に示すように、発光部２０が、第１発光部（発光装置、発光手段）２２と第２発光部（第２発光装置、第２発光手段）２４とを有し、第１発光部２２が、被写体に向けて発光するように、発光する光の光軸（中心軸）がレンズ１４の光軸と略平行な方向となるように設けられ、第２発光部２４が、第１発光部２２の照射方向とは異なる方向、具体的には、被写体に対して斜め上方に発光するように構成されている。つまり、第１発光部２２が照射する光の光軸と第２発光部２４が照射する光の光軸とは方向が異なる。この第２発光部２４を天井や壁等の反射面に向けて発光させることにより、バウンズ光として使用することができる。つまり、自然光が弱い場合に、バウンズ光を自然光の代わりとして撮影を行うのである。

上記以外の構成は、実施例１と同様であるので、詳しい説明を省略するが、記憶部３０に記憶された動作プログラムとしては、図９に示すフローチャートに示す動作を行うためのプログラムが格納されている。

上記構成の立体カメラ１０５の動作、すなわち、立体画像作成方法について、主として図９を使用して説明する。なお、本実施例の立体カメラ１０５は、第２発光部２４からの光を被写体に向けて反射できるように天井や壁が存在する場所で撮影を行うのが好ましい。

レンズを被写体に向けてシャッターボタン１２を押すことにより、図９に示す処理が行われる。

すなわち、まず、シャッターボタン１２を押すことにより、第２発光部２４を発光させた状態での撮影（Ｓ２１）と、第１発光部２２と第２発光部２４とを発光させた状態での撮影（Ｓ２２）とをほぼ同時に行う（撮影工程）。

つまり、まず、第２発光部２４を発光させて被写体に対して斜め上方に光を照射した状態で撮影部１０により撮影（第１撮影）を行い（Ｓ２１）、その直後に、第１発光部２２と第２発光部２４を発光させて、被写体に対して斜め上方に光を照射するとともに被写体に向けて光を照射した状態で撮影部１０により撮影（第２撮影）を行う（Ｓ２２）。なお、第２発光部２４からの光は天井等に反射して被写体に照射される。つまり、第１撮影においては、第２発光部２４からの光（第１の光）が照射された被写体を撮影し、第２撮影においては、第２発光部２４からの光（第１の光）と第１発光部２２からの光（第２の光）とが照射された被写体を撮影する。

撮影することにより得られた画像データ（すなわち、撮影部１０から出力された二次元静止画像データ）はＣＰＵ５０が記憶部３０（特に、ＤＲＡＭ）に記憶する。つまり、第２発光部２４のみを発光させて撮影することにより得られた画像データ（第１画像データ）と、第１発光部２２と第２発光部２４とを発光させて撮影することにより得られた画像データ（第２画像データ）とが記憶装置３０に記憶される。なお、上記の説明では、第１撮影（第２発光部２４のみを発光させた状態における撮影）の後に、第２撮影（第１発光部２２と第２発光部２４を発光させた状態における撮影）を行っているが、順序を逆にして、第２撮影（第１発光部２２と第２発光部２４を発光させた状態における撮影）の後に、第１撮影（第２発光部２４のみを発光させた状態における撮影）を行ってもよい。

なお、第１撮影（第２発光部２４のみを発光させた状態における撮影）と、第２撮影（第１発光部２２と第２発光部２４を発光させた状態における撮影）との間の時間は、適切なステレオ画像を得るために、なるべく短くし、例えば、１／１００秒〜１／１０００秒程度とする。なお、第２撮影の後に第１撮影を行う場合には、第１発光部２２による光の影響が残存していない状態で、第１撮影を行うのが好ましい。

また、第１撮影と第２撮影の撮影条件としては、上記のように第１発光部２２を発光させるか否かの点以外は同じとし、例えば、第２発光部２４の発光強度や発光時間、シャッター速度、絞り値（Ｆ値）、ＩＳＯ感度等の条件は同じとする。

なお、撮影部１０と撮影部１０と第１発光部２２と第２発光部２４の動作を制御するＣＰＵ５０とＣＰＵ５０の動作を制御するプログラムとが、撮影手段に当たる。

その後の工程は上記実施例１と同様となる。すなわち、第１画像データと第２画像データにおける画素ごとの輝度の比を算出する（Ｓ２３、輝度値の比算出工程）。算出されたデータは、記憶部３０に記憶する。なお、輝度値の比の算出に際して、ＣＰＵ５０とＣＰＵ５０の動作を制御するプログラムとが、輝度値の比算出手段に当たる。

その後、算出した輝度の比のデータに従い、シフト量（移動量としてもよい。他においても同じ）を算出し（Ｓ２４）、算出したシフト量に従い視差画像を作成し（Ｓ２５、視差画像作成工程）、上記の撮影で得られた画像データ（原画像のデータ）とともに、ステレオ画像とする。なお、上記の撮影で得られた画像データとしては、第１画像データと第２画像データのいずれとしてもよい。なお、シフト量の算出と視差画像の作成に際して、ＣＰＵ５０とＣＰＵ５０の動作を制御するプログラムとが、視差画像作成手段に当たる。具体的なシフトの方法は上記実施例１と同様であるので、詳しい説明を省略する。

原画像と視差画像のデータは、実施例１と同様に、出力部４０から出力することにより、他の映像表示装置により原画像と視差画像により構成されるステレオ画像を表示することにより、立体画像を表示させる。例えば、原画像と視差画像のデータをメモリカードに保存させて、そのメモリカードをステレオ画像を表示するソフトウエアを格納したパーソナルコンピュータに装着して表示る。立体画像を視認する者は、例えば、３Ｄメガネを装着して該パーソナルコンピュータに表示された画像を見ることにより、立体画像を見ることができる。

以上のように、本実施例の立体カメラ１０５によれば、複数のレンズを設ける必要がないので、製造コストを低くするとともに、カメラの大型化を防ぐことができ、さらには、既存のカメラを利用することができる。特に、動作プログラムを記憶する内蔵フラッシュメモリに図９に示す動作を行うプログラムを記憶させることにより既存のカメラを利用できるので、製造コストを抑えることができる。また、照明光の輝度や撮像利得を時間とともに変化させる必要がないので、立体画像作成のための処理が複雑とならず、これにより装置の構成が複雑とならず、その点でも製造コストを抑えることができる。同様に、本実施例の立体画像作成方法によれば、複数のレンズを使用する必要がないので、本実施例の立体画像作成方法を行う装置の製造コストを低くするとともに、該装置の大型化を防ぐことができ、さらには、既存のカメラを利用することができる。また、照明光の輝度や撮像利得を時間とともに変化させる必要がないので、立体画像作成のための処理が複雑とならず、その点でも装置の製造コストを抑えることができる。

なお、発光部２０としては、第１発光部２２と第２発光部２４を有する発光装置を既存のカメラに外付けするようにしてもよく、また、第１発光部２２を既存のカメラに搭載されたフラッシュ装置とし、第２発光部２４を有する発光装置を別途外付けするようにしてもよい。

また、第２発光部２４によりバウンズ光を利用して撮影を行うので、自然光が弱い場合でも撮影を行うことができる。

次に、実施例３の立体カメラ（立体画像作成装置）２０５は、実施例２の立体カメラと略同一の構成であるが、図１０のフローチャートに示すように、シャッターボタン１２を押すことにより、撮影部１０におけるフレーム画像の輝度値を検出し、検出した輝度値に応じて、異なる撮影モードにより撮影を行う。なお、実施例２の場合と同様に、第１発光部２２が、被写体に向けて発光するように、発光する光の光軸（中心軸）がレンズ１４の光軸と略平行な方向となるように設けられ、第２発光部２４が、第１発光部２２の照射方向とは異なる方向、具体的には、被写体に対して斜め上方に発光するように構成されている。この第２発光部２４を天井や壁等の反射面に向けて発光させることにより、バウンズ光として使用することができる。つまり、自然光が弱い場合に、バウンズ光を自然光の代わりとして撮影を行うのである。

上記以外の構成は、実施例２と同様であるので、詳しい説明を省略するが、記憶部３０に記憶された動作プログラムとしては、図１０に示すフローチャートに示す動作を行うためのプログラムが格納されている。

上記構成の立体カメラ２０５の動作、すなわち、立体画像作成方法について、主として図１０を使用して説明する。なお、以下に説明するように、本実施例においては、撮影対象の被写体の画像全体の輝度値を測定して、動作モードを切り換えるので、自然光の強度に関係なく使用することが可能となる。なお、測定された輝度値（撮影対象の被写体の画像全体の輝度値）によっては、第２モードの撮影（つまり、第２発光部２４を発光させた撮影）になるので、自然光の強度が弱いと思われる場合には、第２発光部２４からの光を被写体に向けて反射できるように天井や壁が存在する場所で撮影を行うのが好ましい。

レンズを被写体に向けてシャッターボタン１２が押された場合には、図１０に示す処理が行われる。

すなわち、撮影部１０におけるレンズから撮像素子に受光される画像全体の輝度値を測定する（Ｓ３１）。つまり、フレーム画像全体における輝度値を測定することにより、撮影対象の被写体の画像全体の輝度値を検出する。そして、測定した輝度値と予め定められた輝度値とを比較し、測定した輝度値が該しきい値以上であるか否かを判定する（Ｓ３２、比較工程（判定工程））。

そして、輝度値がしきい値以上である場合には、第１撮影モードとしてステップＳ３３〜ステップＳ３４に移行し、輝度値がしきい値未満の場合には、第２撮影モードとしてステップＳ３５〜Ｓ３６に移行する（撮影工程）。

すなわち、第１撮影モードにおいては、自然光における撮影（Ｓ３３）と、第１発光部２２を発光させた状態での撮影（Ｓ３４）とをほぼ同時に行い、第１撮影モードにおけるステップＳ３３の動作は、実施例１におけるステップＳ１１の動作と同様であり、ステップＳ３４の動作は、発光部２０の代わりに第１発光部２２を発光させる点以外は実施例１におけるステップＳ１２の動作と同様であるので、詳しい説明を省略する。なお、この第１撮影モードにおいては、ステップＳ３３における撮影が第１撮影となり、ステップＳ３４における撮影が第２撮影となる。なお、この第１撮影モードにおける第１撮影と第２撮影の撮影条件としては、上記のように第１発光部２２を発光させるか否かの点以外は同じとし、例えば、シャッター速度、絞り値（Ｆ値）、ＩＳＯ感度等の条件は同じとする。

また、第２撮影モードにおいては、第２発光部２４を発光させた状態での撮影（Ｓ３５）と、第１発光部２２と第２発光部２４とを発光させた状態での撮影（Ｓ３６）とをほぼ同時に行い、第２撮影モードにおけるステップＳ３５の動作は、実施例２におけるステップＳ２１の動作と同様であり、ステップＳ３６の動作は、実施例２におけるステップＳ２２の動作と同様であるので、詳しい説明を省略する。第２発光部２４からの光は天井等に反射して被写体に照射される。なお、この第２撮影モードにおいては、ステップＳ３５における撮影が第１撮影となり、ステップＳ３６における撮影が第２撮影となる。なお、この第２撮影モードにおける第１撮影と第２撮影の撮影条件としては、上記のように第１発光部２２を発光させるか否かの点以外は同じとし、例えば、第２発光部２４の発光強度、シャッター速度、絞り値（Ｆ値）、ＩＳＯ感度等の条件は同じとする。

撮影することにより得られた画像データ（すなわち、撮影部１０から出力された画像データ）はＣＰＵ５０が記憶部３０（特に、ＤＲＡＭ）に記憶する。

つまり、第１撮影モードと第２撮影モードのいずれの場合も、第１撮影により得られた画像データ（第１画像データ）と、第２撮影により得られた画像データ（第２画像データ）とが記憶部３０に記憶される。なお、上記の説明では、第１撮影モードと第２撮影モードのいずれの場合も、第１撮影の後に第２撮影を行っているが、順序を逆にして、第２撮影の後に第１撮影を行ってもよい。

なお、第１撮影モードと第２撮影モードのいずれの場合も、第１撮影と、第２撮影との間の時間は、適切なステレオ画像を得るために、なるべく短くし、例えば、１／１００秒〜１／１０００秒程度とする。なお、第２撮影の後に第１撮影を行う場合には、第１発光部２２による光の影響が残存していない状態で、第１撮影を行うのが好ましい。

なお、第１撮影モードと第２撮影モードにおいて、撮影部１０と撮影部１０と第１発光部２２と第２発光部２４の動作を制御するＣＰＵ５０とＣＰＵ５０の動作を制御するプログラムとが、撮影手段に当たる。

以下の工程は上記実施例１と同様となる。すなわち、第１画像データと第２画像データにおける画素ごとの輝度の比を算出する（Ｓ３７、輝度値の比算出工程）。算出されたデータは、記憶部３０に記憶する。

その後、算出した輝度の比のデータに従い、シフト量（移動量としてもよい。他においても同じ）を算出し（Ｓ３８）、算出したシフト量に従い視差画像を作成し（Ｓ３９、視差画像作成工程）、上記の撮影で得られた画像データ（原画像のデータ）とともに、ステレオ画像とする。なお、上記の撮影で得られた画像データとしては、第１画像データと第２画像データのいずれとしてもよい。具体的なシフトの方法は上記実施例１と同様であるので、詳しい説明を省略する。

原画像と視差画像のデータは、実施例１と同様に、出力部４０から出力することにより、他の映像表示装置により原画像と視差画像により構成されるステレオ画像を表示することにより、立体画像を表示させる。例えば、原画像と視差画像のデータをメモリカードに保存させて、そのメモリカードをステレオ画像を表示するソフトウエアを格納したパーソナルコンピュータに装着して表示するる。立体画像を視認する者は、例えば、３Ｄメガネを装着して該パーソナルコンピュータに表示された画像を見ることにより、立体画像を見ることができる。

以上のように、本実施例の立体カメラ２０５によれば、複数のレンズを設ける必要がないので、製造コストを低くするとともに、カメラの大型化を防ぐことができ、さらには、既存のカメラを利用することができる。特に、動作プログラムを記憶する内蔵フラッシュメモリに図１０に示す動作を行うプログラムを記憶させることにより既存のカメラを利用できるので、製造コストを抑えることができる。また、照明光の輝度や撮像利得を時間とともに変化させる必要がないので、立体画像作成のための処理が複雑とならず、これにより装置の構成が複雑とならず、その点でも製造コストを抑えることができる。同様に、本実施例の立体画像作成方法によれば、複数のレンズを使用する必要がないので、本実施例の立体画像作成方法を行う装置の製造コストを低くするとともに、該装置の大型化を防ぐことができ、さらには、既存のカメラを利用することができる。また、照明光の輝度や撮像利得を時間とともに変化させる必要がないので、立体画像作成のための処理が複雑とならず、その点でも装置の製造コストを抑えることができる。

なお、発光部２０としては、第１発光部２２と第２発光部２４を有する発光装置を既存のカメラに外付けするようにしてもよく、また、第１発光部２２を既存のカメラに搭載されたフラッシュ装置とし、第２発光部２４を有する発光装置を別途外付けするようにしてもよい。

また、撮影対象の被写体の画像全体の輝度値を予め測定して、動作モードを切り換えるので、自然光の強度に関係なく使用することが可能となる。

なお、立体カメラ５、１０５、２０５がオートフォーカス機能を有する場合（つまり、オートフォーカス装置を有する場合）には、被写体におけるある位置とカメラとの間の距離を測定できるが、測定した距離のデータを式（４）に代入することにより、被写体における距離を測定した位置に対応する画素について、Io／Ieの値が求められることになる。すると、該画素以外の画素についてもIo／Ieの値は同じであるので、結果として、式（４）により各画素についてカメラと被写体間の距離を算出することができる。オートフォーカス機能としては、アクティブ式とバッシブ式のいずれでもよい。よって、この算出された距離データにより奥行き情報の精度を高めることができ、該算出された距離データを用いて立体画像の表示に使用することができる。例えば、各画素についての距離データがあるので、ある画像について視点位置をずらした場合の画像を表示することも可能となる。

また、上記各実施例の説明においては、二次元静止画像としての原画像に対する視差画像を作成し、二次元静止画像を立体的に表示させるものとして説明したが、上記第１撮影と第２撮影とを交互に繰り返し行なって、原画像を連続して取得するとともに、各原画像に対する視差画像を作成することにより、原画像と視差画像とからなるステレオ画像を連続して表示することにより動画を表示することができるようにしてもよい。

なお、上記各実施例において、被写体が金属面やガラス面のように鏡面反射を生じる場合には、発光部２０や第１発光部２２や第２発光部２４からの発光が反射してハレーションが発生して、光の像の領域が撮影される場合がある。特に、実施例１において発光部２０により被写体に向けて光を直接照射して撮影する第２撮影（Ｓ１２）の場合や、実施例２や実施例３において第１発光部２２により被写体に向けて光を直接照射して撮影する第２撮影（Ｓ２２、Ｓ３４、Ｓ３６）の場合に、ハレーションを起こしやすい。このような場合には、上記各実施例において、第１撮影と第２撮影における輝度値の差が極端に異なることになるので、ハレーションが発生した画素を判別可能であり、その画素のシフト量は、ハレーションが発生した画素の領域を除いた周囲の領域の画素のシフト量をその画素のシフト量としてノーマライズするのが好ましい。

すなわち、第１画像データと第２画像データにおける画素ごとに輝度値の比（第２画像の輝度値を第１画像の輝度値で除算した値）を算出し（Ｓ１３、Ｓ２３、Ｓ３７）、該輝度値の比が予め設定された範囲を超える場合には、その画素をハレーションが発生した画素とする。つまり、該輝度値の比が予め設定されたしきい値よりも大きい場合には、その画素をハレーションが発生した画素とする。つまり、ハレーションが発生している画素については、第２画像の輝度値が第１画像の輝度値よりも極めて大きくなるので、輝度値の比がしきい値よりも大きい画素をハレーションが発生した画素とする。

なお、第１画像データの輝度値と第２画像データの輝度値の差を各画素ごとに算出し、しきい値の差が予め設定された範囲を超える場合、つまり、予め設定されたしきい値よりも大きい場合に、その画素がハレーションが発生した画素としてもよい。

そして、ハレーションが発生した画素については、その画素の周囲の画素（例えば、その画素からの距離が最も近い画素）でハレーションが発生していない画素（つまり、輝度値の比がしきい値以下の画素）のシフト量をその画素のシフト量として、視差画像を作成する。なお、その画素からの距離が最も近い画素でハレーションが発生していない画素が複数ある場合には、そのいずれかの画素のシフト量とするか、又は、複数の画素のシフト量の平均値のシフト量とする。

５、１０５、２０５ 立体カメラ
１０ 撮影部
１２ シャッターボタン
１４ レンズ
２０ 発光部
２２ 第１発光部
２４ 第２発光部
３０ 記憶部
４０ 出力部
５０ ＣＰＵ

Claims (10)

1. 被写体を撮影して立体画像を作成する立体画像作成装置であって、
   被写体に対して光を照射する発光装置と、
   被写体を撮影して画像データを取得する撮影装置と、
   被写体におけるある位置と立体画像作成装置の間の距離を測定する測定装置と、
   第１の光が照射された被写体を撮影する第１撮影を行うとともに、第１撮影の前又は後に行う第２撮影であって、該発光装置から第２の光としての光を照射させて第１の光と第２の光とが照射された被写体を撮影する第２撮影を行うように、撮影装置及び発光装置の動作を制御するとともに、第１撮影により取得された二次元画像としての第１画像データと第２撮影により取得された二次元画像としての第２画像データとにおける画素ごとの輝度値の比を算出し、算出された輝度値の比に応じてシフト量を算出し、算出したシフト量に従い視差画像を作成するとともに、第１の光の強度をIeとし、第２の光の強度をIoとし、発光装置から被写体までの距離をＺとし、各画素の輝度値の比をＦ（ｘ，ｙ）とした場合に、測定装置により測定した距離を式（Ａ）のＺに代入することよりIe／Ioを算出し、算出されたIe／Ioを入れた状態の式（Ａ）に従い、被写体における上記で距離をすでに測定した画素以外の各画素と発光装置の間の距離を算出する制御装置と、
   を有することを特徴とする立体画像作成装置。
   

   
2. 第１の光が自然光であり、第１撮影及び第２撮影において、自然光を第１の光として撮影を行うことを特徴とする請求項１に記載の立体画像作成装置。
3. 立体画像作成装置が、上記発光装置の光の照射方向とは異なる方向に光を照射する第２発光装置を有し、
   第１撮影及び第２撮影において、制御装置が第２発光装置から第１の光としての光を照射させ、第２発光装置が照射した光が被写体の周囲の反射面に反射することにより被写体に照射された光を第１の光として撮影を行うことを特徴とする請求項１に記載の立体画像作成装置。
4. 立体画像作成装置が、上記発光装置の光の照射方向とは異なる方向に光を照射する第２発光装置を有し、
   制御装置が、第１撮影及び第２撮影の前に撮影対象の被写体を撮影するように撮影装置の動作を制御し、撮影対象の被写体の画像全体の輝度値を測定し、予め定められたしきい値と比較し、
   測定した輝度値が該しきい値以上である場合には、第１撮影及び第２撮影において、自然光を第１の光として撮影を行い、一方、測定した輝度値が該しきい値未満である場合には、制御装置が第２発光装置から第１の光としての光を照射させ、第２発光装置が照射した光が被写体の周囲の反射面に反射することにより被写体に照射された光を第１の光として撮影を行うことを特徴とする請求項１に記載の立体画像作成装置。
5. 視差画像の作成に際して、第１画像データと第２画像データのいずれかを原画像とし、該原画像に対して、算出されたシフト量に従い左右のいずれかの方向に輝度値をシフトさせ、シフト先の画素において輝度値が重なる場合には、シフト量が大きい画素の輝度値をその画素の輝度値とし、シフト後に輝度値のない無輝度画素がある場合には、該無輝度画素の最初の輝度値がシフトしたシフト方向とは反対方向に隣接する画素の輝度値をその無輝度画素の輝度値とすることを特徴とする請求項１又は２又は３又は４に記載の立体画像作成装置。
6. 被写体を撮影して立体画像を作成する立体画像作成装置であって、
   被写体に対して光を照射する発光手段と、
   第１の光が照射された被写体を撮影する第１撮影を行うとともに、第１撮影の前又は後に行う第２撮影であって、発光手段から第２の光としての光を照射させて第１の光と第２の光とが照射された被写体を撮影する第２撮影を行う撮影手段と、
   第１撮影により取得された二次元画像としての第１画像データと第２撮影により取得された二次元画像としての第２画像データとにおける画素ごとの輝度値の比を算出する輝度値の比算出手段と、
   算出された輝度値の比に応じてシフト量を算出し、算出したシフト量に従い視差画像を作成する視差画像作成手段と、
   被写体におけるある位置と立体画像作成装置の間の距離を測定する測定手段と、
   第１の光の強度をIeとし、第２の光の強度をIoとし、発光装置から被写体までの距離をＺとし、各画素の輝度値の比をＦ（ｘ，ｙ）とした場合に、測定手段により測定した距離を式（Ｂ）のＺに代入することよりIe／Ioを算出し、算出されたIe／Ioを入れた状態の式（Ｂ）に従い、被写体における上記で距離をすでに測定した画素以外の各画素と発光装置の間の距離を算出する距離算出手段と、
   を有することを特徴とする立体画像作成装置。
   

   
7. 被写体を撮影して画像データを取得する撮影装置と被写体に対して光を照射する発光装置と被写体におけるある位置と立体画像作成装置の間の距離を測定する測定装置とを有する立体画像作成装置により被写体を撮影して立体画像を作成する立体画像作成方法であって、
   第１の光が照射された被写体を撮影する第１撮影を行うとともに、第１撮影の前又は後に行う第２撮影であって、発光装置から第２の光としての光を照射させて第１の光と第２の光とが照射された被写体を撮影する第２撮影を行う撮影工程と、
   第１撮影により取得された二次元画像としての第１画像データと第２撮影により取得された二次元画像としての第２画像データとにおける画素ごとの輝度値の比を算出する輝度値の比算出工程と、
   算出された輝度値の比に応じてシフト量を算出し、算出したシフト量に従い視差画像を作成する視差画像作成工程と、
   該測定装置により被写体におけるある位置と立体画像作成装置の間の距離を測定する測定工程と、
   第１の光の強度をIeとし、第２の光の強度をIoとし、発光装置から被写体までの距離をＺとし、各画素の輝度値の比をＦ（ｘ，ｙ）とした場合に、測定工程において測定した距離を式（Ｃ）のＺに代入することよりIe／Ioを算出し、算出されたIe／Ioを入れた状態の式（Ｃ）に従い、被写体における上記で距離をすでに測定した画素以外の各画素と発光装置の間の距離を算出する距離算出工程と、
   を有することを特徴とする立体画像作成方法。
   

   
8. 第１の光が自然光であり、第１撮影及び第２撮影において、自然光を第１の光として撮影を行うことを特徴とする請求項７に記載の立体画像作成方法。
9. 立体画像作成装置が、上記発光装置の光の照射方向とは異なる方向に光を照射する第２発光装置を有し、
   第１撮影及び第２撮影において、第２発光装置から第１の光としての光を照射させ、第２発光装置が照射した光が被写体の周囲の反射面に反射することにより被写体に照射された光を第１の光として撮影を行うことを特徴とする請求項７に記載の立体画像作成方法。
10. 立体画像作成装置が、上記発光装置の光の照射方向とは異なる方向に光を照射する第２発光装置を有し、
    撮影工程の前に設けられた比較工程であって、撮影対象の被写体の画像全体の輝度値を測定し、予め定められたしきい値と比較する比較工程を有し、
    上記撮影工程において、測定した輝度値が該しきい値以上である場合には、第１撮影及び第２撮影において、自然光を第１の光として撮影を行い、一方、測定した輝度値が該しきい値未満である場合には、第２発光装置から第１の光としての光を照射させ、第２発光装置が照射した光が被写体の周囲の反射面に反射することにより被写体に照射された光を第１の光として撮影を行うことを特徴とする請求項７に記載の立体画像作成方法。

Images