JP4791595B2 - 画像撮影装置、画像撮影方法および画像撮影プログラム - Google Patents

Description

この発明は、被写体までの距離を算出する際に基準となる校正画像を予め撮影しておき、単眼のカメラにより前記被写体を撮影する場合に、カメラのレンズから校正画像までの距離と当該校正画像とに基づいて、前記カメラのレンズから被写体までの距離を算出する画像撮影装置、画像撮影方法および画像撮影プログラムに関する。

従来より、単眼カメラにより任意の被写体を撮影して、被写体までの距離を測定し、当該被写体の距離画像を生成する様々な技術がある。そして、この距離画像を利用した技術としては、例えば、車両運転時の運転手（被写体）の距離画像に基づいて、運転姿勢に異常があることを検知して警告を出したり、手話の認識などにおいて手指の曲げ具合を検知して動作したりするようなユーザインタフェースなどがある。

また、被写体までの距離を測定する技術として、特許文献１に係る画像入力装置は、単眼カメラと被写体に向けた照明とを利用して、被写体から反射した反射光の強度から距離を測定している。具体的に説明すると、特許文献１に係る画像入力装置は、被写体に対して光を照射しつつ第一の画像を撮像する。そして、画像入力装置は、光を照射せずに第二の画像を撮像する。続いて、画像入力装置は、第一の画像と第二の画像との反射光強度の差分（距離差）に基づいて、被写体に照射した反射光の強度分布を表す画像であり、被写体の奥行き情報（距離情報）を含んだ第三の画像を出力する。

特開２００４−３２８６５７号公報

しかしながら、上記した従来の技術では、被写体までの正確な距離を計測することができないという課題があった。

具体的に説明すると、一般的に画像までの距離を測定するためには被写体の拡散反射係数が必要であるが、特許文献１は、被写体の拡散反射係数を算出する手法が開示されていないので、当該被写体の拡散反射係数が既知のものでなければならない。つまり、特許文献１は、拡散反射係数が未知である被写体に対して適用することができないので、形状差のある被写体などに対して正確な距離を計測することができない。

そこで、この発明は、上記した従来技術の課題を解決するためになされたものであり、拡散反射係数が未知である被写体を撮影する場合でも、正確な距離を計測することが可能である画像撮影装置、画像撮影方法および画像撮影プログラムを提供することを目的とする。

上述した課題を解決し、目的を達成するため、本願の開示する画像撮影装置は、被写体までの距離を算出する際に基準となる校正画像を予め撮影しておき、単眼のカメラにより前記被写体を撮影する場合に、前記カメラのレンズから前記校正画像までの距離と当該校正画像とに基づいて、前記カメラのレンズから被写体までの距離を算出する画像撮影装置であって、前記カメラのレンズから前記被写体の任意の１個以上の点までの距離を測定する距離測定手段と、前記カメラのレンズから前記校正画像までの距離と、当該校正画像の輝度と、前記距離測定手段によって測定された被写体の任意の１個以上の点までの距離と、当該任意の１個以上の点それぞれに対して拡散光を照射して得られた前記被写体から反射される光の強度を示す反射光強度に応じて画素値から推定される明るさの強度を示す輝度とに基づいて、前記被写体の拡散反射係数を算出する拡散反射係数算出手段と、前記カメラのレンズから前記校正画像までの距離と、当該校正画像の輝度と、前記拡散反射係数算出手段によって算出された被写体の拡散反射係数と、当該被写体の輝度とに基づいて、前記カメラのレンズから前記被写体までの距離を算出する距離算出手段と、を備えたことを要件とする。

本願の開示する画像処理装置によれば、カメラのレンズから均質な被写体までの距離計測において、当該被写体画像上の１個以上の点についての距離を測定し、測定された被写体画像上の１個以上の点に基づいて、被写体上の各点（全点）についての距離を算出することができる結果、拡散反射係数が未知である被写体を撮影する場合でも、正確な距離を計測することができるという効果を奏する。

図１は、実施例１に係る画像撮影装置の概要および特徴を示す図である。 図２は、実施例１に係る画像撮影装置の構成を示すブロック図である。 図３は、実施例１に係るスポット光源を用いた測距原理を示す図である。 図４は、実施例１に係る被写体の拡散反射係数の算出を説明するための図である。 図５は、実施例１に係る被写体までの距離の算出を説明するための図である。 図６は、距離データによって色分けされたカラールックアップテーブルの例を示す図である。 図７は、距離データを三次元プロットした距離画像の例を示す図である。 図８は、実施例１に係る画像撮影装置による処理を示すフローチャートである。 図９は、実施例１に係るキャリブレーション部による処理を示すフローチャートである。 図１０は、実施例１に係る反射係数推定部による処理を示すフローチャートである。 図１１は、実施例１に係る距離推定部による処理を示すフローチャートである。 図１２は、画像撮影プログラムを実行するコンピュータを示す図である。

符号の説明

１０ 画像撮影装置
１１ カメラ
１２ 近赤外線光源
１３ スポット光源
１４ 距離画像表示部
１５ ＵＩ処理部
２０ 記憶部
２１ キャリブレーションデータ格納部
３０ 制御部
３１ 照明制御部
３２ キャリブレーション部
３３ 反射係数推定部
３４ 距離推定部
３５ 姿勢指示部
３６ 距離画像生成部

以下に添付図面を参照して、この発明に係る画像撮影装置の実施例を詳細に説明する。なお、以下では、実施例１に係る画像撮影装置の概要および特徴、画像撮影装置の構成および処理の流れを順に説明し、最後に本実施例による効果を説明する。

［画像撮影装置の概要および特徴］
次に、実施例１に係る画像撮影装置の概要および特徴を説明する。図１は、実施例１に係る画像撮影装置の概要および特徴を示す図である。

この画像撮影装置は、可視光を照射するスポット光源と不可視光を照射する近赤外線光源とを用いて被写体を撮影する装置である。そして、画像撮影装置は、単眼のカメラにより被写体を撮影する際に基準となる校正画像（キャリブレーション画像）を予め撮影しておき、カメラのレンズから撮影された被写体までの距離を算出し、距離を画像に変換した被写体の距離画像を生成してユーザに提示する。

なお、以下の説明では、カメラのレンズからキャリブレート平面までの距離を「Ｚ_Ｃ」、キャリブレート平面の拡散反射係数を「ｒ_Ｃ」、キャリブレート平面の任意の点の画素値から推定される明るさの強度を示す輝度を「Ｅ_Ｃ」とする。また、カメラのレンズから被写体の任意の点までの距離を「Ｚ_Ｓ」、被写体の拡散反射係数を「ｒ_Ｆ」、被写体の任意の点の画素値から推定される明るさの強度を示す輝度を「Ｅ_Ｓ」とする。また、カメラのレンズから被写体の任意の点であり、上記した距離「Ｚ_Ｓ」の点とは異なる各点までの距離を「Ｚ_Ｆ」、被写体の任意の点であり、距離「Ｚ_Ｆ」の各点の画素値から推定される明るさの強度を示す輝度を「Ｅ_Ｆ」とする。

このような構成において、画像撮影装置は、被写体までの距離を算出する際に基準となる校正画像を予め撮影しておき、単眼のカメラにより被写体を撮影する場合に、カメラのレンズから校正画像までの距離と当該校正画像とに基づいて、カメラのレンズから被写体までの距離を算出することを概要とし、特に、被写体の距離画像を生成する際に、拡散反射係数が未知である被写体を撮影する場合でも、正確な距離を計測することが可能である点を主たる特徴とする。

この主たる特徴について説明すると、画像撮影装置は、被写体までの距離を算出する際に基準となる校正画像を予め撮影しておき、撮影された校正画像から得られる光の強度を示す反射光強度に応じた画素値から推定される明るさの強度を示す輝度と、カメラのレンズから当該校正画像までの距離とを所定の記憶部に格納する（図１の（１）参照）。

具体的に例を挙げると、画像撮影装置は、任意の被写体までの距離を算出する際に、基準となる校正画像であるキャリブレーション画像（キャリブレート平面）を、近赤外線光源を用いて予め撮影する。この時、カメラのレンズから撮影されるキャリブレート平面までの距離は、所定の距離「Ｚ_Ｃ」（１０ｃｍなど）に決定しておき、キャリブレート平面は、カメラの光軸に垂直に設置して撮影される。

そして、画像撮影装置は、予め撮影されたキャリブレート平面から得られる反射される光の強度を示す反射光強度に応じた画素値から推定される明るさの強度を示す輝度「Ｅ_Ｃ」と、カメラのレンズから当該キャリブレート平面までの距離「Ｚ_Ｃ」とを所定の記憶部に格納する。なお、撮影されるキャリブレート平面の拡散反射係数「ｒ_Ｃ」は、既知のものであっても未知のものであってもよい。

そして、画像撮影装置は、カメラのレンズから被写体の任意の１個以上の点までの距離を測定し、カメラのレンズから校正画像までの距離と、当該校正画像の輝度と、測定された被写体の任意の１個以上の点までの距離と、当該任意の１個以上の点それぞれに対して拡散光を照射して得られた被写体から反射される光の強度を示す反射光強度に応じて画素値から推定される明るさの強度を示す輝度とに基づいて、被写体の拡散反射係数を算出する（図１の（２）参照）。

上記した例で具体的に説明すると、画像撮影装置は、スポット光源を用いて被写体の任意の１個以上の点までの距離「Ｚ_Ｓ」を三角法によって測定する。そして、画像撮影装置は、スポット光源を用いて測定された被写体の任意の１個以上の点について、近赤外線光源を用いて被写体から反射される光の強度を示す反射光強度を取得する。

続いて、画像撮影装置は、取得された反射光強度に応じた画素値から推定される明るさの強度を示す輝度「Ｅ_Ｓ」と、測定された距離「Ｚ_Ｓ」と、所定の記憶部に格納されたカメラのレンズからキャリブレート平面までの距離「Ｚ_Ｃ」と、所定の記憶部に格納されたキャリブレート平面の輝度「Ｅ_Ｃ」とに基づいて、被写体の拡散反射係数「ｒ_Ｆ」を算出する。また、被写体の拡散反射係数「ｒ_Ｆ」については、キャリブレート平面の拡散反射係数「ｒ_Ｃ」が未知である場合に、「ｒ_Ｆ／ｒ_Ｃ」として算出される。

続いて、画像撮影装置は、カメラのレンズから校正画像までの距離と、当該校正画像の輝度と、算出された被写体の拡散反射係数と、当該被写体の輝度とに基づいて、カメラのレンズから被写体までの距離を算出する（図１の（３）参照）。

上記した例で具体的に説明すると、画像撮影装置は、近赤外線光源を用いて被写体の近赤外線画像を撮影する。そして、画像撮影装置は、撮影された近赤外線画像から得られる反射光強度に応じた画素値から推定される明るさの強度を示す輝度「Ｅ_Ｆ」と、算出された被写体の拡散反射係数「ｒ_Ｆ」または「ｒ_Ｆ／ｒ_Ｃ」と、キャリブレート平面の輝度「Ｅ_Ｃ」と、カメラのレンズからキャリブレート平面までの距離「Ｚ_Ｃ」とに基づいて、カメラのレンズから撮影された被写体を含む近赤外線画像中の各点の距離「Ｚ_Ｆ」を算出する。なお、各点の距離が算出される被写体を含む近赤外線画像は、図１の（２）において撮影された画像を利用しても良いし、形状差のないもの（均質な被写体）、つまり、拡散反射係数が同一の計測対象であれば何であっても良い。

その後、画像撮影装置は、算出された近赤外線画像中の各点の距離を画像に変換した距離画像を生成して所定の表示部において表示する。上記した例で具体的に説明すると、画像撮影装置は、算出された近赤外線画像中の各点の距離を画像に変換した距離画像を生成する。そして、画像撮影装置は、生成された距離画像を所定の表示部において表示する。なお、表示される距離画像の種類は、距離値データによって色分けされたカラールックアップテーブルや距離値データを三次元プロットしたものなどがある。

このように、画像撮影装置は、カメラのレンズから均質な被写体までの距離計測において、当該被写体画像上の１個以上の点についての距離を測定し、測定された被写体画像上の１個以上の点に基づいて、被写体上の各点（全点）についての距離を算出することができる結果、拡散反射係数が未知である被写体を撮影する場合でも、正確な距離を計測することが可能である。

［画像撮影装置の構成］
次に、図２を用いて、実施例１に係る画像撮影装置の構成を説明する。図２は、実施例１に係る画像撮影装置の構成を示すブロック図である。図２に示すように、画像撮影装置１０は、カメラ１１と、近赤外線光源１２と、スポット光源１３と、距離画像表示部１４と、ＵＩ（ユーザインタフェース）処理部１５と、記憶部２０と、制御部３０とを有し、撮影される被写体までの距離を算出して、算出された距離を画像に変換した被写体の距離画像を生成してユーザに提示する。

カメラ１１は、近赤外線光を撮影可能な撮像素子と光学系（後述する近赤外線光源１２やスポット光源１３など）とを有し、任意の被写体を撮影する際に利用するレンズなどを備える。

近赤外線光源１２は、近赤外線ＬＥＤなどの近赤外線光を放射する発光素子を有し、カメラ１１によって撮影される被写体に照明を照射する。また、スポット光源１３は、近赤外線ＬＥＤなどの近赤外線光を放射する発光素子を有し、カメラ１１によって被写体の撮影や被写体までの距離計測がなされる場合に、スポット光を照射する。

距離画像表示部１４は、後述する距離画像生成部３６によって生成された距離画像を表示する。また、ＵＩ処理部１５は、制御部３０による処理の後に、近赤外線光源１２とカメラ１１によって撮影された被写体や距離画像などに基づいて、画像撮影装置１０に接続される外部インタフェースに対して信号を出力する。

記憶部２０は、制御部３０による各種処理に必要なデータや、制御部３０による各種処理結果を記憶するとともに、特に本発明に密接に関連するものとしては、キャリブレーションデータ格納部２１を備える。

キャリブレーションデータ格納部２１は、後述するキャリブレーション部３２によって撮影された校正画像から得られる光の強度を示す反射光強度に応じた画素値から推定される明るさの強度を示す輝度や、カメラのレンズから当該校正画像までの距離などの校正画像における情報を記憶する。

制御部３０は、制御プログラム、各種の処理手順などを想定したプログラムおよび所要データを格納するための内部メモリを有するとともに、特に本発明に密接に関連するものとしては、照明制御部３１と、キャリブレーション部３２と、反射係数推定部３３と、距離推定部３４と、姿勢指示部３５と、距離画像生成部３６とを備え、これらによって種々の処理を実行する。

照明制御部３１は、画像撮影装置１０の状態に応じて近赤外線光源１２とスポット光源１３との点灯を切り替えたり、当該近赤外線光源１２とスポット光源１３とを消灯したりするなどの光源の制御を行なう。例えば、照明制御部３１は、画像撮影装置１０によって近赤外線画像が撮影される場合に近赤外線光源１２を点灯し、画像撮影装置１０によって任意の被写体までの距離が測定される場合にスポット光源１２を点灯する。

キャリブレーション部３２は、被写体までの距離を算出する際に基準となる校正画像を予め撮影しておき、撮影された校正画像から得られる光の強度を示す反射光強度に応じた画素値から推定される明るさの強度を示す輝度と、カメラのレンズから当該校正画像までの距離とをキャリブレーションデータ格納部２１に格納する。

具体的に例を挙げると、キャリブレーション部３２は、任意の被写体までの距離を算出する際に、基準となる校正画像であるキャリブレーション画像（キャリブレート平面）を、近赤外線光源１２を用いて予め撮影する。この時、カメラのレンズから撮影されるキャリブレート平面までの距離は、所定の距離「Ｚ_Ｃ」（１０ｃｍなど）に決定しておき、キャリブレート平面は、カメラの光軸に垂直に設置して撮影される。

そして、キャリブレーション部３２は、予め撮影されたキャリブレート平面から得られる反射される光の強度を示す反射光強度に応じた画素値から推定される明るさの強度を示す輝度「Ｅ_Ｃ」と、カメラのレンズから当該キャリブレート平面までの距離「Ｚ_Ｃ」とをキャリブレーションデータ格納部２１に格納する。なお、撮影されるキャリブレート平面の拡散反射係数「ｒ_Ｃ」は、既知のものであっても未知のものであってもよい。

反射係数推定部３３は、カメラのレンズから被写体の任意の１個以上の点までの距離を測定し、カメラのレンズから校正画像までの距離と、当該校正画像の輝度と、測定された被写体の任意の１個以上の点までの距離と、当該任意の１個以上の点それぞれに対して拡散光を照射して得られた被写体から反射される光の強度を示す反射光強度に応じて画素値から推定される明るさの強度を示す輝度とに基づいて、被写体の拡散反射係数を算出する。

上記した例で具体的に例を挙げると、反射係数推定部３３は、図３に示すように、スポット光源１３を用いて被写体（計測対象）の任意の１個以上の点までの距離「Ｚ_Ｓ」を三角法によって測定する。この三角法による距離測定は、投影面（ＣＣＤ素子）とレンズとの間、および、レンズと被写体との間にある二つの相似の三角形において、（式１）に基づいてカメラのレンズから被写体の任意の１個以上の点までの距離「Ｚ_Ｓ」を測定する。なお、図３は、実施例１に係るスポット光源１３を用いた測距原理を示す図である。

そして、反射係数推定部３３は、図４に示すように、スポット光源１３を用いて測定された被写体の任意の１個以上の点について、近赤外線光源１２を用いて被写体から反射される光の強度を示す反射光強度を取得する。続いて、反射係数推定部３３は、取得された反射光強度に応じた画素値から推定される明るさの強度を示す輝度「Ｅ_Ｓ」と、測定された距離「Ｚ_Ｓ」と、キャリブレーションデータ格納部２１に格納されたカメラのレンズからキャリブレート平面までの距離「Ｚ_Ｃ」と、キャリブレーションデータ格納部２１に格納されたキャリブレート平面の輝度「Ｅ_Ｃ」とを用いて、（式２）に基づいて被写体の拡散反射係数「ｒ_Ｆ」を算出する。なお、図４は、実施例１に係る被写体の拡散反射係数の算出を説明するための図である。

なお、被写体の任意の１個以上の点までの距離「Ｚ_Ｓ」は、三角測量の原理で被写体までの距離を測定するレンジファインダーや光が被写体に当たってから戻ってくるまでの時間を示す飛翔時間（ＴＯＦ：Ｔｉｍｅ Ｏｆ Ｆｌｉｇｈｔ）などを用いてもよく、これらの場合は、投影面上において、どの点の距離を測定しているかが既知でなければならない。

距離推定部３４は、カメラのレンズから校正画像までの距離と、当該校正画像の輝度と、算出された被写体の拡散反射係数と、当該被写体の輝度とに基づいて、カメラのレンズから被写体までの距離を算出する。

上記した例で具体的に例を挙げると、距離推定部３４は、図５に示すように、近赤外線光源１２を用いて被写体の近赤外線画像を撮影する。そして、距離推定部３４は、撮影された近赤外線画像から得られる反射光強度に応じた画素値から推定される明るさの強度を示す輝度「Ｅ_Ｆ」と、反射係数推定部３３によって算出された被写体の拡散反射係数「ｒ_Ｆ」と、キャリブレート平面の輝度「Ｅ_Ｃ」と、カメラのレンズからキャリブレート平面までの距離「Ｚ_Ｃ」とを用いて、（式３）に基づいてカメラのレンズから撮影された被写体を含む近赤外線画像中の各点の距離「Ｚ_Ｆ」を算出する。この各点の距離が算出される被写体を含む近赤外線画像は、均質な被写体であるもの、つまり、拡散反射係数「ｒ_Ｆ」が同一の計測対象であれば何であっても良い。なお、図５は、実施例１に係る被写体までの距離の算出を説明するための図である。

姿勢指示部３５は、距離推定部３４によって算出された被写体までの距離の値を画像に変換し、当該被写体の距離画像における距離の散らばり具合に応じて、距離が極端に異なる部分が存在する場合に警告を出力する。

上記した例で具体的に例を挙げると、姿勢指示部３５は、距離推定部３４によって算出された被写体までの距離データから被写体における平坦度を算出する。この被写体における平坦度は、例えば、「最も近い距離にある点の距離値／中央付近の距離値≦１（平坦）」などの式によって算出する。そして、姿勢指示部３５は、算出された平坦度が所定の閾値以下である場合に、被写体において距離が極端に異なる（被写体が妥当に設置されていない）部分が存在すると認識してアラームを鳴らす。なお、アラームを鳴らした姿勢指示部３５は、被写体のどの部分が妥当でないかを、音声やグラフィクスなどを用いて指示することとしてもよい。

距離画像生成部３６は、距離推定部３４によって算出された被写体までの距離の値を画像に変換した距離画像を生成する。上記した例で具体的に例を挙げると、距離画像生成部３６は、距離推定部３４によって算出された被写体までの距離データに基づいて、図６や図７などに示す距離データを画像に変換した距離画像を生成して距離画像表示部１４に出力する。この図６に示すルックアップテーブルは、例えば、被写体において妥当である距離の色と、妥当でない距離の色とを異なる色で表示する。この結果、ユーザに対して妥当である距離の色になるように被写体を調整するように促すことができる。なお、図６は、距離データによって色分けされたカラールックアップテーブルの例を示す図であり、図７は、距離データを三次元プロットした距離画像の例を示す図である。

［実施例１に係る画像撮影装置による処理］
次に、図８を用いて、実施例１に係る画像撮影装置１０による処理を説明する。図８は、実施例１に係る画像撮影装置１０による処理を示すフローチャートである。

図８に示すように、画像撮影装置１０は、キャリブレーションデータ格納部２１に格納されたカメラのレンズからキャリブレート平面までの距離「Ｚ_Ｃ」と、キャリブレート平面の輝度「Ｅ_Ｃ」とを読み込んで（ステップＳ１０１肯定）、計測対象となる被写体があるかどうかの判定を行なう（ステップＳ１０２）。

そして、画像撮影装置１０は、計測対象となる被写体がある場合に（ステップＳ１０２肯定）、スポット光源１３を用いて被写体の任意の１個以上の点までの距離「Ｚ_Ｓ」を測定する。続いて、画像撮影装置１０は、スポット光源１３を用いて測定された被写体の任意の１個以上の点について、近赤外線光源１２を用いて被写体から反射される光の強度を示す反射光強度を取得する。その後、画像撮影装置１０は、反射光強度に応じた画素値から推定される明るさの強度を示す輝度「Ｅ_Ｓ」と、測定された距離「Ｚ_Ｓ」と、キャリブレーションデータ格納部２１に格納された「Ｚ_Ｃ」と、「Ｅ_Ｃ」とに基づいて、被写体の拡散反射係数「ｒ_Ｆ」、または、「ｒ_Ｆ／ｒ_Ｃ」を算出する（ステップＳ１０３）。

そして、画像撮影装置１０は、近赤外線光源１２を用いて被写体の近赤外線画像を撮影して得られる輝度「Ｅ_Ｆ」と、算出された被写体の拡散反射係数「ｒ_Ｆ」、または、「ｒ_Ｆ／ｒ_Ｃ」と、キャリブレート平面の輝度「Ｅ_Ｃ」と、カメラのレンズからキャリブレート平面までの距離「Ｚ_Ｃ」とに基づいて、カメラのレンズから撮影された被写体を含む近赤外線画像中の各点の距離「Ｚ_Ｆ」を算出する（ステップＳ１０４）。

続いて、画像撮影装置１０は、算出された被写体を含む近赤外線画像中の各点の距離「Ｚ_Ｆ」の距離データを変換した距離画像（図６、図７参照）を生成する（ステップＳ１０５）。その後、画像撮影装置１０は、生成された距離画像を所定の表示部において表示する（ステップＳ１０６）。そして、画像撮影装置１０は、ユーザに表示した距離画像の距離データから被写体における平坦度や距離データの散らばり具合などに基づいて、適切な被写体姿勢であるか否かの判定を行なう（ステップＳ１０７）。

続いて、画像撮影装置１０は、適切な被写体姿勢である場合に、当該被写体姿勢に基づいた様々なユーザインタフェース処理を実施する（ステップＳ１０８）。なお、画像撮影装置１０は、ステップＳ１０７において、適切な被写体姿勢でないと判定された場合に（ステップＳ１０７否定）、アラームを鳴らして、被写体のどの部分が適切でないかを音声やグラフィクスなどを用いて指示してステップＳ１０４の処理を行なう。

［実施例１に係るキャリブレーション部による処理］
次に、図９を用いて、実施例１に係るキャリブレーション部３２による処理を説明する。図９は、実施例１に係るキャリブレーション部３２による処理を示すフローチャートである。

図９に示すように、キャリブレーション部３２は、任意の被写体までの距離を算出する際に、基準となる校正画像であるキャリブレーション画像（キャリブレート平面）を、近赤外線光源１２を用いて予め撮影する（ステップＳ２０１）。そして、キャリブレーション部３２は、所定の入力装置（キーボードやタッチパネルなど）において、カメラのレンズから撮影されるキャリブレート平面までの距離「Ｚ_Ｃ」（１０ｃｍなど）を入力する（ステップＳ２０２）。

続いて、キャリブレーション部３２は、予め撮影されたキャリブレート平面から得られる反射される光の強度を示す反射光強度に応じた画素値から推定される明るさの強度を示す輝度「Ｅ_Ｃ」と、カメラのレンズから当該キャリブレート平面までの距離「Ｚ_Ｃ」とをキャリブレーションデータ格納部２１に格納する（ステップＳ２０３）。

［実施例１に係る反射係数推定部による処理］
次に、図１０を用いて、実施例１に係る反射係数推定部３３による処理を説明する。図１０は、実施例１に係る反射係数推定部３３による処理を示すフローチャートである。

図１０に示すように、反射係数推定部３３は、スポット光源１３を用いて被写体（計測対象）の任意の１個以上の点までの距離「Ｚ_Ｓ」を測定する（ステップＳ３０１）。そして、反射係数推定部３３は、キャリブレーションデータ格納部２１に格納されたキャリブレート平面の輝度「Ｅ_Ｃ」を取得する（ステップＳ３０２）。

続いて、反射係数推定部３３は、スポット光源１３を用いて測定された被写体の任意の１個以上の点について、近赤外線光源１２を用いて被写体から反射される光の強度を示す反射光強度を取得し、当該反射光強度に応じた画素値から推定される明るさの強度を示す輝度「Ｅ_Ｓ」を取得する（ステップＳ３０３）。

その後、反射係数推定部３３は、取得された「Ｅ_Ｃ」と、「Ｅ_Ｓ」と、測定された被写体までの距離「Ｚ_Ｓ」と、キャリブレーションデータ格納部２１に格納されたキャリブレーション平面までの距離「Ｚ_Ｃ」とに基づいて、被写体の拡散反射係数「ｒ_Ｆ」を算出する（ステップＳ３０４）。

［実施例１に係る距離推定部による処理］
次に、図１１を用いて、実施例１に係る距離推定部３４による処理を説明する。図１１は、実施例１に係る距離推定部３４による処理を示すフローチャートである。

図１１に示すように、距離推定部３４は、近赤外線光源１２を用いて被写体の近赤外線画像が撮影されると（ステップＳ４０１肯定）、当該近赤外線画像中においてカメラのレンズからの距離を算出していない未処理の画素の座標を取得する（ステップＳ４０２）。

そして、距離推定部３４は、キャリブレーションデータ格納部２１に格納されたキャリブレート平面の輝度「Ｅ_Ｃ」を取得する（ステップＳ４０３）。続いて、距離推定部３４は、撮影された近赤外線画像から得られる反射光強度に応じた画素値から推定される明るさの強度を示す輝度「Ｅ_Ｆ」を取得する（ステップＳ４０４）。

その後、距離推定部３４は、取得された「Ｅ_Ｃ」と、「Ｅ_Ｆ」と、キャリブレート平面までの距離「Ｚ_Ｃ」と、反射係数推定部３３によって算出された被写体の拡散反射係数「ｒ_Ｆ」とに基づいて、カメラのレンズから撮影された被写体を含む近赤外線画像中において取得した画素の座標の距離「Ｚ_Ｆ」を算出する（ステップＳ４０５）。

そして、距離推定部３４は、姿勢指示部３５と距離画像生成部３６に対して、算出した画素の座標の距離「Ｚ_Ｆ」を出力する（ステップＳ４０６）。続いて、距離推定部３４は、全ての画素について距離「Ｚ_Ｆ」を処理したか否かの判定を行なって（ステップＳ４０７）、全画素について処理した場合に処理を終了し（ステップＳ４０７肯定）、全画素について処理していない場合に（ステップＳ４０７否定）、ステップＳ４０２の処理を行なう。なお、距離推定部３４によって距離「Ｚ_Ｆ」が算出される画素は、１画素ごとではなく、所定の画素数をまとめて取得して処理する。

［実施例１による効果］
このように、画像撮影装置１０は、カメラのレンズから被写体の任意の１個以上の点までの距離を測定し、カメラのレンズから校正画像までの距離と、当該校正画像の輝度と、測定された被写体の任意の１個以上の点までの距離と、当該任意の１個以上の点それぞれに対して拡散光を照射して得られた被写体から反射される光の強度を示す反射光強度に応じて画素値から推定される明るさの強度を示す輝度とに基づいて、被写体の拡散反射係数を算出し、カメラのレンズから校正画像までの距離と、当該校正画像の輝度と、算出された拡散反射係数と、当該被写体の輝度とに基づいて、カメラのレンズから被写体までの距離を算出することとしたので、拡散反射係数が未知である被写体を撮影する場合でも、正確な距離を計測することが可能である。

例えば、画像撮影装置１０は、任意の被写体までの距離を算出する際に、基準となる校正画像であるキャリブレーション画像を予め撮影する。そして、画像撮影装置１０は、撮影されたキャリブレーション画像の輝度「Ｅ_Ｃ」と、当該キャリブレーション画像までの距離「Ｚ_Ｃ」とをキャリブレーションデータ格納部２１に格納する。続いて、画像撮影装置１０は、スポット光源を用いて被写体の任意の１個以上の点までの距離「Ｚ_Ｓ」を測定する。その後、画像撮影装置１０は、近赤外線光源を用いて被写体から反射される光の強度を示す反射光強度を取得する。そして、画像撮影装置１０は、取得された反射光強度に応じた画素値から推定される明るさの強度を示す輝度「Ｅ_Ｓ」と、測定された距離「Ｚ_Ｓ」と、キャリブレート平面までの距離「Ｚ_Ｃ」と、キャリブレート平面の輝度「Ｅ_Ｃ」とに基づいて、被写体の拡散反射係数「ｒ_Ｆ」を算出する。続いて、画像撮影装置１０は、被写体の各点について輝度「Ｅ_Ｆ」と、算出された拡散反射係数「ｒ_Ｆ」と、キャリブレート平面の輝度「Ｅ_Ｃ」と、距離「Ｚ_Ｃ」とに基づいて、カメラのレンズから撮影された被写体を含む近赤外線画像中の各点の距離「Ｚ_Ｆ」を算出する。この結果、拡散反射係数が未知である被写体を撮影する場合でも、正確な距離を計測することが可能である。つまり、画像撮影装置１０は、予め撮影されたキャリブレーション画像における輝度や距離などの情報と、計測対象となる被写体において任意の１点以上の距離とに基づいて、被写体上の全点（全画素）までの距離を算出することができる結果、拡散反射係数が未知である被写体を撮影する場合でも、正確な距離を計測することが可能である。

さて、これまで本発明の実施例について説明したが、本発明は上述した実施例以外にも、種々の異なる形態にて実施されてよいものである。そこで、（１）システム構成、（２）プログラムに区分けして異なる実施例を説明する。

（１）システム構成
また、上記文書中や図面中で示した処理手順、制御手順、具体的名称、各種のデータやパラメタを含む情報（例えば、図２に示した反射係数推定部３３や距離推定部３４などの具体的名称）については、特記する場合を除いて任意に変更することができる。

また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、例えば、キャリブレーション部３２や反射係数推定部３３などにおいて処理されるスポット光源１３を用いた測距を、「スポット測距部」として分散するなど、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。さらに、各装置にて行われる各処理機能は、その全部または任意の一部が、ＣＰＵおよび当該ＣＰＵにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。

（２）プログラム
なお、本実施例で説明した画像撮影装置は、あらかじめ用意されたプログラムをパーソナルコンピュータやワークステーションなどのコンピュータで実行することによって実現することができる。そこで、以下では、図１２を用いて、上記の実施例に示した画像撮影装置と同様の機能を有する画像撮影プログラムを実行するコンピュータの一例を説明する。図１２は、画像撮影プログラムを実行するコンピュータを示す図である。

図１２に示すように、画像撮影装置としてのコンピュータ１１０は、ＨＤＤ１３０、ＣＰＵ１４０、ＲＯＭ１５０およびＲＡＭ１６０をバス１８０などで接続される。

ＲＯＭ１５０には、上記の実施例１に示した画像撮影装置１０と同様の機能を発揮する画像撮影プログラム、つまり、図１２に示すように距離測定プログラム１５０ａと、拡散反射係数算出プログラム１５０ｂと、距離算出プログラム１５０ｃとが、あらかじめ記憶されている。なお、これらのプログラム１５０ａ〜１５０ｃについては、図２に示した画像撮影装置１０の各構成要素と同様、適宜統合または、分散してもよい。

そして、ＣＰＵ１４０がこれらのプログラム１５０ａ〜プログラム１５０ｃをＲＯＭ１５０から読み出して実行することで、図１２に示すように、プログラム１５０ａ〜プログラム１５０ｃは、距離測定プロセス１４０ａと、拡散反射係数算出プロセス１４０ｂと、距離算出プロセス１４０ｃとして機能するようになる。なお、プロセス１４０ａ〜プロセス１４０ｃは、図２に示した、キャリブレーション部３２と、反射係数推定部３３と、距離推定部３４とにそれぞれ対応する。

そして、ＣＰＵ１４０はＨＤＤ１３０に記録されたキャリブレーションデータ１３０ａに基づいて画像撮影プログラムを実行する。

なお、上記した各プログラム１５０ａ〜１５０ｃについては、必ずしも最初からＲＯＭ１５０に記憶させておく必要はなく、例えば、コンピュータ１１０に挿入されるフレキシブルディスク（ＦＤ）、ＣＤ−ＲＯＭ、ＤＶＤディスク、光磁気ディスク、ＩＣカードなどの「可搬用の物理媒体」、またはコンピュータ１１０の内外に備えられるＨＤＤなどの「固定用の物理媒体」、さらには公衆回線、インターネット、ＬＡＮ、ＷＡＮなどを介してコンピュータ１１０に接続される「他のコンピュータ（またはサーバ）」などに各プログラムを記憶させておき、コンピュータ１１０がこれから各プログラムを読み出して実行するようにしてもよい。

Claims (5)

1. 被写体までの距離を算出する際に基準となる校正画像を予め撮影しておき、単眼のカメラにより前記被写体を撮影する場合に、前記カメラのレンズから前記校正画像までの距離と当該校正画像とに基づいて、前記カメラのレンズから被写体までの距離を算出する画像撮影装置であって、
   前記カメラのレンズから前記被写体の任意の１個以上の点までの距離を測定する距離測定手段と、
   前記カメラのレンズから前記校正画像までの距離と、当該校正画像の輝度と、前記距離測定手段によって測定された被写体の任意の１個以上の点までの距離と、当該任意の１個以上の点それぞれに対して拡散光を照射して得られた前記被写体から反射される光の強度を示す反射光強度に応じて画素値から推定される明るさの強度を示す輝度とに基づいて、前記被写体の拡散反射係数を算出する拡散反射係数算出手段と、
   前記カメラのレンズから前記校正画像までの距離と、当該校正画像の輝度と、前記拡散反射係数算出手段によって算出された被写体の拡散反射係数と、当該被写体の輝度とに基づいて、前記カメラのレンズから前記被写体までの距離を算出する距離算出手段と、
   を備えたことを特徴とする画像撮影装置。
2. 前記距離算出手段によって算出された被写体までの距離の値を画像に変換した距離画像を生成する距離画像生成手段をさらに備えたことを特徴とする請求項１に記載の画像撮影装置。
3. 前記距離算出手段によって算出された被写体までの距離の値を画像に変換し、当該被写体の距離画像における距離の散らばり具合に応じて、距離が極端に異なる部分が存在する場合に警告を出力する距離画像警告出力手段をさらに備えたことを特徴とする請求項１に記載の画像撮影装置。
4. 被写体までの距離を算出する際に基準となる校正画像を予め撮影しておき、単眼のカメラにより前記被写体を撮影する場合に、前記カメラのレンズから前記校正画像までの距離と当該校正画像とに基づいて、前記カメラのレンズから被写体までの距離を算出する画像撮影装置に適した画像撮影方法であって、
   前記カメラのレンズから前記被写体の任意の１個以上の点までの距離を測定する距離測定工程と、
   前記カメラのレンズから前記校正画像までの距離と、当該校正画像の輝度と、前記距離測定工程によって測定された被写体の任意の１個以上の点までの距離と、当該任意の１個以上の点それぞれに対して拡散光を照射して得られた前記被写体から反射される光の強度を示す反射光強度に応じて画素値から推定される明るさの強度を示す輝度とに基づいて、前記被写体の拡散反射係数を算出する拡散反射係数算出工程と、
   前記カメラのレンズから前記校正画像までの距離と、当該校正画像の輝度と、前記拡散反射係数算出工程によって算出された被写体の拡散反射係数と、当該被写体の輝度とに基づいて、前記カメラのレンズから前記被写体までの距離を算出する距離算出工程と、
   を含んだことを特徴とする画像撮影方法。
5. 被写体までの距離を算出する際に基準となる校正画像を予め撮影しておき、単眼のカメラにより前記被写体を撮影する場合に、前記カメラのレンズから前記校正画像までの距離と当該校正画像とに基づいて、前記カメラのレンズから被写体までの距離を算出する画像撮影装置としてのコンピュータに実行させる画像撮影プログラムであって、
   前記カメラのレンズから前記被写体の任意の１個以上の点までの距離を測定する距離測定手順と、
   前記カメラのレンズから前記校正画像までの距離と、当該校正画像の輝度と、前記距離測定手順によって測定された被写体の任意の１個以上の点までの距離と、当該任意の１個以上の点それぞれに対して拡散光を照射して得られた前記被写体から反射される光の強度を示す反射光強度に応じて画素値から推定される明るさの強度を示す輝度とに基づいて、前記被写体の拡散反射係数を算出する拡散反射係数算出手順と、
   前記カメラのレンズから前記校正画像までの距離と、当該校正画像の輝度と、前記拡散反射係数算出手順によって算出された被写体の拡散反射係数と、当該被写体の輝度とに基づいて、前記カメラのレンズから前記被写体までの距離を算出する距離算出手順と、
   をコンピュータに実行させることを特徴とする画像撮影プログラム。

Images