JP6210333B2 - 距離測定装置、及び、距離測定方法 - Google Patents

Description

本発明は、距離測定装置、及び、距離測定方法に関する。

ＤＦＤ（Ｄｅｐｔｈ ｆｒｏｍ Ｄｅｆｏｃｕｓ）は、合焦位置の異なる複数枚の画像から、ぼけの情報に基づいて距離を計測する方法である。ぼけを含んだ撮影画像は、レンズによるぼけのない状態を表す全焦点画像に、被写体距離の関数である点像分布関数を畳み込んだ画像となる。点像分布関数は、被写体距離を変数とする関数であるので、ＤＦＤではぼけ画像からぼけを検出することによって、被写体距離を求めることができる。

このとき、全焦点画像と被写体距離とが未知数である。ぼけ画像１枚に対して、ぼけ画像、全焦点画像、及び、被写体距離に関する式が１つ成立する。合焦位置の異なるぼけ画像を新たに撮影することで新たな式が得られるので、得られた複数の式を解くことで被写体距離を求める。式の獲得の方法、又は、式を解く方法等は、特許文献１及び非特許文献１などに開示されている。

特許第２９６３９９０号公報 国際公開第２０１１／１５８５０８号 国際公開第２０１２／１４０８９９号 特許第４８６２３１２号公報 特開２００７−１０９０８号公報

Ｃ．Ｚｈｏｕ，Ｓ．Ｌｉｎ ａｎｄ Ｓ．Ｎａｙａｒ， "Ｃｏｄｅｄ Ａｐｅｒｔｕｒｅ Ｐａｉｒｓ ｆｏｒ Ｄｅｐｔｈ ｆｒｏｍ Ｄｅｆｏｃｕｓ" Ｉｎ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ， ２００９

従来のＤＦＤでは、複数枚の画像の撮影には、通常撮影時より多くの時間を必要とする。また、短時間に合焦位置を複数回往復させる必要があるので、合焦位置を制御するアクチュエータ等のデバイスに負担をかけ、さらに、消費電力が大きくなる等の問題がある。

そこで、本発明は、簡単な合焦位置の制御により、短時間で被写体の距離を求める距離測定装置を提供する。

本発明の一態様に係る距離測定装置は、行列状に配列された光電変換素子を含む撮像素子であって、行又は列ごとに順次、露光と電荷の読み出しとを行うことにより、被写体を撮像する撮像素子と、前記撮像素子に前記被写体の像を結像させるための光学系であって、前記光学系の合焦位置が制御可能である光学系と、前記合焦位置を等速で移動させるように前記光学系を制御し、かつ、前記合焦位置が等速で移動している最中に前記撮像素子に前記被写体を順次撮像させることで、複数のぼけ画像を取得する撮像制御部と、被写体距離に応じた点像分布関数と、前記複数のぼけ画像とを用いて、前記光学系における基準位置から前記被写体までの距離を計測する距離計測部と、前記複数のぼけ画像を取得した際の行又は列ごとの前記露光の期間における前記合焦位置の移動範囲に応じて、前記距離計測部による前記距離の計測の前又は後に、前記距離についての行又は列ごとの補正処理を行う補正部とを備える。

なお、これらの包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ−ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。

本発明の距離測定装置は、簡単な合焦位置の制御により、短時間で被写体の距離を求めることができる。

図１は、ローリングシャッターを備える撮像素子の撮影動作の説明図である。 図２は、ローリングシャッターを備える撮像素子により画像を撮影する場合の撮影動作及び合焦位置の説明図である。 図３は、実施の形態１における距離測定装置の構成を示すブロック図である。 図４は、実施の形態１における距離測定装置を用いて画像を撮影する場合の撮影動作、合焦位置、及び、合焦範囲の説明図である。 図５は、関連技術における撮影動作、合焦位置、及び合焦範囲の説明図である。 図６は、実施の形態１における、撮像素子で積算される点像分布関数の幾何光学的な直径の第一の説明図である。 図７は、実施の形態１における、撮像素子で積算される点像分布関数の幾何光学的な直径の第二の説明図である。 図８は、実施の形態２における距離測定装置の構成を示すブロック図である。 図９は、実施の形態２における距離測定装置を用いて距離が計測される領域の説明図である。 図１０は、実施の形態２における距離測定装置を用いて画像を撮影する場合の撮影動作、合焦位置、及び、合焦範囲の説明図である。

（本発明の基礎となった知見）
本発明者は、「背景技術」の欄において記載した、ＤＦＤに関し、以下の問題が生じることを見出した。

ある３次元シーンの奥行き、即ち各被写体までの距離を非接触で計測するための様々な方法が提案されている。それらは、能動的手法と受動的手法とに大別される。能動的手法では、赤外線、超音波又はレーザーなどを照射し、反射波が戻ってくるまでの時間、又は、反射波の角度などをもとに距離を算出する。受動的手法では、被写体の像に基づいて距離を算出する。特にカメラにおいては赤外線などを照射するための装置を必要としない受動的手法が広く用いられている。

受動的手法にも多くの手法が提案されているが、その一つとして被写体距離によって大きさや形状が変化する、ぼけの情報に基づいて距離を計測するＤｅｐｔｈ ｆｒｏｍ Ｄｅｆｏｃｕｓと呼ばれる手法がある。この手法には、複数のカメラを必要としないこと、少数の画像から距離計測が可能であること、などの特徴がある。

以下、ＤＦＤの原理について簡単に説明する。

ＤＦＤ（Ｄｅｐｔｈ ｆｒｏｍ Ｄｅｆｏｃｕｓ）は、合焦位置の異なる複数枚の画像から、ぼけの情報に基づいて距離を計測する方法である。ぼけを含んだ撮影画像は、レンズによるぼけのない状態を表す全焦点画像に、被写体距離の関数である点像分布関数を畳み込んだ画像となる。点像分布関数は、被写体距離を変数とする関数であるので、ＤＦＤではぼけ画像からぼけを検出することによって、被写体距離を求めることができる。

このとき、全焦点画像と被写体距離とが未知数である。ぼけ画像１枚に対して、ぼけ画像、全焦点画像、及び、被写体距離に関する式が１つ成立する。合焦位置の異なるぼけ画像を新たに撮影することで新たな式が得られるので、得られた複数の式を解くことで被写体距離を求める。式の獲得の方法、又は、式を解く方法等は、特許文献１及び非特許文献１などに開示されている。

さらに、特許文献２及び特許文献３は、露光中に合焦位置を画像ごとに異なる範囲で動かしながら撮影した複数枚の画像から、被写体までの距離を求める方法（以下ＳｗｅｅｐＤＦＤと記載する）を開示する。

露光中に合焦位置を動かすことによって、連続する複数の合焦位置の点像分布関数及び画像が積算、及び平均化される。ＳｗｅｅｐＤＦＤでは、積算、平均化された点像分布関数と画像とから距離を求める。

一方、画像を撮影する撮像素子には、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ−Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）型撮像素子、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅｓ）型撮像素子が存在するが、ＣＭＯＳ型撮像素子は、高速撮影が可能である点、及び、低消費電力である点等でＣＣＤ型撮像素子と比較して優位である。

現在、ＣＭＯＳ型撮像素子では、ローリングシャッターという電子シャッター方式が多く採用されている。ローリングシャッター方式では、二次元（行列状）に配列された画素配列において、行又は列ごとに順次、電荷のリセット、露光、及び、電荷の読み出しを行う。なお、以降では行ごとに上記電荷のリセット等を行う場合について説明するが、列ごとに行う場合も同様のことがあてはまる。

図１は、ローリングシャッターを備える撮像素子の撮影動作の説明図である。図１は、行ごとに露光時間の異なるローリングシャッターにおける、電荷のリセット、露光及び電荷の読み出しのタイミングの一例を示している。

図１において、横軸は時間を示し、縦軸は、撮像素子がＡ行の画素行で構成されている場合の行番号を示している。また、電荷のリセットのタイミングを破線で示し、電荷の読み出しのタイミングを実線で示している。この撮像素子は、撮像素子の先頭行から順次、行ごとに、電荷のリセット、露光、及び、電荷の読み出しを行う、という動作を繰り返して、画像全体の信号を得る。なお、１枚の画像において、撮像素子の１行目からＡ行目までの読み出しにかかる時間を「１ＶＤ」と定義する。

上述したように、ＤＦＤでは、異なる範囲内の合焦位置で撮影された複数枚の画像を必要とするので、複数枚の画像の撮影中に合焦位置を移動させる必要がある。そのため、ｎ枚目の画像の露光時間と、（ｎ＋１）枚目の画像の露光時間との間に、別途合焦位置を移動させる期間を設ける必要がある。

さらに、ローリングシャッターでは、ｎ枚目の画像の最初の行の露光が完了してからすぐに、（ｎ＋１）枚目の画像の最初の行の露光を開始できるわけではない。ローリングシャッターでは、ｎ枚目の画像の最後の行の露光が完了した後、合焦位置を移動させてから、（ｎ＋１）枚目の画像の最初の行の露光を開始することになるので、撮影に多くの時間を要する。

図２は、ローリングシャッターを備える撮像素子により画像を撮影する関連技術における撮影動作、及び、合焦位置の説明図である。

具体的には、図２の（ａ）は、ローリングシャッターを備える撮像素子を用いて２枚の画像を撮影する場合において、撮像素子の撮影動作を示す図である。図２の（ｂ）は、ローリングシャッターを備える撮像素子を用いてＤＦＤに用いる２枚の画像を撮影する場合の、関連技術における撮像素子の撮影動作を示す図である。図２の（ｃ）は、上記場合の、関連技術における合焦位置の移動の様子を示す図である。

図２の（ａ）には、ローリングシャッターを備える撮像素子を用いた場合の通常撮影時の電荷のリセット、露光及び電荷の読み出しの各タイミングが示されている。また、図２の（ｂ）及び（ｃ）には、ローリングシャッターを備える撮像素子を用いたＤＦＤ用の画像の撮影時の各タイミング及び合焦位置の場所が示されている。なお、図２において、合焦位置は、像面側での位置で表記している。

撮像素子は、通常撮影時には、図２の（ａ）に示すように、３ＶＤで２枚の画像を撮影することが可能である。一方、撮像素子は、ＤＦＤの場合には、図２の（ｂ）及び（ｃ）に示すように、２枚の画像を撮影するために少なくとも５ＶＤを必要とする。撮像素子は、ＤＦＤの場合、まず、合焦位置が合焦位置１にある時に、１枚目の画像の１行目からＡ行目までの露光を完了させる。その後、撮像素子は、合焦位置を合焦位置２の位置にずらし、２枚目の撮影を開始する。そのため、撮像素子は上記２枚の画像の撮影のために、１枚目及び２枚目の画像の撮影のためにそれぞれ２ＶＤを要し、また、合焦位置の移動に少なくとも１ＶＤを要する。つまり、撮像素子は上記２枚の画像の撮影のために、合わせて５ＶＤを必要とする。

また、ＳｗｅｅｐＤＦＤの場合に、ローリングシャッターを備える撮像素子を用いると、露光中に合焦位置が移動されるので、画像の行ごとに合焦位置の範囲が異なることとなる。よって、点像分布関数、画像の積算、及び、平均化される合焦位置の範囲が、画像の行ごとに異なり、正確に被写体までの距離を求めることができない。

特許文献３では、露光中の合焦位置の移動を工夫して、画像の行ごとに、積算、平均化される点像分布関数が同じになるように撮影している。

このように、ローリングシャッターを備える撮像素子において、撮影時に合焦位置を動かす必要がある場合、行ごとに合焦位置、及びその範囲が異なってしまうため、ＤＦＤにおいて様々な問題が存在する。

特許文献４及び特許文献５は、ローリングシャッターを備える撮像素子において、ｎ枚目とｎ＋１枚目との画像撮影の間に合焦位置を変化させる必要がある場合に、高速に効率よく画像を撮影して、目的とする情報を算出する方法を開示する。

具体的には、特許文献４及び特許文献５は、ＡＦ（オートフォーカス）に関する技術である。本技術は、画像中のＡＦの対象領域において、合焦の度合いを示す評価値を複数枚分計算した後、評価値のピーク位置を探索し、評価値のピーク位置から、対象の被写体に合焦する合焦位置を求めるＡＦ方式をベースとしている。そして、本技術では、露光中に合焦位置を動かして、評価値を計算し、さらに、対象被写体の合焦位置のずれを後から補正している。ここで、対象被写体の合焦位置のずれとは、ローリングシャッターにより行ごとに露光される合焦範囲が異なるために発生する、行ごとの合焦位置のずれのことである。

特許文献３の方法では、複数枚の画像の撮影には、図２の（ａ）の通常撮影時よりも多くの時間を必要とする。また、短時間に合焦位置を複数回往復させる必要があるので、合焦位置を制御するアクチュエータ等のデバイスに負担をかけ、さらに、消費電力が大きくなる等の問題がある。

特許文献４及び特許文献５では、ＡＦの対象領域において、最低３枚から計算される評価値のグラフのピーク位置から合焦位置を求めているので、ピークが現れなければ、さらに多くの画像を撮影する必要がある。また、特定の被写体においてピークが現れても、異なる距離に存在する被写体においてピークが現れる保証はない。

そこで、本発明は、簡単な合焦位置の制御により、短時間で被写体の距離を求める距離測定装置を提供する。

このような問題を解決するために、本発明の一態様に係る距離測定装置は、行列状に配列された光電変換素子を含む撮像素子であって、行又は列ごとに順次、露光と電荷の読み出しとを行うことにより、被写体を撮像する撮像素子と、前記撮像素子に前記被写体の像を結像させるための光学系であって、前記光学系の合焦位置が制御可能である光学系と、前記合焦位置を等速で移動させるように前記光学系を制御し、かつ、前記合焦位置が等速で移動している最中に前記撮像素子に前記被写体を順次撮像させることで、複数のぼけ画像を取得する撮像制御部と、被写体距離に応じた点像分布関数と、前記複数のぼけ画像とを用いて、前記光学系における基準位置から前記被写体までの距離を計測する距離計測部と、前記複数のぼけ画像を取得した際の行又は列ごとの前記露光の期間における前記合焦位置の移動範囲に応じて、前記距離計測部による前記距離の計測の前又は後に、前記距離についての行又は列ごとの補正処理を行う補正部とを備える。

これによれば、距離測定装置は、高速に及び効率よく撮影された、少ない枚数の画像から、あらゆる距離に存在する被写体の距離を求めることができる。また簡単な合焦位置の制御であるため、距離を求める際に、合焦位置を制御するアクチュエータ等のデバイスにかかる負担を小さくして、消費電力も小さくできる。

また、距離測定装置は、合焦位置を等速移動させながら撮像した複数のぼけ画像を用いて、ＤＦＤによる被写体距離の算出処理と、補正処理とを行うことで被写体距離を測定することができる。上記算出処理は、合焦位置の移動が考慮されていない処理であるので、算出処理だけからでは正しい被写体距離が測定されない。そこで、上記補正処理により上記算出処理の結果を正しくする補正がなされ、その結果、正しい被写体距離が測定される。

従来技術によれば、複数のぼけ画像は、互いに異なる複数の固定位置を合焦位置として取得されるので、複数のぼけ画像を取得するには、ぼけ画像の取得と合焦位置の移動とを繰り返し行わなければならない。これに対し、本発明における距離測定装置は、ぼけ画像の取得と合焦位置の移動とを同時並行に行うので、短時間で処理を完了することができる。また、合焦位置の移動速度が等速であるので補正処理の処理量も小さくすることができる。よって、距離測定装置は、簡単な合焦位置の制御により、短時間で被写体の距離を求めることができる。

例えば、前記撮像制御部は、少なくとも（ｎ＋１）枚（ｎは１以上の整数）のぼけ画像を、前記複数のぼけ画像として取得し、前記少なくとも（ｎ＋１）枚のぼけ画像のうち最初に取得される第一画像を取得する際の前記撮像素子の露光の開始時刻をＴＳ（１）とし、前記第一画像を取得する際の前記撮像素子の前記露光の終了時刻をＴＥ（１）とし、前記少なくとも（ｎ＋１）枚のぼけ画像のうち最後に取得される第二画像を取得する際の前記撮像素子の露光の開始時刻をＴＳ（１＋ｎ）とし、前記第二画像を取得する際の前記撮像素子の前記露光の終了時刻をＴＥ（１＋ｎ）とするとき、（ｉ）前記ＴＳ（１）には、前記合焦位置を第一位置とするように制御し、（ｉｉ）前記ＴＥ（１＋ｎ）には、前記合焦位置を、前記第一位置とは異なる第二位置とするように制御し、（ｉｉｉ）前記ＴＳ（１）から前記ＴＥ（１）までの期間、及び、前記ＴＳ（１＋ｎ）から前記ＴＥ（１＋ｎ）までの期間のそれぞれには、前記合焦位置を等速に移動させるように制御し、前記距離計測部は、前記点像分布関数と、前記第一画像及び前記第二画像とを用いて、前記第一画像及び前記第二画像の少なくとも一方における画素ごとに、前記基準位置から前記被写体までの距離を計測し、前記補正部は、前記第一画像及び前記第二画像を取得した際の行又は列ごとの前記露光の期間における前記合焦位置の移動範囲に応じて、前記補正処理を行うとしてもよい。

これによれば、距離測定装置は、複数のぼけ画像のうちの第一画像と第二画像とのそれぞれを、合焦位置を等速移動させながら取得することができる。そして、距離測定装置は、取得した第一画像と第二画像とから被写体距離を計測することができる。

例えば、前記撮像制御部は、前記ＴＳ（１）から前記ＴＥ（１）までの期間における前記合焦位置の移動速度と同一の速度で、前記ＴＳ（１＋ｎ）から前記ＴＥ（１＋ｎ）までの期間において前記合焦位置を移動させるとしてもよい。

これによれば、距離測定装置は、第一画像と第二画像とを取得するときの合焦位置の移動速度を同一にすることで、補正処理をより簡単にすることができる。

例えば、前記距離測定装置は、さらに、前記撮像制御部による前記複数のぼけ画像の取得の前に、前記第一画像を取得する際の前記撮像素子の露光の終了時刻より、前記第二画像を取得する際の前記撮像素子の露光の開始時刻が早いという条件が満たされるか否かを判定する撮像条件判定部を備え、前記撮像条件判定部は、前記条件が満たされると判定した場合に、（ｉ）前記複数のぼけ画像を取得する処理を前記撮像制御部に実行させ、（ｉｉ）前記距離を計測する処理を前記距離計測部に実行させ、かつ、（ｉｉｉ）前記補正処理を前記補正部に実行させるとしてもよい。

これによれば、距離測定装置は、第一画像を取得するための露光期間と、第二画像を取得するための露光期間とが重なる場合（つまり、両画像の取得のための期間の間隔がない場合）に、複数のぼけ画像の取得から距離の計測及び補正までの一連の処理を行う。上記２つの露光期間が重なる場合には、従来技術のように、第一画像の取得を完了した後に第二画像の取得を開始することはできない。よって、第一画像及び第二画像を取得する前に、両画像の取得のための期間の間隔がないと判断された場合に、合焦位置を等速移動させながら画像を取得するようにすることで、両画像から被写体距離を計測することができる。

例えば、前記撮像制御部は、少なくとも（ｎ＋１）枚（ｎは１以上の整数）のぼけ画像を前記複数のぼけ画像として取得し、前記複数のボケ画像のうち、（１＋ｘ）枚目（（ｎ−１）≧ｘ≧０）の画像を取得する際の前記撮像素子の露光の開始時刻をＴＳ（１＋ｘ）とし、前記複数のボケ画像のうち、（１＋ｘ）枚目の画像を取得する際の前記撮像素子の露光の完了時刻をＴＥ（１＋ｘ）とし、前記複数のボケ画像のうち、（１＋ｘ＋１）枚目の画像を取得する際の前記撮像素子の露光の開始時刻をＴＳ（１＋ｘ＋１）とし、前記複数のボケ画像のうち、（１＋ｘ＋１）枚目の画像を取得する際の前記撮像素子の露光の完了時刻をＴＥ（１＋ｘ＋１）とするとき、前記距離測定装置は、さらに、前記ＴＥ（１＋ｘ）と前記ＴＳ（１＋ｘ＋１）との時刻の先後を判断する先後判断部を備え、前記撮像制御部は、前記ＴＥ（１＋ｘ）＞前記ＴＳ（１＋ｘ＋１）が成立すると前記先後判断部が判断した場合、前記ＴＳ（１＋ｘ）から前記ＴＥ（１＋ｘ＋１）までの期間に前記合焦位置を第三位置から前記第三位置とは異なる第四位置まで等速移動させるように制御するとしてもよい。

これによれば、距離測定装置は、具体的に、第一画像を取得するための露光期間と、第二画像を取得するための露光期間とが重なる場合を判定し、その場合に、合焦位置を等速移動させながら画像を取得するようにすることで、両画像から被写体距離を計測することができる。

例えば、前記撮像制御部は、前記ＴＥ（１＋ｘ）＜前記ＴＳ（１＋ｘ＋１）が成立すると前記先後判断部が判断した場合、（ｉ）前記ＴＳ（１＋ｘ）から前記ＴＥ（１＋ｘ）までの期間に前記合焦位置を第三位置に停止させ、（ｉｉ）前記ＴＥ（１＋ｘ）から前記ＴＳ（１＋ｘ＋１）までの期間に前記合焦位置を前記第三位置から前記第四位置まで移動させ、（ｉｉｉ）前記ＴＳ（１＋ｘ＋１）から前記ＴＥ（１＋ｘ＋１）までの期間に、前記合焦位置を前記第四位置に停止させるように制御するとしてもよい。

これによれば、距離測定装置は、具体的に、第一画像を取得するための露光期間と、第二画像を取得するための露光期間とが重ならない場合（つまり、両画像の取得のための期間の間隔がある場合）に、従来技術と同様の距離計測を実行する。この場合には、合焦位置を等速移動させながら画像を取得することが不要であるので、従来技術と同様の距離計測を実行することで被写体距離を計測することができる。

例えば、前記ｎは１であるとしてもよい。

これによれば、距離測定装置は、第一画像と第二画像との２枚の画像から被写体距離を測定することができる。

例えば、前記ｎは２以上の整数であり、前記距離計測部は、３以上のぼけ画像を、前記複数のぼけ画像として用いて、前記距離を計測するとしてもよい。

これによれば、距離測定装置は、３枚以上の画像から被写体距離を測定することができる。

例えば、前記補正部は、前記撮像素子の行又は列ごとに、前記距離計測部により計測される前記距離に関する補正量を算出する補正量算出部を有し、前記補正量算出部は、前記撮像素子の行又は列ごとの前記露光の期間において前記合焦位置の移動範囲に対応する前記点像分布関数の直径が、所定の距離から届く光の合焦位置の範囲に対応する点像分布関数の直径と類似するように、前記撮像素子の行又は列ごとの前記補正量を算出するとしてもよい。

これによれば、距離測定装置は、合焦位置の移動範囲に対応する点像分布関数の直径と、所定の距離から届く光の合焦位置の範囲に対応する点像分布関数の直径との類似性に基づいて、補正処理における補正量を算出する。

例えば、前記補正部は、前記距離計測部による前記距離の計測の後に、計測した前記距離に対して、前記撮像素子の行又は列ごとに前記補正量算出部が算出した補正量を加算又は減算することにより前記補正処理を行うとしてもよい。

これによれば、距離測定装置は、距離計測部が距離を計測した後に、計測された距離に対して補正量を加算などすることで、正しい被写体距離を取得することができる。

例えば、前記補正部は、前記距離計測部による前記距離の計測の前に、前記距離計測部が前記距離の計測に用いる前記点像分布関数を、前記撮像素子の行又は列ごとに前記補正量算出部が算出した補正量に応じて変更することにより前記補正処理を行い、前記距離計測部は、前記補正部により前記補正処理が行われた後の前記点像分布関数を用いて前記距離を計測するとしてもよい。

これによれば、距離測定装置は、距離計測部が距離を計測する前に点像分布関数の独立変数である距離に対して補正量を加算などした上で、補正がなされた点像分布関数を用いて距離を計測することで、正しい被写体距離を取得することができる。

例えば、前記撮像制御部は、行列状に配列された光電変換素子を含む撮像素子のうちの一部を、前記撮像素子として用いて撮像させることで、前記被写体のうち前記一部に対応する部分に相当する複数のぼけ画像を取得し、前記距離計測部は、前記被写体のうちの前記部分についての前記距離を計測するとしてもよい。

これによれば、距離測定装置は、撮像素子の一部から得られる画像を用いて、上記と同様に被写体距離を計測することができる。

また、本発明の一態様に係る距離測定方法は、距離測定装置における距離測定方法であって、前記距離測定装置は、行列状に配列された光電変換素子を含む撮像素子であって、行又は列ごとに順次、露光と電荷の読み出しとを行うことにより、被写体を撮像する撮像素子と、前記撮像素子に前記被写体の像を結像させるための光学系であって、前記光学系の合焦位置が制御可能である光学系とを備え、前記距離測定方法は、前記合焦位置を等速で移動させるように前記光学系を制御し、かつ、前記合焦位置が等速で移動している最中に前記撮像素子に前記被写体を順次撮像させることで、複数のぼけ画像を取得する撮像制御ステップと、被写体距離に応じた点像分布関数と、前記複数のぼけ画像とを用いて、前記光学系における基準位置から前記被写体までの距離を計測する距離計測ステップと、前記複数のぼけ画像を取得した際の行又は列ごとの前記露光の期間における前記合焦位置の移動範囲に応じて、前記距離計測ステップでの前記距離の計測の前又は後に、前記距離についての行又は列ごとの補正処理を行う補正ステップとを含む距離測定方法である。

これにより、上記の距離測定装置と同様の効果を奏する。

また、本発明の一態様に係るプログラムは、上記の距離測定方法をコンピュータに実行させるためのプログラムである。

これにより、上記の距離測定装置と同様の効果を奏する。

なお、これらの包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ−ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムまたは記録媒体の任意な組み合わせで実現されてもよい。

以下、実施の形態について、図面を参照しながら具体的に説明する。

なお、以下で説明する実施の形態は、いずれも包括的または具体的な例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本発明を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。

（実施の形態１）
図３は、本実施の形態における距離測定装置の構成を示すブロック図である。

図３に示されるように、距離測定装置１０は、光学系１１と、合焦位置設定部１２と、合焦位置制御部１３と、撮像素子１４と、画像取得部１５と、距離計測部１６と、距離補正部１７と、距離補正量算出部１８とを備える。

なお、合焦位置設定部１２と、合焦位置制御部１３と、画像取得部１５とをまとめて撮像制御部１２Ａという場合がある。また、距離補正部１７と、距離補正量算出部１８とをまとめて補正部１７Ａという場合がある。

光学系１１は、被写体像を撮像素子１４に結像させる。また、光学系１１の像面側の合焦位置は制御可能である。

合焦位置設定部１２は、ＤＦＤ用の画像を撮影する際の、合焦位置の移動方法を設定する。

合焦位置制御部１３は、合焦位置設定部１２で設定された合焦位置を用いて、実際に合焦位置の位置を制御する。

合焦位置制御部１３は、アクチュエータで構成され、撮像素子１４を光軸方向に移動させて、合焦位置の制御を行う。

撮像素子１４は、ローリングシャッターを備えるＣＭＯＳセンサーである。撮像素子１４は、光電変換素子を含む画素が二次元（行列状）に配列され、行又は列ごとに順次、露光と、電荷又は電気信号の読み出しとを行うことにより、被写体を撮像し、画像データを生成する。なお、本実施の形態では、撮像素子１４は行ごとに順次、露光と、電荷の読み出しとを行い、Ａ行で構成されている場合を例として説明するが、本発明はこれに限られない。

画像取得部１５は、撮像素子１４から複数の画像を取得し、取得した画像を保持する。

距離計測部１６は、単一の視点から撮影された複数の画像であって、異なる距離に合焦した複数の画像を用い、ＤＦＤによって距離計測を行う。

距離補正部１７は、距離計測部１６が距離を計測する前、又は、距離計測部１６が距離を計測した後に、ローリングシャッターに起因する距離のずれを補正するための補正処理を行う。

距離補正量算出部１８は、距離補正部１７による補正処理で使用される補正量を、撮像素子１４の各行ごとに算出する。

次に、距離計測部１６が行うＤＦＤによる距離計測について説明する。

ＤＦＤは、合焦位置の異なる少ない枚数の画像に含まれるぼけの相対関係から、被写体までの距離を求める技術である。任意の距離ｎに合焦している状態で撮影された、任意の距離に存在する被写体のぼけ画像ｉは、式１のように表現できる。

式１において、ｉは撮影されたぼけ画像、ｈｓは距離ｓに合焦した状態における距離ｄに存在する被写体に対応する点像分布関数（Ｐｏｉｎｔ Ｓｐｒｅａｄ Ｆｕｎｃｔｉｏｎ（ＰＳＦ））、ｆはぼけを含まない全焦点画像、＊は畳み込み積分の演算子をそれぞれ表す。

式１において、全焦点画像ｆと被写体距離ｄとの２つの変数は未知である。式１のように、ぼけ画像ｉと点像分布関数ｈとは、合焦位置ｓと被写体距離ｄとの関数になっている。よって、先験情報として、複数の合焦位置ｓ１、ｓ２、…と、それぞれの合焦位置ｓ１、ｓ２、…における被写体距離ｄにおける点像分布関数ｈｓ１（ｄ）、ｈｓ２（ｄ）、…とを予め保持していれば、式の数が未知数以上になり、被写体距離ｄを求めることができる。

実際に、例えば、式２で表される合焦位置の異なる二枚の画像から被写体距離ｄを求める場合の計算方法を紹介する。式２において、ｉ１及びｉ２は、それぞれ、合焦位置１及び合焦位置２における撮影画像を表す。ｈ１（ｄ）は、合焦位置１における被写体距離ｄに対応する点像分布関数を表す。ｈ２（ｄ）は、合焦位置２における被写体距離ｄに対応する点像分布関数を表す。ｆは、全焦点画像を表す。

ＤＦＤでは、合焦位置１における複数の被写体距離の点像分布関数であるｈ１（ｄｊ）と、合焦位置１とは異なる合焦位置２における複数の被写体距離の点像分布関数であるｈ２（ｄｊ）とのセットを１つ予め保持しておく。ここで、ｊ＝１、２、…、Ｊである。合焦位置１及び合焦位置２において、それぞれ画像を撮影し、式３によって被写体距離ｄを算出する。

式３において、Ｉ１、Ｉ２、Ｈ１、Ｈ２は、それぞれｉ１、ｉ２、ｈ１、ｈ２をフーリエ変換して得られる変数である。ｃは、ゼロによる除算を防ぐための微小な値である。Ｆ−１は、逆フーリエ変換を表す。式３によって、被写体距離ｄは、アナログ値ではなく、ｄｊ（ｊ＝１、２、…、Ｊ）の中の１つのｄｊで表される。点像分布関数ｈ１及びｈ２をそれぞれ、Ｊ個保持しておくと、最大Ｊ段階で被写体距離を求めることができる。

そして、画像の二次元に配置される各画素において、式３の計算を実施することにより、撮影シーンの距離画像を作成することができる。ここで、距離画像とは、被写体までの距離情報を各画素に有する画像をいう。

ＳｗｅｅｐＤＦＤにおける距離算出も同様に実施することができる。つまり、露光中に合焦位置を移動させた場合の点像分布関数ｈ１（ｄｊ）及びｈ２（ｄｊ）（ｊ＝１、２、…、Ｊ)のセットを１つ予め保持しておけばよい。ＳｗｅｅｐＤＦＤでは、露光中に合焦位置が移動するので、上記点像分布関数ｈ１（ｄｊ）及びｈ２（ｄｊ）は、移動範囲内の各合焦位置の点像分布関数が連続的に積算された点像分布関数として表されることが可能である。

予め保持する点像分布関数は、例えば光学シミュレーションソフトによる光学シミュレーションにより出力される。また、ＳｗｅｅｐＤＦＤに用いる点像分布関数であって、露光中に合焦位置を移動させた場合の積算された点像分布関数は、光学シミュレーションで、合焦位置の移動範囲内の複数の合焦位置での点像分布関数を出力した後、出力された点像分布関数を平均化することで算出される。

また、ＤＦＤによる距離の算出方法は、本実施の形態で示した方法に限るものではなく、画像中に含まれるぼけの情報から距離を算出する方法であれば特に制限はされない。

次に、本実施の形態における、ローリングシャッターを備えるＣＭＯＳセンサーで、２枚の画像を用いて、ＤＦＤを行う方法について説明する。

図４は、本実施の形態における距離測定装置を用いて画像を撮影する場合の撮影動作、合焦位置、及び、合焦範囲の説明図である。

図４の（ａ）は、本実施の形態における距離測定装置１０を用いて、ＤＦＤに用いる２枚の画像を撮影する場合において、撮像素子の撮影動作を示す図である。図４の（ｂ）は、本実施の形態における距離測定装置１０を用いて、ＤＦＤに用いる２枚の画像を撮影する場合において、合焦位置の移動の様子を示す図である。図４の（ｃ）は、本実施の形態における距離測定装置１０を用いて、ＤＦＤに用いる２枚の画像を撮影する場合において、２枚の画像が露光される合焦範囲を示す図である。

図５は、関連技術における撮影動作、合焦位置、及び合焦範囲の説明図である。具体的には、図５は、ローリングシャッターを備える撮像素子１４への対策として図２の（ｂ）の撮影方法が用いられた場合における、図４と同様の項目を比較のために示している。

図５の（ａ）は、ＤＦＤに用いる２枚の画像を図２の（ｂ）の方法で撮影する場合において、撮像素子の撮影動作を示す図である。図５の（ｂ）は、ＤＦＤに用いる２枚の画像を図２の（ｂ）の方法で撮影する場合において、合焦位置の移動の様子を示す図である。図５の（ｃ）は、ＤＦＤに用いる２枚の画像を図２の（ｂ）の方法で撮影する場合において、２枚の画像が露光される合焦範囲を示す図である。

本実施の形態では、図４の（ａ）及び（ｂ）に示すように、合焦位置制御部１３は、１枚目の画像の取得のために撮像素子１４の１行目の露光が開始される時点から、２枚目の画像の取得のために撮像素子１４のＡ行目の露光が完了する時点まで、光学系１１の合焦位置を、ｆ１（合焦位置１）からｆ２（合焦位置２）まで像面側において等速で移動させる。ここで、「等速」とは、厳密に一定の速度であることだけでなく、実質的に等速と考えられる範囲で変動する速度であることも含む概念である。本明細書内の他の箇所でも同様である。

図４中の符号を用いてより詳細に説明する。１枚目の画像の取得のために撮像素子１４の１行目の露光を開始する時刻をＴＳ（１）とし、１枚目の画像の取得のために撮像素子１４のＡ行目の露光を完了する時刻をＴＥ（１）とし、２枚目の画像の取得のために撮像素子１４の１行目の露光を開始する時刻をＴＳ（２）とし、２枚目の画像の取得のために撮像素子１４のＡ行目の露光を完了する時刻をＴＥ（２）とする。この場合、合焦位置制御部１３は、ＴＳ（１）からＴＥ（２）までの期間に、合焦位置をｆ１からｆ２まで、像面側で等速に移動させる。合焦位置の移動方法は、合焦位置設定部１２によって設定される。合焦位置の移動は、合焦位置設定部１２によって設定された合焦位置を用いて、合焦位置制御部１３によって行われる。

なお、図４において、合焦位置は、像面側での位置で表記している。また１行当たりの露光時間は、１枚目及び２枚目の両方について同一の値が設定されており、１ＶＤの時間の４／５としている。図４のような撮影方法では、露光中に合焦位置を移動させるため、ＳｗｅｅｐＤＦＤを前提とする。また、ローリングシャッターを用いるので、撮像素子１４の各行で露光される合焦範囲が異なる。

図４の（ｃ）は、図４の（ａ）及び（ｂ）に示す撮影方法で撮影した場合における、撮像素子１４の各行ごとの、露光される合焦範囲を示す。図４の（ｂ）及び（ｃ）の合焦位置ｆａ、ｆｂ、ｆｃ、ｆｄは、合焦位置ｆ１とｆ２との間の合焦位置を示しており、図４の（ｂ）と（ｃ）とで対応している。また、合焦位置が像面側で等速で移動しているので、１ＶＤの時間と露光時間との比率から、合焦位置ｆ１とｆａとの間隔、合焦位置ｆｂとｆｃとの間隔、及び、合焦位置ｆｄとｆ２との間隔は同じである。また、合焦位置ｆａとｆｂとの間隔、及び、合焦位置ｆｃとｆｄとの間隔は同じである。また、合焦位置ｆ１とｆａとの間隔は、合焦位置ｆａとｆｂとの間隔の４倍となる。例えば、１枚目の画像を取得する際、撮像素子１４の１行目の電荷リセット後の露光開始時刻に合焦位置がｆ１である。また、１枚目の画像を取得する際、撮像素子１４の１行目の露光完了後の電荷読み出し時刻に合焦位置がｆａである。よって、撮像素子１４の１行目は、合焦位置ｆ１からｆａまでの範囲の像を均一に積算する。また、露光される合焦範囲の像面側における長さは各行で同一となり、露光される合焦範囲の位置は、１行目からＡ行目まで均一にずれる。ここで、「同一」とは、厳密に同一であることだけでなく、実質的に同一と考えられる範囲であることも含む概念である。本明細書内の他の箇所でも同様である。

距離計測部１６は、図４のようにして得られた２枚の画像より被写体距離を式３を用いて算出する。式３では、Ｊ段階の点像分布関数ｈ１（ｄｊ）及びｈ２（ｄｊ）（ｊ＝１、２、…、Ｊ)の１セットを予め保持しておく必要があるが、図４に示す本実施の形態の撮影方法では、行ごとに合焦範囲が異なるため、保持すべき点像分布関数ｈ１及びｈ２のセットも行ごとに変える必要がある。ただし、本実施の形態の図４のような撮影方法であると、点像分布関数ｈ１及びｈ２の１つのセットを用いて全ての行に対してＤＦＤを行うので、行ごとに点像分布関数ｈ１及びｈ２を変えない場合、距離計測部１６が算出した距離は、実際の距離とは、ずれてしまう。

そのため、距離補正量算出部１８が距離の補正量を算出した後、距離補正部１７は、距離補正量算出部１８が算出した補正量を用いて演算により距離計測部１６が算出した距離を補正する。これにより、距離測定装置１０は、被写体までの正確な距離を求める。

距離補正量算出部１８は、撮像素子１４の各行における各被写体の距離ごとの露光中の合焦位置の移動範囲から、点像分布関数の類似性を判断して、各行の距離の補正量を求める。距離補正部１７は、距離補正量算出部１８が算出した撮像素子１４の各行の距離の補正量を、距離計測部１６が算出した距離から減算もしくは加算することで、距離を補正する。距離の補正量の算出方法、及び、補正の方法について、図６及び図７を用いて詳しく説明する。

図６は、実施の形態１における、撮像素子で積算される点像分布関数の幾何光学的な直径の第一の説明図である。

図６の（ａ）は、具体的には、本実施の形態における距離測定装置１０を用いて、ＤＦＤに用いる２枚の画像を撮影する場合において、被写体からの光線を光学系により集光した場合の様子を示す図である。図６の（ｂ）は、本実施の形態における距離測定装置１０を用いて、ＤＦＤに用いる２枚の画像を撮影する場合において、図６の（ａ）中の円で囲んだ光線の集光位置の辺りを拡大した図であり、ある距離（合焦位置ｆｄで合焦する被写体距離）に存在する被写体を図４の方法で撮影した場合における、撮像素子１４の各行で積算される点像分布関数の幾何光学的な直径を示す。

補正量は、撮像素子１４の全領域に含まれる被写体が、同じ距離に存在する場合を想定して算出する。撮像素子の１行目〜Ａ行目までの各行では、図６の（ｂ）中の矢印の根元から矢印の先端までで示される合焦位置における点像分布関数が積算される。例えば、撮像素子１４の１行目では、１枚目の撮影画像については、合焦位置ｆ１からｆａまでの点像分布関数が積算され、２枚目の撮影画像については、合焦位置ｆｂからｆｃまでの点像分布関数が積算される。図６の（ｂ）に示される各行において、積算される点像分布関数の直径が異なり、積算される範囲が直線的に少しずつずれていることが分かる。

図７は、実施の形態１における、撮像素子で積算される点像分布関数の幾何光学的な直径の第二の説明図である。

図７は、具体的には、本実施の形態１における距離測定装置１０を用いて、ＤＦＤに用いる２枚の画像を撮影する場合において、図６の（ａ）において円で囲んだ光線の集光位置の辺りを拡大した図であり、異なる距離に存在する被写体を撮影した場合における、撮像素子のＡ行目で積算される点像分布関数の幾何光学的な直径を距離別に示す図である。

図７は、図６の（ｂ）と同様に、光線の集光位置を拡大した図であり、異なる距離に存在する被写体を撮影した場合における、撮像素子１４のＡ行目で積算される点像分布関数の幾何光学的な直径を距離別に示す。

なお、全ての距離において、Ｆ値を同一として作図している。距離ｄ１は、図６の（ｂ）における被写体距離と同じであり、合焦位置ｆｄで合焦する被写体距離となる。隣接する距離ｄｊと距離（ｄｊ＋１）との間隔は、像面側において合焦位置が均等の間隔になるように設定してある。具体的には、距離ｄｊと距離（ｄｊ＋１）との間隔は、合焦位置ｆａとｆｂとの間隔と同じになるように設定してある。１枚目では、露光中に合焦位置が合焦位置ｆｂから合焦位置ｆｃまで移動する。よって、撮像素子１４のＡ行目では、距離ごとに積算される点像分布関数の直径が異なることが分かる。

なお、本実施の形態では、距離計測部１６は、図７に示される点像分布関数ｈ１（ｄｊ）及びｈ２（ｄｊ）（ｊ＝１、２、…、Ｊ)のセットを保持しているとする。この点像分布関数のセットでは、合焦位置ｆｄで距離ｄ１に合焦しており、図４の撮影方法で撮影された場合に、撮像素子１４のＡ行目で積算される点像分布関数が想定されている。保持している点像分布関数ｈ１（ｄｊ）及びｈ２（ｄｊ）（ｊ＝１、２、…、Ｊ)の１つのセットは、ｈ１及びｈ２でそれぞれＪ段階ずつあり、点像分布関数のｄｊ（ｊ＝１、２、…、Ｊ)は、図７の距離ｄ１、ｄ２、ｄ３、ｄ４、ｄ５、ｄ６、…に対応する。例えば、図７の距離ｄ１に対応する１枚目の画像の点像分布関数は、ｈ１（ｄ１）である。

図６の（ｂ）と図７とを比較すると、図６の（ｂ）のある行で積算される点像分布関数の直径と、図７のある距離で積算される点像分布関数の直径とが、ほぼ同じ値になっていることが分かる。積算される点像分布関数の直径が同一であれば、露光中の合焦位置移動によって積算及び平均化される点像分布関数同士も同一となる。

例えば、図６の（ｂ）の４Ａ／５行目で積算される点像分布関数の直径と、図７の距離ｄ２で積算される点像分布関数の直径とは、ほぼ同じ値である。同様に、図６の（ｂ）のＡ、３Ａ／５、２Ａ／５、Ａ／５、１行目と、図７の距離ｄ１、ｄ３、ｄ４、ｄ５、ｄ６とでは、それぞれ積算される点像分布関数の直径がほぼ同じ値となる。そのため、式３を用いたＳｗｅｅｐＤＦＤによって被写体の距離を求める際に、保持している１セットの点像分布関数ｈ１及びｈ２を撮像素子１４の全行で用いた場合、撮影した被写体が全て同じ距離に存在していたとしても、行ごとに算出される距離がずれてしまう。

本実施の形態で保持している点像分布関数ｈ１及びｈ２を計算に使用すると、撮影した被写体が全て距離ｄ１に存在していたとしても、撮像素子１４のＡ行目では、距離ｄ１と算出されるが、撮像素子１４の１、Ａ／５、２Ａ／５、３Ａ／５、４Ａ／５行目では、それぞれ距離ｄ６、ｄ５、ｄ４、ｄ３、ｄ２となり、正確な距離を求めることができない。

ただし、図４で示すように、２枚の画像の取得のために露光されている間に合焦位置を像面側で等速に移動させた場合、行ごとの算出距離のずれは、距離算出後に容易に補正が可能となる。距離ｄ１に存在する被写体を撮影した場合、撮像素子１４の１、Ａ／５、２Ａ／５、３Ａ／５、４Ａ／５、Ａ行目では、算出される距離は、それぞれ距離ｄ６、ｄ５、ｄ４、ｄ３、ｄ２、ｄ１となる。つまり、算出される距離は、Ａ／５行ごとに１段階分ずつずれていることが分かる。図６及び図７の場合に限らず、図４で示すように、２枚の画像が露光されている間に合焦位置を像面側で等速に移動させた場合、ある幅の行ごとに１段階ずつ算出距離がずれ、またそのずれ量は、容易に算出可能である。そのため、予め行ごとの算出距離のずれ量を計算して、行ごとの距離の補正量を求めておき、距離補正部１７によって、算出した補正量を用いて、行ごとに距離を補正すると、全行において正確な距離を求めることができる。

本実施の形態の図６及び図７の場合では、距離補正量算出部１８で算出される補正量は、撮像素子１４の１、Ａ／５、２Ａ／５、３Ａ／５、４Ａ／５行目では、それぞれ、５、４、３、２、１段階分となり、距離補正部１７により、撮像素子１４の１、Ａ／５、２Ａ／５、３Ａ／５、４Ａ／５行目において、距離計測部１６が算出した距離から、それぞれ、５、４、３、２、１段階減算することにより正確な距離を求めることができる。Ａ行目の補正量は０段階と言うこともできる。

なお、１行目とＡ行目との算出距離のずれ量Ｄｄｉｆｆ（単位は段階）は、点像分布関数の類似性から、図６及び図７のように図を用いて算出でき、また式４の式を用いても算出できる。

式４において、Ｄｄｉｆｆは、１行目とＡ行目との算出距離のずれ量を、段階の数を単位として示したものである。Ｓは、１枚目の画像の１行目の露光開始から１枚目の画像のＡ行目の露光完了までに移動する合焦位置の移動量である。ＴＶＤは、１ＶＤの時間である。Ｅは、１枚目の画像の１行目の露光開始から１枚目の画像のＡ行目の露光完了までの合計時間である。ｄは、距離１段階分の合焦位置の移動距離である。Ｓは、１枚目の画像の１行目の露光開始から２枚目の画像のＡ行目の露光完了までに移動する合焦位置の移動量である。Ｅは、１枚目の画像の１行目の露光開始から２枚目の画像のＡ行目の露光完了までの合計時間としてもよい。

図６及び図７から分かるように、図７の場合を想定して、点像分布関数ｈ１及びｈ２の１つのセットを保持して、距離計測部１６において距離算出の計算に用いた場合、距離ｄ１に存在する被写体の距離を測定すると、Ａ行目では、距離はｄ１と算出され、１行目では、距離はｄ６となる。

そのため、図より求められるＤｄｉｆｆは、５段階であり、１行目では、距離計測部１６で算出された距離から５段階分減算する必要がある。また、式４に図４、図６及び図７の値を当てはめてみると、式からは、Ｓは（合焦位置ｆ２−ｆ１）、Ｅは（３−１／５）×ＴＶＤ、ｄは（合焦位置ｆａ−ｆｂ）であり、（合焦位置ｆ２−ｆ１）＝１４ｄであるので、Ｄｄｉｆｆ＝５となり、図より求めた場合と一致する。

行ごとのずれ量は、Ｄｄｉｆｆを用いて、１行目からＡ行目の間のどの行かによって、比率によって計算することができ、ｘ行目の算出距離のずれ量Ｄｄｉｆｆ（ｘ）は式５より求めることができる。

Ｄｄｉｆｆが少数になった場合は、四捨五入や切り上げ、切り下げ等の処理を行う。

距離補正部１７は、図もしくは式４、式５より算出したＤｄｉｆｆ（ｘ）を用いて、距離計測部１６がＳｗｅｅｐＤＦＤで求めた距離から撮像素子１４の各行ごとに、Ｄｄｉｆｆ（ｘ）の値を減算して補正し、正確な距離を求めることができる。ただし、式５を用いる際は、撮像素子の行番号を１行目からではなく、０行目から数える必要がある。

以上のように、距離補正部１７は、距離計測部１６が算出したあらゆる距離に存在する被写体の距離に対して、撮像素子１４の全領域に含まれる被写体が同じ距離に存在する場合を想定して距離補正量算出部１８が算出した、距離の補正量を加算又は減算することにより被写体までの正確な距離を求めることができる。

本実施の形態では、ローリングシャッターを備える撮像素子１４によって撮影された２枚の画像からＳｗｅｅｐＤＦＤによって距離を求める方法を示した。積算されたＳｗｅｅｐＤＦＤ用の点像分布関数ｈ１（ｄｊ）及びｈ２（ｄｊ）（ｊ＝１、２、…、Ｊ）を予め１セット保持しておき、ＳｗｅｅｐＤＦＤによって距離を算出し、距離算出後に距離の補正を行う。

画像の撮影は、１枚目の１行目の露光開始から２枚目のＡ行目の露光完了まで、合焦位置を像面側で等速で移動させて行う。このような撮影方法で画像を撮影することにより、各行での算出距離の補正を容易に行うことができる。もし、合焦位置を等速に移動させていなければ、行ごとの補正は容易には行えない。本実施の形態のように、合焦位置を移動させながら距離を算出し、算出した距離を容易に補正して正確な距離を求めることができるので、合焦位置、範囲の異なる複数枚の画像を必要とするＤＦＤを、高速に効率よく行うことが可能である。

図４の（ａ）に示された本実施の形態の撮影方法と、図５の（ａ）に示された関連技術における撮影方法を比較すれば、本実施の形態の方が２枚の画像の撮影時間が短いことが分かる。また、図４における合焦位置の制御は、合焦位置が細かく往復運動するような制御ではなく、合焦位置が一方向へ移動する制御のみである。そのため、合焦位置制御部１３にかかる負担が小さく抑えられ、また合焦位置の移動に必要な消費電力も小さく抑えることができる。

なお、本実施の形態では、距離の補正は、距離計測部１６が距離を算出した後のタイミングに実行する例を説明したが、距離算出前のタイミングに行われてもよい。距離算出前の補正では、予め保持している点像分布関数のセットを、行ごとにその行での補正量の段階数分だけずらして式３に代入する。つまり、点像分布関数の独立変数である距離ｄを補正量の段階数分だけずらしてから、距離計測部１６が距離を算出するようにしてもよい。

また、距離算出前の補正と、距離算出後の補正を組み合わせてもよい。なお、距離算出前の補正では、予め保持している点像分布関数のセットを行ごとに保持して、行ごとに距離算出の計算に使用する点像分布関数のセットを変えてもよいが、その場合、データ保持用のメモリも大量に必要になる。予め保持している点像分布関数のセットを、行ごとにその行での補正量の段階数分だけずらす方法を用いると、データ保持用のメモリ量を少なくすることができる。

また、距離算出前の補正の方法の一つとして、予め行ごとに異なる点像分布関数ｈ１（ｄｊ）及びｈ２（ｄｊ）（ｊ＝１、２、…、Ｊ）のセットを全行分保持しておく方法を用いてもよい。その場合、本実施の形態のような特別な方法を用いなくても、露光中に合焦位置を自由に移動させながらＤＦＤによる距離計測が可能となるが、点像分布関数のセットを全行で保持するためには、各行において、合焦位置の移動の軌跡から各行の点像分布関数を作成する必要がある。合焦点の移動が像面側において等速に移動していない場合、合焦位置ごとの露光時間から、積算する点像分布関数の重みを計算する必要があり、像分布関数の作成は複雑になる。また、カメラ及びレンズ内に全行の点像分布関数のデータを保持する必要があり、データ保持用のメモリも大量に必要になる。これに対し、本実施の形態では、必要な点像分布関数のセットは、１つだけでよく、また、積算する点像分布関数の重みを合焦位置ごとに同一とすればよいので、点像分布関数の計算も簡単になる。

なお、本実施の形態では、２枚の画像から距離を算出したが、２枚以上のＮ枚の画像を用いて距離を算出してもよい。その場合、１枚目の１行目の露光開始からＮ枚目のＡ行目の露光完了まで、合焦位置を像面側で等速で移動させる。

なお、Ｎ枚の画像のうち、連続する２枚の画像を除く、（Ｎ−２）枚の画像は、本実施の形態（図４）のように露光中に合焦位置を動かしながらの撮影ではなく、関連技術（図５）のように露光中に合焦位置を停止させて撮影する方法で撮影してもよい。その場合、（Ｎ−２）枚の画像用に、合焦位置を停止させた場合の点像分布関数を予め保持しておき、距離の補正は、距離計測部１６によって距離を算出する前の時点での補正に限られる。

なお、本実施の形態では、合焦位置制御部１３は、撮像素子１４を移動させて、合焦位置を移動させたが、光学系１１に含まれるフォーカスレンズを移動させて、合焦位置を移動させてもよい。

なお、本実施の形態では、予め保持しておくＳｗｅｅｐＤＦＤ用の積算された点像分布関数を作成するために、合焦位置の移動範囲内の複数の合焦位置での点像分布関数を光学シミュレーションで出力して、後から平均化して算出する方法を用いた。しかし、モデル関数を用いて算出する方法、実測する方法等のいずれの方法で作成してもよい。また、モデル関数を用いる方法及び実測する方法では、積算された点像分布関数を直接モデル化、実測する方法、もしくは、各合焦位置での点像分布関数を算出、実測し、後から積算する方法がある。

なお、本実施の形態では、距離画像を１枚算出する場合を示したが、連続に動画的に距離画像を算出してもよい。その際、図４において、３枚目の画像の露光中に、像面側において合焦位置２ｆ２から、合焦位置１ｆ１と合焦位置２ｆ２との間隔の分だけ離れた合焦位置３まで合焦位置を等速に移動させてもよい。その際には、対応する点像分布関数を予め追加で保持しておき、合焦位置と点像分布関数との対応関係を用いてＳｗｅｅｐＤＦＤを行うとよい。

また、２枚目の露光が完了してから１ＶＤ空けて、今度は逆に合焦位置をｆ１からｆ２に向かって、合焦位置を像面側において等速に移動させてもよい。その場合、合焦位置を逆に移動する場合に対応する点像分布関数を追加で保持しておき、合焦位置と点像分布関数との対応関係を用いてＳｗｅｅｐＤＦＤを行うとよい。

また、２枚目の露光完了後に１ＶＤ空けてから、合焦位置をｆ１に移動させて、再び図４と同様の撮影方法で撮影してもよい。

また、２枚目の露光が完了してから１ＶＤ空けて、さらに次の１ＶＤの間に合焦位置を任意の位置に移動させて、図４の合焦位置ｆ１及び合焦位置ｆ２を、任意の合焦位置１’及び合焦位置２’とし、同様のフレームワークで撮影してもよい。その際は、対応する点像分布関数を予め追加で保持しておき、合焦位置と点像分布関数との対応関係を用いてＳｗｅｅｐＤＦＤを行うとよい。複数の画像を動画として連続的に距離画像を算出する方法を記載したが、動画として連続的に距離画像を算出する過程において、本実施の形態を含んでいればよく、記載した方法に限るわけではない。

なお、本実施の形態では、撮像素子１４の１行ごとに補正量を算出、補正処理を行っていたが、複数行単位で補正量を算出、補正処理を行ってもよい。

なお、本実施の形態では、撮像素子１４のＡ行目で想定される点像分布関数のセットを保持していたが、他の行で想定される点像分布関数を保持していてもよい。その場合でも、本実施の形態で算出した補正量の相対値は変わらない。例えば、本実施の形態で算出した補正量は、１行目及びＡ行目について、それぞれ、５段階及び０段階であり、その差は５段階である。もし、任意のｘ行目で想定される点像分布関数を保持しておくと、ｘ行目の補正量は０となり、ｘ行目から１行目までの間隔と、ｘ行目からＡ行目までの間隔とから、補正量を新たに求めることができ、１行目とＡ行目との補正量の差は、変わらず５段階となる。ｘ行目を３Ａ／５行目とすると、１行目の補正量が３段階の減算、Ａ行目の補正量が、２段階の加算ということになり、その差は５段階である。１行目とＡ行目とに限らず、その間の補正量も同様に算出することができる。

なお、本実施の形態では、１枚目と２枚目との露光時間を同じとしたが、これに限らず、１枚目と２枚目との露光時間は同じでなくてもよい。その場合、撮影した画像に露光時間に応じた重み付けを行い、また露光時間と合焦位置の移動方法に応じて点像分布関数ｈ１（ｄｊ）、ｈ２（ｄｊ）（ｊ＝１、２、…、Ｊ）を保持しておけばよい。

なお、本実施の形態では、点像分布関数を予め保持しておくとしたが、点像分布関数にモデル関数を用いる場合や、点像分布関数を積算して平均化する計算を行う場合は、点像分布関数を予め保持せず、点像分布関数が必要な時に都度算出してもよい。

なお、本実施の形態に少し変更を加えた複数の距離測定方法を示したが、変更に伴って、新たに点像分布関数もしくは点像分布関数のセットが必要となる場合には、新たに点像分布関数もしくは点像分布関数のセットを追加するものとする。また、新たに点像分布関数もしくは点像分布関数のセットを追加する必要がなく、既に保持している点像分布関数のセットをずらすなどして代用可能な場合には、新たに点像分布関数もしくは点像分布関数のセットを追加するか、又は、既に保持している点像分布関数のセットをずらす等して用いるかは選択可能である。

（実施の形態２）
本実施の形態において、撮像素子により撮像される撮像領域のうちの一部の領域に対して被写体に関する距離の情報を算出する距離測定装置について説明する。なお、実施の形態１における構成要素と同様の構成要素については、同一の符号を付し、詳細な説明を省略することがある。

図８は、本実施の形態における距離測定装置の構成を示すブロック図である。

図８に示されるように、距離測定装置２０は、光学系１１と、合焦位置設定部２２と、合焦位置制御部２３と、撮像素子１４と、画像取得部２５と、距離計測部１６と、距離補正部２７と、距離補正量算出部２８とを備える。

なお、合焦位置設定部２２と、合焦位置制御部２３と、画像取得部２５とをまとめて撮像制御部２２Ａという場合がある。また、距離補正部２７と、距離補正量算出部２８とをまとめて補正部２７Ａという場合がある。

光学系１１は、被写体像を撮像素子１４に結像させる。また、光学系１１の像面側の合焦位置は制御可能である。

合焦位置設定部２２は、ＤＦＤ用の画像を撮影する際の、合焦位置の移動方法を設定する。

合焦位置制御部２３は、合焦位置設定部１２で設定された合焦位置を用いて、実際に合焦位置の位置を制御する。

合焦位置制御部２３は、アクチュエータで構成され、撮像素子１４を光軸方向に移動させて、合焦位置の制御を行う。

撮像素子１４は、ローリングシャッターを備えるＣＭＯＳセンサーである。撮像素子１４は、光電変換素子を含む画素が二次元（行列状）に配列され、行又は列ごとに順次、露光と、電荷又は電気信号の読み出しとを行うことにより、被写体を撮像し、画像データを生成する。なお、本実施の形態では、撮像素子１４は行ごとに順次、露光と、電荷の読み出しとを行い、Ａ行で構成されている場合を例として説明するが、本発明はこれに限られない。

画像取得部２５は、撮像素子１４から複数の画像を取得し、取得した画像を保持する。

距離計測部１６は、単一の視点から撮影された複数の画像であって、異なる距離に合焦した複数の画像を用い、ＤＦＤによって距離計測を行う。

距離補正部２７は、距離計測部１６が距離を計測する前、又は、距離計測部１６が距離を計測した後にローリングシャッターに起因する距離のずれを補正するための補正処理を行う。

距離補正量算出部２８は、距離補正部２７による補正処理で使用される補正量を、撮像素子１４の各行ごとに算出する。

図９は、本実施の形態における距離測定装置を用いて距離が計測される領域の説明図である。具体的には、図９は、全撮像領域の中で、距離測定装置２０が距離を計測する領域を示す図である。

本実施の形態では、撮像領域中の一部の領域をＳｗｅｅｐＤＦＤによる距離算出の対象とする。図９に、撮像領域中の距離算出領域を示す。図９中の距離算出領域で示す四角形の内側を距離算出の対象領域とする。図９中の、距離算出領域の最初の行をＲＳ、距離算出領域の最後の行をＲＥとする。本実施の形態では、撮像素子１４の１行目からＲＳ行目までの間隔、ＲＳ行目からＲＥ行目までの間隔、及び、ＲＥ行目からＡ行目までの間隔の比率を、１０：７：３に設定している。

図１０は、実施の形態２における距離測定装置を用いて画像を撮影する場合の撮影動作、合焦位置、及び、合焦範囲の説明図である。具体的には、図１０の（ａ）は、本実施の形態における距離測定装置２０を用いて、ＤＦＤに用いるｎ枚目、ｎ＋１枚目の画像を撮影する場合において、撮像素子の撮影動作を示す図である。図１０の（ｂ）は、本実施の形態における距離測定装置２０を用いて、ＤＦＤに用いるｎ枚目、ｎ＋１枚目の画像を撮影する場合において、合焦位置の移動の様子を示す図である。図１０の（ｃ）は、本実施の形態における距離測定装置２０を用いて、ＤＦＤに用いるｎ枚目、ｎ＋１枚目の画像を撮影する場合において、２枚の画像中の図９に示す距離算出領域が露光される合焦範囲を示す図である。

次に、本実施の形態におけるローリングシャッターを備えるＣＭＯＳセンサーで、任意のタイミングＴから数えて１枚目と（１＋ｎ）枚目との画像を用いて、ＤＦＤを行う方法について説明する。ただし、ｎ≧１である。本実施の形態では、ｎ＝１とする。

本実施の形態では、図１０の（ａ）及び（ｂ）に示すように、１枚目の距離算出領域の最初の行の露光の開始から、（１＋ｎ）枚目の距離算出領域の最後の行の露光の完了までの間、及び、（１＋ｎ）枚目の距離算出領域の最初の行の露光の開始から、（１＋ｎ）枚目の距離算出領域の最後の行の露光の完了までの間に、合焦位置が像面側において等速で移動される。合焦位置の移動方法は、合焦位置設定部２２によって設定される。合焦位置の移動は、合焦位置設定部１２によって設定された合焦位置を用いて、合焦位置制御部１３によって行われる。

なお、図１０において、合焦位置は、像面側での位置で表記している。また１行当たりの露光時間は、１枚目及び（１＋ｎ）枚目の両方で同一に設定しており、１ＶＤの時間の１／５としている。図１０において、１枚目の画像の取得のために撮像素子１４のＲＳ行目の露光を開始する時刻をＴＳ（１）とし、１枚目の画像の取得のために撮像素子１４のＲＥ行目の露光を完了する時刻をＴＥ（１）とし、（１＋ｎ）枚目の画像の取得のために撮像素子１４のＲＳ行目の露光を開始する時刻をＴＳ（１＋ｎ）とし、（１＋ｎ）枚目の画像の取得のために撮像素子１４のＲＥ行目の露光を完了する時刻をＴＥ（１＋ｎ）とする。

まず、ＴＳ（１）までの期間には、合焦位置をｆ１に停止させておく。そして、ＴＳ（１）からＴＥ（１）までの間に、合焦位置をｆ１からｆａまで、合焦位置を像面側で等速に移動させる。次に、ＴＥ（１）からＴＳ（１＋ｎ）までの間に、合焦位置をｆａからｆｂまで、合焦位置を像面側で等速となるように移動させる。ＴＥ（１）からＴＳ（１＋ｎ）までの間の合焦位置の移動に関しては、本実施の形態では、像面側において等速で移動させたが、像面側において等速でなくてもよい。次に、ＴＳ（１＋ｎ）からＴＥ（１＋ｎ）までの間に、合焦位置をｆｂからｆ２まで、合焦位置を像面側で等速に移動させる。ＴＥ（１＋ｎ）以降は、合焦位置をｆ２に停止させておく。なお、ＴＳ（１）とＴＥ（１）との間、及び、ＴＳ（１＋ｎ）とＴＥ（１＋ｎ）との間の像面側における合焦位置の移動速度を同じにしている。

図１０の（ｃ）は、図１０の（ａ）及び（ｂ）に示す撮影方法で撮影した場合における、図９に示す撮像素子１４中の距離算出領域内の各行ごとの、露光される合焦範囲を示す。図１０の（ｃ）は、図１０の（ａ）及び（ｂ）に示す撮影方法で撮影した場合における、図９に示す撮像素子１４中の距離算出領域内以外の行の、露光される合焦範囲は図示していない。図１０の（ｂ）及び（ｃ）の合焦位置ｆａ、ｆｂは、合焦位置ｆ１とｆ２の間の合焦位置を示しており、図１０の（ｂ）及び（ｃ）で対応している。また、合焦位置ｆ１とｆａとの間隔、及び、合焦位置ｆｂとｆ２との間隔は同じである。また、本実施の形態における合焦位置ｆ１とｆａとの間隔、及び、合焦位置ｆａとｆｂとの間隔は、実施の形態１における合焦位置ｆ１とｆａとの間隔、及び、合焦位置ｆａとｆｂとの間隔と同じに設定している。

本実施の形態でも、ＳｗｅｅｐＤＦＤを前提としており、距離算出、距離補正量の算出及び算出距離の補正の方法や、予め保持しておく積算された点像分布関数の作成方法は、実施の形態１と同様にして距離を求めることができる。

距離補正量算出部１８が算出する、撮像素子１４のＲＳ行とＲＥ行との補正量の差は、実施の形態１の場合と同様に、点像分布関数の類似性から求めることができる。なお、本実施の形態においても、距離ｄ１、ｄ２、…を、実施の形態１と同じ設定として、本実施の形態の新しい積算されたＳｗｅｅｐＤＦＤ用の点像分布関数ｈ１（ｄｊ）及びｈ２（ｄｊ）（ｊ＝１、２、…、Ｊ）を、ＲＥ行目を想定して予め１セット保持していた場合、距離補正量算出部１８が算出する、撮像素子１４のＲＳ行とＲＥ行との補正量の差は、約２．５５段階となる。ＲＳ行とＲＥ行との間の行は、ＲＳ行とＲＥ行との間のどの行かによって、比率によって計算することができる。式４を用いる場合は、ＤｄｉｆｆはＲＳ行目とＲＥ行目との算出距離のずれ量を、段階の数を単位として示したものである。Ｓは、１枚目の画像のＲＳ行目の露光開始から１枚目の画像のＲＥ行目の露光完了までに移動する合焦位置の移動量である。ＴＶＤは、ＲＳ行目からＲＥ行目までの電荷の読み出しにかかる時間である。Ｅは、１枚目の画像のＲＳ行目の露光開始から１枚目の画像のＲＥ行目の露光完了までの合計時間である。ｄは、距離１段階分の合焦位置の移動距離として計算すればよい。

本実施の形態の構成によると、合焦位置の移動を像面側において等速に移動させなければならない期間を制限できるので、その期間外の時刻では、自由に合焦位置を移動及び停止させることができる。図１０では、ＴＳ（１）からＴＥ（１）までの期間と、ＴＳ（１＋ｎ）からＴＥ（１＋ｎ）までの期間とが、距離算出領域の露光時間に相当するので、それ以外の時刻では、合焦位置の移動速度を制限する必要はない。

なお、本実施の形態では、距離の補正は、距離計測部１６によって距離を算出した後のタイミングに実施したが、距離算出前のタイミングに補正を行ってもよい。距離算出前の補正では、予め保持している点像分布関数のセットを、行ごとにその行での補正量の段階数分だけずらして式３の式に代入する。また、距離算出前の補正と、距離算出後の補正とを組み合わせてもよい。なお、距離算出前の補正では、予め保持している点像分布関数のセットを、行ごとに保持して、行ごとに距離算出の計算に使用する点像分布関数のセットを変えてもよいが、その場合、データ保持用のメモリも大量に必要になる。予め保持している点像分布関数のセットを、行ごとにその行での補正量の段階数分だけずらす方法を用いると、データ保持用のメモリ量を少なくすることができる。

また、距離算出前の補正の方法の一つとして、予め行ごとに異なる点像分布関数ｈ１（ｄｊ）及びｈ２（ｄｊ）（ｊ＝１、２、…、Ｊ)のセットを全行分保持しておく方法を用いてもよい。その場合、本実施の形態のような特別な方法を用いなくても、露光中に合焦位置を自由に移動させながらＤＦＤによる距離計測が可能となるが、点像分布関数のセットを全行で保持するためには、各行において、合焦位置の移動の軌跡から各行の点像分布関数を作成する必要がある。合焦点の移動が像面側において等速に移動していない場合、合焦位置ごとの露光時間から、積算する点像分布関数の重みを計算する必要があり、像分布関数の作成は複雑になる。また、カメラ及びレンズ内に全行の点像分布関数のデータを保持する必要があり、データ保持用のメモリも大量に必要になる。これに対し、本実施の形態では、必要な点像分布関数のセットは、１つだけでよく、また、積算する点像分布関数の重みを合焦位置ごとに同一とすればよいので、点像分布関数の計算も簡単になる。

なお、本実施の形態では、任意のタイミングＴから数えて１枚目と（１＋ｎ）枚目との２枚の画像から距離を算出したが、２枚以上のＮ枚の画像を用いて距離を算出してもよい。その場合、１枚目の１行目の露光開始からＮ枚目のＡ行目の露光完了までの間で、撮像素子１４のＲＳ行目からＲＥ行目までが露光されている間は、合焦位置を像面側で等速で動かせばよい。

なお、Ｎ枚の画像のうち、連続する２枚の画像を除く、（Ｎ−２）枚の画像は、実施の形態１（図４）のように露光中に合焦位置を動かしながらの撮影ではなく、関連技術（図５）のように露光中に合焦位置を停止させて撮影する方法で撮影してもよい。その場合、（Ｎ−２）枚の画像用に、合焦位置を停止させた場合の点像分布関数を予め保持しておき、距離の補正は、距離計測部１６によって距離を算出する前の時点での補正に限られる。

なお、本実施の形態では、合焦位置制御部１３は、撮像素子１４を移動させて、合焦位置を移動させたが、光学系１１に含まれるフォーカスレンズを移動させて、合焦位置を移動させてもよい。

なお、本実施の形態では、予め保持しておくＳｗｅｅｐＤＦＤ用の積算された点像分布関数を作成するために、合焦位置の移動範囲内の複数の合焦位置での点像分布関数を光学シミュレーションにより出力して、後から平均化して算出する方法を用いた。しかし、モデル関数を用いて算出する方法、実測する方法等のいずれの方法で作成してもよい。また、モデル関数を用いる方法及び実測する方法では、積算された点像分布関数を直接モデル化、実測する方法、もしくは、各合焦位置での点像分布関数を算出、実測し、後から積算する方法がある。

なお、本実施の形態では、ＴＳ（ｎ）以前の時刻からＴＳ（ｎ）までの時刻では、合焦位置をｆ１に停止させていたが、これに限らず、ＴＳ（ｎ）の時点で合焦位置ｆ１に合焦位置が移動完了していれば、ＴＳ（ｎ）以前の時刻から、ＴＳ（ｎ）までの時刻では、合焦位置はどのような動きをしていてもよい。

また、本実施の形態では、ＴＥ（ｎ）からＴＳ（ｎ＋１）までの時刻では、合焦位置ｆａから合焦位置ｆｂまで、合焦位置を像面側で等速で移動させていたが、これに限らず、ＴＳ（ｎ＋１）の時点で合焦位置ｆｂの位置に移動が完了していれば、ＴＥ（ｎ）からＴＳ（ｎ＋１）までの時刻では、合焦位置はどのような動きをしていてもよい。

また、本実施の形態では、ＴＥ（ｎ＋１）以降の時刻では、合焦位置を合焦位置２ｆ２に停止させていたが、これに限らず、ＴＥ（ｎ＋１）以降の時刻では、合焦位置はどのような動きをしていてもよい。

なお、本実施の形態では、ＴＳ（１）からＴＥ（１）までの期間と、ＴＳ（１＋ｎ）からＴＥ（１＋ｎ）までの期間とにおける合焦位置の移動量は、像面側で同一としたが、ＴＥ（１）≦ＴＳ（１＋ｎ）の場合は、ＴＳ（１）からＴＥ（１）までの期間とＴＳ（１＋ｎ）からＴＥ（１＋ｎ）までの期間とにおける合焦位置の移動量は略同一でなくてもよい。なお、ＴＥ（１）＞ＴＳ（１＋ｎ）の場合は、実施の形態１の場合と同様になる。

また、ＴＥ（１）＞ＴＳ（１＋ｎ）の場合、実施の形態１の撮影方法を用い、ＴＥ（１）≦ＴＳ（１＋ｎ）の場合は、本実施の形態の撮影方法もしくは下記に示す方法２’を選択的に用いることができるとしてもよい。方法２’では、図１０において、ＴＳ（１）からＴＥ（１）までの間は、合焦位置をｆ１に停止させ、ＴＥ（１）からＴＳ（１＋ｎ）までの間に、合焦位置をｆ１とは異なるｆ３に移動させ、ＴＳ（１＋ｎ）からＴＥ（１＋ｎ）までの間は、合焦位置をｆ３に停止させる。方法２’では、ＳｗｅｅｐＤＦＤではなく、普通のＤＦＤとなる。

下記により一般的に記載する。ｎ≧１、（ｎ−１）≧ｘ≧０のとき、撮影された（１＋ｎ）枚の画像の中で、連続する（１＋ｘ）枚目、（１＋ｘ＋１）枚目の画像において、（１＋ｘ）枚目のＲＳ行目の露光開始時刻をＴＳ（１＋ｘ）とし、（１＋ｘ）枚目のＲＥ行目の露光完了時刻をＴＥ（１＋ｘ）とし、（１＋ｘ＋１）枚目のＲＳ行目の露光開始時刻をＴＳ（１＋ｘ＋１）とし、（１＋ｘ＋１）枚目のＲＥ行目の露光完了時刻をＴＥ（１＋ｘ＋１）とすると、ＴＥ（１＋ｘ）≦ＴＳ（１＋ｘ＋１）の場合は、ＴＳ（１＋ｘ）からＴＥ（１＋ｘ）までの期間とＴＳ（１＋ｘ＋１）からＴＥ（１＋ｘ＋１）までの期間と時刻における、合焦位置の移動量は同一でなくてもよい。なお、ＴＥ（１＋ｘ）＞ＴＳ（１＋ｘ＋１）の場合は、実施の形態１の場合と同様になる。

また、ＴＥ（１＋ｘ）＞ＴＳ（１＋ｘ＋１）の場合、実施の形態１の撮影方法を用い、ＴＥ（１＋ｘ）≦ＴＳ（１＋ｘ＋１）の場合は、本実施の形態の撮影方法もしくは下記に示す方法２’を選択的に用いることができるとしてもよい。方法２’では、図１０において、ＴＳ（１＋ｘ）からＴＥ（１＋ｘ）までの間は、合焦位置をｆ１に停止させ、ＴＥ（１＋ｘ）からＴＳ（１＋ｘ＋１）までの間に、合焦位置をｆ１とは異なるｆ３に移動させ、ＴＳ（１＋ｘ＋１）からＴＥ（１＋ｘ＋１）までの間は、合焦位置をｆ３に停止させる。

なお、距離測定装置２０は、ＴＥ（１＋ｘ）及びＴＳ（１＋ｘ＋１）の時刻の前後関係を判断する露光時刻前後関係判定部（不図示）を備え、露光時刻前後関係判定部が、ＴＥ（１＋ｘ）＞ＴＳ（１＋ｘ＋１）もしくはＴＥ（１＋ｘ）≦ＴＳ（１＋ｘ＋１）のいずれであるかを判定するとしてもよい。

なお、本実施の形態では、距離画像を１枚算出する場合を示したが、動画として連続的に距離画像を算出してもよい。その際、ＴＥ（ｎ＋１）からＴＳ（ｎ＋２）までの間に、合焦位置をｆ１まで移動させ、（ｎ＋２）枚目と（ｎ＋３）枚目との画像を、図１０のｎ枚目と（ｎ＋１）枚目との画像と同様の方法で撮影してもよい。もしくは、（ｎ＋２）枚目と（ｎ＋３）枚目は、ｎ枚目と（ｎ＋１）枚目とは別の合焦位置、範囲で撮影してもよい。その場合、対応する点像分布関数を予め追加で保持しておけばよい。

複数の画像を動画として連続的に距離画像を算出する方法を記載したが、動画として連続的に距離画像を算出する過程において、本実施の形態を含んでいればよく、記載した方法に限るわけではない。

なお、本実施の形態では、撮像素子１４の１行ごとに補正量を算出し、補正処理を行うことを説明したが、撮像素子１４の複数行ごとに補正量を算出し、補正処理を行ってもよい。

なお、本実施の形態では、撮像素子１４のＲＥ行目で想定される点像分布関数のセットを保持していたが、他の行で想定される点像分布関数を保持していてもよい。その場合でも、本実施の形態で算出した補正量の相対値は変わらない。

なお、本実施の形態では、１枚目と（１＋ｎ）枚目との露光時間を同じとしたが、これに限らず、１枚目と（１＋ｎ）枚目との露光時間は同じでなくてもよい。その場合、撮影した画像に露光時間に応じた重み付けを行い、また露光時間と合焦位置の移動方法とに応じて点像分布関数ｈ１（ｄｊ）及びｈ２（ｄｊ）（ｊ＝１、２、…、Ｊ）を保持しておけばよい。

なお、本実施の形態では、距離算出領域を図９で示す範囲と設定したが、これに限るわけではなく、撮像素子１４の１行目からＡ行目までの任意の範囲で設定可能である。

なお、本実施の形態では、ＴＳ（１）からＴＥ（１）までの期間、ＴＳ（１＋ｎ）からＴＥ（１＋ｎ）までの期間の像面側における合焦位置の移動速度を同じとしたが、ＴＥ（１）≦ＴＳ（１＋ｎ）の場合は、同じにする必要はない。ただし、その場合は、距離の補正は、距離計測部１６によって距離を算出する前の時点での補正に限られる。

なお、本実施の形態では、点像分布関数を予め保持しておくとしたが、点像分布関数に、モデル関数を用いる場合や、点像分布関数を積算して平均化する計算は、予め保持せず、必要な時に都度計算してもよい。

なお、本実施の形態に少し変更を加えた複数の距離測定方法を示したが、変更に伴って、新たに点像分布関数もしくは点像分布関数のセットが必要となる場合には、新たに点像分布関数もしくは点像分布関数のセットを追加するものとする。また、新たに点像分布関数もしくは点像分布関数のセットを追加する必要がなく、既に保持している点像分布関数のセットをずらすなどして代用可能な場合には、新たに点像分布関数もしくは点像分布関数のセットを追加するか、又は、既に保持している点像分布関数のセットをずらす等して用いるかは選択可能である。

なお、全ての実施例において、ステッピングモーターにおけるコギングで発生する速度のばらつき等、アクチュエータの通常発生し得る速度のばらつきは、実質的に等速と考えられる範囲内である。

なお、上記各実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。ここで、上記各実施の形態の距離測定装置などを実現するソフトウェアは、次のようなプログラムである。

すなわち、このプログラムは、コンピュータに、距離測定装置における距離測定方法であって、前記距離測定装置は、行列状に配列された光電変換素子を含む撮像素子であって、行又は列ごとに順次、露光と電荷の読み出しとを行うことにより、被写体を撮像する撮像素子と、前記撮像素子に前記被写体の像を結像させるための光学系であって、前記光学系の合焦位置が制御可能である光学系とを備え、前記距離測定方法は、前記合焦位置を等速で移動させるように前記光学系を制御し、かつ、前記合焦位置が等速で移動している最中に前記撮像素子に前記被写体を順次撮像させることで、複数のぼけ画像を取得する撮像制御ステップと、被写体距離に応じた点像分布関数と、前記複数のぼけ画像とを用いて、前記光学系における基準位置から前記被写体までの距離を計測する距離計測ステップと、前記複数のぼけ画像を取得した際の行又は列ごとの前記露光の期間における前記合焦位置の移動範囲に応じて、前記距離計測ステップでの前記距離の計測の前又は後に、前記距離についての行又は列ごとの補正処理を行う補正ステップとを含む距離測定方法を実行させる。

以上、一つまたは複数の態様に係る距離測定装置について、実施の形態に基づいて説明したが、本発明は、この実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、一つまたは複数の態様の範囲内に含まれてもよい。

撮影した画像を用いて被写体までの距離を測定する測距装置や、カメラやムービー等に用いるオートフォーカス装置に利用でき、高フレームレート、低消費電力で測距やオートフォーカスを実現することができる。

１０、２０ 距離測定装置
１１ 光学系
１２、２２ 合焦位置設定部
１２Ａ、２２Ａ 撮像制御部
１３、２３ 合焦位置制御部
１４ 撮像素子
１５、２５ 画像取得部
１６ 距離計測部
１７、２７ 距離補正部
１７Ａ、２７Ａ 補正部
１８、２８ 距離補正量算出部

Claims (14)

1. 行列状に配列された光電変換素子を含む撮像素子であって、行又は列ごとに順次、露光と電荷の読み出しとを行うことにより、被写体を撮像する撮像素子と、
   前記撮像素子に前記被写体の像を結像させるための光学系であって、前記光学系の合焦位置が制御可能である光学系と、
   前記合焦位置を等速で移動させるように前記光学系を制御し、かつ、前記合焦位置が等速で移動している最中に前記撮像素子に前記被写体を順次撮像させることで、複数のぼけ画像を取得する撮像制御部と、
   被写体距離に応じた点像分布関数と、前記複数のぼけ画像とを用いて、前記光学系における基準位置から前記被写体までの距離を計測する距離計測部と、
   前記複数のぼけ画像を取得した際の行又は列ごとの前記露光の期間における前記合焦位置の移動範囲に応じて、前記距離計測部による前記距離の計測の前又は後に、前記距離についての行又は列ごとの補正処理を行う補正部とを備える
   距離測定装置。
2. 前記撮像制御部は、
   少なくとも（ｎ＋１）枚（ｎは１以上の整数）のぼけ画像を、前記複数のぼけ画像として取得し、
   前記少なくとも（ｎ＋１）枚のぼけ画像のうち最初に取得される第一画像を取得する際の前記撮像素子の露光の開始時刻をＴＳ（１）とし、
   前記第一画像を取得する際の前記撮像素子の前記露光の終了時刻をＴＥ（１）とし、
   前記少なくとも（ｎ＋１）枚のぼけ画像のうち最後に取得される第二画像を取得する際の前記撮像素子の露光の開始時刻をＴＳ（１＋ｎ）とし、
   前記第二画像を取得する際の前記撮像素子の前記露光の終了時刻をＴＥ（１＋ｎ）とするとき、
   （ｉ）前記ＴＳ（１）には、前記合焦位置を第一位置とするように制御し、
   （ｉｉ）前記ＴＥ（１＋ｎ）には、前記合焦位置を、前記第一位置とは異なる第二位置とするように制御し、
   （ｉｉｉ）前記ＴＳ（１）から前記ＴＥ（１）までの期間、及び、前記ＴＳ（１＋ｎ）から前記ＴＥ（１＋ｎ）までの期間のそれぞれには、前記合焦位置を等速に移動させるように制御し、
   前記距離計測部は、
   前記点像分布関数と、前記第一画像及び前記第二画像とを用いて、前記第一画像及び前記第二画像の少なくとも一方における画素ごとに、前記基準位置から前記被写体までの距離を計測し、
   前記補正部は、
   前記第一画像及び前記第二画像を取得した際の行又は列ごとの前記露光の期間における前記合焦位置の移動範囲に応じて、前記補正処理を行う
   請求項１に記載の距離測定装置。
3. 前記撮像制御部は、
   前記ＴＳ（１）から前記ＴＥ（１）までの期間における前記合焦位置の移動速度と同一の速度で、前記ＴＳ（１＋ｎ）から前記ＴＥ（１＋ｎ）までの期間において前記合焦位置を移動させる
   請求項２に記載の距離測定装置。
4. 前記距離測定装置は、さらに、
   前記撮像制御部による前記複数のぼけ画像の取得の前に、前記第一画像を取得する際の前記撮像素子の露光の終了時刻より、前記第二画像を取得する際の前記撮像素子の露光の開始時刻が早いという条件が満たされるか否かを判定する撮像条件判定部を備え、
   前記撮像条件判定部は、
   前記条件が満たされると判定した場合に、（ｉ）前記複数のぼけ画像を取得する処理を前記撮像制御部に実行させ、（ｉｉ）前記距離を計測する処理を前記距離計測部に実行させ、かつ、（ｉｉｉ）前記補正処理を前記補正部に実行させる
   請求項３に記載の距離測定装置。
5. 前記撮像制御部は、
   少なくとも（ｎ＋１）枚（ｎは１以上の整数）のぼけ画像を前記複数のぼけ画像として取得し、
   前記複数のボケ画像のうち、（１＋ｘ）枚目（（ｎ−１）≧ｘ≧０）の画像を取得する際の前記撮像素子の露光の開始時刻をＴＳ（１＋ｘ）とし、
   前記複数のボケ画像のうち、（１＋ｘ）枚目の画像を取得する際の前記撮像素子の露光の完了時刻をＴＥ（１＋ｘ）とし、
   前記複数のボケ画像のうち、（１＋ｘ＋１）枚目の画像を取得する際の前記撮像素子の露光の開始時刻をＴＳ（１＋ｘ＋１）とし、
   前記複数のボケ画像のうち、（１＋ｘ＋１）枚目の画像を取得する際の前記撮像素子の露光の完了時刻をＴＥ（１＋ｘ＋１）とするとき、
   前記距離測定装置は、さらに、
   前記ＴＥ（１＋ｘ）と前記ＴＳ（１＋ｘ＋１）との時刻の先後を判断する先後判断部を備え、
   前記撮像制御部は、
   前記ＴＥ（１＋ｘ）＞前記ＴＳ（１＋ｘ＋１）が成立すると前記先後判断部が判断した場合、前記ＴＳ（１＋ｘ）から前記ＴＥ（１＋ｘ＋１）までの期間に前記合焦位置を第三位置から前記第三位置とは異なる第四位置まで等速移動させるように制御する
   請求項４に記載の距離測定装置。
6. 前記撮像制御部は、
   前記ＴＥ（１＋ｘ）＜前記ＴＳ（１＋ｘ＋１）が成立すると前記先後判断部が判断した場合、
   （ｉ）前記ＴＳ（１＋ｘ）から前記ＴＥ（１＋ｘ）までの期間に前記合焦位置を第三位置に停止させ、
   （ｉｉ）前記ＴＥ（１＋ｘ）から前記ＴＳ（１＋ｘ＋１）までの期間に前記合焦位置を前記第三位置から前記第四位置まで移動させ、
   （ｉｉｉ）前記ＴＳ（１＋ｘ＋１）から前記ＴＥ（１＋ｘ＋１）までの期間に、前記合焦位置を前記第四位置に停止させるように制御する
   請求項５に記載の距離測定装置。
7. 前記ｎは１である
   請求項２〜６のいずれか１項に記載の距離測定装置。
8. 前記ｎは２以上の整数であり、
   前記距離計測部は、
   ３以上のぼけ画像を、前記複数のぼけ画像として用いて、前記距離を計測する
   請求項２〜６のいずれか１項に記載の距離測定装置。
9. 前記補正部は、
   前記撮像素子の行又は列ごとに、前記距離計測部により計測される前記距離に関する補正量を算出する補正量算出部を有し、
   前記補正量算出部は、
   前記撮像素子の行又は列ごとの前記露光の期間において前記合焦位置の移動範囲に対応する前記点像分布関数の直径が、所定の距離から届く光の合焦位置の範囲に対応する点像分布関数の直径と類似するように、前記撮像素子の行又は列ごとの前記補正量を算出する
   請求項１〜８のいずれか１項に記載の距離測定装置。
10. 前記補正部は、
    前記距離計測部による前記距離の計測の後に、計測した前記距離に対して、前記撮像素子の行又は列ごとに前記補正量算出部が算出した補正量を加算又は減算することにより前記補正処理を行う
    請求項９に記載の距離測定装置。
11. 前記補正部は、
    前記距離計測部による前記距離の計測の前に、前記距離計測部が前記距離の計測に用いる前記点像分布関数を、前記撮像素子の行又は列ごとに前記補正量算出部が算出した補正量に応じて変更することにより前記補正処理を行い、
    前記距離計測部は、
    前記補正部により前記補正処理が行われた後の前記点像分布関数を用いて前記距離を計測する
    請求項９に記載の距離測定装置。
12. 前記撮像制御部は、
    行列状に配列された光電変換素子を含む撮像素子のうちの一部を、前記撮像素子として用いて撮像させることで、前記被写体のうち前記一部に対応する部分に相当する複数のぼけ画像を取得し、
    前記距離計測部は、
    前記被写体のうちの前記部分についての前記距離を計測する
    請求項１〜１１のいずれか１項に記載の距離測定装置。
13. 距離測定装置における距離測定方法であって、
    前記距離測定装置は、
    行列状に配列された光電変換素子を含む撮像素子であって、行又は列ごとに順次、露光と電荷の読み出しとを行うことにより、被写体を撮像する撮像素子と、
    前記撮像素子に前記被写体の像を結像させるための光学系であって、前記光学系の合焦位置が制御可能である光学系とを備え、
    前記距離測定方法は、
    前記合焦位置を等速で移動させるように前記光学系を制御し、かつ、前記合焦位置が等速で移動している最中に前記撮像素子に前記被写体を順次撮像させることで、複数のぼけ画像を取得する撮像制御ステップと、
    被写体距離に応じた点像分布関数と、前記複数のぼけ画像とを用いて、前記光学系における基準位置から前記被写体までの距離を計測する距離計測ステップと、
    前記複数のぼけ画像を取得した際の行又は列ごとの前記露光の期間における前記合焦位置の移動範囲に応じて、前記距離計測ステップでの前記距離の計測の前又は後に、前記距離についての行又は列ごとの補正処理を行う補正ステップとを含む
    距離測定方法。
14. 請求項１３に記載の距離測定方法をコンピュータに実行させるためのプログラム。
    

Images