JPWO2014046184A1 - 複数被写体の距離計測装置及び方法 - Google Patents

Abstract

瞳指向センサ（１６）は、それぞれレンズ部（１２ａ，１２ｂ）を通過した光束を瞳分割し、同時に画像（Ａ、Ｂ）を取得する。合焦検出部（６０）は、画像（Ａ，Ｂ）を示す画像信号により合焦制御し、合焦制御時のレンズ部（１２ａ，１２ｂ）のレンズ位置を検出する。計測部（６４）は、レンズ部（１２ａ，１２ｂ）のレンズ位置に基づいて第１、第２の被写体の距離、第１、第２の被写体間の距離を算出し、算出結果を出力・記録する。

Description

本発明は複数被写体の距離計測装置及び方法に係り、特に複数被写体の距離等を同時に計測する技術に関する。

特許文献１には、マラソン中継中に各選手（被写体）の距離、又は被写体間の距離を算出し、中継画像中に距離を表示する撮影システムが記載されている。この撮影システムは、撮影範囲内に設けられた複数の測距領域のそれぞれにおいて被写体距離を算出するようにしている。

特許文献２には、遠距離用の撮像レンズ系と近距離用の撮像レンズ系とを半円状の２つの分割したレンズで構成し、遠距離用の撮像レンズ系と近距離用の撮像レンズ系の各レンズとを配置して、遠距離用の撮像レンズ系で遠距離の被写体の画像を撮像素子の半分の領域に結像させ、近距離用の撮像レンズ系で近距離の被写体の画像を撮像素子の半分の領域に結像させて、撮像素子から遠距離用の画像と近距離用の画像とを同時に取得できる撮像装置が記載されている。

特許文献３には、撮影レンズの左右方向の異なる領域を通過した被写体像をそれぞれ撮像素子に結像させ、左視点画像及び右視点画像を取得する撮像装置が記載されている。この撮像装置は、撮像素子の各画素上に光束の一部を遮光する遮光部材（瞳分割手段）を設けてなる撮像素子（瞳指向センサ）を備え、この瞳指向センサから左視点画像及び右視点画像を取得するようにしている。

特開２０１０−１１３０４３号公報 特開２０１０−２７１４２９号公報 特開２０１１−１９９７５５号公報

特許文献１に記載の撮影システムは、複数の被写体（マラソン中継中に各選手）のうちの１つの被写体（先頭を走っている選手）にピントを合わせており、複数の被写体にそれぞれピントの合った画像を取得することができない。

特許文献２に記載の撮像装置は、遠距離用の画像と近距離用の画像とを同時に撮像することができるが、これらの画像中の被写体（主要被写体）までの距離を、単一の撮像装置により求めることができない。このため、特許文献２に記載の撮像装置は、被写体距離を検出する場合には、撮像装置を所定距離だけ隔てて構成されたステレオカメラ装置にする必要がある。

特許文献３に記載の撮像装置は、瞳指向センサから被写体距離に応じて視差の異なる左視点画像及び右視点画像を取得することができるが、被写体距離の異なる複数の被写体にピントの合った画像を撮像することができない。

本発明はこのような事情に鑑みてなされたもので、１台の撮像装置により被写体距離（合焦距離）の異なる複数の被写体に合焦した複数の画像を同時に取得することができるとともに、複数の被写体の合焦距離を計測することができる複数被写体の距離計測装置及び方法を提供することを目的とする。

上記目的を達成するために本発明の一の態様に係る複数被写体の距離計測装置は、物理的に分離した複数のレンズからなる撮影光学系であって、撮影光学系の複数の領域が、複数のレンズの組合せに対応してそれぞれ独立した合焦距離を有する撮影光学系と、二次元状に配列された光電変換素子により構成された複数の画素を有する瞳指向センサであって、複数の領域のいずれかを通過した光束を選択的に受光する瞳指向センサと、瞳指向センサから複数の領域に対応する複数の画像をそれぞれ同時に取得する画像取得手段と、画像取得手段により取得される複数の画像に基づいて撮影光学系の物理的に分離した複数のレンズを独立して駆動し、それぞれ合焦距離の異なる複数の被写体に合焦させる合焦制御手段と、合焦制御手段によりそれぞれ合焦制御される複数の被写体の合焦距離をそれぞれ算出する第１の算出手段と、を備えている。

本発明の一の態様によれば、単一の撮影光学系及び瞳指向センサを有する１台の撮像装置により複数の被写体にそれぞれ合焦した画像を同時に撮像することができ、かつ合焦制御時の情報に基づいて複数の被写体までの距離も同時に計測することができる。

本発明の他の態様に係る複数被写体の距離計測装置において、第１の算出手段により算出された複数の合焦距離に基づいて複数の被写体間の距離を算出する第２の算出手段を備えることが好ましい。これにより、複数の被写体間の距離を容易に把握することができる。

本発明の更に他の態様に係る複数被写体の距離計測装置において、画像取得手段は、複数の領域に対応する複数の画像をそれぞれ同時に、かつ連続して取得し、合焦制御手段は、画像取得手段により同時に、かつ連続して取得される複数の領域に対応する複数の画像に基づいて撮影光学系の物理的に分離した複数のレンズを独立して駆動し、複数の被写体に連続的に合焦させ、第１の算出手段は、合焦制御手段によりそれぞれ連続して合焦制御される複数の被写体の合焦距離を連続して算出し、第２の算出手段は、第１の算出手段により連続して算出された複数の合焦距離に基づいて複数の被写体間の距離を連続して算出することが好ましい。これにより、複数の被写体が別々に移動していても複数被写体間の距離を常時計測することができる。

本発明の更に他の態様に係る複数被写体の距離計測装置において、画像取得手段により瞳指向センサから同時に取得された複数の画像に基づいて少なくとも合焦している複数の被写体が合成された合成画像を生成する合成画像生成手段を備えることが好ましい。これにより、合焦距離の異なる複数の被写体にそれぞれ合焦した被写体像を１画面の合焦画像内で観察することができ、複数の被写体を見失うことがない。

本発明の更に他の態様に係る複数被写体の距離計測装置において、画像取得手段により瞳指向センサから同時に取得された複数の画像に基づいて少なくとも合焦している複数の被写体が合成された合成画像を生成し、かつ第２の算出手段により算出された複数の被写体間の距離を示す文字情報を合成画像に合成することが好ましい。これにより、複数の被写体間の距離を実時間で確認することができる。

本発明の更に他の態様に係る複数被写体の距離計測装置において、画像取得手段により同時に取得される複数の画像からそれぞれ主要な被写体を検出する被写体検出手段を備え、合焦制御手段は、画像取得手段により同時に取得される複数の画像内の被写体検出手段により検出された被写体を含む領域をそれぞれ焦点検出領域とし、各焦点検出領域の画像に基づいて撮影光学系の物理的に分離した複数のレンズを独立して駆動し、複数の被写体に連続的に合焦させることが好ましい。これにより、複数の被写体をそれぞれ追跡しながら複数の被写体にそれぞれ合焦した画像及び合焦距離を取得することができる。

本発明の更に他の態様に係る複数被写体の距離計測装置において、合焦制御手段は、各焦点検出領域内の画像のコントラストがそれぞれ最大になるように撮影光学系の物理的に分離した複数のレンズを独立して駆動し、複数の被写体に連続的に合焦させることが好ましい。

本発明の更に他の態様に係る複数被写体の距離計測装置において、第１の算出手段は、合焦制御手段により独立して合焦駆動された複数のレンズのレンズ位置を検出するレンズ位置検出手段を有し、レンズ位置検出手段により検出された複数のレンズのレンズ位置に基づいて複数の被写体の合焦距離を算出することが好ましい。これにより、合焦制御手段による合焦制御に連動して複数の被写体の合焦距離を算出することができる。尚、レンズ位置検出手段は、複数のレンズのレンズ位置を直接検出するようにしてもよいし、複数のレンズをそれぞれ駆動する駆動手段に対する各駆動指令から検出するようにしてもよい。

本発明の更に他の態様に係る複数被写体の距離計測方法は、物理的に分離した複数のレンズからなる撮影光学系であって、撮影光学系の複数の領域が、複数のレンズの組合せに対応してそれぞれ独立した合焦距離を有する撮影光学系と、二次元状に配列された光電変換素子により構成された複数の画素を有する瞳指向センサであって、複数の領域のいずれかを通過した光束を選択的に受光する瞳指向センサとを有する撮像手段から複数の領域に対応する複数の画像をそれぞれ同時に取得する画像取得工程と、画像取得工程により取得される複数の画像に基づいて撮影光学系の物理的に分離した複数のレンズを独立して駆動し、それぞれ合焦距離の異なる複数の被写体に合焦させる合焦制御工程と、合焦制御工程によりそれぞれ合焦制御される複数の被写体の合焦距離をそれぞれ算出する第１の算出工程と、を含んでいる。

本発明の更に他の態様に係る複数被写体の距離計測方法において、第１の算出工程により算出された複数の合焦距離に基づいて複数の被写体間の距離を算出する第２の算出工程を含むことが好ましい。

本発明によれば、１台の撮像装置により合焦距離の異なる複数の被写体に合焦した複数の画像を同時に取得することができるとともに、複数の被写体の合焦距離、複数の被写体間の距離等を計測することができる。

図１は、本発明の係る複数被写体の距離計測装置として適用された撮像装置の実施形態を示す外観図である。 図２は、図１に示した撮像装置の内部構成の実施形態を示すブロック図である。 図３Ａは、図１に示した撮像装置に適用される領域分割レンズの実施形態を示す正面図である。 図３Ｂは、図１に示した撮像装置に適用される領域分割レンズの実施形態を示す側面図である。 図４は、領域分割レンズ及び瞳指向センサを含む撮像装置の要部構成図である。 図５は、瞳指向センサの平面図である。 図６Ａは、瞳指向センサの構成を示す要部断面図である。 図６Ｂは、瞳指向センサの構成を示す要部断面図である。 図７は、複数被写体の距離計測方法を説明するために用いたフローチャートである。 図８Ａは、同時に撮像された合焦距離の異なる２つの画像のイメージ図である。 図８Ｂは、同時に撮像された合焦距離の異なる２つの画像のイメージ図である。 図９Ａは、同時に撮像される合焦距離の異なる２つの画像の各ＡＦ領域におけるＡＦ評価値を示すグラフである。 図９Ｂは、同時に撮像される合焦距離の異なる２つの画像の各ＡＦ領域におけるＡＦ評価値を示すグラフである。 図１０は、合成画像生成部の実施形態を示すブロック図である。 図１１は、合成画像生成部により生成された合成画像のイメージ図である。

以下、添付図面に従って本発明に係る複数被写体の距離計測装置及び方法の実施の形態について説明する。

＜複数被写体の距離計測装置の外観＞
図１は本発明の係る複数被写体の距離計測装置として適用された撮像装置（例えば、テレビカメラ）１０の実施形態を示す外観図である。複数の被写体がマラソンや駅伝の各選手の場合、撮像装置１０は、三脚１１に取り付けて第一中継車（例えば、マラソンや駅伝の先頭の中継車）に搭載することが好ましい。

図２は撮像装置１０の内部構成の実施形態を示すブロック図である。

この撮像装置１０は、撮像した動画を外部出力端子３２を介して無線送信機（図示せず）に送信する。また、撮像装置１０は、撮像した動画を記録媒体５４に記録するとともに、複数の被写体の距離等を同時に計測し、計測結果を出力するものである。

図３Ａ及び図３Ｂは、それぞれ撮像装置１０に適用される撮影光学系（領域分割レンズ）１２の実施形態を示す正面図及び側面図であり、図４は、領域分割レンズ１２及び撮像装置１０に適用される撮像素子（瞳指向センサ）１６（画像取得手段）を含む撮像装置１０の要部構成図である。

図３Ａ及び図３Ｂに示すように領域分割レンズ１２は、１つのレンズがレンズ中心Ｏ_１に対して物理的に上下に２分割された半月型のレンズ部１２ａ、１２ｂから構成され、かつ各レンズ部１２ａ、１２ｂが光軸Ｌ１の方向に相対的に移動可能に設けられている。

レンズ部１２ａ、１２ｂは、レンズ駆動部５６（図２）によりそれぞれ独立して駆動され、合焦距離の異なる２つの被写体（主要被写体）に合焦するようにレンズ位置が制御される。これにより、レンズ部１２ａ、１２ｂの合焦距離を変更することができる。尚、レンズ部１２ａ、１２ｂの合焦制御の詳細については後述する。

図４に示すようにレンズ部１２ａは、レンズ部１２ｂよりも前方（被写体側）に位置するため、近距離側の第１の被写体に合焦する合焦距離(1)を有し、一方、レンズ部１２ｂは、遠距離側の第２の被写体に合焦する合焦距離(2)を有するものとなる。

図５は瞳指向センサ１６の平面図である。図５に示すように瞳指向センサ１６は、二次元状に配列された光電変換素子により構成された複数の画素（画素ｐ１の画素群，画素ｐ２の画素群）を有している。画素ｐ１の画素群は、レンズ部１２ａを通過した光束を選択的に受光し、画素ｐ２の画素群は、レンズ部１２ｂを通過した光束を選択的に受光するように構成されている。

図６Ａ及び図６Ｂは瞳指向センサ１６の構成を示す要部断面図である。図６Ａ及び図６Ｂに示すように画素ｐ１は、フォトダイオードＰＤの前面側（マイクロレンズＬ側）に遮光部材１６Ａが配設され、画素ｐ２は、フォトダイオードＰＤの前面側に遮光部材１６Ｂが配設されている。マイクロレンズＬ及び遮光部材１６Ａ、１６Ｂは瞳分割手段としての機能を有する。遮光部材１６Ａは、領域分割レンズ１２のレンズ部１２ａを通過する光束のみをフォトダイオードＰＤの受光面に入射させる開口を有し、遮光部材１６Ｂは、領域分割レンズ１２のレンズ部１２ｂを通過する光束のみをフォトダイオードＰＤの受光面に入射させる開口を有している。

これにより、瞳指向センサ１６の画素ｐ１の画素群と画素ｐ２の画素群からそれぞれ画像を読み出すことにより、図４に示すように第１の被写体に合焦した出力画像Ａと第２の被写体に合焦した出力画像Ｂとを同時に取得することができる。

図２に戻って、装置全体の動作は、中央処理装置（ＣＰＵ：Central Processing Unit）４０によって統括制御される。

撮像装置１０には、録画スタート等の操作部３８が設けられている。この操作部３８からの信号はＣＰＵ４０に入力され、ＣＰＵ４０は入力信号に基づいて撮像装置１０の各回路を制御し、例えば、録画動作制御、画像処理制御、距離計測、画像データの記録／再生制御、液晶モニタ（ＬＣＤ：Liquid Crystal Display）３０の表示制御などを行う。

録画時において、領域分割レンズ１２の各レンズ部１２ａ、１２ｂは、それぞれ合焦距離が異なる第１の被写体及び第２の被写体に合焦するようにレンズ駆動部５６により独立してレンズ位置が制御される。各レンズ部１２ａ、１２ｂを通過した被写体光は、絞り１４を介して瞳指向センサ１６上に結像される。瞳指向センサ１６では、所定の時間間隔（動画のフレームレート）で画像の読出し制御が行われる。これにより、図４に示すように第１の被写体に合焦した画像Ａと第２の被写体に合焦した画像Ｂとを同時に、かつ連続して取得することができる。

瞳指向センサ１６から読み出される画像Ａ、画像Ｂの出力信号は、アナログ信号処理部２０により相関二重サンプリング処理により画素毎の画像信号（電圧信号）としてサンプリングホールドされ、増幅されたのちＡ／Ｄ変換器２１に加えられる。Ａ／Ｄ変換器２１は、順次入力する画像信号をデジタル信号に変換して画像入力コントローラ２２に出力する。尚、ＭＯＳ（Metal Oxide Semiconductor）型の瞳指向センサ１６では、Ａ／Ｄ変換器が内蔵されているものがあり、この場合、瞳指向センサ１６から直接デジタル信号が出力される。

それぞれ合焦距離の異なる、同時に撮像された２つの画像データは、瞳指向センサ１６から画素位置を選択して画素データを読み出すことにより取得することができるが、瞳指向センサ１６から全ての画素データを読み出してメモリ（ＳＤＲＡＭ：Synchronous Dynamic Random Access Memory）４８に一時的に記憶し、メモリ４８から合焦距離の異なる２つの画像データを抽出するようにしてもよい。

デジタル信号処理部２４は、画像入力コントローラ２２を介して入力するデジタルの画像信号に対して、オフセット処理、ホワイトバランス補正及び感度補正を含むゲイン・コントロール処理、ガンマ補正処理、ＹＣ処理等の所定の信号処理を行う。

デジタル信号処理部２４で処理され画像データは、ＶＲＡＭ（Video Random Access Memory）５０に入力される。ＶＲＡＭ５０から読み出された画像データはビデオ・エンコーダ２８においてエンコーディングされ、カメラ背面に設けられている液晶モニタ３０（ＬＣＤ）に出力される。これにより、被写体像が液晶モニタ３０（ＬＣＤ）の表示画面上に表示される。この場合、合焦距離の異なる２つの動画を、同時に表示するようにしてもよいし、いずれか１つの動画を表示するようにしてもよいし、後述するように２つの動画のうちのそれぞれ合焦している領域の画像を合成した合成画像を表示するようにしてもよい。

また、ＣＰＵ４０は、操作部３８からの録画準備又は開始が指示されると、顔検出部４２（被写体検出手段）による顔検出（被写体検出）を行わせる。顔検出部４２は、図示しない画像照合回路及び顔画像テンプレートを含み、撮影画像中に含まれる被写体（人物）の顔を検出し、その顔の位置や大きさの情報をＣＰＵ４０に出力する。即ち、顔検出部４２の画像照合回路は、予め設定した顔領域を検出するための最も大きな対象領域を、画面内で少しずつ移動させながら顔画像テンプレートとの相関を調べる。そして、相関スコアが予め設定された閾値を越えると、その対象領域を顔領域として認定する。続いて、対象領域を少し小さくし、再度、顔画像テンプレートとの相関を調べる。これを検出したい最小の検出領域まで繰り返し、顔領域を求める。このようにして求めた顔領域の情報（顔領域の大きさ及び位置を示す情報）をＣＰＵ４０に出力する。尚、顔検出方法は、上記の例に限らず、エッジ検出又は形状パターン検出による顔検出方法、色相検出又は肌色検出による顔検出方法等の公知の方法を利用することができる。

ＣＰＵ４０は、顔検出部４２から加えられる顔領域の情報に基づいて最も大きな顔領域と次に大きな顔領域とを同時に撮像する２つの画像の焦点検出領域（オートフォーカス（ＡＦ）領域）として設定する。

ＡＦ検出部４３は、ＣＰＵ４０により設定された２つの画像Ａ，Ｂの各ＡＦ領域（顔領域）の画像信号の高周波成分を積算し、その積算値をＡＦ評価値としてＣＰＵ４０に出力する。ＣＰＵ４０は、ＡＦ検出部４３から入力するＡＦ評価値が、ピーク値を維持するようにレンズ駆動部５６を介してレンズ部１２ａ、１２ｂのレンズ位置を制御するコントラストＡＦによる合焦制御（いわゆる山登り制御）を行う。

また、ＣＰＵ４０は、操作部３８からの録画準備又は開始が指示されると、自動露出（ＡＥ）動作を開始させ、Ａ／Ｄ変換器２１から出力される画像データは、ＡＥ検出部４４に取り込まれる。ＡＥ検出部４４では、同時に取得される２つの画像のＡＦ領域（顔領域）の画像信号、又は画面全体の画像信号を積算し、その積算値をＣＰＵ４０に出力する。ＣＰＵ４０は、ＡＥ検出部４４から入力する積算値より被写体の明るさ（撮影Ｅｖ値）を算出し、この撮影Ｅｖ値に基づいて絞り１４の絞り値を決定し、その決定した絞り値に基づいて絞り１４を制御したり、アナログ信号処理部２０におけるゲイン制御を行う。

上記のようにしてＡＦ制御及びＡＥ制御された２つの画像Ａ，Ｂは、瞳指向センサ１６から所定のインターバルで読み出され、Ａ／Ｄ変換器２１、画像入力コントローラ２２を介してメモリ４８に入力され、一時的に記憶される。メモリ４８に一時的に記憶された２つの画像Ａ，Ｂの画像データは、デジタル信号処理部２４により適宜読み出され、デジタル信号処理部２４で処理され画像データは、ＶＲＡＭ５０に入力される。ＶＲＡＭ５０から読み出された画像データは、ビデオ・エンコーダ２８においてエンコーディングされ、カメラ背面に設けられている液晶モニタ３０（ＬＣＤ）に出力され、また、外部出力端子３２を介して外部機器（無線送信機等）に出力される。

また、デジタル信号処理部２４では、画像データの輝度データＹ及び色差データＣｒ，Ｃｂの生成処理（ＹＣ処理）を含む所定の信号処理が行われる。ＹＣ処理された画像データ（ＹＣデータ）は、再びメモリ４８に記憶された後、圧縮伸張処理部２６に出力され、ＭＰＥＧ（Moving Picture Experts Group）−４等の動画圧縮フォーマットで圧縮される。圧縮された２つの合焦距離別の画像Ａ，Ｂの動画ファイル、又は２つの合焦距離別の画像Ａ，Ｂを合成した１つの動画ファイルは、メディア・コントローラ５２を介して記録媒体５４に記録される。これにより、同時に動画撮影された合焦距離の異なる２つの動画、又は合成された１つの動画を記録することができる。

尚、ＥＥＰＲＯＭ（Electrically Erasable and Programmable Read Only Memory）４６には、ＣＰＵ４０が実行する制御プログラムの他、制御に必要な各種データ等が記録されている。

［複数被写体の距離計測］
次に、上記のようにして撮像された合焦距離が異なる２つの画像Ａ，Ｂ内の第１、第２の被写体の距離等を計測する複数被写体の距離計測部について説明する。

図４に示す距離計測部は、主として合焦検出部６０、合焦制御部６２、及び計測部６４から構成されている。

合焦検出部６０（合焦制御手段）は、図２に示したＣＰＵ４０、顔検出部４２、及びＡＦ検出部４３等から構成され、瞳指向センサ１６により取得される２つの画像Ａ，Ｂに基づいて２つの画像Ａ，Ｂの合焦検出を行う。そして、２つの画像Ａ，Ｂの一方又は両方が非合焦の場合には、領域分割レンズ１２の各レンズ部１２ａ、１２ｂを、２つの画像Ａ，Ｂの合焦距離に対応するレンズ位置（合焦位置）に移動させる指令信号を合焦制御部６２に出力する。

合焦制御部６２（合焦制御手段）は、図２に示したレンズ駆動部５６に対応し、合焦検出部６０から入力する指令信号に基づいて各レンズ部１２ａ、１２ｂをそれぞれ独立して駆動し、合焦距離の異なる第１、第２の被写体に合焦するレンズ位置に移動させる。

合焦検出部６０は、瞳指向センサ１６により取得される２つの画像Ａ，Ｂがそれぞれ合焦状態にあるときの各レンズ部１２ａ、１２ｂの現在のレンズ位置指令を、各レンズ部１２ａ、１２ｂのレンズ位置を示す情報として計測部６４に出力する。例えば、合焦制御部６２の駆動手段としてパルスモータが使用されている場合、合焦検出部６０は、パルスモータを駆動するためのパルス信号を合焦制御部６２に出力する。このパルス信号のパルス数を、レンズ部１２ａ、１２ｂの基準位置（ホームポジション）からカウントしたカウント値が、現在のレンズ部１２ａ、１２ｂのレンズ位置に対応するレンズ位置指令となる。

計測部６４（第１の算出手段、第２の算出手段、レンズ位置検出手段）は、図２に示したＣＰＵ４０の計測機能に対応する。計測部６４は、合焦制御部６２から合焦状態にある各レンズ部１２ａ、１２ｂのレンズ位置情報を取得し、これらのレンズ位置情報に基づいて画像Ａ，Ｂ内の第１、第２の被写体までの距離を算出する。尚、第１、第２の被写体までの距離（合焦距離(1),(2)）は、レンズ部１２ａ、１２ｂのレンズ位置に対応するため、レンズ部１２ａ、１２ｂのレンズ位置情報から第１、第２の被写体までの距離をそれぞれ算出することができる。

また、計測部６４は、第１、第２の被写体間の距離を算出する。このようにして算出された第１、第２の被写体の距離、及び第１、第２の被写体間の距離は、適宜出力され、記録される。

［複数被写体の距離計測方法］
次に、複数被写体の距離計測方法について、図７に示すフローチャートを参照しながら説明する。

図５において、図４に示した合焦検出部６０、合焦制御部６２、計測部６４は、以下の処理を実行する。

まず、合焦検出部６０は、同時刻に撮像された画像Ａ，Ｂを瞳指向センサ１６を介して取得する（ステップＳ１０）。

合焦検出部６０及び合焦制御部６２は、画像Ａ，Ｂに基づいてレンズ部１２ａ、１２ｂの合焦制御を行う（ステップＳ１２、Ｓ１４）。

図８Ａ及び図８Ｂは、それぞれ合焦制御された画像Ａ，Ｂを示す図である。図８Ａ及び図８Ｂに示すように画像Ａは、第１の被写体（顔）に合焦し、画像Ｂは、第２の被写体（顔）に合焦している。

続いて、合焦検出部６０は、合焦制御されているレンズ部１２ａ、１２ｂのレンズ位置をそれぞれ検出する（ステップＳ１６、Ｓ１８）。

図９Ａ及び図９Ｂは、それぞれ画像Ａ，Ｂ内の各ＡＦ領域（第１、第２の被写体の顔領域）のＡＦ評価値を示すグラフである。合焦検出部６０は、各ＡＦ領域のＡＦ評価値が、常にピーク値となるようにレンズ部１２ａ、１２ｂのレンズ位置を制御（山登り制御）しており、現在のレンズ部１２ａ、１２ｂのレンズ位置ａ_１，ａ_２をそれぞれ検出することができる。

次に、計測部６４は、合焦検出部６０から入力するレンズ部１２ａ、１２ｂのレンズ位置ａ_１，ａ_２を示すレンズ位置情報に基づいて第１、第２の被写体の距離（合焦距離）を算出し（ステップＳ２０、Ｓ２２）、また、算出した第１、第２の被写体の距離の差を求めることにより、第１、第２の被写体間の距離を算出する（ステップＳ２４）。

計測部６４は、上記のようにして算出した第１、第２の被写体の距離、第１、第２の被写体間の距離を出力する（ステップＳ２６）。

次に、ＣＰＵ４０は、距離の計測が終了したか否かを判別し（ステップＳ２８）、終了していない場合（「No」の場合）には、ステップＳ１０に遷移させ、所定の時間間隔で同時に撮像された次の時刻における画像Ａ、Ｂを取得させる。これにより、上記ステップＳ１０からステップＳ２８の処理が繰り返される。

一方、ステップＳ２８において、距離の計測が終了したと判別されると（「Yes」の場合）、複数被写体の距離計測を終了する。

上記のようにして所定の時間間隔の時々刻々の第１、第２の被写体の距離、第１、第２の被写体間の距離を計測することができる。

［合成画像生成部］
次に、画像Ａ，Ｂの合成、及び距離情報の合成を行う合成画像生成部について説明する。

図１０は、合成画像生成部７０の実施形態を示すブロック図である。

合成画像生成部７０（合成画像生成手段）は、図２に示したデジタル信号処理部２４及びＣＰＵ４０により構成されており、主として画像入力部７１、合焦度合い検出部７２、分割領域選択部７３、距離情報入力部７４、キャラクタジェネレータ７５、及び画像合成部７６を備えている。

画像入力部７１は、第１、第２の被写体に合焦している画像Ａ，Ｂをそれぞれ入力し（図８Ａ，図８Ｂ参照）、入力した画像Ａ，Ｂを合焦度合い検出部７２に出力する。

合焦度合い検出部７２は、入力した画像Ａ，Ｂの各画面を、複数の分割領域Ａ_ｉｊ，Ｂ_ｉｊ（例えば、１６×１６の分割領域）に分割し、分割領域Ａ_ｉｊ，Ｂ_ｉｊごとに分割領域内の分割画像の高周波成分の積算値（合焦度合い情報）を算出する。そして、分割領域Ａ_ｉｊ，Ｂ_ｉｊごとの分割画像とともに、算出した分割画像の合焦度合い情報を分割領域選択部７３に出力する。

分割領域選択部７３は、合焦度合い情報に基づいて分割領域Ａ_ｉｊ，Ｂ_ｉｊの同じ分割領域のうちの合焦度合いの高い分割領域の分割画像を選択し、選択した分割画像を画像合成部７６に出力する。

画像合成部７６は、分割領域選択部７３により選択された各分割画像を合成し、１画面分の合成画像を生成する。これにより、図１１に示すように第１、第２の被写体にそれぞれ合焦している合成画像を生成することができる。

一方、距離情報入力部７４は、図４に示した計測部６４から第１、第２の被写体の距離、及び第１、第２の被写体間の距離を示す距離情報を入力し、これらの距離情報をキャラクタジェネレータ７５に出力する。キャラクタジェネレータ７５は、入力する距離情報に基づいて距離情報に対応する文字画像（距離を示す数字）を発生し、発生した文字画像を画像合成部７６に出力する。

画像合成部７６は、キャラクタジェネレータ７５から入力する文字画像を、合成画像上に合成する。図１１に示すように第１、第２の被写体の距離を示す文字画像は、第１、第２の被写体の近傍に合成することが好ましく、第１、第２の被写体間の距離を示す文字画像は、第１、第２の被写体の中間位置に合成することが好ましい。

画像合成部７６により合成された合成画像は、外部出力端子３２（図２）を介して中継車内の無線通信機に出力される。

これにより、第１の被写体（先頭の走者）と第２の被写体（追走者）の両方の選手にピントが合った映像を撮ることができ、なおかつ、選手間のギャップ（距離）を数値表示することができるので、マラソンや駅伝を実況中継する中継車に本撮像装置１０を積めば、実況中継が面白くなる。

尚、図１１に示す例では、第１、第２の被写体の距離と、第１、第２の被写体間の距離とを表示するようにしているが、いずれか一方の距離のみを表示するようにしてもよい。また、これらの距離は、常時表示するようにしてもよいし、第１、第２の被写体間の距離が変化した場合に一定時間表示するようにしてもよい。

［その他］
図１１に示す例では、第１、第２の被写体にそれぞれ合焦している合成画像上に第１、第２の被写体間の距離等を合成表示するようにしたが、本発明はこれに限定されない。例えば、図８Ａ又は図８Ｂに示した画像Ａ，又は画像Ｂのいずれか一方の画像に第１、第２の被写体間の距離等を合成表示するようにしてもよい。

また、本実施形態では、それぞれ合焦距離の異なる第１、第２の被写体として、マラソンや駅伝の選手を例に説明したが、本発明はこれに限定されず、種々の被写体の撮像に適用できる。また、本発明は、複数の被写体の距離がそれぞれ変化する複数被写体の撮像に好適である。

また、合焦制御する合焦距離の異なる複数の被写体は、ＬＣＤ３０（例えば、タッチパネル付きＬＣＤ）の画面上で、タップなどのユーザ入力により指定するようにしてもよい。

更に、合焦距離の異なる複数の被写体に対する合焦制御は、本実施形態のコントラストＡＦに限らず、位相差ＡＦ等の種々のＡＦを適用することができる。

また、本発明は上述した実施の形態に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能であることは言うまでもない。

１０…撮像装置、１２…領域分割レンズ、１２ａ，１２ｂ…レンズ部、１６…瞳指向センサ、２４…デジタル信号処理部、４０…中央処理装置（ＣＰＵ）、６０…合焦検出部、６２…合焦制御部、６４…計測部、７０…合成画像生成部

Claims (10)

1. 物理的に分離した複数のレンズからなる撮影光学系であって、当該撮影光学系の複数の領域が、前記複数のレンズの組合せに対応してそれぞれ独立した合焦距離を有する撮影光学系と、
   二次元状に配列された光電変換素子により構成された複数の画素を有する瞳指向センサであって、前記複数の領域のいずれかを通過した光束を選択的に受光する瞳指向センサと、
   前記瞳指向センサから前記複数の領域に対応する複数の画像をそれぞれ同時に取得する画像取得手段と、
   前記画像取得手段により取得される複数の画像に基づいて前記撮影光学系の物理的に分離した複数のレンズを独立して駆動し、それぞれ合焦距離の異なる複数の被写体に合焦させる合焦制御手段と、
   前記合焦制御手段によりそれぞれ合焦制御される前記複数の被写体の合焦距離をそれぞれ算出する第１の算出手段と、
   を備えた複数被写体の距離計測装置。
2. 前記第１の算出手段により算出された複数の合焦距離に基づいて複数の被写体間の距離を算出する第２の算出手段を備えた請求項１に記載の複数被写体の距離計測装置。
3. 前記画像取得手段は、前記複数の領域に対応する複数の画像をそれぞれ同時に、かつ連続して取得し、
   前記合焦制御手段は、前記画像取得手段により同時に、かつ連続して取得される前記複数の領域に対応する複数の画像に基づいて前記撮影光学系の物理的に分離した複数のレンズを独立して駆動し、前記複数の被写体に連続的に合焦させ、
   前記第１の算出手段は、前記合焦制御手段によりそれぞれ連続して合焦制御される前記複数の被写体の合焦距離を連続して算出し、
   前記第２の算出手段は、前記第１の算出手段により連続して算出された複数の合焦距離に基づいて複数の被写体間の距離を連続して算出する請求項２に記載の複数被写体の距離計測装置。
4. 前記画像取得手段により前記瞳指向センサから同時に取得された複数の画像に基づいて少なくとも合焦している複数の被写体が合成された合成画像を生成する合成画像生成手段を備えた請求項１から３のいずれか１項に記載の複数被写体の距離計測装置。
5. 前記画像取得手段により前記瞳指向センサから同時に取得された複数の画像に基づいて少なくとも合焦している複数の被写体が合成された合成画像を生成し、かつ前記第２の算出手段により算出された複数の被写体間の距離を示す文字情報を前記合成画像に合成する合成画像生成手段を備えた請求項２又は３に記載の複数被写体の距離計測装置。
6. 前記画像取得手段により同時に取得される複数の画像からそれぞれ主要な被写体を検出する被写体検出手段を備え、
   前記合焦制御手段は、前記画像取得手段により同時に取得される複数の画像内の前記被写体検出手段により検出された被写体を含む領域をそれぞれ焦点検出領域とし、各焦点検出領域の画像に基づいて前記撮影光学系の物理的に分離した複数のレンズを独立して駆動し、前記複数の被写体に連続的に合焦させる請求項１から５のいずれか１項に記載の複数被写体の距離計測装置。
7. 前記合焦制御手段は、各焦点検出領域内の画像のコントラストがそれぞれ最大になるように前記撮影光学系の物理的に分離した複数のレンズを独立して駆動し、前記複数の被写体に連続的に合焦させる請求項６に記載の複数被写体の距離計測装置。
8. 前記第１の算出手段は、前記合焦制御手段により独立して合焦駆動された複数のレンズのレンズ位置を検出するレンズ位置検出手段を有し、前記レンズ位置検出手段により検出された複数のレンズのレンズ位置に基づいて前記複数の被写体の合焦距離を算出する請求項１から７のいずれか１項に記載の複数被写体の距離計測装置。
9. 物理的に分離した複数のレンズからなる撮影光学系であって、当該撮影光学系の複数の領域が、前記複数のレンズの組合せに対応してそれぞれ独立した合焦距離を有する撮影光学系と、二次元状に配列された光電変換素子により構成された複数の画素を有する瞳指向センサであって、前記複数の領域のいずれかを通過した光束を選択的に受光する瞳指向センサとを有する撮像手段から前記複数の領域に対応する複数の画像をそれぞれ同時に取得する画像取得工程と、
   前記画像取得工程により取得される複数の画像に基づいて前記撮影光学系の物理的に分離した複数のレンズを独立して駆動し、それぞれ合焦距離の異なる複数の被写体に合焦させる合焦制御工程と、
   前記合焦制御工程によりそれぞれ合焦制御される前記複数の被写体の合焦距離をそれぞれ算出する第１の算出工程と、
   を含む複数被写体の距離計測方法。
10. 前記第１の算出工程により算出された複数の合焦距離に基づいて複数の被写体間の距離を算出する第２の算出工程を含む請求項９に記載の複数被写体の距離計測方法。

Images