JP7131541B2 - 画像処理装置、画像処理方法および画像処理プログラム - Google Patents

Description

本技術は、画像処理装置、画像処理方法および画像処理プログラムに関する。

デジタル一眼レフカメラなどにおいては、カメラ本体に別体のレンズを装着して撮影を行なうことができる。そのようなレンズ交換式のカメラではレンズにタグ情報として焦点距離情報が記録されており、レンズの焦点距離情報はカメラ本体に送信され、カメラ本体は手ぶれ補正などの焦点距離情報を用いた様々な処理を行うことができる。しかし、電子的なタグ情報が記録されていない、またはカメラ本体との通信機能を有さないいわゆるオールドレンズをカメラ本体に装着して撮影をする際、ユーザはカメラ本体にそのオールドレンズの焦点距離情報を直接入力する必要があり、レンズを交換する度にこの作業を繰り返すのは非常に面倒である。

この問題の解決策として、連続して撮影した２枚の画像を用いた手法がある（特許文献１）。これは、２枚の画像間でマッチングを取り、そのオプティカルフローから焦点距離を逆算するというものである。
（特許文献１）。

特開２００４－３１５９２７号公報

しかし、画像ベースでのマッチングのため、被写体に動きがあると正確なマッチングが行われず、撮影中にズームなどのカメラパラメータも変えてはいけないという制約もある。また、撮影時に奥行き方向への移動が生じてしまうとスケールの異なる画像同士のマッチングをすることになり、正確にマッチングを行うには大きな演算パワーが必要になるという問題もある。

本技術はこのような問題点に鑑みなされたものであり、焦点距離が未知であるレンズの焦点距離を得ることができる画像処理装置、画像処理方法および画像処理プログラムを提供することを目的とする。

上述した課題を解決するために、第１の技術は、焦点距離が未知の第１レンズにより撮影された第１画像と、焦点距離が既知の第２レンズにより撮影された第２画像とを用いて、第１画像を第１の刻み幅で変化させた複数の倍率で拡大および／または縮小させた複数のピラミッド画像と第２画像とのマッチング処理を行い、複数のピラミッド画像のうちマッチング度合いが最も高い画像の倍率と、第２レンズの焦点距離とから第１レンズの焦点距離を算出する画像処理装置である。

また、第２の技術は、焦点距離が未知の第１レンズにより撮影された第１画像と、焦点距離が既知の第２レンズにより撮影された第２画像とを用いて、第１画像を第１の刻み幅で変化させた複数の倍率で拡大および／または縮小させた複数のピラミッド画像と第２画像とのマッチング処理を行い、複数のピラミッド画像のうちマッチング度合いが最も高い画像の倍率と、第２レンズの焦点距離とから第１レンズの焦点距離を算出する画像処理方法である。

さらに、第３の技術は、焦点距離が未知の第１レンズにより撮影された第１画像と、焦点距離が既知の第２レンズにより撮影された第２画像とを用いて、第１画像を第１の刻み幅で変化させた複数の倍率で拡大および／または縮小させた複数のピラミッド画像と第２画像とのマッチング処理を行い、複数のピラミッド画像のうちマッチング度合いが最も高い画像の倍率と、第２レンズの焦点距離とから第１レンズの焦点距離を算出する画像処理方法をコンピュータに実行させる画像処理プログラムである。

本技術によれば、焦点距離が未知であるレンズの焦点距離を得ることができる。なお、ここに記載された効果は必ずしも限定されるものではなく、明細書中に記載されたいずれかの効果であってもよい。

本技術に係る画像処理装置および撮像装置の構成を示すブロック図である。 第１の実施の形態に係る焦点距離算出処理の流れを示すフローチャートである。 ピラミッド画像作成を説明する図である。 ピラミッド画像作成を説明する図である。 マッチング処理の流れを示すフローチャートである。 レンズの写り込みについて説明する図である。 ＳＡＤ値算出の説明図である。 ピラミッド画像作成における倍率の変更を説明する図である。 ピラミッド画像作成における倍率の変更を説明する図である。 第２の実施の形態における焦点距離算出処理の流れを示すフローチャートである。 ユーザインターフェースの一例を示す図である。 変形例に係る焦点距離算出処理の流れを示すフローチャートである。

以下、本技術の実施の形態について図面を参照しながら説明する。なお、説明は以下の順序で行う。
＜１．第１の実施の形態＞
［１－１．画像処理装置および撮像装置の構成］
［１－２．焦点距離算出処理］
＜２．第２の実施の形態＞
［２－１．焦点距離算出処理］
＜３．ユーザインターフェース＞
＜４．変形例＞

＜１．第１の実施の形態＞
［１－１．画像処理装置および撮像装置の構成］
まず、第１の実施の形態に係る画像処理装置の機能を備える撮像装置５００の構成について説明する。図１は、画像処理装置としての画像処理部４００および撮像装置５００の構成を示すブロック図である。撮像装置５００は第１レンズ１００、マウント１５０、第２レンズ２００および撮像装置本体３００とから構成されている。

第１レンズ１００は、撮像装置本体３００に装着可能ないわゆる交換レンズであり、鏡筒（図示せず）内に光学撮像系１１０とレンズ駆動ドライバ１２０とを備える。第１レンズ１００はマウント１５０を介して撮像装置本体３００に装着されている。第１レンズ１００は撮像装置５００においてメインレンズとして機能するものである。

光学撮像系１１０は、被写体からの光を撮像素子に集光するための撮影レンズ、撮影レンズを移動させてフォーカス合わせやズーミングを行うための駆動機構、シャッタ機構、アイリス機構などから構成されている。これらは撮像装置本体３００の制御部３０１、レンズ駆動ドライバ１２０からの制御信号に基づいて駆動される。光学撮像系１１０を介して得られた被写体の光画像は、撮像装置本体３００が備える第１撮像素子３０２上に結像される。

レンズ駆動ドライバ１２０は、例えばマイコンなどにより構成され、撮像装置本体３００の制御部３０１の制御に従い撮影レンズを光軸方向に沿って所定量移動させることにより、目標とする被写体に合焦するようにオートフォーカスを行なう。また、制御部３０１からの制御に従い、光学撮像系１１０の駆動機構、シャッタ機構、アイリス機構などの動作を制御する。これにより、露光時間（シャッタースピード）の調整、絞り値（Ｆ値）などの調整がなされる。

第１レンズ１００は焦点距離が未知のものである。さらに、第１レンズ１００は撮像装置本体３００と情報の送受信を行う機能を有さないものである。よって第１レンズ１００は、撮像装置本体３００が第１レンズ１００の焦点距離情報を得ることができないものである。本技術は、この焦点距離が未知な交換レンズである第１レンズ１００の焦点距離を画像処理により算出するものである。焦点距離とは、ピントを合わせたときのレンズから撮像素子までの距離である。レンズによっては固定値で有しているものもあれば、レンズが光軸に対して平行方向に動作することにより、例えば「１８ｍｍ－５５ｍｍ」のように範囲を持って有しているものもある。

第２レンズ２００は撮像装置本体３００と一体的に構成されており、光学撮像系２１０とレンズ駆動ドライバ２２０とを備える。光学撮像系２１０とレンズ駆動ドライバ２２０の構成は第１レンズ１００が備えるものと同様である。第２レンズ２００により得られた被写体の光画像は、撮像装置本体３００が備える第２撮像素子３０３上に結像される。第２レンズ２００は撮像装置５００においてサブレンズとして機能するものである。

第２レンズ２００は焦点距離が既知であり、撮像装置本体３００が第２レンズ２００の焦点距離情報を得ることができることを条件とする。

撮像装置本体３００は、制御部３０１、第１撮像素子３０２、第２撮像素子３０３、カメラ処理回路３０４、画像メモリ３０５、記憶部３０６、表示部３０７、入力部３０８、動きセンサ３０９、外部入出力３１０、画像処理部４００を備えて構成されている。

制御部３０１は、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）およびＲＯＭ（Read Only Memory）などから構成されている。ＲＯＭには、ＣＰＵにより読み込まれ動作されるプログラムなどが記憶されている。ＲＡＭは、ＣＰＵのワークメモリとして用いられる。ＣＰＵは、ＲＯＭに記憶されたプログラムに従い様々な処理を実行してコマンドの発行を行うことによって撮像装置５００全体の制御を行う。

第１撮像素子３０２は、被写体からの入射光を光電変換して電荷量に変換して、画素信号を出力する。そして、第１撮像素子３０２は画素信号をカメラ処理回路３０４に出力する。第１撮像素子３０２としては、ＣＣＤ（Charge Coupled Device）、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）などが用いられる。

第２撮像素子３０３は第１撮像素子３０２と同様の構成を有するものである。第１レンズ１００により得られた被写体の光画像は第１撮像素子３０２上に結像され、第２レンズ２００により得られた被写体の光画像は第２撮像素子３０３上に結像される。以下の説明においては、第１レンズ１００により撮影された画像を第１画像、第２レンズ２００により撮影された画像を第２画像と称する。第１画像と第２画像とはユーザによるレリーズボタンの押下などの撮影指示を受けて同一のタイミングで撮影された画像である。また、第１画像と第２画像は同一の被写体を含むように撮影された画像である。

カメラ処理回路３０４は撮像素子から出力された撮像信号に対して、ＣＤＳ（Correlated Double Sampling）処理によりＳ／Ｎ（Signal／Noise）比を良好に保つためのサンプルホールド、ＡＧＣ（Auto Gain Control）処理、Ａ／Ｄ（Analog/Digital）変換などを行ない、画像信号を作成する。

また、カメラ処理回路３０４は、デモザイク処理、ホワイトバランス調整処理や色補正処理、ガンマ補正処理、Ｙ／Ｃ変換処理、ＡＥ（Auto Exposure）処理、解像度変換処理などの所定の信号処理を画像信号に対して施してもよい。

画像メモリ３０５は、揮発性メモリ、例えば、ＤＲＡＭ（Dynamic Random Access Memory）で構成されるバッファメモリである。画像メモリ３０５はカメラ処理回路３０４によって所定の処理が施された画像データを一時的に蓄えておくものである。

記憶部３０６は、例えば、ハードディスク、ＳＤメモリカードなどの大容量記憶媒体である。画像は例えばＪＰＥＧ（Joint Photographic Experts Group）などの規格に基づいて圧縮された状態で保存される。また、保存された画像に関する情報、撮像日時などの付加情報を含むＥＸＩＦ（Exchangeable Image File Format）データもその画像に対応付けられて保存される。動画は、例えば、ＭＰＥＧ２（Moving Picture Experts Group2）、ＭＰＥＧ４などの形式で保存される。また、本技術により算出された第１レンズ１００の焦点距離情報もEXIF情報として保存することが可能である。

表示部３０７は、例えば、ＬＣＤ（Liquid Crystal Display）、ＰＤＰ(Plasma Display Panel)、有機ＥＬ(Electro Luminescence)パネルなどにより構成された表示デバイスである。表示部３０７には、撮像装置５００のユーザインターフェース、メニュー画面、撮影中のモニタリング画像、記憶部３０６に記録された撮影画像、撮影済み動画などが表示される。

入力部３０８は、撮像装置本体３００に対して撮影指示、各種設定など入力するためのものである。入力部３０８に対してユーザから入力がなされると、その入力に応じた制御信号が生成されて制御部３０１に出力される。そして、制御部３０１はその制御信号に対応した演算処理や撮像装置５００の制御を行う。入力部３０８としては、レリーズボタン、撮影開始指示ボタン、電源オン／オフ切り替えのための電源ボタン、ズーム調整用の操作子などのハードウェアボタンの他、表示部３０７と一体に構成されたタッチパネルなどがある。

動きセンサ３０９は、例えば２軸または３軸方向に対する加速度センサ、角度速度センサ、ジャイロセンサなどにより撮像装置５００の動きを検出して、撮像装置５００自体の移動速度、移動方向、撮像装置５００が旋回しているときの回転角の変化する速度（角速度）やＹ軸方向周りの角速度を検出し、制御部３０１、画像処理部４００に出力する。

外部入出力３１０は、撮像装置本体３００と外部機器（パーソナルコンピュータ、タブレット端末、スマートフォンなど）が画像データなど各種データの送受信を行なうためのＵＳＢ（Universal Serial Bus）などの各種通信用端子、モジュールなどである。撮像装置本体３００と外部機器とのデータの送受信は有線に限られずWi-Fiなどの無線ＬＡＮ（Local Area Network）、Bluetooth（登録商標）、ZigBeeなどの無線通信であってもよい。

画像処理部４００には第１レンズ１００により撮影された第１画像および第２レンズ２００により撮影された第２画像が供給される。画像処理部４００は、第１画像と第２画像に所定の処理を施すことにより、第１レンズ１００の焦点距離を算出するものである。画像処理部４００による焦点距離算出処理の詳細については後述する。

画像処理部４００はプログラムで構成され、そのプログラムは、予め撮像装置本体３００内にインストールされていてもよいし、ダウンロード、記憶媒体などで配布されて、ユーザが自らインストールするようにしてもよい。そのプログラムを制御部３０１が実行することにより制御部３０１が画像処理部４００として機能するようにしてもよい。また、画像処理部４００は、プログラムによって実現されるのみでなく、その機能を有するハードウェアによる専用の装置、回路などを組み合わせて実現されてもよい。

画像処理装置としての画像処理部４００および撮像装置５００は以上のようにして構成されている。

［１－２．焦点距離算出処理］
次に図２を参照して画像処理部４００による焦点距離算出処理について説明する。図２は焦点距離算出処理の流れを示すフローチャートである。なお、焦点距離算出処理の前に第１レンズ１００が撮像装置本体３００に装着されているものとする。この焦点距離算出処理を行なうために、ユーザは撮像装置５００で所望の被写体を撮影（本撮影と称する）する前に焦点距離を算出するための撮影（仮撮影と称する）を行なう必要がある。焦点距離算出処理はこの仮撮影において行われるものである。

まずステップＳ１１で撮像装置５００が焦点距離算出モードに遷移する。これは例えば、ユーザからの入力部３０８に対する焦点距離算出モードへの遷移を指示する入力を受けて行われる。焦点距離算出モードに遷移すると撮像装置５００は仮撮影を行なう状態となる。

次にステップＳ１２で、ユーザからのレリーズボタンの押下などの撮影指示を受けて、撮像装置５００が撮影画像を取得する。このステップＳ１２では第１レンズ１００と第１撮像素子３０２により得られる第１画像と、第２レンズ２００と第２撮像素子３０３により得られる第２画像の両方が取得される。撮影により取得した第１画像と第２画像は画像処理部４００に供給される。

次にステップＳ１３で、画像処理部４００はピラミッド画像の作成を行なう。ピラミッド画像の作成とは、図３に示すように、第１画像に対して倍率（縮小率および拡大率）を一定の刻み幅で変化させた一連の拡大画像および縮小画像からなる画像群を作成する処理である。ピラミッド画像の作成は、第１画像の中心を原点として、縦横を同倍率で縮小または拡大することにより行なう。またピラミッド画像のサイズは元画像である第１画像と同一とし、縮小により生じる空白領域は任意の値で埋めるものとする。図３の例では、縮小率および拡大率の変化の刻み幅を０．１として複数のピラミッド画像を作成している。

次にステップＳ１４で、画像処理部４００は複数のピラミッド画像のそれぞれと第２画像とのマッチング処理を行なう。このマッチング処理は図３に示すように、ステップＳ１３で作成したピラミッド画像のそれぞれと第２画像とを対応させて、ピラミッド画像のそれぞれについてＳＡＤ（Sum of Absolute Difference）（差分絶対値和）値を算出するものである。マッチング処理の詳細については後述する。

次にステップＳ１５で、画像処理部４００はステップＳ１４で行ったマッチング処理の結果が第１レンズ１００の焦点距離を算出するために十分な精度を有しているかの判断を行う。精度判定処理の詳細については後述する。ステップＳ１５において、マッチング処理結果が焦点距離を算出するために十分な精度を有していないと判断された場合、処理はステップＳ１２に進む（ステップＳ１５のＮｏ）。そして、ユーザからのレリーズボタンの押下などの撮影指示を受けて撮像装置５００が再度第１画像および第２画像を取得する。ステップＳ１５でマッチング処理結果が焦点距離を算出するために十分な精度を有していると判断されるまでこの処理が繰り返される。

マッチング結果が焦点距離を算出するために十分な精度を有している場合、処理はステップＳ１６に進む（ステップＳ１５のＹｅｓ）。そしてステップＳ１６で、第１レンズ１００の焦点距離を算出する。第１レンズ１００の焦点距離は、マッチングにおいて算出されたＳＡＤ値が最も小さいピラミッド画像の倍率と第２カメラの焦点距離から下記の式（１）を用いて算出する。

［数１］
第１レンズ１００の焦点距離Ｆ１＝第２レンズ２００の焦点距離Ｆ２／ＳＡＤ値が最も小さいピラミッド画像の倍率・・・（１）

第２レンズ２００の焦点距離を２０ｍｍであるとすると、図３の例では、倍率が０．５のピラミッド画像においてＳＡＤ値が最も小さいため、その倍率０．５と、第２レンズ２００の焦点距離２０ｍｍとから第１レンズ１００の焦点距離Ｆ１は、「Ｆ１＝２０／０．５＝４０ｍｍ」と算出される。このようにして第１レンズ１００の焦点距離が算出される。

なお、図３に示すようにピラミッド画像の倍率が１．０以下でＳＡＤ値が最も小さくなるのは通常、第１レンズ１００が望遠の場合である。一方、図４に示すように、ピラミッド画像の倍率が１．０以上でＳＡＤ値が最も小さくなるのは通常、第２レンズ２００が望遠の場合である。

ここで、図５のフローチャートを参照してマッチング処理について説明する。

まずステップＳ２１で、図２のフローチャートにおけるステップＳ１３で作成した複数のピラミッド画像をマッチング処理の対象として入力する。なお、マッチング処理においては、第１画像を縮小させたピラミッド画像の場合にはピラミッド画像の有効領域（空白領域以外の領域）のみを用い、第１画像を拡大させたピラミッド画像の場合は画像全体を用いる。

第１撮像素子３０２と第２撮像素子３０３とでイメージャサイズが異なると撮影で取得される画像のボケ感も異なりマッチング精度が落ちることになる。これを避けるために第１撮像素子３０２および第２撮像素子３０３の位相差情報を使って、ピントが合っている領域を抽出し、そこだけを使ってマッチングを行うようにするとよい。

次にステップＳ２２で合焦領域判定を行う。これは各ピラミッド画像の合焦している領域が所定の面積以上であるかを判定するものである。合焦領域が所定の面積以下である場合は合焦領域が少なく、焦点距離算出が行えない、または行っても精度が低い結果となるためである。合焦領域判定処理では、例えばピラミッド画像のそれぞれを多数の領域に分割する。そして、各領域についてそれぞれが合焦領域であるか非合焦領域であるかを判定する。合焦領域が所定数以上であれば合焦領域が所定の面積以上であると判定することができる。

次にステップＳ２３で第２画像中における第１レンズ１００の写り込み判定を行う。第２画像中における第１レンズ１００の写り込みとは図６Ａに示すようなものであり、第２画像中に第１レンズ１００が写り込んでいると第１レンズ１００は黒い領域となる。この黒色の領域を写り込み領域としている。第１画像には第１レンズ１００は写り込まないため、写り込み領域の第２画像中における面積が大きすぎると焦点距離算出が行えない、または、行っても精度が低い結果となる。

写り込み判定は図６Ｂに示す方法で行なうことができる。まず、第２画像を一定の幅で複数の短冊状の領域に分割する（分割された領域を短冊と称する）。次に短冊ごとに短冊中における写り込み領域が占める割合を算出する。そしてその写り込み領域の割合が所定量を超える短冊数が所定数以上である場合には第２画像中における第１レンズ１００の写り込みが大きく、焦点距離算出には使用できないと判定する。この場合、ユーザに再度の撮影を行なうべき旨を通知する。

一方、写り込み領域の割合が所定量を超える短冊数が所定数以下である場合、図６Ｂに示すように写り込み領域の割合が所定量を超える短冊を除外し、短冊中において写り込み領域が占める割合が所定量を超えない短冊のみを用いてマッチング処理を行なう。

次にステップＳ２４で、複数のピラミッド画像のそれぞれについてＳＡＤ値の算出を行う。ＳＡＤ値の算出は図７に示すように、ピラミッド画像のそれぞれと第２画像とを有効画素領域内でブロック単位で比較して下記の式（２）を用いて行われる。

次にステップＳ２５で、ＳＡＤ値を有効画素数と写り込み判定における有効短冊数とに基づいて正規化する。次にステップＳ２６でピラミッド画像作成における倍率の刻み幅をより小さい値にする必要があるかを判断する。ピラミッド画像と第２画像のマッチングの精度が高まるに従いＳＡＤ値は小さくなっていくため、ピラミッド画像作成における倍率の刻み幅をより小さい値にするのは、より詳細なＳＡＤ値を算出してマッチングの精度を高めるためである。

図８に示すように、倍率の刻み幅をより小さい値にする必要があるか否かはＳＡＤ値に対して所定の閾値を設定し、ＳＡＤ値がその閾値以下であるか否かによって判断される。ＳＡＤ値が所定の閾値以上である場合、ピラミッド画像の倍率の刻み幅をより小さい値にする必要はないとして処理はステップＳ２７に進む（ステップＳ２６のＮｏ）。閾値は予め設定されていてもよいし、マッチングの精度の調整のためユーザが設定できるようにしてもよい。

そしてステップＳ２７で、ピラミッド画像ごとに算出された全てのＳＡＤ値に対してソート処理を行い、ステップＳ２８で最小のＳＡＤ値とその最小のＳＡＤ値に対応するピラミッド画像の倍率を示す情報を出力する。この最小のＳＡＤ値とそれに対応するピラミッド画像の倍率は、図２のフローチャートのステップＳ１６における焦点距離の算出に用いられる。

ここでステップＳ２６の説明に戻る。ステップＳ２６でＳＡＤ値が所定の閾値以下である場合、ピラミッド画像の倍率の刻み幅をより小さい値にする必要があるとして処理はステップＳ２９に進む（ステップＳ２６のＹｅｓ）。そしてステップＳ２９で、倍率の刻み幅をより小さくした複数のピラミッド画像を作成する。上述したように図２のフローチャートのステップＳ１３で作成したピラミッド画像は倍率を０．１ずつ変化させて第１画像を拡大または縮小させた複数の画像である。倍率の刻み幅をより小さい値にする必要がある場合、例えば、倍率を０．０１ずつ変化させた複数のピラミッド画像を作成する。

このピラミッド画像の倍率の刻み幅の変更について図８および図９を参照して説明する。ピラミッド画像ごとにＳＡＤ値を算出し、ＳＡＤ値が予め定めた閾値以下の範囲においては倍率の刻み幅をより小さい値にした複数のピラミッド画像を作成してＳＡＤ値を算出する。ＳＡＤ値が閾値以下の範囲とはピラミッド画像と第２画像のマッチング度合いが最も高い倍率の周辺であるため、その範囲でピラミッド画像の倍率の刻み幅をより小さくすることにより、マッチングの精度を高めることができる。

図８の例では、ＳＡＤ値が閾値を超えている範囲は倍率０．６から０．４の範囲（ハッチング範囲）であるため、図９に示すように０．６から０．４の範囲において倍率を０．０１刻みとしてピラミッド画像を作成する。そしてそれらのピラミッド画像についてもＳＡＤ値を算出し、ＳＡＤ値が最小のピラミッド画像の倍率を用いて第１レンズ１００の焦点距離を算出する。

図９の例では倍率０．４５においてＳＡＤ値が最も小さくなっているため、第２レンズ２００の焦点距離が２０ｍｍである場合、上述の式（１）を用いて、倍率０．４５と第２レンズ２００の焦点距離２０ｍｍとから第１レンズ１００の焦点距離Ｆ１は、「Ｆ１＝２０／０．４５＝４４.４４ｍｍ」と算出される。

次に、図２のフローチャートのステップＳ１５におけるマッチング処理の結果が焦点距離を算出するために十分な精度を有しているかの判断について説明する。判断は所定の条件を満たしているかを確認することにより行なうことができる。

所定の条件としては、下記の条件を用いることができる。
（１）ＳＡＤ値の最小値が所定値以下であること
（２）第１画像の明度が所定値以上であること
（３）第１画像のＩＳＯ感度が所定値以下であること
（４）撮影時における撮像装置５００の動きが所定量以下であること
（５）第１レンズ１００と第２レンズ２００とが同方向を向いていること
（６）第２画像に第１レンズ１００が写り込んでいないこと、または写り込んでいたとしても写り込み量が所定量以下であること
（７）第１画像のピントが合っていること

これらの条件の１つでも満たしてない場合はマッチング処理の結果が焦点距離を算出するために十分な精度を有していないとしてもよいし、各条件に優先度による重み付けを行い、総合的に精度の判断を行ってもよい。また、これらの条件のうち所定数を満たしていない場合に十分な精度を有してないとしてもよい。

（１）の条件は、図８、図９を参照して説明したＳＡＤ値の最小値を所定の閾値を比較することにより判断できる。（２）、（３）、（７）の条件は第１画像の解析により判断することができる。（４）の条件は撮像装置本体３００が備える動きセンサ３０９の検出結果から判断することができる。（５）の条件は第１レンズ１００により撮影される第１画像と第２レンズ２００により撮影される第２画像との比較で同一の被写体が写っているかなどを確認することにより判断できる。（６）は図６を参照して上述した第２画像中における第１レンズ１００の写り込み判定で判断することができる。

（１）の条件は、マッチングの精度の高さに比例してＳＡＤ値の最小値は下がっていくため、ＳＡＤ値の最小値が所定値以下ではない場合、そもそもマッチングが適切に行われていないおそれがあるからである。（２）の条件は、第１画像が暗すぎるとマッチングを正確に行うことができないからである。（３）の条件は、ＩＳＯ感度が高すぎると画像にノイズ発生などの問題が生じてマッチングを正確に行うことができないからである。（４）の条件は、撮像装置５００の動きが大きすぎると第１画像および第２画像中の被写体がぶれてしまい正確にマッチングを行うことができないからである。（５）の条件は、第１レンズ１００と第２レンズ２００とが異なる方向を向いている場合、撮影しても異なる被写体を撮影することになりマッチングを行うことができないからである。（６）の条件は、第２画像の第１レンズ１００が写り込んでいても、その第１レンズ１００は第１画像中には写り込んでいないため、正確にマッチングを行うことができないからである。（７）の条件は、第１画像のピントが合っていない場合、被写体がぼけており正確にマッチングを行うことができないからである。

マッチング処理の結果が焦点距離を算出するために十分な精度を有していない場合、処理はステップＳ１２に進み、ユーザからのレリーズボタンの押下などの撮影指示を受けて、再び撮像装置５００が撮影画像として第１画像と第２画像を取得する。ステップＳ１５でマッチング処理結果が焦点距離を算出するために十分な精度を有していると判断されるまでこの処理が繰り返される。

なお、ステップＳ１５からステップＳ１２に進む場合、ユーザに再撮影が必要である旨の通知を行なうようにしてもよい。この通知は例えば撮像装置５００の表示部３０７に所定のメッセージやマークを表示することにより実現することができる。また、この通知は表示部３０７への表示以外にも、撮像装置５００が備えるライトを点灯させる、撮像装置５００が備えるスピーカから所定のメッセージを音声として出力する、撮像装置５００自体を振動させるなどの手法により実現することもできる。これらの方法を単独で用いて通知を行ってもよいし、組み合わせて通知を行ってもよい。

以上のようにして第１の実施の形態における第１レンズ１００の焦点距離算出が行われる。仮撮影で焦点距離を算出後、ユーザはその算出された焦点距離情報を用いて本撮影を行なうことができる。

この第１の実施の形態によれば、第１レンズ１００で撮影した第１画像と第２レンズ２００で撮影した第２画像とから第１レンズ１００の焦点距離を算出することができる。これにより焦点距離が不明なレンズを撮像装置本体３００に装着して撮影する場合にも、焦点距離を利用した処理を実行することができる。例えば、焦点距離が不明なレンズを用いても、手ぶれ補正のようなレンズの焦点距離を用いる撮像装置５００の処理を実行することができる。手ぶれ補正以外にもレンズの焦点距離を用いる撮像装置５００の処理であればどのようなものにも算出した焦点距離を利用することができる。また、タグ情報として焦点距離情報を予め有しているが、それを撮像装置本体３００に送信する機能を有さない交換レンズを使用する場合も、ユーザは焦点距離情報を撮像装置５００に直接入力する必要もない。また、撮像装置５００により撮影した画像にExif情報として焦点距離情報を加えることができる。さらに、異なるレンズで同時に撮影された２枚の画像を用いるので、焦点距離算出を行なうための仮撮影における被写体が静止物体に限定されるということがない。

＜２．第２の実施の形態＞
［２－１．焦点距離算出処理］
次に本技術の第２の実施の形態について説明する。第２の実施の形態は動画撮影において第１レンズ１００の焦点距離の算出を行なうものである。第１レンズ１００、第２レンズ２００、撮像装置本体３００および画像処理部４００からなる撮像装置５００の構成は第１の実施の形態と同様であるためその説明を省略する。

図１０は第２の実施の形態における焦点距離算出処理の流れを示すフローチャートである。ステップＳ１１乃至ステップＳ１６は第１の実施の形態と同様のフローであるため、その説明を省略する。なお、ステップＳ１２における第１レンズ１００と第２レンズ２００で取得される画像は動画を構成するフレーム画像である。ステップＳ１３からステップＳ１６までの処理はそのフレーム画像に対して行われるものである。

ステップＳ１６で第１レンズ１００の焦点距離を算出した後、次にステップＳ３１で焦点距離の更新処理を行う。この焦点距離の更新処理ではまず、動画を構成する第１フレームから第１０フレームまでの合計１０フレーム分の焦点距離を記憶しておき、その平均を算出する。この平均焦点距離を第１レンズ１００の焦点距離とする。

次にステップＳ３２で動画撮影が終了したか否かが判断される。動画撮影が終了したか否かはユーザによる動画撮影停止の入力があったか否かなどによって判断することができる。動画撮影が終了していない場合処理はステップＳ１２に進み、動画を構成するフレーム画像が取得される（ステップＳ３２のＮｏ）。

次にステップＳ１６で第１１フレームの焦点距離が算出されたら、再びステップＳ３１で、次の１０フレーム分（第２フレームから第１１フレームまで）の平均焦点距離を算出する。そしてこの平均焦点距離を第１レンズ１００の焦点距離とする。

次にステップＳ１６で第１２フレームの焦点距離が算出されたら、再びステップＳ３１でさらに次の１０フレーム分（第３フレームから第１２フレームまで）の平均焦点距離を算出する。そしてこの平均焦点距離を第１レンズ１００の焦点距離とする。

ステップＳ３２で動画撮影が終了している場合、処理は終了となる（ステップＳ３２のＹｅｓ）。

このようにフレームごとの焦点距離が算出される度に常に一定数のフレームの平均焦点距離を算出してその平均焦点距離を第１レンズ１００の焦点距離とすることにより、焦点距離を更新していく。これにより動画撮影の進行に追随して常に第１レンズ１００の焦点距離を最新の情報に更新し続けることができる。

ただし、算出された１つのフレームの焦点距離が最新の平均焦点距離に対して大きく異なる場合、その大きく異なる焦点距離は平均焦点距離の算出には用いないようにしてもよい。この場合、その大きく異なる焦点距離を除いた合計９個の焦点距離から平均焦点距離を算出してもよいし、その大きく異なる焦点距離を除いて、その分新たな焦点距離を加えた合計１０個の焦点距離から平均焦点距離を算出してもよい。算出された１つのフレームの焦点距離が平均焦点距離に対して大きく異なるか否かは平均焦点距離に対して閾値を設定し、その閾値を超えるか否かで判断することができる。

なお、上述の説明においては平均焦点距離を１０個のフレームの焦点距離から算出したが、その数は１０に限られるものではなく、１０以上のフレーム数で平均焦点距離を算出してもよいし、１０以下のフレーム数で平均焦点距離を算出してもよい。

本技術の第２の実施の形態は以上のようにして焦点距離を算出する。この第２の実施の形態によれば、焦点距離が不明なレンズを第１レンズ１００として用いて動画撮影を行う際にも第１レンズ１００の焦点距離を算出し、さらに動画撮影の進行に合わせて焦点距離を更新していくことができる。これにより、例えば手ぶれ補正のようなレンズの焦点距離を用いる撮像装置５００の処理を実行することができる。手ぶれ補正以外にもレンズの焦点距離を用いる撮像装置５００の処理であればどのようなものにも算出した焦点距離を利用することができる。

＜３．ユーザインターフェース＞
次にユーザが焦点距離算出処理を利用するためのユーザインターフェースの例について説明する。図１１はユーザインターフェースの一例を示す図である。

図１１に示すユーザインターフェース例では、撮像装置５００の表示部３０７に表示されるメニュー画面に焦点距離算出を行なうモードへの遷移を指示するためのアイコンとしての文字列が配置されている。ユーザがそのアイコンに対して入力を行うと撮像装置５００が焦点距離算出のための仮撮影モードに遷移する。なお、図１１のメニュー画面はあくまで一例でありメニュー画面の構成は図１１の例に限られるものではない。

また、撮像装置５００に焦点距離算出を行なう仮撮影モードに遷移するためのハードウェアボタンを設け、そのハードウェアボタンが押下されると仮撮影モードに遷移するようにしてもよい。

さらに、第１レンズ１００を撮像装置本体３００に装着を検知するメカニカルスイッチを撮像装置本体３００に設け、第１レンズ１００の装着を検知した際に自動的に焦点距離算出を行なうための仮撮影モードに遷移するようにしてもよい。

また、第１レンズ１００の焦点距離が算出され、ユーザがその焦点距離を用いて本撮影を行った後、ユーザからのリセット指示入力があった場合に第１レンズ１００の焦点距離をリセット（初期化）するとよい。または、撮像装置５００が備える計時機能を用いて焦点距離算出実行から所定時間（例えば１日など）が経過したら自動的に焦点距離がリセットされるようにしてもよい。さらに、仮撮影モードで焦点距離算出後、次に焦点距離算出のために仮撮影モードに遷移した際に前回算出された焦点距離をリセットするようにしてもよい。

＜４．変形例＞
以上、本技術の実施の形態について具体的に説明したが、本技術は上述の実施の形態に限定されるものではなく、本技術の技術的思想に基づく各種の変形が可能である。

一眼レフカメラに限られず、別体のレンズを装着可能なカメラであればデジタルビデオカメラ、デジタルカメラなどにも適用することが可能である。また、撮影機能を有し、別体のレンズを装着することができる装置であればカメラ以外でもスマートフォン、携帯電話機、携帯ゲーム機、車載カメラ、監視カメラ、ノートパソコン、タブレット端末、腕時計型のウェアラブル端末、眼鏡型のウェアラブル端末などにも適用可能である。

第１レンズ１００はいわゆる一眼レフカメラ用の交換レンズに限られず、レンズおよび撮像素子を備え外部機器と無線通信で画像データの送受信を行なういわゆるレンズスタイルカメラであってもよい。第２レンズ２００もレンズスタイルカメラであってもよい。

第２レンズ２００は撮像装置本体３００に内蔵されているものに限られず、マウント１５０などを用いて撮像装置本体３００に機械的に装着させるもの、Bluetooth（登録商標）、Wi-Fiなどの通信方式で撮像装置本体３００に接続され、撮像装置本体３００とデータの送受信が可能なレンズであってもよい。

実施の形態では拡大および縮小の両方を行ってピラミッド画像を作成すると説明した。しかし、第１レンズ１００と第２レンズ２００が望遠であるかに応じて、第１レンズ１００が望遠である場合は第１画像を縮小させてピラミッド画像を作成し、第２レンズ２００が望遠の場合には第１画像を拡大させてピラミッド画像を作成するようにしてもよい。

実施の形態では第１レンズ１００と第１撮像素子３０２により取得した画像信号と第２レンズ２００と第２撮像素子３０３により取得した画像信号とを単一のカメラ処理回路３０４で処理したが、それぞれ別個のカメラ処理回路で処理し、焦点距離算出を行なう画像処理部４００に供給するようにしてもよい。

第１レンズ１００と第２レンズ２００が平行でない場合、視差が大きい場合、第１画像と第２画像の画角が違い過ぎてマッチング精度が低くなる可能性がある。それを回避するために第１画像と第２画像の２つの画像から対応点を抽出し、射影変換行列を算出し、どちらか一方の画角にもう一方の画角を合わせてから再度ＳＡＤ値に基づくマッチングを行なう手法を採用してもよい。これにより、２つのレンズの画角が異なっても精度の高いマッチングを行うことができる。

図１２のフローチャートに示すように、ステップＳ１５でマッチング処理の結果が焦点距離を算出するために十分な精度を有していないと判断された場合、ステップＳ４１に進み、第１レンズ１００により得られる第１画像を２枚連続で取得し、その連続画像から焦点距離を算出してもよい（ステップＳ１５のＮｏ）。この２枚の連続画像から焦点距離を算出する方法としては例えば、特願２００４－３１５９２７、特願２００６－１２９１７３に記載されているような方法を採用することができる。

実施の形態では、ピラミッド画像をまず刻み幅０．１の倍率で作成し、さらに刻み幅０．０１の倍率で作成したが、最初から刻み幅０．０１の倍率で作成してもよい。また、倍率の刻み幅は０．１倍、０．０１倍などに限られず、０．２倍、０．０５倍などどのような値でもよい。

また、第１レンズ１００は焦点距離が既知のレンズ（マスターレンズ）に倍率が未知であるコンバータレンズ（コンバージョンレンズ）を装着した複数のレンズを有する光学系であってもよい。コンバータレンズとは、カメラでの撮影において、マスターレンズに装着することで、元の光学系の焦点距離よりも広角側もしくは望遠側で撮影できるようにするものである。例えば、カメラ本体に一体的に設けられるレンズの先端にコンバータレンズを装着する場合や、カメラ本体と交換レンズを接続するマウントにコンバータレンズが設けられる場合がこれに相当する。また、例えば、２つのカメラを備えるスマートフォンの一のカメラにコンバータレンズを装着した場合もこれに相当する。

本技術は以下のような構成も取ることができる。
（１）
焦点距離が未知の第１レンズにより撮影された第１画像と、焦点距離が既知の第２レンズにより撮影された第２画像とを用いて、前記第１レンズの焦点距離を算出する
画像処理装置。
（２）
前記第１画像と前記第２画像は同一の被写体を含むように同一のタイミングで撮影された画像である（１）に記載の画像処理装置。
（３）
前記第１画像を第１の刻み幅で変化させた複数の倍率で拡大および／または縮小させた複数のピラミッド画像と前記第２画像とのマッチング処理を行い、前記複数のピラミッド画像のうちマッチング度合いが最も高い画像の倍率と、前記第２レンズの焦点距離から前記第１レンズの焦点距離を算出する（１）または（２）に記載の画像処理装置。
（４）
前記複数のピラミッド画像のそれぞれについて前記第２画像とからＳＡＤ値を算出し、該ＳＡＤ値が最小のピラミッド画像をマッチング度合いが最も高い画像とする（３）に記載の画像処理装置。
（５）
前記ＳＡＤ値が所定の値以下の場合、ＳＡＤ値が所定の値以下の範囲において、前記第１の刻み幅よりも小さい第２の刻み幅で変化させた複数の倍率で前記第１画像を拡大および／または縮小させた複数のピラミッド画像と前記第２の画像とのマッチング処理を行い、前記複数のピラミッド画像のうちマッチング度合いが最も高い画像の倍率と、前記第２レンズの焦点距離から前記第１レンズの焦点距離を算出する（４）に記載の画像処理装置。
（６）
前記マッチング処理の結果が所定の条件を満たしているか否かに基づいて前記マッチング処理の精度判定を行なう（３）から（５）のいずれかに記載の画像処理装置。
（７）
前記所定の条件は、前記第１レンズと前記第２レンズが同方向を向いていることである（６）に記載の画像処理装置。
（８）
前記所定の条件は、前記第１画像の明度が所定値以上であることである（６）または（７）に記載の画像処理装置。
（９）
前記所定の条件は、前記第１画像のＩＳＯ感度が所定値以下であることである（６）から（８）のいずれかに記載の画像処理装置。
（１０）
前記所定の条件は、前記第２画像に前記第１レンズの写り込みがないこと、または第２画像における前記第１レンズの写り込み面積が所定の大きさ以下であることである（６）から（９のいずれかに記載の画像処理装置。
（１１）
前記第２画像における前記第１レンズの写り込み面積の大きさが所定の大きさ以下である場合、前記第２画像中における前記第１レンズの写り込みがない領域を用いて前記マッチングを行なう（１０）に記載の画像処理装置。
（１２）
前記所定の条件は、前記第１画像のピントが合っていることである（６）から（１１）のいずれかに記載の画像処理装置。
（１３）
前記第１画像は動画を構成するフレーム画像である（１）から（１２）のいずれかに記載の画像処理装置。
（１４）
複数の前記フレーム画像ごとに前記焦点距離を算出し、所定数の前記フレーム画像の焦点距離の平均を前記第１レンズの焦点距離とする（１３）に記載の画像処理装置。
（１５）
算出された前記フレーム画像の焦点距離と、該フレーム画像の直前のフレーム画像直近に算出された前記平均との差が所定量以上である場合、前記フレーム画像の焦点距離は次の平均の算出から除外される（１４）に記載の画像処理装置。
（１６）
前記第１レンズは撮像装置に装着可能な交換レンズであり、前記第２レンズは前記撮像装置に一体的に設けられるレンズである
（１）から（１５）のいずれかに記載の画像処理装置。
（１７）
前記第１レンズは、焦点距離が既知のレンズに倍率が未知のコンバータが装着されたレンズである（１）から（１６）のいずれかに記載の画像処理装置。
（１８）
前記第１レンズの焦点距離を算出するモードを有し、ユーザからの入力または撮像装置への前記第１レンズの装着をきっかけに前記モードに遷移する（１）から（１７）のいずれかに記載の画像処理装置。
（１９）
焦点距離が未知の第１レンズにより撮影された第１画像と、焦点距離が既知の第２レンズにより撮影された第２画像とを用いて、前記第１レンズの焦点距離を算出する
画像処理方法。
（２０）
焦点距離が未知の第１レンズにより撮影された第１画像と、焦点距離が既知の第２レンズにより撮影された第２画像とを用いて、前記第１レンズの焦点距離を算出する
画像処理方法をコンピュータに実行させる画像処理プログラム。

１００・・・第１レンズ
２００・・・第２レンズ
４００・・・画像処理部

Claims (19)

1. 焦点距離が未知の第１レンズにより撮影された第１画像と、焦点距離が既知の第２レンズにより撮影された第２画像とを用いて、前記第１画像を第１の刻み幅で変化させた複数の倍率で拡大および／または縮小させた複数のピラミッド画像と前記第２画像とのマッチング処理を行い、前記複数のピラミッド画像のうちマッチング度合いが最も高い画像の倍率と、前記第２レンズの焦点距離とから前記第１レンズの焦点距離を算出する
   画像処理装置。
2. 前記第１画像と前記第２画像は同一の被写体を含むように同一のタイミングで撮影された画像である
   請求項１に記載の画像処理装置。
3. 前記複数のピラミッド画像のそれぞれについて前記第２画像とからＳＡＤ値を算出し、該ＳＡＤ値が最小のピラミッド画像をマッチング度合いが最も高い画像とする
   請求項１に記載の画像処理装置。
4. 前記ＳＡＤ値が所定の値以下の場合、ＳＡＤ値が所定の値以下の範囲において、前記第１の刻み幅よりも小さい第２の刻み幅で変化させた複数の倍率で前記第１画像を拡大および／または縮小させた複数のピラミッド画像と前記第２画像とのマッチング処理を行い、前記複数のピラミッド画像のうちマッチング度合いが最も高い画像の倍率と、前記第２レンズの焦点距離から前記第１レンズの焦点距離を算出する
   請求項３に記載の画像処理装置。
5. 前記マッチング処理の結果が前記第１レンズの焦点距離を算出するために十分な精度を有しているか否かに基づいて前記マッチング処理の精度判定を行なう
   請求項１に記載の画像処理装置。
6. 前記マッチング処理の結果が前記第１レンズの焦点距離を算出するために十分な精度を有しているかを判断する条件は、前記第１レンズと前記第２レンズが同方向を向いていることである
   請求項５に記載の画像処理装置。
7. 前記マッチング処理の結果が前記第１レンズの焦点距離を算出するために十分な精度を有しているかを判断する条件は、前記第１画像の明度が所定値以上であることである
   請求項５に記載の画像処理装置。
8. 前記マッチング処理の結果が前記第１レンズの焦点距離を算出するために十分な精度を有しているかを判断する条件は、前記第１画像のＩＳＯ感度が所定値以下であることである
   請求項５に記載の画像処理装置。
9. 前記マッチング処理の結果が前記第１レンズの焦点距離を算出するために十分な精度を有しているかを判断する条件は、前記第２画像に前記第１レンズの写り込みがないこと、または第２画像における前記第１レンズの写り込み面積が所定の大きさ以下であることである
   請求項５に記載の画像処理装置。
10. 前記第２画像における前記第１レンズの写り込み面積の大きさが所定の大きさ以下である場合、前記第２画像中における前記第１レンズの写り込みがない領域を用いて前記マッチングを行なう
    請求項９に記載の画像処理装置。
11. 前記マッチング処理の結果が前記第１レンズの焦点距離を算出するために十分な精度を有しているかを判断する条件は、前記第１画像のピントが合っていることである
    請求項５に記載の画像処理装置。
12. 前記第１画像は動画を構成するフレーム画像である
    請求項１に記載の画像処理装置。
13. 複数の前記フレーム画像ごとに前記焦点距離を算出し、所定数の前記フレーム画像の焦点距離の平均を前記第１レンズの焦点距離とする
    請求項１２に記載の画像処理装置。
14. 算出された前記フレーム画像の焦点距離と、該フレーム画像の直前のフレーム画像直近に算出された前記平均との差が所定量以上である場合、前記フレーム画像の焦点距離は次の平均の算出から除外される
    請求項１３に記載の画像処理装置。
15. 前記第１レンズは撮像装置に装着可能な交換レンズであり、
    前記第２レンズは前記撮像装置に一体的に設けられるレンズである
    請求項１に記載の画像処理装置。
16. 前記第１レンズは、焦点距離が既知のレンズに倍率が未知のコンバータが装着されたレンズである
    請求項１に記載の画像処理装置。
17. 前記第１レンズの焦点距離を算出するモードを有し、ユーザからの入力または撮像装置への前記第１レンズの装着をきっかけに前記モードに遷移する
    請求項１に記載の画像処理装置。
18. 焦点距離が未知の第１レンズにより撮影された第１画像と、焦点距離が既知の第２レンズにより撮影された第２画像とを用いて、前記第１画像を第１の刻み幅で変化させた複数の倍率で拡大および／または縮小させた複数のピラミッド画像と前記第２画像とのマッチング処理を行い、前記複数のピラミッド画像のうちマッチング度合いが最も高い画像の倍率と、前記第２レンズの焦点距離とから前記第１レンズの焦点距離を算出する
    画像処理方法。
19. 焦点距離が未知の第１レンズにより撮影された第１画像と、焦点距離が既知の第２レンズにより撮影された第２画像とを用いて、前記第１画像を第１の刻み幅で変化させた複数の倍率で拡大および／または縮小させた複数のピラミッド画像と前記第２画像とのマッチング処理を行い、前記複数のピラミッド画像のうちマッチング度合いが最も高い画像の倍率と、前記第２レンズの焦点距離とから前記第１レンズの焦点距離を算出する
    画像処理方法をコンピュータに実行させる画像処理プログラム。

Images