JP6916627B2 - 撮像装置およびその制御方法 - Google Patents

Description

本発明は、撮像装置およびその制御方法に関し、特には被写体の３次元情報を取得可能な撮像装置およびその制御方法に関する。

従来、同一の被写体を異なる位置から撮影して得られる複数の画像に含まれる同一特徴点の位置と、各画像を撮影したカメラの位置および姿勢の情報とから、被写体の３次元座標を推定するシステムが知られている（特許文献１）。

また、近年、３Ｄプリンタとも呼ばれる立体物の造形装置が知られており、特許文献２には、露光により光硬化性樹脂を硬化させた樹脂硬化層を積層して立体物を造形する光造形装置が開示されている。

特開２０１１−８５９７１号公報 特開２００４−１２２５０１号公報

特許文献１に開示されるような方法で取得した被写体の３次元座標のデータ（３次元データ）を、特許文献２に示されるような造形装置で用いて立体物を造形する場合、３次元データの分解能と、造形装置の分解能の差が問題となる。

造形装置の分解能よりも３次元データの分解能が低い場合、造形装置の能力を十分に活用できない。また、造形装置の分解能よりも３次元データの分解能が高い場合、３次元データの再現性が低い造形物しか得られず、また必要以上の３次元データを処理することで、記憶容量や処理能力等のリソースを無駄に消費してしまう。

従って、造形装置に適した分解能の３次元データを生成することが望まれるが、このような課題を解決するための構成は提案されていなかった。

本発明は、このような課題に鑑み、所望の３次元データの生成を支援することが可能な撮像装置およびその制御方法の提供を目的とする。

上述の目的は、撮像素子と、撮像素子を用いて得られた画像と、画像に対応する奥行き情報とからなる、被写体の３次元情報を取得する取得手段と、３次元情報の分解能が、予め定められた分解能に対して十分か否かを、光軸に直交する面内方向と光軸に平行な奥行方向とのそれぞれについて判定する判定手段と、判定手段により３次元情報の分解能が不十分と判定された方向が存在する場合、再撮影時の撮影条件を決定する決定手段と、を有し、決定手段は、絞り値を変更するように撮影条件を決定し、絞り値を大きくするか小さくするかを、判定手段によって３次元情報の分解能が不十分と判定された方向に応じて決定することを特徴とする撮像装置によって達成される。

このような構成により、本発明によれば、所望の３次元データの生成を支援することが可能な撮像装置およびその制御方法を提供できる。

本発明の第１実施形態に係るカメラの機能構成例を示すブロック図 第１実施形態における撮像素子の構成例を説明するための図 第１実施形態における被写体距離の算出方法を説明するための図 取得分解能と造形分解能の違いが造形物に与える影響を説明するための図 取得分解能と造形分解能の違いが造形物に与える影響を説明するための図 取得分解能と造形分解能の違いが造形物に与える影響を説明するための図 造形倍率について説明するための図 取得分解能と造形分解能との関係例を示す図 第１実施形態における比較結果の報知例を示す図 第１実施形態における取得分解能と造形分解能との比較方法の一例を説明するための図 第１実施形態における３次元情報取得動作を示すフローチャート 第１実施形態において３次元情報から造形用データを得るデータ処理について説明するためのフローチャート 絞り値と方向ごとの分解能との関係に関して説明するための図 絞り値と射出瞳の大きさとの関係に関して説明するための図 第２実施形態の概要を模式的に示した図

●（第１実施形態）
以下、本発明の例示的な実施形態について、添付の図面に基づいて詳細に説明する。
図１は本発明の第１実施形態に係る撮像装置の一例としてのデジタルカメラ（以下、単にカメラという）１の機能構成例を示すブロック図である。なお、カメラのように専ら撮像機能を提供する電子機器に限らず、カメラを内蔵もしくは接続可能な任意の電子機器において本発明を実施することができる。

図１において、カメラ１は、フォーカスレンズなどを有する撮像レンズ（撮像光学系）２を備えている。撮像レンズ２はカメラ１から着脱可能な交換レンズであってもよい。システム制御部３は例えば不揮発性メモリ、揮発性メモリ、およびプログラマブルプロセッサを有し、不揮発性メモリに記憶されたプログラムを揮発性メモリに展開してプロセッサで実行することにより各部の動作を制御し、カメラ１の動作を実現する。

撮像素子４は光電変換機能を有する画素が複数配列された構成を有し、撮像レンズ２が撮像面に形成する被写体像を電気信号（画像信号）に変換する。後述するように、撮像素子４は各画素が複数の光電変換領域を有し、１度の撮影（露光）で複数の視差画像を取得可能な構成を有する。画像処理部５は撮像素子４が生成する画像信号やメモリ部６から読み出された信号などに様々な画像処理を適用する。画像処理部５が適用する画像処理の例には、ホワイトバランス調整処理、色補完処理、ガンマ補正処理、符号化および復号処理などが含まれるが、これらに限定されない。

メモリ部６は例えば不揮発性メモリ、揮発性メモリの少なくとも一方を有し、データの一時記憶や各種設定値などの保存などに用いられる。なお、システム制御部３が実行するプログラムの少なくとも一部がメモリ部６に記憶されていてもよいし、メモリ部６がシステム制御部３のワークエリアとして用いられてもよい。なお、メモリ部６には、着脱可能な記憶媒体と、記憶媒体にデータを書き込んだり、記憶媒体からデータを読み出したりするためのインタフェースや周辺回路が含まれていてもよい。

入力部７はユーザがカメラ１へ各種の指示やデータを入力するためのユーザインタフェースである。入力部７はキー、ボタン、スイッチ、タッチパネル等、物理的な操作を伴う入力デバイス群に限らず、音声入力などの非接触な入力方法に対応した構成を有していてもよい。

入力部７には、立体物造形を行う被写体を撮像画像から選択するための被写体選択部８と、造形分解能を入力する造形分解能入力部９と、立体造形物の被写体に対する造形倍率を入力する造形倍率入力部１０が設けられている。これらは、専用の入力デバイスとして構成されてもよいが、例えば入力部７に含まれる汎用的な入力デバイスの操作とＧＵＩ表示との組み合わせなどによって実現されてもよい。

ここで造形分解能とは、想定している造形装置がどの程度の細かさで立体物を造形可能かという程度を表し、例えば、０．０２ｍｍピッチで造形可能な装置の場合、造形分解能は０．０２ｍｍとなる。造形分解能の入力は、値を直接入力する方法のほか、装置の型番を入力する方法など，他の方法を用いてもよい。この場合、いくつかの造形装置について、装置を特定する情報（例えば装置の型番）と造形解像度とを対応付けてメモリ部６に記憶させておき、入力部７から入力された型番を用いてシステム制御部３がメモリ部６を参照し、造形分解能を取得することができる。システム制御部３は、入力された造形分解能、もしくは取得した造形分解能を造形分解能記憶部１１に記憶する。

また、造形倍率とは、被写体の実際の大きさに対する造形物の大きさを表す値であり、変形を伴わない場合にはｘ，ｙ，ｚのいずれか一方向についての倍率を指定するようにしてもよい。例えば、２倍を指定した場合、造形物は実物の８倍（＝２＾３）の大きさとなる。もちろん、体積の倍率を指定するように構成してもよい。

あるいは、カメラ起動時や、造形を行う被写体が決定された際に自動で設定されるようにしてもよい。造形倍率の自動決定方法としては、例えば、被写体の実際の大きさと、使用する造形装置で造形可能な最大の大きさとから、最大の造形物を生成する場合の倍率を造形倍率として算出する方法がある。また、造形可能な最大の大きさの代わりに、ユーザが入力した造形物の大きさ（例えば「１００×１００×１００ｍｍ以内」など）を用いて造形倍率を求めてもよい。

３次元情報取得部１２は、撮像素子４によって撮像された画像から、被写体の３次元情報を取得する。また、取得分解能記憶部１３は、３次元情報取得部１２により取得された３次元情報の分解能を記憶する。本実施形態における被写体の３次元情報とは、撮像画像（２次元情報）と、カメラ１から被写体までの距離情報（奥行き情報）とを組み合わせた情報である。

通信部１６は、カメラ１と外部装置との通信インターフェースであり、有線および無線の少なくとも一方により、カメラ１と外部装置とが通信することを可能にする。例えば造形装置を通信部１６を介してケーブル接続したり、無線ＬＡＮ接続したりすることで、造形用のデータをカメラ１から造形装置に直接供給することができる。

上述の通り、本実施形態のカメラ１は、複数の視差画像を一度の撮影（露光）で取得することができる。このようなカメラとしてはステレオカメラの様な多眼カメラを代表としてさまざまなものが知られているが、本実施形態では、撮像素子４が受光面上に撮像レンズ２の射出瞳を分割するマイクロレンズアレイ（以下、ＭＬＡ）を備えている。そして、このような撮像素子４で得られる複数の視差画像の位相差を検出することで、被写体の距離情報（奥行き情報）を得ることができる。また、視差画像を加算することで、被写体の２次元情報も得ることができる。撮像素子４の詳細な構成および、視差画像から被写体の３次元情報を取得する方法の詳細については、図２及び図３を用いて後述する。

３次元情報取得部１２により取得された被写体の距離情報と、画像処理部５で生成された撮像画像（２次元情報）との組み合わせは、被写体の３次元情報としてメモリ部６に記憶される。また、取得した３次元情報の分解能（以下、取得分解能）は、取得分解能記憶部１３に記憶される。取得分解能は、被写体の３次元情報の細かさを表すものであり、取得した３次元情報を構成する３次元座標群の最短距離を表す。

比較部１４は、造形分解能記憶部１１に記憶された造形分解能と、取得分解能記憶部１３に記憶された取得分解能とを比較し、比較結果をシステム制御部３に出力する。ここで、比較部１４が取得分解能と比較する、造形分解能記憶部１１に記憶する分解能は上記のような造形装置のスペックを十分に生かすような分解能に限らず、ユーザが造形装置を用いて出力しようとしている分解能であってもよい。この場合、造形分解能記憶部１１に、ユーザにより所望の分解能の設定が記憶されている。例えば、ユーザが所有する造形装置では0.02mmの分解能で出力可能であるが、ユーザが0.04mmの分解能で出力すれば十分であるとすれば、ユーザ設定として造形分解能記憶部１１に0.04mmが設定できるようにする。
システム制御部３は、比較部１４により得られた比較結果から、造形分解能に対して十分な取得分解能が得られているか否かを判定し、その結果を表示部１５に表示させる。取得分解能が十分か否かの判定方法の詳細については、後述する。

次に、本実施形態における被写体の３次元情報取得方法について説明する。まず、撮像素子４の構成例について、図２（ａ）〜図２（ｄ）を用いて説明する。図２（ａ）は撮像素子４をカメラ１の正面および側方から見た状態を模式的に示している。撮像素子４が有する画素群１４３の受光面上にはＭＬＡ１４１が形成され、画素群１４３を構成する各画素は、図２（ｂ）および（ｃ）に示すように、一つのマイクロレンズ１４２と二つのフォトダイオード（光電変換領域）１４３ａ，１４３ｂで構成される。以下、フォトダイオード１４３ａをＡ像用フォトダイオード（Ａピクセル）、フォトダイオード１４３ｂをＢ像用フォトダイオード（Ｂピクセル）と呼ぶ。

図２（ｄ）は撮像レンズ２の射出瞳１４４を概念的に示しており、Ａ像瞳１４５ａとＡピクセル１４３ａ、Ｂ像瞳１４５ｂとＢピクセル１４３ｂは、それぞれマイクロレンズ１４２により共役の関係を有する。従って、撮像素子４の各画素は瞳分割機能を有し、Ａピクセル１４３ａには射出瞳１４４の右半分のＡ像瞳１４５ａを通過した光束が、Ｂピクセル１４３ｂには射出瞳１４４の左半分のＢ像瞳１４５ｂを通過した光束が入射する。従って、Ａピクセル群からなる画像と、Ｂピクセル群からなる画像は視差画像である。

複数の画素について、Ａピクセル群から構成される像信号をＡ像、Ｂピクセル群から構成される像信号をＢ像とし、Ａ像とＢ像のずれ量を検出することにより、撮像レンズ２のデフォーカス量とデフォーカス方向を検出することができる。従って、撮像素子４の出力する信号から位相差検出方式の自動焦点検出（ＡＦ）を実現することができる。

図２（ｅ）〜（ｇ）は位相差検出方式の焦点検出の原理を模式的に示している。図２（ｅ）の状態は被写体よりも前にピントが合っている様子を、図２（ｆ）は被写体にピントが合っている様子を、図２（ｇ）は被写体よりも後ろにピントが合っている様子をそれぞれ表している。１４７ａおよび１４７ｂは撮像素子４に設定された焦点検出領域内の画素群から得られるＡ像およびＢ像をそれぞれ模式的に表したものである。図２（ｆ）の場合はＡ像１４７ａとＢ像１４７ｂのずれがなく、被写体に対して合焦している。図２（ｅ）の場合はＡ像１４７ａが中心に対して左側に、Ｂ像１４７ｂが中心に対して右側に離れており、図２（ｇ）の場合はＡ像１４７ａが中心に対して右側に、Ｂ像１４７ｂが中心に対して左側に離れている。このＡ像、Ｂ像のズレ量（デフォーカス量）と中心からのズレ方向、撮像レンズ２の焦点距離、撮像素子４とフォーカスレンズとの距離から、被写体の距離情報を得ることができる。

図３を用いて被写体距離の算出方法について説明する。図３（ａ）は被写体の位置の算出方法を模式的に表している。Ａ像１５１ａとＢ像１５１ｂが得られているとすると、撮像レンズ２の焦点距離およびフォーカスレンズと撮像素子４との距離情報から、実線のように光束が屈折されることがわかる。従って、ピントの合う被写体は１５２ａの位置にあることがわかる。同様にして、Ａ像１５１ａに対してＢ像１５１ｃが得られた場合には位置１５２ｂ、Ｂ像１５１ｄが得られた場合には位置１５２ｃにピントの合う被写体があることがわかる。以上のように、各画素において、その画素を含むＡ像信号と、対応するＢ像信号との相対位置から、その画素位置における被写体の距離情報を算出することができる。

被写体の３次元情報は、Ａ像、Ｂ像及び撮影時の撮像レンズ２の情報を保持する方法のほかに、被写体の距離情報を保持する方法でも記憶できる。例えば図３（ａ）においてＡ像１５１ａとＢ像１５１ｄが得られている場合、像のずれ量の半分に相当する中間点の画素１５４から被写体位置１５２ｃまでの距離１５３を、画素１５４における被写体の距離情報として記憶する。このようにして、各画素について、被写体の距離情報を保持することが可能である。距離情報は、奥行き画像または距離画像として記憶してもよい。

図３（ｂ）は、上述した方法で３次元情報取得部１２が取得した被写体の距離情報を、被写体に向かって投影した際の模式図を表しており、取得した距離情報を投影した点を点群１５６で模式的に示している。また、実際の被写体表面の形状（距離情報の集合）を１５５で示している。このように、３次元情報取得部１２において取得した距離情報から、被写体の３次元形状を再現することができる。なお、実際には複数の異なる方向から同一被写体に対して撮影を行い、各撮影で得られた３次元情報を組み合わせて被写体全体の３次元情報を取得する。ただし、例えば建物のような、下面が水平面と見なせる被写体の場合には、下面の撮影は行わなくてもよい。

次に、図４を用いて、３次元情報の取得分解能と造形分解能との違いが立体造形物の形状に与える影響について説明する。図４（ａ）は３次元情報を取得する被写体を示し、図４（ｂ）、（ｃ）はカメラ１により図４（ａ）の被写体を撮影した画像から取得した３次元情報を構成する座標を模式的に示している。図４（ｂ）は取得分解能が粗い場合、図４（ｃ）は取得分解能が細かい場合の３次元情報をそれぞれ示し、破線２１は被写体の外形、２２は３次元情報を構成する座標、２３は取得分解能である。取得分解能２３は、３次元情報を構成する座標２２の隣接座標間の距離である。図４（ｂ）は３次元情報を構成する座標２２の数が図４（ｃ）より少なく、取得分解能２３が粗い。

図４（ｄ）、（ｅ）はそれぞれ図４（ｂ）、（ｃ）に示した３次元情報を基に、図４（ｃ）に示した取得分解能以上の造形分解能を有する造形装置を用いて得られる造形物を模式的に示している。ここでは、３次元情報の隣接座標が直線で接続されるものとして造形している。図４（ｄ）、（ｅ）の比較から明らかなように、取得分解能の粗い３次元情報に基づく造形物は、上面の鋸歯形状の再現性が低い。このように、取得分解能２３が粗い場合（取得した３次元情報の密度が低い場合）、被写体の大まかな形状は再現できるものの、詳細な形状に関してはうまく再現できないことがある。

図５（ａ）は造形装置を用いて造形する被写体を示し、被写体５１上部の一部３１が図５（ｂ）に拡大して示されている。図５（ｂ）の破線３２は造形時に走査可能な最小間隔の軌跡を示し、造形分解能３３は最小間隔に等しい。図５（ｃ）、（ｄ）は図５（ｂ）に対して、取得分解能２３ａが粗い座標２２ａからなる３次元情報と、取得分解能２３ｂが細かい座標２２ｂからなる３次元情報を付加した状態を示している。座標２２ａからなる３次元情報の取得分解能２３ａは造形分解能３３よりも粗く、座標２２ｂからなる３次元情報の取得分解能２３ｂは造形分解能３３とほぼ等しい。

図６（ａ）、（ｂ）は図５（ｃ）、（ｄ）と同一であり、このような３次元情報を造形分解能３３の造形装置に適用すると、図６（ｃ）、（ｄ）のような立体物が造形される。取得分解能２３ａの３次元情報を適用した場合、図６（ｃ）に示すように、被写体５１上部の鋸歯形状は再現できない。一方、取得分解能２３ｂの３次元情報を適用した場合、図６（ｄ）に示すように、被写体５１上部の鋸歯形状も再現可能である。このように、取得分解能が造形分解能未満の場合、造形装置で再現可能な形状であっても再現できないことが起こりうる。そのため、装置の造形分解能を最大限に活かすためには、造形分解能と等しいか、造形分解能より高い取得分解能で３次元情報を取得することが必要である。なお、ここでは分解能を座標のピッチで表しているため、分解能は値が小さい方が高くなり、
取得分解能≦造形分解能 （１）
という関係を満たせば、造形装置が立体物を造形するのに十分な３次元情報が取得されたと判定することができる。

したがって、図１の比較部１４は、取得分解能記憶部１３に記憶された取得分解能が、造形分解能記憶部１１に記憶された造形分解能以上であれば、十分な分解能の３次元情報が取得されていると判定することができる。

図７は、３次元情報を取得する被写体と、取得した３次元情報を用いて生成する立体造形物を模式的に示した図である。図７（ａ）において、Ｗ、Ｔ、Ｈはそれぞれ被写体５１の水平方向、奥行き方向、および垂直方向の大きさである。また、図７（ｂ）は、被写体５１をカメラ１で撮影した画像から取得された３次元情報を用いて造形装置５２で生成された造形物５３を表しており、Ｗ´、Ｔ´、Ｈ´はそれぞれ水平方向、奥行き方向、および垂直方向の大きさである。

造形倍率ｋを、各方向に共通する倍率とした場合、被写体の大きさＷ，Ｔ，Ｈと造形物の大きさＷ´，Ｔ´，Ｈ´とは、
Ｗ×ｋ＝Ｗ´ （２）
Ｔ×ｋ＝Ｔ´ （３）
Ｈ×ｋ＝Ｈ´ （４）
という関係を有する。

実物大の造形物を生成する場合、造形倍率ｋ＝１である。造形倍率は、ユーザが任意の値を、造形倍率入力部１０から指定してもよいし、カメラ１が自動的に設定してもよい。例えば、撮影した被写体の実際の大きさ（図７（ａ）中のＷ、Ｔ、Ｈ）及び、使用する造形装置で生成可能な造形物の最大サイズとから造形倍率を算出して決定することができる。また、生成したい造形物の大きさ（例えば図７（ｂ）中の最長辺Ｗ´＝１００［ｍｍ］となるようになど）をユーザに入力させ、同方向における被写体の実サイズ（図７（ａ）中のＷ）とから、造形倍率を算出して決定してもよい。

造形倍率ｋを用いると、式（１）で示された、十分な取得分解能を有する３次元情報が取得されたか否かの判定条件は、
取得分解能×ｋ≦造形分解能 （５）
となる。比較部１４は、造形倍率を考慮する場合、取得分解能記憶部１３に記憶された取得分解能と造形倍率との積と、造形分解能記憶部１１に記憶された造形分解能とが式（５）の関係を満たせば、十分な分解能の３次元情報が取得されていると判定することができる。

図８および図９を用いて、比較部１４における比較結果の表示方法に関して説明する。ここでは造形倍率ｋ＝１とし、実物大の造形物を作成するものとする。図８は立体物造形を行う被写体と取得分解能、造形分解能の関係を示した図であり、図９はカメラ１の表示部１５における、比較部１４の比較結果の表示例を示した図である。

図８（ａ）は３次元情報を取得する被写体をカメラ１で撮影している様子を模式的に示している。図８（ｂ）は図８（ａ）の状態において、一辺の長さが造形分解能３３に対応する四角形で構成されるメッシュ状の破線３２を被写体に重畳させた状態を模式的に示している。図８（ｂ）には、被写体上部の一部を拡大し、図８（ｂ）の状態においてカメラ１が取得した３次元情報（座標２２ａ）を示している。この状態では、造形分解能３３が取得分解能２３ａより小さく、上述した式（１）や式（５）の条件を満たしておらず、撮影条件を変更して再撮影することが必要である。

従って、システム制御部３は、比較部１４から取得分解能が不足しているとの比較結果を取得すると、取得分解能を上げる方法とともに再撮影を促す情報を表示部１５に表示させる。図９（ａ）は取得分解能が不足している場合の表示例を示しており、取得分解能が不足していることを報知する情報の一例としてのメッセージ１６１と、取得分解能を上げるための方法を報知する情報の一例としてのメッセージ１６２が含まれている。これらの報知は音声によって行ったり、特定のインジケータの点灯など、他の任意の方法で行うことができる。また、図９（ａ）の例では撮影後の再生画面もしくはライブビュー画面においてメッセージ表示を行っているが、他の表示画面に対してメッセージ表示を行ってもよい。

取得分解能は撮像画像に占める被写体の領域が大きくなるほど高くなる。したがって、再撮影時には前回撮影時よりもカメラ１を被写体に近づけるか、撮像レンズ２がズームレンズであれば入力部７に含まれるズームレバーを操作するなどの方法で撮像レンズ２の焦点距離を大きくすればよい。そのため、メッセージ１６２ではこれらの方法をユーザに報知している。なお、画像の撮影に用いられる画素数を増やす（例えば撮影画像サイズが小さい場合に、より大きなサイズとする）など、他の方法を報知してもよい。

なお、前回撮影時におけるカメラ１と被写体との距離の情報や前回撮影時の撮像レンズ２の焦点距離の情報を記憶しておき、取得分解能が高まるような撮影条件で再撮影時が行われるように支援することもできる。例えば、再撮影時の合焦距離が前回撮影時の合焦距離以上であれば、もっと近づくようユーザに促したり、再撮影時の撮像レンズ２の焦点距離が前回撮影時以下であれば、ズームアップするようにユーザに促すように構成することができる。これらの支援も表示部１５へのメッセージの表示や音声出力などを用いてシステム制御部３が実現することができる。

また、図８（ｃ）は図８（ｂ）と同様の図であるが、カメラ１が図８（ａ）および（ｂ）の位置から矢印６１の方向（被写体に近づく方向）へ移動している点で異なる。これにより、図８（ｂ）の状態よりも撮影画像に占める被写体の領域が大きくなると、図８（ｃ）の状態における３次元情報の取得分解能２３ｂは、図８（ｂ）の状態における３次元情報の取得分解能２３ａより高くなる（距離が短くなる）。

その結果、取得分解能２３ｂが造形分解能３３とが式（１）や式（５）の関係を満たすと、システム制御部３は、比較部１４から十分な取得分解能の３次元情報が取得されているとの比較結果を取得する。そして、システム制御部３は、十分な取得分解能の３次元情報が取得されたことを示す情報を表示部１５に表示させる。図９（ｂ）は取得分解能が十分な場合の表示例を示しており、取得分解能が十分であることを報知する情報の一例としてのメッセージ１６３が含まれている。

なお、本実施形態においては１回の撮影により、３次元情報の取得分解能が十分か否かの判定を行っているが、複数回の撮影結果から得られる３次元情報を考慮して取得分解能を求めてから造形分解能と比較してもよい。

図１０を用いて、被写体の同一部分を撮影範囲に含んだ複数回の撮影で得られた画像から取得した３次元情報を用いて、取得分解能が十分か否か判定する方法について説明する。図１０（ａ）は図５（ｃ）に対応しており、１回の撮影で取得した３次元情報の概要を示している。この状態では、３次元情報を構成する座標２２の間隔が造形分解能３３より大きく、取得分解能が不十分である。上述のように、このような場合にはより高い取得分解能が得られる条件での再撮影が促される。

図１０（ｂ）は再撮影で得られた画像から取得された３次元情報を１回目の撮影で得られた３次元情報の座標系における値に変換し、２回の撮影で得られた３次元情報を統合した状態を模式的に示している。再撮影時に取得された、座標１７１から構成される３次元情報と、それを用いて生成される造形物を模式的に１７２で示している。１回目の撮影で取得した３次元情報（座標２２の集合）と、２回目の撮影で取得した３次元情報（座標１７１の集合）は、それぞれ単独では造形分解能に満たないが、双方を用いることで、被写体形状の再現性は向上すると考えられる。

図１０（ｃ）は図１０（ｂ）のような複数回の撮影から得られた３次元情報の取得分解能が、造形分解能と式（１）または式（５）の関係を満たすか否かの比較方法の一例を模式的に示している。球１７４ａ〜１７４ｃは、３次元情報を構成する座標を中心として、造形分解能１７３を半径とする球である。このような球を、３次元情報の各座標について想定し、全ての座標において、球内に３次元情報の他の座標が１つ以上含まれていることが確認できれば、３次元情報の取得分解能が造形分解能と式（１）または式（５）の関係を満たすと判定できる。

このような方法を用いるのは、１回の撮影から得られた３次元情報では、撮像画像のある画素に対応する座標に最も近い座標は、隣接画素に対応する座標から得られるが、複数回の撮影で得られた３次元情報を統合した場合には必ずしも当てはまらないからである。なお、造形倍率ｋが１でない場合、つまり、造形物が実物大でない場合は、判定に用いる球の半径（造形分解能１７３）に造形倍率ｋの逆数１／ｋを乗じた値を用いて比較を行う。

なお、本発明において取得分解能の算出方法に特に制限は無く、撮像画像を用いた公知の測量技術を用いることができる。例えば、撮像素子４の画素ピッチと撮影時の撮像レンズ２の焦点距離と、画素ごとの距離情報とから、各画素に対応した被写体表面の３次元座標を得ることができる。各画素に対応する３次元座標について、隣接画素に対応する３次元座標との距離を求め、その最大値を取得分解能とすることができる。

また、１回の撮影では被写体の全体について３次元情報を取得することはできないため、被写体を異なる角度から複数回撮影し、個々の撮影画像に基づいて取得した３次元情報を組み合わせる必要がある。例えば個々の画像が重複するように撮影し、３次元座標の対応点を特定することで実現することができる。被写体の３次元情報を得るための撮影方法や、異なる角度から撮影された画像に基づく３次元情報の統合方法については、公知の方法を用いれば良く、その詳細についての説明は省略する。また、水平面と考えられる被写体の底面のように、撮影画像が必ずしも必要とされない部分については、画像を用いずに３次元情報を生成してもよい。

本発明の趣旨は、ある撮影画像から得られた被写体の３次元情報が、ある特定の造形装置で用いるのに十分な分解能を有するかどうかの判定を行い、適切な分解能を有する３次元情報を得るための撮影を支援することにある。従って、被写体の全体的な３次元情報を得るための撮影手法や、得られた３次元情報の統合方法には依存しない。必要であれば、カメラ１の３次元位置や撮影方向を測定して用いることもできる。

さらに、本実施形態では、表示部１５上に、取得分解能を上げるための方法を表示してユーザに撮影条件の変更を促しているが、カメラ１が取得分解能を上げるための撮影条件の変更を自動で行ってもよい。例えば、図８（ｂ）のように、取得分解能が十分でなかった場合に、システム制御部３が撮像レンズ２の焦点距離を所定量に長くしたり、撮影画像のサイズ（画素数）を大きくしたりするなど、３次元情報の取得分解能を高めるように自動で制御することができる。

また、カメラ１で設定可能な取得分解能の変更方法の一つに、カメラ１から見た奥行方向の距離分解能を上げる方法がある。上述したように、本実施形態では奥行き方向の距離は、撮像素子４の前面に設けられたマイクロレンズアレイによって作られる複数の視差画像の位相差を用いて取得している。そのため、用いる視差画像の組み合わせを、より視差の大きな画像の組み合わせに変えることにより、奥行方向の距離分解能を上げることが可能である。図２では各画素を、一つのマイクロレンズ１４２と二つのフォトダイオード１４３ａ，１４３ｂで構成されるとしたが、より多くのフォトダイオードで構成することにより基線長の異なる視差画像を作り出すことが可能となる。撮影条件の変更を自動で行う場合、システム制御部３は表示部１５に、再撮影を促すメッセージを表示する。この際、撮影条件を変更したことについてもユーザに知らせるようにしてもよい。

図１１は本実施形態のカメラ１における３次元情報の取得動作に関するフローチャートである。この動作は例えば被写体の３次元情報の取得用の撮影モードにおいて実行される。３次元情報の取得のための撮影モードにおいても、表示部１５へのライブビュー表示など、一般的な静止画撮影モードのスタンバイ時と同様の処理が実行されているものとする。

Ｓ８００１においてシステム制御部３は、造形分解能が入力済か否か（造形分解能記憶部１１に設定されているか否か）を判定し、入力済の場合はＳ８００２へ、未入力の場合はＳ８００３へ処理を進める。Ｓ８００２でシステム制御部３は、ユーザが造形分解能入力部９を用いて入力した造形分解能を造形分解能記憶部１１から読み出し、処理をＳ８００４へ進める。Ｓ８００３でシステム制御部３は、表示部１５に造形分解能の入力画面を表示し、造形分解能入力部９を通してユーザが造形分解能を入力するのを待つ。前述したように、造形分解能は値を直接入力する他に、造形装置の型番など、造形分解能を特定可能な情報の入力であってもよい。後者の場合、システム制御部３は予め記憶されているテーブル等を入力された情報を用いて検索し、造形分解能を取得する。システム制御部３は、造形分解能を造形分解能記憶部１１へ記憶させ、処理をＳ８００４へ進める。なお、造形倍率についても、Ｓ８００１〜Ｓ８００３と同様にして取得することができる。造形倍率は取得分解能記憶部１３に記憶する。

Ｓ８００４でシステム制御部３はユーザからの撮影開始指示を待機する。撮影開始指示は例えば入力部７に含まれるシャッターボタンの全押し操作であってよい。なお、撮影開始指示に先立って撮影準備指示がなされてもよい。撮影準備指示が入力されると、システム制御部３は露出制御動作や焦点検出動作を実行する。

撮影開始指示に応答して、システム制御部３は設定された露出条件に従って撮像素子４を露光する。露光が終了すると、システム制御部３は画像処理部５を用いて撮像素子４から画像信号を読み出し、Ａピクセル群から１枚、Ｂピクセル群から１枚の、１組の視差画像を生成する。

システム制御部３はメモリ部６に記憶された視差画像を読み出して３次元情報取得部１２へ供給する。３次元情報取得部１２は、撮像素子４の各画素（ＡピクセルとＢピクセルとを有する構成単位）位置における距離情報を求める。さらに３次元情報取得部１２は、撮像レンズ２の焦点距離および撮像素子の画素ピッチなどの情報から、各画素に対応する３次元座標を３次元情報として算出する。算出した３次元情報は例えばシステム制御部３を通じてメモリ部６に記憶される。

Ｓ８００５でシステム制御部３は、撮像画像中の被写体領域を決定する。被写体領域の決定は、被写体選択部８を通してユーザに指定させてもよいし、画像中の合焦領域の画素情報から、同様の色を有する画像の集合を探索したり、輪郭を抽出するなどしてシステム制御部３が決定してもよい。ユーザに指定される場合、システム制御部３は撮像画像を表示部１５に表示し、被写体選択部８を通じて画像中の被写体領域を含む領域を指定させ、指定された領域内で輪郭を検出して被写体領域を抽出してもよい。あるいは、システム制御部３は撮像画像全体に対して輪郭抽出を行い、閉じた輪郭を有する領域のうち、ユーザが指定した領域を被写体領域としてもよい。輪郭抽出等の画像処理は、画像処理部５に行わせてもよい。何らかの方法で撮像画像中の被写体領域が指定されれば、その方法はいかなるものであってもよい。

Ｓ８００６でシステム制御部３は、Ｓ８００４で３次元情報取得部１２が算出した３次元情報のうち、被写体領域に含まれる画素に対応する３次元情報を被写体の３次元情報として抽出する。そして、システム制御部３は、被写体領域に含まれる画素の各々について、対応する３次元情報と、隣接画素に対応する３次元情報との被写体上の距離を求め、最小距離を検出する。システム制御部３は、各画素について求めた最小距離のうち、最も大きな値を、取得分解能とし、取得分解能記憶部１３に記憶する。

Ｓ８００６でシステム制御部３は、比較部１４に造形分解能と取得分解能とを比較させ、比較結果を取得して、処理をＳ８００７へ進める。具体的には、比較部１４は、上述したように、造形分解能記憶部１１に記憶された造形分解能と、取得分解能記憶部１３に記憶された取得分解能と造形倍率とから、上述の式（５）に従って分解能の比較を行う。

Ｓ８００７でシステム制御部３は、表示部１５にＳ８００６における比較結果の表示を行うか、もしくは、取得分解能が不十分との比較結果であれば、予め定められた設定に基づいて再撮影時の撮影条件を決定し、処理をＳ８００８へ進める。Ｓ８００７における比較結果の表示は、図９を用いて説明をした方法で行うことができる。また、Ｓ８００７における再撮影時の撮影条件の決定は、３次元情報の取得分解能の値をより小さくするための撮影条件の決定であり、撮像レンズ２の焦点距離を長くしたり、撮影画像サイズを大きくしたりする方法であってよい。

Ｓ８００８でシステム制御部３は造形分解能を変更するか否かの判定を行い、変更する場合はＳ８００９へ、変更しない場合はＳ８０１１へ処理を進める。Ｓ８００８において、造形分解能の変更を行うと判定する場合の例としては、取得分解能が造形分解能に対して非常に高く、現在の造形分解能で再現可能な形状よりもより詳細な形状が造形可能な場合などが挙げられる。

このような場合、システム制御部３はＳ８００８において、より詳細な造形が可能であることを示す情報を表示部１５に表示するなどして、ユーザに報知する。これによりユーザは、より細かな形状で造形可能であることを知ることができ、造形装置を変更したり、造形装置で設定可能な造形分解能のうち、より高い値を設定することにより、造形分解能を設定し直すことができる。

なお、例えばＳ８００８においてユーザが新たな造形分解能を入力しなかった場合（例えばキャンセル指示があった場合や、入力なしで一定時間経過した場合）、システム制御部３は処理をＳ８０１１へ進める。

一方、新たな造形分解能が入力された場合、Ｓ８００９でシステム制御部３は新たに入力された造形分解能を造形分解能記憶部１１に記憶した後、処理をＳ８０１０へ進める。Ｓ８０１０でシステム制御部３は、比較部１４において、造形分解能記憶部１１に記憶された造形分解能と、取得分解能記憶部１３に記憶された取得分解能の比較を式（５）に従って再び行い、処理をＳ８００７へ戻す。

Ｓ８０１１でシステム制御部３は、再撮影が必要か否かを判定し、再撮影が必要と判定された場合は処理をＳ８００４へ戻し、次の撮影開始指示を待機する。また再撮影が不要と判定された場合、システム制御部３は、処理を終了する。

再撮影が必要か否かの判定は、Ｓ８００７もしくはＳ８０１０において求めた比較結果から、立体物造形装置が立体物を造形するのに十分な分解能の３次元情報が取得されたと判定できるか否かに基づいて行うことができる。式（５）を満たしていなければ、再撮影が必要と判断できる。また、他の方法としては、ユーザにより再撮影を行うという入力があった場合に、再撮影が必要と判定してもよい。

ここで、図１２に示すフローチャートを用い、カメラ１での３次元情報の取得から造形装置に用いるデータを得るまでのデータ処理について説明する。
撮影が行われ、３次元情報の取得が開始されると、Ｓ１６０１において３次元情報取得部１２は、１組の視差画像を用いて、図２で説明したように各画素におけるＡ像とＢ像のずれ量（デフォーカス量）を算出し、デフォーカスマップを生成する。

次にＳ１６０２で３次元情報取得部１２は、Ｓ１６０１で取得したデフォーカスマップ、撮像レンズの焦点距離、及びフォーカスレンズの位置から、各画素位置における被写体距離を算出する。この被写体距離の情報（距離画像）は、システム制御部３がメモリ部６に記憶する。

Ｓ１６０３でシステム制御部３は、画像中の被写体領域に対応する画素に対応する距離情報をメモリ部６から読み出し、撮像レンズの焦点距離や画素ピッチとともに用いて被写体の３次元情報を算出する。

Ｓ１６０４でシステム制御部３は、さらに撮影を行う必要があるかどうかを判定する。これは、十分な取得分解能の３次元情報が、被写体の立体造形物を生成するのに必要な量得られているかどうかの判定に相当する。例えばシステム制御部３は、被写体の外面で撮影されていない部分が残っていたり（底面は除いてもよい）、取得分解能が不足していたりする領域がある場合には、それらの部分について十分な取得分解能の３次元情報を得るための撮影が必要と判断する。Ｓ８０１１における再撮影の判定もここでの判定に含まれる。

なお、Ｓ１６０４では、被写体の外面の一部について十分な取得分解能の３次元情報が得られているかどうかの判定に止め、被写体の外面全体について十分な取得分解能の３次元情報が得られているかどうかの判定は３次元情報を統合する際に行うようにしてもよい。

Ｓ１６０４での判定範囲において、十分な取得分解能の３次元情報が得られており、さらなる撮影を行う必要がないと判定された場合、Ｓ１６０５でシステム制御部３は３次元情報の統合を行う。

Ｓ１６０５でシステム制御部３は、それまでに取得された３次元情報の座標系を統一して統合する。各撮影において取得された３次元情報は撮影時の撮像素子４の位置を原点とした座標系における値であるため、共通した座標系における値に変換して統合する必要がある。統合方法に特に制限は無いが、各撮影時におけるカメラ１の３次元位置及び撮影方向を撮影時に記録しておき、その情報を元に座標系を統一することができる。あるいは、撮影画像中の被写体領域の形状の関係から、撮影時のカメラ位置と撮影方向の相対的な差異を推定し、補正することによって座標系を統一してもよい。システム制御部３は、統合した３次元情報をメモリ部６へ記憶する。また、上述したように、ここでの統合結果により、被写体の外面のうち撮影されていない領域の有無について判定してもよい。

Ｓ１６０６でシステム制御部３は、メモリ部６に記憶された３次元情報を基に、造形物の３次元モデルを作成する。３次元モデルはメモリ部６に記憶された３次元座標（３次元情報）からポリゴン（面）を形成して作成することができる。ポリゴンの作成方法に制限は無いが、例えばいわゆるSTL形式のように取得した３次元座標のうちから最も近い３点を選び、その３点から１つの面を作成し、面を繋いでいくという方法であってよい。

Ｓ１６０７でシステム制御部３は、３次元モデルを、立体物造形装置が直接利用可能な形式の造形用データに変換し、メモリ部６や着脱可能な記録媒体に記録して処理を終了する。なお、Ｓ１６０６で作成した３次元モデル情報そのものを利用可能な立体物造形装置については、Ｓ１６０７でのデータ変換は不要である。

なお、ここで説明した処理のうち、Ｓ１６０５以降の処理は外部装置、例えばパーソナルコンピュータのような、カメラ１よりも処理能力や記憶容量の大きな装置で実行してもよい。

また、取得分解能と造形分解能との比較は、Ｓ１６０４で行うものとして説明したが、Ｓ１６０２、Ｓ１６０５、またはＳ１６０６において行ってもよい。ある領域についての３次元情報を１回の撮影で得られた視差画像に基づいて生成する場合には、Ｓ１６０２、Ｓ１６０５、Ｓ１６０６のいずれにおいても取得分解能と造形分解能とを比較することができる。一方、図１０を用いて説明したような、１回の撮影で得られた３次元情報を補完して分解能を上げるために複数回の撮影を行った場合には、３次元情報の座標の統合が必要であるため、Ｓ１６０５以降で比較を行う。

またＳ１６０６で示すような、３次元モデルの状態に変換してから造形分解能との比較を行っても構わない。なお、Ｓ１６０５やＳ１６０６で説明したデータ形式で比較を行う際には、少なくとも比較に用いるデータ形式への変換まではカメラ１で実行するものとする。

以上説明したように、本実施形態によれば、視差画像を取得して、画像中の被写体の３次元情報を算出可能な撮像装置において、算出した３次元情報が造形装置で利用するのに適した分解能を有するかどうかを判定するようにした。そのため、３次元情報の分解能が不足していると判定される場合には、分解能が向上する撮影条件で再撮影するようにユーザに促したり、分解能が向上する撮影条件を自動的に決定したりできるようになり、造形装置に適した所望の３次元情報の取得を支援できる。

●（第２実施形態）
次に、本発明の第２実施形態について説明する。第１実施形態では視差の大きな画像を用いることで奥行方向の距離分解能を向上させる構成について説明した。本実施形態は、撮影条件、より具体的は絞り値を変更することにより奥行方向の距離分解能を向上させることを特徴とする。なお、本実施形態は第１実施形態と同一構成のカメラ１によって実施可能であるため、カメラ１の構成に関する説明は省略する。

図１３は、奥行方向および光軸に直交する面内での分解能と絞りとの関係を説明するための図である。ここで、面内での分解能とは、第１および第２実施形態で着目した分解能に相当する。一方、奥行方向の分解能とは、光軸に平行な方向の分解能である。

図１３において、図１および図２に示したものと同様の構成には同じ参照番号を付してある。２０１はピント面、２０２はデフォーカス面、２０３はピント面２０１と光軸との交点、２０４、２０５はデフォーカス面２０２上の点を示す。２０６、２０７はデフォーカス面２０２上でのボケの大きさを示す矢印である。また、２０８は撮像レンズの射出瞳面、２０９、２１０はピント面２０１上でのＡ像とＢ像の間隔を示す。

図１３（ａ）を用いて絞り値とデフォーカス面内での分解能との関係について説明する。ここではピント面２０１と光軸との交点２０３を通る光束を想定する。撮像レンズ２によってピント面２０１と撮像素子４とは共役の関係にあるので、ピント面２０１と光軸との交点２０３を通る光束は、撮像素子４上の撮像面と光軸との交点に集束する。この状態で、絞り値（Ｆナンバー）が小さい（開放に近い）場合の光束の外縁の光線２０５ａを破線で、絞り値が大きい場合の光束の外縁の光線２０４ａを実線で示した。

これらの光束を撮像素子４からみてピント面２０１より奥のデフォーカス面２０２まで延長すると、光線２０４ａはデフォーカス面上の点２０４に対応し、光線２０５ａはデフォーカス面上の点２０５に対応する。図１３（ａ）は光軸に対して回転対称であるため、デフォーカス面２０２でのボケは、絞り値を小さくした場合は直径２０７の大きさの円となり、絞り値を大きくした場合は直径２０６の大きさの円になる。直径２０６は直径２０７よりも小さいため、絞り値を大きくした方がピント面２０１と距離の異なる位置における面内での分解能は高くなる。これは、絞り値が大きい方が被写界深度が大きくなることからも理解される。

次に、図１３（ｂ）を用いて絞り値と奥行方向の分解能との関係について説明する。ここではデフォーカス面２０２上の点２０４および２０５を通って撮像素子４方向に進む光束を考える。光線２０４ａ、２０５ａは図１３（ａ）と同じ光線であるため、いずれも撮像レンズ２によって撮像素子４上の撮像面と光軸との交点に入射する。一方、撮像レンズ２の絞りの開口に応じた大きさを有する射出瞳面２０８内の別の位置を通過する光線２０４ｂ、２０５ｂは、撮像面上の異なる位置に入射する。これは、光線がデフォーカス面上の点から出射しているからである。

この結果、図３で説明したＡ像とＢ像とは撮像面上の異なる位置に結像される。Ａ像、Ｂ像の結像位置のずれ（間隔）の大きさは、絞り値を小さくした場合は間隔２１０であり、絞り値を大きくした場合は間隔２０９となる。つまり、デフォーカス量が同じ場合、絞り値が小さい方が撮像面上におけるＡ像とＢ像の結像位置の間隔が大きくなる。言い換えると、絞り値が小さい方が、奥行方向の変化に伴う結像位置のずれが大きく、奥行方向の分解能が高いことを示している。

図１３（ａ）と図１３（ｂ）を用いて説明したように、光軸に直交する面内での分解能を向上するためには絞り値を大きくした方がよいが、奥行方向での分解能を向上するためには絞り値を小さくした方がよい。つまり、絞り値を変更すると、光軸に直交する面内での分解能と、奥行方向での分解能との一方が向上し、他方が低下するという関係を有し、両者を同時に向上させることはできない。

図１４は、撮像素子４の画素が有するマイクロレンズ１４２によって、画素のＡピクセル１４３ａおよびＢピクセル１４３ｂが撮像レンズ２の射出瞳にどのように投影されるかを示す図である。図１４は図２（ｂ）と（ｄ）とを併せて記載したものと同様であり、射出瞳面２０８については光軸に直交する方向からの平面図、画素の構成については光軸を含む垂直断面図として記載している。また、図２と同じ要素については同じ参照数字を付してある。射出瞳１４４は絞り値を小さくした場合を、射出瞳２４４は絞り値を大きくした場合をそれぞれ示している。

絞り値が小さい場合、Ａピクセル１４３ａには射出瞳１４４の右半分のＡ像瞳１４５ａを通過した光束が、Ｂピクセル１４３ｂには射出瞳１４４の左半分のＢ像瞳１４５ｂを通過した光束が入射する。一方、絞り値を大きくすると、Ａピクセル１４３ａには射出瞳２４４の領域２５０を通過した光束が、Ｂピクセル１４３ｂには射出瞳２４４の領域２５１を通過した光束が入射する。これはつまり、１つのマイクロレンズ１４２に対して複数の光電変換領域が設けられている構成の撮像素子を用いる場合、射出瞳の面積を変化させることで実効的な絞り値を制御可能であることを示している。

ここで、Ａピクセル１４３ａ、Ｂピクセル１４３ｂのそれぞれに着目した場合の、実効絞り値の考え方について述べる。光学系の絞り値は一般的には焦点距離と有効口径の比として表現される。１つのマイクロレンズに１つの光電変換部が設けられている通常の構成では、光電変換部が絞りを介して射出瞳面２０８上に投影される射出瞳１４４や２４４の径を有効口径の代表値として用いる。

しかしながら本実施形態で用いている光学系においては、１つのマイクロレンズに対してＡピクセル１４３ａ、Ｂピクセル１４３ｂの２つの光電変換部が設けられているため、個々の光電変換部が投影される射出瞳面２０８内の面積は半分となる。そのため、Ａピクセル１４３ａ、Ｂピクセル１４３ｂがそれぞれ対応する面積を実効の絞り値として定義して、ボケの発生のしやすさを示す指標とする。なお、この考え方は１つのマイクロレンズに対して３つ以上の光電変換部が設けられる場合についても同様に適用可能である。

図１５は、奥行方向の分解能が一定でない撮影条件で得られる３次元情報の取得分戒能について、図４と同様の表現で表した図である。図１５（ａ）は３次元情報を取得する被写体を示し、図１５（ｂ）はカメラ１の絞り値が小さい（ここでは代表例として絞り開放とした）撮影条件の画像から得られる３次元情報を構成する座標を示している。また、図１５（ｃ）はカメラ１の絞り値が大きな撮影条件の画像から得られる３次元情報を構成する座標を示している。破線２１は被写体の外形を、２２は３次元情報を構成する座標を、２１１、２２１はピント面での撮影面内での分解能を、２１２、２２２はデフォーカス面での撮影面内での分解能を、２１３，２２３は奥行方向の分解能をそれぞれ模式的に示している。

図１５（ｂ）に示すように、絞り値の小さな撮影条件の画像からは、絞り値の大きな撮影条件の画像からよりも奥行方向の分解能２１３が高い３次元情報が得られる。しかし、デフォーカス面内で得られる３次元情報の分解能２１２については、絞り値の大きな撮影条件の画像から得られる３次元情報の分解能２２２よりも低下する。

逆に、図１５（ｃ）に示すように、絞り値の大きな撮影条件の画像からは、絞り値の小さな撮影条件の画像からよりもデフォーカス面内での分解能２２２が高い３次元情報が得られるが、奥行方向の分解能２２３については分解能２１３よりも低下する。

なお、絞り値を大きくしすぎると回折の影響でピント面での分解能２１１、２２１が低下するが、絞り値の差によるデフォーカス面内や奥行方向での分解能の差に比べると回折による分解能の低下は非常に小さい。そのため、絞り値を大きくする場合の回折の影響は実質的には無視しても差し支えない。

例えば３Ｄプリンタを用いて造形物を形成するために３次元情報を用いることを考えると、奥行方向と撮影面内の両方で十分な分解能を有する３次元情報を得ることが望ましい。そのため、本実施形態ではシステム制御部３が、図１１のＳ８００６において、抽出した３次元情報について、面内（ｘｙ）方向の最低分解能と奥行（ｚ：光軸）方向の最低分解能とを隣接座標間の最大距離として別個に求める。そして、システム制御部３は、比較部１４に、各方向について最低分解能が造形分解能に対して十分か否かを判定させ、判定結果を取得する。

Ｓ８００７でシステム制御部３は、いずれかの最低分解能が不十分と判定され、再撮影時の撮影条件を決定する際に、分解能が不十分な方向に応じて絞り値を変更する。つまり、システム制御部３は、面内の分解能が不十分と判定された場合には次回の撮影条件における絞り値を大きく、奥行方向の分解能が不十分と判定された場合には次回の撮影条件における絞り値を小さくする。なお、システム制御部３は、絞り値の変更とともに撮像レンズ２の焦点距離を長くしたり、撮影画像サイズを大きくしたりしてもよい。

なお、絞り値だけを変更して再撮影する場合、再撮影を促すメッセージにおいて絞り値の変更をユーザに知らせる必要はなく、単に「もう一度撮影して下さい」等のメッセージを表示するだけでよい。また、撮像画像に占める被写体の領域の割合が不足している場合でも、メッセージ１６２（図９（ａ））を表示し、絞り値の変更に関してはカメラ１が自動で変更すればよい。

また、撮像画像に占める被写体の領域の割合が不足していると判定される場合には、絞り値を変更せずにまず撮像画像に占める被写体の領域の割合を上げた再撮影を実行してもよい。そして、依然としていずれかの方向の分解能が不足している場合には、絞り値を変更した再撮影をさらに行うようにしてもよい。なお、両方向の分解能が不足していれば、絞り値を大きくした撮影条件と、絞り値を小さくした撮影条件とでそれぞれ再撮影を行う。

以上説明したように、本実施形態によれば、３次元情報の取得分解能を面内方向と奥行方向とについて別個に評価し、取得分解能が不十分と判定された方向に応じて再撮影時の絞り値を大きく、あるいは小さくなるように変更する。このような制御により、撮影倍率を上げたり、視差の大きな視差画像の組み合わせを用いたりする方法に加え、さらに面内方向および奥行方向の分解能を選択的に向上させることができる。

（その他の実施形態）
なお、上述の実施形態において、比較部１４の動作をシステム制御部３が実行してもよい。また、造形分解能記憶部１１と取得分解能記憶部１３の少なくとも一方は、メモリ部６内の記憶領域であってもよい。

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１…カメラ、２…撮像レンズ、３…システム制御部、８…被写体選択部、９…造形分解能入力部、１０…造形倍率入力部、１１…造形分解能記憶部、１２…３次元情報取得部、１３…取得分解能記憶部、１４…比較部、１５…表示部。

Claims (14)

1. 撮像素子と、
   前記撮像素子を用いて得られた画像と、前記画像に対応する奥行き情報とからなる、被写体の３次元情報を取得する取得手段と、
   前記３次元情報の分解能が、予め定められた分解能に対して十分か否かを、光軸に直交する面内方向と光軸に平行な奥行方向とのそれぞれについて判定する判定手段と、
   前記判定手段により前記３次元情報の分解能が不十分と判定された方向が存在する場合、再撮影時の撮影条件を決定する決定手段と、を有し、
   前記決定手段は、絞り値を変更するように前記撮影条件を決定し、絞り値を大きくするか小さくするかを、前記判定手段によって前記３次元情報の分解能が不十分と判定された方向に応じて決定することを特徴とする撮像装置。
2. 前記決定手段は、前記判定手段により前記面内方向と前記奥行方向との少なくとも一方について前記３次元情報の分解能が不十分と判定された場合に、前記撮影条件を決定することを特徴とする請求項１に記載の撮像装置。
3. 前記決定手段は、光軸に直交する面内方向における前記３次元情報の分解能が不十分と判定された場合、絞り値を大きくするように前記撮影条件を決定することを特徴とする請求項１または２に記載の撮像装置。
4. 前記決定手段は、光軸に平行な奥行方向における前記３次元情報の分解能が不十分と判定された場合、絞り値を小さくするように前記撮影条件を決定することを特徴とする請求項１から３のいずれか１項に記載の撮像装置。
5. 前記予め定められた分解能とは、造形装置の分解能であることを特徴とする請求項１から３のいずれか１項に記載の撮像装置。
6. 前記予め定められた分解能は、ユーザにより設定されることを特徴とする請求項１から５のいずれか１項に記載の撮像装置。
7. 再撮影が必要であることをユーザに報知する報知手段をさらに有することを特徴とする請求項１から６のいずれか１項に記載の撮像装置。
8. 前記決定手段は、前記再撮影時の撮影条件として、撮像光学系の焦点距離あるいは撮影画像サイズを大きくすることを特徴とする請求項１から７のいずれか１項に記載の撮像装置。
9. 前記判定手段は、前記３次元情報の分解能と造形倍率との積が、造形装置の分解能より大きい場合、前記再撮影時の撮影条件として、撮像光学系の焦点距離あるいは撮影画像サイズを大きくすることを特徴とする請求項１から８のいずれか１項に記載の撮像装置。
10. 前記取得手段は、視差画像に基づいて得られる各画素位置におけるデフォーカス量に基づいて、各画素位置に対応した３次元情報を取得することを特徴とする請求項１から９のいずれか１項に記載の撮像装置。
11. 前記３次元情報の分解能が、視差画像を取得した撮像光学系の焦点距離と、前記撮像素子の画素ピッチと、前記３次元情報に含まれる被写体距離とから得られることを特徴とする請求項１から１０のいずれか１項に記載の撮像装置。
12. 前記撮像素子が画素ごとに複数の光電変換領域を有し、視差画像が前記撮像素子の１回の露光によって取得されることを特徴とする請求項１から１１のいずれか１項に記載の撮像装置。
13. 撮像装置の制御方法であって、
    取得手段が、撮像素子を用いて得られた視差画像に基づいて、前記視差画像に含まれる被写体の３次元情報を取得する取得工程と、
    判定手段が、前記３次元情報の分解能が、予め定められた分解能に対して十分か否かを、光軸に直交する面内方向と光軸に平行な奥行方向とのそれぞれについて判定する判定工程と、
    前記判定工程において前記３次元情報の分解能が不十分と判定された方向が存在する場合、決定手段が、再撮影時の撮影条件を決定する決定工程と、を有し、
    前記決定工程において前記決定手段は、絞り値を変更するように前記撮影条件を決定し、絞り値を大きくするか小さくするかを、前記判定工程において前記３次元情報の分解能が不十分と判定された方向に応じて決定することを特徴とする撮像装置の制御方法。
14. 撮像装置が有するコンピュータを、請求項１から１２のいずれか１項に記載の撮像装置が有する各手段として機能させるためのプログラム。

Images