以下、本発明の実施形態について、添付図面を参照して詳細に説明する。
<第1実施形態>
図1は、本発明の第1実施形態に係る撮像装置100の概略構成を示すブロック図である。撮像装置100は、結像光学系103、撮像素子101、光源102及び部分反射鏡104を備えており、これらが撮像装置100の主たる光学系を構成している。撮像装置100はまた、光源駆動回路105、TOF制御部106、TOF演算部107、撮像素子駆動回路108、画像処理回路109、レンズ駆動回路110、カメラMPU111を備える。撮像装置100は更に、焦点検出部112、表示部113、操作スイッチ群114及びメモリ115を備える。
カメラMPU111は、撮像装置100の全体的な制御を行う。操作スイッチ群114は、ユーザからの各種の指示を受け付け、受け付けた指示をカメラMPU111へ伝達する。表示部113は、被写体像や撮像装置100での各種の設定条件を表示する。なお、表示部113にはタッチパネルが設けられている。メモリ115は、撮像装置100の制御に必要な各種情報を保存するROMと、画像データ等を保存するSDカード等の記憶媒体を含む。焦点検出部112は、撮像センサを備え、撮像信号に基づいてコントラストAF方式により被写体に対する焦点検出を行う。
図1において、破線AOBは結像光学系103の中心光軸を表している。A側には被写体(不図示)が位置しており、破線AOBは、被写体-部分反射鏡104-撮像素子101を結ぶ。一方、破線AOCは、被写体-部分反射鏡104-光源102を結ぶ光学系の中心光軸を表している。ここで、空間的に異なる位置に配置される撮像素子101と光源102は、被写体に対して結像光学系103を介して共役な関係となるように、被写体からの光が部分反射鏡104により反射される側と透過される側に別々に配置されている。よって、部分反射鏡104と撮像素子101の撮像面Mとの間の距離L1(OB間距離)と、部分反射鏡104と光源102との間の距離L2(OC間距離)とは、実質的に等距離(L1=L2)に設計されている。なお、図1に示すように、互いに直交するx軸、y軸及びz軸を規定する。z軸は、光軸AOと平行な軸であり、y軸は光軸OCと平行な軸である。撮像素子101の撮像面Mは、z軸と直交する。
結像光学系103は、デジタルカメラに一般的に用いられている周知の構成のもので構わない。つまり、結像光学系103は、一眼レフカメラ等のレンズ交換式カメラに着脱可能なレンズ鏡筒(交換レンズ)であってもよいし、撮像素子101を実装する撮像装置本体に設けられた沈胴式或いは固定式のレンズ鏡筒であってもよい。また、結像光学系103は、絞り(不図示)によるF値の変更やズームレンズの駆動によって焦点距離の変更が可能なものであってもよい。また、結像光学系103は、不図示のNDフィルタによる透過強度や偏光フィルタによる偏光状態等を変更可能な構成であってもよい。結像光学系103のレンズや絞りの駆動は、カメラMPU111の制御下で、レンズ駆動回路110によって行われる。
部分反射鏡104は、被写体からの光を撮像素子101と光源102とに分配する位置に配置されており、部分反射鏡104の反射面の法線ベクトルと結像光学系の光軸AOとのなす角は、0°より大きく、90°より小さい値に設計されている。部分反射鏡104は、樹脂からなるペリクル膜の一方の面である点O側の面に酸化シリコン(SiO2)と酸化ニオブ(Nb2O5)の薄膜が積層された多層膜ミラーであり、他方の面には反射防止膜(ARコート)が施されている。
部分反射鏡104の透過率と反射率の比は、大凡、‘透過率:反射率=6:4’となっており、透過率を反射率よりも少し高めとすることで、被写体から結像光学系103を通して撮像素子101へ入射する光を効率よく撮像素子101で受光することができる。部分反射鏡104の機材は、樹脂に限らず、ガラス等の様々な透明材料を用いることができ、また、部分反射機能を有するコーティングの構成も前記の構成に限定されない。
図2は、光源102の概略構成を説明する側面図である。本実施形態では、光源102は、ガリウムヒ素(GaAs)系半導体基板205に二次元アレイ状に形成された複数の発光部203を有する。それぞれの発光部203の上方にはマイクロレンズ204が二次元アレイ状に配置されており、これによりマイクロレンズアレイが形成されている。それぞれのマイクロレンズ204は、対応する発光部203からの光をコリメート(発散角が0°に近くなるように)し又は発散を抑制する。
光源102では、発光部203として、発振中心波長が約800nmの面発光レーザ(Vertical Cavity Surface Emitting Laser)を用いている。撮像に用いられる可視光波長帯域から外れた波長の光を用いることにより、TOF法による測距信号と撮像信号とを区別することが容易となる。
発光部203は、上述の構成に限られるものではなく、例えば、ストライプ型レーザ、発光ダイオード(LED)、量子ドット素子、有機EL素子を用いることも可能である。面発光レーザを含めて多くの微小発光素子から出射される光は拡散光であるため、マイクロレンズ204により発光部203からの拡散光の拡散を抑制している。光源102の発光部は1つ(単光源)であってもよいが、マイクロレンズアレイは必要となる。
図3は、光源102からの出射光が被写体へ届く様子を説明する図である。光源102の発光面の中心付近にある発光部203aとこれに隣接する発光部203bからの光は、これらに対応するマイクロレンズ204a,204bにより拡散状態が制御されて、被写体Hに到達する。このとき、発光部203aからの光が到達する領域212と発光部203bからの光が到達する領域213とが、大きく重ならないように、且つ、離間しないように、発光部203a,203bとマイクロレンズ204a,204bの距離は設定されている。複数の発光部203のその他のものについても同様の設定がなされており、これにより、所定の被写体距離の必要な領域に均等に光源102からの光を供給すること可能となっている。
なお、光源102は、図2を参照して説明した構成に限られない。例えば、発光部からの光が更にコリメートされた構成とすることで、被写体距離が長くても十分な強度の光を投光することが可能となり、また、非合焦状態であっても光源からの光が撮像面M上でぼやけることがほぼないために高精度な測距が可能となる。光源102における製造上の発光部203等のばらつきを考慮した上で高い効率で投光を行うためには、撮像画角に対応する被写体領域よりも少し内側に投光領域が存在するように設定することも望ましい。つまり、光源102からの投光領域を撮像画角に対応する被写体領域よりも狭く設定することが望ましい。
本実施形態では、光源102は、個々の発光部203に対応する個々のマイクロレンズ204の位置が、光源102の全体的な発光領域の中心から遠ざかるに従って全体的な発光領域の中心に向かって大きく偏心するように構成されている。これにより、個々の発光部203からの光が伝搬する方向を結像光学系の光軸方向へ変化させ、全ての発光部203からの光が光軸上のほぼ一点で交わることになる。本実施形態では、この点を光源瞳214と称呼し、発光面から光源瞳までの距離を光源瞳距離215と称呼する。
光源102は、光源瞳214が撮像素子101の後述するセンサ瞳と一致するように設定されている。これにより、撮像素子101の撮像面Mに相当する被写体領域に対する投光領域を常に一定にすることができるため、高い投光効率で測距を行うことが可能となる。なお、光源102を単一の発光部で構成することも可能であり、この場合には前述した光源瞳は定義されず、光源瞳とセンサ瞳が一致するものとして取り扱うことができる。
ところで、撮像素子101の撮像面Mと光源102の全体的な発光領域の大きさが異なる場合には、撮像画角と投光領域が概ね一致するように光源瞳距離とセンサ瞳距離をずらした設定とすることができる。本実施形態では、撮像素子101の撮像面Mと光源102の全体的な発光領域の大きさを同じとしている。換言すれば、撮像素子101上の有効画素領域と光源102において発光部203が配置された領域とで、大きさと形状を一致させている。これにより、センサ瞳距離と光源瞳距離が一致する構成となっている。
なお、撮像装置100の作製プロセスや組立誤差によるセンサ瞳距離と光源瞳距離の微小なずれは許容することができる。本実施形態についての説明において「同じ」や「一致」という表現は、厳密に解釈されるものではなく、所望の性能が得られる限りにおいて意図的なずらしや組立誤差等を有することを許容する、一定の範囲を含むものである。
結像光学系103の焦点距離が短くなる場合やF値が大きくなる場合には、一定距離にある面上での単位面積当たりの光源102からの光量は減少してしまう。そこで、焦点距離やF値の変化に応じて光源102から出射される光の強度を変化させる構成としてもよい。結像光学系103又はレンズ駆動回路110、カメラMPU111から、随時、結像光学系103の焦点距離やF値の情報を光源駆動回路105へ伝達することにより、適切な光量での測距が可能となる。
撮像素子101は、有効画素領域の水平方向サイズが22.32mm、垂直方向サイズが14.88mm、水平方向の有効画素数が6000、垂直方向の有効画素数が4000のものである。図4(a)は、撮像素子101の撮像面M上に配列された複数の撮像画素の一部である、2行2列の基本画素群305を表す平面図である。基本画素群305は、赤色相当の波長帯域に分光感度を有する画素301、青色相当の波長帯域に分光感度を有する画素304、緑色相当の波長帯域に分光感度を有する画素303、及び、近赤外光波長帯域に分光感度を有する画素302により構成されている。なお、基本画素群305をなす画素301~304の基本的な構成は、カラーフィルタ以外は同一であるとする。
図4(b)は、撮像素子101における基本画素群305の配置を表す平面図である。撮像素子101では、基本画素群305はx方向とy方向に二次元アレイ状に配列されている。
図5(a)は、図4(b)中のRGの行での撮像素子101のZX断面での概略構成を示す図である。図5(b)は、画素301の概略構成を示す断面図である。画素301は、シリコン(Si)基板表層に設けられた光電変換部402、配線部403、カラーフィルタ404及びマイクロレンズ405により構成されている。撮像素子101の各画素において、マイクロレンズ405は撮像面Mの中央へ偏心して配置され、且つ、撮像面Mの周辺部の画素ほどマイクロレンズ405は大きく偏心しており、これによりセンサ瞳とセンサ瞳距離が定まる。前述の通り、画素301と他の画素(画素302~304)との違いは、光学的にはカラーフィルタ404の違いのみである。
TOF制御部106は、TOF法による測距を行う場合のカメラMPU111からの指令に基づいて、光源駆動回路105の駆動を制御する。TOF演算部107は、撮像素子101の画素302から出力される信号を用いて、被写体の所定の点から撮像素子111の撮像面Mまでの距離を算出する。撮像素子駆動回路108は、撮像素子111の駆動を制御する。画像処理回路109は、撮像素子111の画素301,303,304から出力される信号から画像データを生成する。
次に、撮像装置100での撮像シーケンスについて説明する。図6は、撮像装置100での撮像シーケンスを示すフローチャートである。図6にS番号で示す各処理(ステップ)は、カメラMPU111が所定のプログラムを実行して撮像装置100の各部の動作を統括的に制御することによって実現される。
S601にてカメラMPU111は、AFボタンの押下を検知したものとする。なお、AFボタンの押下とは、所謂、2段スイッチで構成されたレリーズボタンが半押しされた状態となることを指し、これにより、AF動作の開始がカメラMPU111に指示される。S602にてカメラMPU111は、焦点検出部112を制御して、コントラストAF方式による焦点検出処理を行う。S603にてカメラMPU111は、焦点検出部112からの焦点検出信号に基づいてレンズ駆動回路110を駆動して、フォーカスレンズを光軸方向で移動させる。これにより、S604にてMPU111は、結像光学系103を被写体に対して合焦した(ピントの合った)状態とすることができる。
S605にてカメラMPU111は、TOF制御部106を通じて光源駆動回路105を駆動することで光源102を駆動する。これにより、光源102から中心波長が800nmの周期矩形パルスレーザ光が出力される。
図7は、光源102から出射されたレーザ光の光路と撮像素子101への入射光との関係を説明する図である。光源102の発光面上のある点Rの発光部203からの出射光(出射光の光学的な重心を矢印501で示す)は部分反射鏡104で反射され、結像光学系103を通って被写体Hの所定の点Sに到達する。発光部203からの出射光は、前述の条件を満たす範囲で幅を有するため、被写体H上の点Sからは出射光の反射を含む散乱光502が生じる。散乱光502は、結像光学系103の開口を通り得る範囲(実線503を中心とする破線504,505で示される範囲)を通り、部分反射鏡104を透過して撮像素子101上の所定の点Tに結像する。
結像光学系103を通じて光源102と撮像素子101が共役関係となるように配置されているため、光源102の発光面上の点Rの位置と撮像素子101の撮像面M上の点Tは一致する。そして、前述の通り本実施形態では、撮像素子101の撮像面Mと光源102の全体的な発光領域とを同じ形状、且つ、同じ大きさとしてあるため、撮像画角より外側に投光されてしまう無駄な光が少なく、よって、投光効率を高めることができる。
撮像素子101のIR画素(画素302)による受光タイミングを周期的な矩形パルスとすることにより、光源102からのパルスレーザ光とこれに対応して受光する反射光との時間的なずれを検出して、検出信号又はこれに関連する信号を生成する。そして、生成した信号から被写体H上の点Sと撮像面Mとの間の距離506をTOF演算部107により算出する。なお、光源102から出射されるパルス光とその反射光の検出手法、信号の演算については、周知のTOF法を用いることができ、例えば、先述した非特許文献1に記載されている位相検出方法を用いることができる。なお、TOF法については様々な手法が研究、提案されており、本実施形態ではそれらの手法を用いることも可能であって、特定の手法を限定的に用いる必要はない。
S605でTOF法による測距が実行されると、S606にてカメラMPU111は、S605でのTOF法による測距結果に基づいて被写体の距離マップを生成し、生成した距離マップをカメラMPU111の内蔵メモリに保存する。その後、カメラMPU111は処理をS609へ進めるが、一方で、S605の実行中にユーザは、撮像装置100の表示部113に設けられているタッチパネルを操作して、画像内の任意の領域を合焦領域(AF領域)として選択することができる。そこで、S607にてカメラMPU111は、画像内の特定の領域が選択されたか否かを判定する。カメラMPU111は、特定の領域が選択されていないと判定した場合(S607でNO)、処理をS609へ進め、特定の領域が選択された判定した場合(S607でYES)、処理をS608へ進める。S608にてカメラMPU111は、S607で選択された領域を合焦領域として決定する。
S609にてカメラMPU111は、S606で作成、保存されている距離マップとS607で決定された合焦領域とに基づいてフォーカスレンズを駆動し、合焦領域に対する焦点調節(ピント合わせ)を行う。このようにTOF法で得られた被写体までの絶対距離情報を用いてフォーカスレンズを駆動することで、高速に焦点調節を行うことが可能となる。
焦点調節後のS610にてカメラMPU111は、撮影ボタンが押下されたか否かを判定する。なお、撮影ボタンの押下とは、所謂、2段スイッチで構成されたレリーズボタンが全押しされた状態となることを指し、これにより、撮影開始がカメラMPU111に指示される。カメラMPU111は、撮影ボタンが押下されていないと判定した場合(S610でNO)、本実施形態ではユーザは撮影を中止したものとして、本処理を終了させる。一方、カメラMPU111は、撮影ボタンが押下された判定した場合(S610でYES)、処理をS611へ進める。
S611にてカメラMPU111は、撮影画像の画像データと、S606で作成した距離マップをメモリ115に含まれるSDカード等の記憶媒体に保存し、これにより本処理を終了させる。なお、画像データは、撮像素子101のR,G,Bの各画素(画素301,303,304)からの信号を用いて生成されており、距離マップはIR画素(画素302)からの信号を用いて生成されている。
なお、図6のフローチャートにある各処理は、撮像に支障のない範囲で順番の入れ替えが可能である。例えば、コントラストAF方式による焦点検出後にTOF法による測距を行うシーケンスとしたが、TOF法による測距を行った後に焦点検出を行うようにしても構わない。
<第2実施形態>
図8は、第2実施形態に係る撮像装置100Aの概略構成を示すブロック図である。撮像装置100Aの構成要素のうち、第1実施形態に係る撮像装置100の構成要素と同じものについては、同じ符号を付して説明を省略する。
第1実施形態に係る撮像装置100は、コントラストAF方式による焦点調節を行う撮像センサを有する焦点検出部112を備えている。これに対して第2実施形態に係る撮像装置は、撮像面位相差方式による焦点検出を可能とする撮像素子101Aを備えており、これに付随して焦点検出部118を備えている点で、第1実施形態に係る撮像装置100と異なる。
図9は、図5(b)と同様のZX断面にて、撮像素子101Aを構成する画素901の構造を説明する図である。画素901の構成要素のうち、図5(b)に示した画素301の構成要素と同じものについては、同じ符号を付して説明を省略する。なお、撮像素子101AでのR,G,B,IRの各画素の配置は、撮像素子101と同等であるため、図示と説明を省略する。
画素901は、光電変換部902の構造が、図5(b)の画素301の光電変換部402と異なるが、それ以外の構成は画素301と同じである。画素301と共通する構成についての説明は省略する。光電変換部902は、x方向に略等分割された第1の光電変換部903と第2の光電変換部904を有する。焦点検出部118は、第1の光電変換部903により得られる像と第2の光電変換部904により得られる像とを用いて、撮像面位相差方式の焦点検出を行う。撮像面位相差方式については、周知であるため、ここでの詳細な説明を省略する。なお、撮像面位相差方式では、合焦状態からのずれ量(デフォーカス量)を算出するため、コントラストAF方式の場合のようにフォーカスレンズを駆動しながらの焦点調節を行う必要なく、よって、高速に焦点調節を行うことができる。
図10は、撮像装置100Aでの撮像シーケンスを示すフローチャートである。図10にS番号で示す各処理(ステップ)は、カメラMPU111が所定のプログラムを実行して撮像装置100Aの各部の動作を統括的に制御することによって実現される。なお、図10のフローチャートに示す処理のうち、図6のフローチャートにある処理と同等の処理については、同じS番号を付して、ここでの説明を省略する。
撮像装置100Aでの撮像シーケンスでは、カメラMPU111は、S602の焦点検出では、焦点検出部118を制御して撮像面位相差方式による焦点検出を行う。そして、焦点検出を開始した後に、S1001にて焦点検出が可能か否かを判定する。カメラMPU111は、焦点検出が可能であると判定した場合(S1001でYES)、処理をS603へ進め、焦点を検出することができないと判定した場合(S1001でNO)、処理をS1002へ進める。S1001の判定が‘NO’となる場合とは、撮像面位相差方式でのデフォーカス量の検出が困難な場合である。そこで、S1002にてカメラMPU111は、デフォーカス量を検出可能な状態となるまでフォーカスレンズを駆動するサーチ処理を実行し、デフォーカス量が検出可能になると、処理をS603へ進める。S603以降の処理は、図6に示した撮像シーケンスと同じである。なお、図10のフローチャートのS603では、焦点検出部118による焦点検出結果に基づいてフォーカスレンズが駆動される。
なお、撮像装置100Aでの撮像シーケンスは、図10のフローに限定されない。例えば、TOF法による測距を行った後に、作成した距離マップに基づいて焦点状態からのずれ量を推定し、その後に撮像面位相差方式による高精度な焦点調節を行ってもよい。また、TOF法によりIR光を受光するIR画素の信号に基づく被写体の距離マップの作成と、R,G,Bのそれぞれの画素901の光電変換部902からの信号に基づく焦点検出によるデフォーカス量の取得は同時に行うことができる。
<第3実施形態>
図11は、第3実施形態に係る撮像装置100Bの概略構成を示すブロック図である。撮像装置100Bの構成要素のうち、第2実施形態に係る撮像装置100Bの構成要素と同じものについては、同じ符号を付して説明を省略する。第2実施形態に係る撮像装置100では部分反射鏡104は固定されているが、撮像装置100Bは、部分反射鏡104を駆動するミラー駆動回路119を備えており、この点で撮像装置100Aと異なる。
図12は、部分反射鏡104の駆動態様を簡略的に示す図である。図12(a)は、部分反射鏡104が結像光学系103の光路内のダウン位置(第1の位置)にある状態を示している。図12(b)は、部分反射鏡104が結像光学系103の光路外のアップ位置(第2の位置)にある状態を示している。部分反射鏡104はダウン位置とアップ位置との間で遷移可能であり、ミラー駆動回路119はカメラMPU111からの指令に従って、部分反射鏡104を駆動する。
TOF法による被写体の距離マップの作成と撮像面位相差方式による焦点調節の実行時には、カメラMPU111は、ミラー駆動回路119により、部分反射鏡104をダウン位置で保持する。換言すれば、第1及び第2実施形態で説明したように、部分反射鏡104は、ダウン位置では光源102からの出射光を部分反射鏡104で反射して被写体へ照射し、その反射光を撮像素子101Aへ導く。これにより、TOF方式による測距が可能となる。
一方、撮像素子101Aによる本撮影(S611)の際に部分反射鏡104がダウン位置にあると、部分反射鏡104において光の一部が反射することで撮像素子101Aへの入射光量が減少するため、撮像感度が低下してしまう。そこで、カメラMPU111は、ミラー駆動回路119により、本撮影時には部分反射鏡104をアップ位置へ移動させて、被写体からの入射光をダイレクトに撮像素子101Aに入射させる。これにより、撮像感度を高めることができる。
<第4実施形態>
図13は、第4実施形態に係る撮像装置100Cの概略構成を示すブロック図である。
撮像装置100Cが第1実施形態に係る撮像装置100と大きく異なる点は、部分反射鏡104、光源102及び光源駆動回路105を備えず、撮像素子101Bが後述の発光素子を有し、発光素子を駆動する発光素子駆動回路1105を備える点である。なお、撮像装置100Cの構成要素のうち、第1実施形態に係る撮像装置100の構成要素と同じものについては、同じ符号を付して、共通する説明を省略する。
撮像装置100Cの主たる光学系は、結像光学系1103と撮像素子101Bにより構成されている。図13に示す破線ABは結像光学系1103の中心光軸を示しており、A側に位置する被写体からの入射光は撮像素子101Bに結像する。結像光学系1103は、部分反射鏡104を有しない点以外は、第1実施形態に係る撮像装置100の結像光学系103と同等である。
図14は、撮像素子101Bの概略構成を説明する図である。撮像素子101Bは、y方向端(上下端)に配置された発光ユニットの間に受光ユニットが配置された構造を有する。発光ユニットは複数の発光素子1202を有し、受光ユニットは複数の受光素子1203を有する。なお、図14に示す円は発光素子1202と受光素子1203それぞれの受光面側に設けられたマイクロレンズを表しており、1つの発光素子1202は1つのマイクロレンズを有し、1つの受光素子1203は1つのマイクロレンズを有する。
図15は、撮像素子101Bにおける受光ユニットでの受光素子1203の配列(画素配列)を説明する図である。撮像素子101Bにおいて、二次元状に周期的に配置された受光素子1203が有効画素領域を形成している。撮像素子101Bは、例えば、有効画素領域の水平方向サイズが22.32mm、垂直方向サイズが14.88mm、水平方向の有効画素数が6000、垂直方向の有効画素数が4000のCMOSセンサである。受光素子1203は、赤色の光の波長に高い感度を有するR画素1301、緑色の光の波長に高い感度を有するG画素1302、青色の光の波長に高い感度を有するB画素1304、近赤外光の波長に高い感度を有するIR画素1303により構成されている。つまり、R画素1301、G画素1302、B画素1304及びIR画素1303がそれぞれ受光素子1203の具体例である。
発光素子1202は、例えば、発光波長の中心波長が850nmの、ガリウムヒ素(GaAs)系化合物半導体からなる発光部を有する。発光素子駆動回路1105は、カメラMPU111からの指令に従って、発光素子1202を発光させる。
発光ユニットにおいて、発光素子1202は受光ユニットの外周の対向する2辺の各辺に沿って一次元状に、且つ、同一面内に配列されている。発光部は、例えば、発光ダイオード(LED)であるが、これに限られず、面発光レーザ(VCSEL)やストライプ型レーザ、量子ドット素子、有機EL素子等を用いることも可能である。面発光レーザやその他多くの微小発光素子からの光は拡散光であるが、発光素子1202では、マイクロレンズにより発光部から出射される光の拡散は抑制されている。
図16は、受光素子1203の配列により得られる撮像画角と発光素子1202の投光範囲との関係を、yz面での結像光学系1103と撮像素子101Bの配置で説明する図である。受光素子1203の配列に対する撮像合焦面を破線1406で表すと、撮像素子101Bの受光素子1203のマイクロレンズと撮像合焦面は、結像光学系1103を介して、概ね、共役関係にある。撮像合焦面上のある点は、撮像素子101Bの受光素子1203のある点に結像し、その際の撮像画角は矢印1404の範囲で表される。
発光素子1202では、発光部とマイクロレンズとの距離が、発光素子1202からの投光エリアが撮像画角内をカバーし、発光素子1202と撮像合焦面が共役関係にならないように設定されている。換言すれば、撮像素子101Bは、微小な複数の発光素子1202からの出射光が被写体の広いエリアをカバーするように設計されている。具体的には、図16に示すように、撮像素子101Bは、撮像素子101Bの+y側に配置された発光素子1202から出射光の投光エリアが、y方向において画角のy方向下半分以上をカバーするように設計されている。なお、不図示であるが、撮像素子101Bの-y側に配置された発光素子1202から出射光の投光エリアは、y方向において画角のy方向上半分以上をカバーする。よって、撮像画角全体に発光素子1202から出射光が投光されることになり、被写体から反射される近赤外光をIR画素1303で受光する。
なお、撮像素子101Bにおける発光素子1202と受光素子1203の配置や投光エリアは、上記構成に限定されるものではない。例えば、撮像画角内において測距を行いたいエリアに発光素子1202から投光が行われるように設計すればよく、特に、撮像画角と同等のエリア又はその内側のエリアを投光エリアに設定することで、発光素子1202からの投光効率を高めることが可能となる。
結像光学系1103の焦点距離が短くなる場合やF値が大きくなる場合、撮像素子101Bからある距離における面上での単位面積当たりの発光素子1202からの光量は減少してしまう。そのため、焦点距離やF値の変化に応じて、発光素子1202の発光強度を変化させることも、望ましい構成の1つである。結像光学系1103又はレンズ駆動回路(不図示)やカメラMPU111から、随時、結像光学系1103の焦点距離やF値の情報を発光素子駆動回路1105へ伝達することにより、最適な光量での測距が可能となる。なお、ここでは、複数の発光素子1202を1列に配置した構成を取り上げているが、これを単一の発光部に置き換えた構成とすることも可能である。
撮像素子101Bの受光素子1203は、瞳分割位相差方式の焦点検出と焦点調節が可能な構造となっている。図17は、受光素子1203の1つであるG画素1302の概略構成をyz断面で示す図である。Si5O2よりなる光電変換部1502は、イオン注入プロセスにより不純物濃度を部分的に変化させたサブ光電変換部1503,1504を有し、結像光学系1103を通過して入射される光の瞳分割を行う。光電変換部1502上には金属配線層1505が埋め込まれた絶縁部が形成されており、絶縁部から+z方向に向かって順にカラーフィルタ1506とマイクロレンズ1507が配置されている。なお、R画素1301、B画素1304及びIR画素1303は、G画素1302とは、カラーフィルタが異なるが、その他の構成は基本的に同等である。
図18は、G画素1302を例にして、G画素1302の構造と結像光学系1103の出射瞳面1603との関係を示す図である。なお、出射瞳面1603は光軸(z方向と平行)と直交する面となり、G画素1302の断面は光軸と平行な面となる。
サブ光電変換部1503と第1の瞳分領域1602とが対応し、サブ光電変換部1504と第2の瞳分領域1601とが対応し、分離部1604と第3の瞳分領域1605とが対応する。そのため、被写体から入射光のうち、第1の瞳分領域1602と第2の瞳分領域1601をそれぞれ通過した光は、マイクロレンズ1507を介して、サブ光電変換部1503とサブ光電変換部1504に入射する。また、第3の瞳分領域1605を通過した光は、マイクロレンズ1507を介して分離部1604に入射する。
図19は、サブ光電変換部1503,1504から出力される信号強度とそれらを加算した信号強度の分布例を示す図である。図19の横軸は図18でのサブ光電変換部1503,1504のx座標値であり、縦軸は信号強度である。信号強度1701,1702はそれぞれ、サブ光電変換部1503,1504での信号強度を表しており、信号強度1703は信号強度1701,1702の和を表している。
以下、撮像素子101Bの各画素のサブ光電変換部1503から出力される信号による被写体像を“A像”と称呼し、サブ光電変換部1504から出力される信号による被写体像を“B像”と称呼する。また、A像の信号とB像の信号を画素ごとに足し合わせた信号による被写体像を“A+B像”と呼称する。A像とB像との像ずれ量(相対位置)を検出することにより、x方向に輝度分布を有する被写体像のデフォーカス量(合焦ずれ量)を検出することができる。
像ずれ量の計算では、例えば、A像とB像の相対位置をずらして、画素ごとのA像信号とB像信号の差分の二乗の総和(信頼値)を求め、得られた信頼値が最も小さいずらし量を像ずれ位置としている。これは、この信頼値は、値が小さいほど像ずれ量計算の精度が高いことを表しているからである。このように撮像装置110Cでは、撮像素子101Bによる瞳分割位相差方式の焦点検出を行い、焦点検出情報に基づいてレンズ駆動を行うことで被写体位置と結像光学系1103の焦点位置を調節する位相差方式の焦点調節を行うことが可能となっている。
次に、撮像装置100Cでの撮像シーケンスについて説明する。図20は、撮像装置100Cでの撮像シーケンスを示すフローチャートである。図20にS番号で示す各処理(ステップ)は、カメラMPU111が所定のプログラムを実行して撮像装置100の各部の動作を統括的に制御することによって実現される。
S1801にてカメラMPU111は、AFボタンの押下を検知したものとする。なお、S1801の処理は、前述したS601と同じ処理である。S1802にてカメラMPU111は、焦点検出部118を制御して、撮像素子101Bから出力される信号を用いて瞳分割位相差方式の位相差焦点検出処理を行い、焦点検出が可能であったか否かを判定する。カメラMPU111は、焦点が検出されたと判定した場合(S1802でYES)、処理をS1807へ進め、焦点が検出されないと判定した場合(S1802でNO)、処理をS1803へ進める。
S1802で焦点が検出されない場合には被写体に対してデフォーカスが大き過ぎることになるため、S1803にてカメラMPU111は、TOF法による測距を行う。具体的には、カメラMPU111を通じてTOF制御部106から発光素子駆動回路1105へ信号が伝達され、発光素子駆動回路1105により撮像素子101Bが有する発光素子1202が駆動される。発光素子1202からは、中心波長が850nmの周期矩形パルス光が出力される。発光素子1202から被写体上に投光された光は、部分的に反射光や散乱光となり、結像光学系1103を透過して撮像素子101Bの撮像面Mに入射して、IR画素1303により受光される。
撮像装置100Cでは、前述したように、一群の発光素子1202からの投光エリアが、一群の受光素子1203による撮像画角に相当する被写界領域と同等となっている。そのため、撮像画角より外側に投光されてしまう無駄な光を低減させて、投光効率を高めることが可能となっている。また、撮像素子101BのIR画素1303による受光タイミングを周期的な矩形パルスとすることにより、発光素子1202から出射されるパルス光とIR画素1303が受光する光との時間的なずれを検出することができる。こうして検出した出射光と受光光との時間的なずれの検出信号又はこれに関連する信号を生成し、生成した信号から被写体と撮像面との間の距離をTOF演算部107が算出する。
なお、発光素子1202から出射されるパルス光とその反射光の検出手法、信号の演算については、周知のTOF法を用いることができ、例えば、先述した非特許文献1に記載されている位相検出方法を用いることができる。なお、TOF法については様々な手法が研究、提案されており、本実施形態ではそれらの手法を用いることも可能であって、特定の手法を限定的に用いる必要はない。
S1803でTOF法による測距が実行されると、S1804にてカメラMPU111は、S1803でのTOF法による測距結果に基づいて被写体の距離マップを生成し、生成した距離マップをカメラMPU111の内蔵メモリに保存する。その後、カメラMPU111は処理をS1807へ進めるが、一方で、S1803の実行中にユーザは、撮像装置100Cの表示部113に設けられているタッチパネルを操作して、画像内の任意の領域を合焦領域として選択することができる。そこで、S1805にてカメラMPU111は、画像内の特定の領域が選択されたか否かを判定する。カメラMPU111は、特定の領域が選択されていないと判定した場合(S1805でNO)、処理をS1807へ進め、特定の領域が選択された判定した場合(S1805でYES)、処理をS1806へ進める。S1806にてカメラMPU111は、S1805で選択された領域を合焦領域に決定する。
S1807にてカメラMPU111は、S1802からダイレクトにS1807へ処理が進められた場合には、S1802で検出された焦点検出情報に基づいて結像光学系1103を構成するフォーカスレンズを駆動して焦点調節(ピント合わせ)を行う。また、S1807にてカメラMPU111は、S1804を経由し又はS1805の判定がNOであった場合を経由した場合には、S1804で保存された距離マップに基づいてフォーカスレンズを駆動して焦点調節(ピント合わせ)を行う。S1807にてカメラMPU111は、S1805の判定がNOであった場合を経由した場合には、S1804で保存された距離マップとS1806で決定された合焦領域とに基づいてフォーカスレンズを駆動し、合焦領域に対する焦点調節(ピント合わせ)を行う。TOF法で得られた被写体までの絶対距離情報を用いてフォーカスレンズを駆動することで、高速に焦点調節を行うことが可能になる。
S1808,S1809の処理はそれぞれ、第1実施形態でのS610,S611の処理と同じである。すなわち、S1808にてカメラMPU111は、撮影ボタンが押下され、撮影開始がカメラMPU111に指示されたか否かを判定する。カメラMPU111は、撮影ボタンが押下されていないと判定した場合(S1808でNO)、ユーザは撮影を中止したものとして、本処理を終了させる。一方、カメラMPU111は、撮影ボタンが押下された判定した場合(S1808でYES)、処理をS1809へ進める。
S1809にてカメラMPU111は、撮影画像の画像データとS1804で作成した距離マップをメモリ115に含まれるSDカード等の記憶媒体に保存し、これにより本処理を終了させる。なお、画像データは、撮像素子101BのR画素1301、G画素1302及びB画素1304からの信号により生成されており、距離マップはIR画素1303からの信号を用いて生成されている。
撮像装置100Cでは、TOF法による焦点検出での発光素子1202の発光強度を結像光学系1103のF値や焦点距離に応じて変更することが望ましい。例えば、同じ撮影状況においてF値が大きい場合には、結像レンズの有効径が小さくなるために撮像素子101Bに入射する光強度が小さくなり、逆にF値が小さい場合は、撮像素子101Bに入射する光強度は大きくなる。このように、被写体からの反射光と散乱光の強度は結像光学系1103のF値に応じて変化してしまうため、受光素子1203で取得するTOF信号が不安定になって検出精度が低下し、或いは、検出不可能となる事態が生じ得る。同様の問題は、結像光学系1103の焦点距離に応じて被写界の広さが変わり、撮像画角の単位立体角当たりの投光強度が変化することによって起こり得る。
そこで、F値に応じて発光素子1202の発光強度をTOF制御部106により制御可能とし、また、結像光学系1103の焦点距離に応じて発光素子1202の発光強度を制御することで、TOF焦点検出を安定して行うことができる。なお、TOF法による最初の測定で撮像素子101BによるIR光の受光強度が小さ過ぎたり大き過ぎたりした場合には、次の測定では投光強度を修正して行うことで、より望ましい撮像シーケンスとすることができる。
ところで、図20のフローチャートでの撮像シーケンスでは、瞳分割位相差方式での焦点検出後にTOF法による測距を行っているが、これに限らず、TOF法による測距を先に行うようにしてもよい。瞳分割位相差方式の焦点検出では、デフォーカスが大きい場合や環境可視高強度が低い場合等に、焦点検出が困難になることがある。デフォーカス量の検出が困難な場合、デフォーカス量を検出することができる状態までフォーカスレンズを動かしながら合焦位置をサーチする必要があり、また、フォーカスレンズのサーチ駆動を行っても必ずしも焦点を検出することができる保証はない。更に、サーチ駆動自体に一定の時間を要する。
このような状況では、可視光を必要としないIR光を用いたTOF法による焦点検出が有効であり、駆動シーケンスにおいて最初の焦点検出をTOF法を用いて行うことが好ましい。但し、TOF法による焦点検出では、距離の分解能が不足する場合や測距精度が被写界深度に対して荒い場合がある。そのため、TOF法による焦点検出結果を用いた焦点調節後に瞳分割位相差方式での焦点検出を行い、TOF法による焦点調節後の状態が合焦範囲に入っているかの判定を行うことが望ましい。その結果、合焦状態であれば撮影動作へ移行し、非合焦状態であれば瞳分割位相差方式での焦点検出結果に基づいて、再度、フォーカスレンズを駆動して焦点調節を行うようにすればよい。
次に、撮像素子101Bの変形例について説明する。撮像装置100Cにおいて、撮像素子101Bは発光素子1202と受光素子1203を別々に備えるが、これに代えて、受光と発光の両機能を有する受発光素子を備える撮像素子を用いてもよい。この場合、合焦状態において、撮像素子の1つの画素の発光部から出力される光は、被写体の概ね一点に到達し、反射又は散乱されて、再び、元の画素に結像して受光部に受光され、発光信号と受光信号とを用いてTOF法による測距を行うことができる。その結果、TOF法による測距エリア分解能を高めることが可能となる。
受発光素子としては、例えば、LEDの受発光機能に着目した受発光素子(特開昭58-134483号)や窒化ガリウム(GaN)系材料による多重量子井戸構造の受発光素子、ナノロッドを用いた受発光素子等が知られている。多重量子井戸構造の受発光素子は、Y.Wang et al.,Proc.SPIE 10823,Nanophotonics and Micro/Nano Optics IV,108230H(25 October 2018))等に開示がある。ナノロッドを用いた受発光素子については、N.Oh et al.,Science 355,616 (2017)等に開示があるが、これらに限るものではない。
<第5実施形態>
図21は、第5実施形態に係る撮像装置100Dの概略構成を示すブロック図である。
撮像装置100Dが第1実施形態に係る撮像装置100と大きく異なる点は、部分反射鏡104を備えず、光源102に代えて光源2102を有する点である。撮像装置100Dの構成要素のうち、第1実施形態に係る撮像装置100の構成要素と同じものについては、同じ符号を付して、共通する説明を省略する。また、撮像装置100Dの結像光学系1103は、第4実施形態に係る撮像装置100Cの結像光学系1103と実質的に同じであるため、同じ符号を付しており、また、ここでの説明を省略する。
図22(a)は、光源2102の概略構成を説明する側面図である。光源2102は、ガリウムヒ素(GaAs)系半導体基板2205に二次元アレイ状に形成された複数の発光部2203を有する。それぞれの発光部2203の上方にはマイクロレンズ2204が二次元アレイ状に配置されており、これによりマイクロレンズアレイが形成されている。それぞれのマイクロレンズ2204は、対応する発光部2203からの光をコリメート(発散角が0°に近くなるように)し又は発散を抑制する。
光源2102では、マイクロレンズアレイは、発光部2203との距離を制御可能な距離制御部2201上に配置されており、後述するように、撮像条件に応じて発光部2203からの光の出射条件(出射状態)を変化させることが可能となっている。なお、光源2102は、単一の発光素子や発光部から構成されるものであっても構わない。
光源2102では、発光部2203として、発振中心波長が約800nmの面発光レーザ(VCSEL)を用いている。撮像に用いられる可視光波長帯域から外れた波長の光を用いることにより、TOF法による測距信号と撮像信号とを区別することが容易となる。なお、発光部2203は、上述の構成に限られるものではなく、例えば、ストライプ型レーザ、発光ダイオード(LED)、量子ドット素子、有機EL素子を用いることも可能である。面発光レーザを含めて多くの微小発光素子から出射される光は拡散光であるため、マイクロレンズ2204により発光部2203からの拡散光の拡散を抑制している。
図22(b)は、光源2102からの出射光を説明する図である。光源2102の発光面中心付近の発光部2208とこれに隣接する発光部2209からの光はそれぞれ、対応するマイクロレンズ2206,2207により拡散状態が制御され、被写体位置Hに到達する。このとき、発光部2208,2209から出射される光が到達するエリア2212,2213が大きく重ならないように、且つ、エリア2212,2213の間が空かないように出射方向を調整する。これにより、被写体距離Hの必要なエリアに均等に光源2102から光を供給することができる。また、撮像素子101の撮像面Mに相当する被写体エリアに対する投光エリアを常に一定とすることができ、投光効率の高い測距を行うことが可能になる。このような設定は、距離制御部2201により、マイクロレンズ2206,2207と発光部2208,2209の間の距離を制御することによって実現することができる。なお、撮像素子101による撮像画角が投光エリアと概ね一致するか又はこれよりも大きくなるようにしてもよい。
光源2102の設定は、上記の設定に限定されるものではない。例えば、発光部2203から出射される光がコリメートされるように出射方向を調整することにより、被写体までの距離が長くなった場合にも十分な強度の投光が可能となる。このとき、光源2102の製造上のばらつき等を考慮して効率の高い投光を行うためには、撮像素子101で撮像可能な被写体エリアよりもやや内側に投光エリアが存在するように設定するようにしてもよい。
結像光学系1103の焦点距離が短くなる場合やF値が大きくなる場合には、撮像素子101から所定の距離にある面上での単位面積当たりの光源2102からの光量は減少してしまう。そのため、結像光学系1103の焦点距離やF値の変化に応じて、光源2102からの出射光の強度を変更することが望ましい。結像光学系1103又はレンズ駆動回路110やカメラMPU111から、随時、結像光学系1103の焦点距離やF値の情報を光源駆動回路105へ伝達して、光源2102から出射光の強度を変更することで、適切な光量での測距が可能となる。
図23(a)は、光源2102からの出射光を覆うように制御レンズ2220を配置した構成を示す図である。図23(a)では、光源2102の複数の発光部2103からの出射光の主光線が、模式的に破線2222で示されている。制御レンズ2220は、z方向で移動可能に配置されており、光源2102から出射される光の被写体への投光状態を制御する。例えば、結像光学系1103が焦点距離の短い広角レンズで構成されている場合、出射光全体が発散気味になるように、制御レンズ2220の位置が制御される。一方、結像光学系1103が焦点距離が長い超望遠レンズで構成されている場合、遠距離の小さなエリアを撮像するため、出射光全体を小さなエリアに集中させるように制御レンズ2220の位置が制御され、これにより効率の高い投光が可能になる。
なお、結像光学系1103の焦点距離に応じて撮像画角が変化するため、光源2102からの出射光の発散具合や収束具合を制御する場合には、単位立体角当たりの出射光の強度が一定となるように制御することが望ましい。カメラMPU111は、結像光学系1103の焦点距離に応じて、結像光学系1103が受光可能な角度範囲と光源2102からの投光角度範囲とが一致するように、光源駆動回路105及び制御レンズ2220を制御する。
図23(b),(c)はそれぞれ、AF枠2225と投光エリア2226の関係の一例を示す図であり、図23(b)は撮像画角内での中央一点AFモードでの例を、図23(c)は撮像画角内での多点AFモードでの例をそれぞれ示している。破線で示されるAF枠2225は、電子ビューファインダや液晶モニタ等の表示部113に表示される、円で示す投光エリア2226は、表示部113に実際に表示されるものではないが、説明の便宜上、模式的に示している。
撮像装置100Dでは、焦点検出部112のAFモードの違いに応じて、投光条件を望ましい条件に変更することが望ましい。例えば、図23(b)に示すように、撮像画角内での中央一点AFモードでは、AF枠に対応するエリアに選択的に限定して光源2102からの出射光を投光することが望ましい。また、図23(c)の左図に示すように、撮像画角内での多点測距モードでは、各AF枠に対応するエリアに選択的に限定して出射光を投光することが望ましい。但し、この場合でも、焦点距離や被写体距離に応じて投光範囲を調整することが望ましい。また、多点測距モードの場合でも、被写体距離が近い場合には、図23(c)の右図に示すように、安全性を加味して多点AF枠の全てを包括するエリアに投光するエリアAF状態を実現することが望ましい。
撮像素子101は、第1実施形態に係る撮像装置100が備える撮像素子101と同等であり、その構成等については、図4及び図5を参照して説明済みであるため、ここでの説明を省略する。
次に、撮像装置100Dでの撮像シーケンスについて説明する。撮像装置100Dでの撮像シーケンスは、第1実施形態に係る撮像装置100での撮像シーケンスを示している図6のフローチャートに従って実行することができる。そのため、ここでのフローチャートの図示と全体的な説明を省略する。但し、S605でのTOF法による測距処理の手法が、撮像装置100Dと第1実施形態に係る撮像装置100とで異なるため、以下、撮像装置100DでのTOF法による測距方法について、図24を参照して説明する。
図24は、撮像装置100DでのTOF法による測距方法を説明する図である。カメラMPU111を通じてTOF制御部106から光源駆動回路105へ信号が伝達され、光源駆動回路105により光源2102が駆動される。光源2102から中心波長800nmの周期矩形パルスレーザ光が被写体Jへ向けて出力される。
光源2102の出射面上の位置Rからの出射光(光学的重心の光線を矢印2501で示す)は被写体Jの点Sに到達する。発光部2203から出射光は一定の幅を有しており、被写体J上の点Sでは出射光に起因する反射光を含む散乱光2502が生じる。散乱光2502の一部は、結像光学系1103の開口を通りうる範囲(一点鎖線2504,2505間)を通り、撮像素子101の撮像面M上の点Tに結像する。なお、図24では、一点鎖線2504,2505間の略中心を通る光線を実線2503で示している。
撮像装置100Dでは、撮像素子101上の有効画素エリアと光源2102の出射面上で発光部2203が配置されたエリアの大きさ及び形状とが一致するように構成されている。これにより、撮像画角より外側への無駄な投光を低減させて、投光効率を高めることができる。また、撮像素子101のIR画素(画素302)による受光タイミングを周期的な矩形パルスとすることにより、光源2102からの出射光とIR画素の受光光の時間的なずれを検出し、その検出信号又はこれに関連する信号を生成する。こうして、生成した信号から、被写体J上の点Sと撮像面Mとの間の距離をTOF演算部107により算出する。以上が、S605でのTOF法による測距処理の手法である。
なお、光源2102から出射されるパルス光とその反射光の検出手法、信号の演算については、周知のTOF法を用いることができ、例えば、先述した非特許文献1に記載されている位相検出方法を用いることができる。なお、TOF法については様々な手法が研究、提案されており、本実施形態ではそれらの手法を用いることも可能であって、特定の手法を限定的に用いる必要はない。
<第6実施形態>
図25は、第6実施形態に係る撮像装置100Eの概略構成を示すブロック図である。
撮像装置100Eは、第5実施形態に係る撮像装置100Dが備える撮像素子101を、第2実施形態に係る撮像装置100Aが備える撮像素子101Aに変更し、これに付随して焦点検出部118を備えた構成となっている。撮像装置100Eのその他の構成は、撮像装置100Dの構成と同等である。そのため、撮像装置100Eの構成要素のうち、第5実施形態に係る撮像装置100D及び第1実施形態に係る撮像装置100のの構成要素と同じものについては、同じ符号を付して、共通する説明を省略する。
撮像素子101Aは、第2実施形態で説明した通り、撮像面位相差方式の焦点検出が可能な撮像素子であり、その構造については図9を参照して説明済みであるため、ここでの説明を省略する。
次に、撮像装置100Eでの撮像シーケンスについて説明する。図26は、撮像装置100Eでの撮像シーケンスを示すフローチャートである。図26にS番号で示す各処理(ステップ)は、カメラMPU111が所定のプログラムを実行して撮像装置100Eの各部の動作を統括的に制御することによって実現される。
S2601にてカメラMPU111は、AFボタンの押下を検知したものとする。なお、S2601の処理は、前述したS601と同じ処理である。S2602にてカメラMPU111は、焦点検出部118を制御して、撮像素子101Aから出力される信号を用いて撮像面位相差方式による焦点検出処理を行う。S2603にてカメラMPU111は、焦点検出が可能か否かを判定する。カメラMPU111は、焦点検出が可能であると判定した場合(S2603でYES)、処理をS2604へ進め、焦点を検出することができないと判定した場合(S2603でNO)、処理をS2606へ進める。
S2604にてカメラMPU111は、焦点検出部118からの焦点検出信号に基づいてレンズ駆動回路110を駆動して、フォーカスレンズを光軸方向で移動させる。これにより、S605にてMPU111は、結像光学系1103を被写体に対して合焦した(ピントの合った)状態とすることができ、その後、処理をS2611へ進める。
撮像面位相差方式により焦点を検出することができなかった場合のS2606にてカメラMPU111は、TOF法による測距を行う。ここでのTOF法による測距は、第5実施形態でのTOF法による測距と同様に行うことができるため、ここでの詳細な説明を省略する。また、S2606~S2612の処理は、第5実施形態に係る撮像装置100Dの撮像シーケンスとして引用した図6のフローチャートのS605~S611の処理或いは図20のフローチャートのS1803~S1809と同様に行われる。そのため、これらの各処理についても、ここでの説明を省略する。
以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。更に、上述した各実施形態は本発明の一実施形態を示すものにすぎず、各実施形態を適宜組み合わせることも可能である。
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。