JP5292638B2 - 画像撮影システム用焦点校正方法 - Google Patents

Description

本発明は、画質向上及び動作高速化を目的とするイメージングシステム自動校正に関する。

イメージングシステムにおける画質向上を阻むものに、その動作環境の影響で生じる偽像がある。そうした偽像が撮影画像中に現れることを防ぐには、例えばそのイメージングシステムの利用環境に類似した環境でそのイメージングシステムを校正しておけばよい。これはイメージングシステム製造時に行われることが多い。その例としては、そのカメラを動作させうる環境下にフィルム式カメラを配置し、検査器具を用いてそのカメラのオートフォーカスシステムを校正する、という手法が従来から知られている。

イメージングシステム構成部分のなかで特に校正メリットが大きいのはオートフォーカスシステムである。多くのフィルム式カメラ、ディジタルカメラ及びスキャナでは、そのイメージャと共に可調焦点型レンズシステムを使用して画像を撮影する。通常、そうした可調焦点型レンズシステムの焦点距離は、複数通りある設定可能な焦点距離のいずれかに自動設定される。検知、制御及び駆動システムは、シーン内の被写体部分に好適に合焦するようその自動設定を実行する。本願では、その焦点設定を自動調整可能なレンズシステムのことをオートフォーカスシステムと呼んでいる。

自明な通り、こうしたオートフォーカスシステムの適正校正は重要である。上に掲げたフィルム式カメラの例では、その焦点距離設定の校正に当たり、まず、そのカメラのレンズシステムで得られる画像を検査器具でモニタしながらそのカメラによる撮影及びレンズシステムの調整を行うことで、そのカメラから所定距離隔てた位置にある検査用被写体にそのレンズシステムを合焦させ、次いでそのカメラのレンジファインダで検査用被写体までの距離を計測する。更に、検査用被写体の種類や距離を変えながらこの手順を複数回繰り返すことによって、複数通りの焦点距離設定それぞれにレンジファインダ計測距離を関連づける。これを済ませておけば、レンジファインダ計測距離に応じ焦点距離を選びレンズシステムの焦点距離を設定し、被写体までの距離に合わせることができる。

次に、ディジタルカメラでは、撮影用レンズの自動焦点設定にレンジファインダ式やスルーザレンズ式のオートフォーカスシステムが用いられることが多い。そのうちレンジファインダ式オートフォーカスシステムでは、カメラから可調焦点型レンズシステム視野内被写体部分までの距離を、最低１個の被写体部分について光学式レンジファインダ、音響式レンジファインダ等のセンサで計測する。能動型と受動型に大別できるレンジファインダ式オートフォーカスシステムのうち例えば能動型のものでは、まず横並びに間隔配置されている２個のレンズシステムで同じ被写体を撮影し、得られた二種類の低解像度画像を相互比較することによって、被写体までの距離を三角測量の原理で導出する。更に、シーンまでの距離と、その距離にある被写体に合焦する撮影時レンズ位置と、を関連づける所与の校正曲線乃至ルックアップテーブル（ＬＵＴ）を参照することによって、その可調焦点型レンズシステムに設定すべき焦点距離を導出する。なお、レンジファインダ式オートフォーカスシステムとしては他にも様々な種類が知られている。

レンジファインダ式オートフォーカスシステムの長所は非常に高速なことである。なかには０．０１〜０．０５秒程度の時間で応答できるものもある。しかしながら、レンジファインダ式オートフォーカスシステムにおける合焦品質は、その動作状況が変化すると変化することがある。例えば、レンジファインダ式オートフォーカスシステム構成部材や撮影用レンズ構成部材の屈折率や寸法は、温度や湿度の影響を受けうる。屈折率や寸法に狂いが生じると、被写体距離と合焦レンズ位置の関係が校正曲線から外れてしまう。

他方のスルーザレンズ式オートフォーカスシステムでは、そのレンズシステムの焦点距離を複数通りに亘り変化させて都合複数枚の画像を撮影し、それらの画像の解析結果に基づき焦点距離を設定する。例えばコントラストを利用するタイプのスルーザレンズ式オートフォーカスシステムでは、いわゆるヒルクライム法に従い撮影用レンズの位置を変えながら複数枚例えば５〜２０枚の画像を撮影し、それらの画像に存するコントラストを対比してそのコントラスト値が最高のものを選び、その画像が得られた撮影用レンズ位置を以て最良合焦レンズ位置と判断する。画像間でコントラスト値を補間すれば、その最良合焦レンズ位置をより細かく割り出すこともできる。こうしたスルーザレンズ式オートフォーカスシステムは、合焦品質を高品質な撮影用レンズで直接計測するので非常に高精度である。

しかしながら、既存のスルーザレンズ式オートフォーカスシステムでは焦点距離決定に時間がかかる。例えば、焦点距離決定に０．５〜２．０秒もの時間がかかることもある。これは、スルーザレンズ式オートフォーカスシステムでは多数の画像を撮影及び処理する必要があるからである。

そのため、これら二種類のオートフォーカス方式を組み合わせたハイブリッド式のオートフォーカスシステムを使用するディジタルカメラもある。その種のシステムでは、レンジファインダ方式を用い焦点設定を高速粗推定し、次いでスルーザレンズ方式を用いより細かく焦点距離を設定する。例えば、特許文献１４（名称：光学機器の焦点を調整するための合焦装置(Focusing Apparatus for Adjusting Focus of an Optical Instrument)，出願日：２００３年１月１０日，発明者：Ｍｉｓａｗａ）には、レンジファインダ式オートフォーカスシステムとスルーザレンズ式オートフォーカスシステムを調和的に使用する手法が示されている。この手法では、撮影用レンズの焦点位置をレンジファインダ式オートフォーカスシステム及びスルーザレンズ式オートフォーカスシステムの双方で求め、前者で得られた焦点位置と後者で得られた焦点位置の差異を事後参照可能な形態で保存する。後に画像を撮影する際には、保存されている差異情報に従い画像の撮影・解析枚数を決めることで、ヒルクライム法に従い且つスルーザレンズ式オートフォーカスシステムにより、最良合焦レンズ位置を高精度に導出する。従って、画像の撮影・処理枚数は、レンジファインダが正確なら少なめになり不正確なら多めになる。しかしながら、特許文献１４に記載の手法では、レンジファインダ、可調焦点型レンズシステム及び制御システムの動作が常に安定で、環境条件変化の影響等を含め経時的な変化乃至ドリフトを受けないことを前提している。また、特許文献１４に記載のハイブリッド式オートフォーカスシステムでは、スルーザレンズ式オートフォーカスシステムにて複数枚の画像を撮影及び処理する必要があるので、そのハイブリッドオートフォーカス動作はまだまだ低速である。

イメージングシステム構成部分のなかで校正メリットが大きな部分としては、更に投映システムがある。その校正によって投映用レンズシステムの焦点を適正化できるので、従来から様々な自動フィードバックシステムが提案されている。例えば特許文献４及び５（発明者：共にＬｉ ｅｔ ａｌ．）に記載の投映システムでは、投映された画像を画像センサシステムで捉えてフィードバックし、そのフィードバックを受けて投映システムを合焦させている。特許文献４及び５に記載の投映システムでは、更に、画像センサシステムを利用し投映部対投映面方向問題の補正を図っている。即ち、投映された画像における指標部分の位置を調整する補正や、投映された画像が投映先スクリーンの枠内にはめ込む補正等を提案している。従って、特許文献４及び５に記載のシステムは、本質的には方向問題補正機能付のスルーザレンズ式オートフォーカスシステムである。残念なことに、こうしたシステムの校正は、普通は製造時やマニュアル点検中しか行えない。

米国特許出願公開第２００２／０１７６０１５号明細書 米国特許出願公開第２００２／０１１８１５１号明細書 米国特許出願公開第２００３／００８１１８４号明細書 米国特許出願公開第２００５／０１６８７０５号明細書 米国特許出願公開第２００５／００２４６０６号明細書 米国特許第４８６２２７８号明細書 米国特許第５１６４８３１号明細書 米国特許第５４４０３６９号明細書 米国特許第５７１５４８３号明細書 米国特許第５８７７８０９号明細書 米国特許第６０６７１１４号明細書 米国特許第６６３７８９６号明細書 米国特許第６７９６６５５号明細書 米国特許第６８５４４７４号明細書 米国特許第６９８４０３９号明細書 英国特許第２３７７５８０号明細書 国際公開第ＷＯ０３／０３８５１７号パンフレット 米国特許出願公開第２００６／００６１６７６号明細書 米国特許第６３８１４１３号明細書 欧州特許出願公開第１４３４４２７号明細書（Ａ２）

Light Blue Optics, Ltd., "PVPro(TM) Enabling Personal Video Projectors", [online] Internet URL: http://www.lightblueoptics.com Jacqueline Hewett, "Tiny Image Projectors Take a Step Towards the Shops", July/August 2003, [online] Internet URL: http://www.optics.org Anne Eisenberg, "What's Next; For Your Viewing Pleasure, a Projector in Your Pocket", November 4, 2004, [online] Internet URL: http://www.nytimes.com

このように、イメージングシステムにおける校正手法の改良が求められている。

本発明は、イメージングシステムの実装先となる本体と、その合焦距離を複数通りに変更設定しうる撮影用レンズシステムを用い画像を撮影するシーン画像撮影システムと、イメージングシステムと撮影用レンズシステム視野内シーン構成部分との距離をシーン画像撮影システムを使用せずに計測するレンジファインダと、を備えるイメージングシステムを校正する方法であって、所定の第１合焦距離設定下の撮影用レンズシステムを用い第１視野に亘る第１校正画像を自動撮影するステップと、撮影して得られた前記第１校正画像を複数個の部分に区画し、複数個の部分から所定の好適合焦度を有する前記第１校正画像内の部分を認識するステップと、イメージングシステムから認識された部分までの距離即ち第１校正画像撮影時距離を前記レンジファインダで計測するステップと、複数通りの合焦距離と各合焦距離と対応したレンジファインダ計測距離との対応関係即ち焦点相関構造を、前記第１合焦距離及び第１校正画像撮影時距離に基づいて、複数の焦点相関構造の中から選定するステップと、シーンの本番画像をシーン画像撮影システムで撮影すべきであることを検知したとき、イメージングシステムから撮影用レンズシステム視野内シーン構成部分までの距離即ち本番画像撮影時距離をレンジファインダで計測し、計測した本番画像撮影時距離及び選定した焦点相関構造を用いて本番画像撮影時合焦距離を決定して撮影用レンズシステムの合焦距離を設定するステップとを有する。また、本発明は、シーン画像撮影システム及びレンジファインダの実装先となる本体と、その合焦距離を複数通りに変更設定しうる撮影用レンズシステムを用い画像を撮影するシーン画像撮影システムと、
撮影用レンズシステム視野内シーン構成部分までの距離を計測するレンジファインダと、コントローラとを備え、そのコントローラが、所定の第１合焦距離設定下の撮影用レンズシステムを用い第１校正画像を自動撮影し、撮影して得られた前記第１校正画像を複数個の部分に区画し、複数個の部分から所定の好適合焦度部分を有する前記第１校正画像内の部分を認識し、イメージングシステムから認識された部分までの距離即ち第１校正画像撮影時距離を上記レンジファインダで計測し、複数通りの合焦距離と各合焦距離に対応したレンジファインダ計測距離との対応関係即ち焦点相関構造を、前記第１合焦距離及び第１校正画像撮影時距離に基づいて、複数の焦点相関構造の中から選定し、更に、シーンの本番画像をシーン画像撮影システムで撮影すべきであることを検知したときに、本イメージングシステムから撮影用レンズシステム視野内シーン構成部分までの距離即ち本番画像撮影時距離をレンジファインダで計測し、計測した本番画像撮影時距離及び選定した焦点相関構造を用いて本番画像撮影時合焦距離を決定して撮影用レンズシステムの合焦距離を設定する。

イメージングシステムの一例構成を示すブロック図である。 図１に示したイメージングシステムの背面図である。 図１に示したイメージングシステムの正面図である。 レンジファインダを有する自動合焦型イメージングシステムの自動校正手順の一例を示すフローチャートである。 校正画像の一例を示す図である。 焦点相関の一例を示す図である。 焦点相関の一例を示す図である。 焦点相関の一例を示す図である。 イメージングシステム校正手順の別例を示すフローチャートである。 イメージングシステム校正手順の別例を示すフローチャートである。 イメージングシステム校正手順の別例を示すフローチャートである。 イメージングシステム校正手順の別例を示すフローチャートである。 焦点相関の一例を示す図である。 焦点相関の一例を示す図である。 焦点相関の一例を示す図である。 焦点相関画定手順の別例を示すフローチャートである。 投映システムが接続されたイメージングシステムの一例構成を示すブロック図である。 投映システム校正手順の一例を示すフローチャートである。

以下、本発明の好適な実施形態について詳細に説明する。以下の説明では別紙図面を参照する。

また、本発明の実施形態についてこれから詳細に説明するのであるが、本発明を下記実施形態に限定して解釈すべきではないこと、本発明は多様な形態で実施できることを、ご了承頂きたい。

一実施形態に係るイメージングシステム１０のブロック構成を図１に、背面を図２に、正面を図３にそれぞれ示す。図示の通り本システム１０はディジタルカメラ１２の形態を採っており、その本体２０にはシーン画像撮影システム２２及びオートフォーカスシステム（２７）が実装されている。撮影システム２２は撮影用レンズシステム２３、シーン画像センサ２４、シグナルプロセッサ２６、オプションのディスプレイドライバ２８及びディスプレイ３０を有しており、その動作時には、シーンからの光をレンズシステム２３により合焦させて画像センサ２４上に画像を形成する。レンズシステム２３は単体の光学部品でも複数光学部品の組合せでも形成できる。

図中の撮影用レンズシステム２３は自動可調焦点型であり、その焦点距離を複数通りに自動変更設定することができる。具体的には、図示しない固定素子（群）に対し且つ動力付の自動駆動用レンズドライバ２５により、図示しない可動素子（群）を動かす６倍ズームレンズユニットとして構成されている。ドライバ２５は、レンズシステム２３を形成しているレンズの焦点距離及び焦点位置を制御する。シグナルプロセッサ２６、オプションの自動レンジファインダシステム（以下単に「レンジファインダ」）２７或いはコントローラ３２は、ドライバ２５への信号供給によって、レンズシステム２３に当該距離、焦点位置又はその双方を設定する。また、これ以外のやり方としては、例えばその形状を変化させうるレンズを用いてレンズシステム２３を構成し、レンズ特性例えば曲率の調整でレンズ焦点距離をインサイチューに（即ち“その場”で）変化させるやり方があり得る。そうしたレンズシステムを実現するには、本件技術分野で習熟を積まれた方々（いわゆる当業者）にとり既知であるところの流体レンズ技術等を用いればよい。その場合、ドライバ２５は、モータ等から動力を受け取ることなく、信号供給で焦点距離を変化させることができる。なお、使用できる流体レンズとしては、オランダ国アムステルダム所在のＲｏｙａｌ Ｐｈｉｌｉｐｓ ＥｌｅｃｔｒｏｎｉｃｓがＦｌｕｉｄＦｏｃｕｓ（登録商標）なる商品名で販売しているレンズや、シンガポール国所在のＰＧＳ Ｐｒｅｃｉｓｉｏｎが販売している流体レンズ商品等がある。

本実施形態における撮影用レンズシステム２３の焦点位置は、既知の様々な手法で自動指定することができる。例えば、本願出願人をその譲受人とする特許文献１０（名称：画像内被写体自動検知方法(Method Of Automatic Object Detection In An Image)，出願日：１９９６年１０月１５日，発明者：Ｏｍａｔａ ｅｔ ａｌ．，この参照を以てその内容を本願に繰り入れる）に記載されている通り、スルーザフォーカス法又はホールウェイスキャニング法と呼ばれる手法に従い、シーン画像センサ２４を用いてマルチスポットオートフォーカスを実施してもよい。狙いとする被写体が動いている場合は、本願出願人をその譲受人とする特許文献１１（名称：画像組成変化検知(Detecting Compositional Change in Image)，出願日：１９９６年１０月２６日，発明者：Ｏｍａｔａ ｅｔ ａｌ．，この参照を以てその内容を本願に繰り入れる）に記載されている通り、被写体追尾を実行するとよい。或いは、本願出願人をその譲受人とする特許文献９（名称：自動合焦装置及び方法(Automatic Focusing Apparatus and Method)，出願日：１９９８年１０月１１日，発明者：Ｏｍａｔａ ｅｔ ａｌ．，この参照を以てその内容を本願に繰り入れる）に記載されている通り、ホールウェイスキャニング法で決定した焦点値を用いて焦点位置を粗設定し、ファインフォーカスモードを用いてより細かく設定してもよい。

レンジファインダ２７は、本システム１０即ちディジタルカメラ１２から撮影用レンズシステム２３視野内シーン構成部分のうち１個又は複数個までの距離を検知する。例えば、フィート又はメートルを単位とする絶対距離（１フィート＝約０．３０ｍ）や、レンズシステム２３に設定されておりその距離にある被写体を撮影するに相応しい焦点距離を基準にした相対距離である。レンジファインダ２７は、そうした距離をレンズシステム２３を用いずに計測する。レンジファインダ２７からレンズドライバ２５へと直接に信号を供給するようにしてもよいが、本実施形態では、図１にある通りレンジファインダ２７からシグナルプロセッサ２６又はコントローラ３２に信号を送り画像撮影用の信号を発生させている。また、いわゆる当業者にとり既知の多センサ型レンジファインダのなかにも、レンジファインダ２７として好適に使用可能なものがいろいろある。例えば特許文献８（名称：焦点距離依存型自動露出調整機能付コンパクトカメラ(Compact Camera With Automatic Focal Length Dependent Exposure Adjustments)，出願日：１９９３年１１月３０日，発明者：Ｔａｂａｔａ ｅｔ ａｌ．，この参照を以てその内容を本願に繰り入れる）には、そうしたレンジファインダについての記載がある。更に、レンジファインダ２７による合焦判別は、シングルスポット式でもよいが、マルチスポット式の方が望ましい。マルチスポット式合焦判別では、シーンをグリッド沿いに複数のエリア即ちスポットに分割し、スポット毎に最適焦点距離を決定する。更に、スポットのうち１個を被写体スポットと認識し、そのスポットに合焦する焦点距離に基づきレンズシステム２３の焦点を設定する。

レンズドライバ２５とコントローラ３２、レンジファインダ２７又はその双方との間には、撮影用レンズシステム２３の焦点位置を素早く設定することができるよう、フィードバックループを形成するとよい。

また、撮影用レンズシステム２３は可調焦点型であるので可変倍率ズームも実行することができる。本実施形態の場合、図１に示した通り、シグナルプロセッサ２６、レンジファインダ２７又はコントローラ３２からレンズドライバ２５に信号を送り、撮影用レンズシステム２３内の図示しない可動素子（群）の位置、即ち図示しない固定素子（群）に対する位置を自動調整させることにより、相応のズーム倍率を提供することができる。更に、固定ズーム設定、手動可調等、レンズシステム２３には更に他の既知装置によるズーム調整機能を持たせることもできる。

シーン画像センサ２４は、シーンからの光が撮影用レンズシステム２３によって合焦されたときに、その上に形成される画像を表す画像信号を発生させる。このセンサ２４としては、電荷結合デバイス（ＣＣＤ）、相補型金属−酸化物−半導体（ＣＭＯＳ）センサ等、いわゆる当業者にとり既知の各種電子式画像センサを使用することができる。画像信号の形式はディジタルでもアナログでもよい。

シグナルプロセッサ２６は、シーン画像センサ２４から画像信号を受け取りその画像を表すディジタルデータに変換する。その画像のことをディジタル画像、データのことをディジタル画像データと呼ぶ。ディジタル画像には、静止画又はその集まりと呼ぶべきものと、複数枚の静止画の集まりではあるが見かけ上動画ストリーム例えば動画クリップを形成しているものとがある。後者の場合は、複数枚のディジタル画像をインタリーブ／インタレースし、或いはシーケンス化する等、いわゆる当業者にとり既知の方式でディジタル動画化すればよい。

シグナルプロセッサ２６は、画像信号をディジタル画像データに変換するに当たり様々な画像処理アルゴリズムを実行する。例えば、色バランシング、露出バランシング、補間、圧縮等を実行する。その画像信号がアナログなら、アナログ信号からディジタルデータへの変換も実行する。また、プロセッサ２６における画像信号処理によって、撮影用レンズシステム２３で実際に使用されているものとは異なるズーム設定で撮影されたものであるかのように、ディジタル画像を生成することもできる。これは、従来からディジタルズームと通称されている機能であり、シーン画像センサ２４から得られる画像信号から一画を切り出し、切り出した区画に補間を施してディジタル画像を生成することで実行される。こうしたディジタルズーム機能は、固定焦点、マニュアル焦点或いは更に自動可調焦点システムにあってさえ、電子制御可能な可調ズームとして利用することができる。

コントローラ３２は、画像撮影時に本システム１０の動作、例えばシーン画像撮影システム２２、ディスプレイ３０及びメモリ例えば４０のそれを制御する。コントローラ３２は、ユーザ入力システム３４、シグナルプロセッサ２６或いはオプションのセンサ３６から信号又はデータを受け取り、それらに基づきシーン画像センサ２４、プロセッサ２６、ディスプレイ３０及びメモリ４０にシーン画像の撮影、表示、保存等を実行させる。コントローラ３２としては、本システム１０の動作制御に利用できるものであれば、プログラマブルな汎用マイクロプロセッサ、専用のマイクロプロセッサ乃至マイクロコントローラといったマイクロプロセッサや、ディスクリート部品の組合せによる回路等、種々のシステムを使用することができる。

ユーザ入力システム３４は、コントローラ３２と連携し、ユーザと本システム１０の間のやりとりを司る。このシステム３４を構成するデバイス例えばトランスデューサとしては、ユーザからの入力を受け取ることができ、本システム１０を稼働させる際にコントローラ３２で使用できる形態へとその入力を変換することができるものである限り、どのようなものでも使用することができる。例えば、入力用タッチスクリーン、入力用タッチパッド、４ウェイスイッチ、６ウェイスイッチ、８ウェイスイッチ、スタイラスシステム、トラックボールシステム、ジョイスティックシステム、音声認識システム、ジェスチャ認識システム等を、システム３４の構成部材として使用することができる。また、図１に示したシステム１０はディジタルカメラ１２であるので、そのユーザ入力システム３４は、図２に示すように、本番画像(archival image)の撮影を指示する撮影信号を生成しコントローラ３２に送る撮影ボタン６０のほか、ジョイスティック６６、モードボタン６７、セレクトイットボタン６８等のボタン類から構成されている。

センサ３６は、省略も可能であるが、本システム１０周囲の諸環境条件を検知し本システム１０の管理に当たりコントローラ３２で使用できる形態で出力するセンサ、例えば本件技術分野で既知の光センサにするとよい。また、音響を捕捉する音響センサをセンサ３６の一つとして設けてもよい。音響センサとしては、従来型のセンサを用いてもよいが、音響的指向性を制御可能なもの、例えば特許文献６（名称：ズーム可調音響フォーカス付ビデオカメラマイクロホン(Video Camera Microphone with Zoom Variable Acoustic Focus)，出願日：１９８６年１０月１４日，発明者：Ｄａｎｎ ｅｔ ａｌ．）に記載の音声ズームシステムを用いてもよい。ユーザ属性を検知可能なバイオメトリックセンサをセンサ３６の一つとして設ければ、証券や医用文書の撮影に更に相応しいシステムになる。そして、本システム１０周囲の環境条件を検知できる温度センサ又は湿度センサも、センサ３６の一つとして設けうる。辺りが暗くて明かりが必要だと思われるときは、コントローラ３２からの指令でオプションの人工照明光源３７を発光させることができる。例えば、ランプ、ストロボ、フラッシュ等のシステムを発光させることができる。

コントローラ３２は、ユーザが本番画像を撮影したいと思っていること即ち撮影条件が成立していることを検知したときに、画像信号ひいてはディジタル画像データを発生させる。通常は、ユーザによる撮影ボタン６０の押下を以て撮影条件成立と判断するのであるが、撮影ボタン６０の押下から指定時間が経過したときや指定時刻が到来したときにも、撮影条件成立と判断する。また、センサ３６による指定環境条件の検知、例えば特定の光信号乃至無線周波数信号の受信を以て、コントローラ３２が撮影条件成立と判断することもある。その他、センサ３６のうち例えばユーザの生理的状態を検知するものから要注意信号を受信したことを以て、撮影条件成立と見なすこともできる。

コントローラ３２は各画像に係るメタデータも生成する。メタデータとは、ディジタル画像又はその一部分と関連があるものの、その画像中に表現する必要がないデータのことである。コントローラ３２では、必要があれば、シグナルプロセッサ２６、ユーザ入力システム３４、センサ３６等から受け取った信号に基づきメタデータを生成する。メタデータの種類としては、例えば、そのシーンの画像が撮影された日時及び場所、シーン画像センサ２４の種類、モード設定情報、積分（蓄積）時間情報、撮影用レンズシステム２３の設定情報のうちそのシーン画像の撮影及び処理に用いられた手法を特徴付けるもの、本システム１０で用いられている手法及びアルゴリズムのうちシーン画像の生成に用いられているものについての情報等がある。更に、コントローラ３２によって導出され又は本システム１０内のいずれかのメモリに保存されている種々の情報、例えば本システム１０の識別情報や、そのメタデータに対応するディジタル画像の処理例えば描画を指令する情報等を、メタデータに含めることもある。メタデータには、また、そのディジタル画像を表示させるときにその画像中にある特定のメッセージを挿入せよという指令も、含めることができる。例えば、例えばそのディジタル画像を表示させ又は描画する際に、所望のテキストメッセージを併せて表示させ又は描画させよとの指令である。メタデータには、更に、オーディオ信号やディジタル画像データも含めることができる。例えば、撮影した画像の一区画を利用し画像を生成するディジタルズームを実行する際、本発明の好適な実施形態では、撮影した画像のうちそのディジタルズーム画像中に組み込まれなかった部分に属する画像データを、そのディジタルズーム画像のメタデータに含めることができる。この他、メタデータには、本システム１０に入力され、本システム１０で検知され、或いは本システム１０又はその一部で導出される情報なら何でも、含めることができる。

撮影で得られたディジタル画像データ及びそれに付随するメタデータは、本番画像として使用できるよう、或いは本願記載の他の目的で使用できるよう、例えば圧縮形式で保存するとよい。そのディジタル画像データが例えば静止画シーケンスを表すものであるなら、ＩＳＯ １０９１８−１（ＩＴＵ−Ｔ．８１）規格であるＪＰＥＧ(Joint Photographic Experts Group)方式等の圧縮方式で圧縮して保存するとよい。ＪＰＥＧ圧縮された画像データの保存には、社団法人電子情報技術産業協会（ＪＥｌＴＡ）発行のＣＰ−３４５１に記載のＥｘｉｆ（登録商標；Exchangeable Image File）フォーマットバージョン２．２に従い、いわゆるＥｘｉｆ画像形式を用いる。同様に、動画形式のディジタル画像データの保存には、ＭＰＥＧ−４(Motion Pictures Export Group-4)、Ａｐｐｌｅ（登録商標）ＱｕｉｃｋＴｉｍｅ（登録商標）等の他種規格に係る圧縮方式を用いることができる。使用できる画像圧縮／保存形式は他にもある。

メモリ例えばメモリ４０はディジタル画像データ及びメタデータの保存先となる。メモリ４０としては従来既知のメモリデバイスを使用できる。例えば、固体、磁気、光等、どの方式によるデータ記憶／記録デバイスを用いてもよい。本システム１０内に固定配設するタイプに限らずリムーバブルなタイプも使用することができる。本システム１０の場合、図１にある通り、リムーバブルなメモリたるリムーバブルメモリカード４８を差し込めるようメモリカードスロット４６が設けられており、そのスロット４６に組み込まれているリムーバブルメモリインタフェース５０を介しそのカード４８との間でデータをやりとりすることができる。そして、ディジタル画像データやメタデータの保存先として、本システム１０外のリモートメモリシステム５２、例えばパーソナルコンピュータ、コンピュータネットワーク、他イメージングシステム等を、使用することもできる。

図１及び図２に示す実施形態では、通信モジュール５４が、本システム１０と外部装置例えばリモートメモリシステム５２との間の通信を司っている。このモジュール５４は、例えば光回路、無線周波数回路等の無線回路乃至トランスデューサである。画像その他データは、その回路乃至トランスデューサによって外部装置向けの信号、例えば光信号、無線周波数信号等の形態を有する信号に変換され、その外部装置に送信される。モジュール５４は、また、図示しないホストコンピュータ、ネットワークその他のディジタル画像取得／保存装置から、ディジタル画像データその他の情報を受信する。例えば、図示しないリモートトリガボタン等、図示しない遠隔制御装置から信号を受信する。コントローラ３２は、モジュール５４における受信信号から情報、命令等を抽出し、抽出結果に基づき本システム１０を稼働させる。

シグナルプロセッサ２６及びコントローラ３２は、単独で又は連携して確認用画像を生成する。即ち、本システム１０にて保持されているシーン画像に相応する絵面（外観）を呈する確認用画像を、画像信号乃至ディジタル画像データに基づき生成し、ディスプレイ３０の画面上に表示させる。従って、本システム１０のユーザは、本システム１０内に保存されているシーン画像と絵面が一致する画像を、ディスプレイ例えば３０の画面上で眺めることができる。その際、シーン画像撮影システム２２で撮影した画像に限らず、通信モジュール５４経由で取得されメモリ４０、リムーバブルメモリ４８等のメモリ内に保存されている画像についても、対応する確認用画像を表示させることができる。

ディスプレイ３０は、例えばカラーＬＣＤ（液晶ディスプレイ）、ＯＬＥＤ（有機発光ディスプレイ，別称ＯＥＬＤ（有機電界発光ディスプレイ））等、種々の画像表示装置で実現することができる。また、図２に示した例ではディスプレイ３０が外面に露出しているが、例えばビューファインダシステム３８内に組み込む等して内部に組み込むこともできる。更に、本システム１０にディスプレイ３０を複数個設け、そのうち何個かを外面に、他の何個かを内部に配置するようにしてもよい。

シグナルプロセッサ２６及びコントローラ３２は、その協働により、テキスト、グラフィクス、アイコンその他の画像情報を生成し、その画像をディスプレイ３０の画面上に表示させる。本システム１０のユーザは、これを利用しコントローラ３２との間でインタラクティブにやりとりすることができる。即ち、ディスプレイ３０の画面を見て情報を取得した上で、ユーザ入力システム３４を介しインタラクティブに、本システム１０に情報を与えることができる。更に、本システム１０に、図示しないセグメント化ＬＣＤ乃至ＬＥＤディスプレイ等、また別のディスプレイを設け、そのディスプレイをプロセッサ２６やコントローラ３２からユーザへの情報提示に使用することもできる。この機能は、動作モード指定・制御条件設定・ユーザ意向の確認や、本システム１０のユーザに対する警告・通知の表示等、種々の目的で使用することができる。

図１及び図２に例示したイメージングシステム１０中、オプションのオーディオシステム７０は、音響エネルギを捉えて信号に変換する入力トランスデューサたるマイクロホン７２や、その信号を受け取りマイクロホン７２への音響エネルギ入射パターンを表す電子的なオーディオ信号に変換する音声処理回路７４や、コントローラ３２からの信号に応じ音声処理回路７４から供給される信号で鳴音するスピーカ７６から構成されている。このシステム７０によれば、ユーザに対し情報、フィードバック、警告等をもたらすことができる。その種の作用がある別種の仕組み、例えば既知の回路、光源、アクチュエータ等を用い画像信号、オーディオ信号、振動信号、触感フィードバック信号その他の形態の信号を発生させる仕組みを、本システム１０に組み込むこともできる。

そして、シーン画像センサ２４に比し概して解像度が低いディスプレイ３０に確認用画像を表示させるため、シグナルプロセッサ２６は、撮影で得られ或いは保存されている画像信号乃至ディジタル画像データから、ディスプレイ３０の画面上に表示できるより低解像度の確認用画像を生成する。画像解像度を全体に低下させるには、ダウンサンプリング等の手法を用いればよい。例えば、本願出願人をその譲受人とする特許文献７（名称：様々な格納フォーマットのフル解像度画像及び低解像度画像を提供する電子スチルカメラ(Electronic Still Camera Providing Multi-Format Storage Of FuIl And Reduced Resolution Images)，出願日：１９９０年３月１５日，発明者：Ｋｕｃｈｔａ ｅｔ ａｌ．）に記載のリサンプリング法を使用するとよい。生成した確認用画像の表示は、例えばその画像データをメモリ４０等のメモリに保存させ、そのデータに基づきディスプレイドライバ２８でディスプレイ３０を駆動することで行える。また、プロセッサ２６にて、ドライバ２８を経ずディスプレイ３０に直接送信できる信号へと、生成した確認用画像を変換することによって、ドライバ２８を廃してもよい。

図４に、レンジファインダ２７を有する自動合焦型イメージングシステム１０の自動校正手順を示す。この手順では、ユーザがディジタルカメラ１２を起動したら自動校正を実行し、その後撮影指示が与えられたら本番画像を撮影する。具体的には、図示の通り、ユーザがディジタルカメラ１２に対する起動操作を行いコントローラ３２がそれを検知すると（ステップ８０）、コントローラ３２が第１視野に亘る校正画像１００を自動撮影させる（ステップ８２）。図５に校正画像１００の一例を示す。

コントローラ３２は、校正用画像１００撮影時の焦点距離即ち校正画像撮影時焦点距離（第１焦点距離）を、撮影用レンズシステム２３の焦点距離を所定の第１焦点距離にすることによって設定する。第１焦点距離は、例えばシステム２３の焦点距離可変範囲の中葉に位置する距離等とするとよいが、他の距離にすることもできる。或いは、ディジタルカメラ１２を用い撮影を行う必要が検知された時点で、そのシステム２３に設定されていた焦点距離をそのまま用いて、校正画像１００を撮影するようにしてもよい。

次いで、シグナルプロセッサ２６及びコントローラ３２が、いずれか単独で又は互いに協働して、校正画像１００を複数個の部分１０２〜１１８に区画し、そのなかから好適合焦部分（所定合焦度部分）、即ち本件技術分野でいう合焦度が好適な部分を認識する（ステップ８４）。例えば、その部分のコントラスト比、明瞭度、細部解像度、鮮鋭度、輪郭等、既知の様々な画像焦点解析指標又はその任意の組合せを調べることによって各部分１０２〜１１８の合焦度を求め、求めた合焦度を部分１０２〜１１８間で比較することによって好適合焦部分を認識する。より具体的には、画像１００を周波数領域で圧縮して保存し、保存した画像１００のなかで高周波成分を最も多く含んでいる部分即ちその合焦度が最も高い部分を認識すること等によって、その画像１００の好適合焦部分を認識、特定することができる。

校正画像１００の各部分１０２〜１１８には、通常はシーン構成要素が写っている。それらシーン構成要素に対する合焦度は高低様々である。従って、コントローラ３２やシグナルプロセッサ２６は、その合焦度が最高の部分を認識することで、好適合焦部分例えば１１６を認識することができる。但し、この手法は一例であり他の手法を用いることもできる。例えば、各部分１０２〜１１８における合焦度を好適合焦部分選択しきい値と比較していき、最初にそのしきい値を上回るに至った部分を以て好適合焦部分と認識するよう、コントローラ３２を動作させてもよい。

次いで、ディジタルカメラ１２から認識部分１１６までの距離即ち校正画像撮影時距離（第１校正画像撮影時距離）をレンジファインダ２７で計測する（ステップ８６）。この校正画像撮影時距離を計測するには例えばマルチスポット法によるレンジファインダ計測を行えばよい。この手法では、そのカメラ１２から、視野内スポット対応部分までの距離が、計測されることとなる。このレンジファインダ計測で使用するスポットは、例えば、コントローラ３２又はシグナルプロセッサ２６で校正画像１００を区画して得られる部分１０２〜１１８に、逐一対応付けておく。ただ、逐一対応させることは不可欠ではない。認識した好適合焦部分１１６のサイズ及び位置と、レンジファインダ２７で使用される視野部分乃至スポットのそれとの間に大まかな対応関係がありさえすれば、距離計測対象に指定された部分までの距離を、レンジファインダ２７で計測することができる。

また、校正画像１００の撮影から、レンジファインダ計測対象“スポット”たる視野内シーン構成部分についてのそのレンジファインダ計測までに、あまり時間をおかない方がよい。そのようにすることで、画像撮影からレンジファインダ計測までの期間にシーン構成が変化する蓋然性を、抑えることができる。但し、シーン構成が多少変化しても問題ない用途もある。

次いで、第１校正画像撮影時距離及び第１焦点距離に基づき焦点相関を画定する（ステップ８８）。焦点相関は、様々なレンジファインダ計測距離に撮影用レンズシステム２３向けの様々な焦点距離設定を関連づけるデータ、プログラム、アルゴリズム、数式、論理等で表される。図６に焦点相関を二次元ＬＵＴで表した例を示す。このＬＵＴには、対応する距離範囲から到来する光をその距離範囲に係るシーン画像センサ２４上に合焦させることができる焦点距離設定（“レンズ設定”）が、十通り登録されている。システム２３の焦点距離はその一つに設定することができる。ＬＵＴ上では、それら十通りの焦点距離設定それぞれにレンジファインダ計測距離が一通りずつ関連づけられている。従来技術に係る典型的なカメラの場合、こうした関連づけ情報がどの画像にも共通に適用されていたので、先にも述べた通り、環境条件や機構的ばらつき等による動作ばらつきをカメラ動作調整で抑えることができなかった。

これに対し、本実施形態に係るディジタルカメラ１２には、使用できる焦点相関が複数組ある。例えば、図６〜図８に示す通り、更に２個の焦点相関用ＬＵＴ上にあるそれを含め、使用できる焦点相関が三組ある。コントローラ３２は、これら３個のＬＵＴのなかから、本番画像撮影時焦点距離及び本番画像撮影時距離の組合せをもたらすどれか一組の焦点相関を選定する。即ち、校正画像撮影時焦点距離及び校正画像撮影時距離（校正画像撮影時焦点距離設定下で認識された校正画像内好適合焦部分についてのレンジファインダ計測距離）に最も似ている組合せをもたらす焦点相関を探し出す。例えば、撮影用レンズシステム２３の校正画像撮影時焦点距離が“３”、校正画像撮影時距離が０．６メートルなら、コントローラ３２は図８の焦点相関用ＬＵＴを選ぶ。

また、焦点相関を他の形式、例えば線形式、二項式、多項式等の数学的関数を含む数式で表すこともできる。コントローラ３２は、その場合も同様に、それらの数式のなかから、校正画像撮影時焦点距離及び校正画像撮影時距離に最も近い結果を与えるものを選定する。更に、各組焦点相関は、先に概括的に述べた通りプログラム、アルゴリズム、数式、論理式等といった他種構造、例えばファジー論理等の構造を採りうるほか、三次元ＬＵＴ等の形態も採りうる。

次いで、後の本番画像撮影で使用する焦点相関を指定する情報（指定子）をメモリ４０に保存する（ステップ９０）。その際、指定先焦点相関に影響する諸条件の検知結果、例えば日時情報を併せて保存しておくとよい。その情報は、後に、画定済焦点相関がまだ有効か否かを確認する際にコントローラ３２で利用することができる。更に、例えば本件技術分野での既知の湿度センサや温度センサ等、撮影用レンズシステム２３の動作に関わる諸状況を検知可能なセンサ３６がそのディジタルカメラ１２に設けられている場合は、コントローラ３２は、焦点相関画定時点における状況検知結果を焦点相関指定子として保存させることができる。また、風景モード、ポートレイトモード、クローズアップモード等、その適用対象被写体が異なる複数のシーンモードのなかからいずれかを選択できるようにそのカメラ１２が構成されている場合は、校正画像撮影時シーンモード情報を指定子と併せて保存させることもできる。

次いで、コントローラ３２は、次の動作をそのプログラム等に従い実行する。即ち、本番画像撮影意志を示す撮影条件が満たされたことを検知したとき、例えばユーザによる撮影ボタン６０の押下を検知したときに（ステップ９２）、そのディジタルカメラ１２から撮影用レンズシステム２３の視野内にある何個かのシーン構成部分までの距離を撮影するようレンジファインダ２７に指令することによって、カメラ１２から視野内シーン構成部分までの距離を複数のシーン構成部分について計測させ、それらのシーン構成部分のうち１個を画像内被写体部分として選別し、カメラ１２からその画像内被写体部分までの距離を本番画像撮影時距離として採用する（ステップ９４）。コントローラ３２は、次いで、その本番撮影時距離を画定済焦点相関に適用して本番画像撮影時焦点距離を決め、それに基づき画像撮影システム２２の焦点距離を設定して本番画像を撮影させる（ステップ９６）。更なる本番画像撮影が求められている場合はステップ９２に戻り、それ以外の場合は本手順が終了される（ステップ９８）。

図９にイメージングシステム校正手順の別例を示す。この手順は、ディジタルカメラ起動操作直後にユーザから本番画像撮影指示が発せられたときディジタルカメラ１２に撮影を行わせるための手順である。即ち、ディジタルカメラ１２を起動させる操作を行ったユーザが間をおくことなく画像撮影を指令した場合、図４〜図８に示した手順による校正が済むまでそのカメラ１２での画像撮影を待たせてしまっては、そのユーザの意に反することとなる。そのため、この手順では、ディジタルカメラ１２の起動（ステップ１２０）並びにその撮影ボタン６０の押下等撮影条件の成立（ステップ１２２）を検知したら、コントローラ３２が前掲のスルーザレンズフォーカス法を用い撮影用レンズシステム２３の焦点距離を設定し（ステップ１２４）更にその焦点距離設定下で本番画像を撮影させる（ステップ１２６）。こうした焦点距離設定方法なら、そのシステム２３で撮影される視野内被写体部分のうち少なくとも１個に焦点が合う。

レンジファインダ２７は、それとほぼ同時に本番画像撮影時距離を計測する。即ち、そのディジタルカメラ１２から、撮影用レンズシステム２３で撮影される視野内被写体部分までの距離を計測する（ステップ１２８）。これを行うに当たっては、例えば、スルーザレンズフォーカス法で被写体部分が認識されカメラ１２からそこまでの距離が計測されるまで待つ。或いは、レンジファインダ２７から視野内部分までの距離をあらゆる視野内部分について計測し、被写体部分と見なせる部分までの距離を校正画像撮影時距離として採用してから、ステップ１２８を実行してもよい。

次いで、本番画像撮影時焦点距離設定及び校正画像撮影時距離に基づき焦点相関を画定する（ステップ１３０）。この例における本番画像は前掲の校正画像を兼ねている。更に、後の将来画像撮影時に使用されるべき複数組の焦点相関をメモリ４０に保存する（ステップ１３２）。

その後、コントローラ３２は、撮影ボタン６０が再押下されたことを検知したとき等、２枚目の画像を撮影する必要を検知したときに（ステップ１３４）、レンジファインダ２７に距離を計測させる（ステップ１３６）。コントローラ３２は、その距離即ち本番画像撮影時距離と、画定済焦点相関とに基づき、更なる画像撮影の際に撮影用レンズシステム２３に設定すべき焦点距離を求める（ステップ１３８）。更に画像を撮影する場合（ステップ１４０）この手順はステップ１３４に戻る。

図１０に、画定済焦点相関の有効性を確認するための手順（ステップ９１及び９３）を図４に示した手順に付加することによって、焦点距離設定をより好適に行えるようにした別例手順を示す。この手順では、前回の焦点相関画定から現在までにカメラ動作状況に変化があったと認めうる十分な理由があるか否か、コントローラ３２が判別する（ステップ９１）。例えば、ステップ９０にて保存される指定子に焦点相関画定日時を示す日時情報が含まれている場合、コントローラ３２は、前回の焦点相関画定後長期間が経過し再校正所要となったか否かを、その日時情報を利用して判別することができる。長期間経過と判別されたら、本手順による処理はステップ８２に戻る（ステップ９３）。ステップ９０にて保存される指定子にシーンモード情報が付されていた場合も上記同様の流れになる。

また、ステップ９０にて保存される指定子に温度その他の状況情報が付されていた場合も同様の流れになる。その場合、コントローラ３２の動作は、そのディジタルカメラ１２の使用状況変化、例えば温度や湿度の変化が検知された場合に、ステップ８２に戻る。図示しないが、その後直ちに本番画像が撮影され再校正が実行されるよう、ステップ１２２に戻る流れにしてもよい。

こうした校正開始条件解析の結果校正不要と判明したときは（ステップ９３）そのまま処理が進み、選定済焦点相関に基づき更なる画像が撮影される。

そして、この図には、上掲の校正開始条件解析を含まない例でも採用することができるオプションの確認手順（ステップ９７）も示されている。この確認手順では、撮影用レンズシステム２３の視野に捉えられている被写体部分までの距離をレンジファインダ２７で計測し、その距離即ち本番画像撮影時距離を画定済焦点相関に適用することによって２レンズ焦点距離を導出し、そのレンズ設定に従いシステム２３の焦点距離を設定して画像を撮影する。コントローラ３２、シグナルプロセッサ２６又はその双方は、撮影した画像における好適合焦部分の有無を判別する。その被写体部分に好適合焦部分（所定合焦度部分）はないと判別されたら、コントローラ３２はステップ８２に戻り再校正を行う。図示しないが、コントローラ３２の動作をステップ８４に戻し、前回撮影した本番画像及びその本番画像についてこの図の手順で計測したレンジファインダ計測距離に基づき焦点相関を画定して、再校正を行うようにしてもよい。

図１１に、イメージングシステム校正手順の更なる別例を示す。この例では、レンジファインダ２７を有する自動合焦型イメージングシステム１０がまた別の手法で自動校正される。即ち、この手順では、ユーザがディジタルカメラ１２を起動させ（ステップ１５０）その直後に撮影ボタン６０を押下する等して撮影条件が充足されたときに（ステップ１５２）、ディジタルカメラ１２から視野内被写体部分までの距離をレンジファインダ２７で計測し（ステップ１５４）、所与の焦点相関に基づき焦点距離を設定することにより（ステップ１５６）、距離計測値及び所与焦点相関に基づく本番画像撮影を実行する（ステップ１５８）。この初回撮影が済んだら、焦点相関を画定して（ステップ１６０）その指定子を保存する（ステップ１６２）。２枚目以降の本番画像撮影は、その焦点相関及びレンジファインダ２７を用いて実行する（ステップ１６４〜１７０）。そして、後刻参照できるよう距離計測結果及び校正曲線のデータをメモリ４０に保存する。

図１２にイメージングシステム校正手順の更なる別例を示す。この手順では、ディジタルカメラ１２を起動し（ステップ１８０）撮影ボタン６０を押下する（ステップ１８２）ことによってユーザが即時画像撮影を指示すると、コントローラ３２が温度、湿度、撮影時刻、シーン種別等といった諸動作状況を検知させ（ステップ１８４）、その結果に基づき焦点相関を画定する（ステップ１８６）。例えば、カメラ１２の温度や周囲環境をセンサ３６に計測させ（ステップ１８４）、その計測値を含む温度域に係る一組の焦点相関を選定する（ステップ１８６）。図１３〜図１５にその焦点相関の一例を示す。この例では、焦点相関が三次元ＬＵＴ化されており、各ＬＵＴが互いに異なる温度域に関連づけられている。

コントローラ３２は、次いで、ディジタルカメラ１２から撮影用レンズシステム２３の視野内被写体部分までの距離をレンジファインダ２７に計測させ（ステップ１８８）、そのレンジファインダ計測距離即ち本番画像撮影時距離並びに画定済焦点相関に基づき焦点距離を選定し、選定した本番画像撮影時焦点距離に従い撮影用レンズシステム２３の焦点距離を設定して本番画像を撮影させる（ステップ１９０）。

この初回撮影が済んだら、スルーザレンズフォーカス法で校正画像撮影時焦点距離を導出し（ステップ１９２）、それを用いて焦点相関を画定し（ステップ１９４）、その焦点相関の指定子を保存させる（ステップ１９６）。２枚目以降の本番画像の撮影は、レンジファインダ２７で本番画像撮影時距離を計測し、画定済焦点相関に基づき本番画像撮影時焦点距離に設定した撮影用レンズシステムで画像を撮影することによって行う（ステップ１９８〜２０４）。

図１６に焦点相関画定手順の別例を示す。この手順は例えばステップ８８、１３０、１６４及び１９４のいずれでも実行可能である。具体的には、まず、既存の焦点相関のなかにレンジファインダ計測距離及び校正画像／本番画像撮影時焦点距離に該当するものがあるか否かをコントローラ３２が判別する（ステップ２１０）。コントローラ３２は、該当する焦点相関があればそれを採用して図示手順を終了する（ステップ２１２）が、該当するものがなければ校正画像を評価してその合焦度が所定程度以上の部分を少なくとも１個認識する（ステップ２１４）。コントローラ３２は、個々の認識部分までの距離、即ち校正画像撮影時焦点距離設定下で撮影用レンズシステム２３が合焦する部分までの距離を、レンジファインダ２７に計測させ（ステップ２１６）、そしてその計測結果を含む距離域を校正画像撮影時焦点距離に関連づけることで焦点相関の一部を生成する（ステップ２１８）。

撮影用レンズシステム２３に設定可能な焦点距離範囲（焦点距離可変範囲）に属する複数通りの焦点距離全てについて校正画像撮影が済むまでは（ステップ２２０）、そのレンズシステム２３の焦点距離を変更設定していき（ステップ２２２）校正画像を追加撮影させる（ステップ２２４）。ステップ２１４〜２２０は、焦点距離可変範囲に属する複数通りの焦点距離それぞれについて校正画像が撮影されその画像全てに対しステップ２１４〜２２０による処理が施されるまで、繰り返し実行される。そして、ステップ２１４〜２２０の実行を通じて形成された一群のデータに基づき焦点相関を生成及び画定し（ステップ２２６）呼出元手順に戻る。

焦点相関を生成するには、例えば個々の焦点距離に、その焦点距離設定下で計測した距離を含む距離域を、関連づけるだけでよい。或いは、各焦点距離に対応する距離域を補間法や回帰法で導出して焦点相関を生成してもよい。或いは、計測結果に基づき既存の焦点相関を調整して焦点相関を生成してもよい。

図１７に、他の実施形態に係るイメージングシステム１０のブロック構成を示す。本システム１０にはディジタルビデオ画像投映システム３００が接続されている。また、図１８に、投映システム３００により投映される画像の画質を本システム１０を用いて向上させる手順を示す。この手順を実行する際には、例えば光接続等の有線接続を介し、或いは無線接続を介し、投映システム３００を本システム１０に対し物理的にリンクさせる。

投映システム３００が接続されると、本システム１０は、投映システム３００との間でやりとりを行い、投映される画像の画質を向上させる。例えば、図１８に例示した手順を実行して投映システム３００を校正する。なお、投映システム３００は本体２０上に搭載してもよいし、別体にしておき有線接続等により本システム１０に物理接続してもよいし、同じく別体にしておき無線接続等により本システム１０に論理接続してもよい。

投映システム３００は、ディジタル画像データを受け取りその画像を適当な面、例えば壁面上に投映する（ステップ３１０）。ご理解頂ける通り、その面上に現れる画像の絵面は、元になった画像データ、投映システム３００の機能、並びに画像投映先面例えば壁面の色特性、光特性及び反射特性の相乗作用で決まる。とりわけ、画像投映先面が理想的な白色面でない場合がしばしばある。例えば、家庭内、ビジネス出張先、突発使用時等、投映スクリーンを利用できない状況で投映システム３００を使用する場合には、画像投映先面は白色ではなくその面の地色になる。その面上に彩り、陰影更には模様さえも存することがある。そうした状況下でも、画像投映先面特性の影響分を画像調整で校正可能であれば、或いは画像投映先面上に存する起伏のうち大きめのものの影響分を焦点距離調整で校正可能であれば、より高い投映画質が得られるであろう。従って、それらの要因への対処が望まれる。

それらの要因を補償するため、コントローラ３２は、投映されている画像の少なくとも一部を捉えるよう撮影用レンズシステム２３を設定し、それを用いてその画像を撮影させる（ステップ３１２）。コントローラ３２或いはシグナルプロセッサ２６は、更に、撮影で得られた画像を原画像中の対応部分と比較して差分マップを生成する（ステップ３１４）。その差分マップには原画像の絵面と撮影した投映画像の絵面との相違分が反映しており、それらが投映システム３００の機能並びに画像投映先面例えば壁面の色特性、光特性及び反射特性の関数として表されている。生成した差分マップは、システム１０又は３００による投映画像調整に備えて保存する（ステップ３１６）。即ち、投映システム３００のディジタル投映部や、画像投映先面例えば壁面の色若しくは彩り又はその面上にある種々の陰影若しくは模様について、再校正を行えるように保存する。

次いで、レンジファインダ２７による計測結果を取得する（ステップ３１８）。次いで、そのレンジファインダ計測距離を用い前掲手順で本システム１０を校正し、更にその変動分を検知する（ステップ３２０）。それにより得られるレンジファインダ計測距離変動分情報は、画像投映先面上に存しているけれどもシーン画像撮影システム２２で撮影した画像には現れにくい種々の起伏の形状、深さ又は向きを表している。シグナルプロセッサ２６、コントローラ３２又はその双方は、その変動分情報に基づき調整量を決定し、決定した調整量に基づき差分マップその他の信号を調整することで、投映システム３００により投映される画像を調整する（ステップ３２２）。また、画像調整ではなく、コントローラ３２による投映システム３００の焦点距離調整を実行してもよい。例えば、画像投映先面上の複数個所についてレンジファインダ計測距離をコントローラ３２で取得し焦点距離調整を実行するようにするとよい。更に、図１７に示したシステム１０は、投映システム３００をそのシステム１０の本体２０に恒久接続せず、両者を併用するときだけ接続する構成を採ることがある。ご理解頂ける通り、そうした構成では、ディジタルカメラ１２により提供される機能を用い投映システム３００を校正することができるので、校正機能のない投映システム３００でも校正のメリットを享受することができる。

重要なことに、本実施形態における校正は、投映システム３００の各回セットアップ時に行うことも、或いは投映される個々の画像毎に行うことも可能である。校正を画像毎に行う場合は差分マップは画像毎に新規生成され、セットアップ毎に行う場合は最初の画像についてのみ差分マップが生成され後続画像に対してはその同じ差分マップが適用される。

また、上掲のシーン画像センサ２４は複数個の画像検知要素即ち画素から構成されており、その利得が画素毎に異なっている。そのため、多チャネル型画像センサをセンサ２４として用いる場合に本システム１０で校正メリットを享受するには、その画像撮影システム２２を校正すべきである。これは、センサ２４が多チャネル型である場合、シーンから到来する光に対する画像の応答に、チャネル毎に微妙な違いが生じうるからである。例えば、画像センサ製造時に生じた僅かな狂いで電気特性のチャネル間ばらつき、例えば１％オーダという微妙な利得ばらつきが発生する。チャネル間に応答ばらつきがあると、センサ２４上のチャネル間継ぎ目部分に対応する線に沿って、その画像中に段差が発生する。更に、チャネル間ばらつきの程度は経時変化しうるし、その環境条件例えば温度及び湿度の変化でも変化しうる。

このような利得ばらつきを補償しないでおくと撮影した画像中にノイズが発生するので、補償すべきチャネル間ばらつきを補償し画質を向上させうる校正手順が必要になる。更に、経時変化や環境条件（温度や湿度）変化によるチャネル間ばらつきの変化を打ち消せる校正手順も必要になる。

撮影される画像にそうした現象が現れないようにするには、コントローラ３２による制御下に低コントラスト画像を撮影し、多チャネル型シーン画像センサ２４のチャネル又は撮像画素の利得を、その低コントラスト画像を用いて校正すればよい。その際には、まず、得られる画像が低コントラストになるようオートフォーカスシステム（２７）を極端に離焦させ、その状態で撮影した低コントラスト画像に基づき且つシグナルプロセッサ２６によって、センサ２４を形成している複数個のチャネル間に存する電気特性差が補償されるように、そのセンサ２４を形成している個々のチャネル及び画素の利得及びその変化分を補正すればよい。念のために述べると、“低コントラスト”とは、画素で表した空間周波数がチャネル間であまり違わないことである。

以上、その好適な実施形態を参照して本発明を詳細に説明したが、本発明は、その神髄及び技術的範囲を逸脱せずに種々の形態で実施することができる。この点について了解されたい。

１０ イメージングシステム、１２ ディジタルカメラ、２０ 本体、２２ シーン画像撮影システム、２３ 撮影用レンズシステム、２４ シーン画像センサ、２５ レンズドライバ、２６ シグナルプロセッサ、２７ 自動レンジファインダシステム、２８ ディスプレイドライバ、３０ ディスプレイ、３２ コントローラ、３４ ユーザ入力システム、３６ 諸センサ、３７ 自動照明光源、３８ ビューファインダシステム、４０ メモリ、４６ メモリカードスロット、４８ リムーバブルメモリ（カード）、５０ リムーバブルメモリインタフェース、５２ リモートメモリシステム、５４ 通信モジュール、６０ 撮影ボタン、６６ ジョイスティック、６７ モードボタン、６８ セレクトイットボタン、７０ オーディオシステム、７２ マイクロホン、７４ 音声処理回路、７６ スピーカ、８０，１２０，１５０，１８０ カメラ起動ステップ、８２ 校正画像撮影ステップ、８４ 好適合焦部分認識ステップ、８６，１５４ 校正画像撮影時距離計測ステップ、８８，１３０，１６０，１９４，２２６ 焦点相関画定ステップ、９０，１３２，１６２，１９６ 焦点相関指定子保存ステップ、９１，１８４ 動作状況検知ステップ、９２，１２２，１３４，１５２，１６４，１８２，１９８ 撮影条件判別ステップ、９３ 動作状況変化判別ステップ、９４，１２８，１３６，１６６，１８８，２００ 本番画像撮影時距離計測ステップ、９６，１２６，１３８，１５８，１６８，１９０，２０２ 本番画像撮影ステップ、９７ 合焦確認ステップ、９８，１４０，１７０，２０４ 撮影継続要否判別ステップ、１００ 校正画像、１０２〜１１８ 校正画像の一部分、１２４，１５６ 本番画像撮影時焦点距離設定ステップ、１８６ 焦点相関情報初期確定ステップ、１９２ 校正画像撮影時焦点距離設定ステップ、２１０ 計測結果該否判別ステップ、２１２ 該当焦点相関情報選定ステップ、２１４ 校正画像評価ステップ、２１６ 部分別距離計測ステップ、２１８ 距離域対焦点距離関連づけステップ、２２０ 焦点位置移動判別ステップ、２２２ 校正画像撮影前レンズシステム駆動ステップ、２２４ 校正画像追加撮影ステップ、３００ ディジタルビデオ画像投映システム、３１０ 画像投映ステップ、３１２ 投映画像撮影ステップ、３１４ 差分マップ算出ステップ、３１６ 差分マップ保存ステップ、３１７ 差分マップ利用投映画像調整ステップ、３１８ レンジファインダ計測ステップ、３２０ レンジファインダ計測距離ばらつき検知ステップ、３２２ 画像調整量決定ステップ。

Claims (2)

1. イメージングシステムの実装先となる本体と、その合焦距離を複数通りに変更設定しうる撮影用レンズシステムを用い画像を撮影するシーン画像撮影システムと、イメージングシステムと撮影用レンズシステム視野内シーン構成部分との距離をシーン画像撮影システムを使用せずに計測するレンジファインダと、を備えるイメージングシステムを校正する方法であって、
   所定の第１合焦距離設定下の撮影用レンズシステムを用い第１視野に亘る第１校正画像を自動撮影するステップと、
   撮影して得られた前記第１校正画像を複数個の部分に区画し、複数個の部分から所定の好適合焦度を有する前記第１校正画像内の部分を認識するステップと、
   イメージングシステムから認識された部分までの距離即ち第１校正画像撮影時距離を前記レンジファインダで計測するステップと、
   複数通りの合焦距離と各合焦距離と対応したレンジファインダ計測距離との対応関係即ち焦点相関構造を、前記第１合焦距離及び第１校正画像撮影時距離に基づいて、複数の焦点相関構造の中から選定するステップと、
   シーンの本番画像をシーン画像撮影システムで撮影すべきであることを検知したとき、イメージングシステムから撮影用レンズシステム視野内シーン構成部分までの距離即ち本番画像撮影時距離をレンジファインダで計測し、計測した本番画像撮影時距離及び選定した焦点相関構造を用いて本番画像撮影時合焦距離を決定して撮影用レンズシステムの合焦距離を設定するステップと、
   を有する方法。
2. シーン画像撮影システム及びレンジファインダの実装先となる本体と、
   その合焦距離を複数通りに変更設定しうる撮影用レンズシステムを用い画像を撮影するシーン画像撮影システムと、
   撮影用レンズシステム視野内シーン構成部分までの距離を計測するレンジファインダと、
   コントローラと、
   を備え、そのコントローラが、
   所定の第１合焦距離設定下の撮影用レンズシステムを用い第１校正画像を自動撮影し、
   撮影して得られた前記第１校正画像を複数個の部分に区画し、複数個の部分から所定の好適合焦度部分を有する前記第１校正画像内の部分を認識し、
   イメージングシステムから認識された部分までの距離即ち第１校正画像撮影時距離を上記レンジファインダで計測し、
   複数通りの合焦距離と各合焦距離に対応したレンジファインダ計測距離との対応関係即ち焦点相関構造を、前記第１合焦距離及び第１校正画像撮影時距離に基づいて、複数の焦点相関構造の中から選定し、
   更に、
   シーンの本番画像をシーン画像撮影システムで撮影すべきであることを検知したときに、本イメージングシステムから撮影用レンズシステム視野内シーン構成部分までの距離即ち本番画像撮影時距離をレンジファインダで計測し、計測した本番画像撮影時距離及び選定した焦点相関構造を用いて本番画像撮影時合焦距離を決定して撮影用レンズシステムの合焦距離を設定するイメージングシステム。

Images