JP5166418B2

JP5166418B2 - 画像取込装置のための予測焦点値計算

Info

Publication number: JP5166418B2
Application number: JP2009529331A
Authority: JP
Inventors: リ、ジンキアン; フング、スゼポ・ロバート; ノイェス、イング・シェ; チウ、チンチュアン・アンドリュー
Original assignee: Qualcomm Inc
Current assignee: Qualcomm Inc
Priority date: 2006-09-20
Filing date: 2007-09-18
Publication date: 2013-03-21
Anticipated expiration: 2027-09-18
Also published as: JP5571141B2; WO2008036623A1; JP2013047807A; KR101068059B1; US7835637B2; CN101518053B; CN101518053A; US20080069553A1; KR20090057443A; EP2064876B1; EP2064876A1; JP2010504558A

Description

本開示は、画像取込装置で画像を取込むことに関し、さらに具体的には、画像に対する焦点値を計算することに関する。

デジタル・ビデオ・カメラ又はデジタル・スチル・カメラのような画像取込装置は、種々の用途及び環境で使用される。画像取込装置は、シーンのターゲットに対して様々な距離から高品質画像を生成できなければならない。典型的な画像取込装置は、シーンの画像フレームに対する鋭い焦点（sharp focus）を達成する画像取込装置内のレンズの位置を選択するためにオートフォーカス処理を行なう。画像取込装置は、アクテイブ・オートフォーカス処理（active auto-focus process）、パッシブ・オートフォーカス処理（passive auto-focus process）又は2つの処理の組合せを行なってもよい。

スルーザレンズ(TTL)パッシブ・オートフォーカス処理の場合には、画像取込装置に含まれたオートフォーカス処理は、いくつかのサンプリングされたレンズ位置における焦点値、すなわち、焦点の程度を表わすスコアを計算し、そして、その焦点値に基づいて、シーンに対するレンズの位置を選択する。サンプリングされたレンズ位置のそれぞれにレンズを移動させることは、シーンに対する焦点値を計算することとは独立である、つまり、非同期的である。言いかえれば、オートフォーカス処理は、各フレームの間にシーンに対する焦点値を計算するが、レンズ移動の後のレンズ位置に対して焦点値のうちのどれが有効であるかを知らなければならない。

画像取込装置に含まれたセンサ・アレイは、各フレームの間にシーンに対する画像情報を取得してもよく、そして、オートフォーカス処理は、各フレームからシーンに対する焦点値を計算する。しかし、レンズ位置におけるシーンに対する有効な焦点値を得るために、オートフォーカス処理は、レンズ位置でのレンズ定着（lens settlement）の後にシーンに対する画像情報の統合（integration）を始めた有効なフレームを待たなければならない。オートフォーカス処理は、レンズが定着（settled）する前に画像情報の統合を始めた損なわれたフレーム（corrupted frames）の間に、シーンに対して計算された焦点値を廃棄してもよい。

センサ・アレイのタイプ、例えば、電荷結合素子(CCD)又は相補性金属酸化膜半導体(CMOS)に応じて、第１の有効なフレームは、レンズ定着の後の2つあるいは3つのフレームであってもよい。従って、オートフォーカス処理は、サンプリングされたレンズ位置のそれぞれに対する有効な焦点値を計算するために数個のフレームを待たなければならないことがありうる。オートフォーカス処理は、現在のレンズ位置に対する有効な焦点値（valid focus value）を計算した後にだけ、次のレンズ位置へのレンズのための移動のサイズ及び方向を決定してもよい。

一般的に、本開示は、画像取込装置内における予測焦点値計算のための技法に関する。画像取込装置は、デジタル・スチル・カメラ及びデジタル・ビデオ・カメラを含んでいてもよい。これらの技法は、レンズ位置に対する不正な焦点値（corrupt focus value）に基づいて、１つのレンズ位置のシーンに対する有効な焦点値を予測することを含む。不正な焦点値は、レンズ定着の直後に第１のフレームから計算される。従って、予測オートフォーカス処理は、予測された有効な焦点値に基づいて、次のレンズ位置へのレンズの移動サイズ及び方向を決定し、そして、第２のフレームの間に次のレンズ位置にレンズを移動させてもよい。このようにして、これらの技法は、各フレームの間にレンズを他のレンズ位置に移動させて、従来のオートフォーカス処理の速度を潜在的に２倍又は３倍にすることによってオートフォーカス待ち時間（auto-focus latency）を大幅に短縮できる。

ここに記述される技法によれば、画像取込装置は、各フレームの間に異なるレンズ位置にレンズを移動させる画像取込コントローラと、各フレームの間のレンズの異なる移動ステージにおけるシーンのための画像情報を得るセンサ・アレイを含む。第１のフレーム全体からの画像情報の読み出しの後、画像取込装置に含まれた予測オートフォーカス・モジュールは、第１のレンズ位置でのレンズ定着の長後に、第１のフレームから第１のレンズ位置のシーンに対する不正な焦点値を計算する。予測オートフォーカス・モジュールは、第１のレンズ位置に対する不正な焦点値に基づいて、第１のレンズ位置のシーンに対する有効な焦点値を予測する。次いで、予測オートフォーカス・モジュールは、予測されたレンズ位置に基づいて第２のレンズ位置を決定する。画像取込コントローラは、第２のフレームの間に、レンズを決定された第2のレンズ位置に移動させる。

シーンに対する最大予測焦点値を決定すると、予測オートフォーカス・モジュールは、シーンに対する最大予測焦点値に関連したレンズ位置を選択する。画像取込コントローラは、シーンのために選択されたレンズ位置を設定する、そして、センサ・アレイは、シーンの画像フレームのための鋭い焦点を達成するために、選択されたレンズ位置を用いてシーンの画像フレームを取込む。

1つの実施の形態では、本開示は、第１のフレームの間に、画像取込装置に含まれたレンズを１つのレンズ位置へ移動させることと、レンズ定着の後に第１のフレームから前記レンズ位置のシーンに対する不正な焦点値（corrupt focus value）を計算することを含む方法を提供する。この方法は、不正な焦点値に基づいてレンズ位置のシーンに対する有効な焦点値を予測することをさらに含む。

他の実施の形態では、本開示は、第１のレンズ位置でのレンズ定着の後に第１のフレームから計算された第１のレンズ位置に対する不正な焦点値（corrupt focus value）に基づいて、画像取込装置に含まれたレンズの第１のレンズ位置のシーンに対する有効な焦点値を予測することを含む方法を提供する。この方法はまた、第１のレンズ位置に対する不正な焦点値を計算した直後に、第２のフレームの間に他のレンズ位置にレンズを移動させることを含む。

他の実施の形態では、本開示は、プログラム可能なプロセッサに第１のフレームの間に、画像取込装置に含まれたレンズを１つのレンズ位置へ移動させ、レンズ定着の後にレンズ位置のシーンに対する不正な焦点値を第１のフレームから計算させ、そして、不正な焦点値に基づいてレンズ位置のシーンに対する有効な焦点値を予測させる命令を備えるコンピュータ読取り可能媒体を提供する。

他の実施の形態では、本開示は、第１のフレームの間に、装置に含まれたレンズをレンズ位置へ移動させる画像取込コントローラを含む装置を提供する。この装置はまた、レンズ定着の後にレンズ位置のシーンに対する不正な焦点値を第１のフレームから計算し、そして、不正な焦点値に基づいてレンズ位置のシーンに対する有効な焦点値を予測する予測オートフォーカス・モジュールを含む。

他の実施の形態では、本開示は、第１のレンズ位置でのレンズ定着の後に第１のフレームから計算された第１のレンズ位置に対する不正な焦点値に基づいて、画像取込装置に含まれたレンズの最初のレンズ位置におけるシーンに対する有効な焦点値を予測する予測オートフォーカス・モジュールを含む装置を提供する。この装置は、第１のレンズ位置に対する不正な焦点値を計算した直後に他のフレームの間にレンズを第２のレンズ位置に移動させる画像取込コントローラをさらに含む。

他の実施の形態では、本開示は、第１のフレームの間に、装置に含まれたレンズを第１のレンズ位置へ移動させる手段と、第１のレンズ位置でのレンズ定着の後に第１のレンズ位置のシーンに対する不正な焦点値を第１のフレームから計算するする手段を備える装置を提供し、そして、不正な焦点値に基づいて第１のレンズ位置のシーンに対する有効な焦点値を予測する。レンズを移動させる手段は、第１のレンズ位置に対する不正な焦点値の計算の直後に第２のフレームの間に第２のレンズ位置にレンズを移動させる。

ここに記述される技法は、ハードウェア、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード又はそれらの任意の組合せで実行されうる。ソフトウェアで実行される場合には、それらの技法は、プロセッサによって実行された時、ここに記述された方法の１つ又は複数を実行する命令を備えるコンピュータ読取り可能媒体によって全体として又は部分的に実現されてもよい。

１つ又は複数の実施の形態の詳細は、添付の図面及び下記の記述で開示される。他の特徴、目的及び利点は、記述と図面から、及び請求項から明白になるであろう。

シーンからの画像情報を取込むための例示の画像取込装置を示すブロック図である。従来のオートフォーカス処理内の画像情報の例示的な統合及び読み出しを示すプロットである。図1からの画像取込装置の内の予測オートフォーカス・モジュールをより詳細に示すブロック図である。予測オートフォーカス処理内の画像情報の例示的な統合及び読み出しを示すプロットである。異なるオートフォーカス処理によって計算された所与のレンズ位置のシーンに対する焦点値の例示の比較を示すプロットである。異なるオートフォーカス処理によって計算された複数のレンズ位置におけるシーンに対する焦点値の例示の比較を例証するプロットである。画像取込装置内における予測オートフォーカス処理のための予測焦点値計算の例示的な動作を示す流れ図である。画像取込装置内における予測オートフォーカス処理のための予測焦点値計算の例示的な動作をより詳細に示す流れ図である。予測オートフォーカス処理内における画像情報の他の例示的な統合及び読み出しを示すプロットである。

詳細な説明

図1は、シーンからの画像情報を取込むための例示的な画像取込装置10を示すブロック図である。この開示に記述された技法によれば、画像取込装置10は、画像取込装置10内で行なわれる予測オートフォーカス処理のための予測焦点値計算を行なう。焦点値は、焦点の程度に相当するスコアを含む。画像取込装置10は、レンズ定着（lens settlement）の直後に第１のフレームから計算されたレンズ位置に対する不正な焦点値（corrupt focus value）に基づいて、画像取込装置10に含まれたレンズのレンズ位置のシーンに対する焦点値を予測する。従って、予測オートフォーカス処理は、予測された有効な焦点値に基づいて、次のレンズ位置へのレンズの移動のサイズ及び方向を決定し、そして、第２のフレームの間に次のレンズ位置にレンズを移動させてもよい。このようにして、この技法は、各フレームの間に他のレンズ位置にレンズを移動させてもよい。

図1に示されるように、画像取込装置10はセンサ・アレイ12、画像取込コントローラ14、画像プロセッサ16、予測オートフォーカス・モジュール18、画像保管装置20及び焦点値記憶装置22を含んでいる。図1に示された画像取込装置10に含まれるコンポーネントは、ハードウェア及び／又はソフトウェアの任意の適切な組合せによって実現されてもよい。図示された実施の形態では、コンポーネントは個別のユニットとして図示されている。しかし、他の実施の形態では、コンポーネントのうちのどれでも共通のハードウェア及び／又はソフトウェア内で結合したユニットに集積されてもよい。従って、コンポーネント又はモジュールとしての特徴の表示は、特定の機能的な特徴を強調するように意図されており、個別のハードウェアあるいはソフトウェアによるそのような特徴の実現を必ずしも必要としない。

画像取込装置10は、デジタル・ビデオ・カメラ、デジタル・スチル・カメラあるいは両者の組合せのようなデジタル・カメラであってもよい。さらに、画像取込装置10は、スタンド・アロンのカメラのようなスタンド・アロンの装置であっても、あるいは無線通信装置のような他の装置に統合されてもよい。１つの実例として、画像取込装置10は、いわゆるカメラ電話あるいはビデオ電話を形成するために、携帯電話に統合されてもよい。画像取込装置10は、好ましくは、カラー画像、白黒画像あるいは両方を取込むために装備をされる。この開示において、用語「イメージ」、「画像」、「画像情報」あるいは類似の用語は、互換的にビデオあるいは静止画のいずれかを指してもよい。同様に、用語「フレーム」は、画像取込装置10によって得られたビデオフレームあるいは静止画フレームのいずれかを指してもよい。

センサ・アレイ12はシーンの画像フレームを取込む前にそのシーンに対する画像情報を得る。センサ・アレイ12は、例えば行及び列で配列された個々のイメージ・センサの二次元配列を含んでいる。センサ・アレイ12は、例えば、相補性金属酸化膜半導体(CMOS)センサ又は電荷結合素子(CCD)センサのような固体センサのアレイを含んてもよい。センサ・アレイ12内のイメージ・センサは、シーンに対する画像情報を得るため及びシーンの画像フレームを取込むためにシーンに露出される。センサ・アレイ12中の固体センサは、１つのフレームの画像情報のすべてを瞬時に取込むわけではない。代わりに、そのフレームの画像情報を得るために、センサは、シーンに連続的に露出される。画像取込装置10は、センサ・アレイ12に対する統合時間（integration time）を設定して、所与のフレームの画像情報を得るためにセンサ・アレイ12が露出される時間の量を制限する。

センサ・アレイ12は、画像保管装置20に記憶のための画像プロセッサ16に１つ又は複数のフレームの画像情報を提供する。センサ・アレイ12はまた、画像取込コントローラ14に画像情報を提供する。画像取込コントローラ14は、オートフォーカス及び自動露出のような予備ビジュアル・フォロント・エンド(VFE)処理のための画像情報を利用する。例えば、画像取込コントローラ14は、センサ・アレイ12からの画像情報に基づいてオートフォーカス処理を始める。画像取込装置10内でオートフォーカス処理は、いくつかのサンプリングされたレンズ位置における焦点値を計算し、、そして、その焦点値に基づいてシーンに対するレンズの位置を選択する。選択されたレンズ位置は、シーンに対する最大の焦点値に関連されてもよい。

画像取込装置内における従来のオートフォーカス処理は、各フレーム間にシーンに対する焦点値を計算するが、レンズ移動の後におけるレンズ位置に対してどの焦点値が有効かを知らなければならない。そのレンズ位置におけるシーンに対する有効な焦点値を得るために、従来のオートフォーカス処理は、レンズ位置におけるレンズ定着（lens settlement）の後にシーンのための画像情報の統合（integration of image information）を始めた有効なフレームを待たなければならない。前のレンズ位置から現在のレンズ位置にレンズを移動させることは、モータ設計に依存する時間がかかる。レンズ定着が生ずると、レンズは、現在のレンズ位置に到着し、移動を停止する。ある場合には、最初の有効なフレームは、レンズ定着の後に2つあるいは3つのフレームであってもよい。従来のオートフォーカス処理は、現在のレンズ位置に対する有効な焦点値を計算した後にだけ、次のレンズ位置へのレンズのための移動のサイズ及び方向を決定してもよい。

このようにして、従来のオートフォーカス処理は、レンズ位置をシーンの鮮明な画像フレームを達成するためのシーンに対する最大の焦点値で識別するために受容できない長い時間を要する可能性がある。例えば、従来のオートフォーカス処理がシーンに対するレンズ位置のうちの1つを選択する前に、10の異なるレンズ位置にレンズを移動させる場合には、従来のオートフォーカス処理は、レンズ位置に対する有効な焦点値を計算するために、レンズ位置のそれぞれで3つのフレームを待たなければならない。従って、従来のオートフォーカス処理は、シーンに対する正確なレンズ位置を選択するために30のフレームあるいはおよそ2秒を必要とする。

ここに開示される技法は、レンズ位置に対する有効な（第３又は第４の）フレームまで待つことなしに、第２のフレームの間、画像取込装置１０がレンズ定着の直後に、第１のからレンズ位置に対する有効な焦点値を予測できるようにする。画像取込装置10は、レンズ位置に対する不正な焦点値に基づいてレンズ位置のシーンに対する焦点値を予測することによって、予測オートフォーカス処理を行なう。焦点値は、レンズ位置でのレンズ定着の後であるが、そのレンズ位置でのレンズ定着の後におけるシーンに対する画像情報の統合を開始する有効なフレームの前に計算された場合に、レンズ位置に対して汚れていると認定されてもよい。不正な焦点値は、レンズ定着の直後に第１のフレームから計算されてもよい。従って、予測オートフォーカス処理は、予測された有効な焦点値に基づいて、次のレンズ位置へのレンズの移動のサイズ及び方向を決定し、第２のフレームの間に次のレンズ位置にレンズを移動させてもよい。このようにして、この技法は、各フレームの間に他のレンズ位置を動かし、潜在的に従来のオートフォーカス処理の速度の２倍又は３倍にすることによって、オートフォーカス待ち時間（auto-focus latency）を大きく短縮できる。

画像取込コントローラ14は、各フレームの間に画像取込装置10に含まれたレンズを異なるレンズ位置へ移動させる。センサ・アレイ12は、各フレームの間にレンズの異なる移動ステージでシーンのための画像情報を得る。第１のフレーム全体に対する画像情報の読み出しの後に、予測オートフォーカス・モジュール18は、第１のレンズ位置でのレンズ定着の直後に、第１のフレームから第１のレンズ位置のシーンに対する不正な焦点値を計算する。

予測オートフォーカス・モジュール18は、第１のレンズ位置に対する不正な焦点値に基づいて第１のレンズ位置のシーンに対する有効な焦点値を予測する。予測オートフォーカス・モジュール18は、前のレンズ位置に対する有効な焦点値と共に、焦点値記憶装置22に第１のレンズ位置に対する予測された有効な焦点値を格納する。予測オートフォーカス・モジュール18は、第１のレンズ位置に対する予測された焦点値に基づいて第２のレンズ位置を決定してもよい。画像取込コントローラ14は第2のフレームの間に、決定された第2のレンズ位置にレンズを移動させる。

シーンに対する最大予測焦点値を決定すると、予測オートフォーカス・モジュール18は、シーンに対する最大予測焦点値に関連したレンズ位置を選択する。画像取込コントローラ14は、シーンのために選択されたレンズ位置をセ設定し、そして、センサ・アレイ12は、シーンの画像フレームに対するシャープな焦点を達成する選択されたレンズ位置を使用して、シーンの画像フレームを取込む。

このようにして、予測オートフォーカス処理は、レンズ位置をシーンのシャープな画像フレームを達成するシーンに対する最大焦点値でレンズ位置を識別するために比較的短い時間を要してもよい。例えば、予測オートフォーカス処理がシーンに対するレンズ位置のうちの1つを選択する前に10の異なるレンズ位置にレンズを移動させる場合には、予測オートフォーカス処理は、レンズに対する有効な焦点値を予測するためにレンズ位置のそれぞれにおいてたった1つのフレームを待たなければならない。従って、従来のオートフォーカス処理は、シーンに対する正確なレンズ位置を選択するために、10のフレーム又は約0.7秒だけを要求する。

予測オートフォーカス・モジュール18は、独立したハードウェア・コンポーネントとして、又はマイクロプロセッサー、DSP、等のような論理デバイスのプログラム可能な特徴として実施されてもよい。いくつかの実施の形態では、予測オートフォーカス・モジュール18は、画像プロセッサ16を実施する論理デバイスのプログラム可能な又は統合された特徴であってもよい。特に、予測オートフォーカス・モジュール18は、そのような論理デバイスによって実行される１つ又は複数のソフトウェア処理として実施されてもよい。

画像プロセッサ16は、センサ・アレイ12から取込まれた画像フレームを受け取り、そして、画像フレームに対して任意の必要な処理を行なう。画像プロセッサ16は、例えば、センサ・アレイ12によって取込まれた画像フレームのフィルタリング（filtering）、クロッピング（cropping）、デモザイキング（demosaicing）、圧縮、画像増強（image enhancement）、又は他の処理を行なってもよい。画像プロセッサ16は、マイクロプロセッサ、デジタル信号プロセサ(DSP)、用途指定集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)あるいは他のデイスクリート又は集積論理回路によって利用されてもよい。いくつかの実施の形態では、画像プロセッサ16は、MPEG-2、MPEG-4、ITU H.263、ITU H.264、JPEG、等のような特定の符号化技法又はフォーマットに従って画像フォーマットを符号化する符号器・復号器(CODEC)の一部を形成してもよい。

画像プロセッサ16は、画像保管装置20に画像フレームを格納する。画像プロセッサ16は、生の画像フレーム、処理された画像フレームあるいは符号化された画像フレームを画像保管装置20に格納してもよい。画像（imagery）にオーディオ情報が伴う場合には、オーディオはまた、独立してあるいは画像フレームと共に画像保管装置20に格納されてもよい。画像保管装置20は、読み出し専用メモリ(ROM)、電気的消去可能プログラム可能読取り専用メモリ(EEPROM)あるいはフラッシュ・メモリのような、あるいは磁気データ記憶装置又は光学データ記憶装置のような任意の揮発性又は不揮発性メモリ又は記憶装置を備えてもよい。

図2は、従来のオートフォーカス処理内における画像情報の例示的な統合及び読み出しを例証するプロットである。この実例では、画像取込装置内のセンサ・アレイは、センサ・アレイ内のセンサを連続してシーンに露出するロール・シャッタ（rolling shutter）を備えたCMOSセンサのアレイに一致する。例証されたプロットは、シーンの各フレームに対するセンサ・アレイの各ラインからの画像情報の統合及び読み出し時間を含んでいる。図2はまた、統合及び読み出しプロットに関連したフレームレートを例証する。

画像取込装置に含まれた従来のオートフォーカス処理は、いくつかのサンプリングされたレンズ位置における焦点値を計算し、また、その焦点値に基づいてシーンに対するレンズの位置を選択する。図2に示されるように、シーンの各フレームの始めに、センサ・アレイは、そのシーンに対する画像情報の統合を始める。センサ・アレイ内のCMOSセンサは、各フレームに対する画像情報を得るために、ロール・シャッタによってシーンに連続して露出される。ロール・シャッタは、センサ・アレイの各ラインに異なる時間に統合を開始させかつ終了させる。さらに、ロール・シャッタは、センサ・アレイに最後のラインを有する現在のフレームから及び最初のラインを有する次のフレームからの画像情報の統合を同時に始めさせる。このようにして、センサ・アレイは、絶えずシーンに対する画像情報を統合している。

従来のオートフォーカス処理は、全フレームに対する画像情報の読み出しと同時に各フレームの間にシーンに対する焦点値を計算する。しかし、画像取込装置の内のレンズを異なるレンズ位置に移動させることは、受信画像情報に基づいてシーンに対する焦点値を計算することとは独立である。従来のオートフォーカス処理は、レンズ移動後のレンズ位置に対して焦点値のうちどれが有効か知らなければならない。あるレンズ位置におけるシーンに対する有効な焦点値を得るために、従来のオートフォーカス処理は、そのレンズ位置でレンズ定着の後にシーンに対する画像情報の統合を始めた有効なフレームを待たなければならない。

例えば、図2に示されるように、シーンの第1のフレーム24の始めに、センサ・アレイは、センサ・アレイの各ラインで第1のフレーム24からのシーンに対する画像情報の統合を始める。第1のフレーム24の間に、従来のオートフォーカス処理は、最初のレンズ位置におけるシーンに対する有効な焦点値、FV0、を計算し、そして、レンズを初期レンズ位置から第１のレンズ位置に移動させる。レンズが現在のレンズ位置に到着し、移動を停止すると、レンズ定着が生じる。しかし、レンズを移動させるには時間がかり、第2のフレーム25のスタートの後まで、レンズは画像取込装置内の第１のレンズ位置に定着（settle）しない。従って、センサ・アレイは、レンズが第１のレンズ位置に定着する時までには第2のフレーム25からのシーンに対する画像情報の統合を既に開始している。

従来のオートフォーカス処理は、第2のフレーム25の間に第１のレンズ位置におけるレンズ定着の後に、第1のフレーム24からの画像情報に基づいて第１のレンズ位置におけるシーンに対する不正な焦点値を計算する。この焦点値は第１のレンズ位置でのレンズ定着の後であるが第１のレンズ位置におけるレンズ定着の後にシーンに対する画像情報の統合を始める有効なフレームの前に計算されるので、この焦点値は、第１のレンズ位置におては汚れていると考えられてもよい。さらに、従来のオートフォーカス処理は、第3のフレーム26の間に第2のフレーム25からの画像情報に基づいて第１のレンズ位置のシーンに対する他の不正な焦点値を計算する。従来のオートフォーカス処理は、レンズが定着した以前に画像情報の統合を始めたフレームの間にシーンに対して計算された不正な焦点値を廃棄してもよい。

図2に示されるように、従来のオートフォーカス処理は、第１のレンズ位置のシーンに対する有効な焦点値を計算するために第3のフレーム26まで待たなければならない。第３のフレーム26の始めに、センサ・アレイは、レンズが第１のレンズ位置に定着した後における第3のフレーム26からのシーンに対する画像情報の統合を始める。従って、従来のオートフォーカス処理は、第４のフレーム27の間における第3のフレーム26全体からの画像情報の読み出しの後に第１のレンズ位置におけるシーンに対する有効な焦点値、FV₁、を計算する。従来のオートフォーカス処理は、第4のフレーム27の間に第１のレンズ位置に対する有効な焦点値を計算した後にだけ、第２のレンズ位置へのレンズの移動のサイズ及び移動方向を決定してもよい。このようにして、従来のオートフォーカス処理は、レンズ位置をシーンの鮮明な画像フレームを達成するためのシーンに対する最大の焦点値でレンズ位置を識別するために容認できないほど長い時間がかかることになりうる。

図3は、図1からの画像取込装置10内の予測オートフォーカス・モジュール18をさらに詳細に例証するブロック図である。図3に例証されるように、予測オートフォーカス・モジュール18は、焦点値計算モジュール32、オートフォーカス・コントローラ34及びレンズ移動モジュール30を含んでいる。画像取込装置10内の予測オートフォーカス・モジュール18は、いくつかのサンプリングされたレンズ位置で焦点値を計算し、その焦点値に基づいてシーンに対するレンズの位置を選択する。選択されたレンズ位置は、シーンに対する最大焦点値に関連されうる。

予測オートフォーカス・モジュール18は、画像取込コントローラ10に含まれたレンズの異なる移動ステージにおいて画像取込コントローラ14から１つのシーンの各フレームに対する画像情報を受け取る。予測オートフォーカス・モジュール18は、次いで、画像情報に基づいた複数のレンズ位置におけるシーンに対して計算された予測焦点値に基づいて、レンズ移動情報又はシーンに対する選択されたレンズ位置のどちらかを画像取込コントローラに出力する。

図4は、予測オートフォーカス処理内の画像情報の例示的な統合及び読み出しを例証するプロットである。この実施の形態では、画像取込装置10内のセンサ・アレイ12は、ロール・シャッタを備えた多くのCMOSセンサに一致する。例証されたプロットは、シーンの各フレームに対するセンサ・アレイ12の各ラインからの画像情報の統合及び読み出し時間を含んでいる。図4に示されるように、センサ・アレイ12は、シーンの各フレームの始めに、シーンのための画像情報の統合を始める。センサ・アレイ12内のCMOSセンサは、各フレームのために画像情報を得るために、ロール・シャッタによってシーンに連続して露出される。ロール・シャッタは、センサ・アレイ12の各ラインに統合を異なる時間において開始させかつ終了させる。さらに、ロール・シャッタは、センサ・アレイ12に最後のラインを有する現在のフレームから及び最初のラインを有する次のフレームからの画像情報の統合を同時に始めさせる。このようにして、センサ・アレイ12は、絶えずシーンのための画像情報を統合している。

センサ・アレイ12は、第1のフレーム40の始めにおける１つのシーンに対する画像情報の統合を始める。第1のフレーム40の間に、予測オートフォーカス・モジュール18は、最初のレンズ位置に対する不正な焦点値、FV0'、に基づいての最初のレンズ位置におけるシーンに対する有効な焦点値、FV0、を予測する。予測オートフォーカス・モジュール18、次いで、最初のレンズ位置に対する予測された有効な焦点値を、先のレンズ位置に対する有効な焦点値と共に、焦点値記憶装置22に格納してもよい。画像取込コントローラ14は、次いで、最初のレンズ位置から第１のレンズ位置にレンズを移動させる。レンズが現在のレンズ位置に到着して移動を停止すると、レンズ定着が生じる。レンズを移動させることは時間がかかり、レンズは、第2のフレーム42のスタートの後までレンズは画像取込装置内の第１のレンズ位置に定着しないb。

センサ・アレイ12は、第1のフレーム40の間にレンズの異なる移動ステージでシーンに対する画像情報を統合し続ける。画像取込コントローラ14は、次いで、第2のフレーム42の間に第1のフレーム40全体に対するセンサ・アレイ12の各ラインからの画像情報の読み出しを完了する。画像取込コントローラ14は、予測オートフォーカス・モジュール18に第1のフレーム40全体に対する画像情報を送る。

予測オートフォーカス・モジュール18は、画像情報を焦点値計算モジュール32に転送する。焦点値計算モジュール32は、第2のフレーム42の間に第１のレンズ位置におけるレンス定着の直後に第１のスレームからの画像情報に基づいて第１のレンズ位置におけるシーンに対する不正な焦点値、FV1'、を計算する。焦点値が第１のレンズ位置でのレンズ定着の後であるが、第１のレンズ位置でのレンズ定着の後においてシーンに対する画像情報の統合を始める有効なフレームの前に計算されるので、焦点値、FV₁'、は、第１のレンズ位置に対して不正である（corrupt）と考えられてもよい。

焦点値計算モジュール32は、不正な焦点値を、FV₁'、をオートフォーカス・コントローラ34に送る。オートフォーカス・コントローラ34内の係数測定モジュール38は、第1のフレーム40の間に第1のフレーム40の基準ライン48におけるセンサ・アレイ12による統合時間をレンズの異なる移動ステージに分割する。例えば、基準ライン48は、センサ・アレイ12内のセンサのセンターラインを含んでもよい。統合時間（integration time）は、レンズ移動ステージ50の前と、レンズ移動ステージ52の間と、そしてレンズ移動ステージ54の後とに分割されてもよい。係数測定モジュール38は、次いで、レンズ移動ステージ50の前における第１のフレームに対する第１の係数a1を測定する。係数測定モジュール38はまた、レンズ移動ステージ52の間における第１のフレーム40に対する第２の係数、a2、及びレンズ移動ステージ54の後における第１のフレーム40に対する第３の係数、a3、を測定する。それらの係数の合計は１に等しい、すなわち、a1+a2+a3=1である。

ある場合には、個々の係数の値は、それらの係数ｈそれぞれ１より小さいから、正確に測定するのが難しいかもしれない。従って、ある場合には、係数測定モジュール38は、係数値を推定してもよい。例えば、基準ライン48がセンサ・アレイ12内のセンサのセンターラインに対応する場合には、全統合時間は、第１のフレーム40の間に画像取込コントローラ14がレンスを第１のレンズ位置に移動させる時間までに完了の少なくとも中間となるであろう。従って、第１の係数、alは、0.5よりも大きく、そして、第2の係数、a2、及び3番目の係数、a3、は組み合わせて、0.5よりも小さいであろう。この場合には、係数測定モジュール38は、第１の係数をa1を１に等しく設定し、そして、第２の係数、a2、及び第３の係数a3をゼロに等しく設定してもよい。

オートフォーカス・コントローラ34に含まれた予測アルゴリズム・ユニット36は、不正な焦点値(FV₁')、第１のフレーム40に対する係数(a1、a2及びa3)、及び焦点値記憶装置22から検索された前のレンズ位置に対する有効な焦点値(FV₀)に基づいて第１のレンズ位置におけるシーンに対する有効な焦点値、FV₁、を予測する。例えば、予測アルゴリズム・ユニット36は、式FV₁’=a1 FV₀+ (FV₀→FV₁)+a3 FV₁に基づいて第１のレンズ位置に対する有効な焦点値、FV₁、を予測してもよい。ただし、FV₀→FV₁は先のレンズ位置から第１のレンズ位置までの移動の間における遷移焦点値（transitional focus value）である。

遷移焦点値は、最初のレンズ位置に対する焦点値、FV₀、及び第１のレンズ位置に対する焦点値、FV₁、の間の、重みを付けられた値である。

レンズが一定の速度で最初のレンズ位置から第１のレンズ位置へ移動する場合には、遷移焦点値は、最初のレンズ位置での焦点値と第１のレンズ位置での焦点値の平均である。しかし、レンズ移動が一定でない場合には、レンズ移動のパーセンテージは、レンズ移動ステージ52の移動の間のほぼ中間点で推定される。その中間点におけるレンズ移動のパーセンテージに対応する重み（weight）は、最初のレンズ位置に対する焦点値、FV₀、に割り当てられ、そしてレンズ移動の残余のパーセンテージに対応する重みは、第１のレンズ位置に対する焦点値、FV₁に割り当てられる。例えば、レンズ移動ステージ52の間の中間点において、レンズ移動が75%完了している場合には、遷移焦点値は0.75*FV₀+0.25*FV₁となるであろう。

係数測定モジュール38が、第1の係数、a1、を1に等しく設定し、また、第2の係数、a2、及び第３の係数、a3、を0に等しく設定する場合には、予測アルゴリズム・ユニット36は、式FV₂’=FV₁に基づいて第1のレンズ位置に対する有効な焦点値、FV₁、を予測してもよい。ただし、FV₂’は、後続のレンズ位置に対する不正な焦点値である。

第１のレンズ位置に対する有効な焦点値を予測した後に、オートフォーカス・コントローラ34は、レンズ位置の１つがシーンに対する最大予測焦点値を有するか否かを決定するために、第１のレンズ位置及び先行レンズ位置に対する有効な焦点値を調査（review）してもよい。最大の焦点値が予測されていない場合には、オートフォーカス・コントローラ34は、第１のレンズ位置に対する予測焦点値をレンズ移動モジュール30へ送る。レンズ移動モジュール30は、第１のレンズ位置に対する予測焦点値及び焦点値記憶装置22から検索された先行レンズ位置に対する有効な焦点値に基づいて、第１のレンズ位置に対する不正な焦点値を計算した直後に、レンズに対する第２のレンズ位置を決定する。レンズ移動モジュール30は、レンズに対する移動ステップ・サイズ及び移動方向を含む移動情報を画像取込コントローラ14に送る。画像取込コントローラ14は、次いで、この移動情報に基づいて第2のフレーム52の間に第１のレンズ位置から第2のレンズ位置にレンズを移動させる。

予測オートフォーカス・モジュール18は、シーンに対する最大焦点値がレンズ位置の１つで予測されるまで、対応するレンズ位置に対する不正な焦点値、対応するフレームの係数、及び先行の有効焦点値に基づいて、複数のレンズ位置のそれぞれにおける有効焦点値を予測し続ける。図4に示されたように、焦点値計算モジュール32は、第３のフレーム44の間において第２のレンズ位置におけるレンズ定着の直後に第２のフレーム42からの画像情報に基づいて第２のレンズ位置におけるシーンに対する不正な焦点値、FV₂'、を計算する、また、第４のフレーム46の間において第３のレンズ位置におけるレンズ定着の直後に第３のフレーム44からの画像情報に基づいて第３のレンズ位置におけるシーンに対する不正な焦点値、FV₃'、を計算する。

次いで、予測アルゴリズム・ユニット36は、第２のレンズ位置に対する不正な焦点値(FV₂')、第２のフレーム42に対する係数(a1、a2及びa3)、及び焦点値記憶装置22から検索された第１のレンズ位置に対する有効な焦点値(FV₁)に基づいて第２のレンズ位置に多雨する有効な焦点値、FV₂、を予測する。予測アルゴリズム・ユニット36はまた、第３のレンズ位置に対する不正な焦点値(FV₃')、第３のフレーム44に対する係数(a1、a2及びa3)、及び焦点値記憶装置22から検索された第2のレンズ位置に対する有効な焦点値(FV₂)に基づいて第３のレンズ位置に対する有効な焦点値、FV₃、を予測する。

例えば、予測アルゴリズム・ユニット36は、式(1)のセットに基づいて図4によって例証されたレンズ位置に対する有効な焦点値を予測してもよい。

このようにして、予測アルゴリズム・ユニット36は、予測式に対するマトリックスを利用してもよい。

そして、有効な焦点値のためのマトリックス方程式を解く。

係数測定モジュール38が第１の係数、al、を1に等しく設定し、また、第2の係数、a2及び第３の係数、a3を0に等しく設定する場合には、予測アルゴリズム・ユニット36は、式(4)のセットに基づいて図4によって例証されたレンズ位置に対する有効な焦点値を予測してもよい。

シーンに対する最大予測焦点値を決定すると、オートフォーカス・コントローラ34は、シーンに対する最大焦点値に関連したレンズ位置を選択し、そして、選択されたレンズ位置を画像取込コントローラ14に送る。画像取込コントローラ14は、シーンに対する選択されたセンズ位置を設定してもよく、そして、センサ・アレイ12はその選択されたレンズ位置を用いて画像フレームを取込む。

図5は、異なるオートフォーカス処理によって計算された所与のレンズ位置のシーンに対する焦点値の例示の比較を例証するプロットである。図5に示されるように、このプロットは、真の焦点値60、不正な焦点値62及び予測された焦点値64に対する所与のレンズ位置におけるシーン内の目標のぼけの円半径（blur circle radius）に依存する焦点値カーブを含んでいる。

真の焦点値60は、統合が所与のレンズ位置でレンズ定着の後に始められた有効なフレームの読み出しの後に従来のオートフォーカス処理内に計算された。真の焦点値60は0のぼけの円で最大ピークを有している。不正な焦点値62は、所与のレンズ位置でのレンズ定着の後であって有効なフレームの前に、従来のオートフォーカス処理又は予測オートフォーカス処理内で計算された。不正な焦点値62は、約10ミクロンのぼけの円で最大ピークを有する。従って、不正な焦点値62は、レンズ位置に対する不正確な焦点値を与える。

予測された焦点値64は、所与のレンズ位置でのレンズ定着の後であって、有効フレームの前に計算された不正な焦点値に基づいて、ここに記述される予測オートフォーカス処理内に計算された。図5に示されるように、予測焦点値64は真の焦点値60と同一ではないが、予測焦点値64はゼロのぼけの円（blur circle）における最大ピークを有する。従って、予測オートフォーカス処理は、レンズ定着の直後に所与のレンズ位置のシーンに対する正確な焦点値を予測することができる。

図6は、異なるオートフォーカス処理によって計算された複数のレンズ位置におけるシーンに対する焦点値の例示の比較を例証するプロットである。図6に示されるように、このプロットは、従来の処理66及び予測処理68に対するレンズ位置に依存するシーンに対する焦点値カーブを含んでいる。従来の処理66は、レンズ位置のそれぞれにおけるレンズ定着の後で統合が開始される有効なフレームの読取りの後で真の焦点値を計算する。従来の処理66は、約7のレンズ位置における最大ピークを有する。従って、従来のオートフォーカス処理66は、シーンの画像フレームを取込むために、7のレンズ位置を選択するだろう。

予測処理68は、各レンズ位置におけるレンズ定着の後であるが有効なフレームの前に計算された不正な焦点値に基づいて予測焦点値を計算する。図6に示されるように、予測処理68は、従来の処理66と同一ではないが、予測処理68も約7のレンズ位置における最大ピークを有する。従って、予測オートフォーカス処理68はまた、シーンの画像フレームを取込むために、約7のレンズ位置を選択するだろう。予測オートフォーカス処理68は、予測焦点値に基づいてレンズ定着の直後にシーンに対する正確なレンズ位置を選択することができる。

図7は、画像取込装置内における予測オートフォーカス処理のための予測焦点値計算処理の例示の動作を例証する流れ図である。その動作は、図1からの画像取込装置10に関してここに記載されるだろう。画像取込コントローラ14は、第1のフレームの間に、画像取込装置10に含まれたレンズをレンズ位置へ移動させる(70)。センサ・アレイ12は、第1のフレームの間に、レンズの異なる移動ステージでシーンに対する画像情報を得る(72)。

画像取込コントローラ14は、第１のフレームのためにセンサ・アレイ12から画像情報を読み取り、予測オートフォーカス・モジュール16に画像情報を送る。次いで、予測オートフォーカス・モジュール18は、レンズ定着の直後に第１のフレームからの画像情報に基づいてレンズ位置のシーンに対する不正な焦点値を計算する(74)。予測オートフォーカス・モジュール18は、不正な焦点値に基づいてレンズ位置におけるシーンに対する有効な焦点値を予測する(76)。

予測オートフォーカス・モジュール18は、次いで、現在のレンズ位置に対する予測有効焦点値を、前のレンズ位置に対する有効な焦点値と共に、焦点値記憶装置22に格納する。ある場合には、予測オートフォーカス・モジュール18が、現在のレンズ位置に対する予測焦点値、及び焦点値記憶装置22から検索された前のレンズ位置に対する有効な焦点値に基づいて現在のレンズ位置に対する不正な焦点値を計算した直後にレンズに対する次のレンズ位置を決定する。次いで、画像取込コントローラ14は、第２のフレームの間に、レンズを次のレンズ位置に移動させる。他の場合には、予測オートフォーカス・モジュール18は、シーンに対する最大有効焦点値を備えた現在のレンズ位置あるいは前のレンズ位置のうちの1つを選択し、画像取込コントローラ14を選択されたレンズ位置を送る。次いで、画像取込コントローラ14は、シーンに対する選択されたレンズ位置を設定してもよく、そして、センサ・アレイ12は、選択されたレンズ位置を用いてシーンの画像フレームを取込む。

図8は、画像取込装置内の予測オートフォーカス処理のための予測焦点値計算処理の例示的な動作をさらに詳細に例証する流れ図である。この動作は、画像取込装置10に含まれた図3からの予測オートフォーカス・モジュール18に関してここに記述されるだろう。センサ・アレイ12は、第１のフレームの始めにおけるシーンに対する画像情報の統合を始める(80)。例証された実施の形態では、センサ・アレイ12は、センサ・アレイ12の各ラインが異なる時間に統合を開始しかつ終了するロール・シャッタで画像情報を統合するCMOSセンサを含んでいてもよい。画像取込コントローラ14は、センサ・アレイ12の各ラインから画像情報を読み出す。

画像取込コントローラ14は、第1のフレームの間に、像取込装置10に含まれたレンズを第１のレンズ位置へ移動させる(82)。センサ・アレイ12は、第１のフレームの間にレンズの異なる移動ステージにおいてシーンに対する画像情報を統合し続ける。次いで、画像取込コントローラ14は、第2のフレームの間に、第1のフレーム全体に対するセンサ・アレイ14からの画像情報の読み出しを完了する(84)。画像取込コントローラ14は予測オートフォーカス・モジュール18に第1のフレーム全体のための画像情報を送る。

予測オートフォーカス・モジュール18は、焦点値計算モジュール32、オートフォーカス・コントローラ34、及びレンズ移動モジュール30を含んでいる。焦点値計算モジュール32は、第2のフレームの間に第１のレンズ位置でのレンズの定着の直後に第１のフレームからの画像情報に基づいて第１のレンズ位置におけるシーンに対する不正な焦点値を計算する(86)。焦点値計算モジュール32は、オートフォーカス・コントローラ34へ不正な焦点値を送る。

オートフォーカス・コントローラ34内の係数測定モジュール38は、第１のフレームの基準ラインにおけるセンサ・アレイ12による統合時間をレンズの異なる移動ステージに分割する(88)。例えば、基準ラインは、センサ・アレイ12内のセンサのセンターラインを含んでもよい。その統合時間は、レンズ移動ステージの前、レンズ移動ステージの間、及びレンズ移動ステージの後に分割されてもよい。次いで、係数測定モジュール38は、レンズ移動ステージの前における第１のフレームに対する第１の係数を測定する(90)。係数測定モジュール38はまた、レンズ移動ステージの間における第１のフレームに題する第２の係数を測定する(92)。係数測定モジュール38は、レンズ移動ステージの後において第１のフレームに対する第３の係数を測定する(94)。これらの係数の合計は1に等しい。

次いで、オートフォーカス・コントローラ34に含まれた予測アルゴリズム・ユニット36は、不正な焦点値、係数、及び焦点値記憶装置22から検索された前のレンズ位置に対する有効な焦点値に基づいて第１のレンズ位置におけるシーンに対する有効な焦点値を予測する(96)。例えば、予測アルゴリズム・ユニット36は、式
FV₁’=a1・FV₀+a2・(FV₀→FV₁)+FV₁
に基づいて、第１のレンズ位置に対する有効な焦点値、FV₁を予測してもよい、ただし、FV₁’はレンズ位置に対する不正な焦点値であり、a1は第１の係数であり、a2は第2の係数であり、a3は第３の係数であり、FV₀は前のレンズ位置に対する有効な焦点値であり、FV₀→FV₁は、前のレンズ位置及び第１のレンズ位置からの移動の間の遷移焦点値である。

しかし、個々の係数の値は、その係数がそれぞれ１より小さいので、正確に測定するのが難しいかもしれない。従って、ある場合には、係数測定モジュール38は、係数値を評価してもよい。例えば、基準ラインがセンサ・アレイ12内のセンサのセンターラインである場合には、統合時間は、第１のフレームの間に画像取込コントローラ14がレンズを第１のレンズ位置まで移動させる時間までに、少なくとも半分以上となるであろう。従って、第１の係数、al、は0.5より大きく、そして第2の係数、a2及び第3の係数、a3、は、組み合わせて、0.5より小さいであろう。この場合、係数測定モジュール38は、第１の係数、a1、を1に等しく設定し、また第2の係数、a2及び3番目の係数、a3をゼロに等しく設定してもよい。次いで、予測アルゴリズム・ユニット36は、式FV₂’=FV₁に基づいて第1のレンズ位置に対する有効な焦点値FV₁を予測する、ただし、FV_2’は後続のレンズ位置に対する不正な焦点値である。

オートフォーカス・コントローラ34は、予測された焦点値をレンズ移動モジュール30に送る。レンズ移動モジュール30は、第１のレンズ位置に対する予測された焦点値と、焦点値記憶装置22から検索された先行レンズ位置に対する有効な焦点値に基づいて第１のレンズ位置に対する不正な焦点値を計算した直後に、レンズに対する第２のレンズ位置を決定する。レンズ移動モジュール30は、レンズに対する移動ステップ・サイズ及び移動方向情報を含む移動情報を画像取込コントローラ14に送る。次いで、画像取込コントローラ14は、移動情報に基づいて第2のフレームの間にレンズを第１のレンズ位置から第2のレンズ位置に移動させる(98)。

シーンに対する最大予測焦点値を決定すると、オートフォーカス・コントローラ34は、シーンに対する最大予測焦点値に関連したレンズ位置を選択する。次いで、オートフォーカス・コントローラ34は、選択されたレンズ位置を画像取込コントローラ14に送る。画像取込コントローラ14は、シーンに対する選択されたレンズ位置を設定してもよく、また、センサ・アレイ12は、その選択されたレンズ位置を使用してシーンの画像フレームを取込む。

図9は、予測オートフォーカス処理内における画像情報の他の例示的な統合及び読み出しを例証するプロットである。この実施の形態では、画像取込装置10内のセンサ・アレイ12は、グローバル・シャッタ（global shutter）を備えたCCDセンサのアレイに一致する。例証されたプロットは、シーンの各フレームに対するセンサ・アレイ12の各ラインからの画像情報の統合及び読み出し時間を含んでいる。図9に示されるように、シーンの各フレームの始めに、センサ・アレイ12はシーンのための画像情報の統合を始める。センサ・アレイ12内のCCDセンサは、各フレームのために画像情報を得るために、グローバル・シャッタによってシーンに連続して露出される。グローバル・シャッタは、センサ・アレイ12の各ラインに統合を同時に始めさせかつ終了させる。

図9に例示されたグローバル・シャッタ・センサ・アレイ実施の形態は、図4に例示されたロール・シャッタ・センサ・アレイ実施の形態と実質的に類似して動作する。センサ・アレイ12は、第1のフレーム100の始めに、１つシーンに対する画像情報の統合を始める。第1のフレーム100の間に、予測オートフォーカス・モジュール18は、最初のレンズ位置に対する不正な焦点値、FV₀'、に基づいて、その最初のレンズ位置におけるシーンに対する有効な焦点値、FV₀、を予測する。次いで、画像取込コントローラ14は、レンズを最初のレンズ位置から第１のレンズ位置に移動させる。レンズが第1のフレーム100の間に現在のレンズ位置に到着して移動を停止すると、レンズ定着が生じる。センサ・アレイ12は、第1のフレーム100の間にレンズの異なる移動ステージにおけるシーンのための画像情報を統合し続ける。統合が完了すると、画像取込コントローラ14は、第1のフレーム100全体に対するセンサ・アレイ12の各ラインからの画像情報の読み出しを始める。

画像取込コントローラ14は、第1のフレーム100全体に対する画像情報を予測オートフォーカス・モジュール18に送る。予測オートフォーカス・モジュール18は、画像情報を焦点値計算モジュール32に転送する。焦点値計算モジュール32は、第1のフレーム100の間に第１のレンズ位置でのレンズ定着の後における第1のフレーム100からの画像情報に基づいて、第１のレンズ位置のシーンに対する不正な焦点値、FV₁'、を計算する。

焦点値計算モジュール32は、不正な焦点値、FV₁'、をオートフォーカス・コントローラ34に送る。オートフォーカス・コントローラ34内の係数測定モジュール38は、第１のフレーム100の基準ライン108におけるセンサ・アレイ12による統合時間を第1のフレーム100の間におけるレンズの異なる移動ステージに分割する。統合時間は、レンズ移動ステージ110前と、レンズ移動ステージ112間と、レンズ移動ステージ114後とに分割されてもよい。次いで、係数測定モジュール38は、レンズ移動ステージ110前における第１のフレーム100に対する第１の係数、a1、レンズ移動ステージ112間における第１のフレーム100に対する第２の係数、a2、及びレンズ移動ステージ114後における第１のフレーム100に対する第３の係数、a3を測定する。ある場合には、係数測定モジュール38は、係数値を評価してもよい。例えば、係数測定モジュール38は、第１の係数、a1を1に等しく設定し、そして、第2の係数、a2及び第3の係数、a3をゼロに等しく設定してもよい。

オートフォーカス・コントローラ34に含まれた予測アルゴリズム・ユニット36は、不正な焦点値(FV₁’)、第1のフレーム100に対する係数(a1、a2及びa3)、及び焦点値記憶装置22から検索された前のレンズ位置に対する有効な焦点値(FV₀)に基づいて、第１のレンズ位置におけるシーンに対する有効な焦点値、FV₁、を予測する。係数測定モジュール38が、第1の係数、a1、を1に等しく設定し、そして、第2の係数、a2及び第３の係数、a3を0に等しく設定する場合には、予測アルゴリズム・ユニット36は、第1のレンズ位置に対する有効な焦点値、FV₁を、後続のレンズ位置に対する不正な焦点値、FV₂'に基づいて予測してもよい。

予測オートフォーカス・モジュール18は、シーンに対する最大焦点値がレンズ位置のうちの１つにおいて予測されるまで、対応するレンズ位置に対する不正な焦点値、対応するフレームの係数、及び前の有効な焦点値に基づいて、複数のレンズ位置のそれぞれにおいける有効な焦点値を予測し続ける。

例えば、予測アルゴリズム・ユニット36は、前記式(1)のセットに基づいて、図9によって例証されたレンズ位置に対する有効な焦点値を予測してもよい。シーンに対する最大予測焦点値を決定すると、オートフォーカス・コントローラ34は、シーンに対する最大焦点値に関連したレンズ位置を選択し、そして、その選択されたレンズ位置を画像取込コントローラ14に送る。次いで、画像取込コントローラ14は、シーンに対する選択されたレンズ位置を設定してもよく、そして、センサ・アレイ12は、選択されたレンズ位置の間にシーンの画像フレームを取込む。

多くの実施の形態が記述された。しかし、これらの実施の形態に対する種々の修正が可能であり、また、ここに提示された原理は、他の実施の形態にも適用されてもよい。ここに記述された方法は、ハードウェア、ソフトウェア、及び／又はファームウェアで実施されてもよい。そのような方法の種々のタスクは、マイクロプロセッサ、埋め込まれたコントローラあるいはIPコアのような論理素子の１つ又は複数のアレイによって実行可能な命令のセットとして実行されてもよい。１つの実例では、１つ又は複数のそのようなタスクは、携帯電話のようなパーソナル通信装置の種々のデバイスの動作を制御するように構成された移動局モデム・チップ又はチップセット内で実行するようになされている。

この開示に記述された技法は、多目的マイクロプロセッサ、デジタル信号プロセサ(DSP)、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)あるいは他の均等な論理回路で実行されてもよい。ソフトウェアで実行される場合には、これらの技法は、ランダムアクセスメモリ(RAM)、読出し専用メモリ(ROM)、不揮発性のランダムアクセスメモリ(NVRAM)、電気的消去可能プログラム可能読出し専用メモリ(EEPROM)、FLASHメモリなどのようなコンピュータ読取り可能な媒体上の命令として具体化されてもよい。その命令は、１つ又は複数のプロセッサにこの開示に記述された機能性のある態様を実行させる。

他の実例として、ある実施の形態は、ハードワイヤード回路（hard-wired circuit）として、特定用途向け集積回路内に作成された回路構成として、又は不揮発性記憶装置にロードされたファームウエア・プログラム又はマイクロプロセッサあるいは他のデジタル信号処理装置のような論理素子のアレイによって実行可能な命令である機械読取り可能なコードとしてデータ記憶媒体から又はそれにロードされるソフトウエア・プログラムとして部分的に又は全体的に実行されうる。そのデータ記憶媒体は、半導体メモリ(それはダイナミック又はスタテイックRAM、ROM、及び／又はフラッシュRAMを限定なしで含んでもよい)又は強誘電体、オボニック（ovonic）、高分子（polymeric）、又は相変化メモリ（phase-change memory）、あるいは磁気又は光デイスクのようなデイスク媒体のような記憶素子のアレイであってもよい。

この開示では、画像取込装置内における予測焦点値計算のため技法が記述された。それらの技法は、第２のフレームの間においてレンズ定着の直後に第１のフレームから計算されたレンズ位置に対する不正な焦点値に基づいて、画像取込装置に含まれたレンズのレンズ位置のシーンに対する焦点値を予測することによって、画像取込装置内においてオートフォーカス処理を行なうことを含む。従って、オートフォーカス処理は、予測された有効な焦点値に基づいて次のレンズ位置へのレンズに対する移動のサイズ及び方向を決定し、そして、第2のフレーム間にレンズを次のレンズ位置に移動させてもよい。このようにして、それら技法は、各フレーム間にレンズを他のレンズ位置に移動させ、オートフォーカス処理の速度を２倍又は３倍にすることによって、オートフォーカス待ち時間（auto-focus latency）を大幅に短縮することができる。

ここに記載された技法によれば、画像取込装置は、各フレームの間にレンズを複数のレンズ位置に移動させる画像取込コントローラと、各フレームの間にレンズの異なる移動ステージでのシーンに対する画像情報を得るセンサ・アレイを含む。第１のフレーム全体からの画像情報の読み出しの後に、画像取込装置に含まれた予測オートフォーカス・モジュールは、第１のフレームの間において第２のレンズ位置でのレンズ定着の直後に、第１のフレームから第１のレンズ位置でのシーンに対する不正な焦点値を計算する。予測オートフォーカス・モジュールは、第１のレンズ位置に対する不正な焦点値に基づいて、第１のレンズ位置でのシーンに対する有効な焦点値を予測する。次いで、予測オートフォーカス・モジュールは、予測されたレンズ位置に基づいて第２のレンズ位置を決定し、そして、第2のフレームの間に、決定された第2のレンズ位置にレンズを移動させるように画像取込コントローラに指示する。これら及び他の実施の形態は、下記の請求項の範囲内にある。
下記に、出願時の請求項１−４２に対応する記載を付記１−４２として表記する。
付記１
第１のフレームの間に、画像取込装置に含まれたレンズをレンズ位置へ移動させること、
レンズ定着の後に前記第１のフレームから前記レンズ位置のシーンに対する不正な焦点値を計算すること、
前記不正な焦点値に基づいて前記レンズ位置のシーンに対する有効な焦点値を予測すること、を備える方法。
付記２
前記第１のフレームの間に前記レンズの異なる移動ステージにおいて画像取込装置に含まれたセンサ・アレイからシーンに対する画像情報を得ることをさらに備え、不正な焦点値を計算することは、前記第１のフレームからの前記画像情報に基づいて、前記レンズ位置におけるシーンに対する前記不正な焦点値を計算することを備える、付記１の方法。
付記３
前記第１のフレームの間に前記レンズの前記異なる移動ステージに基づいて前記第１のフレームに対する係数を測定することをさらに備え、有効な焦点値を予測することは、前記レンズ位置に対する前記不正な焦点値、前記第１のフレームに対する前記係数、及び前のレンズ位置に対する有効な焦点値に基づいて前記レンズ位置における前記シーンに対する有効な焦点値を予測することをさらに備える、付記２の方法。
付記４
前記レンズ位置は、第１のレンズ位置を含み、前記第１のレンズ位置に対する前記不正な焦点値を計算した後に、第２のフレームの間に、前記レンズを第２のレンズ位置に移動させることをさらに備える、付記１の方法。
付記５
前記シーンの複数のフレームのそれぞれの間に、前記レンズを異なるレンズ位置に移動させること、
後続のフレームの間に、レンズ定着の後に対応するフレームとは異なるレンズ位置のシーンに対する不正な焦点値を計算すること、
及び、対応するレンズ位置に対する不正な焦点値に基づいて、前記異なるレンズ位置のそれぞれにおけるシーンに対する有効な焦点値を予測すること、をさらに備える、付記１の方法。
付記６
前記予測された焦点値に基づいて前記シーンに対する前記レンズ位置の１つを選択すること、
前記レンズ位置の選択された１つを前記画像取込装置に含まれた画像取込コントローラに伝えること、
及び、前記レンズ位置の選択された１つを用いて、前記画像取込装置に含まれたセンサ・アレイでシーンの画像フレームを取込むこと、を含む、付記５の方法。
付記７
前記不正な焦点値に基づいて前記レンズの次のレンズ位置を決定すること、
前記レンズに対する移動ステップ・サイズ及び移動方向を含む移動情報を前記画像取込装置に含まれた画像取込コントローラに送ること、
及び、前記移動情報に基づいて前記決定された次のレンズ位置にレンズを移動させること、をさらに備える、付記５の方法。
付記８
前記第１のフレームの始めに、前記画像取込装置に含まれたセンサ・アレイの各ラインでシーンに対する画像情報の統合を始めること、
前記第１のフレーム全体に対する前記センサ・アレイの各ラインからのシーンに対する前記画像情報の読み出しを完了すること、
及び、前記第１のフレームの間における前記レンズの異なる移動ステージに基づいて前記第１のフレームの基準ラインにおいて統合時間の係数を測定することをさらに備え、前記レンズ位置に対する有効な焦点値を予測することは、前記レンズ位置に対する不正な焦点値、前記第１のフレームに対する係数、及び前のレンズ位置に対する有効な焦点値に基づいて有効な焦点値を予測することを含む、付記１の方法。
付記９
不正な焦点値を計算することは、前記第１のフレーム全体から読み出された画像情報を受け取った後で前記レンズ位置における前記シーンに対する不正な焦点値を計算することを含む、付記８の方法。
付記１０
前記フレームに対する係数を測定することは、
前記第１のフレームの前記基準ラインにおける統合時間を、レンズ移動ステージ前と、レンズ移動ステージ間と、レンズ移動ステージ後とに分割すること、
前記レンズ移動ステージ前において前記第１のフレームに対する係数のうちの第１の１つを測定すること、
前記レンズ移動段階間において前記第１のフレームに対する係数のうちの第２の１つを測定すること、
及び、前記レンズ移動ステージ後において前記第１のフレームに対する係数のうちの第３の１つを測定すること、を備え、前記係数の合計が１に等しい、付記８の方法。
付記１１
前記レンズ位置に対する有効な焦点値を予測することは、式FV ₁ ’=a1・FV ₀ +a2・(FV ₀ →FV ₁ )+a3・FV ₁ に基づいて前記レンズ位置に対する有効な焦点値を予測することを含む、この場合、FV ₁ ’は前記レンズ位置に対する不正な焦点値であり、a1は前記係数の第１の１つであり、a2は前記係数の第２の１つであり、a3は前記係数の第３の１つであり、FV ₀ は前のレンズ位置に対する有効な焦点値であり、FV ₀ →FV ₁ は前記前のレンズ位置及び前記レンズ位置からの移動の間の遷移焦点値である、付記１０の方法。
付記１２
前記第１のフレームに対する係数を測定することは、
前記第１のフレームの基準ラインにおける統合時間を、レンズ移動ステージ前と、レンズ移動ステージ間と、レンズ移動ステージ後とに分割すること、
前記レンズ移動ステージ前における前記第１のフレームに対する係数のうちの第１の１つを１に等しく設定すること、
前記レンズ移動ステージ間における前記第１のフレームに対する係数のうちの第２の１つをゼロに等しく設定すること、
及び、前記レンズ移動ステージ後における前記第１のフレームに対する係数のうちの第３の１つをゼロに設定すること、を含む、付記８の方法。
付記１３
前記レンズ位置に対する有効な焦点値を予測することは、式FV ₂ ’=FV ₁ に基づいて前記レンズ位置に対する有効な焦点値、FV ₁ 、を予測することを含み、この場合、FV ₂ ’は後続のレンズ位置に対する不正な焦点値である、付記１２の方法。
付記１４
第１のレンズ位置でのレンズ定着の後で、第１のフレームから画像取込装置に含まれたレンズの第１のレンズ位置におけるシーンに対する不正な焦点値を計算すること、
前記第１のレンズ位置に対する不正な焦点値に基づいて前記第１のレンズ位置におけるシーンに対する有効な焦点値を予測すること、
及び、前記第１のレンズ位置に対する汚れた焦点位置を計算した後で、第２のフレームの間に前記レンズを第２のレンズ位置に移動させること、を備える方法。
付記１５
第３のフレームの間に前記第２のレンズ位置でのレンズ定着の後で前記第２のフレームから前記第２のレンズ位置におけるシーンに対する不正な焦点値を計算すること、
及び、前記第２のレンズ位置に対する不正な焦点値に基づいて前記第２のレンズ位置におけるシーンに対する有効な焦点値を予測すること、をさらに備える、付記１４の方法。
付記１６
前記第２のフレームの間に前記レンズの異なる移動ステージにおいて、画像取込装置に含まれたセンサ・アレイからシーンに対する画像情報を得ること、
前記第２のフレームからの画像情報に基づいて前記第２のレンズ位置におけるシーンに対する不正な焦点値を計算すること、
前記第２のフレームの間における前記レンズの異なる移動ステージに基づいて前記第２のフレームに対する係数を測定すること、
及び、前記第２のレンズ位置に対する不正な焦点値、前記第２のフレームに対する係数、及び前記第１のレンズ位置に対する予測された焦点値に基づいて前記第２のレンズ位置に対する有効な焦点値を予測すること、さらに備える、付記１４の方法。
付記１７
プログラム可能プロセッサに、
第１のフレームの間に、画像取込装置に含まれたレンズをあるレンズ位置に移動させる、
レンズ定着の後に前記第１のフレームから前記レンズ位置におけるシーンに対する不正な焦点値を計算させる、そして、前記不正な焦点値に基づいて前記レンズ位置におけるシーンに対する有効な焦点値を予測させる命令を備えるコンピュータ読取り可能媒体。
付記１８
前記プログラム可能プロセッサに、
前記第１のフレームの始めに、前記画像取込装置に含まれたセンサ・アレイの各ラインで前記シーンに対する画像情報の統合を始めさせる、
前記第１のフレーム全体に対する前記センサ・アレイの各ラインからの前記シーンに対する画像情報の読み出しを完了させる、
そして、前記第１のフレームの間における前記レンズの異なる移動ステージに基づいて、前記第１のフレームの基準ラインにおける統合時間の係数を測定させる、
そして、前記レンズ位置に対する前記不正な焦点値、前記第１のフレームに対する前記係数、及び前のレンズ位置に対する有効な焦点値に基づいて、前記レンス位置に対する有効な焦点値を予測させる命令をさらに備える、付記１７のコンピュータ読取り可能媒体。
付記１９
前記命令は、前記プログラム可能プロセッサに、前記第１のフレーム全体から読み出された画像情報を受け取った後で、前記レンズ位置における前記シーンに対する前記不正な焦点値を計算させる、付記１８のコンピュータ読取り可能媒体。
付記２０
前記命令は、前記プログラム可能プロセッサに、
前記第１のフレームの前記基準ラインにおける統合時間を、レンズ移動ステージ前、レンズ移動ステージ間、及びレンズ移動ステージ後に分割させる、
前記レンズ移動ステージ前における前記第１のフレームに対する前記係数のうちの第１の１つを測定させる、
前記レンズ移動ステージ間における前記第１のフレームに対する前記係数の第２の１つを測定させる、
そして、前記レンズ移動ステージ後における前記第１のフレームに対する前記係数のうちの第３の１つを測定させる、この場合、前記係数の合計は１に等しい、付記１８のコンピュータ読取り可能媒体。
付記２１
前記命令は、前記プログラム可能プロセッサに、式FV ₁ ’=a1・FV ₀ +a2・(FV ₀ →FV ₁ )+a3・FV ₁ に基づいて前記レンズ位置に対する有効な焦点値を予測させる、この場合、FV ₁ ’は前記レンズ位置に対する不正な焦点値であり、a1は前記係数の第１の１つであり、a2は前記係数の第２の１つであり、a3は前記係数の第３の１つであり、FV ₀ は前のレンズ位置に対する有効な焦点値であり、FV ₀ →FV ₁ は前記前のレンズ位置及び前記レンズ位置からの移動の間の遷移焦点値である、付記２０のコンピュータ読取り可能媒体。
付記２２
前記命令は、前記プログラム可能プロセッサに、
前記第１のフレームの前記基準ラインにおける統合時間をレンズ移動ステージ前、レンズ移動ステージ間、及びレンズ移動ステージ後に分割させる、
前記レンズ移動ステージ前における前記第１のフレームに対する前記係数のうちの第１の１つを１に等しく設定させ、
前記レンズ移動ステージ間における前記第１のフレームに対する前記係数の第２の１つをゼロに等しく設定させる、
そして、前記レンズ移動ステージ後における前記第１のフレームに対する前記係数の第３の１つをゼロに等しく設定させる、付記２０のコンピュータ読取り可能媒体。
付記２３
前記命令は、前記プログラム可能プロセッサに、式FV ₂ ’=FV ₁ に基づいて前記レンズ位置に対する有効な焦点値、FV ₁ 、を予測させる、この場合、FV ₂ ’は後続のレンズ位置に対する不正な焦点値である、付記２２のコンピュータ読取り可能媒体。
付記２４
前記レンズ位置は第１のレンズ位置を含み、プログラム可能プロセッサに、前記第１のレンズ位置に対する前記不正な焦点値を計算した後で第２のフレームの間に前記レンズを第２のレンズ位置に移動させる命令をさらに備える、付記１７のコンピュータ読取り可能媒体。
付記２５
前記プログラム可能プロセッサに、
前記第２のフレームの間での前記レンズの異なる移動ステージにおいて前記画像取込装置に含まれたセンサ・アレイからシーンに対する画像情報を受け取らせる、
前記第２のフレームからの前記画像情報に基づいて、前記第２のレンズ位置における前記シーンに対する不正な焦点値を計算させる、
前記第２のフレームの間における前記レンズの異なる移動ステージに基づいて前記第２のフレームに対する係数を測定させる、
そして、前記第２のレンズ位置に対する前記不正な焦点値、前記第２のフレームに対する前記係数、及び前記第１のレンズ位置に対する予測された焦点値に基づいて前記第２のレンス位置に対する有効な焦点値を予測させる命令をさらに備える、付記２４のコンピュータ読取り可能媒体。
付記２６
第１のフレームの間に装置に含まれた装置をあるレンズ位置に移動させる画像取込コントローラと、
レンズ定着の後において前記第１のフレームから前記レンズ位置におけるシーンに対する不正な焦点値を計算し、そして、前記不正な焦点値に基づいて前記レンズ位置における前記シーンに対する有効な焦点値を予測する予測オートフォーカス・モジュールと、を備える装置。
付記２７
前記第１のフレームの間での前記レンズの異なる移動ステージにおける前記シーンに対する画像情報を得るセンサ・アレイを備え、前記予測オートフォーカス・モジュールは、前記第１のフレームからの前記画像情報に基づいて前記レンズ位置における前記シーンに対する前記不正な焦点値を計算する焦点値計算モジュールを含む、付記２６の装置。
付記２８
前記予測オートフォーカス・モジュールは、前記第１のフレームの間における前記レンズの異なる移動ステージに基づいて前記第１のフレームに対する係数を測定し、そして、前記レンズ位置に対する前記不正な焦点値、前記第１のフレームに対する前記係数、及び前のレンズ位置に対する有効な焦点値に基づいて前記レンズ位置における前記シーンに対する有効な焦点値を予測するオートフォーカス・コントローラを含む、付記２７の装置。
付記２９
前記レンズ位置は第１のレンズ位置を含み、前記画像取込コントローラは、前記予測オートフォーカス・モジュールが前記第１のレンス位置に対する前記不正な焦点値を計算した後で、前記レンズを第２のレンズ位置に移動させる、付記２６の装置。
付記３０
前記画像取込コントローラは、前記シーンの複数のフレームのそれぞれの間に前記レンズを異なるレンズ位置に移動させる、
前記予測オートフォーカス・モジュールは、後続のフレームの間におけるレンズ定着の後の対応するフレームから異なるレンズ位置におけるシーンに対する不正な焦点値を計算する焦点値計算モジュール、及び、対応するレンズ位置に対する前記不正な焦点値に基づいて前記異なるレンズ位置のそれぞれにおけるシーンに対する有効な焦点値を予測するオートフォーカス・コントローラを含む、付記２６の装置。
付記３１
前記オートフォーカス・コントローラは、前記予測された焦点値に基づいて前記シーンに対する前記レンズ位置の１つを選択し、そして、前記レンズ位置の前記選択された１つを前記画像取込コントローラに送る、
前記画像取込コントローラは、前記レンズ位置の前記選択された１つを用いて前記シーンの画像フレームを取込むセンサ・アレイをさらに備える、付記３０の装置。
付記３２
前記予測オートフォーカス・モジュールは、前記不正な焦点値に基づいて前記レンズの次のレンズ位置を決定し、そして前記レンズに対する移動ステップ・サイズ及び移動方向を含む移動情報を前記画像取込コントローラに送るレンズ移動モジュールを含む、
前記画像取込コントローラは、前記移動情報に基づいて前記レンズを前記決定された次のレンズ位置に移動させる、付記３０の装置。
付記３３
前記第１のフレームの始めにおいて、装置に含まれたセンサ・アレイの各ラインによる前記シーンに対する画像情報の統合を始めるセンサ・アレイをさらに備えており、
前記画像取込コントローラは、前記第１のフレーム全体に対する前記センサ・アレイの各ラインからの前記シーンに対する画像情報の読み出しを完了する、
前記予測オートフォーカス・モジュールは、前記第１のフレームの間における前記レンズの異なる移動ステージに基づいて前記第１のフレームの基準ラインにおいて統合時間の係数を測定するオートフォーカス・コントローラを含む、そして、
前記オートフォーカス・コントローラは、前記レンズ位置に対する前記不正な焦点値、前記第１のフレームに対する前記係数、及び前のレンズ位置に対する有効な焦点値に基づいて有効な焦点値を予測する、付記２６の装置。
付記３４
前記予測オートフォーカス・モジュールは、前記第１のフレーム全体から読み出された画像情報を受け取った後で前記レンズ位置における前記シーンに対する不正な焦点値を計算する焦点値計算モジュールを含む、付記３３の装置。
付記３５
前記オートフォーカス・コントローラは、
前記第１のフレームの前記基準ラインにおける統合時間を、ゼンズ移動ステージ前、ゼンズ移動ステージ間、及びゼンズ移動ステージ後に分割する、
前記レンズ移動ステージ前において前記第１のフレームに対する前記係数の第１の１つを測定する、
前記レンズ移動ステージ間において前記第１のフレームに対する前記係数の第２の１つを測定する、
そして、前記レンズ移動ステージ後において前記第１のフレームに対する前記係数の第３の１つを測定する係数測定モジュールを含み、前記係数の合計は１に等しい、付記３３の装置。
付記３６
前記オートフォーカス・コントローラは、式FV ₁ ’=a1・FV ₀ +a2・(FV ₀ →FV ₁ )+a3・FV ₁ に基づいて前記レンズ位置に対する有効な焦点値を予測する予測アルゴリズム・ユニットを含んでおり、この場合、FV ₁ ’は前記レンズ位置に対する不正な焦点値であり、a1は前記係数の第１の１つであり、a2は前記係数の第２の１つであり、a3は前記係数の第３の１つであり、FV ₀ は前のレンズ位置に対する有効な焦点値であり、FV ₀ →FV ₁ は前記前のレンズ位置及び前記レンズ位置からの移動の間の遷移焦点値である、付記３５の装置。
付記３７
前記オートフォーカス・コントローラは、
前記第１のフレームの前記基準ラインにおける統合時間をレンズ移動ステージ前、レンズ移動ステージ間、及びレンズ移動ステージ後に分割する、
前記レンズ移動ステージ前における前記第１のフレームに対する前記係数のうちの第１の１つを１に等しく設定する、
前記レンズ移動ステージ間における前記第１のフレームに対する前記係数のうちの第２の１つをゼロに等しく設定する、
そして、前記レンズ移動ステージ後における前記第１のフレームに対する前記係数のうちの第３の１つをゼロに等しく設定する、係数測定モジュールを含む、付記３３の装置。
付記３８
前記オートフォーカス・コントローラは、式FV ₂ ’=FV ₁ に基づいて前記レンズ位置に対する有効な焦点値、FV ₁ 、を予測する予測アルゴリズム・ユニットを含んでおり、この場合、FV ₂ ’は後続のレンズ位置に対する不正な焦点値である、付記３７の装置。
付記３９
画像取込装置に含まれたレンズの第１のレンズ位置におけるシーンに対する不正な焦点値を、前記第１のレンズ位置におけるレンズ定着の後に前記第１のフレームから計算し、そして、前記第１のレンズ位置に対する前記不正な焦点値に基づいて前記第１のレンズ位置におけるシーンに対する有効な焦点値を予測する予測オートフォーカス・モジュールと、
前記第１のレンズ位置に対する前記不正な焦点値を計算した後で第２のフレームの間に前記レンズを第２のレンズ位置に移動させる画像取込コントローラと、を備える装置。
付記４０
前記予測オートフォーカス・モジュールは、第３のフレームの間における前記第２のレンズ位置前でのレンズ定着の後における前記第２のフレームから前記第２のレンズ位置におけるシーンに対する不正な焦点値を計算し、そして、前記第２のレンズ位置に対する前記不正な焦点値に基づいて前記第２のレンズ位置におけるシーンに対する有効な焦点値を予測する、付記３９の装置。
付記４１
第２のフレームの間の前記レンズの異なる移動ステージにおけるシーンに対する画像情報を得るセンサ・アレイをさらに備えており、前記予測オートフォーカス・モジュールは、
前記第２のフレームからの前記画像情報に基づいて前記第２のレンズ位置におけるシーンに対する不正な焦点値を計算する焦点値計算モジュールと、
前記第２のフレームの間の前記レンズの異なる移動ステージに基づいて前記第２のフレームに対する係数を測定し、そして、前記第２のレンズ位置に対する前記不正な焦点値、前記第２のフレームに対する前記係数、及び前記第１のレンズ位置に対する前記予測された焦点値に基づいて前記第２のレンズ位置に対する有効な焦点値を予測するオートフォーカス・コントローラと、を含む、付記３９の装置。
付記４２
第１のフレームの間に装置に含まれたレンズを第１のレンズ位置に移動させるための手段と、
前記第１のレンズ位置におけるレンズ定着の後で前記第１のフレームから前記第１のレンズ位置におけるシーンに対する不正な焦点値を計算し、そして、前記不正な焦点値に基づいて前記第１のレンズ位置におけるシーンに対する有効な焦点値を予測するための手段と、を備える装置であり、前記レンズを移動させるための手段は、前記第１のレンズ位置に対する前記不正な焦点値の計算の後の第２のフレームの間に前記レンズを第２のレンズ位置に移動させる、装置。

Claims

画像情報の第１のフレームの間に、画像取込装置に含まれたレンズをレンズ位置へ移動させること、
レンズ停止であるレンズ定着の後に前記第１のフレームから前記レンズ位置の取り込みシーンに対する不正な焦点値を計算すること、前記不正な焦点値は、レンス移動の間における統合されたイメージ・センサからのデータおよびレンス移動の後における統合された前記イメージ・センサからのデータに少なくとも一部基づいている、
前記不正な焦点値に基づいて前記レンズ位置の前記シーンに対する有効な焦点値を予測すること、を備える方法。
前記第１のフレームの間に前記レンズの異なる移動ステージにおいて画像取込装置に含まれたセンサ・アレイから前記シーンに対する画像情報を得ることをさらに備え、不正な焦点値を計算することは、前記第１のフレームからの前記画像情報に基づいて、前記レンズ位置における前記シーンに対する前記不正な焦点値を計算することを備える、請求項１の方法。
前記第１のフレームの間に前記レンズの前記異なる移動ステージに基づいて前記第１のフレームに対する係数を測定することをさらに備え、有効な焦点値を予測することは、前記レンズ位置に対する前記不正な焦点値、前記第１のフレームに対する前記係数、及び前のレンズ位置に対する有効な焦点値に基づいて前記レンズ位置における前記シーンに対する有効な焦点値を予測することをさらに備える、請求項２の方法。
前記レンズ位置は、第１のレンズ位置を含み、前記第１のレンズ位置に対する前記不正な焦点値を計算した後に、第２のフレームの間に、前記レンズを第２のレンズ位置に移動させることをさらに備える、請求項１の方法。
前記シーンの複数のフレームのそれぞれの間に、前記レンズを異なるレンズ位置に移動させること、
後続のフレームの間に、レンズ定着の後に対応するフレームとは異なるレンズ位置のシーンに対する不正な焦点値を計算すること、
及び、対応するレンズ位置に対する不正な焦点値に基づいて、前記異なるレンズ位置のそれぞれにおけるシーンに対する有効な焦点値を予測すること、をさらに備える、請求項１の方法。
前記予測された焦点値に基づいて前記シーンに対する前記レンズ位置の１つを選択すること、
前記レンズ位置の選択された１つを前記画像取込装置に含まれた画像取込コントローラに伝えること、
及び、前記レンズ位置の選択された１つを用いて、前記画像取込装置に含まれたセンサ・アレイでシーンの画像フレームを取込むこと、を含む、請求項５の方法。
前記不正な焦点値に基づいて前記レンズの次のレンズ位置を決定すること、
前記レンズに対する移動ステップ・サイズ及び移動方向を含む移動情報を前記画像取込装置に含まれた画像取込コントローラに送ること、
及び、前記移動情報に基づいて前記決定された次のレンズ位置にレンズを移動させること、をさらに備える、請求項５の方法。
前記第１のフレームの始めに、前記画像取込装置に含まれたセンサ・アレイの各ラインでシーンに対する画像情報の統合を始めること、
前記第１のフレーム全体に対する前記センサ・アレイの各ラインからのシーンに対する前記画像情報の読み出しを完了すること、
及び、前記第１のフレームの間における前記レンズの異なる移動ステージに基づいて前記第１のフレームの基準ラインにおいて統合時間の係数を測定することをさらに備え、前記レンズ位置に対する有効な焦点値を予測することは、前記レンズ位置に対する不正な焦点値、前記第１のフレームに対する係数、及び前のレンズ位置に対する有効な焦点値に基づいて有効な焦点値を予測することを含む、請求項１の方法。
不正な焦点値を計算することは、前記第１のフレーム全体から読み出された画像情報を受け取った後で前記レンズ位置における前記シーンに対する不正な焦点値を計算することを含む、請求項８の方法。
前記フレームに対する係数を測定することは、
前記第１のフレームの前記基準ラインにおける統合時間を、レンズ移動ステージ前と、レンズ移動ステージ間と、レンズ移動ステージ後とに分割すること、
前記レンズ移動ステージ前において前記第１のフレームに対する係数のうちの第１の１つを測定すること、
前記レンズ移動段階間において前記第１のフレームに対する係数のうちの第２の１つを測定すること、
及び、前記レンズ移動ステージ後において前記第１のフレームに対する係数のうちの第３の１つを測定すること、を備え、前記係数の合計が１に等しい、請求項８の方法。
前記レンズ位置に対する有効な焦点値を予測することは、式FV1’=a1・FV0+a2・(FV0→FV1)+a3・FV1に基づいて前記レンズ位置に対する有効な焦点値を予測することを含む、この場合、FV1’は前記レンズ位置に対する不正な焦点値であり、a1は前記係数の第１の１つであり、a2は前記係数の第２の１つであり、a3は前記係数の第３の１つであり、FV0は前のレンズ位置に対する有効な焦点値であり、FV0→FV1は前記前のレンズ位置及び前記レンズ位置からの移動の間の遷移焦点値である、請求項１０の方法。
前記第１のフレームに対する係数を測定することは、
前記第１のフレームの基準ラインにおける統合時間を、レンズ移動ステージ前と、レンズ移動ステージ間と、レンズ移動ステージ後とに分割すること、
前記レンズ移動ステージ前における前記第１のフレームに対する係数のうちの第１の１つを１に等しく設定すること、
前記レンズ移動ステージ間における前記第１のフレームに対する係数のうちの第２の１つをゼロに等しく設定すること、
及び、前記レンズ移動ステージ後における前記第１のフレームに対する係数のうちの第３の１つをゼロに設定すること、を含む、請求項８の方法。
前記レンズ位置に対する有効な焦点値を予測することは、式FV2’=FV1に基づいて前記レンズ位置に対する有効な焦点値、FV1、を予測することを含み、この場合、FV2’は後続のレンズ位置に対する不正な焦点値である、請求項１２の方法。
第１のレンズ位置でのレンズ停止であるレンズ定着の後で、第１のフレームから画像取込装置に含まれたレンズの第１のレンズ位置におけるシーンに対するエラーのある焦点値である不正な焦点値を計算すること、
前記第１のレンズ位置に対する前記不正な焦点値に基づいて前記第１のレンズ位置におけるシーンに対するエラーのない焦点値である有効な焦点値を予測すること、
及び、前記第１のレンズ位置に対する前記不正な焦点位置を計算した後で、第２のフレームの間に前記レンズを第２のレンズ位置に移動させること、を備える方法。
第３のフレームの間に前記第２のレンズ位置でのレンズ定着の後で前記第２のフレームから前記第２のレンズ位置におけるシーンに対する不正な焦点値を計算すること、
及び、前記第２のレンズ位置に対する不正な焦点値に基づいて前記第２のレンズ位置におけるシーンに対する有効な焦点値を予測すること、をさらに備える、請求項１４の方法。
前記第２のフレームの間に前記レンズの異なる移動ステージにおいて、画像取込装置に含まれたセンサ・アレイからシーンに対する画像情報を得ること、
前記第２のフレームからの画像情報に基づいて前記第２のレンズ位置におけるシーンに対する不正な焦点値を計算すること、
前記第２のフレームの間における前記レンズの異なる移動ステージに基づいて前記第２のフレームに対する係数を測定すること、
及び、前記第２のレンズ位置に対する不正な焦点値、前記第２のフレームに対する係数、及び前記第１のレンズ位置に対する予測された焦点値に基づいて前記第２のレンズ位置に対する有効な焦点値を予測すること、さらに備える、請求項１４の方法。
プログラム可能プロセッサに、
画像情報の第１のフレームの間に、画像取込装置に含まれたレンズをあるレンズ位置に移動させる、
レンズ停止であるレンズ定着の後に前記第１のフレームから前記レンズ位置における取り込みシーンに対する不正な焦点値を計算させる、前記不正な焦点値は、レンス移動の間における統合されたイメージ・センサからのデータおよびレンス移動の後における統合された前記イメージ・センサからのデータに少なくとも一部基づいている、
そして、前記不正な焦点値に基づいて前記レンズ位置における前記シーンに対する有効な焦点値を予測させる
命令を備えるコンピュータ読取り可能媒体。
前記プログラム可能プロセッサに、
前記第１のフレームの始めに、前記画像取込装置に含まれたセンサ・アレイの各ラインで前記シーンに対する画像情報の統合を始めさせる、
前記第１のフレーム全体に対する前記センサ・アレイの各ラインからの前記シーンに対する画像情報の読み出しを完了させる、
そして、前記第１のフレームの間における前記レンズの異なる移動ステージに基づいて、前記第１のフレームの基準ラインにおける統合時間の係数を測定させる、
そして、前記レンズ位置に対する前記不正な焦点値、前記第１のフレームに対する前記係数、及び前のレンズ位置に対する有効な焦点値に基づいて、前記レンス位置に対する有効な焦点値を予測させる命令をさらに備える、請求項１７のコンピュータ読取り可能媒体。
前記命令は、前記プログラム可能プロセッサに、前記第１のフレーム全体から読み出された画像情報を受け取った後で、前記レンズ位置における前記シーンに対する前記不正な焦点値を計算させる、請求項１８のコンピュータ読取り可能媒体。
前記命令は、前記プログラム可能プロセッサに、
前記第１のフレームの前記基準ラインにおける統合時間を、レンズ移動ステージ前、レンズ移動ステージ間、及びレンズ移動ステージ後に分割させる、
前記レンズ移動ステージ前における前記第１のフレームに対する前記係数のうちの第１の１つを測定させる、
前記レンズ移動ステージ間における前記第１のフレームに対する前記係数の第２の１つを測定させる、
そして、前記レンズ移動ステージ後における前記第１のフレームに対する前記係数のうちの第３の１つを測定させる、この場合、前記係数の合計は１に等しい、請求項１８のコンピュータ読取り可能媒体。
前記命令は、前記プログラム可能プロセッサに、式FV1’=a1・FV0+a2・(FV0→FV1)+a3・FV1に基づいて前記レンズ位置に対する有効な焦点値を予測させる、この場合、FV1’は前記レンズ位置に対する不正な焦点値であり、a1は前記係数の第１の１つであり、a2は前記係数の第２の１つであり、a3は前記係数の第３の１つであり、FV0は前のレンズ位置に対する有効な焦点値であり、FV0→FV1は前記前のレンズ位置及び前記レンズ位置からの移動の間の遷移焦点値である、請求項２０のコンピュータ読取り可能媒体。
前記命令は、前記プログラム可能プロセッサに、
前記第１のフレームの前記基準ラインにおける統合時間をレンズ移動ステージ前、レンズ移動ステージ間、及びレンズ移動ステージ後に分割させる、
前記レンズ移動ステージ前における前記第１のフレームに対する前記係数のうちの第１の１つを１に等しく設定させ、
前記レンズ移動ステージ間における前記第１のフレームに対する前記係数の第２の１つをゼロに等しく設定させる、
そして、前記レンズ移動ステージ後における前記第１のフレームに対する前記係数の第３の１つをゼロに等しく設定させる、請求項２０のコンピュータ読取り可能媒体。
前記命令は、前記プログラム可能プロセッサに、式FV2’=FV1に基づいて前記レンズ位置に対する有効な焦点値、FV1、を予測させる、この場合、FV2’は後続のレンズ位置に対する不正な焦点値である、請求項２２のコンピュータ読取り可能媒体。
前記レンズ位置は第１のレンズ位置を含み、プログラム可能プロセッサに、前記第１のレンズ位置に対する前記不正な焦点値を計算した後で第２のフレームの間に前記レンズを第２のレンズ位置に移動させる命令をさらに備える、請求項１７のコンピュータ読取り可能媒体。
前記プログラム可能プロセッサに、
前記第２のフレームの間での前記レンズの異なる移動ステージにおいて前記画像取込装置に含まれたセンサ・アレイからシーンに対する画像情報を受け取らせる、
前記第２のフレームからの前記画像情報に基づいて、前記第２のレンズ位置における前記シーンに対する不正な焦点値を計算させる、
前記第２のフレームの間における前記レンズの異なる移動ステージに基づいて前記第２のフレームに対する係数を測定させる、
そして、前記第２のレンズ位置に対する前記不正な焦点値、前記第２のフレームに対する前記係数、及び前記第１のレンズ位置に対する予測された焦点値に基づいて前記第２のレンス位置に対する有効な焦点値を予測させる命令をさらに備える、請求項２４のコンピュータ読取り可能媒体。
画像情報の第１のフレームの間に装置に含まれたレンズをあるレンズ位置に移動させる画像取込コントローラと、
レンズ停止であるレンズ定着の後において前記第１のフレームから前記レンズ位置における取り込みシーンに対する不正な焦点値を計算し、そして、前記不正な焦点値に基づいて前記レンズ位置における前記シーンに対する有効な焦点値を予測する予測オートフォーカス・モジュールであって、前記不正な焦点値は、レンス移動の間における統合されたイメージ・センサからのデータおよびレンス移動の後における統合された前記イメージ・センサからのデータに少なくとも一部基づいている、予測オートフォーカス・モジュールと、を備える装置。
前記第１のフレームの間での前記レンズの異なる移動ステージにおける前記シーンに対する画像情報を得るセンサ・アレイを備え、前記予測オートフォーカス・モジュールは、前記第１のフレームからの前記画像情報に基づいて前記レンズ位置における前記シーンに対する前記不正な焦点値を計算する焦点値計算モジュールを含む、請求項２６の装置。
前記予測オートフォーカス・モジュールは、前記第１のフレームの間における前記レンズの異なる移動ステージに基づいて前記第１のフレームに対する係数を測定し、そして、前記レンズ位置に対する前記不正な焦点値、前記第１のフレームに対する前記係数、及び前のレンズ位置に対する有効な焦点値に基づいて前記レンズ位置における前記シーンに対する有効な焦点値を予測するオートフォーカス・コントローラを含む、請求項２７の装置。
前記レンズ位置は第１のレンズ位置を含み、前記画像取込コントローラは、前記予測オートフォーカス・モジュールが前記第１のレンス位置に対する前記不正な焦点値を計算した後で、前記レンズを第２のレンズ位置に移動させる、請求項２６の装置。
前記画像取込コントローラは、前記シーンの複数のフレームのそれぞれの間に前記レンズを異なるレンズ位置に移動させる、
前記予測オートフォーカス・モジュールは、後続のフレームの間におけるレンズ定着の後の対応するフレームから異なるレンズ位置におけるシーンに対する不正な焦点値を計算する焦点値計算モジュール、及び、対応するレンズ位置に対する前記不正な焦点値に基づいて前記異なるレンズ位置のそれぞれにおけるシーンに対する有効な焦点値を予測するオートフォーカス・コントローラを含む、請求項２６の装置。
前記オートフォーカス・コントローラは、前記予測された焦点値に基づいて前記シーンに対する前記レンズ位置の１つを選択し、そして、前記レンズ位置の前記選択された１つを前記画像取込コントローラに送る、
前記画像取込コントローラは、前記レンズ位置の前記選択された１つを用いて前記シーンの画像フレームを取込むセンサ・アレイをさらに備える、請求項３０の装置。
前記予測オートフォーカス・モジュールは、前記不正な焦点値に基づいて前記レンズの次のレンズ位置を決定し、そして前記レンズに対する移動ステップ・サイズ及び移動方向を含む移動情報を前記画像取込コントローラに送るレンズ移動モジュールを含む、
前記画像取込コントローラは、前記移動情報に基づいて前記レンズを前記決定された次のレンズ位置に移動させる、請求項３０の装置。
前記第１のフレームの始めにおいて、装置に含まれたセンサ・アレイの各ラインによる前記シーンに対する画像情報の統合を始めるセンサ・アレイをさらに備えており、
前記画像取込コントローラは、前記第１のフレーム全体に対する前記センサ・アレイの各ラインからの前記シーンに対する画像情報の読み出しを完了する、
前記予測オートフォーカス・モジュールは、前記第１のフレームの間における前記レンズの異なる移動ステージに基づいて前記第１のフレームの基準ラインにおいて統合時間の係数を測定するオートフォーカス・コントローラを含む、そして、
前記オートフォーカス・コントローラは、前記レンズ位置に対する前記不正な焦点値、前記第１のフレームに対する前記係数、及び前のレンズ位置に対する有効な焦点値に基づいて有効な焦点値を予測する、請求項２６の装置。
前記予測オートフォーカス・モジュールは、前記第１のフレーム全体から読み出された画像情報を受け取った後で前記レンズ位置における前記シーンに対する不正な焦点値を計算する焦点値計算モジュールを含む、請求項３３の装置。
前記オートフォーカス・コントローラは、
前記第１のフレームの前記基準ラインにおける統合時間を、ゼンズ移動ステージ前、ゼンズ移動ステージ間、及びゼンズ移動ステージ後に分割する、
前記レンズ移動ステージ前において前記第１のフレームに対する前記係数の第１の１つを測定する、
前記レンズ移動ステージ間において前記第１のフレームに対する前記係数の第２の１つを測定する、
そして、前記レンズ移動ステージ後において前記第１のフレームに対する前記係数の第３の１つを測定する係数測定モジュールを含み、前記係数の合計は１に等しい、請求項３３の装置。
前記オートフォーカス・コントローラは、式FV1’=a1・FV0+a2・(FV0→FV1)+a3・FV1に基づいて前記レンズ位置に対する有効な焦点値を予測する予測アルゴリズム・ユニットを含んでおり、この場合、FV1’は前記レンズ位置に対する不正な焦点値であり、a1は前記係数の第１の１つであり、a2は前記係数の第２の１つであり、a3は前記係数の第３の１つであり、FV0は前のレンズ位置に対する有効な焦点値であり、FV0→FV1は前記前のレンズ位置及び前記レンズ位置からの移動の間の遷移焦点値である、請求項３５の装置。
前記オートフォーカス・コントローラは、
前記第１のフレームの前記基準ラインにおける統合時間をレンズ移動ステージ前、レンズ移動ステージ間、及びレンズ移動ステージ後に分割する、
前記レンズ移動ステージ前における前記第１のフレームに対する前記係数のうちの第１の１つを１に等しく設定する、
前記レンズ移動ステージ間における前記第１のフレームに対する前記係数のうちの第２の１つをゼロに等しく設定する、
そして、前記レンズ移動ステージ後における前記第１のフレームに対する前記係数のうちの第３の１つをゼロに等しく設定する、係数測定モジュールを含む、請求項３３の装置。
前記オートフォーカス・コントローラは、式FV2’=FV1に基づいて前記レンズ位置に対する有効な焦点値、FV1、を予測する予測アルゴリズム・ユニットを含んでおり、この場合、FV2’は後続のレンズ位置に対する不正な焦点値である、請求項３７の装置。
画像取込装置に含まれたレンズの第１のレンズ位置におけるシーンに対するエラーのある焦点値である不正な焦点値を、前記第１のレンズ位置におけるレンズ停止であるレンズ定着の後に前記第１のフレームから計算し、そして、前記第１のレンズ位置に対する前記不正な焦点値に基づいて前記第１のレンズ位置におけるシーンに対するエラーのない焦点値である有効な焦点値を予測する予測オートフォーカス・モジュールと、
前記第１のレンズ位置に対する前記不正な焦点値を計算した後で第２のフレームの間に前記レンズを第２のレンズ位置に移動させる画像取込コントローラと、を備える装置。
前記予測オートフォーカス・モジュールは、第３のフレームの間における前記第２のレンズ位置前でのレンズ定着の後における前記第２のフレームから前記第２のレンズ位置におけるシーンに対する不正な焦点値を計算し、そして、前記第２のレンズ位置に対する前記不正な焦点値に基づいて前記第２のレンズ位置におけるシーンに対する有効な焦点値を予測する、請求項３９の装置。
第２のフレームの間の前記レンズの異なる移動ステージにおけるシーンに対する画像情報を得るセンサ・アレイをさらに備えており、前記予測オートフォーカス・モジュールは、
前記第２のフレームからの前記画像情報に基づいて前記第２のレンズ位置におけるシーンに対する不正な焦点値を計算する焦点値計算モジュールと、
前記第２のフレームの間の前記レンズの異なる移動ステージに基づいて前記第２のフレームに対する係数を測定し、そして、前記第２のレンズ位置に対する前記不正な焦点値、前記第２のフレームに対する前記係数、及び前記第１のレンズ位置に対する前記予測された焦点値に基づいて前記第２のレンズ位置に対する有効な焦点値を予測するオートフォーカス・コントローラと、を含む、請求項３９の装置。
第１のフレームの間に装置に含まれたレンズを第１のレンズ位置に移動させるための手段と、
前記第１のレンズ位置におけるレンズ停止であるレンズ定着の後で前記第１のフレームから前記第１のレンズ位置におけるシーンに対するエラーのある焦点値である不正な焦点値を計算し、そして、前記不正な焦点値に基づいて前記第１のレンズ位置におけるシーンに対するエラーのない焦点値である有効な焦点値を予測するための手段と、を備える装置であり、前記レンズを移動させるための手段は、前記第１のレンズ位置に対する前記不正な焦点値の計算の後の第２のフレームの間に前記レンズを第２のレンズ位置に移動させる、装置。