JP4768028B2 - 画像キャプチャの方法およびデバイス - Google Patents

Description

本発明は画像キャプチャデバイスおよび音声キャプチャデバイスに関する。

画像キャプチャ中に音声信号をキャプチャし、キャプチャされた音声信号をカメラ制御および注釈の目的など、種々の目的に使用することにより、スチル画像写真の撮影を向上させるスチル画像カメラを提供する多くの試みがなされてきた。同一出願人による特許文献１においては、音声が個々の露光フレームに関連付けられて写真フィルムカメラに記録される。この特許では、カメラによって受信された音声は、まず、デジタル化され、カメラ内の一次記憶メモリに記憶され、必要に応じて、再生の検討および編集を可能にするためにカメラに搭載されたスピーカにより再生が可能になる。カメラ内でフィルムが次の露光フレームに進められるときに、デジタル音声信号はフィルム上に形成される磁気層に記録される。写真仕上げ装置において、デジタル音声信号は、読み込まれ、バーコードまたは２進化ブリスタマークなどの適切な符号化フォーマットに変換され、その後の再生のために写真プリントに記録される。特許文献１の特許においては、ユーザが音を記録させるために起動するスイッチが備えられている。

多くの従来のデジタルカメラは、ビデオ画像キャプチャモードでこのようなカメラが操作されるときにのみ使用可能な音声キャプチャ機能を提供している。他の従来のデジタルカメラは音声キャプチャ機能を提供しないか、または画像および音声キャプチャの１つのモードのみを提供する。

特許文献２は、画像をキャプチャすることと、音の通路をキャプチャすることと、前記画像に関連したさらなる情報をキャプチャすることと、前記画像をプリントしてプリント画像を形成することと、前記音の通路を音情報として電子ストレージデバイスに書き込むことと、さらなる情報を前記電子ストレージデバイスにさらに書き込むことと、前記電子ストレージデバイスを前記プリント画像に固定することと、前記音の通路を定義する情報が音として再生されるために前記電子ストレージデバイスから転送されること、およびさらなる情報が使用の目的で前記電子ストレージデバイスから転送されることを共にまたは個別に可能にするために１つ以上のデバイスを前記電子ストレージデバイスに接続することと、を含む、画像を関連の音と共に表示するための方法を提供している。特許文献２の特許において、この方法で有用なカメラは、記録を開始および停止させる、特定の記録を特定の画像に関連付ける手段と、好ましくは所定の記録が進行中のときに表示する手段および音の再生のための手段と、を含む、特定の基本制御機能および表示機能を備えることができることに留意されたい。オプションのフィーチャには、写真の撮影と同期化される（画像キャプチャの時点で開始または停止する）、または音キャプチャ中の事前定義された時点で発生する画像キャプチャと同期化される音声の記録、および他の従来の音の記録フィーチャ（ステレオ、雑音の低減等）がある。しかし、特許文献２の特許は、記録を開始および停止させる手段が何を有しているか、または音声キャプチャのための記録フィーチャを確立するためにどんな制御または手段が提供されるかを記載していないことが理解されよう。

米国特許第５２７６４７２号明細書 米国特許第６９３１２０１号明細書

したがって、当技術分野において、キャプチャされている画像の種類、特定の画像キャプチャ条件またはそのような音声信号の特定の使い方に最も有用に自動音声キャプチャを使用可能にするようになされた画像キャプチャデバイスが必要とされている。

本発明の１つの態様において、画像キャプチャデバイスが提供されている。前記画像キャプチャデバイスは、光を画像キャプチャセンサに集めるための光学システムと、前記画像キャプチャセンサと協働して前記画像キャプチャセンサに集められた光を電子画像に変換するようになされた画像形成回路と、を有する画像キャプチャシステムと、変換器における音波エネルギー入射のパターンを、前記音波エネルギーのパターンを表す電子音声信号に協働して変換するようになされた変換器および音声処理回路を有する音声キャプチャシステムと、手動キャプチャ入力および手動モード選択入力を備えたユーザ入力システムであって、前記キャプチャ入力が静止位置からキャプチャ位置に動かされたときにキャプチャ信号を生成し、複数のモード選択入力の設定のうちの１つの設定を示すモード選択信号を生成するユーザ入力システムと、前記画像キャプチャシステムがキャプチャ信号に応答して少なくとも１つの画像をキャプチャするようになされたコントローラであって、さらに、開始時間に始まり終了時間に終わる音声キャプチャ時間フレーム内で、変換器における音波エネルギー入射のパターンを表す電子音声信号を音声キャプチャユニットにキャプチャさせるようになされ、さらに、キャプチャされた画像を電子音声信号に関連付けるようになされたコントローラと、を有し、このコントローラは、モード選択に基づいて開始時間および終了時間の少なくとも１つを判定する。

本発明の別の態様において、画像キャプチャデバイスが提供されている。前記画像キャプチャシステムは、光を画像キャプチャセンサに集めるための光学システムと、前記画像キャプチャセンサと協働して前記画像キャプチャセンサに集められた光を電子画像に変換するようになされた画像形成回路と、変換器における音波エネルギー入射のパターンを、そのパターンを表す電子音声信号に協働して変換するようになされた変換器および音声処理回路を有する音声キャプチャシステムと、手動キャプチャ入力および手動モード選択入力を備えたユーザ入力システムであって、前記キャプチャ入力が静止位置からキャプチャ位置に動かされたときにキャプチャ信号を生成し、複数のモード選択入力の設定のうちの１つの設定を示すモード選択信号を生成するユーザ入力システムと、前記画像キャプチャシステムに、キャプチャ信号が受信されたときに画像をキャプチャさせるようになされたコントローラであって、さらに、音声キャプチャシステムに、前記変換器における前記音波エネルギー入射をサンプリングさせて、少なくとも２つの異なるサンプリングパターンの１つに従って電子音声信号を形成させるようになされ、少なくとも２つの異なるサンプリングパターンのそれぞれが少なくとも２つの画像キャプチャモード設定の異なる１つに関連付けられる、コントローラと、を有し、このコントローラは、モード選択信号に基づいてサンプリングパターンを選択し、キャプチャ信号が受信された時間に基づいて判定される時間に、前記サンプリングパターンに従ってサンプリングを開始する。

本発明のさらに別の態様において、画像キャプチャシステムおよび音声キャプチャシステムを動作させるための方法が提供されている。前記方法は、画像キャプチャの少なくとも２つのモード間の選択を検出するステップと、音声キャプチャデバイスによって検出された音に基づいて電子音声信号を提供するための少なくとも１つの音声キャプチャ特性を、画像キャプチャの選択されたモードに基づいて判定するステップと、画像キャプチャの前記選択されたモードに従って画像をキャプチャするステップと、前記判定された音声特性に従って、音声キャプチャシステムによって検出された音に基づいて電子音声信号を提供するステップと、前記キャプチャされた画像と電子音声信号とを関連付けるステップと、を含む。

図１は、デジタルカメラ１２を有する画像キャプチャデバイス１０の１つの実施形態のブロック図である。図２は、図１の画像キャプチャデバイス１０の上面、背面、右側面斜視図である。図１および図２に示されているとおり、画像キャプチャデバイス１０は、レンズシステム２３、画像センサ２４、信号プロセッサ２６、オプションのディスプレイドライバ２８およびディスプレイ３０を備えた画像キャプチャシステム２２を収容する本体２０を有している。動作時、画像センサ２４上で画像を形成するためにシーンからの光がレンズシステム２３によって集められる。レンズシステム２３は、１つ以上の構成要素を有することができる。レンズシステム２３は、固定フォーカスタイプであり得るし、または手動もしくは自動的に調整可能であり得る。レンズシステム２３は、オプションで、手動または自動的に変更できる可変ズームを提供するように調整可能である。レンズシステム２３はオプションでレンズドライバ２５、例えば、自動的に調整可能なズームまたはフォーカスを提供するために自動的にレンズ構成要素を動かすモータ機構などを使用する。他の既知の機構をレンズシステム２３用に使用できる。

レンズシステム２３によって画像センサ２４に集められたシーンからの光は、そのシーンの画像を表す画像信号に変換される。画像センサ２４は、電荷結合デバイス（ＣＣＤ，charge coupled device）、相補形金属酸化膜半導体（ＣＭＯＳ，complementary metal oxide semiconductor）、または当業者に周知のいずれか他の電子画像センサを有することができる。画像信号はデジタル形式またはアナログ形式にすることができる。

信号プロセッサ２６が画像センサ２４から画像信号を受信し、その画像信号をデジタルデータの形式のデジタル画像に変換する。例示された実施形態において、信号プロセッサ２６はアナログ／デジタル変換機能を備えている。別法として、画像信号を、信号プロセッサ２６に次いで提供されるデジタルデータに変換するための分離したアナログ／デジタル変換器（図示せず）を設けることができる。後者の実施形態において、信号プロセッサ２６はデジタルデータをデジタル画像に変換するようになされたデジタル信号プロセッサを備えることができる。このデジタル画像は、１つ以上のスチル画像、複数のスチル画像および／またはビデオセグメントなど、明らかに動く画像のストリームを含むことができる。このデジタル画像データが明らかに動く画像のストリームを有している場合、そのデジタル画像データは、インターリーブまたはインターレース画像形成で記憶された画像データ、一連のスチル画像、および／またはビデオの分野の当業者に周知の他の形式を有することができる。

信号プロセッサ２６は、デジタル画像の形成時、画像信号に種々の画像処理アルゴリズムを適用することができる。これらは、カラーと露光の平衡化、補間、および圧縮を含むことができるが、それらに限定されるわけではない。

画像処理動作中、コントローラ３２は、画像キャプチャシステム２２を含むが、これに限定されるわけではない画像キャプチャデバイス１０、ディスプレイ３０、およびメモリ４０などのメモリの動作を制御する。コントローラ３２は、ユーザ入力システム３４から受信された信号、信号プロセッサ２６からのデータ、およびオプションのセンサ群３６から受信されたデータに応答して画像センサ２４、信号プロセッサ２６、メモリ４０およびディスプレイ３０に画像をキャプチャ、処理、記憶、および表示させるようにする。コントローラ３２は、プログラム可能汎用マイクロプロセッサ、専用マイクロプロセッサまたはマイクロコントローラなどのマイクロプロセッサ、あるいは画像キャプチャデバイス１０の動作を制御するために使用できる任意の他のシステムを有することができる。

コントローラ３２はユーザ入力システム３４と協働して画像キャプチャデバイス１０がユーザと対話できるようにする。ユーザ入力システム３４は、任意の形態の変換器、またはユーザから入力を受信して、この入力を、画像キャプチャデバイス１０を動作させるときにコントローラ３２によって使用されることができる形式に変換することができる他のデバイスを備えることができる。例えば、ユーザ入力システム３４はタッチ画面入力、タッチパッド入力、４ウェイスイッチ、６ウェイスイッチ、８ウェイスイッチ、針システム、トラックボールシステム、ジョイスティックシステム、音声認識システム、ジェスチャ認識システム、またはその他類似のシステムを有することができる。図１および図２に示された実施形態において、ユーザ入力システム３４は、画像をキャプチャしたいことを示すトリガ信号をコントローラ３２に送信するキャプチャボタン６０を備えている。

図１および図２に示された画像キャプチャデバイス１０の実施形態において、ユーザ入力システム３４は、コントローラ３２と協働して、広角ズームボタン６２が押されてズームアウトするとき、およびテレズームボタン６４が押されてズームアウトするとき、レンズシステム２３にズームアウトさせるレンズシステム２３のズーム設定を制御する広角ズームボタン６２およびテレズームボタン６４も備えている。広角ズームレンズボタン６２およびテレズームボタン６４は、信号プロセッサ２６に画像信号を、信号プロセッサ２６によって形成されるデジタル画像が、実際に光学レンズシステムによって提供されたものとは異なるズーム設定でキャプチャされたように見えるように処理させる信号を供給するためにも使用できる。これは、画像信号のサブセットを使用し、デジタル画像を形成するためにその画像信号のサブセットを補間することによって行うことができる。ユーザ入力システム３４は、図２に示されたジョイスティック６６を含む他のボタン群、モード選択ボタン６７、および図２に示された「それを選択」ボタン６８を備えることも可能であり、それらの働きについて以下で、より詳しく説明する。

センサ群３６はオプションであり、光センサ、位置センサ、および画像キャプチャデバイス１０を取り囲む環境での条件を検出し、この情報を、画像キャプチャデバイス１０の動作を管理するときにコントローラ３２によって使用できる形式に変換するために使用されることが可能な、当技術分野で周知の他のセンサを含むことができる。オプションのレンジファインダ２７も被写体への距離などの条件を検出するために使用することができる。センサ群３６は、安全および情緒的画像処理の目的でユーザの特徴を検出するようになされた生体センサを含むこともできる。

コントローラ３２は、トリガ条件が検出されると、画像信号および対応するデジタル画像が形成されるようにする。典型的には、トリガ条件は、ユーザがキャプチャボタン６０を押したときに発生するが、コントローラ３２は、特定の時間に、またはキャプチャボタン６０が押された後の特定の時間に、トリガ条件が存在することを判定することができる。別法として、コントローラ３２は、オプションのセンサ群３６が赤外光のパルスなどの特定の環境条件を検出したときに、トリガ条件が存在することを判定することができる。

コントローラ３２は、各画像に関連付けられたメタデータを生成するためにも使用されることができる。メタデータは、デジタル画像またはデジタル画像の一部に関連付けられているが、画像データ自体の中で必ずしも可観測ではないデータである。この点では、コントローラ３２は、信号プロセッサ２６、カメラのユーザ入力システム３４、および他のセンサ群３６から信号を受信することができ、オプションで、そのような信号に基づいてメタデータを生成する。このメタデータは、アーカイブ画像がキャプチャされた日時、画像センサ２４のタイプ、モード設定情報、集積時間情報、アーカイブ画像およびプロセスをキャプチャするために使用されたプロセスを特徴付ける撮影レンズユニット設定情報、アーカイブ画像を形成するために画像キャプチャデバイス１０によって使用された方法およびアルゴリズムなどの情報を含むことができるが、それらに限定されるわけではない。メタデータは、画像キャプチャデバイス１０を識別する情報など、コントローラ３２によって判定されたか、もしくは画像キャプチャデバイス１０内のいずれかのメモリに記憶されている他の情報、および／またはレンダリングするため、もしくは、そうでない場合、そのメタデータが関連付けられるデジタル画像を処理するための指示も含むことができるが、それらに限定されるわけではない。また、メタデータは、特定のメッセージが表示されたときにデジタル画像にそのメッセージを組み込むための指示を含むことができる。そのようなメッセージは、デジタル画像が表示されるか、またはレンダリングされるときに、レンダリングすべきテキストメッセージであり得る。また、メタデータは音声信号を含むことができる。メタデータはデジタル画像データをさらに含むことができる。また、メタデータは、画像キャプチャデバイス１０に入力された他のどのような情報も含むことができる。

デジタル画像およびオプションのメタデータは圧縮形式で記憶されることが可能である。例えば、デジタル画像が一連のスチル画像を有している場合、そのスチル画像は、ＪＰＥＧ（Joint Photographic Experts Group）ＩＳＯ １０９１８−１（ＩＴＵ−Ｔ．８１）規格を使用したりして圧縮形式で記憶されることができる。このＪＰＥＧ圧縮画像データは、日本電子情報技術産業協会ＪＥＩＴＡ（Japan Electronics and Information Technology Industries Association）ＣＰ−３４５１によって公開されたExchangeable Image File Formatバージョン２．２で定義された、いわゆる「Ｅｘｉｆ」画像フォーマットを使用して記憶される。同様に、ビデオ形式のデジタル画像を記憶するためにＭＰＥＧ−４（Motion Pictures Export Group）またはＡｐｐｌｅ Ｑｕｉｃｋｔｉｍｅ（商標）規格など、他の圧縮システムが使用されることができる。他の画像圧縮および記憶形式が使用されることができる。また、コントローラ３２は、典型的には、画像キャプチャデバイス１０によってキャプチャされない画像と一緒に準備されるメタデータを使用、処理、編集、および記憶するようになされている。

デジタル画像およびメタデータはメモリ４０などのメモリに記憶されることができる。メモリ４０は、ソリッドステート、磁気、光、または他のデータストレージデバイスなど、従来のメモリデバイスを備えることができる。メモリ４０は画像キャプチャデバイス１０内に固定されることができるし、または取外し可能にすることもできる。図１の実施形態において、画像キャプチャデバイス１０は、取外し可能メモリカードなどの取外し可能メモリ４８を保持し、取外し可能メモリ４８と通信するための取外し可能メモリインターフェース５０を備えたメモリカードスロット４６を有することが示されている。また、デジタル画像およびメタデータは、画像キャプチャデバイス１０の外部の、パーソナルコンピュータ、コンピュータネットワークまたは他の画像処理システムなどのリモートメモリシステム５２に記憶されることができる。

図１および図２に示された実施形態において、画像キャプチャデバイス１０はリモートメモリシステムと通信するための通信モジュール５４を備えている。通信モジュール５４は、例えば、画像および他のデータを、光信号、無線周波数信号、または他の形式の信号によってリモート画像処理システムに送られることができる形式に変換する光変換器、無線周波数変換器、または他の変換器であってよい。また、通信モジュール５４は、デジタル画像および他の情報をホストコンピュータまたはネットワーク（図示せず）から受信するために使用されることができる。また、コントローラ３２は、通信モジュール５４によって受信された、リモートトリガボタン（図示せず）などのリモートコントロールデバイス（図示せず）からの信号を含むが、それに限定されるわけではない信号から情報および指示を受信し、そのような信号に従って画像キャプチャデバイス１０を動作させることができる。通信モジュール５４は、図１に示したように、画像キャプチャデバイス１０の一体形コンポーネントにすることができるか、または、画像キャプチャデバイス１０に挿入されるか、そうでない場合には、画像キャプチャデバイス１０に取り付けられるカードなどの、画像キャプチャデバイス１０に取り付けられるコンポーネントにすることができる。そのようなカードの１つの例として、Institute of Electrical and Electronics Engineering 802.11(b)規格を用いて通信を可能にし、イーストマン コダック社（Eastman Kodak Company）、ロチェスター、ニューヨーク、米国によって販売されるコダックＷＩ−ＦＩカード（Kodak WI-FI card）がある。

また、信号プロセッサ２６は、オプションで、画像信号またはデジタル画像を使用して、キャプチャされた画像データに対応するように見え、ディスプレイ３０で表示されるようになされた評価画像を形成する。これにより、画像キャプチャデバイス１０のユーザは、例えば、画像キャプチャシステム２２によってキャプチャされた画像、そうでない場合には、メモリ４０、取外し可能メモリ４８などのメモリに記憶されている画像、または通信モジュール５４によって受信された画像などの画像キャプチャデバイス１０に用意されているデジタル画像を見ることができる。ディスプレイ３０は、例えば、カラー液晶表示（ＬＣＤ，liquid crystal display）、有機電界発光表示（ＯＥＬＤ，organic electroluminescent display）としても知られる有機発光表示（ＯＬＥＤ，organic light emitting display）、または他のタイプのビデオ表示を有することができる。ディスプレイ３０は、図２に示されているように、外部であってもよいし、または、例えば、ビューファインダシステム３８で使用されるように、内部であってもよい。あるいは、画像キャプチャデバイス１０は、例えば、１つは外部、１つは内部の２つ以上のディスプレイを備えることができる。

また、信号プロセッサ２６およびコントローラ３２が協働して、テキスト、図形、アイコン、および他の情報などの他の画像がディスプレイ３０に表示されるように生成することができ、それにより、コントローラ３２と画像キャプチャデバイス１０のユーザとの間の対話的な通信が可能になり、ディスプレイ３０は画像キャプチャデバイス１０のユーザに情報を提供し、画像キャプチャデバイス１０のユーザはユーザ入力システム３４を用いて画像キャプチャデバイス１０に情報を対話的に供給することができる。また、画像キャプチャデバイス１０は、セグメント化されたＬＣＤまたはＬＥＤディスプレイ（図示せず）などの他のディスプレイを備えることができ、それにより、やはり、信号プロセッサ２６および／またはコントローラ３２が画像キャプチャデバイス１０のユーザに情報を提供できるようになる。この機能は、動作モードの確立、制御設定の入力、ユーザ選択、ならびに画像キャプチャデバイス１０のユーザへの警告および指示の出力など、種々の目的に使用される。また、既知のシステム、ならびに音声信号、振動、ハプティックフィードバックおよび他の形式の信号を生成するためのアクチュエータなどの他のシステムが、画像キャプチャデバイス１０のユーザに情報、フィードバック、および警告を与えるときに使用されるように画像キャプチャデバイス１０に組み込まれることができる。

典型的には、ディスプレイ３０は画像センサ２４より低い画像解像度を有する。したがって、信号プロセッサ２６は、ディスプレイ３０での表示に適合する評価画像の形成時、画像信号またはデジタル画像の解像度を下げる。全体の画像解像度を下げるためのダウンサンプリングおよび他の従来の技術が使用できる。例えば、１９９０年３月１５日にクフタら（Kuchta et al.）によって出願された、同一出願人による米国特許第５１６４８３１号「Electronic Still Camera Providing Multi-Format Storage Of Full And Reduced Resolution Images」に記載されているようなリサンプリング技術が使用できる。評価画像は、オプションで、メモリ４０などのメモリに記憶されることができる。評価画像は、ディスプレイ３０を駆動するために使用できるオプションのディスプレイドライバ２８に供給されるようになされることができる。あるいは、評価画像は、ディスプレイ３０に評価画像を直接表示する形式で信号プロセッサ２６によって送信できる信号に変換されてもよい。これが行われる場合、ディスプレイドライバ２８は省略できる。

画像キャプチャデバイス１０は、上記の画像キャプチャシステム２２の画像センサ２４および他のコンポーネントを用いてデジタル画像をキャプチャする。デジタル画像をキャプチャするために使用できる画像処理動作は、キャプチャプロセスを含み、オプションで、合成プロセスおよび検証プロセスも含むことができる。

オプションの合成プロセス中、コントローラ３２は、信号プロセッサ２６に、画像センサ２４と協働して、デジタル画像をキャプチャし、ディスプレイ３０で対応する評価画像を表示させるようにする。図１および図２に示された実施形態において、コントローラ３２は、キャプチャボタン６０が半押し位置に動かされたとき、画像合成フェーズに入る。ただし、いつ合成フェーズに入るかを判定する他の方法を使用できる。例えば、ユーザ入力システム３４の１つである、例えば図２に示されたモード選択ボタン６７が画像キャプチャデバイス１０のユーザによって押されると、コントローラ３２によって、合成フェーズに入る指示として解釈されることができる。合成中に表示される評価画像は、ユーザがデジタル画像のキャプチャ用にシーンを合成するのに役立つ。

キャプチャプロセスは、コントローラ３２が、トリガ条件が存在することを判定したことに応答して実行される。図１および図２の実施形態において、キャプチャボタン６０が全押し状態に動かされ、コントローラ３２が、コントローラ３２がトリガ信号を検出したときに、トリガ条件が存在することを判定すると、トリガ信号が生成される。キャプチャプロセス中、コントローラ３２がキャプチャ信号を送信し、その結果、信号プロセッサ２６が画像センサ２４から画像信号を入手し、その画像信号を処理してデジタル画像を含むデジタル画像データを形成する。このデジタル画像に対応する評価画像が、オプションで、画像信号に基づいて信号プロセッサ２６によってディスプレイ３０での表示用に形成される。１つの代替の実施形態では、信号プロセッサ２６は各画像信号をデジタル画像に変換し、次いでそのデジタル画像から評価画像を取り出す。

検証プロセス中、対応する評価画像がディスプレイ３０に供給され、一定時間表示される。これによって、ユーザは、デジタル画像が好ましく見えることを検証することができる。

デジタル画像は、画像キャプチャデバイス１０によって、画像キャプチャとは別のやり方で受信されてもよい。例えば、デジタル画像は、そのような画像が、メモリインターフェース５０に挿入される取外し可能メモリに記録されたとき、画像キャプチャデバイス１０に送られることができる。あるいは、デジタル画像は、通信モジュール５４を経由しても受信されることができる。例えば、通信モジュール５４がセルラ電話網を経由して通信するようになされている場合、通信モジュール５４は、セルラ電話番号、または例えばデジタルカメラを備えた電話のユーザなどのセルラ電話網の別のユーザが画像キャプチャデバイス１０との通信リンクを確立し、通信モジュール５４によって受信できる画像を伝送するために使用できる他の識別番号に関連付けられことができる。

図１および図２に示されているように、画像キャプチャデバイス１０のユーザ入力システム３６は、キャプチャボタン６０、テレズーム設定入力６４、広角ズーム設定入力６２、「それを選択」入力６６、およびモード選択スイッチ６７、およびジョイスティック６８など、様々なユーザ入力機能を提供することができる。コントローラ３２は、テレズーム設定入力６４および広角ズーム設定入力６２から受信された信号に応答して画像キャプチャシステムの有効ズーム率を上げたり、下げたりするようになされている。

モード選択スイッチ６７を用いて、撮影者は、画像キャプチャデバイス１０を使用して
画像をキャプチャするための１組の可能な画像キャプチャモードのうちの１つを手動で選択することができる。図２に示された実施形態において、ユーザ入力は、画像をキャプチャするために使用される画像キャプチャ設定がコントローラ３２によって自動的に判定される自動モード、画像をキャプチャするために使用される設定がユーザ入力および／またはユーザ選択に基づいて判定される手動モード、速く変化するシーンのキャプチャ用に最適化される画像キャプチャ設定を用いて画像がキャプチャされるアクションモード、ならびにコントローラ３２が、概ね静止したシーンの画像キャプチャ用に最適化される画像キャプチャ設定を用いて画像がキャプチャされるようにするポートレートモードなど、複数の異なる画像キャプチャモードを提供する。

また、コントローラ３２は、ディスプレイに表示された画像をナビゲートし、決定する際に使用される入力をユーザが行うことを可能にするために、ジョイスティック６８からの信号を使用するようになされている。

図１および図２の実施形態において、画像キャプチャデバイス１０は、音波エネルギーを受信し、音声処理回路７４に供給される信号を生成するマイクロフォン７２の形態で入力変換器を備えた音声キャプチャシステム７０を有する。音声処理回路７４は、マイクロフォン７２から受信された信号を、変換器における音波エネルギー入射のパターンを表す電子音声信号に変換するようになされている。音声処理回路７４は、さらに、コントローラ３２からの信号を受信し、スピーカ７６に可聴音を生成させるようになされている。

典型的には、モード選択スイッチ６７は、画像キャプチャデバイス１０に画像を特定のやり方でキャプチャするように指示する。例えば、風景モードでは、オプションのフラッシュシステム（図示せず）は使用不可にされ、レンズシステム２３は、遠景の写真を予測して無限大に焦点が合わされる。スポーツモードでは、画像キャプチャシステム２２は、画像が俊敏に動く運動選手および物を捕らえそうなので、利用できる明るさで可能な最速のキャプチャ設定に設定される。ビデオモードでは、複数の画像の集まりなど、画像情報のストリームが音声と共にキャプチャされる。

本発明に従うと、モード選択は、画像キャプチャデバイス１０の画像キャプチャパラメータのセットアップの選択の範囲を越えて使用されることができる。コントローラ３２は、音声キャプチャシステム７０に、キャプチャされた画像に関連付けるための音声を画像キャプチャモードセレクタに基づいてキャプチャさせるように動作可能である。

図３は、図１および図２の画像キャプチャデバイス１０を動作させるための方法の１つの実施形態を示している。図３に示されているように、この方法の第１のステップは、コントローラ３２が、画像キャプチャモード選択が行われたこと（ステップ８０）を判定したときに実行される。画像キャプチャデバイス１０は、少なくとも２つのモードで動作可能であり、各モードは、コントローラ３２および／または音声キャプチャシステム７０によって、画像キャプチャデバイス１０が選択された画像キャプチャモードにあるときに、電子音声信号をキャプチャするために使用される音声キャプチャ特性に関連付けられている。

モード選択の判定は、典型的には、ユーザ入力システム３４とのユーザの対話に基づく。例えば、図２に示されているように、ユーザ入力システム３４は、モード選択スイッチ６７および「それを選択」ボタン６８を備えている。１つの実施形態において、モード選択スイッチ６７が押されると、コントローラ３２に２つ以上の画像キャプチャモードオプションのシーケンスをディスプレイ３０に表示させるようにする信号がコントローラ３２に送信されることができる。所望のモードが現れたら、ユーザは、選択された動作モードを示すために「それを選択」ボタン６８を押すことができる。

別の実施形態では、アイコン１００、１０２、１０４、１０６、および１０８によって示される多数の設定に設定可能な複数位置スイッチ（図示されず）を取り付けることができる。この実施形態では、コントローラ３２は、このスイッチの設定に基づいて画像キャプチャモードの選択を判定するようになされている。本発明のさらに別の実施形態では、コントローラ３２および／または信号プロセッサ２６は、シーンの一時的画像をキャプチャし、その一時的画像の分析に基づいてシーンの画像をキャプチャするために使用する、提案された画像キャプチャモードを自動的に選択するようになされていてよい。

図２および図３に示されている画像キャプチャデバイス１０の実施形態において、画像キャプチャデバイス１０は６つのモード、すなわち、スポーツモード、従来のバーストモード、ビデオバーストモード、マクロ（クローズアップ）モード、イベントモードおよび子供モードで動作可能である。コントローラ３２は、ユーザがモードの選択を行ったときを検出する。次いで、コントローラ３２は、音声キャプチャシステム７０によって検出された音に基づいて電子音声信号を供給するための少なくとも１つの音声キャプチャ特性を判定する（ステップ８２）。

図３の実施形態に示されているように、判定ステップ（ステップ８２）は、選択された音声キャプチャモードに基づいて電子音声信号を供給するための音声特性を判定することに関与する。典型的には、これらの特性は、画像キャプチャデバイス１０が製造されるときに、画像キャプチャデバイス１０の中に事前プログラミングされ、メモリ４０に記憶される。これらの特性は、コントローラ３２および音声キャプチャシステム７０が、キャプチャされる画像のタイプ、そのような画像のユーザの典型的な使い方、およびそのような画像をキャプチャするときにユーザが直面する状況によく適合する音声データを生成できるようにすることが意図されている。オプションで、これらの特性はユーザによって調整可能またはプログラミング可能である。そのようなユーザは、ユーザ入力システム３４を用いて、または電子メモリ、またはコンピュータネットワーク、または電気通信ネットワークなどのソースから事前プログラミングされた設定をダウンロードすることにより、特性を調整することができる。

例えば、図３の実施形態において、スポーツモードが選択されたことを示す信号をコントローラ３２が検出すると、コントローラ３２は、メモリ４０から、キャプチャされた各スポーツ画像に対応する低忠実度のモノラル音ファイルをキャプチャすることを判定する。スポーツモードで使用される低忠実度の音声モードは、そのような音声は単に興奮の感じまたはイベントの雰囲気を伝えるためにキャプチャされるので、スポーツモードの写真には十分であると考えられる。メモリ４０の容量が重要である場合、あるいはメモリを非効率的に使用しないようにするために、または不必要に画像の記憶または共用をより不便にしないようにするために、音声データファイルの共用の行為を単純化するなどの他の理由で音声データファイルのサイズが重要である場合にも、低忠実度の音声を使用できる。コントローラ３２は、そのような音声をキャプチャするためのサンプリングパターンを判定することができる。このサンプリングパターンは、サンプリング率、または忠実度の設定に基づくサンプリングのビット深度を含むことができる。

また、コントローラ３２は、スポーツモード画像のキャプチャ時間に対して相対的な、音声サンプリングの開始時間および停止時間を判定することができる。この例では、開始時間は、３秒のプリキャプチャ音声を含み、このプリキャプチャ音声は、スポーツモード画像のキャプチャの直前にキャプチャされる音声であり、かつ、スポーツモード画像のキャプチャの瞬間後の５秒以内にキャプチャされた音声を含む５秒のポストキャプチャ音声を含む。重要なことは、ユーザが、画像キャプチャデバイスの設定を手動で調整し、音声キャプチャのために画像キャプチャデバイス１０をこのように構成する作業に煩わされないことである。

図１から図３の実施形態において、画像キャプチャデバイス１０は、オプションで、バッファ音声信号をキャプチャし、これらをバッファ内に電子形式で記憶するようになされる。このバッファは、音声キャプチャシステム７０内に、制限された持続時間の高品質または他の品質の音声データを先入れ先出し（ＦＩＦＯ，first-in／first-out）方式で記憶することができるローカルメモリ７８を有していてよく、これにより、現在の瞬間の前の所定の時間について音声データを使用可能にすることができる。別法として、コントローラ３２およびメモリ４０を音声キャプチャシステム７０と協働するように使用して、バッファ音声データのそのようなＦＩＦＯバッファをメモリ４０内、またはリモートメモリ５２など、他の場所に作成することができる。

コントローラ３２は、画像キャプチャの瞬間の前の時点での音声キャプチャシステム７０における音の入射を反映するプリキャプチャ音声データの必要性を満たすために、判定された特性で求められるとおりに、そのようなＦＩＦＯバッファからプリキャプチャ音声データを選択的に抽出することができる。そのような音声は、本明細書では、プリキャプチャ音声と呼ばれる。同様に、有利な場合には、ポストキャプチャ音声もＦＩＦＯバッファから、キャプチャ後もＦＩＦＯバッファが作動し続ける程度に取得することができる。別法として、ポストキャプチャ音声は、判定された特性に従って直接にキャプチャすることができる。もう一度繰り返すが、ユーザは、画像キャプチャデバイスの設定を手動で調整し、音声キャプチャのために画像キャプチャデバイスをこのように構成する作業に煩わされない。

図１から図３の実施形態において、音声特性を判定するステップ（ステップ８２）の一部として音声フィルタパターンも判定される。特に、音声フィルタパターンはコントローラ３２に、キャプチャされる音声データが確実に所望の音声コンテンツであるようにするための指示を与える。特に、スポーツモードでは、コントローラ３２は、画像に音声ズームを適用すること、および雑音低減アルゴリズムを適用することを決定する。

いわゆる音声ズーム機能は、確実に電子音声信号のコンテンツが画像キャプチャシステム２２のズーム時点の音声条件を正しく表すようにするためのステップを取るようにコントローラ３２に指示する。本発明の１つの態様において、画像キャプチャデバイス１０がレンズシステム２３の視界からの音声信号をマイクロフォン７２に集中させるためのシステムを提供するので、音声ズームは本質的に電気機械的にすることができる。そのような音声ズームシステムの１つの例が１９８６年１０月１４日にダンら（Dann et al.）によって出願された「Video Camera Microphone with Zoom Variable Acoustic Focus」という名称の、同一出願人による米国特許第４８６２２７８号で説明されている。また、音声信号のデジタル処理を使用することによっても同様の効果を挙げることができる。例えば、画像キャプチャシステム２２の視界により近いソースから発生する音の見かけ上の強度を増大するために、画像キャプチャデバイス１０に近いソースから発生する音の強度を正規化または低減することができる。

雑音低減アルゴリズムは周知であり、画像キャプチャデバイス１０のユーザには重要でない周囲の、外部の、偶発的な、または環境上の音を除外または弱めるようになされている。雑音低減アルゴリズムによって除外できる音の例には、マイクロフォン７２に対する風の音、画像キャプチャデバイスのフォーカス機器またはモータの音、あるいは画像キャプチャデバイス１０のぶつかる音がある。

このように、キャプチャされるスポーツ画像に合わせて最適化されるスポーツ音声をキャプチャするために１組の特性が自動的に準備される。例えば、スポーツ画像がシュートを決めるバスケットボール選手の画像をキャプチャすることが意図されている場合、その画像は、バスケットボールがリングを通過するとき、またはそれに近いときのものになるだろうし、音声はシュート３秒前の選手の雑音およびボールがバスケットに入った後の観衆の歓声になるだろう。歓声のキャプチャは、キャプチャ後に所定の時間、音を記録し続けることによって、または音声信号のボリュームの上がり下がりを検出することによって達成することができる。歓声はボリュームの上がり下がりとして表されるので、歓声は、このボリュームパターンを判定することにより、そのようにキャプチャされることができる。

そのような音声キャプチャ設定が判定されると、スボーツ画像およびスポーツ音声がキャプチャされる（ステップ８４）。キャプチャプロセスはポストキャプチャ処理を含むことができ、ポストキャプチャ処理では、例えば、キャプチャされたスポーツ画像およびスポーツ音声が、選択されたモードおよび音声特性に固有の画像キャプチャ特性に従って、所望のとおりに処理される。例えば、スポーツ音声のキャプチャを高忠実度で行い、ポスト処理を使用して、高忠実度でキャプチャされた音声を、より小型、より有用、またはより便利な低忠実度の形式にサンプリングする、圧縮する、または変換することができる。

次いで、スポーツ画像とスポーツ音声が関連付けられる（ステップ８４）。これを行うには、様々なやり方がある。１つの実施形態においては、これは、スポーツ画像およびスポーツ音声の両方を収納する単一のデータファイルを作成することにより行われる。この手法はスポーツ画像とスポーツ音声のデータを確実に一緒に保存する。しかし、他の手法も同様に実行可能であり、他の手法は、例えば、キャプチャされたスポーツ音声データが記憶されるストレージエリアをユーザに示すポインタまたはマーカなどのメタデータを、キャプチャされたスポーツ画像に記憶することを含むことができ、また、スポーツ画像およびスポーツ音声を共通のデータベース、データファイル、ファイルサーバ、またはＷｅｂサイトに記憶することを含むことができる。

やはり図３に示されているとおり、画像キャプチャデバイス１０は２つのバーストモード、すなわち、従来のバーストモードおよびビデオバーストモードでも動作可能である。従来のバーストモードでは、画像キャプチャデバイス１０のユーザはキャプチャボタン６０をキャプチャ位置に一定の時間押し下げたままにしておくことができ、その間に、コントローラ３２が画像のシーケンスを、事前定義された速度でキャプチャされるようにする。多くの場合、この事前定義された速度は、画像キャプチャの高速になる。これにより、スチル画像のシーケンスが一定の時間キャプチャされるので、撮影者は、そのイベントを表す画像のセットを有することになる。一部の実施形態では、撮影者がその画像の中から１つを選択し、残りは破棄される。他の実施形態では、バースト画像のシーケンス全体がキャプチャされ、記憶されることができる。このように、従来のバーストモードを使用すると、撮影者は、キャプチャされる各画像用にキャプチャボタン６０を押さなければならなかった場合に画像をキャプチャできていた速度よりはるかに速い速度で画像をキャプチャする能力が与えられる。しかし、撮影者は、画像キャプチャの正確な瞬間を決定する能力を犠牲にしている。したがって、従来のバーストモードでキャプチャされた画像は、特定の所望の瞬間の画像キャプチャを含まない可能性がある。

従来のバーストモードの選択が検出されると（ステップ８０）、コントローラ３２は、バーストモードに関連付けられた音声キャプチャ特性を、例えばメモリ４０から判定する。図３の実施形態において、コントローラ３２は、バーストモードの音声特性は通常の音声忠実度およびモノラル音キャプチャを含むことを判定する。また、コントローラ３２は、音声キャプチャはバースト画像キャプチャ開始の５秒前に始まって、バーストグループ内のすべての画像がキャプチャされ終わった後４秒間続くことを判定する。オプションで、バースト音声はバッファ音声信号として記憶されることができる。最後に、コントローラ３２は、キャプチャされた音声信号をフィルタ処理する際に使用するバーストモードフィルタパターンを判定する。この実施形態では、バーストモードフィルタパターンは、概略的に上述したように、雑音低減アルゴリズムの適用を必要とする。

次いで、バースト画像およびバースト音声のセットが音声特性に従ってキャプチャされ（ステップ８４）、次いでそのバースト画像のうちの少なくとも１つとバースト音声の少なくとも一部との間に関連付けが行われる（ステップ８６）。これは様々なやり方で行うことができる。バースト画像のうちの１つだけが保存され、残りは破棄される実施形態においては、コントローラ３２は、バースト音声のすべてが、保存されたバースト画像に関連付けられるようにすることができる。このタイプの他の実施形態においては、バースト音声の一部が、保存されたバースト画像と一緒に記憶されることができる。記憶される部分は、この実施形態では、１つの保存された画像のキャプチャ４秒前以内のバースト音声キャプチャおよび１つの保存された画像のキャプチャ後５秒以内にキャプチャされた音声情報など、１つの保存された画像に隣接してキャプチャされたバースト音声部分であるように自動的に選択されることができる。他の方式も可能である。上述したように、バースト画像とバースト音声との間のそのような関連付けは、多様なやり方で行うことができる。

例えば、バースト画像のうちの２つ以上が保存される場合、バースト音声全体が記憶されることができ、または、そうでない場合、バースト音声全体が、保存される画像のそれぞれに関連付けられることができる。あるいは、バースト画像のうちの２つ以上が保存される場合、バースト音声は、各保存された画像のキャプチャ時間に隣接してキャプチャされた音声を提供し、音声の各部分を、その部分に対応する保存されたバースト画像に関連付けるようにセグメント化されることができる。この場合にも、そのような関連付けは、上述のやり方のいずれででも行うことができる。

やはり図３に示されているように、ビデオバーストモードでは、コントローラ３２は、画像キャプチャデバイス１０のユーザがキャプチャボタン６０をキャプチャ位置に保持している時間に基づいて判定される時間中、ビデオ情報のストリームがキャプチャされるようにし、バースト音声はビデオバーストに従ってキャプチャされる。次いで、コントローラ３２は、オプションで、信号プロセッサ２６と協働して、選択されたスチル画像が、キャプチャされたビデオに基づいて形成されるようにする。この目的のために、キャプチャされたビデオ情報は、画像キャプチャシステム２２のローカルバッファ、またはメモリ４０などのメモリに記憶されることができる。

しかし、前述の従来のバーストモードで発生するような、所定の定式化に基づいてスチル画像を形成する際に使用されるビデオストリームの画像部分のうちの特定の部分を選択する代わりに、コントローラ３２は、このモードでキャプチャされたバースト音声を分析する。次いで、この分析は、画像キャプチャデバイス１０を囲む環境の音のレベルが周囲レベルより上の閾値レベルに達したときを判定するために使用される。次いで、コントローラ３２は、そのような音のレベルが閾値以上にあるとき、単位時間当たりに比例的により多くのスチル画像が抽出されるようにする。１つの実施形態においては、ビデオストリームから、いつ、より高い比率でスチル画像を抽出すべきかの判定は、観客が発生させる音の強度の増大が、典型的には、実際のイベントの発生後に反応時間が経過してから生ずるという考え方に基づいて行われる。したがって、いつ音の強度が閾値を超えて増大するかを検出し、検出された音の強度の増大時点に反応時間のオフセットを適用することにより判定された時点から始まる時間の間、単位時間当たりに比例的により多くのバースト画像がビデオストリームから抽出されることができる。これらのやり方で、画像キャプチャデバイス１０は、ビデオストリームからのバースト画像の選択を援助するためにバースト音声を使用することができる。これにより、より重要な画像を自動的に抽出する可能性が増大する。この方法は、従来のバーストモードでキャプチャされたスチル画像のセットから個々のスチル画像を選択するためにも適用できることが理解されよう。このようにしてキャプチャされたスチル画像とバースト音声は、従来のバーストモードに関して、上述のように関連付けられることができる（ステップ８４）。

ビデオバーストモードの別の実施形態において、画像キャプチャデバイス１０は、高解像度のスチル画像とバースト音声のセットを上述のようにキャプチャすることができる。加えて、シーンの合成および検証中に用いられたタイプのより低い解像度の評価画像がキャプチャされて記憶されることができる。次いで、これらの評価画像は、高解像度スチル画像およびキャプチャされたバースト音声に関連付けられることができる。このことは、記録および記憶された評価画像が、キャプチャされたスチル画像と組み合わされて、コントローラ３２および信号プロセッサ２６が高解像度のビデオストリームをキャプチャおよび記憶するためのメモリ要件を課さずに時間的に正確な瞬間に高品質の画像を生成できるようにするので、イベントの正確な瞬間に画像をキャプチャする問題を解決するのに役立つ。この場合にも、バースト音声はキャプチャされた高解像画像、評価画像、またはそれらの組合せに基づいて生成される画像のいずれかに関連付けられることができる。

やはり図３に示されているように、画像キャプチャデバイス１０は、会議、パーティー、親睦会のような場所で低いレベルの周囲雑音が存在し続ける可能性のある状況で使用するための「イベント」モードでも動作可能である。そのような状況では、そのような低レベルの背景の音声に大きな価値があるとは考えられない。イベントモードが選択されたことをコントローラ３２が検出すると（ステップ８０）、コントローラ３２は、音声が一定の閾値より下のシーケンスが検出されると、そのような音声を記憶するために必要なメモリの量を最小にするようにそのシーケンスを記録することができるような条件に合う音声キャプチャ特性（ステップ８２）を判定する。例えば、図３に示されているように、音声忠実度は、１つの声または複数の声が閾値より上になったときのみ、より良い品質を提供するためにイベント音声の忠実度が高くなり、そうでない場合、より低いレベルの忠実度が提供されるように調整可能である。次いで、イベント画像およびイベント音声がキャプチャされて（ステップ８４）、関連付けられる（ステップ８６）。このモードは、画像および音声の伝送が所望されるが、伝送用のチャネルの帯域幅が制限されるアプリケーションで特に有用である可能性がある。

さらに別の例では、子供の画像をキャプチャするためにユーザが、Ｋｏｄａｋ ＥａｓｙＳｈａｒｅ Ｏｎｅカメラに備えられているような子供モードを選択したことを示す信号をコントローラ３２が検出すると、小さい子供が発生させる音の忠実度はユーザにとって重要であることが多いので、高忠実度の音声モードが選択されることができる。したがって、図３に示されているように、コントローラ３２が子供モードで使用するための音声特性を判定すると、高忠実度のステレオ音声が２秒のプリキャプチャと４秒のポストキャプチャとともに判定される。さらに、音声ズーム、雑音低減、および成人の声の周波数で作成された音の強度を低減するためのフィルタ処理など、多様な音声フィルタ特性が提供される。したがって、子供のモードが選択されると、画像キャプチャデバイス１０は、必要なメモリを使用して、より高い忠実度の音声を記憶するか、あるいは、音声を処理し、小さい子供が発生させる音に関連付けられた音声がキャプチャされ（ステップ８４）、画像に関連付けられる（ステップ８６）ようにする。

ステッチパノラマキャプチャモードが選択されると、改善された表示シナリオを可能にする音声がキャプチャされる可能性がある。特に、前に音声ズームについて説明されているように、音声キャプチャが指示機能を有している場合、画像の特定の部分が表示されるとき、特定の音声セグメントが再生されることができる。

図４は、セグメント９２、９４、および９６を用いたステッチパノラマ画像９０を示している。各セグメントが個々のキャプチャされた画像に対応する。第１セグメント９２の視覚的コンテンツは木と鳥である。第２セグメント９４の視覚的コンテンツは遠景の山並みであり、第３セグメント９６の視覚的コンテンツは、岩場の水路を滝のように流れ落ちる急流である。ステッチパノラマモードが選択されると、所定の長さの音声セグメントが、キャプチャされた画像のそれぞれ用にキャプチャされる。再生時、ステッチ画像が画面の横方向にパンする場合、適切な音声セグメントが再生される。あるいは、画像の全体が一度に表示される場合、再生される音声は、マウスまたはタッチ画面など、ポインティングデバイスで示されるセグメントに対応するか、あるいは音の組合せが再生されることができる。

最後に、マクロモードまたはクローズアップモードなどの他のモードにおいて、音声のキャプチャには限定された利点があるだろうことが理解されよう。したがって、そのようなモードが選択された場合、コントローラ３２は、音声はキャプチャされないことを判定することができる（ステップ８２）。そのような判定が行われた場合、示されているように、画像のみがキャプチャされ（ステップ８４）、関連付けのステップは省略されるか、または関連付けのステップは、キャプチャされた画像に関連付けて、その画像に関連付けられた音声はキャプチャされなかったことを示すメタデータを単に記憶するにとどまることができる。なお、以下に付記として本発明の構成の例を示す。
（付記１）
光を画像キャプチャセンサに集めるための光学システムと、前記画像キャプチャセンサと協働して前記画像キャプチャセンサに集められた前記光を電子画像に変換するようになされた画像形成回路と、を有する画像キャプチャシステムと、
変換器における音波エネルギー入射のパターンを、前記音波エネルギーのパターンを表す電子音声信号に協働して変換するようになされた変換器および音声処理回路を有する音声キャプチャシステムと、
手動キャプチャ入力および手動モード選択入力を備えたユーザ入力システムであって、前記キャプチャ入力が静止位置からキャプチャ位置に動かされたときにキャプチャ信号を生成し、複数のモード選択入力の設定のうちの１つの設定を示すモード選択信号を生成するユーザ入力システムと、
前記画像キャプチャシステムが前記キャプチャ信号に応答して少なくとも１つの画像をキャプチャするようになされたコントローラであって、さらに、開始時間に始まり終了時間に終わる音声キャプチャ時間フレーム内で、前記変換器における前記音波エネルギー入射のパターンを表す電子音声信号を前記音声キャプチャシステムがキャプチャするようになされ、さらに、前記キャプチャされた画像を前記電子音声信号に関連付けるようになされたコントローラと、
を有し、
前記コントローラは、前記モード選択に基づいて前記開始時間および前記終了時間の少なくとも１つを判定する、
ことを特徴とする画像キャプチャデバイス。
（付記２）
付記１に記載の画像キャプチャデバイスであって、前記コントローラが画像キャプチャの時間に対して相対的なオフセット時間に基づいて前記開始時間または前記終了時間の少なくとも１つを判定し、前記オフセット時間は前記モード選択に基づいて判定され、前記コントローラは、前記モード選択入力が第１の設定に位置付けられている場合は第１のオフセット時間を使用し、前記モード選択入力が第２の設定に位置付けられている場合は第２のオフセット時間を使用し、前記第２のオフセット時間は前記第１のオフセット時間とは異なることを特徴とする画像キャプチャデバイス。
（付記３）
付記１に記載の画像キャプチャデバイスであって、前記コントローラは、さらに、前記モード選択入力が第３の設定に設定されていることを前記コントローラが判定したときに、電子音声信号をキャプチャせずに画像がキャプチャされることを可能にするようになされたことを特徴とする画像キャプチャデバイス。
（付記４）
付記１に記載の画像キャプチャデバイスであって、前記音声キャプチャシステムが先入れ先出しバッファにバッファ音声信号を一定の時間にわたって記憶しておくために動作可能な電子音声信号バッファを有し、前記コントローラが、前記音声キャプチャシステムに、前記指示されたモードによって決定される開始時間に前記バッファに音声信号を記憶させるようになされたことを特徴とする画像キャプチャデバイス。
（付記５）
付記１に記載の画像キャプチャデバイスであって、キャプチャボタンが前記静止位置と前記キャプチャ位置との中間にある位置を有し、前記コントローラが、前記キャプチャボタンがそのように位置付けられたときに信号を受信し、少なくとも１つのモードにおいて、前記コントローラが、前記音声キャプチャシステムに、前記キャプチャボタンが前記中間位置に動かされる前の一時点から始まる電子音声信号を記憶させることを特徴とする画像キャプチャデバイス。
（付記６）
付記１に記載の画像キャプチャデバイスであって、前記キャプチャボタンが前記静止位置と前記キャプチャ位置との中間にある位置を有し、前記コントローラが、前記キャプチャボタンがそのように位置付けられたときに信号を受信し、少なくとも１つのモードにおいて、前記コントローラが、前記音声キャプチャシステムに、開始時間から、画像がキャプチャされた後、前記キャプチャボタンが前記中間位置または前記静止位置に戻ることが許可された後に発生する時間まで、電子音声信号を記憶させることを特徴とする画像キャプチャデバイス。
（付記７）
付記１に記載の画像キャプチャデバイスであって、先入れ先出しバッファにバッファ音声信号を一定の時間にわたって記憶しておくために動作可能な電子音声信号バッファをさらに有し、前記コントローラが、前記開始時間および停止時間に従って、前記バッファ内のデータから選択的に前記電子音声信号を入手するようになされたことを特徴とする画像キャプチャデバイス。
（付記８）
付記１に記載の画像キャプチャデバイスであって、プロセッサが、前記画像キャプチャモードの１つにおいて、前記音声変換器に到達する音の少なくとも１つ、前記音声変換器によって供給される信号、バッファ音声信号、または電子音声信号を選択的にフィルタ処理し、前記画像キャプチャデバイスからの所定の距離で発生する音の強度を維持または増大させる一方で、前記画像キャプチャデバイスに近接した場所から発生する音の強度を低減した電子音声信号を生成するようになされたことを特徴とする画像キャプチャデバイス。
（付記９）
付記８に記載の画像キャプチャデバイスであって、前記画像キャプチャモード設定のうちの前記１つがスポーツモードであり、音声キャプチャ中または前記スポーツモードでキャプチャされた音声の処理中に音声ズーム効果が適用されることを特徴とする画像キャプチャデバイス。
（付記１０）
付記１に記載の画像キャプチャデバイスであって、前記コントローラが、１つのモードにおいて、前記画像キャプチャシステムに、前記キャプチャ信号が受信されたときまたはその頃に画像のセットをキャプチャさせるようになされ、前記音声キャプチャシステムが、先入れ先出しバッファにバッファ音声信号を一定の時間にわたって記憶しておくために動作可能な電子音声信号バッファを有し、前記コントローラが、前記音声キャプチャシステムに、前記キャプチャされた画像のセットがキャプチャされた時点に対応する開始時間または終了時間に前記バッファに前記バッファ音声信号を記憶させるようになされたことを特徴とする画像キャプチャデバイス。
（付記１１）
付記１に記載の画像キャプチャデバイスであって、前記キャプチャ入力および前記モード選択入力が、静止位置から音声付きのキャプチャ位置に、音声なしキャプチャ位置をそれらの間に挟んで移動可能な、組み合わされたキャプチャ入力とモード選択入力を有し、前記キャプチャボタンの位置を示す画像キャプチャ信号を生成することを特徴とする画像キャプチャデバイス。
（付記１２）
付記１０に記載の画像キャプチャデバイスであって、前記コントローラが、ビデオ信号をキャプチャし、前記ビデオ信号からスチル画像を抽出することにより、前記画像のセットを少なくとも部分的にキャプチャするために動作可能であることを特徴とする画像キャプチャデバイス。
（付記１３）
付記１２に記載の画像キャプチャデバイスであって、前記コントローラが、さらに、前記キャプチャされた電子音声信号を分析して、少なくとも部分的に、前記キャプチャされた音声信号の前記分析に基づいてビデオストリームからどの画像が抽出されるべきかを判定するようになされたことを特徴とする画像キャプチャデバイス。
（付記１４）
光を画像キャプチャセンサに集めるための光学システムと、前記画像キャプチャセンサと協働して前記画像キャプチャセンサに集められた前記光を電子画像に変換するようになされた画像形成回路と、を有する画像キャプチャシステムと、
変換器における音波エネルギー入射のパターンを、前記音波エネルギーのパターンを表す電子音声信号に協働して変換するようになされた変換器および音声処理回路を有する音声キャプチャシステムと、
手動キャプチャ入力および手動モード選択入力を備えたユーザ入力システムであって、前記キャプチャ入力が静止位置からキャプチャ位置に動かされたときにキャプチャ信号を生成し、複数のモード選択入力の設定のうちの１つの設定を示すモード選択信号を生成するユーザ入力システムと、
前記画像キャプチャシステムに、前記キャプチャ信号が受信されたときに画像をキャプチャさせるようになされたコントローラであって、さらに、前記音声キャプチャシステムに、前記変換器における前記音波エネルギー入射をサンプリングさせて、少なくとも２つの異なるサンプリングパターンの１つに従って電子音声信号を形成させるようになされ、少なくとも２つの異なるサンプリングパターンのそれぞれは、前記少なくとも２つの画像キャプチャモード設定の異なる１つに関連付けられる、コントローラと、
を有し、
前記コントローラは、前記モード選択信号に基づいて前記サンプリングパターンを選択し、前記キャプチャ信号が受信された時間に基づいて判定される時間に、前記サンプリングパターンに従ってサンプリングを開始する、
ことを特徴とする画像キャプチャデバイス。
（付記１５）
付記１４に記載の画像キャプチャデバイスであって、前記音声キャプチャシステムがバッファにバッファ音声信号を記憶し、前記バッファ音声信号から電子音声信号を形成するために前記サンプリングパターンが使用されることを特徴とする画像キャプチャデバイス。
（付記１６）
付記１４に記載の画像キャプチャデバイスであって、前記音声キャプチャシステムが、前記選択されたサンプリングパターンに従って音波エネルギーを前記電子音声信号に変換するプロセスを実行するようになされたことを特徴とする画像キャプチャデバイス。
（付記１７）
付記１４に記載の画像キャプチャデバイスであって、前記サンプリングパターンの少なくとも１つが、画像合成中にカメラおよび／または撮影者によって出された音の強度が前記電子音声信号内で低減されるようになされたことを特徴とする画像キャプチャデバイス。
（付記１８）
画像キャプチャシステムおよび音声キャプチャシステムを動作させるための方法であって、
画像キャプチャの少なくとも２つのモード間の選択を検出するステップと、
前記音声キャプチャシステムによって検出された音に基づいて電子音声信号を供給するための少なくとも１つの音声キャプチャ特性を、画像キャプチャの前記選択されたモードに基づいて判定するステップと、
画像キャプチャの前記選択されたモードに従って画像をキャプチャするステップと、
前記判定された音声特性に従って、前記音声キャプチャシステムによって検出された音に基づいて電子音声信号を供給するステップと、
前記キャプチャされた画像と前記電子音声信号とを関連付けるステップと、
を有することを特徴とする方法。
（付記１９）
付記１８に記載の方法であって、前記関連付けるステップが、前記電子音声信号を画像メタデータに変換し、前記画像と前記画像メタデータとを関連付けて記憶することにより行われることを特徴とする方法。
（付記２０）
付記１８に記載の方法であって、前記画像をキャプチャするステップが、ビデオ信号をキャプチャすることと前記ビデオ信号に基づいてスチル画像を供給することとを含むことを特徴とする方法。
（付記２１）
付記２０に記載の方法であって、前記音声信号を分析するステップと、前記音声信号の前記分析に基づいてスチル画像を少なくとも部分的に供給するステップとをさらに含むことを特徴とする方法。
（付記２２）
付記２０に記載の方法であって、高解像度画像のセットをキャプチャするステップをさらに含み、前記スチル画像を供給するステップは、前記キャプチャされたスチル画像および前記キャプチャされたビデオ信号に基づいて生成されるスチル画像を供給することを含むことを特徴とする方法。

本発明の画像処理システムの１つの実施形態のブロック図である。 図１の画像処理システムの１つの実施形態の上面、背面、右側面斜視図である。 図２の画像処理システムを動作させる方法の１つの実施形態を示す図である。 ステッチパノラマ画像の説明図である。

Claims (3)

1. 光を画像キャプチャセンサに集めるための光学システムと、前記画像キャプチャセンサと協働して前記画像キャプチャセンサに集められた前記光を電子画像に変換するようになされた画像形成回路と、を有する画像キャプチャシステムと、
   変換器における音波エネルギー入射のパターンを、前記音波エネルギーのパターンを表す電子音声信号に協働して変換するようになされた変換器および音声処理回路を有する音声キャプチャシステムと、
   手動キャプチャ入力および手動モード選択入力を備えたユーザ入力システムであって、前記キャプチャ入力が静止位置からキャプチャ位置に動かされたときにキャプチャ信号を生成し、複数のモード選択入力の設定のうちの１つの設定を示すモード選択信号を生成するユーザ入力システムと、
   前記画像キャプチャシステムが前記キャプチャ信号に応答して少なくとも１つの画像をキャプチャするようになされたコントローラであって、さらに、開始時間に始まり終了時間に終わる音声キャプチャ時間フレーム内で、前記変換器における前記音波エネルギー入射のパターンを表す電子音声信号を前記音声キャプチャシステムがキャプチャするようになされ、さらに、前記キャプチャされた画像を前記電子音声信号に関連付けるようになされたコントローラと、
   を有し、
   前記コントローラは、画像キャプチャの時間に対して相対的なオフセット時間に基づいて前記開始時間および前記終了時間の少なくとも一方を判定し、前記オフセット時間は前記モード選択に基づいて判定され、前記コントローラは、前記モード選択入力が第１の設定に位置付けられている場合は第１のオフセット時間を使用し、前記モード選択入力が第２の設定に位置付けられている場合は第２のオフセット時間を使用し、前記第２のオフセット時間は前記第１のオフセット時間とは異なる、
   ことを特徴とする画像キャプチャデバイス。
2. 光を画像キャプチャセンサに集めるための光学システムと、前記画像キャプチャセンサと協働して前記画像キャプチャセンサに集められた前記光を電子画像に変換するようになされた画像形成回路と、を有する画像キャプチャシステムと、
   変換器における音波エネルギー入射のパターンを、前記音波エネルギーのパターンを表す電子音声信号に協働して変換するようになされた変換器および音声処理回路を有する音声キャプチャシステムと、
   手動キャプチャ入力および手動モード選択入力を備えたユーザ入力システムであって、前記キャプチャ入力が静止位置からキャプチャ位置に動かされたときにキャプチャ信号を生成し、複数のモード選択入力の設定のうちの１つの設定を示すモード選択信号を生成するユーザ入力システムと、
   前記画像キャプチャシステムに、前記キャプチャ信号が受信されたときに画像をキャプチャさせるようになされたコントローラであって、さらに、前記音声キャプチャシステムに、前記変換器における前記音波エネルギー入射をサンプリングさせて、少なくとも２つの異なるサンプリングパターンの１つに従って電子音声信号を形成させるようになされ、少なくとも２つの異なるサンプリングパターンのそれぞれは、前記少なくとも２つの画像キャプチャモード設定の異なる１つに関連付けられる、コントローラと、
   を有し、
   前記コントローラは、前記モード選択信号に基づいて前記サンプリングパターンを選択し、前記キャプチャ信号が受信された時間に基づいて判定される時間に、前記サンプリングパターンに従ってサンプリングを開始する、
   ことを特徴とする画像キャプチャデバイス。
3. 画像キャプチャシステムおよび音声キャプチャシステムを動作させるための方法であって、
   画像キャプチャの少なくとも２つのモード間の選択を検出するステップと、
   前記音声キャプチャシステムによって検出された音に基づいて電子音声信号を供給するための少なくとも１つの音声キャプチャ特性を、画像キャプチャの前記選択されたモードに基づいて判定するステップと、
   画像キャプチャの前記選択されたモードに従って画像をキャプチャするステップと、
   前記判定された音声特性に従って、開始時間に始まり終了時間に終わる音声キャプチャ時間フレーム内で前記音声キャプチャシステムによって検出された音に基づいて電子音声信号を供給するステップと、
   前記キャプチャされた画像と前記電子音声信号とを関連付けるステップと、
   を有し、
   前記開始時間および前記終了時間の少なくとも一方は、前記画像をキャプチャするステップにおける画像キャプチャの時間に対して相対的なオフセット時間に基づいて判定され、前記オフセット時間は、前記選択されたモードに基づいて判定され、前記選択されたモードが第１のモードである場合は第１のオフセット時間が使用され、前記選択されたモードが第２のモードである場合は第２のオフセット時間が使用され、前記第２のオフセット時間は前記第１のオフセット時間とは異なる、
   ことを特徴とする方法。

Images