JP5444562B2 - シャッター信号の前及び後に画像の取り込み及び整理をするデジタルカメラ - Google Patents

Description

本発明は、概して、デジタルカメラにおいて、ユーザがシャッター開信号を生成する前及び後の両方で画像を取り込み、次いで、ユーザが画像を整理して一又はそれ以上の画像を選択することに関する。

本出願は、２００８年９月３日に出願された米国仮特許出願一連番号第６１／１９０，９９１号に基づく優先権を主張する。

デジタルカメラのユーザは、適切な時点で画像を取り込む機会を逃すことが多い。これは、ある場合には、デジタルカメラにおいて、方向決めをして撮影動作を行うときのカメラ応答が遅いことが原因となる。別の潜在的な理由は、被写体が動くか、間違ったポーズをとるか、フレーミングが正しくないか、若しくは、光が変化して正しく露光しなかった画像を取り込む結果となることにある。その結果として、ユーザは、取り込んだ画像をデバイス若しくはパーソナルコンピュータで評価するときに、最終結果として得たものが、望んだものではないことを認識し、落胆することが多い。

本発明にかかる方法は、カメラのユーザ入力要素から写真撮影信号を受ける前に、複数のデジタル画像フレームを取り込むことを含む。該方法は又、前記写真撮影信号を受けた後に、複数の画像フレームを取り込むことを含む。取り込まれた画像は、初期の組をなすフレームを確立するものと考えることができる。画質の基準を満たさないフレームは、初期の組のフレームから廃棄され、精選された組の画像をもたらす。精選された組の画像がユーザに表示され、ユーザが、それらから一又はそれより多い画像を選択できるようにし、ユーザのフレーム選択に対応して、精選された組の画像のうちの一又はそれより多いフレームが格納される。

幾つかの実施形態においては、本発明に係る方法は、圧縮により最小のサイズになるフレームのみを圧縮し、圧縮したフレームの組を構築する段階を含むことができる。精選された組の画像のフレームのみが圧縮される。圧縮されたファイルが閾値よりも大きくなる場合には、精選された組の画像のフレームは、圧縮しないようにすることができる。圧縮されたフレームの組に含まれるフレームのみを、ユーザに表示するようにすることができる。

本発明に係る方法は、デジタルカメラ機器において実行することができ、及び／又は、デジタルカメラ機器からフレーム情報を受けるコンピュータにおいて実行することができる。

別の側面は、画像センサと処理装置とを備え、該処理装置が、ユーザからの写真撮影信号の受信の前及び後に該センサから画像フレームを受けるようになったカメラシステムである。処理装置は、品質基準を満たさないフレームを廃棄し、残りのフレームからなる組のみを、圧縮してユーザに提示する。

別の側面は、写真信号生成の前及び後に画像フレームを生成し、初期の組のフレームをもたらす手段を含むシステムである。少なくとも一つの品質評価基準に基づいて、前記初期の組のフレームからフレームを精選し、精選したフレームの組をもたらす手段が設けられる。また、少なくとも一つのフレームを選択するために、該精選したフレームの組をユーザに提示する手段が設けられる。

本発明の詳細は、構造及び動作の両方について、参照番号が同じ部分を参照する添付図を参照することによって、最もよく理解することができる。

一例としてのカメラの概略ブロック図である。 本発明の原理に合致した例としての論理のフローチャートである。

最初に、図１を参照すると、デジタルカメラ１０は、これに限定する意味ではないが、電荷結合素子（ＣＣＤ）といったカメラセンサ１４を支持する、携帯型の軽い、手持ちのハウジング１２を含む。センサ１４は、レンズ１６を通して、認識された画像を生成し、例として示されている非限定的な実施形態においては、画像が、以下の開示と合致する圧縮／フレーム選択論理を実行する処理回路１８に送られる。図２の論理を、例えば、以下に記載されるＰＣ若しくは格納媒体上のソフトウェアによって完全に実現することができることが分かる。

次に、処理回路１８は、ハウジング１２内にあるカメラプロセッサ２０と通信することができ、このカメラプロセッサ２０は、データにアクセスし、該データをコンピュータ読み取り可能な媒体２２に格納することができる。限定的な意味ではないが、媒体２２は、ディスク型記憶装置及び／又は半導体記憶装置とすることができ、一実装形態においては、ランダムアクセスメモリ（ＲＡＭ）によって、実装される。

カメラ１０を起動するために、電源ボタン２４をハウジング１２上に備えることができる。ユーザは、電源ボタン２４を操作して、一又はそれより多いカメラのバッテリ２６から、プロセッサ２０、及び、限定的な意味ではないが、液晶ディスプレイ（ＬＣＤ）といったビジュアルディスプレイを含むカメラ１０の要素に、エネルギーを供給することができる。また、写真撮影ボタン３０が、典型的にはユーザによって操作できるように、ハウジング１２上に備えられ、写真としてフレームを取り込むというユーザの希望を信号によって、送ることができる。所望ならば、限定的な意味ではないが、カメラプロセッサ２０が、例えば、ユーザのパーソナルコンピュータ３４と通信できるようにするために、ユニバーサルシリアルバス（ＵＳＢ）インターフェースといった通信インターフェース３２を設けてもよい。

カメラ１０は、デジタルカメラ自体、カメラ付き携帯電話、携帯情報端末（ＰＤＡ）及びカメラ内蔵ノートブックコンピュータといった、画像化センサ及び記憶装置を備える電子デバイスとして実施できる。

ここで、図２を参照すると、ブロック３５において、カメラ１０は、例えば、ユーザが電力ボタン２４を操作することによって起動される。カメラを備える携帯型コンピューティング機器の場合には、ブロック３５を、カメラアプリケーションの開始によって実行することができる。

ブロック３６において、以下に説明するように、画像が取り込まれ、精選及び圧縮され、ブロック３８において、写真ボタン２６をユーザが操作することによって生成される、ユーザ生成の“写真撮影”信号を受けた後も、画像の取り込みが続く。一実施形態においては、“Ｎ”個のフレームが、“写真撮影”信号を受けた後に取り込まれる。ここで、“Ｎ”は、整数である。また、所望ならば、“写真撮影”信号の前の“Ｍ”個（“Ｍ”は整数）のフレームのみを保持するようにしてもよい。

いずれにしても、ブロック４０に進み、写真撮影信号に先行するフレームが、写真撮影信号に応答して取り込まれたフレーム及び信号より後のフレームと共に、例えば、ＲＡＭ内で一時的な場所に保持され、これら保持されたフレームが、品質に関して分析され、一又はそれ以上の、品質評価基準を満たさないフレームが廃棄される。例えば、フレームが、露光不足である場合、つまり、露光の閾値を下回ることがわかった場合には、そのようなフレームを、ブロック４０において、廃棄し、それによって格納スペース及び処理能力を節約することができる。

本明細書において理解されるように、上述のようにして取り込まれた一連の画像を、ブロック４２において、好ましくは無損失の動画符号化技術を用いて圧縮し、必要な格納容量を最小化することができ、さらに、幾つかのフレームのみを圧縮の対象とすることができる。特に、ブロック４２において、最小の圧縮ファイルになるフレームのみを、つまり、例えば少なくとも２０％まで圧縮される、という圧縮容量の閾値を満たすフレームのみが圧縮されるようにすることができる。例えば、無損失動画符号化に用いられる動作補完技術は、テスト中のフレームに類似するフレームの発見に失敗することがあり、したがって、フレームは、圧縮後でも比較的大きなファイルになるため、ブロック４２において圧縮されないことになるので、ブロック４０において露光テストに合格したフレームでも、露光の異常のために、圧縮ファイルのサイズに有意な増加という結果を生じることがなる。したがって、ブロック４０のスクリーニングテストで残ったフレームの組のみを、ブロック４２において圧縮するようにしてもよい。

ブロック４２から得られた最終的に圧縮された一連のフレームは、ブロック４４において格納され、ブロック４６において（復元後に）ユーザに、例えば、ディスプレイ２８上で表示される。フレームを、自動的に、若しくは、ユーザがフレームをスクロールし、所望ならば、選択されなかったフレームをメモリから消去すると共に、一又はそれより多いフレームを選択できるようにするユーザからの信号に応答して、表示することができる。

カメラ１０で上述した処理を全て実行する代わりに、別の実施形態においては、上述したような処理をするため、通信インターフェース３２を介して、フレームをＰＣ若しくはサーバに送るようにしてもよい。また、ユーザは、カメラ１０自体上で、取り込んだ一連の画像を分析する機会を持つだけではなく、代わりに、ブロック４２において出力されたフレームをＰＣ３４にダウンロードし、ソフトウェアアプリケーションを用いて、一連の画像を閲覧し、所望のフレームを再取り込みできるようにしてもよい。

例として非限定的な実施形態を示すと、処理オーバーヘッドを最小化するために、ダイレクトメモリアクセス（ＤＭＡ）を用いて、圧縮した一連の画像を処理し、ストレージ媒体２２に、該圧縮した一連の画像を格納するカメラ１０によって、センサ１４から直接的に画像を取り込むように構成されたハードウェア処理回路内で、無損失動画符号化アルゴリズムが実施される。しかしながら、本原理を、カメラ１０又はパーソナルコンピュータ３４内のソフトウェアによって、実行することも可能である。

所望ならば、ユーザに提示する前に、本分野において知られる画質向上原理に合致する画質向上の手法を一連の画像に適用することができる。そのような画質向上の手法としては、これに限られないが、超解像アルゴリズムを取り込んだフレームに適用することがある。

本原理を用いることにより、デジタルカメラ、若しくは、カメラ付きモバイル機器のユーザは、該ユーザが取り込んだ画像だけでなく、その前後のフレームも評価する機会が与えられることによって、取り込んだ画像における問題を正す機会を得ることが、理解されるであろう。ユーザは、機器、若しくは、パーソナルコンピュータ上で選んだフレームを選択することができ、最終的に、それをアルバムに保存することができる。ユーザは又、取り込んだ一連の画像に超解像イメージング技術を用いることによって、モザイクを作成するか、若しくは、取り込んだ画像の質を向上させる機会を得る。

上述したものに加えて、様々なセンサを用いて、いつフレームの自動的取り込みを開始するかを判断してもよい。方位センサ、熱センサ、カメラのＣＣＤ／ＣＭＯＳ画像、近接センサ、若しくは、加速度計といった様々なセンサを用いて、いつ画像の取り込みを行うかを判断することができる。例えば、ユーザの顔がファインダーの接眼レンズに近接したことを近接センサが認識するとすぐに、上述した自動取り込みを開始するようにすることができる。

さらに、画像コントラスト、若しくは、適正露光といった評価基準を用いて、自動的に取り込まれたフレームが保存に値するか否かを判断することができる。別の評価基準を用いて、興味のある点が適切に配置／分布されているか、色／光が適切に調和しているか、などの判断をすることができる。

その上、二又はそれより多いフレームを重ね合わせて、例えば超解像技術を用いて、数枚のサブオプティカルフレームが重ね合わさった、元のフレームのいずれよりも遥かに優れた、事実上、ユーザが別の方法で得ることができないような新しい画像を作ることができる。例えば、超解像画像化技術を用いて、ダイナミックレンジを向上させ、夜間に撮影する場合において、カメラセンサのノイズを除去することができる。

シャッター作動信号の前及び後に信号画像の取り込み及び整理をする特定のデジタルカメラが、ここに示され、詳細に記載されているが、本発明に包含される主題は、特許請求の範囲によってのみ限定されるものと理解されるべきである。

１０ カメラ
１２ ハウジング
１４ センサ
１６ レンズ
１８ 処理回路
２０ プロセッサ
２２ 媒体
２４ 電源ボタン
２６ バッテリ
２８ ディスプレイ
３０ 写真撮影ボタン
３２ 通信インターフェース
３４ パーソナルコンピュータ

Claims (17)

1. 写真撮影信号をカメラのユーザ入力要素から受け取る前に、複数のデジタル画像フレームを取り込むことと、
   写真撮影信号を受信した後に、初期の組のフレームを構築する複数の画像フレームを取り込むことと、
   前記初期の組のフレームから、画質の基準を満たさない少なくとも一つのフレームを廃棄し、精選した画像の組をもたらすことと、
   前記精選した画像の組を、該組から一又はそれより多い画像を選択できるようにするためにユーザに表示することと、
   ユーザのフレーム選択に応じて、前記精選した画像の組のうちの少なくとも一枚のフレームを格納することと、
   を含み、
   フレームが閾値より大きな圧縮ファイルになる場合には、前記精選した画像の組みに含まれる少なくとも一枚の前記フレームが圧縮されないことを特徴とする方法。
2. 圧縮後に最小の大きさになるフレームのみを圧縮し、圧縮されたフレームの組を構築すること、
   を含むことを特徴とする請求項１の方法。
3. 前記精選した画像の組に含まれるフレームのみが圧縮されること、
   を特徴とする請求項２に記載の方法。
4. 前記圧縮されたフレームの組に含まれるフレームのみが、前記ユーザに表示されることを特徴とする請求項１に記載の方法。
5. 前記方法は、デジタルカメラ内で実行されることを特徴とする請求項１に記載の方法。
6. 前記方法は、フレーム情報をデジタルカメラから受け取るコンピュータ内で実行されることを特徴とする請求項１に記載の方法。
7. 画像センサと、
   ユーザ写真撮影信号を受け取る前及び後に、画像フレームを前記センサから受け取る処理装置と、
   を含み、
   前記処理装置は、少なくとも一つの品質基準を満たさないフレームを廃棄し、残りのフレームの組を、そのユーザへの表示のために圧縮するものであり、
   前記残りのフレームの組は、圧縮容量基準を満たすものであり、前記圧縮容量基準を満たさない別の残りのフレームは、圧縮されない、
   ことを特徴とするカメラシステム。
8. 前記処理装置は、カメラハウジングの中に処理回路を含むことを特徴とする請求項７に記載のカメラシステム。
9. 前記ユーザ写真撮影信号の後に画像形成される最大“Ｎ”個の画像、及び、前記ユーザ写真撮影信号の前に画像形成される最大“Ｍ”個の画像のみが、圧縮の対象になることを特徴とする請求項７に記載のカメラシステム。
10. 前記品質基準は、十分な露光であることを特徴とする請求項７に記載のカメラシステム。
11. 前記処理装置は、前記画像センサを支持するカメラハウジングの外部に備えられることを特徴とする請求項７に記載のカメラシステム。
12. 写真撮影信号の生成の前及び後に画像フレームを生成して初期の組のフレームをもたらす生成手段と、
    前記初期の組のフレームを、少なくとも一つの品質評価基準に基づいて精選し、精選した組のフレームをもたらす精選手段と、
    少なくとも一つのフレームを選択するために、前記精選した組のフレームからのフレームをユーザに提示する手段と、
    圧縮した一連のフレームを構築するために、圧縮容量閾値を満たす前記精選した組のフレームに含まれるフレームを圧縮し、前記圧縮容量閾値を満たさない精選した組のフレームは圧縮しない圧縮手段と、
    を含み、
    前記提示する手段は、前記圧縮されたフレームの組内に含まれるフレームのみをユーザに提示することを特徴とするシステム。
13. 前記圧縮手段及び精選手段は、前記生成手段を支持するカメラハウジング内に実装されることを特徴とする請求項１２に記載のシステム。
14. 前記圧縮手段及び精選手段は、前記カメラハウジングとは別のコンピュータ内に実装されることを特徴とする請求項１２に記載のシステム。
15. 前記品質評価基準は露光に関するものを含むことを特徴とする請求項１２に記載のシステム。
16. 前記精選手段は、ハードウェアによって実施されることを特徴とする請求項１２に記載のシステム。
17. 前記精選手段及び圧縮手段は、ソフトウェアによって実施されることを特徴とする請求項１２に記載のシステム。

Images