JP4496221B2 - 低減された画像バッファメモリおよびサービスセンターを通した再利用のための最小限の処理を有するデジタルカメラ - Google Patents

低減された画像バッファメモリおよびサービスセンターを通した再利用のための最小限の処理を有するデジタルカメラ Download PDF

Info

Publication number
JP4496221B2
JP4496221B2 JP2006533252A JP2006533252A JP4496221B2 JP 4496221 B2 JP4496221 B2 JP 4496221B2 JP 2006533252 A JP2006533252 A JP 2006533252A JP 2006533252 A JP2006533252 A JP 2006533252A JP 4496221 B2 JP4496221 B2 JP 4496221B2
Authority
JP
Japan
Prior art keywords
data
image
camera
processing
sensor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2006533252A
Other languages
English (en)
Other versions
JP2007516647A (ja
Inventor
メイタブ,オハッド
セルツ,ダニエル
シェーンバーグ,イツハック
Original Assignee
ゾラン コーポレイション
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ゾラン コーポレイション filed Critical ゾラン コーポレイション
Publication of JP2007516647A publication Critical patent/JP2007516647A/ja
Application granted granted Critical
Publication of JP4496221B2 publication Critical patent/JP4496221B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/32Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N1/32101Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N1/32128Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title attached to the image data, e.g. file header, transmitted message header, information on the same page or in the same computer file as the image
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/3201Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N2201/3212Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to a job, e.g. communication, capture or filing of an image
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/3201Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N2201/3225Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to an image, a page or a document
    • H04N2201/3242Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to an image, a page or a document of processing required or performed, e.g. for reproduction or before recording
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/3201Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N2201/3274Storage or retrieval of prestored additional information
    • H04N2201/3277The additional information being stored in the same storage device as the image data

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Television Signal Processing For Recording (AREA)

Description

本発明は、一般に手持ち式デジタルカメラおよびその使用方法に関し、より詳細には、簡略化された電子システムおよびカメラにより取り込まれた画像のデータが転送されるワークステーションによって代わりに実行される最小限の画像処理を有するこのようなカメラに関する。
電子カメラは、電荷結合素子(CCD)、相補型メタルオンシリコン(CMOS)素子または他のタイプの光センサのような2次元センサ上に場面を結像する。これらの素子は、要素に当たる(可視光波長に隣接するスペクトルの赤外および紫外領域を含む)光または他の光学放射の強度に比例する信号を個別に生成する小さい2次元表面全体にわたって配置された多数(典型的には、200万、300万、400万個以上)の光検出器を含んでいる。画像の画素を形成するこれらの要素は典型的には、ラスタパターンで走査され、それらが走査される際に、センサ要素に次々に当たる放射の強度データの連続した流れを発生する。色データは、センサ全体にわたって交互に分布された(赤、緑および青のような)別個の色成分の各々に敏感な光検出器を用いて得られるのが最も一般的である。
このような電子カメラの普及形状は、スチール写真「スナップショット」あるいは動画を形成する一連のフレームのいずれかとして多数の写真フレームのデータを記録する小型の手持ち式デジタルカメラである。磁気テープカートリッジまたはフラッシュメモリカードのような取り外し可能な不揮発性メモリに保存する前に、各フレームのデータに対してかなりの量の画像処理がカメラ内で実行されるのが典型的である。処理されたデータは、カメラ外面の液晶表示(LCD)機器上で表示されるのが典型的である。各写真フレームについてのデータにより占められる保存容量を低減するために、処理されたデータが、不揮発性メモリへの保存の前に圧縮されるのも典型的である。
画像センサにより取得されたデータは、カメラの欠陥を補償し、データから得ることができる画質を一般に改善するために処理されるのが典型的である。センサのいずれかの不良画素光検出器要素の補正は、1つの処理機能である。別の機能は、原色の種々の画素の相対的な大きさが白色を表すように設定されるホワイトバランス補正である。この処理は、画像データ中の重ね合わせられた多色画素を低減するためにセンサの空間的に離れた単色画素検出器からのデータを重ね合わせるように個別の画素データをデモザイキングすることも含む。次に、このデモザイキングは、画像のエッジを強調および平滑化するようにデータを処理することを望ましくする。画像全体にわたるカメラ光学系のノイズと変動およびセンサ光検出器間の変動についての画像データの補償も、カメラ内で実行されるのが典型的である。他の処理としては、ガンマ補正、コントラスト伸張処理、クロミナンスフィルタリングなどのうちの1つ以上が含まれるのが典型的である。これらの画像処理機能のいくつかおよびその他の機能が、ロバート・クレメンスの概論「カメラ画像処理の基礎」(2001年5月,ロチェスター技術研究所(R.I.T.),イメージング・サイエンス・センター,デジタル・イメージング・アンド・リモート・センシング・グループおよびピクセルフィジクス インコーポレイテッドによりインターネット上で利用可能にされた)(非特許文献1)の中に記載されている。カメラのLCDスクリーン上に表示されるのは処理されたデータであり、これにより表示される画像は、保存されたデータが後に表示または印刷される場合に見えるのと同じようにユーザに見える。
処理されたデータも、カメラに含まれるフルフレームバッファメモリに保存されるのが典型的である。次に、データは、データ圧縮アルゴリズムによる圧縮のためにこのバッファメモリから読み取られる。単一のフレームは、圧縮データファイルが何らかの設定限界より小さい全体サイズのような何らかの所定の基準に適合するまで、種々の圧縮アルゴリズムパラメータを使用して何回も圧縮し得る。従って、フルフレームの非圧縮データは、この圧縮処理が行われるのに必要な期間、バッファメモリ内に保存される。このようなバッファは、カメラ内のプロセッサチップとは別の集積回路チップ上の揮発性メモリにより実装されるのが典型的であり、非常に高速なアクセスタイムを有するように選ばれる。
スチール写真を撮るための再利用可能な使い捨て手持ち式デジタルカメラも利用可能である。このようなカメラは、通常のデジタルカメラの価格よりもずっと低価格でエンドユーザにより購入される。このようなカメラは、その内部の不揮発性メモリが一杯になる枚数の写真が撮られるまで、通常のデジタルカメラと同じようにエンドユーザにより使用される。この時点で、エンドユーザは、保存された写真を処理するためにその再利用可能なカメラをサービスセンターに返却する。その後、写真は、ハードコピープリントとして、またはディスクもしくはコンパクトディスク(CD)のような標準保存媒体でエンドユーザに返される。次に、カメラは、サービスセンターまたはカメラ製造業者によりその内部メモリの消去を含む改装を施され、カメラ店、ドラッグストアなどの小売販売箇所へ戻されて再販売され、それゆえに用語「再利用可能」が用いられる。再利用可能なデジタルカメラは、写真保存用の内部電子メモリのみを有する。このカメラは、どのような取り外し可能な保存メモリも、取り込まれた画像をユーザが表示するためのどのような手段も、保存された写真をパーソナルコンピュータに転送してそれらをエンドユーザが回収するためのどのような手段も有していない。保存された写真は、サービスセンターに利用可能な手段を用いてサービスセンターにより回収され得るのみである。再利用可能なデジタルカメラは、その製造モデル、用法、処理および販売箇所へのリサイクルにおいて、使い捨て写真フィルムカメラと似ている。このビジネスモデルが成り立つために、再利用可能なデジタルカメラは、製造が安価となるように設計されると、同時に、サービスセンターによりエンドユーザに渡される写真の質が高くなるようにされる。現在、再利用可能なデジタルカメラは、前述した通常のデジタルカメラにおいて用いられる方法と同一または非常に類似した写真データの取り込みおよび保存の方法を用いている。
再利用可能なカメラにおいて写真データ圧縮が利用されるので、カメラに保存され得る写真の枚数は、このカメラを大きい内部不揮発性メモリの費用なしでエンドユーザにとり魅力的なものにするのに十分である。圧縮は、結果として生じる圧縮された写真が大多数のデジタルカメラにより使用される標準形式、すなわちJPEG標準形式であるような方法を用いて実行される。サービスセンターは、顧客の要求に応じて、これらのJPEG形式画像ファイルからのハードコピープリントまたはJPEG形式の写真が入ったコンピュータ可読媒体あるいはその両方を作製する。
ロバート・クレメンスの概論「カメラ画像処理の基礎」(2001年5月,ロチェスター技術研究所(R.I.T.),イメージング・サイエンス・センター,デジタル・イメージング・アンド・リモート・センシング・グループおよびピクセルフィジクス インコーポレイテッドによりインターネット上で利用可能にされた) 「サイエンス・ニュース」,第163巻,第13号,2003年3月29日,200ページ
本発明の1つの主要な態様によれば、カメラ内のセンサからのデジタル画像を最終的にエンドユーザに引き渡される形式に変換するプロセスは、カメラプロセッサと商業サービスセンターにおけるワークステーションのようなデータ処理ワークステーションとの間で、カメラにおいてなされる処理の量および複雑度を最小限にするように分割される。本発明は、デジタルカメラ内で従来実行されていた画像処理の全部または大半をワークステーションに移管することによりこれを行う。画像センサの信号出力の生またはほぼ生のデジタルデータあるいはそれの圧縮されたバージョンが取得され、カメラ内に保存され、次にワークステーションに転送される。この画像データに加えて、データが転送されるワークステーションによる処理を容易にするために、各種サポートデータを画像データと共にカメラ内に保存し得る。このようなサポートデータは、事前のカメラ較正から、カメラ内の付加的センサから、異なる条件下で撮られた第2の画像から導き出したり、あるいはカメラ内での画像データ自体の分析から得ることができる。カメラの複雑度およびコストをこのようにして低減することに加えて、ワークステーションも、デジタルカメラに含めるには高価すぎたり、物理的に大きすぎたり、時間がかかりすぎたり、電力を消費しすぎるたりすると考えられていたより強力な処理を提供できる。これにより、質がかなり改善された写真が、複雑度およびコストが低減されたデジタルカメラを用いてエンドユーザによって得られるという結果になる。
本発明の別の主要な態様によれば、画像デジタルデータは、カメラ内でリアルタイムでかつ取得されたセンサデータを通るシングルパスで、やはりデジタルカメラの複雑度およびコストを低減するやり方で圧縮される。カメラのプロセッサに実装される圧縮方法は、Joint Photographic Experts Group(JPEG)標準などの標準への準拠の規定に制約されない。というのは、ワークステーションは、このようなカメラからの圧縮データを受け取るように補完的に構成できるが、JPEG圧縮の利点はそれでもなお実現できるからである。センサから受け取られたデジタル画像フレーム全体は、ほとんどのデジタルカメラにおいて一般に行われているように、圧縮に先立って、画像フレームバッファメモリ内に保存される必要がない。代わりに、画像フレームのデジタル化データの小さい部分のみが圧縮に先立って保存される必要がある。このようにして、圧縮に先立つ画像の保存に通常用いられる別個のデジタルメモリ集積回路チップをカメラから普通に取り除くことができ、従って、その複雑度が低減され、別個のメモリによって課される操作上の制約が排除され、製造コストが低減される。画像フレーム全体の一時的保存が仮にも必要とされるのであれば、それは、画像フレームの圧縮に先立つ画像フレームのずっと大量のデータではなく、低減されたサイズの圧縮写真フレームの保存にすぎない。従って、一時的画像データ保存の全必要量はかなり低減することができる。サービスセンターのワークステーションにおいてまたは別の方法で、取り込まれた画像作業製品を保存するために使用されるデジタルカメラ内の不揮発性メモリから圧縮写真が回収され、復元される。復元後、ワークステーションは、画質を最適化し、カメラにおける欠点を補正するための画像データの処理、すなわち前に概説したような市販のデジタルカメラが現在行っているすべての処理およびそれ以上の処理を完了する。次に、復元および処理された画像データは、カラープリンタによる利用、CDまたはDVDへの書き込み、あるいは何か他の最終用途のための形にされる。データをCD書き込み用標準形式ファイルにする場合、ワークステーションは、データをJPEG形式標準などの規格に圧縮することにより写真を処理する。
本発明のさらなる態様によれば、デジタルカメラは、同じ場面の少なくとも2つの写真を高速連写し、次に2つの画像のデータを処理して、取得された画像のいずれかの品質よりも優れた品質を有する共通の対象場面の単一画像を生成するように構成することができ、これにより取得された画像における欠点の補正および/またはカメラの制限が補償される。例えば、手持ち式カメラによる2つの連続した露出間で確実に生じる極めて小さいシフトである2つの露出間の少なくとも1つの画素だけカメラセンサ上の画像がシフトされる場合、画像センサの不良画素の画像への影響が除去され得る。不良センサ画素の影響を含む一方の画像の部分のデータは、他方の画像により取得された対象場面の同じ部分のデータにより置き換えられ、この他方の画像は、ピクチャ間のカメラの動きのために、異なるセンサ画素により取得される。センサ、カメラ光学部品類および電子システムの固定パターンノイズの影響は同じ方法で補正し得る。このようにしてこれらの補正を行う利点は、これらの補正が動的であることである。すなわち、センサまたは光学部品類における経時的変化は、それらを別個に測定する必要なく自動的に補正される。別の例は、異なる露出条件下で同じ対象場面の2つ以上の画像を取得し、次にそれらを結合することにより、カメラセンサの光感応ダイナミックレンジを増大させることである。これにより、飽和されているセンサ画素のために、大部分が暗いかまたは明るい取得された画像の部分の細部の復元が可能になる。さらに、露出の間に動くカメラによってぼやけた画像細部は、2つのこのような露出を急速に連続して行い、次に両方の画像のデータを逆スミアリングアルゴリズムで処理することにより鮮明にし得る。
前述した本発明の態様および特徴は、用途に応じて個別にまたは様々に組み合わせて一緒に実装し得る。さらに、本発明の付加的な態様、利点および特徴は、添付図面と共に解釈されるべきである以下の代表的な実施例の説明に含まれる。本願明細書中で参照されるすべての特許、特許出願、記事およびその他の刊行物は、この参照によりすべての目的について本願明細書においてその全体が援用されている。
手持ち式カメラの形の代表的なビデオ取得データ機器が図1の概略図に示されている。このカメラは、ケース11、撮像光学系13およびライン19を介してプロセッサ17と通信するユーザインターフェイス15を含むことが概略的に示されている。インターフェイス15は、カメラの操作および状態インジケータだけでなく、ユーザ操作スイッチおよび制御装置を含んでいる。ライン22を介してプロセッサ17により制御されるオプションの光フラッシュユニット21も含まれ得る。このような手持ち式デジタルカメラは小さくすることができ、カメラ本体は、長さ14cm×高さ5cm×厚さ5cm未満の寸法を有し、8×4×2cm未満といっそう小さくすることができ、通常本体から突出するレンズを備える。
光学系13は、図に示されているように単一レンズとすることができるが、通常は一組のレンズである。場面25の画像23は、調節可能な開口27およびシャッター29を介して可視光学放射として画像センサ31の2次元表面上に形成される。センサ31の電気的出力33は、画像23が投射されるセンサ31の表面の個別の光検出器を走査した結果得られるアナログ信号を伝える。センサ31は典型的には、画像23の個別の画素を検出するために行および列の2次元配列で配置された多数の個別の光検出器を含んでいる。個別の光検出器に当たる光の強度に比例する信号は、典型的には光検出器をラスタパターンで走査することにより、時系列的に出力33中で得られ、その場合、光検出器の行は、最上行から始めて、左から右へ一度に1個走査されてビデオデータのフレームを生成し、このフレームから画像23を再構成することができる。アナログ信号33は、画像23の回路内のデジタルデータ37を生成するアナログ・デジタル変換回路チップ35に印加される。典型的には、回路内の信号37は、センサ31の個別の光検出器に当たる光の強度を表すデジタルデータの一連の個別のブロックである。
図1の代表的なカメラにおいて、プロセッサ17は、システムクロックを含み、クロック信号がプロセッサによりセンサ31およびアナログ・デジタル変換器35にライン39を介して供給される。センサ31およびプロセッサ17の動作を同期させるための付加的なタイミング信号もプロセッサ17において発生され、ライン41を介してセンサ31に供給される。また、別個のシステムクロックを使用してもよく、かつ/または同期タイミング信号をセンサ31において発生してプロセッサ17に代わりに供給してもよい。プロセッサチップ17は、可変開口27、シャッター29およびカメラのその他の構成要素を制御するため、制御および状態ライン43を介してそれらに接続される。
カメラにより取り込まれた画像のデータは、カメラ内に装備された不揮発性メモリ45に保存し得る。メモリ45は、商業的に利用可能な半導体フラッシュ式の電気的に消去可能でプログラム可能なリード・オンリー・メモリ(EEPROM)、小形の取り外し可能な回転磁気もしくは光ディスク、磁気テープ、バッテリーバックアップを有する揮発性半導体メモリまたはセンサ31により取得された画像フレームのビデオデータを保存することができる他の不揮発性メモリとすることができる。データの多数の個別のフレームのデータは、センサ31がこれらのデータを取得する際に、プロセッサ17からライン47を介してメモリ45にプログラムされる。制御ライン49は、プロセッサ17がメモリ45の動作を制御できるようにする。画像データのその後の処理に有用または必要な付加的な画像サポートデータも、それらがサポートする画像フレームデータと共にライン51を介してメモリ45にプログラムされる。他のところで説明されたように、カメラのコストを最小限にするために、メモリ容量が消尽される前に十分な数の画像フレームをカメラが取り込みおよび保存するができるようにするため、合理的なサイズのメモリ45への保存の前にデータを圧縮することが望ましいことを除けば、図1のカメラにおいて画像データの処理はほとんどまたは全く実行されない。
メモリ45は、フラッシュメモリカードまたは取り外し可能な小型ハードディスクシステムを使用することによりカメラから物理的に取り外し可能にすることができるが、この例におけるメモリ45は、カメラケース11内に恒久的に設置されている。ユーザがカメラから画像フレームデータを転送したい場合、転送は、メモリ45から読み出されたデータをライン55を通して受け取る通信機器53を介して行われる。通信機器53は、画像処理ワークステーションへのケーブルが接続可能なソケット、赤外デジタルデータ送信機器、無線周波数信号送信機、またはその他のタイプのワイヤレスデータ通信リンクなどのいくつかの異なる形態を取ることができる。
図2に関連して、カメラのメモリ45から読み取られた画像データを処理するためのワークステーションが一般的に示される。カメラの通信機器53と補完関係にある通信機器57がカメラからデータを受け取る。これは、ケーブル、赤外送信、無線周波数送信などによることができる。プロセッサ59が、受け取られた画像データを処理する。このプロセッサは、パーソナルコンピュータ、ネットワークサーバーなどとすることができる。次に、処理された画像データは、このデータを利用する何らかの機器61に掛けられる。機器61は、画像データのプリントを提供するカラープリンタあるいはCDもしくはDVDバーナー、磁気ディスク駆動装置、フラッシュメモリカードまたは磁気テープ駆動装置などの画像データを保存する何か他の不揮発性メモリ機器とすることができる。カメラのメモリ45内に保存された画像データが圧縮されていれば、プロセッサ59はデータを復元する。しかし、プロセッサ59の主要な機能は、通常デジタルカメラにおいては実行されるが図1の低コストのカメラにおいては実行されない画像処理を実行することである。カメラ外部のコンピュータで利用可能な付加的な処理パワーおよび時間により、このような画像処理をより適切に実行することが可能になり、手持ち式デジタルカメラにおいては現在実行されない他のタイプの処理をすることも可能になる。プロセッサ59によりなされる処理は、利用機器61ともインターフェイスし、例えば、機器61がプリンタを含む場合にはソフトウェアプリンタドライバを含み、機器61がCDまたはDVD保存ユニットを含む場合には通常のJPEG圧縮を含むなどである。
図3は、再利用可能なカメラとしての図1の簡略化されたデジタルカメラの1つの使用を示す。このようなカメラ63は当初個人ユーザにより小売店から購入される。その内部不揮発性メモリ45が、ユーザが撮った写真のデータにより容量が満たされた後、ユーザはカメラ63を、図2に関して前述されたワークステーションを備える商業的処理センターに持って行き、引き渡す。次に、カメラ63の不揮発性メモリ内に保存された画像データがメモリから読み出され、ワークステーションのメモリに読み込まれる。次に、これらのデータは、手持ち式デジタルカメラ内で現在行われている方法で画像を補正および強調するため、以下で説明されるやり方で処理される。というのは、この処理は、図1のカメラ63から省略された設計によるものだからであり、さらにそれ以上の処理がなされる。次に、ユーザが注文した通りの写真プリント、画像データがJPEG圧縮フォームで保存されたCDなどがデータから作製される。次に、カメラ63のメモリ45は処理センターにより消去され、カメラは、別のユーザによる購入のために小売店に送られる。
図3に示される処理センターは商業施設であり、本発明のデジタルカメラのユーザは、自分のカメラをそこに持ち込んでデータを画像処理ワークステーションにダウンロードし、画像処理サイクルを完了し、ハードコピープリントおよび/またはリンクされたサポートデータにより増強されたデジタル画像データから得られた標準デジタル画像ファイルが保存されたディスク、CDもしくはDVDなどの保存媒体を入手する。デジタルカメラは、再利用可能なカメラであり、写真保存用の内部電子メモリのみを有し、取り外し可能な保存メモリを全く有さず、保存された写真をパーソナルコンピュータまたは何らかの他の機器に転送することによりカメラユーザが回収するための手段を全く有さず、サービスセンターまたはカメラ製造業者により改装されて、販売箇所へ返送されて再販売されるように設計されているのであれば、このような一連のステップがたどられる。
しかし、この使用モデルは必ずしもそうである必要はない。エンドユーザにより使用される図1のデジタルカメラが、リンクされたサポートデータにより増強されたデジタル画像データを、別の機器または取り外し可能な不揮発性メモリにダウンロードするためのUSB2.0またはIEEE1394インターフェイスなどの標準手段を含んでいれば、本発明の画像処理ワークステーションは、商業施設に設置される必要はない。代わりに、ワークステーションは、エンドユーザの家庭に置くことができ、CD、DVD−RまたはRW記録能力を有する適切な画像処理ソフトウェアが搭載されたUSB互換パーソナルコンピュータの形態を取ることができる。ワークステーションは、本願明細書中で説明された原理に基づく画像処理ソフトウェアを搭載するUSBインターフェイスまたは取り外し可能なメモリンターフェイスコネクタを備えるDVDレコーダの形態も取ることができる。このようなDVDレコーダは、エンドユーザが処理サイクルを完了し、ユーザの画像データを1つ以上の標準画像形式に方式変換できるようにするユーザインターフェイスを付加的に含み、これらの形式の少なくとも1つは、どのDVDプレーヤーでも再生可能である。このようなDVDレコーダ上でのUSBまたはIEEE1394インターフェイスの存在により、現在消費者に利用可能な多くのカラープリンタの1つにおいてエンドユーザが自分の処理された画像データのハードコピープリントを作成することがさらに可能になる。
図1のカメラの構造および動作のさらなる詳細を説明する。センサ31は、電荷結合素子(CCD)、相補型メタルオンシリコン(CMOS)素子または他の同様なタイプの光センサとすることができる。多数の光検出器要素(典型的には、200万、300万および400万個以上)が、小さい2次元表面全体にわたって配置され、要素に当たる光または他の光学放射(可視光線波長に隣接するスペクトルの赤外および紫外領域を含む)の強度に比例する信号を個別に発生する。画像の画素を検出するこれらの要素は典型的には、ラスタパターンで走査されて、それらが走査される際に、光検出器要素に次々に当たる放射の強度を与える出力33中の連続したアナログ信号を発生する。色データは通常、光検出器の前にあり、赤、緑および青のような別個の色成分の1つに対する光検出器の感度を制限する濾光器を使用して提供される。
図4は、1つの広く使用される基準に従って、センサ31内で利用し得る色モザイク中の画像23の個別の画素の感光検出器の2次元配列の一部分を例示する。一つおきの行65は各々、緑(GR )および赤(R)を交互に感知する光検出器を含んでいるのに対して、その間の行の光検出器は、青(B)および緑(GB )を感知する。目は緑に対してより敏感なので、緑を感知する光検出器は、赤または青を感知する光検出器の2倍ある。緑を感知する光検出器は配列全体にわたって同じであるが、赤の行中のものを青の行中のものからそれぞれ区別するために、行65中のものはGR と表記され、行67中のものはGB と表記される。本願明細書中で説明される例において、赤の行中の緑感知光検出器からのデータは、青の行中のものとは別個に扱われる。
カメラの複雑度とコストを最小限にするために、画像処理は図1のカメラから完全またはほぼ完全に省かれるが、画像データを不揮発性メモリ45に保存する前に、その画像データを圧縮することが目下のところ望ましい。これにより、非常に大容量のメモリのコストを招く必要なくカメラを商業的に望ましいものにするメモリ45に十分な数の画像のデータを保存することが可能になる。メモリのコストが低下し続けると、これは変わることが考えられ、その場合には、センサ31からの原色データは、デジタル化された後、わずかな付加的処理と共にまたは付加的処理なしでメモリ45に直接保存される。しかし、本願明細書中の例は、図1のカメラ内での画像データ圧縮に備えるものである。
カメラにおける使用について本願明細書中に記載されている圧縮アルゴリズムは、JPEG圧縮アルゴリズムの修正形である。図5を参照すると、センサ配列の光検出器からのデータは、設定数の光検出器の行および列をそれぞれ含むセンサ31の配列のブロックから得られるデータにグループ化される。示される例において、各ブロックは、8つの行と8つの列とを含むが、代わりに、他の数の行または列がブロック中にあるように定義することができる。この例において、各ユニット内のR、GR、BおよびGB画素からのデータは、別個に圧縮されてメモリ45内に保存される。
この画像データ圧縮は、図6により概念的に例示される。好ましくはすべて単一の集積回路チップ上にあるプロセッサ17の一部である小さい揮発性バッファメモリは、アナログ・デジタル変換器35からの画像画素データのストリームを受け取る。このデータは、センサ31の配列を横切る順序で画像フレームのラインについて、R/GR 画素およびB/GB 画素のラインについて交互に、受け取られた通りに書き込まれる。図6のこの例において、ディスプレイのすべての列を横切って、処理ユニットの数の画像ラインについて十分なデータがバッファ71にひとたび取り込まれると、書き込みとは異なる順番でのバッファ71からのデータの読み取りが、圧縮処理のために開始され、すでに取り込まれたライン以下の他のラインからのデータがバッファに書き込まれるにつれて継続される。図6に示されているように、データ圧縮機能77〜80が、バッファの第1のセクション73に保存される画像フレームデータの8つのラインから読み取られるデータに対して実行される一方で、次の8つのラインのデータが第2のセクション75に書き込まれる。その後、データは圧縮のために第2のセクション75から読まれる一方で、画像の次の8つのラインについての新しいデータが第1のセクション73に書き込まれ、画像フレーム全体のデータがバッファメモリ71に書き込まれてそこから読み取られるまで以下同様である。プロセスのスピードを維持するために、メモリ71からのデータの読み取りおよびその圧縮は、メモリ71にデータが書き込めるのと同じ速さで行われるのが好ましい。
バッファメモリ71のセクション73または75の一方が8つの画像データラインでひとたび満たされると、このデータは、それらすべてのラインから、一度に1ユニットずつ、この例では1ユニットあたり8つの画素列が異なる順番で読み取られる。第1のユニットのすべての赤(R)画素からのデータを、読み取り、圧縮し、かつカメラのメモリ45の領域83に保存することができ、続いて読み取られた行中の緑(GR )画素について同じことが行われ、圧縮されたデータは、メモリ45の領域85に保存される。同様に、青(B)および緑(GB )のデータが同じユニットから連続して読み取られ、それらの圧縮されたバージョンは、メモリ45のそれぞれの領域87および89に保存される。これにより、バッファ71の1つのセクション内に保存された画像フレームデータの第1のユニットの圧縮および保存が完了する。次に、このプロセスは、一方のセクション内に保存されたデータの8つのラインを横切るデータのすべてのユニットが読み取られ、圧縮され、かつ圧縮されたデータがメモリ45に書き込まれるまで、同じバッファセクション内に保存されたデータの第2のユニットについて繰り返される。次に、これは、バッファ71の他方のセクション内に保存されたデータについて完了するまで繰り返され、それから第1のセクションへ戻り、画像フレームのすべてのデータが圧縮されて不揮発性メモリ45内に保存されるまで以下同様である。ひとたびこれが生じると、別の画像のデータがセンサ31により取得され、このプロセスが画像データの新しい組について繰り返される。
この処理手法には、バッファメモリ71が、このようなバッファが少なくとも1つの画像フレームのすべてのデータを保存する通常のデジタルカメラのバッファメモリよりもかなり小さくなることを要求するという大きな利点がある。非圧縮データを保存するためのこのようなフルフレームバッファは典型的には、カメラ内にあってプロセッサと接続された別個の集積回路メモリチップを用いて実装される。しかし、これは高価であり、2つのチップ間での必要な高速データ転送が、回避される必要があるノイズの多い環境を生成する傾向にある。ここで、バッファ71は、プロセッサ集積回路チップに含まれ得るのに十分小さい。バッファ71は、1つのフレーム内および1つの処理ユニット(図5)内のラインの相対的な数に応じて、フルフレームバッファのサイズの15%未満または10%未満、さらには5%未満とすることができる。バッファ71は、フル画像フレームバッファのサイズの2%未満とすることが可能である。
図6に一般的に例示されているデータ圧縮は、画像データがセンサ31から取得される際に、そのデータのシングルパスでリアルタイムに実行される。図6に例示されている圧縮ステップは、JPEG標準処理の代表的なものである。ステップ77において、単一の表示ユニットについて一度に1色のデータの離散コサイン変換が取られる。次に、この変換係数は、ステップ78において量子化され、ステップ79においてハフマン符号化される。次に、符号化されたデータは、バッファメモリ80に書き込まれ、このバッファメモリは、データがステップ79により符号化されるレートとこの符号化されたデータが不揮発性メモリ45に書き込み得るレートの同期をとる役割を果たす。不揮発性メモリ45としてフラッシュメモリが使用されれば、バッファ80は、高いレートでデータを保存するのに十分に大きい必要がある一方で、このデータはより遅いレートでメモリ45に書き込まれる。というのは、現在利用可能なフラッシュメモリのプログラミングは比較的遅いからである。いずれにしても、画像フレームデータはこの時点で圧縮されるので、バッファ80は、カメラ内に別個のメモリチップを必要とするほど大きい必要はない。ステップ77〜80により例示される圧縮は、ソフトウェアあるいはハードウェアのいずれかにより実装でき、最初にハードウェア実装について以下説明する。
圧縮の結果生じるデータの量は、図6の破線で示されているように、符号器79のデータ出力を監視し、応答してステップ78の量子化レベルを調節することにより制御される。画素の8つのラインの画像フレームを横切る1つのストリップの結果生じる圧縮データの量が高すぎれば、量子化レベルは、データの次のストリップの圧縮について調節することができる。しかし、単一のこのような調節は小さくされるので、ストリップ−ストリップから結果として生じる復元画像に対する目に見える影響はまったくない。フルフレームバッファを有する他のカメラ設計において、所望のサイズの圧縮データファイルが得られるまで、画像フレームデータは、異なる量子化レベルで何回も圧縮し得る。しかし、本願明細書中に記載されているカメラシステムにおいて、圧縮を行う機会は1回だけであり、圧縮に先立ってフルフレームバッファを必要とせず、連続画像の取得の間の時間遅延の低減の結果として生じる圧縮処理を高速化するという重要な利点を有する。
カメラプロセッサ17(図1)は、画像圧縮のプロセスを開始する前に、センサ31からの画像データの前処理を最小限の量だけ実行する。1つの実施形態において、カメラプロセッサは前処理をまったく実行せず、従って、前処理機能のコストをゼロに低減し、ワークステーションにおいてカメラ外で行われる処理において用いる生のセンサ画像データに関する最大限の情報量を保持する。現行のデジタルカメラにより従来実行されてきたというよりむしろワークステーションにより実行される前処理機能は、例えば、不良画素補正、ホワイトバランス補償、ブラックレベル補正、コントラスト伸張処理、デモザイキング、ガンマ補正、画素形式変換、エッジ強調、クロミナンスフィルタリングおよびレンズシェーディング補償である。このデータ処理は、処理されたデータから最終的に形成されるオリジナルの場面の画質を補正、強調または別の方法で改善する目的で実行される。これらのデータ操作は、付加的に行われることがあるデータのどのような圧縮からも独立しているのが典型的である。取り込まれた画像を表すより小量のデータへの画像データの圧縮および復元による圧縮からの画像データの再構成は、圧縮プロセスにおいて通常固有の損失を除き、結果として生じる画像に影響を及ぼさない。データ圧縮は、画質を補正、強調または別の方法で改善する目的または効果を持たない。
しかし、未補正画素によりある種の圧縮手法が圧縮アーチファクトを導入してしまうことがあるので、カメラにおける単純な不良画素補正前処理を維持することが望ましいことがある。しかし、単純な不良画素補正を除いて、これらの前処理機能のすべては、好ましくはカメラではなくてワークステーションにおいて実行され、従って、カメラが簡略化され、いずれにしてもカメラには実際的に含めることができないタスクにより多くの処理パワーをもたらす。
ワークステーションによるこれらの処理機能を容易にするために、図1のデジタルカメラは、圧縮された取り込み画像データと結び付けられたサポートデータを写真ごとに不揮発性メモリ45に保存することができる。サポートデータは、関心のある場面の画像が取得される前または後に1つ以上の所定の時間間隔で、異なる撮像条件のもとで取得された1つ以上の付加的な完全または部分画像の形を取ることができる。本発明の圧縮操作はリアルタイムでシングルパスで実行され、画像データがセンサから読み出される際に、圧縮時間、圧縮された出力データレートおよび圧縮されたデータサイズに関して決定論的かつ予測可能なので、これらのあらかじめ定義された時間間隔は、反復可能であり、かなり短かくできる。従って、これらの付加的な画像は、関心のある場面と良好な相関関係にある。サポートデータは、これらのデータを保存するために必要とされるメモリ45の量を低減するために、好ましくは取得された画像データと同じやり方で圧縮される。また、サポートデータは、サポートデータ保存要件を低減するために、メモリ45への保存の前に、カメラプロセッサ17によりサブサンプリングまたは平均化されてもよい。メモリ使用をさらに低減するため、あらかじめ定義された画像領域またはあらかじめ定義された基準に応じる画像領域のみを、サポートデータとしてメモリ45に保存することもできる。関心のあるこれらのあらかじめ定義された領域を定義するデータも、このメモリに保存される。加えて、サポートデータは、工場較正の間に測定されてカメラの適切なメモリに保存されるか、あるいはカメラの使用の間に動的に決定または調節される特定のカメラのパラメータとすることができる。画像の取り込まれたデータと関連付けられたサポートデータは、カメラから受け取られた画像データのワークステーション操作による一定の補正、強調および/またはその他の画質の改良を可能にする。最終的な写真の質を大きく改善するために使用することができるサポートデータをワークステーションに提供するために、サポートデータは、以下の状況下で取り込まれ得る。
1) センサの固定パターンノイズの補正を考慮するため、機械シャッター29を使用して画像センサからブロックされた光を用いて取り込む。
2) センサグレースケール特性についての補正を可能にし、写真ダイナミックレンジを改善するデータを提供するため、同じ対象場面であるが、関心のある画像と比較して異なる1つ以上の露出レベルでの対象場面のデータで取り込む。
3) 関心のある画像の取り込みと、関心のある対象場面画像のデータ取得の間に生じたカメラの動きの決定および補正を可能にするサポートデータの取り込みとの間の異なる1つ以上の時間遅延間隔で取り込む。
4) 不良画素の検出および補正を容易にするため、取り込まれている関心のある場面に関して異なる1つ以上のセンサ位置で取り込む。高速で連続して取り込まれた画像間に小さい位置オフセットが当然生じることに留意されたい。センサ上でのこの画像オフセットのため、不良画素により1回目に読まれた画像データは、隣接する作動画素により2回目に読まれる。従って、関心のある場面の取り込みとサポートデータの取り込みとの間の短い時間遅延は、画像データ処理ワークステーションが不良画素からの誤ったデータを正しい画像データで置き換えるのに必要な情報を提供する。
5) デジタルカメラの工場較正の時点で取り込む。
固定パターン画像センサノイズ補正である前述した第1の例は、サポートデータ概念のよい例示を提供する。このタイプのノイズは、センサ配列の個別の光検出器要素の若干異なる特性に起因する。ノイズのレベルは温度依存性、従って、動的であり、時間の経過につれて変化することを意味するので、ノイズパターンは、写真が撮られる時に近い時点で測定される必要がある。1つの例において、これは、関心のある場面の取り込みの直後に画像センサからサポートデータを読み出すことによってなされる。この場合、サポートデータとして用いられる画像は、“黒画像”である必要があり、これは画像センサに当たる光が全くなしで取り込まれた画像である。機械シャッター29をデジタルカメラに組み込むことにより、すべての光は画像センサから適時ブロックされ得る。このサポートデータは、ノイズのダイナミックレンジが主要画像のダイナミックレンジよりもずっと小さいので、圧縮された符号の目標ボリュームをずっと小さくすることができる以外は、関心のある場面を表す画像データと同じやり方で圧縮および保存される。従って、サポートデータの圧縮されたデータサイズは、関心のある場面のデータの圧縮されたデータサイズよりもずっと小さい。処理サービスセンターにおいて、サポートデータおよび関心のある場面のデータが復元され、画素ごとに、サポートデータ値が、対応する関心のある場面の画素データ値から引かれる。サポートデータ値は、関心のある場面の画像データが取り込まれたほんの短時間後に取られた黒画像からのものなので、そのサポートデータ値は、関心のある画像が取得された時点における各センサ要素の黒レベルノイズ値を表す。このように、画像センサ固定パターンノイズについての補正は、ワークステーションによってカメラの外部で行われる。
図1のカメラが、画像エリア周辺の外側に付加的な要素を有する画像センサ31を用い、これらの要素が、これらの要素に光が当たることを防ぐ材料で覆われていれば、これらの暗要素からのデータサンプルはサポートデータとして働くことができる。ワークステーションにおいて、このサポートデータは、画像エリアにおける黒レベルノイズを推定するために用いられる。1つのタイプの画像センサ中の付加的要素は、画像エリアの左または右の縁部上の要素の単一の列で構成することができる。センサの各列が読み出されると、その関連付けられた暗要素も読み出される。行は逐次的に読み出されるので、時間の経過につれて一般に累積するノイズは、行から行にかけて変化し、暗要素からのデータは、黒レベルノイズの測定値を提供する。画像がその後、カメラの外部でワークステーションにより処理される場合、暗要素の出力は、その行中の他の要素すべての値から引かれ、従って、画像から時間変化ノイズを除去する。
画像センサダイナミックレンジの改善である前述した第2の例は、サポートデータ概念の別の使用例を提供する。関心のある場面が特定の露出レベルで取り込まれると、細部が最小輝度しきい値以下または最大輝度しきい値以上にあるためにそれらの細部が認識できない画像の領域があるのが典型的である。この手法は、連続してはいるが異なる露出レベルで同じ画像を1回以上付加的に取り込むものである。これらの付加的な画像取り込みからのデータは、ワークステーション用のサポートデータとして働く。これは、リアルタイムのシングルパス画像圧縮および前述した保存方法により、取り込まれた画像間の測定可能な動きを招くことなく、図1のデジタルカメラにおいて可能である。ワークステーションにおいて、個別の写真のいずれよりも多くの目に見えるグレースケール細部を有し、従って、画像ダイナミックレンジを強調した合成画像が作り出される。
この形のダイナミックレンジ強調が効果的であるためには、付加的画像中に存在するすべての取り込まれたデータは、画像データと共に保存され、かつワークステーション用サポートデータとして利用可能である必要はないことに留意されたい。例えば、サポートデータダイナミックレンジ情報は、付加的画像の低解像度バージョン、画像内容に応答するダイナミックレンジ情報を含む付加的画像の処理されたバージョンまたは付加的画像の圧縮されたバージョンの形で保存され得る。加えて、画像処理ワークステーションは、関心のある画像のダイナミックレンジを強調するためにサポートデータを利用するために、サポートデータが取得された条件を認識しているべきである。例えば、これらの条件は、最初の画像においては見えなかった場面のシャドー領域における細部を明らかにするために、付加的画像は関心のある場面よりも長い露出時間で取り込まれることおよび/または関心のある場面において見えなかった場面の光輝部における細部を明らかにするために、付加的画像は関心のある場面よりも短い露出時間で取り込まれることとすることができる。ワークステーションにおいて、2つの画像間にわずかな量の動きがあれば、それを補正するために既知の画像登録方法が用いられる。等しい要素の各々について、第1の画像からのデータは、そのレンジを増大させるために左シフトすることもでき、そうであれば、ダイナミックレンジが拡張された合成画像を作り出すためにサポートデータがそれに付加される。
レンズシェーディングなどのレンズ13およびカメラ光学部品類の他の部分の欠陥も、光学部品類と関連する動的サポートデータを取得された画像と共に保存することによりワークステーションにおいて補正され得る。1つの例において、レンズは、カメラが製造される時点で工場によって各ズームおよび焦点設定において較正され、測定された較正データは静的情報として不揮発性メモリに保存される。画像が取り込まれる場合、ズームおよび焦点設定は、関心のある画像からの圧縮されたデータと共にサポートデータとして一緒に保存され、それらの設定のための光学部品類補正データは、ワークステーションによって読み出され、レンズシェーディング補正を実行するためにそこで使用される。
サポートデータおよびワークステーション画像処理の使用のさらに別の例は、画像取り込みの時点で、図1のデジタルカメラ内で見える画像のデータが生成されない場合である。この例のデジタルカメラは、コンピュータ最適化されたレンズを使うこともできる。このレンズは、センサに当たる画像を故意に歪ませる。作り出された歪みは、ワークステーションにおけるその後の処理によって除去される。この場合、レンズ歪み特性は、画像データと共にデジタルカメラの不揮発性メモリ45に保存される。このレンズ歪みデータは、カメラ製造の時点で、カメラの不揮発性メモリに保存される。このようなカメラ構成の1つの特定の例において、このようなレンズの使用は、「サイエンス・ニュース」,第163巻,第13号,2003年3月29日,200ページ(非特許文献2)に記載されているように、最終処理された写真の被写界深度を高める。このようなレンズにより生成される生の画像の重要な特性は、その画像がぼやけていること、すなわちセンサ31上へ投げられた画像23(図1)は、目に見えるシャープなエッジを含んでおらず、その結果として、その画像は、従来のレンズにより生成された画像よりも効率的に圧縮することができる。実際、画像は、画像データ圧縮の前に、カメラプロセッサにおいて歪み除去処理が行われた場合よりも効率的にカメラプロセッサ17により圧縮され得る。結果として、圧縮は、それほど厳密でない量子化を用いて行うことができ、従って、従来のカメラレンズまたは圧縮前に歪み除去処理が行われるカメラを用いて可能になるよりも高品質の最終写真を生成する。
図1のカメラに戻り、プロセッサ17の構造および動作を説明する。プロセッサ17は、1つの実施形態において、以下の機能を実行する。
1) センサを操作するために必要とされるタイミングを有する信号の任意の発生を含む画像センサ31の制御。
2) センサにより発生されたタイミング信号、または随意にプロセッサ17により発生されたタイミング信号のモニタリングを含む関心のある画像のデータおよびサポートデータ双方についてのセンサ31からのデータの読み出し。
3) 必要とされるセンサ露出時間の計算。
4) デジタル化されたセンサデータの圧縮。
5) 圧縮されたデータの不揮発性メモリ45への保存。
6) 圧縮プロセスを適応的に制御することによる利用可能な保存スペースの管理。
7) カメラのユーザインターフェイス15の管理。
プロセッサ17の1つの実施形態のブロック図が図7に示してある。プロセッサは、前述されたやり方で、センサ31と接続する画像インターフェイス93およびアナログ・デジタル変換器35を含む。メモリインターフェイス95は、関連するメモリコントローラ97と共に、前述したライン47、49および51を介して不揮発性メモリ45と接続する。汎用インターフェイス99が、プロセッサ17をユーザインターフェイス15、カメラ内の他の電子部品およびフラッシュユニット21と接続する。プロセッサ17は、中央処理装置(CPU)101、露出制御コプロセッサ103、圧縮ユニット105およびクロック発生器107も含む。
画像センサインターフェイス93は、画像センサインターフェイス93によりライン39上に提供されるクロック信号およびライン41中の関連するタイミング信号に同期してデータをサンプリングすることにより、ライン37上に出現するセンサ31からのデジタル化画像データを読む。カメラ用に選ばれた特定タイプのセンサに応じて、タイミング信号は、センサ31によってまたはセンサと関連付けられたタイミング発生器によって発生され得る。センサインターフェイス93により取得された画像データは、2つの宛先、すなわち露出制御コプロセッサ103および圧縮ユニット105に送られる。
露出コプロセッサ103は、センサの照度測定値を累積する。このユニットは、CPU101のためのコプロセッサとして働き、CPUは、必要とされるシャッター29のタイミングを決定し、露出をいつ終了させるかをセンサ31に知らせるためにこれらの照度測定値を用いる。露出制御のこの方法は、従来のデジタルカメラにおいて用いられる方法と同じである。
圧縮ユニット105は、ストリップメモリ71(図6)用のランダムアクセスメモリ109を含む。圧縮のパラメータは、圧縮画像用に不揮発性メモリ45(図1)内に割り当てられたスペースに圧縮画像が確実に収まることを保証するために、ストリップごとに適応的に調節される。適合のための計算は、全面的にCPU101により、または圧縮ユニット105中のコプロセッサからの支援を受けるCPUにより、あるいは全面的に圧縮ユニットにおいて行える。CPU101は、リード・オンリー・メモリ内に保存された命令を実行し、計算において使用するための少量の読み書きメモリを有する。
図7のメモリコントローラ97は、圧縮ユニット105により生成された圧縮画像データを先入れ先出し(FIFO)メモリとして構成されたメモリ111内にバッファし、次にこれらのデータをメモリインターフェイス95を介して不揮発性メモリ45(図1)に書き込む。FIFOメモリ111は、前述したバッファ80(図6)の機能を実装する。CPU101は、メモリインターフェイス95を介して不揮発性メモリ45(図1)にもアクセスすることができる。
従来のデジタルカメラにおいて、前処理はデモザイキングを含む。このプロセスは、YCbCrとして知られる表現をもたらし、ここで、輝度Y値が、センサ配列の各要素について割り当てられる。1つのCbCrペアが2つまたは4つのY要素と関連付けられる色成分CbおよびCrは、より低い解像度で表される。従って、結果として生じ、その後圧縮されるYCbCr値の総数は、配列中の要素数の2または1.5倍である。YCbCr表現が用いられる。というのは、この表現は、デジタル写真を表示するコンピュータソフトウェアにより使用される標準表現であり、またこの表現は、配列の各要素についての値のRGBトリプレットがある表現、すなわち別の標準表現の圧縮の結果として生じるであろうよりも効率的な圧縮を考慮しているからである。画像センサは通常、デジタル化されたセンサ要素値を10ビットデータとして提供するが、Y、CbおよびCr値の各々について8ビットが用いられることに留意されたい。従って、10ビットデータは、従来のデジタルカメラ内で生じる通常のデモザイク前処理操作中のどの時点かで8ビットに変換されねばならない。
図1のカメラにおいて、デモザイキングはまったく実行されない。デモザイキングは、写真がワークステーションにより処理されるまで延期される。圧縮は、画像データがセンサのアナログ・デジタル変換器35から受け取られる際に、その画像データに対してカメラ内で実行される。圧縮前に、図6に関して前述されたように、各色に対応する要素値は個別の配列に分別され、各色配列は、その他から独立して圧縮される。ワークステーションによってカメラの外部で実行されるデモザイキングの質を高めるため、前述したように、赤要素と同じ図4の行中の緑要素(GR )を青要素と同じ行中の緑要素(GB )とは別個に扱うのが有利である。従って、圧縮は、色要素値、R、GR 、GB 、Bの4つの成分配列に対して行われる。各配列中の要素数は、全センサ要素の4分の1である。
有用な情報を場合によっては除去しかねないステップを回避するため、および後にサービスセンターのデモザイキング計算により使用されるために極力多くを保全するため、圧縮は、10ビットデータ値の配列に対して行われる。これには、カメラプロセッサ機器により実行される露出制御におけるエラーを補正するためにワークステーションが用いることができるセンサデータの全ダイナミックレンジを保全するにあたり付加的な利点がある。画像圧縮の間に実行される量子化の影響の1つがダイナミックレンジの減少であり得ることが知られているが、この減少は局所的影響であり、ワークステーション処理において画像のより大きい領域を平均することにより、露出補正目的のためのダイナミックレンジ情報は保全され得る。
プロセッサ17の画像圧縮ユニット105(図7)のブロック図を図8に示す。圧縮は図6に関して概括的に前述されているので、すでに説明されているブロックと同じ機能を実行する図8のブロックには同じ参照番号が付与されている。圧縮方法は、従来のカメラにおいて用いられるJPEG圧縮と概して同様であるが、本発明の実施形態におけるシングルパス操作についてその特性を改善するいくつかの修正点を有する。
第1のステップは、デジタル化センサデータを一時的なストリップバッファメモリ71に保存することである。データは、前に説明されたように、ライン37上を行ごとにバッファへの入力に到来する。バッファ71は、画像の16行の1つのストリップを保持し、従って、ストリップバッファと呼ばれる。このバッファは、1つが各色成分についての画像要素の8つの行のストリップを保持する4つの別個のバッファとして想定することができる。ラスタ・ブロックアドレス発生器115は、メモリ71をアドレス指定するので、バッファの内容が読み出される場合に、要素の順序が変更される。JPEG標準において詳細に説明されているように、8×8ブロックとして知られている1つの色成分の8行および8列の隣接した要素から成るブロックが、単色成分がインタリーブされて、一回に1つ、ただし用途に最も適したやり方で、読み出される。例えば、JPEG標準に文字通りに従えば、インタリービングは、[R],[GR ],[GB ],[B]である。しかし、この用途において、より適切なインタリービングは、[R],[GR ],[R],[GR ],・・・,[GB ],[B],[GB ],[B],・・・,[R],[GR ],[R],[GR ],・・・,[GB ],[B],[GB ],[B],・・・,である。ここで、括弧内の記号は、それぞれの要素の8×8ブロックを表す。これは、センサのラインごとのモザイク配置(図4)において、RおよびGR 要素の第1の8行ストリップが完全であり、GB およびB要素の第1の8ラインストリップのかなり前に読み出される準備ができているであろうからである。[GB ]および[B]ブロックの読み出し開始前に読み出される[R]および[GR ]ブロックの数は、センサの幅、すなわち、1つの行中の光検出要素の数に依存する。
画像要素の1つのブロックがバッファ32から読まれると、それらの要素により占められていたスペースは、次のストリップの取得に使えるようになる。メモリ占有を管理する1つの単純な方法は、2つの完全なストリップのための十分なバッファメモリを準備し、ストリップバッファ間で交番して、他方が書き込まれている間に一方から読み出すことである。アドレス発生器115は、この場合に直截的である。より複雑なアドレス発生器を実装することにより、1つのストリップのみに必要とされるメモリ量を低減することも可能であるので、ブロックが読み出された時に開放されたメモリ空間が次のストリップからの新しい要素により上書きされる。
画像データの各色ブロックがストリップバッファ71から読み出される際に、各色ブロックは、一般にJPEG標準により詳細に規定される離散コサイン変換を計算する離散コサイン変換(DCT)ユニット77に適用される。この用途の実装と従来のデジタルカメラにおいて用いられる実装との1つの違いは、結果のより高い精度が保持されることである。というのは、ユニットへの入力の精度が8ビットではなくて10ビットだからである。具体的には、11ビットではなくて13ビットの精度が保持される。DCTユニットにより出力される結果のDCT係数と呼ばれる8×8配列は、ブロックメモリ117に一時的に保存される。というのは、その配列は、プロセスの次のステップの前に、異なる順序で読み出されねばならないからである。DCTユニット77を停止させないようにするため、メモリ117は、2つのメモリブロックを含み、これによって、結果の次のブロックが他方のメモリブロックに書き込まれている間に、結果の一方のブロックを一方のメモリブロックから読み出すことが可能になる。
DCT係数は、平均して、0値係数のランの長さを最大にする順序でブロックメモリ117からアドレス発生器119により読み出される。JPEG標準において、順序はジグザグ順序であり、その場合に係数は対角線に沿って逐次読み出される。JPEG標準に準拠することは必要とされないので、ジグザグ順序を改良する読み出し順序が用いられる。例えば、一番左上の要素から2次元の8×8ブロック中で読まれる要素までの距離が単調増加する読み取り順序を用いることができる。これは図9に示され、読み取り順序を逐次番号付与により示している。この交互読み出し順序の選択は、DCT係数の大きさが、平均して、ブロックの左上隅からの距離と共に減少し、従って、0値係数のランの長さが増大する機会を向上するという観察に基づく。以下の段落で論じられるように、標準ジグザグ順序ではなく、この読み出し順序を用いることにより、画像圧縮プロセスにおいてより低い量子化レベルを用いることができ、その結果、圧縮の結果としての画像劣化がより少なくなる。
DCT係数は、図8の量子化器78において、量子化値のテーブル121を使用する既存の技術のうちの1つを用いて量子化される。次に、量子化器78の出力における量子化されたDCT係数は、標準ハフマン符号化手法を用いてハフマン符号器79によりハフマン符号化される。ハフマン符号化は、発生された圧縮データ量をさらに低減するために使用される。ハフマン符号化が実行されている間、出力のビットまたは他のユニットの数も計数されて、プロセッサのCPU101(図7)にとり利用可能にされる。
ハフマン符号器79の出力はバイトにパックされ、FIFOとして構成されたコードメモリ80内に一時的に保存され、後にメモリコントローラ97(図7)により、フラッシュメモリ形状の不揮発性メモリ45(図1)内に永続的に保存される。必要とされるコードメモリ80のサイズは、フラッシュメモリの特性に依存する。フラッシュメモリが十分短いバイトあたりのプログラミング時間を有するのであれば、コードメモリ80は、コードがコードメモリ内で生成されフラッシュメモリにオンザフライで書き込まれるように、圧縮された画像コードの一部分を保存するだけでよい。フラッシュメモリがこの動作モードに対して遅すぎれば、コードメモリ80は、画像全体の圧縮されたコードを含むように十分に大きくし得る。
シングルパス圧縮方法が用いられ、これにより多重パスの場合に必要とされるであろうフレームバッファへ非圧縮生画像を保存する必要が回避される。これにより、システム内の大きいランダムアクセスメモリの必要性が排除される。多重パスは、保存の目的で提供された不揮発性記憶域内に保存される写真の最小保証枚数を考慮するように計算される設定限界を圧縮コードサイズが越えないことを保証するために、従来のデジタルカメラにおいて一般的に用いられている。これに加えて、従来のカメラにおいて完全な非圧縮画像を保存するために十分なメモリを提供することについては他の理由がある。1つの理由は、デジタルカメラのプロセッサが、画像を圧縮する前に自動ホワイトバランスを実行することができるようにするためである。本願明細書中に記載されているシステムにおいて、ホワイトバランス処理は、カメラ内のプロセッサによってではなく、ワークステーションによって実行される。別の理由は、保存された写真を再生し、テレビモニタ上でそれらを直接表示する能力をサポートすることである。この再生機能は、本願明細書中に記載されているカメラシステムには含まれない。
シングルパス圧縮は、メモリ121内の量子化テーブル(図8)が画像フレームのストリップからストリップにかけて変更され得るようにすることによって図1のカメラ内で達成される。JPEG標準は、単一の画像フレーム内での量子化テーブルのこのような適応を認めていない。メモリ121内の量子化テーブルの適応はCPU101により実行される。
一般に、図8に例示されている圧縮プロセスは、基本量子化テーブルまたは一組の基本量子化テーブルを各色成分または同様な成分のグループについて1つ使用する。最適性能のために、適切な基本量子化テーブルが、代表的な画像セットおよびカメラにおいて使用されるセンサを用いて実験を行うことにより前もって一番うまく選択されるが、これに不合格であれば、多くの同様の用途について有用であることが経験から知られている基本テーブルを、文献中に、例えばJPEG標準におけるサンプルとして提供されたテーブル中に見出すことができる。画像ストリップを圧縮する際に用いられる実際の量子化テーブルを決定するため、各基本テーブルに倍率が掛けられる。この変倍操作は、テーブルの全体的形状を保存するが、テーブル中の各量子化因子のレベルを変更する。同じ基本テーブルは、カメラから受け取られた画像データを復元するワークステーションにより使用され得るので、ワークステーションが、圧縮の間に用いられた実際の量子化テーブルを再構成するために、各ストリップについての倍率のみが、画像を表す圧縮コードと共にカメラの不揮発性メモリ45に保存される必要がある。
シングルパス圧縮プロセスのこの態様を図10に示す。データは、1回に1つの画像フレームストリップが圧縮される。各ストリップのデータの圧縮後、圧縮されたコードの量が測定され、次のストリップの圧縮の結果生じるコードの量を調節するために、次のストリップのための量子化レベル倍率を調節するように測定された量が用いられる。ステップ131において、圧縮されているストリップが、圧縮されている現在の画像フレームの中で第1のストリップであるかどうかが決定される。そうであれば、ステップ133において、基本量子化テーブル値に初期倍率が掛けられ、第1のストリップの圧縮が始まる前に、量子化テーブルメモリ121(図8)にロードされる。初期倍率は、代表的な画像セットを用いて事前に実験を行うことにより選択し得る。ステップ131により示されるように、画像フレームの初期ストリップであろうとなかろうと、処理の例示される部分は、画像データの所与のストリップのデータが、決定された倍率により調節された量子化テーブルで圧縮されるまで待機する。図10に示されている残りのステップにより、倍率が、次の画像フレームストリップを順に圧縮する際に使用するために決定される。
ストリップのデータがひとたび圧縮されると、ストリップの圧縮されたコードの量は、ステップ137(図10)において、CPU101(図7)によって読み取られる。次に、CPU101は、ステップ139において、次のストリップのために使用されるべき倍率を計算する。要望よりも多くの圧縮コードが存在することが見出されれば、倍率は、次のストリップについて、結果として生じるコードの量を低減するように設定される。逆に言えば、許容できるよりも圧縮コードが少なければ、次のストリップのための倍率は、コードの量を増大させるように選ばれる。次に、次のストリップ圧縮に用いられる量子化テーブルは、次のストリップの圧縮が始まる前に、それに応じて調節され(ステップ141)、量子化メモリ121に保存される(ステップ143)。ステップ145により、図10によって例示されている処理の部分は、次のストリップに移り、次の画像ストリップのデータから得られた圧縮コードの量を参照してこのシーケンスを繰り返す。
倍率の調節は、目標累積コードボリュームのテーブルを1ストリップあたり1つ利用し、このテーブルは、画像圧縮を開始する前にCPU101により準備される。目標ストリップコードボリュームは、各ストリップに割り当てられる圧縮コードの量であり、目標累積コードボリュームは、現在のストリップまでを含むすべてのストリップの目標ストリップコードボリュームの合計である。各ストリップについて同じ目標ストリップコードボリュームを用いることができ、または好ましくはテーブルは、画像の中央部分を含むストリップに向けてバイアスをかけることができ、全画像圧縮データのより多くを典型的に最も関心の高い領域に割り当てることができ、その場合、量子化により引き起こされる画像細部における劣化を最小限にすることが最も重要である。例として、全画像圧縮データの70%を画像高さの中央50%に割り当て、15%を上下の残り25%の各々に割り当てることができる。
画像ストリップを圧縮した後、そのストリップまでを含むストリップコードボリュームの合計がストリップの目標累積コードボリュームを超えれば、量子化の量、従って圧縮の量を増大させるため、次のストリップについての倍率が増大される。急な倍率調節によるストリップ境界における目に見える影響を回避するために、ストリップあたりの倍率を小量だけ増大させることが望ましい。ストリップを圧縮した後、そのストリップまでを含むストリップコードボリュームの合計がストリップの目標累積コードボリュームより少なければ、倍率は少しだけ低減されるが、初期倍率の所定の小部分より小さくなることは許されない。この小部分についての最適値は、代表的な画像セットを用いて試験することにより経験的に決定され得る。
説明したばかりの倍率調節と共にシングルパス圧縮方法を用いることにより、画像全体の累積コードボリュームが目標量を超えないという制約条件を厳密に満たすことが可能である。その結果、所与の量の保存メモリに保存することができる圧縮画像の数が予測可能である。これにより、同程度の予測性のために倍率調節を使用しないJPEG標準圧縮のシングルパス実装と比較して、ずっと高レベルの画質を達成することが可能になる。
前述したリアルタイム圧縮方法を用いると、完全な圧縮画像の一部分のみのデータを保存するために一時的なメモリ80(図8)の量が最小限にされる1つの実施形態において、圧縮速度および不揮発性メモリ45(図1)のプログラミング速度は一致させられなければならない。フラッシュメモリのような特定タイプの不揮発性メモリのプログラミング速度は典型的にはSRAMまたはDRAMのプログラミング速度よりも遅いので、メモリ速度は、用い得る最小圧縮率をともすれば制限する。これに対処するため、センサデータが読み出されるレートを落とすことができ、従って、圧縮データが生成されるレートを低下させる。センサが常用の電子シャッターモードで操作される場合、読み出しレートの低下は、カメラと場面との間に相対的な動きがあった場合に、遅すぎる読み出しに起因し得る画像スキューイングにより制限される。機械シャッターが用いられれば、読み出しレートはさらに低下され得る。というのは、センサのすべての部分の露出が同時に停止するからである。各感光要素と関連付けられた保存要素を有するタイプの画像センサを用いることにより、より遅い読み出しレートも機械シャッターなしで達成することができる。このセンサ形態において、センサの露出が完全な場合、すべてのセンサ要素の出力は、それらそれぞれの保存要素に同時に保存され、次に、保存要素は、保存要素が存在しない場合よりも低いレートで読み出される。
前述した処理に加え、プロセッサ17(図1)は、カメラのユーザインターフェイス15を構成しているボタン、例えばシャッターボタンおよびモード選択ボタンを監視し、さらに、やはりユーザインターフェイス15の一部である、例えば、不揮発性メモリに取り込まれた写真の枚数を表示するオプションの状態表示を制御することもできる。プロセッサの他の機能は、シャッタートリガーとセンサからの画像の読み出しとの間の時間遅延を制御することによる画像の露出の制御およびオプションのフラッシュストロボを起動する制御信号の提供とすることができる。これらの後者の機能は、別個のコントローラにより実行できるが、コスト面の理由から、これらの付加機能も実行するために同じプロセッサ17が好ましくは使用される。
本願明細書に記載されているカメラ処理の改善により、プロセッサ17を非常に小さい集積回路として実現することができる。実際、CMOSセンサは、プロセッサについて必要とされるCMOS技術と同じ集積回路製造技術を使用するので、(部分フレーム画像データバッファを含む)プロセッサ17、アナログ・デジタル変換器35およびセンサ31は、単一の集積回路チップ上に形成することができる。これは、前述したリアルタイム圧縮技術手法により実用的にされる。というのは、圧縮に先がけてデータを保存するために、フル画像フレームバッファの小部分のみが必要とされるからである。フルフレームバッファの排除により、プロセッサ17との通常の高速メモリインターフェイスを持つことが不要になる。このような高速メモリインターフェイスは、受け入れがたいノイズを敏感な画像センサに導入することがある。
図2のワークステーションのプロセッサ59により実行される処理の1つの例を図11に例示する。複数の画像についてのデータが、カメラの不揮発性メモリからワークステーション内のいずれかの適切なメモリ151に転送される。各画像についてのファイルは、画像の圧縮データに加えて、前述したタイプのサポートデータおよび画像データ圧縮のためにカメラにより用いられる画像の各ストリップについての少なくとも量子化倍率を含む。記載されている特定の例において、これらのデータは、R、GR 、BおよびGB 色成分の各々について別個に、画像データの圧縮されたユニットの形をしている。第1の処理ステップ153において、これらのデータは復元されて、非圧縮形状のR、GR 、BおよびGB 色データを与える。復元アルゴリズムは当然、画像データを圧縮するためにカメラにおいて用いられる圧縮アルゴリズムと相補的であり、同じ基本量子化テーブルを用いる。次に、カメラにおいてそのデータを圧縮するために画像の各ストリップと共に用いられる倍率は、ワークステーションにおいてデータの各ストリップの復元に用いられる同じ量子化テーブル値を導き出すために用いられる。
図11のブロック155は、前述したように、デジタルカメラにおいて通常実行されるタイプの復元された画像データの処理を示す。次の処理ステップ157は、画像データをRGB色空間から、YUV、YCrCbまたはYIQなどの輝度およびクロミナンス色空間に任意に変換する。1つの理由は、今はワークステーションにおいて実行されているデジタルカメラにおいて通常実行される処理のいくつかが、輝度/クロミナンス形式にある時にデータに対して最も良好に実行されるからである。ステップ159は、このような処理を示し、その1つの例がホワイトバランス補正である。変換157を実行する別の理由は、標準テレビモニタ上での表示などの図11に示されている処理の出力のいくつかの用途が、輝度/クロミナンス形式のデータを必要とするかまたはこのようなデータが好ましいからである。
さらに、図11には示されていないが、いくつかの応用例には、図2の写真利用機器61による最適化使用のために、JPEG標準によるなどの一般に認知されている標準に従う出力画像データのワークステーションプロセッサ59(図2)による圧縮が含まれる。例えば、CDまたはDVDバーナーなどの写真利用機器により画像データがCDまたはDVD光ディスクに保存されるのであれば、このような圧縮が必要とされる。CDまたはDVDプレーヤーなどの消費者所有の再生機器が、表示用標準に従って画像データを復元する。
ワークステーションによる最適化画像処理およびカメラではなくてワークステーションにおいてほとんどまたはすべての画像データ前処理を実行するという特徴を可能にするために、サポートデータをデジタルカメラの不揮発性メモリに保存された画像データと一体にする手法のような前述した独特な手法のいくつかは、効果的であるために画像圧縮に依存しないことが認識される。適切な不揮発性メモリのコストが低下すると、図1のカメラは、どのようなタイプの圧縮もなしで実施できるかもしれないが、それでも前述した特徴の利点を実現することができる。さらに、本発明の様々な態様をその代表的な実施形態に関して説明してきたが、本発明が、添付の特許請求の範囲の全範囲においてその権利が保護をされるべきであることが理解されよう。
手持ち式デジタルカメラの概略図である。 図1のデジタルカメラにより取得された画像データ用のワークステーションのブロック図である。 再利用可能なデジタルカメラおよびサービス処理センターを使用するビジネス方法を例示する。 図1のカメラの画像センサの画素の代表的な配置を示す。 画像フレームの一部分を概略的に例示する。 図1のカメラ内のプロセッサにより実行される画像データ処理の1つの態様を概念的に示す。 図1のカメラの代表的なプロセッサのブロック図である。 図7のプロセッサの代表的な圧縮ユニットのブロック図である。 データ圧縮器による画像フレームデータのユニットからの画素の読み取りの好ましい代表的な順序を例示する。 図8の圧縮ユニットの操作の1つの態様を示すフローチャートである。 図1のカメラから受け取られた画像データを復元し、さらに処理する図2のワークステーションのための代表的な手法を提供する。

Claims (42)

  1. 光学放射データを取り込んで処理する方法であって
    手持ち式カメラ内部で、光学放射パターンが入射する感光性画素の配列を有するセンサから光学放射パターンの少なくとも1つのフレームのデジタルデータを発生させるステップと、
    少なくとも1つの倍率と1つ以上の量子化テーブルに少なくとも一部基づく単一の画像フレーム内の画素データの複数の色配列の各々を独立して圧縮するステップであって、
    各色配列が光学放射パターンからセンサの一部分によって検出された1原色の画素データのサブセットを有し、少なくとも1つの量子化テーブル内の複数の量子化テーブルの値に各倍率を適用して、各色配列の画素データのサブセットが単一の時間で圧縮されるように単一の画像フレーム内の各量子化テーブルの値を調整することを含む、圧縮するステップと、
    複数の対応する圧縮された色配列の各々をカメラ内部の揮発性メモリ内でバッファリングするステップであって、センサのラインごとのモザイク配置に対応する順序で揮発性メモリに複数の圧縮された色配列をインタリーブすることを含む、バッファリングするステップと、
    発生されたデータおよびそのデータから形成される結果として生じる光学放射パターン表示フレームの品質を改善するため発生されたデータの少なくとも第1の処理を実行するに必要なサポートデータをカメラ内部の不揮発性メモリ内に保存するステップと、
    その後、発生されたデータおよびサポートデータをカメラの不揮発性メモリからワークステーションに転送するステップと、
    結果として生じる光学放射パターン表示フレームには改善された品質がある処理されたデータを生成するために、サポートデータを使用して、発生されたデータの第1の処理をワークステーション内部で実行するステップと、
    を含む方法。
  2. 請求項1記載の方法において、
    前記サポートデータは、光学放射が入射しない感光性画素の少なくともいくつかの応答データを含み、
    前記第1の処理は、感光性画素の配列において発生されたノイズを補正するために前記応答データを発生されたデータと組み合わせ処理することを含む方法。
  3. 請求項1記載の方法において、
    前記サポートデータは、光学放射パターンをセンサ上に導くカメラ内部の光学系の特性データを含み、
    前記第1の処理は、光学系の少なくとも不完全な光学特性を補正するために、光学系の前記特性データを発生されたデータと組み合わせ処理することを含む方法。
  4. 請求項3記載の方法において、
    前記補正される不完全な光学特性は、センサに入射する光学放射パターン中に光学系によって作り出される歪みである方法。
  5. 請求項1記載の方法において、
    前記サポートデータは、配列の感光性画素のうちの不良感光性画素のデータを含み、
    前記第1の処理は、不良感光性画素の影響を補正するために、不良感光性画素の前記データを発生されたデータと組み合わせ処理することを含む方法。
  6. 請求項1記載の方法において、
    前記サポートデータは、センサによって前記少なくとも1つのフレームの半分の中に発生された光学放射パターンの第2のフレームのデジタルデータを含み、
    前記第1の処理は、前記少なくとも1つのフレームをデジタルデータの第2のフレームと組み合わせ処理することを含む方法。
  7. 請求項6記載の方法において、
    前記少なくとも1つのフレームデジタルデータの第2のフレーム組み合わせる処理することによって、配列の感光性画素のうちの不良感光性画素を補正する方法。
  8. 請求項6記載の方法において、
    前記少なくとも1つのフレームデジタルデータの第2のフレーム組み合わせ処理することによって、センサを基準とした第1または第2のフレームの一方の光学放射の入射パターンの少なくとも一部分の動きの影響を補正する方法。
  9. 請求項6記載の方法において、
    前記少なくとも1つのフレームデジタルデータの第2のフレーム組み合わせ処理することによって、感光性画素の有効ダイナミックレンジを拡張する方法。
  10. 請求項1記載の方法において、
    発生されたデータおよびサポートデータをカメラ内部に保存する前にそれらデータを圧縮するステップをさらに含む方法。
  11. 画像フレームのデータを取り込んで処理する方法であって
    複数の画像フレームの画素を表すデジタルデータを感光性要素の配列を有する手持ち式カメラ内部の画像センサから複数の原色で連続して発生させるステップであって、
    センサの一部分における所定数の画素行に対応する画素データのサブセットを有する画素データのストリップをセンサから読み取るステップであって、各行が複数の原色のうちの交番する一連の2原色中の色画素を含み、画素行がセンサのラインごとのモザイクに配置される、読み取るステップと、
    画素データのストリップから複数の色配列を定義するステップであって、各色配列が画素データのストリップのサブセットを有するので、前記サブセットが複数の原色のうちの1原色に対応する、定義するステップと、
    少なくとも1つの倍率と1つ以上の量子化テーブルに少なくとも一部基づく単一の画像フレーム内の複数の色配列の各々を独立して圧縮するステップであって、少なくとも1つの量子化テーブル内の複数の量子化テーブルの値に各倍率を適用して、各色配列が1度の時間で圧縮されるように単一の画像フレーム内の各量子化テーブルの値を調整することを含む、圧縮するステップと、
    複数の色配列の各々の圧縮されたデータをカメラ内部の揮発性メモリ内に保存するステップとが含まれる、発生させるステップと、
    発生されたデジタルデータを表すデータをカメラ内部で、
    (a)前記複数の画像フレームの画像を表示することができるのに十分な発生されたデジタルデータを処理
    (b)発生されたデジタルデータを輝度/クロミナンス形式に処理し、かつ
    (c)発生されたデジタルデータを表すデータの少なくとも1つのフルフレームをフレームバッファに1度に保存することのうちのいずれかによって保存されたデータに影響を与えることなく、カメラ内の不揮発性メモリに保存するステップと、
    その後、保存されたデジタルデータをカメラの不揮発性メモリからワークステーションに転送するステップと、
    転送されたデジタルデータをYUV形式に処理することを含む前記複数の画像フレームの画像を表示することができるのに十分なやり方で、保存されたデジタルデータをワークステーション内部で処理するステップと、
    を含む方法。
  12. 請求項11記載の方法において、
    ポートデータをカメラからワークステーションに転送するステップをさらに含み、取得された画像フレームデータをワークステーション内部で処理するステップの時にサポートデータを使用する方法。
  13. 請求項11記載の方法において、
    前記ワークステーション内部で処理するステップは、カメラ内部でデモザイキング処理を実行する代わりに、画像フレームデータのデモザイキングが含まれる方法。
  14. 請求項13記載の方法において、
    前記ワークステーション内部で処理するステップは、カメラ内部でエッジ強調処理を実行する代わりに、画像フレームデータのエッジ強調さらに含まれる方法。
  15. 請求項11記載の方法において、
    前記ワークステーション内部で処理するステップは、カメラ内部でホワイト補正処理を実行する代わりに、画像フレームデータのホワイト補正が含まれる方法。
  16. 請求項11記載の方法において、
    前記ワークステーション内部で処理するステップは、カメラ内部でガンマ補正処理を実行する代わりに、画像フレームデータのガンマ補正が含まれる方法。
  17. 請求項12記載の方法において、
    前記カメラからワークステーションに転送されるサポートデータは、センサに当たる光なしで取得された画像フレームのデータを含み、前記ワークステーション内部で処理するステップは、カメラ内部で黒レベルノイズの補正処理を実行する代わりに、サポートデータを使用した黒レベルノイズについての画像フレームデータの補正が含まれる方法。
  18. 請求項12記載の方法において、
    前記カメラからワークステーションに転送されるサポートデータは、カメラ内部の光学系による画像センサ上への結像の不均一さのデータを含み、前記ワークステーション内部で処理するステップは、カメラ内部の光学系による結像の不均一さの処理のための補正処理をカメラ内部で実行する代わりに、サポートデータを使用しカメラ光学系による結像の不均一さについての画像フレームデータの補正が含まれる方法。
  19. 請求項12記載の方法において、
    前記カメラからワークステーションに転送されるサポートデータは、画像センサの不良画素のデータを含み、前記ワークステーション内部で処理するステップは、不良画素についての補正処理をカメラ内部で実行する代わりに、サポートデータを使用し不良画素についての画像フレームデータの補正が含まれる方法。
  20. 請求項11記載の方法において、
    取得された画像データを圧縮し、次に圧縮されたデータをカメラ内に保存するステップをさらに含む方法。
  21. 請求項20記載の方法において、
    取得された画像フレームデータは、圧縮に先立って、画像フレームを保存するのに必要な容量の15未満の容量を有するバッファメモリに保存される方法。
  22. 請求項11記載の方法において、
    少なくとも1つの画像フレームのデジタルデータを取得することは、画像センサから互いに半分の中に第1および第2の画像フレームのデジタルデータを取得することを含み、取得された画像フレームデータをワークステーション内部で処理するステップは、第1の画像のデータを補正、強調または修正するため第2の画像データの使用が含まれる方法。
  23. 請求項22記載の方法において、
    前記処理するステップには、不良画素による第1の画像の欠損データを供給するため第2の画像データの使用が含まれる方法。
  24. 請求項22記載の方法において、
    前記処理するステップには、第1の画像の固定パターンノイズを補正するため第2の画像データの使用が含まれる方法。
  25. 請求項22記載の方法において、
    前記処理するステップには、第1の画像の動きを補正するため第2の画像の使用が含まれる方法。
  26. 請求項22記載の方法において、
    センサにより提供されるダイナミックレンジを超えて第1の画像のダイナミックレンジを拡張するために第2の画像が使用される方法。
  27. 請求項11記載の方法において、
    前記取得されたデジタルデータを保存するステップは、取得されたデジタルデータをカメラ内部の取り外しできない不揮発性メモリに保存するステップを含み、前記取得された画像データをカメラからその後転送するステップは、データをカメラの不揮発性メモリからワークステーションに転送するステップを含む方法。
  28. 請求項27記載の方法において、
    前記データをカメラの不揮発性メモリからワークステーション転送するステップは、ワイヤレス的に実行される方法。
  29. センサからセンサ上の画像データのフレームを複数の原色でデータを発生させる光検出要素の2次元配列を有する手持ち式カメラ内部で処理する方法であって、前記カメラ内部
    光検出要素から画像データを原色のうちの異なる原色で時系列で読み取るステップと、
    原色のうちの異なる原色の画像データを画像を横切る一連のストリップ中の光検出器から読み取られた順序で第1のメモリに書き込むステップと、
    複数の原色のうちの異なる原色の画像データのグループ中の第1のメモリから個別の画像ストリップの画像データを読み取るステップと、を含み、
    前記書き込むステップおよび読み取るステップは、画像データのフレームの15%未満が第1のメモリに一度に保存されるレートで行われ、
    第1のメモリから読み取られた画像を横切る個別のストリップ内の複数の原色のうちの異なる原色の画像データのグループを圧縮するステップであって
    少なくとも1つの倍率と1つ以上の量子化テーブルに少なくとも一部基づく単一の画像フレーム内の画素データの複数の色配列の各々を独立して圧縮するステップであって、各色配列が画像からセンサの一部分によって検出された1原色の画素データのサブセットを有し、少なくとも1つの量子化テーブル内の複数の量子化テーブルの値に各倍率を適用して、各色配列の画素データのサブセットが単一の時間で圧縮されるように単一の画像フレーム内の各量子化テーブルの値を調整することを含む、圧縮するステップと、
    複数の対応する圧縮された色配列の各々をカメラ内部の揮発性メモリ内でバッファリングするステップであって、センサのラインごとのモザイク配置に対応する順序で揮発性メモリに複数の圧縮された色配列をインタリーブすることを含む、バッファリングするステップとが含まれる、圧縮するステップと、
    圧縮された画像データのグループを不揮発性であるカメラ内部の第2のメモリに保存するステップと、
    さらに含む方法。
  30. 請求項29記載の方法において、
    前記圧縮された画像データのグループを第2のメモリに保存するステップは、第2のメモリとしてカメラ内部に永続的に接続されたメモリを利用するステップを含む方法。
  31. 請求項29記載の方法において、
    画像データを表示するためのどのような処理もカメラにおいて行わない方法。
  32. 請求項29記載の方法において、
    デモザイキング、ホワイトバランス補正、ガンマ補正およびレンズ補償のうちのいずれについてのどのような処理もカメラにおいて行わない方法。
  33. 請求項29記載の方法において、
    カメラ内部で、画像データの複数のフレームの圧縮されたグループを読み取り、第2のメモリ保存するステップをさらに含み、その後保存された画像データの複数のフレームの圧縮されたグループを前記第2のメモリからカメラ外部のワークステーションに転送するステップをさらに含む方法。
  34. 請求項33記載の方法において、
    ワークステーション内部
    画像データの圧縮されたグループを復元するステップと、
    画像が再生できる形で複数のフレーム用のデータファイルを形成するために、画像データの復元されたグループを処理するステップと、
    をさらに含む方法。
  35. 請求項34記載の方法において、
    前記ワークステーション内部で処理するステップは、デモザイキング、エッジ強調、ホワイトバランス補正およびガンマ補正のすべてが含まれる方法。
  36. 請求項35記載の方法において、
    デモザイキング、エッジ強調、ホワイトバランス補正およびガンマ補正のうちのいずれについてのどのような処理もカメラにおいて行わない方法。
  37. 請求項34記載の方法において、
    カメラ内部で、センサ上に画像を形成するために用いられるカメラ光学部品類の特性を第2のメモリに保存するステップをさらに含む方法。
  38. 請求項37記載の方法において、
    前記カメラ光学部品類の特性がカメラの第2のメモリからワークステーションに転送され、前記ワークステーション内部で処理するステップは、カメラ光学部品類の特性について画像データを補償することが含まれる方法。
  39. 請求項38記載の方法において、
    カメラ内部で、カメラ光学部品類の特性について補償するどのような処理も実行されない方法。
  40. 手持ち式カメラであって、筐体内に、
    複数の原色でセンサに導かれる光学放射に関連する信号を発生する光学放射の個別の光検出器の配列を有する2次元センサと、
    光学放射のフィールドをカメラ外部からセンサ上まで導くために筐体を通して配置される光学系と、
    センサの個別の検出器上に導かれる光学放射の値のデータを時系列で受け取って一次的に保存する第1のメモリであって、センサ上に導かれる光学放射の1つのフィールドを表すためにセンサの個別の検出器により発生されるデータ量の15%未満のデータ量の保存容量を有する第1のメモリと、
    第1のメモリ内のデータを読み出し、前記データを複数の原色の各々について圧縮するプロセッサであって
    少なくとも1つの倍率と1つ以上の量子化テーブルに少なくとも一部基づく単一の画像フレーム内の画素データの複数の色配列の各々を独立して圧縮し、各色配列が光学放射からセンサの一部分によって検出された1原色の画素データのサブセットを有し、少なくとも1つの量子化テーブル内の複数の量子化テーブルの値に各倍率を適用して、各色配列の画素データのサブセットが単一の時間で圧縮されるように単一の画像フレーム内の各量子化テーブルの値を調整することを含み、
    複数の対応する圧縮された色配列の各々をカメラ内部の揮発性メモリ内でバッファリングし、センサのラインごとのモザイク配置に対応する順序で揮発性メモリに複数の圧縮された色配列をインタリーブすることを含む、プロセッサと、
    光学放射の複数のフィールドの圧縮されたデータを不揮発的なやり方で保存する第2のメモリと、
    圧縮されたデータファイルを筐体外部に通信させるために前記第2のメモリに接続する通信機器と、
    を備えるカメラ。
  41. 請求項40記載のカメラにおいて、
    少なくとも前記センサ、第1のメモリおよびプロセッサは、単一の集積回路チップ上に形成されるカメラ。
  42. 請求項41記載のカメラにおいて、
    前記センサから信号を受け取り、前記プロセッサおよび第1のメモリにデジタル信号を提供するために接続されるアナログ・デジタル変換器をさらに備え、前記アナログ・デジタル変換器も前記単一の集積回路チップ上に形成されるカメラ。
JP2006533252A 2003-06-10 2004-05-19 低減された画像バッファメモリおよびサービスセンターを通した再利用のための最小限の処理を有するデジタルカメラ Expired - Fee Related JP4496221B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US10/458,893 US7612803B2 (en) 2003-06-10 2003-06-10 Digital camera with reduced image buffer memory and minimal processing for recycling through a service center
PCT/US2004/015854 WO2004114638A1 (en) 2003-06-10 2004-05-19 Digital camera with reduced image buffer memory and minimal processing for recycling through a service center

Publications (2)

Publication Number Publication Date
JP2007516647A JP2007516647A (ja) 2007-06-21
JP4496221B2 true JP4496221B2 (ja) 2010-07-07

Family

ID=33510681

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006533252A Expired - Fee Related JP4496221B2 (ja) 2003-06-10 2004-05-19 低減された画像バッファメモリおよびサービスセンターを通した再利用のための最小限の処理を有するデジタルカメラ

Country Status (5)

Country Link
US (2) US7612803B2 (ja)
EP (1) EP1632078A1 (ja)
JP (1) JP4496221B2 (ja)
CN (2) CN1806425B (ja)
WO (1) WO2004114638A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101813339B1 (ko) * 2015-12-17 2017-12-28 국방과학연구소 수동 거리측정 소나에서 중복성을 가지는 입체배열 센서를 이용한 표적 위치추정방법

Families Citing this family (69)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6879340B1 (en) * 1998-08-19 2005-04-12 Micron Technology Inc. CMOS imager with integrated non-volatile memory
US10860290B2 (en) 2000-11-01 2020-12-08 Flexiworld Technologies, Inc. Mobile information apparatuses that include a digital camera, a touch sensitive screen interface, support for voice activated commands, and a wireless communication chip or chipset supporting IEEE 802.11
US10915296B2 (en) 2000-11-01 2021-02-09 Flexiworld Technologies, Inc. Information apparatus that includes a touch sensitive screen interface for managing or replying to e-mails
US11204729B2 (en) 2000-11-01 2021-12-21 Flexiworld Technologies, Inc. Internet based digital content services for pervasively providing protected digital content to smart devices based on having subscribed to the digital content service
CN100334577C (zh) 2000-11-01 2007-08-29 福来西奥德技术公司 用于设备到设备的普适数字输出的控制器及管理器
US7953818B2 (en) 2000-11-20 2011-05-31 Flexiworld Technologies, Inc. Output device and system for rendering digital content
US20020097419A1 (en) 2001-01-19 2002-07-25 Chang William Ho Information apparatus for universal data output
EP1303147A1 (en) * 2001-10-12 2003-04-16 CSEM Centre Suisse d'Electronique et de Microtechnique SA Method for calibration of an electronic camera
US20030107654A1 (en) 2001-12-12 2003-06-12 Nikon Corporation Digital camera
US20050099499A1 (en) * 2003-11-10 2005-05-12 Ariel Braunstein Recyclable, digital one time use video camera
ES2298485T3 (es) 2003-11-21 2008-05-16 Carestream Health, Inc. Aparato de radiologia dental.
US7440633B2 (en) * 2003-12-19 2008-10-21 Sharp Laboratories Of America, Inc. Enhancing the quality of decoded quantized images
US7477570B2 (en) * 2004-08-20 2009-01-13 Micron Technology, Inc. Sequential access memory with system and method
US20060181635A1 (en) * 2005-02-17 2006-08-17 Omnivision Technologies, Inc. Mechanical shutter devices for image sensor
US7710452B1 (en) 2005-03-16 2010-05-04 Eric Lindberg Remote video monitoring of non-urban outdoor sites
US7920200B2 (en) * 2005-06-07 2011-04-05 Olympus Corporation Image pickup device with two cylindrical lenses
JP4725217B2 (ja) * 2005-07-11 2011-07-13 株式会社ニコン 撮像装置
US7494065B2 (en) * 2005-08-11 2009-02-24 Symbol Technologies, Inc. Optical code reader system and method for control of illumination for aiming and exposure
US20070046773A1 (en) * 2005-09-01 2007-03-01 Eastman Kodak Company Method for providing an output product service using a recyclable electronic capture device
US8085275B1 (en) * 2005-12-20 2011-12-27 Nvidia Corporation System and method for low-overhead push buffer jumps
US8766995B2 (en) 2006-04-26 2014-07-01 Qualcomm Incorporated Graphics system with configurable caches
US20070268289A1 (en) * 2006-05-16 2007-11-22 Chun Yu Graphics system with dynamic reposition of depth engine
US8884972B2 (en) 2006-05-25 2014-11-11 Qualcomm Incorporated Graphics processor with arithmetic and elementary function units
US8869147B2 (en) 2006-05-31 2014-10-21 Qualcomm Incorporated Multi-threaded processor with deferred thread output control
US8644643B2 (en) * 2006-06-14 2014-02-04 Qualcomm Incorporated Convolution filtering in a graphics processor
US8766996B2 (en) 2006-06-21 2014-07-01 Qualcomm Incorporated Unified virtual addressed register file
US8196169B1 (en) 2006-09-18 2012-06-05 Nvidia Corporation Coordinate-based set top box policy enforcement system, method and computer program product
US7893975B2 (en) * 2006-10-13 2011-02-22 Apple Inc. System and method for processing images using predetermined tone reproduction curves
US7773127B2 (en) * 2006-10-13 2010-08-10 Apple Inc. System and method for RAW image processing
US7544919B2 (en) * 2006-11-20 2009-06-09 Red.Com, Inc. Focus assist system and method
KR100860684B1 (ko) * 2007-01-31 2008-09-26 삼성전자주식회사 화면 밝기 기능을 갖는 디스플레이 장치
US8189107B1 (en) * 2007-03-12 2012-05-29 Nvidia Corporation System and method for performing visual data post-processing based on information related to frequency response pre-processing
JP2008233436A (ja) * 2007-03-19 2008-10-02 Fujitsu Ltd 符号化装置、符号化プログラムおよび符号化方法
US8023013B1 (en) 2007-03-28 2011-09-20 Ambarella, Inc. Fixed pattern noise correction with compressed gain and offset
US8675101B1 (en) * 2007-03-28 2014-03-18 Ambarella, Inc. Temperature-based fixed pattern noise and bad pixel calibration
US7920746B2 (en) * 2007-04-23 2011-04-05 Aptina Imaging Corporation Compressed domain image summation apparatus, systems, and methods
US20090228686A1 (en) * 2007-05-22 2009-09-10 Koenck Steven E Energy efficient processing device
US8098948B1 (en) 2007-12-21 2012-01-17 Zoran Corporation Method, apparatus, and system for reducing blurring in an image
US7843554B2 (en) * 2008-04-25 2010-11-30 Rockwell Collins, Inc. High dynamic range sensor system and method
JP4645701B2 (ja) * 2008-08-27 2011-03-09 ブラザー工業株式会社 画像読取装置、及び画像読取方法
TWI393428B (zh) * 2009-04-20 2013-04-11 Pixart Imaging Inc 影像校正方法及使用此方法的影像處理系統
JP5397148B2 (ja) * 2009-10-16 2014-01-22 富士通株式会社 記憶装置、制御装置および記憶装置の制御方法
CN101719985B (zh) * 2009-11-17 2012-12-26 无锡中星微电子有限公司 一种图像采集和处理的方法和装置
JP5493942B2 (ja) 2009-12-15 2014-05-14 ソニー株式会社 撮像装置と撮像方法
JP2011223562A (ja) * 2010-03-23 2011-11-04 Fujifilm Corp 撮像装置
US20110273555A1 (en) 2010-05-04 2011-11-10 Areva Inc. Inspection video radiation filter
EP2466876A3 (de) * 2010-12-20 2013-01-16 Arnold&Richter Cine Technik GmbH&Co. Betriebs KG Bildaufzeichnungssystem und Verfahren zum Korrigieren, Komprimieren und Dekomprimieren von Bildsignalwerten
GB2488769A (en) * 2011-03-07 2012-09-12 Sony Corp Image Sensor Including an Array of Primary Colour Sensitive Photosensors Being Read in Line Subsets
US20130004071A1 (en) * 2011-07-01 2013-01-03 Chang Yuh-Lin E Image signal processor architecture optimized for low-power, processing flexibility, and user experience
WO2013007295A1 (en) * 2011-07-11 2013-01-17 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Camera apparatus and camera
KR101888074B1 (ko) * 2012-01-09 2018-08-13 삼성전자주식회사 저장 장치 및 불휘발성 메모리 장치, 그리고 그것의 동작 방법
US9076233B2 (en) * 2012-02-03 2015-07-07 Seiko Epson Corporation Image processing device and electronic apparatus using the same
EP2712174B1 (en) * 2012-09-21 2019-11-20 BlackBerry Limited Methods and devices for controlling camera image capture
CN103389162B (zh) * 2012-11-26 2016-04-20 中国计量学院 一种利用彩色数码相机的反射物体颜色测量仪
US20160019680A1 (en) * 2013-03-29 2016-01-21 Koninklijke Philips N.V. Image registration
JP2016534774A (ja) * 2013-10-22 2016-11-10 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. 画像視覚化
US9106857B1 (en) * 2014-05-09 2015-08-11 Teledyne Dalsa, Inc. Dynamic fixed-pattern noise reduction in a CMOS TDI image sensor
CN105721799B (zh) * 2014-12-04 2019-11-08 比亚迪股份有限公司 图像传感器及其去除帧间固有噪声的方法和装置
KR102310241B1 (ko) * 2015-04-29 2021-10-08 삼성전자주식회사 소스 디바이스, 그의 제어 방법, 싱크 디바이스 및 그의 화질 개선 처리 방법
DE102015107563A1 (de) * 2015-05-13 2016-11-17 Endress+Hauser Conducta Gmbh+Co. Kg Verfahren zur Inbetriebnahme eines Sensors, Computerprogrammprodukt, computerlesbarer Datenträger und Sensor
US10048696B2 (en) * 2015-12-22 2018-08-14 Uber Technologies, Inc. Intelligent lens masking system for an autonomous vehicle
WO2017200547A1 (en) * 2016-05-20 2017-11-23 Aqueti Incorporated Array camera imaging system having distributed memory
US10223292B2 (en) 2016-11-28 2019-03-05 Microsoft Technology Licensing, Llc Securing stream buffers
WO2018129028A1 (en) * 2017-01-06 2018-07-12 Walmart Apollo, Llc System and method for delivery of retail products
US10616535B1 (en) 2018-10-01 2020-04-07 Foveon, Inc. Sub-sampled color channel readout wiring for vertical detector pixel sensors
US11256013B2 (en) 2019-03-27 2022-02-22 Uatc, Llc Dynamic matrix filter for vehicle image sensor
CN114093292B (zh) 2020-07-29 2024-06-28 昆山工研院新型平板显示技术中心有限公司 亮度参数校正方法、装置、设备及亮度补偿系统
CN112525450B (zh) * 2020-10-26 2022-09-20 中国人民解放军92942部队 一种降低可靠性测试中振动数据存储空间占用率的方法
CN115858240B (zh) * 2022-12-02 2023-08-22 北京拙河科技有限公司 一种光相机数据备份方法及装置

Family Cites Families (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
IL87306A0 (en) * 1988-08-02 1989-01-31 Technion Res & Dev Foundation Wide dynamic range camera
US5025283A (en) * 1989-09-14 1991-06-18 Eastman Kodak Company Magnetic recording on film of scene parameters and photofinishing process for use therewith
JP3110797B2 (ja) 1991-06-21 2000-11-20 キヤノン株式会社 撮像方法及び撮像画面合成装置
US5473402A (en) * 1993-12-22 1995-12-05 Eastman Kodak Company Film processing system
US5477264A (en) * 1994-03-29 1995-12-19 Eastman Kodak Company Electronic imaging system using a removable software-enhanced storage device
US6433818B1 (en) * 1998-11-06 2002-08-13 Fotonation, Inc. Digital camera with biometric security
US5867214A (en) * 1996-04-11 1999-02-02 Apple Computer, Inc. Apparatus and method for increasing a digital camera image capture rate by delaying image processing
US6177956B1 (en) * 1996-10-23 2001-01-23 Flashpoint Technology, Inc. System and method for correlating processing data and image data within a digital camera device
US6310647B1 (en) * 1997-04-15 2001-10-30 Eastman Kodak Company Image format for storing digital images and including multiple application segments
DE69816185T2 (de) * 1997-06-12 2004-04-15 Hewlett-Packard Co. (N.D.Ges.D.Staates Delaware), Palo Alto Bildverarbeitungsverfahren und -vorrichtung
US6396948B1 (en) * 1998-05-14 2002-05-28 Interval Research Corporation Color rotation integrated with compression of video signal
US6229926B1 (en) * 1998-07-24 2001-05-08 Picsurf, Inc. Memory saving wavelet-like image transform system and method for digital camera and other memory conservative applications
US7268809B2 (en) 1998-09-23 2007-09-11 San Disk Corporation Analog buffer memory for high-speed digital image capture
US6493114B1 (en) * 1998-10-22 2002-12-10 Syscan Technology (Shenzhen) Co., Ltd. Adaptive timing control of light integration process in one-dimensional CMOS image sensors
US6762791B1 (en) * 1999-02-16 2004-07-13 Robert W. Schuetzle Method for processing digital images
JP2000324376A (ja) 1999-05-13 2000-11-24 Sbu Consultant:Kk 使い切りデジタルカメラ
US7372485B1 (en) * 1999-06-08 2008-05-13 Lightsurf Technologies, Inc. Digital camera device and methodology for distributed processing and wireless transmission of digital images
US6995794B2 (en) * 1999-06-30 2006-02-07 Logitech Europe S.A. Video camera with major functions implemented in host software
US7009644B1 (en) * 1999-12-15 2006-03-07 Logitech Europe S.A. Dynamic anomalous pixel detection and correction
WO2001015440A1 (en) 1999-08-20 2001-03-01 Digital Now, Inc. One time use digital camera
JP2001222046A (ja) 1999-12-03 2001-08-17 Sharp Corp デジタルカメラ、デジタルカメラ回収システムおよび画像閲覧方法
JP2001203969A (ja) 2000-01-21 2001-07-27 Fuji Photo Film Co Ltd 撮像装置およびその動作制御方法
US20010030773A1 (en) 2000-04-17 2001-10-18 Satoshi Matsuura Digital photograph system
JP2002094931A (ja) 2000-09-14 2002-03-29 Sharp Corp 画像処理装置
US6992701B2 (en) 2000-08-01 2006-01-31 Sharp Kabushiki Kaisha Reusable digital camera that prevents unauthorized use
JP2002111989A (ja) * 2000-10-02 2002-04-12 Mega Chips Corp 画像処理回路
EP1198121A1 (de) 2000-10-14 2002-04-17 Marc Dr. Kachelriess Digitalkamera mit optimierter Optik, automatischer Ausrichtung und fortschrittlicher Speichermethode
JP2002281227A (ja) 2001-03-21 2002-09-27 Olympus Optical Co Ltd デジタルカメラシステム及びカメラのリサイクルシステム
US20020167599A1 (en) 2001-05-08 2002-11-14 Carau Frank P. Reusable camera
US6525302B2 (en) * 2001-06-06 2003-02-25 The Regents Of The University Of Colorado Wavefront coding phase contrast imaging systems
US20030001959A1 (en) 2001-06-27 2003-01-02 Nikon Corporation Digital camera and recycle method thereof
US7110026B2 (en) * 2001-07-03 2006-09-19 Logitech Europe S.A. Image tagging for post processing
JP4780869B2 (ja) 2001-07-31 2011-09-28 三洋電機株式会社 画像処理システム及び画像処理方法
US7126629B1 (en) 2001-09-07 2006-10-24 Pure Digital Technologies, Icn. Recyclable, digital one time use camera
JP2003087770A (ja) 2001-09-12 2003-03-20 Sharp Corp デジタルカメラリサイクルシステム、情報処理ユニット、デジタルカメラ、デジタルカメラのリサイクル方法
US6973453B2 (en) 2001-09-25 2005-12-06 Hewlett-Packard Development Company, L.P. Image collection enhancement method and apparatus
JP4357151B2 (ja) * 2002-03-28 2009-11-04 富士フイルム株式会社 デジタルカメラ及び画像データ処理システム
US7002627B1 (en) * 2002-06-19 2006-02-21 Neomagic Corp. Single-step conversion from RGB Bayer pattern to YUV 4:2:0 format
JP2004357202A (ja) 2003-05-30 2004-12-16 Canon Inc 撮影装置
JP4571074B2 (ja) * 2003-06-13 2010-10-27 ノキア コーポレイション 画像データの圧縮とサムネール画像の作成を行う電子機器、画像処理装置、データ構造
EP1605400A1 (en) * 2004-06-11 2005-12-14 STMicroelectronics S.r.l. Processing pipeline of pixel data of a color image acquired by a digital sensor
US7454055B1 (en) * 2004-11-12 2008-11-18 Payton Paul M Enhanced image compression utilizing Hilbert curve scanning of quantized discrete cosine transform coefficients
JP4925271B2 (ja) * 2006-08-21 2012-04-25 株式会社メガチップス 一眼レフデジタルカメラにおける連続撮像方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101813339B1 (ko) * 2015-12-17 2017-12-28 국방과학연구소 수동 거리측정 소나에서 중복성을 가지는 입체배열 센서를 이용한 표적 위치추정방법

Also Published As

Publication number Publication date
WO2004114638A1 (en) 2004-12-29
JP2007516647A (ja) 2007-06-21
US20100020199A1 (en) 2010-01-28
CN102176739A (zh) 2011-09-07
CN1806425A (zh) 2006-07-19
US7612803B2 (en) 2009-11-03
CN102176739B (zh) 2013-03-06
CN1806425B (zh) 2011-05-11
EP1632078A1 (en) 2006-03-08
US8120669B2 (en) 2012-02-21
US20040252201A1 (en) 2004-12-16

Similar Documents

Publication Publication Date Title
JP4496221B2 (ja) 低減された画像バッファメモリおよびサービスセンターを通した再利用のための最小限の処理を有するデジタルカメラ
US11070779B2 (en) YCBCR pulsed illumination scheme in a light deficient environment
JP4928674B2 (ja) 広いダイナミックレンジを達成するための時間インデックス付け方法を用いた多サンプリング方法
JP5231529B2 (ja) ビデオカメラ
EP1361747A2 (en) Method and apparatus for enhancing digital images utilizing non-image data
WO2008027840A1 (en) Digital camera with selectively increased dynamic range by control of parameters during image acquisition
JP2006333477A (ja) 統合画像補正データを使用して画像を処理するシステム及び方法
JPH03506111A (ja) 画像圧縮及びディジタル記憶を利用した電子スチルカメラ
JP2002325197A (ja) 取り付け可能なプリンタに画像処理を提供するデジタルカメラ
JP2005124197A (ja) 所定のデジタル画像変更を取り消すためのシステムおよび方法
JP4560180B2 (ja) 撮像装置
US7129978B1 (en) Method and architecture for an improved CMOS color image sensor
JP4268891B2 (ja) 撮像装置およびその画像生成方法
JPH1169226A (ja) 電子カメラ
JP4387264B2 (ja) 撮像装置およびその画像生成方法
JP2006211426A (ja) 撮像装置およびその画像生成方法
US7418153B2 (en) Electronic camera
Allen et al. Digital cameras and scanners
JP2007067708A (ja) 撮像装置およびその画像生成方法
JP4336827B2 (ja) 撮像装置およびその画像生成方法
JP4696429B2 (ja) 撮像装置
AU2016213747B2 (en) Video camera
TW432873B (en) Photographing apparatus
JP2004297562A (ja) 撮像装置
JP2000013807A (ja) デジタルカメラ

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070410

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090806

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090811

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20091109

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20091116

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100210

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100330

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100412

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130416

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130416

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140416

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees