JP4773661B2 - ピクチャー及びビデオ記憶管理システム及び方法 - Google Patents

Description

【０００１】
【技術分野】
本発明は、一般に、デジタルカメラ又はデジタルビデオカメラ或いはコンピュータベースの映像記憶システムのような映像処理装置又はシステムにスチール及びビデオ映像を記憶することに係り、より詳細には、映像を異なる画質レベルで記憶しそしてユーザが高画質映像を低画質映像に動的に圧縮して、付加的な映像を記憶するために記憶装置を解放できるようにするシステム及び方法に係る。
【０００２】
【背景技術】
デジタルカメラは、典型的に、永久的な内部記憶装置、及び／又は映像を記憶するための取り外し可能な記憶装置を備えている。例えば、多数のデジタルカメラは、映像を記憶するための取り外し可能なフラッシュメモリカードを使用している。各フラッシュメモリカードは、固定量のメモリを有し、そしてメモリカードがいっぱいになったときに、それをカメラから取り外しそして別のフラッシュメモリカードと交換することができる。更に、デジタルカメラは、通常、内蔵のビューアを有し、ユーザは、フラッシュメモリカード（及び／又は内部メモリ）に記憶された映像を観察したり、ユーザが指定する記憶映像を削除したりすることができる。記憶映像を削除すると、明らかに、付加的な映像を記憶するための場所ができる。
【０００３】
デジタルカメラのユーザが「現場」にいるときは、一般に、持ち合わせの映像記憶容量に限度がある。使用可能な全映像記憶容量がいっぱいになると、ユーザは、付加的なピクチャーを撮影しないか、又は持ち合わせの映像記憶装置からピクチャーを削除して新たな映像のための場所を作るかのいずれかを選択するしかない。これは、実際には、使用可能な全フィルムを使い切ったときユーザに単に運がないというフィルムカメラの状態よりは１レベル優れているが、本発明は、デジタルカメラの現在の映像記憶限界が、その一部分は、映像をデジタルフォーマットで記憶する利点を完全に利用していないために生じることを前提としている。
又、デジタルでエンコードされるビデオフレームには、同様の記憶量対画質の事項も適用される。より詳細には、例えば、デジタルビデオカメラにおける所定量の記憶スペースに対し、所定数のビデオフレームに必要とされる記憶量に対して最良の画質を維持することが目標である。現在の装置では、ユーザが、デジタルビデオ映像を捕獲する前に画質を選択できるが、既に撮影されたビデオシーケンスに対し、削除以外のやり方で、ビデオカメラの記憶スペースを効果的に管理することはできない。
【０００４】
本発明の目的は、複数の画質（即ち忠実度又は解像度）レベルで映像を記憶することができると共に、第１の画質レベルで最初に記憶された映像をそれより低い画質レベルに減少して、それら映像により占有される記憶量を減少できるようにするデジタルカメラ、又はデジタルビデオカメラ、或いはその他記憶量に制約のある装置を提供することである。
又、本発明の目的は、ネットワーク接続される映像及びビデオライブラリー、サーバーコンピュータに接続されるクライアントコンピュータにより実行されるインターネットウェブブラウザ、ビデオ記憶能力を有するケーブルテレビジョンセットトップボックス等を含む他のアプリケーションに対するスペース効率及び計算効率の良い映像及びビデオ取り扱いメカニズムを提供することである。
【０００５】
【発明の開示】
要約すれば、本発明は、映像を多数の異なる画質レベルで記憶することのできるデジタルカメラ又はデジタルビデオカメラ、或いはコンピュータベースの映像記憶システムのような映像処理装置又はシステムである。この映像処理装置は、メモリ装置と、映像管理ロジックとを備えている。メモリ装置は、各映像を各々表わす映像ファイルを記憶し、各映像ファイルは、対応する映像がエンコードされた画質レベルに対応する関連画質レベルを有する。映像管理ロジックは、映像捕獲メカニズムから受け取った映像データを記憶及び処理するためのデータ処理回路及び状態マシンを備えている。より詳細には、映像管理ロジックは、ウェーブレット状変換のような所定の変換を、映像捕獲メカニズムから受け取った映像データに適用して、変換映像データを発生すると共に、データ圧縮方法を変換映像データに適用して、関連画質レベルを有する映像ファイルを発生するための映像処理回路及び１つ以上の状態マシンを備えている。
【０００６】
又、映像管理ロジックは、データ圧縮解除方法及び逆変換を指定の映像ファイルに次々に適用して、映像ビューアに表示するのに適した再構成映像を発生するための映像再構成回路及び１つ以上の状態マシンを備えている。
更に、映像管理ロジックは、画質レベルの低下を最小にしつつ映像ファイルのサイズを減少するための映像ファイルサイズ減少回路及び１つ以上の状態マシンを備えている。この回路は、指定の映像ファイルにおいてデータのサブセットを抽出し、そして指定の映像ファイルの低画質バージョンを形成し、これは、指定の映像データ構造体によりそれまで占有されていたメモリ装置内のスペースよりも僅かなスペースしか占有しない。その結果、メモリ装置において映像ファイルにより占有されるスペースの量を減少して、付加的な映像ファイルを記憶するための余地を作るか、又は限定された帯域巾環境においてより迅速な送信を行うことができるようにする。
【０００７】
好ましい実施形態では、映像ファイルの映像変換データがビット平面ベースで編成され、少なくとも１つのビット平面に対する映像変換データが、他のビット平面に対する映像変換データからの映像データ構造体の個別部分に記憶される。低画質の映像ファイルを発生するために、映像サイズ減少回路は、少なくとも１つのビット平面に対する映像変換データを除外する映像ファイルの一部分を抽出し、そしてその映像ファイルを、その抽出された部分を含む映像ファイルと置き換える。更に、映像データは、変換層ベースでも編成され、少なくとも１つの変換層に対する映像変換データが、他の変換層に対する映像変換データからの映像データ構造体の個別部分に記憶される。又、映像サイズ減少回路は、少なくとも１つの変換層に対する映像変換データを除外する映像ファイルの一部分を抽出することにより低画質の映像ファイルを発生し、そしてその映像ファイルを、その抽出された部分を含む映像ファイルと置き換えることができる。
【０００８】
【発明を実施するための最良の形態】
本発明の更に別の目的及び特徴は、添付図面を参照した以下の詳細な説明及び特許請求の範囲から容易に明らかとなろう。
ある映像処理システムでは、映像を多数の個別の解像度レベルで記憶することができ、通常、各解像度レベルは、その「隣接レベル」から４の解像度ファクタだけ相違する。換言すれば、映像の最大解像度表示（解像度レベル１）が量Ｘの情報を含む場合には、第２解像度レベルの表示は、（例えば）量Ｘ／４の情報を含み、第３解像度レベルの表示は、量Ｘ／１６の情報を含み、等々となる。従って、映像の「解像度」とは、通常、映像情報の量を意味し、そしてデジタル映像処理システムの状況においては、個別のピクセルエレメントの数に関してしばしば表現される。解像度レベルの数と、あるレベルから次のレベルへの情報減少の特定量は、システムごとに著しく変化し得る。更に、本発明は、解像度レベルの連続的な範囲を有するシステムに等しく適用できる。
【０００９】
画質に関する別の概念は、「忠実度」である。映像の忠実度は、たとえ映像のピクセル数に関するその解像度が不変であっても妥協することができる。映像の忠実度は、映像データを表わすのに使用されるビットの数を減少することにより低下することができる。例えば、映像を表わすのに使用される変換係数が１２ビットを使用して全忠実度で表わされ、そして変換係数を表わすのに使用されるビットの数が１１に減少された場合には、それにより生じる映像の忠実度が低下される。換言すれば、低い忠実度のデータから再構成される映像の画質は、高い忠実度のデータから再構成される映像よりも鮮明さが低い。
本明細書において、「映像画質」及び「画質レベル」という語は、映像の「解像度」及び映像の「忠実度」の両方を含む画質の一般的な意味で使用されるものとする。従って、映像の「画質」を最も高い画質レベルから次に高い画質レベルへ低下することは、映像の解像度を下げるか又はその忠実度を下げるか、或いはその両方によって行うことができる。他の実施形態において、「映像画質」及び「画質レベル」という語は、映像画質の他の特徴を指すものとして使用されてもよい。
【００１０】
デジタルカメラのアーキテクチャー
図１には、本発明によるデジタルカメラシステム１００の実施形態が示されている。デジタルカメラシステム１００は、映像捕獲装置１０２、例えば、ＣＣＤ又はＣＭＯＳセンサアレー、或いはデジタルエンコードされた情報のアレーとして映像を捕獲するのに適した他のメカニズムを備えている。従って、映像捕獲装置は、アナログ映像情報をデジタル値に変換するためのアナログ／デジタル変換（ＡＤＣ）回路を含むものと仮定する。
通常はランダムアクセスメモリであるワーキングメモリ１０４は、デジタルエンコードされた映像情報を映像捕獲装置１０２から受け取る。より一般的には、このメモリは、映像がカメラのデータ処理回路１０６によって変換され、圧縮されそしてその他処理される間に、デジタルエンコードされた映像を記憶するのに使用される。メモリ１０４は、他の装置と同じ集積回路に集積されてもよいし、又は個別の回路（１つ又は複数）を使用して実施されてもよい。
【００１１】
１つの実施形態において、データ処理回路１０６は、ハードウェアロジックと、１組の所定の映像処理オペレーションを実行するための１組の状態マシンとで形成される。別の実施形態では、データ処理回路１０６は、高速汎用マイクロプロセッサ及び１組のソフトウェア手順を使用して部分的に又は完全に実施することができる。しかしながら、少なくとも１９９９年に利用できる技術を使用すると、ある市販のカメラ及びデジタルビデオカメラに要求される例えば毎秒２０枚のピクチャーをカメラで撮影できるようにするに充分な速さで全解像度映像（例えば１２８０ｘ８４０ピクセルの全カラー映像）を処理しそして記憶することは困難である。将来、汎用マイクロプロセッサ又は汎用映像データマイクロプロセッサ（例えば、単一命令多データ（ＳＩＭＤ）プロセッサ）は、デジタルカメラに要求される高速映像処理を与えることができ、この場合に、データ処理回路１０６は、このような汎用マイクロプロセッサ又はおそらくはハイブリッドプロセッサシステムを使用して実施することができる。
【００１２】
各映像は、データ処理回路１０６により処理された後に、通常、不揮発性メモリ記憶装置１０８に「映像ファイル」として記憶され、この記憶装置は、通常、「フラッシュ」（即ちＥＥＰＲＯＭ）メモリ技術を使用して実施される。この不揮発性メモリ記憶装置１０８は、取り外し可能なメモリカードとして実施されるのが好ましい。これは、カメラのユーザが１つのメモリカードを取り外し、別のカードを差し込み、そして更に別のピクチャーを撮影できるようにする。しかしながら、ある構成では、不揮発性メモリ記憶装置１０８を取り外すことができず、この場合には、カメラが通常データアクセスポート１１０を有し、カメラが、他の装置、例えば、汎用のデスクトップコンピュータや、映像の倉庫ライブラリーに使用されるコンピュータシステム及び装置や、映像ファイルを記憶及び分配するのに使用されるコンピュータシステム及び装置、等々と映像ファイルをやり取りすることができる。取り外し可能な不揮発性メモリ１０８を有するデジタルカメラが、データアクセスポート１１０を含んでもよい。
【００１３】
不揮発性映像メモリ１０８における記憶量は、その構成ごとに変化し得るが、このような装置は、通常、１０ないし５０個の高画質映像を記憶するに充分な容量を有する。不揮発性映像メモリ１０８がいっぱいになると、本発明の全サイズ減少方法が使用されない場合には、カメラを使用して付加的なピクチャーを撮影できる唯一の方法は、不揮発性映像メモリ１０８から映像を削除するか、又は不揮発性映像メモリ１０８を別のものに交換するかのいずれかである。これら選択肢のいずれも実現できない場合には（例えば、ユーザが、削除を望まない映像で持ち合わせの全てのメモリカードをいっぱいにしたために）、新たなメモリ装置１０８を挿入するか、又は記憶された映像を外部装置（もしあれば）に転送するまで、それ以上のピクチャーを撮影することができない。
【００１４】
デジタルカメラ１００は、カメラにコマンドを与えるための１組のボタン１１２を含む。映像捕獲ボタンに加えて、通常は、撮影されるべき次のピクチャーの画像レベルを選択し、カメラの映像ビューアで見るためにメモリ内の映像をスクロールし、不揮発性映像メモリ１０８から映像を削除し、そしてカメラの他の全機能を呼び出すために使用できる多数の他のボタンがある。このような他の機能は、フラッシュ光源を使用できるようにし、映像ファイルをコンピュータとの間でやり取りできるようにすることを含む。本発明によれば、ボタン１１２を使用することにより選択されるユーザ選択可能な機能は、更に、不揮発性映像メモリ１０８に記憶される１つ以上の映像ファイルのサイズを減少して、付加的な映像を記憶するための余地を作ることを含む。１つの実施形態において、これらボタンは、電気機械的なコンタクトスイッチであるが、他の実施形態では、少なくとも幾つかのボタンが、ユーザインターフェイスディスプレイ１１６又は映像ビューア１１４におけるタッチスクリーンボタンとして実施される。
【００１５】
ユーザインターフェイスディスプレイ１１６は、通常、（Ａ）映像ビューア１１４とは個別のＬＣＤディスプレイ装置として実施されるか、又は（Ｂ）映像ビューア１１４に表示される映像として実施される。メニュー、ユーザプロンプト、及び不揮発性映像メモリ１０８に記憶される映像に関する情報は、ユーザインターフェイスディスプレイ１１６がいかに実施されるかに関わらずこのディスプレイに表示することができる。
映像が捕獲され、処理され、そして不揮発性映像メモリ１０８に記憶された後に、関連映像ファイルが、映像ビューアで見るためにメモリ１０８から検索される。より詳細には、映像ファイルは、その変換された圧縮形態から、フレームバッファ１１８に記憶するのに適したデータアレーに変換されて戻される。フレームバッファの映像データは、映像ビューア１１４に表示される。日付／時刻回路１２０は、現在日付及び時刻を追跡するのに使用され、そして各々の記憶された映像は、通常、映像が撮影された日付及び時刻で日付スタンプされる。
【００１６】
映像データ構造
図２を参照すれば、１つの実施形態において、不揮発性映像メモリ１０８は、このメモリ１０８に記憶される全ての映像ファイル１３２をリストしたディレクトリ１３０を記憶する。好ましくは、ディレクトリ１３０は、各記憶された映像ファイル１３２に対する情報、例えば、映像が撮影された日付及び時刻、映像の画質レベル、及びメモリ１０８におけるファイルの位置を含む。
各映像ファイルに記憶される映像データの構造を理解するために、先ず、映像ファイルがいかにエンコードされるか理解するのが有用であろう。図３を参照すれば、デジタルカメラの映像捕獲メカニズム１０２（図１）から得られた生の映像データアレー１４０は、３２ｘ３２又は６４ｘ６４（或いはより一般的には、ある整数値ｎに対して、２ⁿｘ２ⁿ）のような固定サイズの１組の非重畳「分析アレー」１４２として処理される。たとえ幾つかのサブアレーがデータアレーの縁の上に張り出しても、エンコードされるべき全データアレーをカバーするために、充分な数のサブアレーが使用される。サブアレーの上に張り出す部分には、データエンコードプロセス中にゼロのデータ値が充填される。好ましい実施形態では、データアレーの原点は、左上の角であり、データアレーの位置を識別するのに使用される第１座標は、「Ｙ」軸即ち垂直座標であり、そして使用される第２座標は、「Ｘ」軸即ち水平座標である。従って、０，６４の位置は、アレーの垂直方向の最上位置のピクセルを指示し、アレーの原点から右へ６４個のピクセル位置があり、一方、３２，０の位置は、アレーの左縁のピクセルを指示し、アレーの原点から垂直方向下方に３２個のピクセル位置がある。
【００１７】
分析アレー１４２の各々に適当な変換が適用され、それにより得られる各分析アレーの変換係数が量子化され（例えば、整数値の量子化された変換係数を発生するために適当な値で除算され）、変換された映像アレー１４４が発生される。１つの実施形態では、生の映像データに適用される変換が、ウェーブレット状の変換である。他の実施形態では、ＤＣＴ変換を使用することもできる（これは、現在のＪＰＥＧ映像エンコードシステムに使用される変換の形式である）し、他の形式のウェーブレット又はウェーブレット状変換を使用することもできる。
本明細書において、「ウェーブレット」及び「ウェーブレット状」という語は交換可能に使用される。ウェーブレット状変換は、一般に、従来のウェーブレット変換の場合と同様の空間周波数特性を有し、そしてロスなしに可逆であるが、計算効率の良い短いフィルタを有する。
【００１８】
１つの実施形態では、変換された映像アレー１４４は、ウェーブレット状分解変換を次々に適用することにより発生される。「生」の映像データの最初の二次元アレーにウェーブレット状分解変換を最初に適用すると、ＬＬ、ＨＬ１、ＬＨ１及びＨＨ１と示された４組の係数が発生される。ウェーブレット状分解変換の各次々の適用は、手前のウェーブレット変換ステップによって発生されたＬＬ組の係数にのみ行われ、ＬＬ、ＨＬｘ、ＬＨｘ及びＨＨｘと示された新たな４組の係数を発生し、ここで、ｘはウェーブレット変換「層」即ち繰り返しを表わす。最後のウェーブレット状分解変換の繰り返しの後に、１つのＬＬ組だけが残る。発生される係数の合計数は、オリジナルのデータアレーにおけるデータサンプルの数に等しい。各変換繰り返しにより発生される異なる組の係数を、層と称することもある。映像に対して発生されるウェーブレット変換層の数は、通常、初期映像の解像度の関数である。５ないし７のウェーブレット変換層を実行するのが極めて一般的であるが、分析アレーのサイズ、映像の主題、映像圧縮に使用できるデータ処理リソース等の事項に基づいてそれより多数又は少数の変換層が使用されてもよい。
【００１９】
本発明の映像エンコード及びデコードのオペレーションを説明する上で、生の映像ファイル１４０を変換された映像アレー１４２へと変換するために使用される映像変換の特定形式及び使用されるデータ量子化の特定の形式は、関連のないものであり、それ故、ここではこれ以上説明しない。しかしながら、ウェーブレット変換及びデータ量子化方法の好ましい実施形態は、背景情報として参考としてここに援用する「System and Method for Performing Wavelet and Inverse Wavelet Like Transformations of Digital Data」と題する米国特許第５，９０９，５１８号に開示されている。
各変換された映像アレー１４４は、希薄データエンコード技術を使用して圧縮及びエンコードされる。１つの実施形態において、分析アレーを圧縮及びエンコードする方法は、背景情報として参考としてここに援用する「System and Method for Scalable Coding of Sparse Data Set」と題する１９９７年５月１６日に出願された米国特許出願第０８／８５８，０３５号、即ち現在の米国特許第５，９４９，９１１号に詳細に説明された方法である。映像の全ての分析アレーに対するエンコードされた映像データは、合成されて、映像ファイル１３２として記憶される。
【００２０】
図４Ａを参照すれば、映像ファイル１３２は、ヘッダデータ１６０と、一連のデータ構造体１６２とを含み、その各々は、１つの分析アレーを表わす。ヘッダデータ１６０は、映像ファイルのサイズ及び映像ファイルの画質レベルを指示する。又、ヘッダデータは、分析アレーデータ構造体１６２の各々の長さを指示する分析アレーサイズ値のリストも含み、従って、映像データを素早くインデックスすることができる。分析アレーのサイズ値を記憶することで、カメラのデータ処理回路１０６（図１）は、映像ファイル１３２における初期の分析アレーの内容をデコードする必要なく、分析アレーデータ構造体１６２の開始点を探索することができる。
【００２１】
図４Ｂに示すように、１つの分析アレーを表わすエンコードされたデータ１６２は、「ビット層順序」で記憶される。各分析アレーに対して、エンコード手順は、エンコードされるべきデータにおける最上位の非ゼロビットを決定し、これは、ここではｙ番目のビットと称する。ｙの値は、分析アレーにおけるデータ値の絶対値をエンコードするのに必要な最大ビット数を計算することにより決定される。特に、ｙは、ｉｎｔ（ｌｏｇ₂Ｖ）＋１に等しく、ここで、Ｖは、分析アレーにおけるエレメントの最大絶対値であり、そしてｉｎｔ（）は、特定の値の整数部分を表す。
【００２２】
１つの分析アレーを表わすエンコードされたデータ１６２は、（Ａ）分析アレーにおけるデータ値の絶対値をエンコードするのに必要な最大ビット数を指示するヘッダデータ１７０と、（Ｂ）分析アレーにおけるエレメントの１つのビット平面を各々表わす一連のデータ構造体１７２とを含む。分析アレーのｘ番目のビット平面は、分析アレーにおける各エレメントの絶対値のｘ番目のビットである。希薄データエンコード技術は、ほとんどゼロの値を含むビット平面を表わすのに非常に僅かなデータしか必要としないように使用される。典型的に、変換され量子化された映像データの高い周波数の部分は、非ゼロ値よりも多数のゼロ値を含み、そして更に、非ゼロ値のほとんどは、比較的小さな絶対値を有する。それ故、多数の分析アレーの高レベルビット平面には、非常に僅かな非ゼロビット値しか存在しない。
【００２３】
別の実施形態では、図４Ａに示すデータ構造が若干変更される。特に、映像ファイルからの低解像度映像データの迅速な抽出を容易にするために、分析アレーの境界が、図３に示すウェーブレット変換領域間の境界（例えばＨＬ２とＨＬ１との間の境界）と厳密に一致するように必要に応じて調整される。初期映像アレーのサイズが分析アレーの整数に等しくない場合には（即ち、各分析アレーのサイズを整数値ｎに対して２ⁿｘ２ⁿとして、映像アレーの高さ又は巾のいずれかが２ⁿの整数倍でない場合には）、ウェーブレット変換領域間の境界の少なくとも幾つかが分析領域の中間部に入る。例えば、８００ｘ６００ピクセルの映像の場合に、ＬＬ領域は、５０ｘ３８のサイズとなる。ウェーブレット変換係数がサイズ３２ｘ３２の分析領域の単位でエンコードされる場合に、ＬＬ領域は、４つの分析領域においてエンコードされ、そのうちの３つは、通常、隣接するウェーブレット変換領域に対するデータを含む。この別の実施形態では、ウェーブレット変換領域間の境界に重畳する各分析アレーは、２つ又は４つの分析領域に置き換えられ（分析アレーが１つの領域境界に重畳するか２つの領域境界に重畳するかに基づいて）、各分析アレーが１つのウェーブレット変換領域のみからのデータを含むように適当な位置にゼロ値が記憶される。分析アレーは、依然、「原点で分類される順序」で映像ファイル１３２に記憶され、「原点」は、ここでは、ゼロ値でオーバーライトされていない分析アレーの左上角に最も近い係数の座標として定義される。
【００２４】
別の実施形態では、ウェーブレット状変換とは異なる変換を使用できるが、それにより得られる映像データは、依然、ビット平面順序で記憶される。例えば、ＤＣＴ変換を使用することができる。
本発明のある実施形態においては、デジタルカメラの映像捕獲メカニズムから受け取られた生の映像アレーが先ず「分析アレー」に分割され、そして変換及び量子化される。更に、分析アレーは、各々、映像アレーの薄い水平ストリップである。即ち、各分析アレーは、映像アレーの全巾に延びるが、その高さは、若干の（例えば、４ないし１６の）映像エレメント分に過ぎない。更に別の実施形態では、映像アレーが分析アレーに全く分割されない。
【００２５】
一般に、上述した全ての実施形態において、圧縮されエンコードされた映像データは、ビット平面順序で記憶される。ビット平面順序での記憶が好ましい理由は、徐々に忠実度を減少するのを非常に容易にするからであり、即ち映像ファイルの忠実度を最小量だけ減少するために、ファイルの最低レベルビット平面に対するデータが破棄され、そして残りの映像データが保持され、１ビット平面だけ忠実度の低い小さなファイルが形成される。
しかしながら、更に別の実施形態では、各映像ファイルを「画質レベルサポート順序」で編成することができ、各分析アレーに対するデータは、各次々のデータ構造体１７２が、映像画質を１つの所定の画質レベルだけ増加するのに必要な映像情報を記憶するように構成される。従って、あるデータ構造体１７２の情報は、２つ、３つ又はそれ以上のビット平面の情報を表わしてもよい。この実施形態では、映像ファイルにおける各分析アレーデータ構造体１７２から最後のデータ構造体１７２を削除することにより、１つの画質レベルだけ映像を質低下することができる。
【００２６】
デジタルカメラの状態マシン
説明上、デジタルカメラ１００は、４つの所定の映像画質レベル：高、非常に良＋、非常に良−、及び良を有すると仮定する。更に、高画質で記憶される映像ファイルは、通常、良画質で記憶される映像ファイルの約２倍のスペースを占有すると仮定する。他の実施形態では、それより多数又は少数の画質レベルを使用することができ、そして最も高い画質から最も低い画質までの映像ファイルサイズの比は、２：１より大きくても小さくてもよい。例えば、カメラが、２０００ｘ２０００ピクセル又は４０００ｘ４０００ピクセルといった非常に高解像度の映像を非常に高い忠実度で撮影できる場合には、最高画質から最低画質までの映像ファイルサイズの比がおそらく６４：１というような非常に多数の画質レベルを与えることを意味する。
【００２７】
映像ファイルの画質は、それがいったん下げられると、オリジナルの映像ファイル又はその別のソースが使用できる状態に保たれない限り、映像の画質を回復するに必要な情報が失われるので、高めることができない。
図１に戻ると、デジタルカメラ１００は、所定の１組のプリミティブなオペレーション、例えば、ある量の映像データに変換を適用するのに必要な乗算及び加算オペレーションを実行するためのデータ処理回路１０６と、１組の所定の映像取り扱いオペレーションを実行するようにデータ処理回路を制御するための１組の状態マシン２００−２１２とを備えているのが好ましい。１つの実施形態では、デジタルカメラの状態マシンは、次の通りである。
【００２８】
− カメラの映像捕獲メカニズムから受け取られた映像を変換、圧縮及び記憶するための１つ以上の状態マシン２００。この映像は、「ビューファインダー」映像とも称される。というのは、処理されている映像が、一般に、カメラの映像ビューア１１４の１シーンだからである。この１組の状態マシン２００は、不揮発性映像メモリ１０８に記憶される各映像ファイルを最初に発生するものである。ピクチャーを撮影する前に、ユーザは、カメラのボタン１１２を使用して、記憶されるべき映像の画質レベルを指定する。ほとんどのデジタルカメラでは、ビューファインダーが、捕獲された映像の非常に小さく且つ低い忠実度のバージョンしか表示できず、従って、カメラのビューファインダーに表示される映像は、通常、映像ファイルに記憶される「ビューファインダー」映像の画質より著しく低画質の捕獲映像の描写であることに注意されたい。
【００２９】
− 記憶された映像ファイルを圧縮解除し、逆変換しそしてカメラの映像ビューアに表示するための１つ以上の状態マシン２０２。映像データを圧縮解除し、逆変換しそして量子化解除することにより発生される再構成映像は、カメラのフレームバッファ１１８に記憶され、映像ビューア１１４において見ることができる。
− 不揮発性映像メモリ１０８に記憶される映像の数のカウントを更新しそして表示するための１つ以上の状態マシン２０４。この映像カウントは、ユーザインターフェイスディスプレイ１１６に表示されるのが好ましい。この１組の状態マシン２０４は、通常、不揮発性映像メモリ１０８の何パーセントが映像ファイルによって占有されずに残っているかを指示するか、又は付加的な映像を記憶するためのカメラ能力の他の指示を与える。カメラが個別のインターフェイスディスプレイ１１６をもたない場合には、このメモリ状態情報が、例えば、映像ビューア１１４に示された映像に重畳されて映像ビューア１１４に示されてもよいし、或いは主ビューア映像とは個別にビューア１１４の領域に示されてもよい。
【００３０】
− 映像捕獲メカニズム１０２により現在「見られている」映像が映像ビューア１１４に表示され、ユーザがこの映像を見て、映像捕獲ボタンを押した場合にそれが記憶されるようなカメラの「ビューファインダー」モードを実施するための１つ以上の状態マシン２０６。この状態マシンは、映像捕獲装置１０２から受け取った映像を、おそらく生の映像データを改善するための適当な矯正処理ステップが実行された後に、カメラのフレームバッファ１１８へ転送する。
【００３１】
− 不揮発性映像メモリ１０８から汎用コンピュータのような外部装置へ映像をダウンロードするための１つ以上の状態マシン２０８。
− 汎用コンピュータのような外部装置から不揮発性映像メモリ１０８へ映像をアップロードするための１つ以上の状態マシン２１０。これは、カメラを、映像ビュー装置として使用できると共に、映像ファイルをメモリカードに転送するためのメカニズムとしても使用できるようにする。
− 不揮発性映像メモリ１０８における映像ファイルのサイズを減少するための１つ以上の状態マシン２１２。これは、以下で詳細に説明する。
【００３２】
本発明において、映像ファイルの画質レベルは、次の２つの方法の１つで低下することができる。１）１つ以上の変換層に関連した全ての分析アレーを映像ファイルから削除する。又は２）１つ以上のビット平面のデータを映像ファイルから削除する。いずれの方法においても、状態マシン２１２は、ユーザにより選択された新たな低い画質レベルに対応する映像ファイルのデータ構造体を抽出し、そしてオリジナルの映像ファイルを、その抽出されたデータ構造体を記憶するものに置き換える。或いは又、オリジナルの映像ファイルが、その内容の一部分を削除することにより更新され、そのファイルによりそれまで占有されていたメモリの若干を解放する。本発明の特徴は、映像ファイルの画質レベルを、像を再構成してそれを再エンコードする（これは、使用する計算リソースに関してコストがかかる）必要なく低下できることである。むしろ、映像ファイル内のデータ構造体は、ファイル内の映像データを読み取り、分析し又は再構成する必要がないように予め構成される。映像ファイルの画質レベルは、単に、容易に決定されるデータのサブセットを映像ファイルに保持しそして残りのデータを映像ファイルにおいて削除するだけで低下されるか、或いは同等のこととして、映像ファイルにおける決定されたデータのサブセットを抽出して新たな映像ファイルに記憶し、そしてオリジナル映像ファイルを削除することにより低下される。
【００３３】
説明上、「削除」という用語は、映像ファイルのデータ構造体に適用されるときには、データ構造体の情報がナル値と置き換えられることを必ずしも意味しないことに注意されたい。むしろ、映像ファイルが、その「削除された」データ構造体を含まない別の映像ファイルに置き換えられることを意味する。従って、映像ファイル内の種々のデータ構造体は、映像ファイル内の他の全てのデータ構造体を新たな映像ファイルへコピーし、そして映像ファイルにおける全ての必要なブックキーピング情報及び変更されたファイルに対する映像ディレクトリを更新するだけで削除することができる。「削除」されたデータ構造体は、実際には、新たな情報がオーバーライトされるまで、メモリに不変に保たれる。或いは又、映像ファイルのデータは、ある実施形態においては、いずれの映像データも移動せずに、ファイルに対するブックキーピング情報を更新するだけで削除することができる。
【００３４】
本発明の１つの実施形態では、デジタルカメラは、映像の２つの最低ビット平面を削除することにより、映像の画質を高画質から「非常に良＋」へ低下する。同様に、映像の更に２つのビット平面を削除することにより、映像の画質が「非常に良−」へと低下され、次いで、映像の更に２つのビット平面を削除することにより、映像の画質が「良」へと低下される。より一般的には、映像の最高画質レベル表示のビット平面のある割合を削除することにより各画質レベルの遷移が表わされる。
別の実施形態では、「高」画質から次に高い画質レベルへの遷移は、第１変換層に対する分析アレー（例えば、図３における変換された映像のＨＬ１、ＨＨ１及びＬＨ１領域に対する分析アレー）を削除することにより実行される。より低い画質レベルへのその後の画質レベル遷移は、適当な数のビット平面を削除することにより行われる。
【００３５】
本発明の１つの実施形態では、デジタルカメラは、２つの映像ファイルサイズ減少モードを与える。第１のサイズ減少モードにおいて、ユーザは、１つの映像（又は映像の指定グループ）を選択し、カメラのボタンを使用して、どの低画質レベルで映像を記憶すべきか指示し、次いで、状態マシン２１２が小さな映像ファイルを発生し、そしてそれにより生じる映像ファイルをカメラの不揮発性映像メモリ１０８に記憶する。第２のサイズ減少モードでは、ユーザが、現在画質レベルＡで記憶されている全ての映像ファイルのサイズを画質レベルＢに減少するようにカメラに指令する。例えば、この第２のサイズ減少モードでは、ユーザは、全ての「高」画質映像ファイルを「非常に良＋」画質の映像ファイルに変換するようにカメラに指令する。この後者のサイズ減少モードは、メモリ１０８内の「スペースをクリア」して付加的なピクチャーをメモリ１０８に記憶できるようにするのに特に有用である。
【００３６】
別の実施形態では、カメラ又は他の装置は、１つ以上の自動映像ファイルサイズ減少モードを含んでもよい。例えば、１つのこのようなモードにおいて、全てのピクチャーを特定の画質レベルで記憶するようにカメラをセットすることができる。カメラのメモリが映像ファイルで充分に満たされて、もう１つの映像を現在の画質レベル設定で記憶するには不充分な余地しかないときには、カメラが、もう１つの映像を現在画質レベルで記憶するための余地を作るに充分なほど、記憶された映像ファイルのサイズを自動的に減少する。ある実施形態では、将来の映像に対する装置の画質レベル設定が、カメラのメモリに記憶された最高画質映像の画質レベルに一致するように自動的に減少される。このように、カメラは、使用可能なスペースに対して最大画質の映像を撮影して記憶し、この最大化は、柔軟に且つ「オンザフライ」で行われる。
【００３７】
カメラのオペレーション及び映像ファイルのサイズ減少
図５を参照すれば、カメラのユーザインターフェイスディスプレイ１１６に表示される状態情報によりデジタルカメラの状態が表わされる。例えば、カメラの映像メモリ１０８がいっぱいになる前に、カメラは、現在「高」画質で２１枚のピクチャーを記憶しておりそして更に３枚のピクチャーを記憶するに充分なメモリを有することをユーザに指示する。更にどれほど多くのピクチャーをカメラの映像メモリ１０８（図１）に記憶できるかの指示は、撮影されるべき次のピクチャーの画質を決定するカメラの現在ピクチャー画質設定に依存する。
【００３８】
カメラが更に３枚のピクチャーを記憶した後に、カメラの映像メモリ１０８はいっぱいになり（即ち、カメラの現在画質設定で別のピクチャーを記憶するには不充分な余地しかない）、そしてカメラは現在２４枚のピクチャーを「高」画質で記憶しており、更にピクチャーを記憶するに充分なメモリはゼロであることをユーザに指示する。この例の説明上、ユーザは、それ以上のメモリカードをもたないにも関わらず、少なくとももう１０枚のピクチャーを撮影したいものと仮定する。これを可能にするために、ユーザは、カメラの映像サイズ減少特徴を利用する。
この例では、ユーザは、全ての「高」画質映像ファイルを、１画質レベル下の「非常に良＋」の画質レベルへ減少するようにカメラに指令する。カメラは、サイズ減少の状態マシン２１２を実行し、そしてカメラのユーザインターフェイスディスプレイ１１６に表示される状態情報を更新することによりこれを行う。この例では、２４枚の映像が、現在、「非常に良＋」の画質レベルを有する映像ファイルに記憶されると示され、そしてカメラは、「高」画質レベルで新たに７枚の映像を記憶する余地を有する。
【００３９】
この例では、ユーザは、次いで、全ての「非常に良＋」画質の映像ファイルを、１画質レベル低い「非常に良−」画質レベルへ圧縮するための第２サイズ減少を行うようにカメラに指令する。カメラは、サイズ減少の状態マシン２１２を実行し、そしてカメラのユーザインターフェイスディスプレイ１１６に表示される状態情報を更新することにより、これを行う。この例では、２４枚の映像が、現在、「非常に良−」画質レベルをもつ映像ファイルに記憶されると示され、カメラは、「高」画質レベルで新たに１２枚の映像を記憶する余地を有する。
或いは又、ユーザが、映像を捕獲する前に、新たな映像の画質レベルを「非常に良＋」の画質に切り換えた場合には、単一の映像サイズ減少ステップで、少なくとも１０枚の付加的なピクチャーを記憶する余地を形成するに充分となる。
【００４０】
別の例において、デジタルカメラは、カメラのメモリがいっぱいになりそしてそれでもユーザがカメラの映像捕獲ボタンを押したときだけアクチベートされる自動映像ファイルサイズ減少モードを有するように構成されてもよい。この動作モードでは、カメラの映像処理回路が、既に記憶されている映像ファイルのサイズを、付加的な映像ファイルのための余地を作るようにできるだけ僅かに減少する。ユーザがこのモードで更に多くのピクチャーを撮影し続ける場合には、記憶される映像の画質が、最終的に、許容最低画質レベルとしてユーザが定義した又は予め定義された設定まで低下し、この点において、カメラは、許容画質レベルが更に下げられるか、或いは既に記憶された映像ファイルの少なくとも幾つかが別の装置に転送されるか又は削除されるまで、付加的な映像ファイルをいずれも記憶しない。
又、本発明の映像管理システム及び方法は、上述した映像処理ステップを実行するための手順を遂行するデータプロセッサを用いたコンピュータシステム及びコンピュータ制御システムにおいて実施することもできる。又、本発明は、コンピュータシステムにより使用するのに適した映像処理手順を含むコンピュータプログラム製品（例えば、ＣＤ−ＲＯＭ又は搬送波信号で搬送されるデータ信号）として実施することもできる。
【００４１】
ビデオ映像管理システム
図６は、複数の画質レベルでビデオ映像を記憶するためのビデオ映像管理システムに対する概念的なデータフロー図である。ビデオ映像管理システムの基本的な構造は、図１に示すものと同じである。しかしながら、カメラがデジタルビデオカメラであるときには、次々の映像Ｆ_iが、毎秒８、１６、２４又は３０フレームという所定の割合で自動的に発生される。好ましい実施形態では、一連のビデオ映像が一度にＮフレームづつ処理され、ここで、Ｎは、３より大きな整数であり、好ましくは、４、８又は１６に等しい。一般に、Ｎは、本発明が実施される特定のシステムにおけるメモリ及び計算リソースの利用性により決定される。即ち、各組のＮ個（例えば、１６個）の次々の映像（即ち、フレーム）が１つのセットとして次のように処理される。１６個のフレームＦ_16xからＦ_16x+15までの各組に対し、最初の１つを除く全てのフレームは、異なるフレームと置き換えられる。従って、Ｎ＝１６のときには、１５個の異なるフレームＦ_i+1−Ｆ_iが発生される。次いで、図３に示されて上述されたデータ処理方法に従い、第１フレームと、１５個の異なるフレームが各々分析アレーに分割され、ウェーブレット状又は他の変換が分析アレーに適用され、次いで、それにより得られた変換係数がエンコードされる。
【００４２】
別の実施形態では、他の方法を使用して、各組の次々のフレームを最初に変換しそしてエンコードすることができる。例えば、変換及びエンコードステップを適用する前にフレームを異なるフレームと交換すべきかどうかについて、フレームの類似性又は相違性の尺度に基づいてフレームごとに判断が行われてもよい。
全ての実施形態において、１組のフレームを表わす映像ファイル（１つ又は複数）が記憶され、最小の計算リソースで小さな映像ファイルの発生が容易に行われる。特に、映像ファイルのデータは、各ビット平面に対し個別のデータ構造体を使用して記憶されるのが好ましい（図４Ｂを参照）。更に、図４Ａについて上述したように、分析アレーを変換ステップの前に調整して、分析アレー間の境界が、変換層係数間の境界に対応するようにしてもよい。ビデオ映像ファイルに記憶されるデータをこのように構成することにより、小さな低い画質レベルのビデオ映像ファイルの発生が非常に容易にされる。
【００４３】
更に図６を参照すると、ビデオフレームシーケンスに対するビデオ映像ファイルが特定の初期画質レベルで発生された後に、装置（又は特定の自動モードで動作する装置）のユーザは、できるだけ高い画質を保持しながらビデオ映像ファイルのサイズを減少するように判断してもよい。例えば、第１のビデオ映像ファイルサイズ減少ステップにおいて、各１６フレームシーケンスの最後の８フレームに対するＨＨ１変換係数が削除される。第２のサイズ減少ステップでは、各１６フレームシーケンスの第１フレーム以外の全てのフレームに対しＨＨ１変換係数が削除される。第３の減少ステップでは、ビデオ映像ファイルのＺ個（例えば、４個）の最下位ビット平面が削除される。第４の減少ステップでは、各１６フレームシーケンスの最後の８フレームに対しＨＬ１及びＬＨ１係数が削除される。第５の減少ステップでは、各１６フレームシーケンスの第１フレーム以外の全フレームに対し、ＨＬ１及びＬＨ１係数が削除される。これらの減少ステップは、実行可能なファイルサイズ減少ステップの形式の一例に過ぎない。例えば、他の実施形態では、ビット平面が初期の減少ステップで削除され、そして変換層（又は変換層の一部分）が後期の減少ステップのみで削除される。一般に、各ビデオ映像サイズ減少は、それに対応する画質の低下を招く。
【００４４】
図７、８及び９を参照すれば、別の実施形態において、１組のビデオフレームに対して時間ドメインの一次元ウェーブレット変換を実行することによりビデオ映像シーケンスが圧縮されそしてエンコードされる。特に、ビデオフレームがＮフレームのグループに分割され、ここで、Ｎは、３より大きな整数であり、ビデオ映像における各ｘ、ｙピクセル位置に対し、一連のＮ＋１個のフレームのピクセルにおいて一次元のＫレベルウェーブレット変換が実行される。例えば、Ｋレベルウェーブレット変換は、Ｎフレームの以前のグループ及び現在グループの最後のフレームに対する１、１ピクセル、並びに１、２ピクセル、１、３ピクセル等々において実行される。
Ｎフレームの各グループを個別にエンコードすることによる欠陥を回避するために、現在グループの直前のフレームがＫレベルウェーブレット変換に含まれる。ウェーブレット変換は、係数が発生されている位置の左へ（時間的に後方に）１位置だけ延びそして１組のＮフレームの右縁のみへと右方向に（時間的に前方に）延びる短い変換フィルタを使用する。
【００４５】
更に、図８に示すように、「右縁」の係数は、Ｎフレームの次のグループを処理するときに使用するために、第１ないしＫ−１レベルのウェーブレット変換の各々に対してセーブされる。好ましい実施形態では、最も右縁の係数のみが第１ないしＫ−１レベルの変換の各々に対してセーブされ、他の実施形態では、２つ以上の右縁の係数がセーブされ、そしてＮフレームの次のブロックを処理するときに使用される。第２レベルの変換がＮフレームのブロックにおいて実行されるときには、以前の１組のＮフレームに対しセーブされた層１の右縁の係数が使用される（即ち、層２に対する最も左の計算係数の計算に含まれる）。１ないしＫ−１層の各々に対して最も右縁の係数をセーブすることにより、あるブロックの最後のフレームと次のブロックの最初のフレームとの間の不連続性により生じる（ビデオ映像シーケンスの再生中に）欠陥が回避され、滑らかで且つ視覚的にも好ましい再構成されたビデオ映像シーケンスが形成される。ビデオシーケンスのウェーブレット状変換及びデータ圧縮をテーブル１に擬似コード形態で示す。
【００４６】
テーブル１
１ブロックのビデオフレームをウェーブレット状
変換及び圧縮するための擬似コード
ビデオフレームの各ブロックに対して繰り返す
｛
各行ｙ(映像の)に対し
｛
各列ｘ(映像の)に対し
｛
ビデオフレームの次のブロックを処理するときに使用するために最も右縁の値をセーブする；
以前のブロックからセーブされた縁値を含む位置ｘ，ｙのピクセル値の時間順序付けされたシーケンスにレベル１のウェーブレット状変換
を適用して、レベル１のＬ及びＨ係数を発生する；
ビデオフレームの次のブロックを処理するときに使用するために最も
右縁のＬ係数をセーブする；
以前のブロックからセーブされたレベル１の縁値を含む位置ｘ，ｙの
レベル１のＬ係数にレベル２のウェーブレット状変換を適用して、レ
ベル２のＬ及びＨ係数を発生する；
ビデオフレームの次のブロックを処理するときに使用するために最も
右縁のレベル２のＬ係数をセーブする；
−−−
以前のブロックからセーブされたレベルｋ−２の縁値を含む位置ｘ，
ｙのレベルｋ−２のＬ係数にレベルｋ−１のウェーブレット状変換を
適用して、レベルｋ−１のＬ及びＨ係数を発生する；
ビデオフレームの次のブロックを処理するときに使用するために最も
右縁のレベルｋ−１のＬ係数をセーブする；
以前のブロックからセーブされたレベルｋ−１の縁値を含む位置ｘ，
ｙのレベルｋ−１のＬ係数にレベルｋのウェーブレット状変換を適用
して、レベルｋのＬ及びＨ係数を発生する；
｝
｝
量子化係数
エンコード係数
映像データ構造体に係数を記憶し、映像フレームの現在ブロックに対して映像ファイルを形成する
｝
【００４７】
映像データの１つのブロックから縁係数をセーブして、その映像データの隣接ブロックに対してウェーブレット又はウェーブレット状変換を実行する間に使用することは、背景情報として参考としてここに援用する「Memory Saving Wavelet-Like Image Transform System and Method for Digital Camera and Other Memory Conservative Application」と題する１９９９年７月２２日に出願された米国特許出願第０９／３５８，８７６号に詳細に説明されている。
各ビデオデータブロックのウェーブレット状変換が完了すると、その変換されたビデオデータを処理する他の全ての特徴は、上述した通りである。即ち、変換されたデータは、上述したようにスチール映像及びビデオ映像シーケンスに適用されたものと同じ技術を使用して、量子化され、映像データ構造体に記憶され、そして映像画質の低下を受ける。
【００４８】
又、本発明のビデオ映像管理システム及び方法は、上記のビデオフレーム処理ステップを実行するための手順を遂行するデータプロセッサを使用するコンピュータシステム及びコンピュータ制御システムにおいて実施することもできる。又、本発明は、コンピュータシステムにより使用するのに適した映像及び／又はビデオフレーム処理手順を含むコンピュータプログラム製品（例えば、ＣＤ−ＲＯＭ又は搬送波信号で搬送されるデータ信号）として実施することもできる。
別の実施形態
上述した実施形態の状態マシンは、特に、オペレーションの速度が問題でない場合には、汎用の（プログラマブル）データプロセッサ又はプログラマブル映像データプロセッサにより実行されるソフトウェ手順により置き換えることができる。
【００４９】
上述した実施形態の他の多数の特徴は、デジタルカメラの種々の部分をアップグレードするために技術的な改良が利用されるので、時間の経過に伴い変化し得る。例えば、映像ファイルを記憶するのに使用されるメモリ技術は、フラッシュメモリから別の形式のメモリへ変化し、又はカメラが音声コマンドに応答して、幾つかのボタンを使用できるようにする。
図１０を参照すれば、本発明は、デジタルカメラ及びデジタルビデオカメラ以外の、ケーブルテレビジョンセットトップボックス、映像の倉庫ライブラリーに使用されるコンピュータシステム及び装置、映像ファイルを記憶及び分配するのに使用されるコンピュータシステム及び装置等々を含む種々の映像処理システムにも使用することができる。例えば、インターネットサーバー３００は、本発明のウェーブレット変換圧縮データ構造体に映像及び／又はビデオシーケンスを記憶することができる。これら圧縮データ構造体のコピーは、インターネット３０４又は他の通信ネットワークを経て、ＨＴＴＰ又は他の適当なプロトコルを使用して、クライアントコンピュータ又は他のクライアント装置３０２のメモリ３０６へ転送される。クライアントコンピュータ又は他の装置（クライアント装置）に使用可能なメモリに適合するように、適宜に、映像又はビデオシーケンスのサイズが減少される。更に、映像又はビデオシーケンスがクライアント装置のメモリ３０６に記憶されると、本発明の技術を使用して、例えば、画質を徐々に低下し、付加的な映像又はビデオシーケンスを記憶する余地を作ることにより、映像の記憶を管理することができる。図１０に示す実施形態では、クライアントコンピュータのメモリ３０６には、次のものが記憶される。
− オペレーティングシステム３１０；
− 文書及び映像を見るためのブラウザ又は他の映像ビューアアプリケーション３１２；
− 映像ファイル３１４；
【００５０】
− 映像変換手順３１６、例えば、生の映像アレーをウェーブレット変換係数に変換するためのウェーブレット又はウェーブレット状変換手順、ウェーブレット変換係数を圧縮しそしてエンコードするための手順、及び他の映像フォーマットで受け取られた映像を取り扱うための他の変換手順、例えば、ＪＰＥＧファイルを再構成された映像データに変換し、これを次いで、ウェーブレット又はウェーブレット状変換手順により生の映像データとして使用するようなＪＰＥＧ変換手順；
− 本発明の映像データ構造体サイズ及び画質低下特徴を実施するための映像圧縮、画質低下手順３１８；及び
− クライアントワークステーションのモニタで見たり、プリントしたり又はその他使用するのに適した再構成された映像データアレーを発生するように映像ファイルを圧縮解除及び逆変換するための映像再構成手順３２０。
【００５１】
クライアントワークステーションメモリ３０６は、通常、高速ランダムアクセスメモリ及び低速不揮発性メモリ、例えば、ハードディスク及び／又はリードオンリメモリを含む。クライアントワークステーションの中央処理ユニット３０８は、オペレーティングシステム手順及び映像取り扱い手順、並びにその他のアプリケーションを実行し、本発明の他の実施形態において専用回路で実行されたものと同様の映像処理機能を遂行する。
【００５２】
上述したように、本発明をブラウザアプリケーションに関連して又はその一部分として使用して映像記憶を管理するときには、ある映像を、最初に、「生」の映像アレー以外のフォーマットで受け取ることができる。例えば、ある映像を、最初に、ＪＰＥＧファイルとして、或いは他の所有フォーマット又は工業標準フォーマットで受け取ることができる。本発明の能力を完全に活用するために、このような映像は、好ましくは、再構成された「生」の映像アレーを発生するようにデコードされ、次いで、これら生の映像アレーはウェーブレット又はウェーブレット状変換されて、映像を、本発明の画質レベル管理特徴を使用できるフォーマットにすることができる。
【００５３】
以上、幾つかの特定の実施形態を参照して本発明を説明したが、これは、本発明を単に例示するものであって、本発明をこれに限定するものではない。当業者であれば、特許請求の範囲に規定された本発明の真の精神及び範囲から逸脱せずに種々の変更がなされ得ることが明らかであろう。
【図面の簡単な説明】
【図１】 本発明の実施形態によるデジタルカメラのブロック図である。
【図２】 エンコード及びデータ圧縮の目的で１組の小さな分析アレーへ分割された映像データアレーを示す図である。
【図３】 生の映像データアレーを変換映像アレーへ変換しそして変換映像アレーを圧縮して、圧縮された映像ファイルを形成するプロセスを概略的に示す図である。
【図４Ａ】 映像記憶データ構造を示す図である。
【図４Ｂ】 映像記憶データ構造を示す図である。
【図５】 種々のオペレーションを実行するときのデジタルカメラの状態の変化を示した概念的フローチャートである。
【図６】 ビデオ映像シーケンスがエンコードされそして圧縮されるときのビデオ映像シーケンスの状態の変化を示す概念的フローチャートである。
【図７】 １つの特定の実施形態においてビデオ映像シーケンスのエンコード及び圧縮に使用されるデータ構造を示す図である。
【図８】 １つの特定の実施形態においてビデオ映像シーケンスのエンコード及び圧縮に使用されるデータ構造を示す図である。
【図９】 １つの特定の実施形態においてビデオ映像シーケンスのエンコード及び圧縮に使用されるデータ構造を示す図である。
【図１０】 本発明の映像及び／又はビデオ映像圧縮及び管理特徴を使用するインターネットサーバー及びクライアント装置を概念的に示す図である。

Claims (3)

1. 映像捕獲機構を有するデジタルカメラ（１００）で使用するための映像処理装置において、前記映像処理装置が、
   複数の映像データ構造（１３２）を記憶するためのメモリ（１０８）と、
   データを外部装置に転送するためのポート（１１０）と、
   前記映像捕獲機構から受信された映像データを記憶し且つ処理するための映像管理ロジック（１０６）と、を備えており、前記映像管理ロジックが、
   少なくとも２つの異なる画質レベルを含む予め定められた範囲の画質レベルから選択された関連する画質レベルを有する映像データ構造（１３２）を発生するように、前記映像捕獲機構から受信された映像データを処理する初期映像処理手段（２００）、
   前記映像データ構造の第１の指定されたものによって以前に占有されたよりも、より少ないスペースを前記メモリ（１０８）で占有する前記第１の指定された映像データ構造のより低い画質のバージョンを形成するための手段を含む、前記第１の指定された映像データ構造の画質レベルを下げるための映像サイズ減少手段（２１２）、および
   前記メモリ（１０８）に記憶される一つ以上の映像データ構造を、ポート（１１０）を介して外部装置にダウンロードするための映像ダウンロード手段（２０８）、を備え、
   前記メモリ（１０８）に映像データ構造の形態で記憶される映像によって占有されるスペースの量が減少されて、メモリ（１０８）内の追加の映像データ構造の記憶のための余地が作られることを特徴とし、
   前記映像データ構造（１３２）の各々が、少なくとも一つのビット平面に関する映像変換データが、他のビット平面に関する映像変換データとは区別された映像データ構造の部分に記憶されるように、ビット平面ベースで編成された映像変換データを含み、
   前記映像サイズ減少手段が、最低レベルビット平面に関する映像変換データを除く映像データ構造の一部分を抽出し、前記映像データ構造を、前記抽出された部分を含む映像データ構造に置き替えるための手段を含む、映像処理装置。
2. デジタルカメラであって、
   映像捕獲機構（１０２）と、
   映像データ構造が記憶されるメモリ（１０８）と、
   外部装置にデータを転送するためのポート（１１０）と、
   前記映像捕獲機構から受信した映像データを記憶し且つ処理するための映像管理ロジック（１０６）、を含み、前記映像管理ロジックが、
   前記映像捕獲機構から受信した映像データを処理し、少なくとも２つの異なる画質レベルを含む好適な範囲の映像品質レベルから選択された関連する画質レベルを有する映像データ構造（１３２）を発生するための初期映像処理手段（２００）、
   第１の指定された映像データ構造の画質レベルを低下し、前記第１の指定された映像データ構造によって以前に占有されたよりもより狭いスペースを前記メモリで占有する前記第１の指定された映像データ構造のより低い画質バージョンを形成するための手段を含む、映像サイズ減少手段（２１２）、および
   前記メモリ（１０８）に記憶される映像データ構造の一つ以上を、ポート（１１０）を介して、外部装置にダウンロードするための映像ダウントロード手段（２０８）を含み、 前記メモリ（１０８）に映像データ構造の形式で記憶される映像によって占有されるスペースの量が減少されて、前記メモリ（１０８）に追加の映像データ構造記憶用の余地が作られることを特徴とし、
   少なくとも一つのビット平面に関する映像変換データが、他のビット平面に関する映像変換データとは区別された映像データ構造の部分に記憶されるようにビット平面ベースで編成された映像変換データを、前記映像データ構造（１３２）の各々が含み、
   前記映像サイズ減少手段が、最低レベルビット平面に関する映像変換データを除いた映像データ構造の一部分を抽出し、映像データ構造を、前記抽出された部分を含む映像データ構造に置き替えるための手段を含む、デジタルカメラ。
3. デジタルカメラにおいて、
   各々が対応する映像を表す複数の映像データ構造（１３２）を、デジタルカメラのメモリ（１０８）に記憶し、各映像データ構造が、対応する映像が映像データ構造にエンコードされる画質レベルに対応する関連する画質レベルを有し、各映像データ構造の画質レベルは、最高画質レベルから最低画質レベルの範囲にわたる少なくとも２つの異なる画質レベルを含む予め定められた範囲の画質レベルのメンバーであるステップと、
   指定された映像データ構造におけるデータの部分集合を抽出し、前記指定された映像データ構造によって以前に占有されたよりも狭いスペースを不揮発性メモリ（１０８）で占有する指定された映像データ構造のより低い品質のバージョンを形成することを含み、不揮発性メモリ（１０８）に記憶される映像データ構造の指定された一つのもののサイズを減少するステップと、
   前記メモリ（１０８）に記憶される映像データ構造のユーザが指定したものをデジタルカメラ（１１０）のポートを介して外部装置にダウンロードするステップとを含み、
   前記メモリ（１０８）で映像データ構造の形態で記憶される映像によって占有されるスペースの量が減少されて、デジタルカメラ（１０８）のメモリの追加の映像データ構造の記憶のための余地が作られることを特徴とし、
   前記映像データ構造（１３２）の各々は、最低レベルビット平面に関する映像変換データが、他のビット平面に関する映像変換データとは区別された映像データ構造の部分に記憶されるように、ビット平面ベースで編成された映像変換データを含み、
   前記サイズを減少するステップが、少なくとも一つのビット平面に関する映像変換データを除く映像データ構造の一部分を抽出し、前記不揮発性メモリ（１０８）内の映像データ構造を、抽出された部分を含む映像データ構造に置き替えることを含む、映像処理方法。

Images