JP4870563B2 - 携帯装置における画像処理方法及び装置 - Google Patents

Description

本発明は携帯装置に関し、特に、携帯装置におけるグラフィック変換に関する。

最新の演算処理トレンドの成熟とともに携帯装置の携帯性や改善機能性における要求が増大しているが、ここでの携帯装置は限定はしないが当業者に認知される如く、携帯電話や個人携帯情報機器（ＰＤＡ）やポケットベルやスマートフォンやグラフィック対話機能を提供可能な他の任意の適当な携帯式電子装置でもある。さらに、携帯装置或いはデスクトップ型やラップトップ型コンピュータ等の独立型コンピュータ処理システムを集約させることで、複数携帯装置の間ならびに携帯装置と独立型コンピュータ処理システムとの間の改善された機能性と対話品質に対するより大きな要求が存在する。

携帯装置の新興領域は、グラフィック及び／又は映像を取得し、描画し、伝送する能力である。複数技術の一つの集約例は、携帯装置上のカメラの設置である。これらのグラフィック集約応用分野には、グラフィック出力生成用のグラフィック構造に関する先行技術の限界が存在する。携帯装置における一つの共通課題は、利用可能なメモリ資源である。三次元グラフィック描画技術を含む現行のグラフィック描画技術は、画像処理パイプライン中の各種描画ステップの実行に広範なメモリ量が必要である。

さらにまた、グラフィック画像は圧縮動作を完了するのに全記憶画像を必要とする圧縮技術が故にメモリ集約的ともなり得る。既存の携帯装置では、サイズ要件が故にメモリ資源の限界が存在していた。

現行の携帯装置の中に見出される別の他の特定の限界は、画像描画エンジンを配置する制限された物理的実装空間とメモリを配置する制限された実装空間である。携帯装置がよりコンパクトになるにつれて、画像描画に必要とされる付加メモリを挿入するための実装空間はより少なくなっている。それ故、携帯装置内に既存のグラフィックプロセッサを活用する企てに問題が生ずる。

図１は、カメラ１０２と固定サイズのバッファ１０４とＪＰＥＧプロセッサ１０６と最大デコードサイズのバッファ１０８とを有する先行技術携帯装置１００を示す。カメラ１０２は、固定サイズのバッファ１０４に供給されるビデオ画像１１０を捕捉できる任意の適当なサイズのカメラとすることができる。携帯装置１００では、固定サイズのバッファ１０４は画像１１０の単一フレームを捕捉するのに十分なサイズとしなけばならず、カメラが取得する画像１１０のサイズに応じており、例えばカメラ１０２が６４本の１６ビット走査線解像度の画像１１０を取得する場合、バッファ１０４は単一画像１１０を記憶するのに十分な記憶場所を含むことになる筈である。当業者に認知されている如く、ストリーミング映像や複数画像を取得する能力を提供するのに大きなメモリ１０４を用いることがある。

典型的な携帯装置１００では、圧縮エンジンに画像１１０のサムネイルの構築を要求することで、画像１１０は次いでサムネイル様式でユーザに表示される。一実施例では、ＪＰＥＧプロセッサ１０６は記憶画像１１２を検索し、記憶画像１１２は周知のＪＰＥＧ処理技術に従ってＪＰＥＧプロセッサ１０６により処理される。

ＪＰＥＧプロセッサ１０６は、次いで、デコードされた画像、即ち復号化画像１１４を生成し、この復号化画像１１４はバッファ１０８に記憶させられる。バッファ１０８のサイズは、復号化画像１１４のサイズにより決まる。従って、携帯装置１００は２個のメモリバッファ１０４，１０８を持たねばならず、ここでメモリバッファ１０４，１０８のサイズはカメラ１０２と画像１１４の最大復号化サイズによって決まる。携帯装置１００は、大きなメモリバッファ１０４，１０８或いはカメラ１０２の品質／解像度の低減のいずれかを必要とする。

かくして、携帯装置内でのメモリ資源要件を克服し、高品位画像処理を可能にし、その一方で画像捕捉技術と画像処理技術を保全する方法及び装置に対する必要性が存在する。

本発明は映像入力信号を受信する第１のメモリ装置を含む携帯装置内での画像処理方法及び装置を提供するものである。一実施例では、第１のメモリ装置はデュアルバッファメモリであり、映像入力信号はカメラ等の画像取得装置を用いて取得した画像の符号化（エンコードされた）表現である。映像入力信号には、複数の符号化映像フレームデータからなる符号化映像フレームが含まれる。第１のメモリ装置は符号化映像フレームに関する符号化映像フレームデータの複数部分の全てには満たない記憶容量を有し、かくして第１のメモリ装置は符号化映像フレームデータの第１の部分を受信する。

本方法及び装置は、さらに、第１のメモリ装置に結合したグラフィックプロセッサを含み、ここでグラフィックプロセッサは符号化映像フレームの第１の部分を受信し、第１のグラフィック部分を生成する。第１のグラフィック部分は、符号化映像フレームデータのデコードされた（復号化）部分を含む。本方法及び装置は、第１のグラフィック部分を受信し、第１のグラフィック部分を内部記憶させる第２のメモリ装置を含む。かくして、符号化映像フレームはグラフィックプロセッサと連動して第１のメモリ装置と第２のメモリ装置を用いて部分ごとに処理され、かくして制限されたメモリ資源を用いて映像フレームを生成できるようにしてある。

より具体的には、図２は携帯装置２０２の画像処理装置２００の一実施例形態を示す。装置２００は、第１のメモリ２０４とグラフィックプロセッサ２０６と第２のメモリ２０８とを含む。一実施例では、第１のメモリ２０４と第２のメモリ２０８は映像データの符号化フレームを記憶させることのできるデュアルバッファメモリである。

第１のメモリ装置２０４と第２のメモリ装置２０８は、これらに限定はされないが、単一メモリや複数の記憶場所や共有メモリやＣＤやＤＶＤやＲＯＭやＲＡＭやＥＥＰＲＯＭや光記憶装置或いはディジタルデータを記憶可能な他の任意の不揮発性記憶媒体とすることができる。さらに、プロセッサ２０６は、これらに限定はされないが、単一プロセッサや複数プロセッサやＤＳＰやマイクロプロセッサやＡＳＩＣやステートマシン、又はソフトウェアやディスクリート論理回路或いはハードウェアとソフトウェア及び／又はファームウェアの任意の適当な組み合わせを処理し実行できる他の任意の実装品とすることができる。プロセッサはソフトウェアを実行可能なハードウェアだけを指すと解釈してはならず、ＤＳＰハードウェアやソフトウェア記憶用ＲＯＭや他の任意の揮発性或いは不揮発性記憶媒体を暗に含ませることができる。

第１のメモリ２０４は、カメラ２１２から映像入力信号２１０を受信する。映像入力信号２１０は、符号化映像フレームデータの複数部分を有する符号化映像フレームを含む。例えば、符号化映像フレームは１６個の部分に分割でき、それ故に映像入力信号２１０はカメラ２１２から１６個の符号化映像フレームデータとして供給される。一実施例では、これらの部分は所定数の水平走査線或いは他の任意の適当な被描写画素フィールドを表わす。

第１のメモリ装置２０４は、前記した例示実施例におけるデュアルバッファメモリの如く、符号化映像フレームに関する符号化映像フレーム２１０の複数部分の全てには満たない容量を有する。符号化映像フレームデータ２１０の複数部分の第１の部分２１４は、グラフィックプロセッサ２０６へ供給される。一実施例では、グラフィックプロセッサ２０６は周知の画像処理技術に従って動作して第１のグラフィック部分２１６ａを生成するが、ここでは第１のグラフィック部分２１６ａは符号化映像フレームデータ２１４の復号化した第１の部分である。

第１のグラフィック部分２１６ａはそこで、第２のメモリ装置２０８へ供給される。第２のメモリ装置２０８はそこで、装置２００外部の図示しない記憶場所に第１のグラフィック部分２１６ｂを供給する。一実施例では、図示していない記憶場所はフレームバッファとすることができ、ここでは複数の符号化映像フレームのグラフィック部分が一旦全てグラフィックプロセッサ２０６により生成されると、全復号化映像フレームを図示しないフレームバッファから図示しないディスプレイへ供給することができる。

図３は、本発明の一実施例になる携帯装置２００の一実施例を示す。携帯装置２００は、キーパッド２３０とスピーカ２３２とマイクロフォン２３４とディスプレイ２３６とカメラ２３８とナビゲーション釦２４０とを含む。当業者には認知される如く、携帯装置２００は例示目的にのみ合わせたものであり、本発明には図２に示す処理要素を備えるディスプレイ２３６及びカメラ２３８を有する他の任意の適当な携帯装置を含ませることができる。図３の携帯装置２００では、カメラ２３８は当業者には認知される如く映像取得をもたらすが、カメラ２３８を他の任意の適当な場所に配置しかつ／又はより多数のカメラを携帯装置２００上に配置することができる。

図４は、そこを通過する無線通信のためのアンテナ２５２に結合したベースバンド方式受信器２５０を含む携帯装置２００のブロック線図である。ベースバンド方式受信器２５０は、そこを通過する通信情報２５６を通信する中央処理装置（ＣＰＵ）２５４に作動的に結合してある。当業者には認知される如く、ＣＰＵ２５４は既存の携帯装置内に目下実装し活用されている周知の中央処理装置に従わせることができる。

一実施例では、ＣＰＵ２５４をＳＤＲＡＭ／ＤＤＲ２５８に結合し、処理情報２６０をその上に記憶させ、メモリ２５８とＣＰＵ２５４の間で転送すことができる。ＣＰＵ２５４はさらに、可撓ケーブル２６２を介して画像処理用装置２０２に結合してある。

一実施例では、装置２０２は固定ディジタルメモリカード等のメモリ２６４に作動的に結合してあり、データ２６５が両者間で転送されるようにしてある。携帯装置２００はさらに装置２０２に映像入力信号２１０を供給するカメラ２３８を含み、装置２０２はさらにＬＣＤコントローラ２６６に結合してある。一実施例では、ＬＣＤコントローラ２６６はそこに第１のグラフィック部分２１６ｂが供給されるようその中に配置したフレームバッファ（図示せず）を含む。周知のＬＣＤコントローラ動作に従い、ＬＣＤコントローラ２６６はそこで可視出力信号２６８をＬＣＤ２３６か又は当業者には認知される他の任意の適当な表示装置へ供給する。

図５は、本発明の一実施例になる携帯装置２００の別の概略ブロック線図を示す。装置２０２には、映像入力プロセッサ３００とバッファ３０２と実時間直接メモリアクセス装置（ＲＴＤＭＡ）３０４とメモリ３０６とＪＰＥＧ／ＭＰＥＧプロセッサ３０８とが含まれる。当業者には認知される如く、装置２０２内での処理をもたらす多くの要素をただ明瞭さに配慮して省略してある。

カメラ２３８は、符号化映像フレームを含む映像入力信号２１０を映像入力プロセッサ３００へ供給する。映像入力プロセッサ３００は映像部分３１０をバッファ３０２へ供給するが、そこでバッファ３０２はそのバッファ映像部分３１２をＲＴＤＭＡ３０４へ供給する。

ＲＴＤＭＡ３０４はバス３１８を介してプロセッサ３０８と共にデータ要求３１４と映像情報３１６に連動して動作し、プロセッサ３０８はバス３０２から供給されるグラフィック情報３１２を描画する。一実施例では、ＲＴＤＭＡ３０４は当業者には認知される如く任意種のメモリとし得るメモリ３０６を用いており、ここでメモリ３０６内では実時間でアクセスがなされ、アドレス３２０に応答してデータ３２２が検索される。

プロセッサ３０８を、図６に関してさらに以下に説明する。入来映像フレームデータの処理に応答し、プロセッサは符号化フレームデータの複数部分を復号化してＬＣＤコントローラ２６６へ供給する映像信号２１６ｂを生成する。一実施例では、一旦ＬＣＤコントローラ２６６がフレーム全体を取得すると、全フレーム２６８がＬＣＤ２３６へ供給される。別の実施例では、ＬＣＤ２３６が順次走査液晶ディスプレイである場合、フレーム部分は図示しないフレームバッファを充填するのではなく部分ごとに供給することができる。

図６は、図５に示した復号器３０８の実施例と同じ要素の機能的ブロック線図を表わす。この要素は、より具体的には符号化映像入力信号向けである。プロセッサ３０８は、フォーマット変換器３３０とスケーリングモジュール３３２と回転モジュール３３４とを含む。別のデータ処理分岐では、プロセッサ３０８は離散コサイン変換（ＤＣＴ）３４０と量子化モジュール３４２とランレングス符号化器３４４とを含む。プロセッサ３０８内の機能ブロック要素は、ハードウェアとソフトウェアとそれらの組み合わせとすることができる。一実施例では、ブロックはそれに関連する特定動作を行なう実行可能な命令を実行するプロセッサにより表わされる。

一実施例では、プロセッサ３０８内のブロックは分岐プロセスを表わし、ここでは選択された分岐処理に対し特定の処理が行なわれる。例えば、ブロック３４０，３４２，３４４は中央処理装置分岐処理内に置くことができ、ここでブロック３３０，３３２，３３４はグラフィック処理分岐内にある。さらに、スケーリング処理３３２はフォーマット仕様に基づくフォーマット変換器３３０を用いたフォーマット変換の有無に拘わらず実行することができる。

一実施例では、入力信号３５０はフォーマット変換信号３５２を生成するフォーマットコンバータ３３０へ供給される。フォーマット変換された信号３５２はスケーリングブロック３３２に供給され、これによりスケーリングされたデータ信号３５４が回転ブロック３３４へ供給される。回転値に基づき、信号３５４により表される画像方位はそこで回転させられて被回転出力信号３５６を生成する。

別の実施例では、入力信号３６０をＤＣＴ機能ブロック３４０へ供給し、これにより被変換信号３６２が量子化ブロック３４２に供給されるようにできる。一実施例では、図示はしていないが量子化テーブを用いることで、信号３６２を量子化調整し、被調整出力信号３６４を生成することができる。調整された出力信号３６４はランレングス符号化器３４４に供給され、信号３６４のランレングス終了コードを補い、そこで出力信号３６６を生成する。

特定分岐の選択に基づき、出力信号３５６や出力信号３６６は符号化映像データの復号化部分を含み、かくして部分ごとに映像データの全フレームを生成でき、ここで全フレームには被スケーリング及び／又は被回転画像データを含ませることができる。

一実施例では、量子化テーブルを用いてバッファサイズに相応した出力を生成することができ、ここではハードウェアは量子化テーブルを動的に調整する。

図８は、カメラ２３８からのストリーミング映像入力２１０を受信するグラフィックプロセッサ３０８のＭＰＥＧ処理部分を示しており、すなわちストリーミング映像入力２１０内にはフレームごとの入力が含まれる。第１のメモリ３７０内に受信するのは、フレーム１と指定される第１のフレーム３７１である。ＭＰＥＧ符号化技術に基づき、基準フレーム３７３をメモリ場所３７２から検索する。差分計算３７４に基づき、異なるフレーム３７６がＰ−フレームマクロブロックメモリ３７８に書き込まれる。

フレームデータ３７１はさらに、グラフィックプロセッサ３８０へ供給される。グラフィックプロセッサはまたＰ−フレームデータ３８２を受信してグラフィック出力を生成するが、一実施例ではＩ−フレームが一時バッファ３８４に書き込まれ、そこでＩ−フレームマクロブロックメモリ３８６に書き込まれる。さらにまた、Ｐ−フレームデータ３８２がＰ−フレームバッファ３８８に書き込まれ、そこでＰ_ｎマクロブロック３９０に書き込まれる。

周知のＭＰＥＧ復号化技術を用いることで、グラフィックプロセッサ３８０は一実施例、すなわち図５に示したシステム内で出力表示を生成する関連フレームデータを生成する。さらに、当業者には認知される如く、ＭＰＥＧ以外の動き補償或いは動き予測を用いた他の任意の類似の符号化を用いることができる。

図８は、携帯装置内画像処理方法を示す。本方法はステップ５００に始まり、ステップ５０２にて符号化フレームデータの複数部分を含む映像入力フレームを受信する。次ステップは、符号化映像入力フレームの第１の部分を映像入力フレームに満たない記憶容量を有する第１のメモリ装置へ供給するステップ５０４である。前記した如く、一実施例では第１のメモリ２０４は符号化映像フレームデータの複数部分を受信し、映像入力フレームに満たない記憶容量を有する。

本方法内の次ステップは、第１のメモリ装置から入力映像フレームデータの第１の部分を読み取るステップ５０６を含む。次ステップであるステップ５０８は、符号化映像フレームデータの第１の部分をグラフィックプロセッサへ供給する。そこで、ステップ５１０にて符号化映像フレームの第１の部分をグラフィック処理し、第１のグラフィック部分を生成する。そこで、本方法は第１のグラフィック部分を第２のメモリ装置へ書き込むステップ５１２を含む。ここでもまた、図２に関し、プロセッサ２０６によりグラフィック処理した後、第１のグラフィック部分２１６ａが第２のメモリ２０８へ書き込まれる。そこで、本方法はステップ５１４にて完了する。

図９ａ〜図９ｅは、携帯装置の画像処理方法の複数の実施例を示す。これらの実施例は類似の初期ステップを提供するが、図９ａのステップについて図示した各種代替ステップが図９ｂ〜図９ｅに対しもたらされる。

図９ａに示す如く、本方法はステップ５２０にて始まり、カメラ内の映像入力フレームをステップ５２２にて受信するが、この映像フレームデータには複数の符号化映像フレームデーの複数部分が含まれる。一実施例では、カメラ２３８は、図３と図４に示した如く、ビデオ画像を必要とし、このビデオ画像を符号化映像フレームデータの複数部分を含む入力フレームへ変換する。次ステップ、すなわちステップ５２４では、符号化映像フレームデータの複数部分を映像入力フレームに満たない記憶容量を有する第１のメモリ装置へ部分ごとに書き込む。そこで、次ステップ５２６では第１のメモリ装置からの符号化映像フレームデータの複数部分を部分ごとに読み取る。

本方法はさらに、符号化映像フレームデータの複数部分を部分ごとにグラフィックプロセッサへ供給するステップ５２８を含む。図２を参照して前記した如く、グラフィックプロセッサ２０６は第１のメモリ２０４から符号化映像フレームデータ２１４の複数部分を受信することができる。次ステップ、すなわちステップ５３０では、符号化映像フレームデータの複数部分を処理し、部分ごとに複数のグラフィック部分を生成する。一実施例ではグラフィックプロセッサ２０６が、別の実施例ではプロセッサ３０８がこの動作を実行する。複数のグラフィック部分を部分ごとに第２のメモリ装置へ書き込むのは、次ステップ、すなわちステップ５３２である。そこで、本方法は外部メモリ装置へ複数のグラフィック部分を部分ごとに書き込むステップ５３４を含む。

そこで、参照指標を指標Ａへ移し、ステップ５３６にてステップ５２２〜５３４に対する代替実施例を実行することができる。代替する一実施例において、図９ｂは携帯装置上の液晶ディスプレイへの複数のグラフィック部分の供給ステップ、すなわちステップ５３８を示す。そこで、本実施例はステップ５４０の下で完了する。上記した例示液晶ディスプレイは、図３と図５に図示したディスプレイ装置２３６である。

標識Ａ５３６と対し続く代替実施例において、図９ｃはステップ５４２を含む方法を示すものであり、入力映像フレームが画像であるときに、グラフィックプロセッサはフォーマット変換やスケーリングや回転をステップ５４２にて実行することができる。上記の如く、本実施例はプロセッサ３０８内で実行することができる。そこで、本方法のこの実施例はステップ５４４にて完了する。

標識Ａ５５６に対し示す別の実施例では、図９ｄが次ステップを示しており、このステップ５４６には、入力映像フレームの受信時にこれが動画の単一フレームであるときにグラフィックプロセッサが離散コサイン変換や量子化やベクトル・ランレングス符号化を実行できることが含まれる。これらの処理は図６に説明される、機能ブロック３４０，３４２，３４４を用いて前記したものである。本方法にはさらに、第２のメモリ部分の記憶容量に対応する複数のグラフィック部分の調整に用いることのできる量子化テーブルが含まれる。そこで、本方法はステップ５５０にて完了する。

図９ｅに関して示した他の代替実施例は、標識Ａ５３６に関連する図９ａの方法ステップを含む。次ステップは、内蔵メモリ内に配置された第１のメモリ部分と第２のメモリ部分を含むステップ５５２である。そこで、リングバッファ手法ステップ５５４を用いた実時間直接メモリアクセス装置による書き込みの読み取りが実行される。

本発明の投入は、描画技術による部分ごとの映像データの有効活用ならびに処理を提供することで携帯装置内に改善されたグラフィック処理をもたらす。制限されたメモリ部分の使用と符号化映像フレームに基づく映像入力信号の処理とを通じ、メモリサイズ低減要件を活用し、そこで携帯処理装置内の有用な実装空間を節約することができる。

様々な態様での本発明の他の変形例や改変例の実装が当業者には明白であり、本発明が本願明細書に記載した具体的実施例に限定されないことは、理解されたい。例えば、画像処理は映像データ用に開示されたＭＰＥＧやＭＰＥＧ符号化技術を超えて先を行く任意の符号化技術を用いて実行することができる。それ故、底流にある基本原理の趣旨範囲内に包含されるあらゆる公知の改変例や変形例や等価物を本願明細書に開示し特許請求することは、本発明により熟考し網羅されるものである。

従来の携帯装置の概略ブロック図である。 本発明の一実施例による携帯装置の概略ブロック図である。 本発明の別実施例による携帯装置のグラフィック表現の説明図である。 本発明の一実施例による携帯装置の概略ブロック図である。 本発明の一実施例による携帯装置の別の概略ブロック図である。 本発明の一実施例によるグラフィック描画パイプラインの部分概略ブロック図である。 本発明の一実施例によるグラフィック描画パイプラインの部分概略ブロック図である。 携帯装置内画像処理方法のフローチャート図である。 携帯装置内画像処理方法の代替実施例の説明図である。

Claims (34)

1. 携帯装置における画像処理装置であって、
   第１のメモリ装置と、グラフィックプロセッサと、第２のメモリ装置と、から成り、
   前記第１メモリ装置は、符号化映像フレームデータの複数部分からなる符号化映像フレームを含む映像入力信号を受信し、前記符号化映像フレームに関する符号化映像フレームデータの複数部分の全てには満たない記憶容量を有し、前記符号化映像フレームデータの第１の部分を受信し、
   前記グラフィックプロセッサは、前記符号化映像フレームデータの前記第１の部分を受信して第１のグラフィック部分を生成するように前記第１のメモリ装置に結合され、
   前記第２メモリ装置は、前記第１のグラフィック部分を受信し、
   前記グラフィックプロセッサは、前記第２のメモリ装置の記憶容量に関連させて前記第１のグラフィック部分を生成することのできる量子化テーブルを含み、
   前記グラフィックプロセッサは、複数のグラフィック部分を生成し、該複数のグラフィック部分を部分ごとに前記第２のメモリ装置へ供給し、
   前記グラフィックプロセッサは、前記量子化テーブルを用いて前記複数のグラフィックス部分を前記第２のメモリ装置の記憶容量に対応するように調整し、前記複数のグラフィック部分のサムネイルを出力することを特徴とする装置。
2. 前記第１のグラフィック部分をその中に記憶できるよう前記第２のメモリ装置に結合した外部メモリ装置をさらに備える、請求項１記載の装置。
3. 前記第１のメモリ装置は前記符号化映像フレームデータの全部分を受信し、該符号化映像フレームデータの前記各部分を部分ごとに前記グラフィックプロセッサへ供給する、請求項２記載の装置。
4. 前記第２のメモリ装置は前記複数のグラフィック部分を部分ごとに前記外部メモリへ供給する、請求項３記載の装置。
5. 前記外部メモリから出力表示が供給できるよう前記外部メモリに作動的に結合した少なくとも一つのディスプレイをさらに備え、前記出力表示が複数の前記グラフィック部分を含む、請求項４記載の装置。
6. 前記第１のメモリ装置と前記第２のメモリ装置と前記グラフィックプロセッサとに結合され、前記第１のメモリ装置と前記第２のメモリ装置へ直接アクセスをもたらす実時間直接メモリアクセス装置をさらに備える、請求項１記載の装置。
7. 前記第１のメモリ装置は内蔵メモリ装置の第１の部分であり、前記第２のメモリ装置は前記内蔵メモリ装置の第２の部分である、請求項６記載の装置。
8. 携帯装置内画像処理方法であって、
   符号化映像フレームデータの複数部分を含む映像入力フレームを受信することと、
   符号化映像フレームデータの第１の部分を該映像入力フレームに満たない記憶容量を有する第１のメモリ装置に書き込むことと、
   前記第１のメモリ装置から前記符号化映像フレームデータの第１の部分を読み取ることと、
   前記符号化映像フレームデータの第１の部分をグラフィックプロセッサに供給することと、
   前記符号化映像フレームデータの第１の部分をグラフィック処理して第１のグラフィック部分を生成することと、
   前記第１のグラフィック部分を第２のメモリ装置に書き込むこととを含み、
   前記グラフィックプロセッサは、前記第２のメモリ装置の記憶容量に関連させて前記第１のグラフィック部分を生成することのできる量子化テーブルを含み、
   前記グラフィックプロセッサは複数のグラフィック部分を生成し、該複数のグラフィック部分を部分ごとに前記第２のメモリ装置へ供給し、
   前記グラフィックプロセッサは、前記量子化テーブルを用いて前記複数のグラフィックス部分を前記第２のメモリ装置の記憶容量に対応するように調整し、前記複数のグラフィック部分のサムネイルを出力することを特徴とする方法。
9. 前記符号化映像フレームデータの複数部分を部分ごとに前記第１のメモリ装置に書き込むことと、
   前記符号化映像フレームデータの複数部分を部分ごとに前記第１のメモリ装置から読み取ることと、
   前記符号化映像フレームデータの複数部分を部分ごとに前記グラフィックプロセッサに供給することと、
   前記符号化映像フレームデータの複数部分を部分ごとにグラフィック処理して複数のグラフィック部分を生成することと、
   前記複数のグラフィック部分を部分ごとに前記第２のメモリ装置へ書き込むこととをさらに含む、請求項８記載の方法。
10. 前記第１のグラフィック部分と前記複数のグラフィック部分を外部メモリ装置へ書き込むことをさらに含む、請求項９記載の方法。
11. 前記第１のグラフィック部分と前記複数のグラフィック部分を前記携帯装置上の液晶ディスプレイへ供給することをさらに含む、請求項１０記載の方法。
12. 前記符号化映像フレームデータの複数部分のグラフィック処理ステップは、量子化テーブルとフォーマットとランレングス符号化を用いた前記符号化映像フレームデータの複数部分の各１つを調整するフォーマット変換とスケーリングと回転と離散コサイン変換のうちの少なくとも一つを含む、請求項９記載の方法。
13. 前記第１のメモリ装置と前記第２のメモリ装置は前記符号化映像フレームデータの複数部分のうち二つを記憶するおおよその記憶容量を有するデュアルバッファである、請求項８記載の方法。
14. 前記第１のメモリ装置と前記第２のメモリ装置を内蔵メモリ内に配置した、請求項８記載の方法。
15. 前記携帯装置内に配置したカメラから前記映像入力フレームを受信することをさらに含む、請求項８記載の方法。
16. 前記読み取りステップと書き込みステップはリングバッファ手法を用いた実時間直接メモリアクセス装置により実行される、請求項８記載の方法。
17. 携帯装置であって、
    符号化映像フレームデータの複数部分からなる映像フレームを取得し、前記符号化映像フレームデータの複数部分を含む映像入力信号を生成することのできるカメラと、
    前記符号化映像フレームに関する前記符号化映像フレームデータの複数部分の全てには満たない記憶容量を有する第１のメモリ装置で、前記符号化映像フレームデータの第１の部分を受信する前記第１のメモリ装置と、
    前記第１のメモリ装置に結合され、前記符号化映像フレームデータの第１の部分を前記第１のメモリ装置へ書き込む実時間直接メモリアクセス装置と、
    前記第１のメモリ装置に作動的に結合され、前記実時間直接メモリアクセス装置を介して前記符号化映像フレームデータの前記第１の部分を受信し、第１のグラフィック部分を生成するグラフィックプロセッサと、
    前記実時間直接メモリアクセス装置に結合した第２のメモリ装置で、前記実時間直接メモリアクセス装置を介して前記第１のグラフィックプロセッサから前記第１のグラフィック部分を受信する前記第２のメモリ装置とを備え、
    前記グラフィックプロセッサは、前記第２のメモリ装置の記憶容量に関連させて前記第１のグラフィック部分を生成することのできる量子化テーブルを含み、
    前記グラフィックプロセッサは複数のグラフィック部分を生成し、該複数のグラフィック部分を部分ごとに前記第２のメモリ装置へ供給し、
    前記グラフィックプロセッサは、前記量子化テーブルを用いて前記複数のグラフィックス部分を前記第２のメモリ装置の記憶容量に対応するように調整し、前記複数のグラフィック部分のサムネイルを出力することを特徴とする携帯装置。
18. 前記第１のメモリ装置は前記符号化映像フレームデータの全部分を受信し、該符号化映像フレームデータの前記各部分を部分ごとに前記グラフィックプロセッサに供給し、前記グラフィックプロセッサは複数のグラフィック部分を生成し、該複数のグラフィック部分を部分ごとに前記第２のメモリ装置へ供給し、該第２のメモリ装置は前記複数のグラフィック部分を部分ごとに外部メモリ装置へ供給する、請求項１７記載の携帯装置。
19. 前記外部メモリから出力表示が供給できるよう前記外部メモリに作動的に結合した少なくとも一つのディスプレイであって、前記出力表示が前記複数のグラフィック部分を含むディスプレイをさらに備える、請求項１８記載の携帯装置。
20. 前記グラフィックプロセッサはさらに画像復号器と動画復号器とを含む、請求項１８記載の携帯装置。
21. 前記カメラが画像を捕捉すると、前記画像復号器はフォーマット変換とスケーリングと回転のうちの少なくとも一つを実行することができる、請求項１８記載の携帯装置。
22. 前記画像はＪＰＥＧ符号化画像である、請求項２１記載の携帯装置。
23. スケーリング処理に際し、前記複数のグラフィック部分は部分的映像フレームを表わす、請求項２１記載の携帯装置。
24. 前記カメラが動画を捕捉すると、動画復号器は離散コサイン変換と量子化とベクトル・ランレングス符号化のうちの少なくとも一つを実行することができる、請求項１８記載の携帯装置。
25. 前記動画復号器は前記符号化映像表示の前記部分を基準バッファ内に記憶させた基準フレームの一部と比較して差分フレームを生成する、請求項２４記載の携帯装置。
26. 前記動画復号器はＭＰＥＧ復号器である、請求項２４記載の携帯装置。
27. 前記実時間直接メモリアクセス装置はリングバッファ手法を用いる、請求項１７記載の携帯装置。
28. 携帯装置内画像処理方法であって、
    カメラから映像入力フレームを受信することであって、該映像入力フレームが符号化映像フレームデータの複数部分を含むことと、
    符号化映像フレームデータの前記複数部分を前記映像入力フレームに満たない記憶容量を有する第１のメモリ装置に部分ごとに書き込むことと、
    前記第１のメモリ装置から前記符号化フレームデータの複数部分を部分ごとに読み取ることと、
    前記符号化映像フレームデータの複数部分を部分ごとにグラフィックプロセッサへ供給することと、
    前記符号化映像フレームデータの複数部分を部分ごとにグラフィック処理して複数のグラフィック部分を生成することと、
    前記複数のグラフィック部分を部分ごとに第２のメモリ装置へ書き込むこととを含み、
    量子化テーブルが、前記第２のメモリ装置の記憶容量に対応するために前記複数のグラフィック部分を調整するのに利用され、
    前記複数のグラフィック部分のサムネイルを出力することを特徴とする方法。
29. 前記複数のグラフィック部分を部分ごとに外部メモリ装置に書き込むことをさらに含む、請求項２８記載の方法。
30. 前記複数のグラフィック部分を前記携帯装置上の液晶ディスプレイに供給することをさらに含む、請求項２９記載の方法。
31. 前記入力映像フレームが画像であるときに、前記グラフィックプロセッサは、フォーマット変換とスケーリングと回転のうちの少なくとも一つを実行可能であることをさらに含む、請求項２９記載の方法。
32. 受信する前記入力映像フレームが単一フレームの動画であるときに、前記グラフィックプロセッサは、離散コサイン変換と量子化とベクトル・ランレングス符号化のうちの少なくとも一つを実行可能であることをさらに含む、請求項２９記載の方法。
33. 前記第１のメモリ装置と前記第２のメモリ装置を内蔵メモリ内に配置した、請求項２９記載の方法。
34. 前記書き込みステップと前記読み取りステップはリングバッファ手法を用いる実時間直接メモリアクセス装置により実行される、請求項３３記載の方法。

Images