JP4870563B2 - 携帯装置における画像処理方法及び装置 - Google Patents

携帯装置における画像処理方法及び装置 Download PDF

Info

Publication number
JP4870563B2
JP4870563B2 JP2006526733A JP2006526733A JP4870563B2 JP 4870563 B2 JP4870563 B2 JP 4870563B2 JP 2006526733 A JP2006526733 A JP 2006526733A JP 2006526733 A JP2006526733 A JP 2006526733A JP 4870563 B2 JP4870563 B2 JP 4870563B2
Authority
JP
Japan
Prior art keywords
memory device
portions
graphic
video frame
encoded video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2006526733A
Other languages
English (en)
Other versions
JP2007506327A (ja
Inventor
イオアニス・コーラマニス
マキシム・スミルノフ
ミリフォジェ・アレクシク
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of JP2007506327A publication Critical patent/JP2007506327A/ja
Application granted granted Critical
Publication of JP4870563B2 publication Critical patent/JP4870563B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • G06T1/60Memory management
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/765Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H04N5/772Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • G06T1/20Processor architectures; Processor configuration, e.g. pipelining
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/363Graphics controllers
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/39Control of the bit-mapped memory
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/84Television signal recording using optical recording
    • H04N5/85Television signal recording using optical recording on discs or drums
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/907Television signal recording using static stores, e.g. storage tubes or semiconductor memories
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/7921Processing of colour television signals in connection with recording for more than one processing mode
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
    • H04N9/8047Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction using transform coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Multimedia (AREA)
  • Computer Graphics (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Studio Devices (AREA)
  • Television Signal Processing For Recording (AREA)
  • Discharge By Other Means (AREA)
  • Digital Computer Display Output (AREA)

Description

本発明は携帯装置に関し、特に、携帯装置におけるグラフィック変換に関する。
最新の演算処理トレンドの成熟とともに携帯装置の携帯性や改善機能性における要求が増大しているが、ここでの携帯装置は限定はしないが当業者に認知される如く、携帯電話や個人携帯情報機器(PDA)やポケットベルやスマートフォンやグラフィック対話機能を提供可能な他の任意の適当な携帯式電子装置でもある。さらに、携帯装置或いはデスクトップ型やラップトップ型コンピュータ等の独立型コンピュータ処理システムを集約させることで、複数携帯装置の間ならびに携帯装置と独立型コンピュータ処理システムとの間の改善された機能性と対話品質に対するより大きな要求が存在する。
携帯装置の新興領域は、グラフィック及び/又は映像を取得し、描画し、伝送する能力である。複数技術の一つの集約例は、携帯装置上のカメラの設置である。これらのグラフィック集約応用分野には、グラフィック出力生成用のグラフィック構造に関する先行技術の限界が存在する。携帯装置における一つの共通課題は、利用可能なメモリ資源である。三次元グラフィック描画技術を含む現行のグラフィック描画技術は、画像処理パイプライン中の各種描画ステップの実行に広範なメモリ量が必要である。
さらにまた、グラフィック画像は圧縮動作を完了するのに全記憶画像を必要とする圧縮技術が故にメモリ集約的ともなり得る。既存の携帯装置では、サイズ要件が故にメモリ資源の限界が存在していた。
現行の携帯装置の中に見出される別の他の特定の限界は、画像描画エンジンを配置する制限された物理的実装空間とメモリを配置する制限された実装空間である。携帯装置がよりコンパクトになるにつれて、画像描画に必要とされる付加メモリを挿入するための実装空間はより少なくなっている。それ故、携帯装置内に既存のグラフィックプロセッサを活用する企てに問題が生ずる。
図1は、カメラ102と固定サイズのバッファ104とJPEGプロセッサ106と最大デコードサイズのバッファ108とを有する先行技術携帯装置100を示す。カメラ102は、固定サイズのバッファ104に供給されるビデオ画像110を捕捉できる任意の適当なサイズのカメラとすることができる。携帯装置100では、固定サイズのバッファ104は画像110の単一フレームを捕捉するのに十分なサイズとしなけばならず、カメラが取得する画像110のサイズに応じており、例えばカメラ102が64本の16ビット走査線解像度の画像110を取得する場合、バッファ104は単一画像110を記憶するのに十分な記憶場所を含むことになる筈である。当業者に認知されている如く、ストリーミング映像や複数画像を取得する能力を提供するのに大きなメモリ104を用いることがある。
典型的な携帯装置100では、圧縮エンジンに画像110のサムネイルの構築を要求することで、画像110は次いでサムネイル様式でユーザに表示される。一実施例では、JPEGプロセッサ106は記憶画像112を検索し、記憶画像112は周知のJPEG処理技術に従ってJPEGプロセッサ106により処理される。
JPEGプロセッサ106は、次いで、デコードされた画像、即ち復号化画像114を生成し、この復号化画像114はバッファ108に記憶させられる。バッファ108のサイズは、復号化画像114のサイズにより決まる。従って、携帯装置100は2個のメモリバッファ104,108を持たねばならず、ここでメモリバッファ104,108のサイズはカメラ102と画像114の最大復号化サイズによって決まる。携帯装置100は、大きなメモリバッファ104,108或いはカメラ102の品質/解像度の低減のいずれかを必要とする。
かくして、携帯装置内でのメモリ資源要件を克服し、高品位画像処理を可能にし、その一方で画像捕捉技術と画像処理技術を保全する方法及び装置に対する必要性が存在する。
本発明は映像入力信号を受信する第1のメモリ装置を含む携帯装置内での画像処理方法及び装置を提供するものである。一実施例では、第1のメモリ装置はデュアルバッファメモリであり、映像入力信号はカメラ等の画像取得装置を用いて取得した画像の符号化(エンコードされた)表現である。映像入力信号には、複数の符号化映像フレームデータからなる符号化映像フレームが含まれる。第1のメモリ装置は符号化映像フレームに関する符号化映像フレームデータの複数部分の全てには満たない記憶容量を有し、かくして第1のメモリ装置は符号化映像フレームデータの第1の部分を受信する。
本方法及び装置は、さらに、第1のメモリ装置に結合したグラフィックプロセッサを含み、ここでグラフィックプロセッサは符号化映像フレームの第1の部分を受信し、第1のグラフィック部分を生成する。第1のグラフィック部分は、符号化映像フレームデータのデコードされた(復号化)部分を含む。本方法及び装置は、第1のグラフィック部分を受信し、第1のグラフィック部分を内部記憶させる第2のメモリ装置を含む。かくして、符号化映像フレームはグラフィックプロセッサと連動して第1のメモリ装置と第2のメモリ装置を用いて部分ごとに処理され、かくして制限されたメモリ資源を用いて映像フレームを生成できるようにしてある。
より具体的には、図2は携帯装置202の画像処理装置200の一実施例形態を示す。装置200は、第1のメモリ204とグラフィックプロセッサ206と第2のメモリ208とを含む。一実施例では、第1のメモリ204と第2のメモリ208は映像データの符号化フレームを記憶させることのできるデュアルバッファメモリである。
第1のメモリ装置204と第2のメモリ装置208は、これらに限定はされないが、単一メモリや複数の記憶場所や共有メモリやCDやDVDやROMやRAMやEEPROMや光記憶装置或いはディジタルデータを記憶可能な他の任意の不揮発性記憶媒体とすることができる。さらに、プロセッサ206は、これらに限定はされないが、単一プロセッサや複数プロセッサやDSPやマイクロプロセッサやASICやステートマシン、又はソフトウェアやディスクリート論理回路或いはハードウェアとソフトウェア及び/又はファームウェアの任意の適当な組み合わせを処理し実行できる他の任意の実装品とすることができる。プロセッサはソフトウェアを実行可能なハードウェアだけを指すと解釈してはならず、DSPハードウェアやソフトウェア記憶用ROMや他の任意の揮発性或いは不揮発性記憶媒体を暗に含ませることができる。
第1のメモリ204は、カメラ212から映像入力信号210を受信する。映像入力信号210は、符号化映像フレームデータの複数部分を有する符号化映像フレームを含む。例えば、符号化映像フレームは16個の部分に分割でき、それ故に映像入力信号210はカメラ212から16個の符号化映像フレームデータとして供給される。一実施例では、これらの部分は所定数の水平走査線或いは他の任意の適当な被描写画素フィールドを表わす。
第1のメモリ装置204は、前記した例示実施例におけるデュアルバッファメモリの如く、符号化映像フレームに関する符号化映像フレーム210の複数部分の全てには満たない容量を有する。符号化映像フレームデータ210の複数部分の第1の部分214は、グラフィックプロセッサ206へ供給される。一実施例では、グラフィックプロセッサ206は周知の画像処理技術に従って動作して第1のグラフィック部分216aを生成するが、ここでは第1のグラフィック部分216aは符号化映像フレームデータ214の復号化した第1の部分である。
第1のグラフィック部分216aはそこで、第2のメモリ装置208へ供給される。第2のメモリ装置208はそこで、装置200外部の図示しない記憶場所に第1のグラフィック部分216bを供給する。一実施例では、図示していない記憶場所はフレームバッファとすることができ、ここでは複数の符号化映像フレームのグラフィック部分が一旦全てグラフィックプロセッサ206により生成されると、全復号化映像フレームを図示しないフレームバッファから図示しないディスプレイへ供給することができる。
図3は、本発明の一実施例になる携帯装置200の一実施例を示す。携帯装置200は、キーパッド230とスピーカ232とマイクロフォン234とディスプレイ236とカメラ238とナビゲーション釦240とを含む。当業者には認知される如く、携帯装置200は例示目的にのみ合わせたものであり、本発明には図2に示す処理要素を備えるディスプレイ236及びカメラ238を有する他の任意の適当な携帯装置を含ませることができる。図3の携帯装置200では、カメラ238は当業者には認知される如く映像取得をもたらすが、カメラ238を他の任意の適当な場所に配置しかつ/又はより多数のカメラを携帯装置200上に配置することができる。
図4は、そこを通過する無線通信のためのアンテナ252に結合したベースバンド方式受信器250を含む携帯装置200のブロック線図である。ベースバンド方式受信器250は、そこを通過する通信情報256を通信する中央処理装置(CPU)254に作動的に結合してある。当業者には認知される如く、CPU254は既存の携帯装置内に目下実装し活用されている周知の中央処理装置に従わせることができる。
一実施例では、CPU254をSDRAM/DDR258に結合し、処理情報260をその上に記憶させ、メモリ258とCPU254の間で転送すことができる。CPU254はさらに、可撓ケーブル262を介して画像処理用装置202に結合してある。
一実施例では、装置202は固定ディジタルメモリカード等のメモリ264に作動的に結合してあり、データ265が両者間で転送されるようにしてある。携帯装置200はさらに装置202に映像入力信号210を供給するカメラ238を含み、装置202はさらにLCDコントローラ266に結合してある。一実施例では、LCDコントローラ266はそこに第1のグラフィック部分216bが供給されるようその中に配置したフレームバッファ(図示せず)を含む。周知のLCDコントローラ動作に従い、LCDコントローラ266はそこで可視出力信号268をLCD236か又は当業者には認知される他の任意の適当な表示装置へ供給する。
図5は、本発明の一実施例になる携帯装置200の別の概略ブロック線図を示す。装置202には、映像入力プロセッサ300とバッファ302と実時間直接メモリアクセス装置(RTDMA)304とメモリ306とJPEG/MPEGプロセッサ308とが含まれる。当業者には認知される如く、装置202内での処理をもたらす多くの要素をただ明瞭さに配慮して省略してある。
カメラ238は、符号化映像フレームを含む映像入力信号210を映像入力プロセッサ300へ供給する。映像入力プロセッサ300は映像部分310をバッファ302へ供給するが、そこでバッファ302はそのバッファ映像部分312をRTDMA304へ供給する。
RTDMA304はバス318を介してプロセッサ308と共にデータ要求314と映像情報316に連動して動作し、プロセッサ308はバス302から供給されるグラフィック情報312を描画する。一実施例では、RTDMA304は当業者には認知される如く任意種のメモリとし得るメモリ306を用いており、ここでメモリ306内では実時間でアクセスがなされ、アドレス320に応答してデータ322が検索される。
プロセッサ308を、図6に関してさらに以下に説明する。入来映像フレームデータの処理に応答し、プロセッサは符号化フレームデータの複数部分を復号化してLCDコントローラ266へ供給する映像信号216bを生成する。一実施例では、一旦LCDコントローラ266がフレーム全体を取得すると、全フレーム268がLCD236へ供給される。別の実施例では、LCD236が順次走査液晶ディスプレイである場合、フレーム部分は図示しないフレームバッファを充填するのではなく部分ごとに供給することができる。
図6は、図5に示した復号器308の実施例と同じ要素の機能的ブロック線図を表わす。この要素は、より具体的には符号化映像入力信号向けである。プロセッサ308は、フォーマット変換器330とスケーリングモジュール332と回転モジュール334とを含む。別のデータ処理分岐では、プロセッサ308は離散コサイン変換(DCT)340と量子化モジュール342とランレングス符号化器344とを含む。プロセッサ308内の機能ブロック要素は、ハードウェアとソフトウェアとそれらの組み合わせとすることができる。一実施例では、ブロックはそれに関連する特定動作を行なう実行可能な命令を実行するプロセッサにより表わされる。
一実施例では、プロセッサ308内のブロックは分岐プロセスを表わし、ここでは選択された分岐処理に対し特定の処理が行なわれる。例えば、ブロック340,342,344は中央処理装置分岐処理内に置くことができ、ここでブロック330,332,334はグラフィック処理分岐内にある。さらに、スケーリング処理332はフォーマット仕様に基づくフォーマット変換器330を用いたフォーマット変換の有無に拘わらず実行することができる。
一実施例では、入力信号350はフォーマット変換信号352を生成するフォーマットコンバータ330へ供給される。フォーマット変換された信号352はスケーリングブロック332に供給され、これによりスケーリングされたデータ信号354が回転ブロック334へ供給される。回転値に基づき、信号354により表される画像方位はそこで回転させられて被回転出力信号356を生成する。
別の実施例では、入力信号360をDCT機能ブロック340へ供給し、これにより被変換信号362が量子化ブロック342に供給されるようにできる。一実施例では、図示はしていないが量子化テーブを用いることで、信号362を量子化調整し、被調整出力信号364を生成することができる。調整された出力信号364はランレングス符号化器344に供給され、信号364のランレングス終了コードを補い、そこで出力信号366を生成する。
特定分岐の選択に基づき、出力信号356や出力信号366は符号化映像データの復号化部分を含み、かくして部分ごとに映像データの全フレームを生成でき、ここで全フレームには被スケーリング及び/又は被回転画像データを含ませることができる。
一実施例では、量子化テーブルを用いてバッファサイズに相応した出力を生成することができ、ここではハードウェアは量子化テーブルを動的に調整する。
図8は、カメラ238からのストリーミング映像入力210を受信するグラフィックプロセッサ308のMPEG処理部分を示しており、すなわちストリーミング映像入力210内にはフレームごとの入力が含まれる。第1のメモリ370内に受信するのは、フレーム1と指定される第1のフレーム371である。MPEG符号化技術に基づき、基準フレーム373をメモリ場所372から検索する。差分計算374に基づき、異なるフレーム376がP−フレームマクロブロックメモリ378に書き込まれる。
フレームデータ371はさらに、グラフィックプロセッサ380へ供給される。グラフィックプロセッサはまたP−フレームデータ382を受信してグラフィック出力を生成するが、一実施例ではI−フレームが一時バッファ384に書き込まれ、そこでI−フレームマクロブロックメモリ386に書き込まれる。さらにまた、P−フレームデータ382がP−フレームバッファ388に書き込まれ、そこでPマクロブロック390に書き込まれる。
周知のMPEG復号化技術を用いることで、グラフィックプロセッサ380は一実施例、すなわち図5に示したシステム内で出力表示を生成する関連フレームデータを生成する。さらに、当業者には認知される如く、MPEG以外の動き補償或いは動き予測を用いた他の任意の類似の符号化を用いることができる。
図8は、携帯装置内画像処理方法を示す。本方法はステップ500に始まり、ステップ502にて符号化フレームデータの複数部分を含む映像入力フレームを受信する。次ステップは、符号化映像入力フレームの第1の部分を映像入力フレームに満たない記憶容量を有する第1のメモリ装置へ供給するステップ504である。前記した如く、一実施例では第1のメモリ204は符号化映像フレームデータの複数部分を受信し、映像入力フレームに満たない記憶容量を有する。
本方法内の次ステップは、第1のメモリ装置から入力映像フレームデータの第1の部分を読み取るステップ506を含む。次ステップであるステップ508は、符号化映像フレームデータの第1の部分をグラフィックプロセッサへ供給する。そこで、ステップ510にて符号化映像フレームの第1の部分をグラフィック処理し、第1のグラフィック部分を生成する。そこで、本方法は第1のグラフィック部分を第2のメモリ装置へ書き込むステップ512を含む。ここでもまた、図2に関し、プロセッサ206によりグラフィック処理した後、第1のグラフィック部分216aが第2のメモリ208へ書き込まれる。そこで、本方法はステップ514にて完了する。
図9a〜図9eは、携帯装置の画像処理方法の複数の実施例を示す。これらの実施例は類似の初期ステップを提供するが、図9aのステップについて図示した各種代替ステップが図9b〜図9eに対しもたらされる。
図9aに示す如く、本方法はステップ520にて始まり、カメラ内の映像入力フレームをステップ522にて受信するが、この映像フレームデータには複数の符号化映像フレームデーの複数部分が含まれる。一実施例では、カメラ238は、図3と図4に示した如く、ビデオ画像を必要とし、このビデオ画像を符号化映像フレームデータの複数部分を含む入力フレームへ変換する。次ステップ、すなわちステップ524では、符号化映像フレームデータの複数部分を映像入力フレームに満たない記憶容量を有する第1のメモリ装置へ部分ごとに書き込む。そこで、次ステップ526では第1のメモリ装置からの符号化映像フレームデータの複数部分を部分ごとに読み取る。
本方法はさらに、符号化映像フレームデータの複数部分を部分ごとにグラフィックプロセッサへ供給するステップ528を含む。図2を参照して前記した如く、グラフィックプロセッサ206は第1のメモリ204から符号化映像フレームデータ214の複数部分を受信することができる。次ステップ、すなわちステップ530では、符号化映像フレームデータの複数部分を処理し、部分ごとに複数のグラフィック部分を生成する。一実施例ではグラフィックプロセッサ206が、別の実施例ではプロセッサ308がこの動作を実行する。複数のグラフィック部分を部分ごとに第2のメモリ装置へ書き込むのは、次ステップ、すなわちステップ532である。そこで、本方法は外部メモリ装置へ複数のグラフィック部分を部分ごとに書き込むステップ534を含む。
そこで、参照指標を指標Aへ移し、ステップ536にてステップ522〜534に対する代替実施例を実行することができる。代替する一実施例において、図9bは携帯装置上の液晶ディスプレイへの複数のグラフィック部分の供給ステップ、すなわちステップ538を示す。そこで、本実施例はステップ540の下で完了する。上記した例示液晶ディスプレイは、図3と図5に図示したディスプレイ装置236である。
標識A536と対し続く代替実施例において、図9cはステップ542を含む方法を示すものであり、入力映像フレームが画像であるときに、グラフィックプロセッサはフォーマット変換やスケーリングや回転をステップ542にて実行することができる。上記の如く、本実施例はプロセッサ308内で実行することができる。そこで、本方法のこの実施例はステップ544にて完了する。
標識A556に対し示す別の実施例では、図9dが次ステップを示しており、このステップ546には、入力映像フレームの受信時にこれが動画の単一フレームであるときにグラフィックプロセッサが離散コサイン変換や量子化やベクトル・ランレングス符号化を実行できることが含まれる。これらの処理は図6に説明される、機能ブロック340,342,344を用いて前記したものである。本方法にはさらに、第2のメモリ部分の記憶容量に対応する複数のグラフィック部分の調整に用いることのできる量子化テーブルが含まれる。そこで、本方法はステップ550にて完了する。
図9eに関して示した他の代替実施例は、標識A536に関連する図9aの方法ステップを含む。次ステップは、内蔵メモリ内に配置された第1のメモリ部分と第2のメモリ部分を含むステップ552である。そこで、リングバッファ手法ステップ554を用いた実時間直接メモリアクセス装置による書き込みの読み取りが実行される。
本発明の投入は、描画技術による部分ごとの映像データの有効活用ならびに処理を提供することで携帯装置内に改善されたグラフィック処理をもたらす。制限されたメモリ部分の使用と符号化映像フレームに基づく映像入力信号の処理とを通じ、メモリサイズ低減要件を活用し、そこで携帯処理装置内の有用な実装空間を節約することができる。
様々な態様での本発明の他の変形例や改変例の実装が当業者には明白であり、本発明が本願明細書に記載した具体的実施例に限定されないことは、理解されたい。例えば、画像処理は映像データ用に開示されたMPEGやMPEG符号化技術を超えて先を行く任意の符号化技術を用いて実行することができる。それ故、底流にある基本原理の趣旨範囲内に包含されるあらゆる公知の改変例や変形例や等価物を本願明細書に開示し特許請求することは、本発明により熟考し網羅されるものである。
従来の携帯装置の概略ブロック図である。 本発明の一実施例による携帯装置の概略ブロック図である。 本発明の別実施例による携帯装置のグラフィック表現の説明図である。 本発明の一実施例による携帯装置の概略ブロック図である。 本発明の一実施例による携帯装置の別の概略ブロック図である。 本発明の一実施例によるグラフィック描画パイプラインの部分概略ブロック図である。 本発明の一実施例によるグラフィック描画パイプラインの部分概略ブロック図である。 携帯装置内画像処理方法のフローチャート図である。 携帯装置内画像処理方法の代替実施例の説明図である。

Claims (34)

  1. 携帯装置における画像処理装置であって、
    第1のメモリ装置と、グラフィックプロセッサと、第2のメモリ装置と、から成り、
    前記第1メモリ装置は、符号化映像フレームデータの複数部分からなる符号化映像フレームを含む映像入力信号を受信し、前記符号化映像フレームに関する符号化映像フレームデータの複数部分の全てには満たない記憶容量を有し、前記符号化映像フレームデータの第1の部分を受信し、
    前記グラフィックプロセッサは、前記符号化映像フレームデータの前記第1の部分を受信して第1のグラフィック部分を生成するように前記第1のメモリ装置に結合され、
    前記第2メモリ装置は、前記第1のグラフィック部分を受信し、
    前記グラフィックプロセッサは、前記第2のメモリ装置の記憶容量に関連させて前記第1のグラフィック部分を生成することのできる量子化テーブルを含
    前記グラフィックプロセッサは、複数のグラフィック部分を生成し、該複数のグラフィック部分を部分ごとに前記第2のメモリ装置へ供給し、
    前記グラフィックプロセッサは、前記量子化テーブルを用いて前記複数のグラフィックス部分を前記第2のメモリ装置の記憶容量に対応するように調整し、前記複数のグラフィック部分のサムネイルを出力することを特徴とする装置。
  2. 前記第1のグラフィック部分をその中に記憶できるよう前記第2のメモリ装置に結合した外部メモリ装置をさらに備える、請求項1記載の装置。
  3. 前記第1のメモリ装置は前記符号化映像フレームデータの全部分を受信し、該符号化映像フレームデータの前記各部分を部分ごとに前記グラフィックプロセッサへ供給する、請求項2記載の装置。
  4. 前記第2のメモリ装置は前記複数のグラフィック部分を部分ごとに前記外部メモリへ供給する、請求項記載の装置。
  5. 前記外部メモリから出力表示が供給できるよう前記外部メモリに作動的に結合した少なくとも一つのディスプレイをさらに備え、前記出力表示が複数の前記グラフィック部分を含む、請求項記載の装置。
  6. 前記第1のメモリ装置と前記第2のメモリ装置と前記グラフィックプロセッサとに結合され、前記第1のメモリ装置と前記第2のメモリ装置へ直接アクセスをもたらす実時間直接メモリアクセス装置をさらに備える、請求項1記載の装置。
  7. 前記第1のメモリ装置は内蔵メモリ装置の第1の部分であり、前記第2のメモリ装置は前記内蔵メモリ装置の第2の部分である、請求項記載の装置。
  8. 携帯装置内画像処理方法であって、
    符号化映像フレームデータの複数部分を含む映像入力フレームを受信することと、
    符号化映像フレームデータの第1の部分を該映像入力フレームに満たない記憶容量を有する第1のメモリ装置に書き込むことと、
    前記第1のメモリ装置から前記符号化映像フレームデータの第1の部分を読み取ることと、
    前記符号化映像フレームデータの第1の部分をグラフィックプロセッサに供給することと、
    前記符号化映像フレームデータの第1の部分をグラフィック処理して第1のグラフィック部分を生成することと、
    前記第1のグラフィック部分を第2のメモリ装置に書き込むこととを含み、
    前記グラフィックプロセッサは、前記第2のメモリ装置の記憶容量に関連させて前記第1のグラフィック部分を生成することのできる量子化テーブルを含
    前記グラフィックプロセッサは複数のグラフィック部分を生成し、該複数のグラフィック部分を部分ごとに前記第2のメモリ装置へ供給し、
    前記グラフィックプロセッサは、前記量子化テーブルを用いて前記複数のグラフィックス部分を前記第2のメモリ装置の記憶容量に対応するように調整し、前記複数のグラフィック部分のサムネイルを出力することを特徴とする方法。
  9. 前記符号化映像フレームデータの複数部分を部分ごとに前記第1のメモリ装置に書き込むことと、
    前記符号化映像フレームデータの複数部分を部分ごとに前記第1のメモリ装置から読み取ることと、
    前記符号化映像フレームデータの複数部分を部分ごとに前記グラフィックプロセッサに供給することと、
    前記符号化映像フレームデータの複数部分を部分ごとにグラフィック処理して複数のグラフィック部分を生成することと、
    前記複数のグラフィック部分を部分ごとに前記第2のメモリ装置へ書き込むこととをさらに含む、請求項記載の方法。
  10. 前記第1のグラフィック部分と前記複数のグラフィック部分を外部メモリ装置へ書き込むことをさらに含む、請求項記載の方法。
  11. 前記第1のグラフィック部分と前記複数のグラフィック部分を前記携帯装置上の液晶ディスプレイへ供給することをさらに含む、請求項10記載の方法。
  12. 前記符号化映像フレームデータの複数部分のグラフィック処理ステップは、量子化テーブルとフォーマットとランレングス符号化を用いた前記符号化映像フレームデータの複数部分の各1つを調整するフォーマット変換とスケーリングと回転と離散コサイン変換のうちの少なくとも一つを含む、請求項記載の方法。
  13. 前記第1のメモリ装置と前記第2のメモリ装置は前記符号化映像フレームデータの複数部分のうち二つを記憶するおおよその記憶容量を有するデュアルバッファである、請求項記載の方法。
  14. 前記第1のメモリ装置と前記第2のメモリ装置を内蔵メモリ内に配置した、請求項記載の方法。
  15. 前記携帯装置内に配置したカメラから前記映像入力フレームを受信することをさらに含む、請求項記載の方法。
  16. 前記読み取りステップと書き込みステップはリングバッファ手法を用いた実時間直接メモリアクセス装置により実行される、請求項記載の方法。
  17. 携帯装置であって、
    符号化映像フレームデータの複数部分からなる映像フレームを取得し、前記符号化映像フレームデータの複数部分を含む映像入力信号を生成することのできるカメラと、
    前記符号化映像フレームに関する前記符号化映像フレームデータの複数部分の全てには満たない記憶容量を有する第1のメモリ装置で、前記符号化映像フレームデータの第1の部分を受信する前記第1のメモリ装置と、
    前記第1のメモリ装置に結合され、前記符号化映像フレームデータの第1の部分を前記第1のメモリ装置へ書き込む実時間直接メモリアクセス装置と、
    前記第1のメモリ装置に作動的に結合され、前記実時間直接メモリアクセス装置を介して前記符号化映像フレームデータの前記第1の部分を受信し、第1のグラフィック部分を生成するグラフィックプロセッサと、
    前記実時間直接メモリアクセス装置に結合した第2のメモリ装置で、前記実時間直接メモリアクセス装置を介して前記第1のグラフィックプロセッサから前記第1のグラフィック部分を受信する前記第2のメモリ装置とを備え、
    前記グラフィックプロセッサは、前記第2のメモリ装置の記憶容量に関連させて前記第1のグラフィック部分を生成することのできる量子化テーブルを含み、
    前記グラフィックプロセッサは複数のグラフィック部分を生成し、該複数のグラフィック部分を部分ごとに前記第2のメモリ装置へ供給し、
    前記グラフィックプロセッサは、前記量子化テーブルを用いて前記複数のグラフィックス部分を前記第2のメモリ装置の記憶容量に対応するように調整し、前記複数のグラフィック部分のサムネイルを出力することを特徴とする携帯装置。
  18. 前記第1のメモリ装置は前記符号化映像フレームデータの全部分を受信し、該符号化映像フレームデータの前記各部分を部分ごとに前記グラフィックプロセッサに供給し、前記グラフィックプロセッサは複数のグラフィック部分を生成し、該複数のグラフィック部分を部分ごとに前記第2のメモリ装置へ供給し、該第2のメモリ装置は前記複数のグラフィック部分を部分ごとに外部メモリ装置へ供給する、請求項17記載の携帯装置。
  19. 前記外部メモリから出力表示が供給できるよう前記外部メモリに作動的に結合した少なくとも一つのディスプレイであって、前記出力表示が前記複数のグラフィック部分を含むディスプレイをさらに備える、請求項18記載の携帯装置。
  20. 前記グラフィックプロセッサはさらに画像復号器と動画復号器とを含む、請求項18記載の携帯装置。
  21. 前記カメラが画像を捕捉すると、前記画像復号器はフォーマット変換とスケーリングと回転のうちの少なくとも一つを実行することができる、請求項18記載の携帯装置。
  22. 前記画像はJPEG符号化画像である、請求項21記載の携帯装置。
  23. スケーリング処理に際し、前記複数のグラフィック部分は部分的映像フレームを表わす、請求項21記載の携帯装置。
  24. 前記カメラが動画を捕捉すると、動画復号器は離散コサイン変換と量子化とベクトル・ランレングス符号化のうちの少なくとも一つを実行することができる、請求項18記載の携帯装置。
  25. 前記動画復号器は前記符号化映像表示の前記部分を基準バッファ内に記憶させた基準フレームの一部と比較して差分フレームを生成する、請求項24記載の携帯装置。
  26. 前記動画復号器はMPEG復号器である、請求項24記載の携帯装置。
  27. 前記実時間直接メモリアクセス装置はリングバッファ手法を用いる、請求項17記載の携帯装置。
  28. 携帯装置内画像処理方法であって、
    カメラから映像入力フレームを受信することであって、該映像入力フレームが符号化映像フレームデータの複数部分を含むことと、
    符号化映像フレームデータの前記複数部分を前記映像入力フレームに満たない記憶容量を有する第1のメモリ装置に部分ごとに書き込むことと、
    前記第1のメモリ装置から前記符号化フレームデータの複数部分を部分ごとに読み取ることと、
    前記符号化映像フレームデータの複数部分を部分ごとにグラフィックプロセッサへ供給することと、
    前記符号化映像フレームデータの複数部分を部分ごとにグラフィック処理して複数のグラフィック部分を生成することと、
    前記複数のグラフィック部分を部分ごとに第2のメモリ装置へ書き込むこととを含み、
    量子化テーブルが、前記第2のメモリ装置の記憶容量に対応するために前記複数のグラフィック部分を調整するのに利用され
    前記複数のグラフィック部分のサムネイルを出力することを特徴とする方法。
  29. 前記複数のグラフィック部分を部分ごとに外部メモリ装置に書き込むことをさらに含む、請求項28記載の方法。
  30. 前記複数のグラフィック部分を前記携帯装置上の液晶ディスプレイに供給することをさらに含む、請求項29記載の方法。
  31. 前記入力映像フレームが画像であるときに、前記グラフィックプロセッサは、フォーマット変換とスケーリングと回転のうちの少なくとも一つを実行可能であることをさらに含む、請求項29記載の方法。
  32. 受信する前記入力映像フレームが単一フレームの動画であるときに、前記グラフィックプロセッサは、離散コサイン変換と量子化とベクトル・ランレングス符号化のうちの少なくとも一つを実行可能であることをさらに含む、請求項29記載の方法。
  33. 前記第1のメモリ装置と前記第2のメモリ装置を内蔵メモリ内に配置した、請求項29記載の方法。
  34. 前記書き込みステップと前記読み取りステップはリングバッファ手法を用いる実時間直接メモリアクセス装置により実行される、請求項33記載の方法。
JP2006526733A 2003-09-22 2004-09-20 携帯装置における画像処理方法及び装置 Active JP4870563B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US10/667,912 2003-09-22
US10/667,912 US7486297B2 (en) 2003-09-22 2003-09-22 Method and apparatus for image processing in a handheld device
PCT/IB2004/003064 WO2005029407A1 (en) 2003-09-22 2004-09-20 Method and apparatus for image processing in a handheld device

Publications (2)

Publication Number Publication Date
JP2007506327A JP2007506327A (ja) 2007-03-15
JP4870563B2 true JP4870563B2 (ja) 2012-02-08

Family

ID=34313395

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006526733A Active JP4870563B2 (ja) 2003-09-22 2004-09-20 携帯装置における画像処理方法及び装置

Country Status (8)

Country Link
US (1) US7486297B2 (ja)
EP (1) EP1673727B1 (ja)
JP (1) JP4870563B2 (ja)
KR (1) KR101085799B1 (ja)
CN (1) CN1902659B (ja)
AT (1) ATE440347T1 (ja)
DE (1) DE602004022687D1 (ja)
WO (1) WO2005029407A1 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020022871A (ko) * 2000-09-21 2002-03-28 방풍실 점 또는 사마귀 제거용 조성물
CN1757241A (zh) * 2003-01-14 2006-04-05 松下电器产业株式会社 数据收发设备、图像处理器和图像处理方法
TWM249387U (en) * 2003-12-19 2004-11-01 Power Quotient Int Co Ltd A portable digital image process device
US20060050155A1 (en) * 2004-09-02 2006-03-09 Ing Stephen S Video camera sharing
KR100618883B1 (ko) * 2005-02-02 2006-09-11 삼성전자주식회사 인코딩된 이미지 데이터를 디스플레이하는 장치 및 그 방법
US7822277B2 (en) 2005-08-31 2010-10-26 Ati Technologies Ulc Method and apparatus for communicating compressed video information
JP5710589B2 (ja) * 2009-04-08 2015-04-30 クゥアルコム・インコーポレイテッドQualcomm Incorporated 改良されたハンドヘルド画面検知ポインタ
US10410376B1 (en) * 2016-09-26 2019-09-10 Amazon Technologies, Inc. Virtual reality media content decoding of portions of image frames

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10150659A (ja) * 1996-11-18 1998-06-02 Sony Corp 画像符号化装置
JP2000508503A (ja) * 1997-08-14 2000-07-04 サムソン エレクトロニクス カンパニー リミテッド Mpeg―2互換性のビデオ圧縮機能を有するデジタルカムコーダ装置
JP2003177958A (ja) * 2001-06-11 2003-06-27 Emblaze Semiconductor Ltd 特殊メモリデバイス

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4716460A (en) * 1986-10-08 1987-12-29 Sperry Corporation Display refresh memory apparatus utilizing one half frame updating
EP0655723B1 (en) 1993-11-30 1998-07-22 Texas Instruments Incorporated Digital memory for display system using spatial light modulator
KR100215824B1 (ko) * 1996-04-09 1999-08-16 구자홍 엠펙 디코더의 프레임 메모리 및 영상 데이타 디코딩방법
JP3884845B2 (ja) * 1997-11-18 2007-02-21 キヤノン株式会社 情報処理装置及び方法
SE511516C2 (sv) * 1997-12-23 1999-10-11 Ericsson Telefon Ab L M Handburen displayenhet och metod att visa skärmbilder
JP4009808B2 (ja) * 2000-03-01 2007-11-21 富士ゼロックス株式会社 画像処理装置
US7113302B2 (en) * 2001-10-16 2006-09-26 Texas Instruments Incorporated Printer with unified display list and banded display lists
JP4245123B2 (ja) * 2002-02-28 2009-03-25 株式会社メガチップス ウエーブレット処理装置及びウエーブレット処理方法
JP4031996B2 (ja) * 2003-01-30 2008-01-09 富士フイルム株式会社 メモリ装置を備えたディジタル・スチル・カメラ

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10150659A (ja) * 1996-11-18 1998-06-02 Sony Corp 画像符号化装置
JP2000508503A (ja) * 1997-08-14 2000-07-04 サムソン エレクトロニクス カンパニー リミテッド Mpeg―2互換性のビデオ圧縮機能を有するデジタルカムコーダ装置
JP2003177958A (ja) * 2001-06-11 2003-06-27 Emblaze Semiconductor Ltd 特殊メモリデバイス

Also Published As

Publication number Publication date
DE602004022687D1 (de) 2009-10-01
EP1673727B1 (en) 2009-08-19
KR101085799B1 (ko) 2011-11-22
US20050062858A1 (en) 2005-03-24
ATE440347T1 (de) 2009-09-15
CN1902659B (zh) 2010-08-11
JP2007506327A (ja) 2007-03-15
KR20070008516A (ko) 2007-01-17
US7486297B2 (en) 2009-02-03
CN1902659A (zh) 2007-01-24
WO2005029407A1 (en) 2005-03-31
EP1673727A1 (en) 2006-06-28

Similar Documents

Publication Publication Date Title
US6992675B2 (en) System for displaying video on a portable device and method thereof
US8648931B2 (en) Systems and methods for capturing images of objects
US20140086309A1 (en) Method and device for encoding and decoding an image
JP2005510981A (ja) 複数チャネル・ビデオトランスコーディング・システムおよび方法
US20100232513A1 (en) Video compression circuit and method thereof
US20170365033A1 (en) Image processing device
US11341686B2 (en) Two-pass decoding of images
JP4870563B2 (ja) 携帯装置における画像処理方法及び装置
KR20040095742A (ko) 화상 복호 유닛과 그것을 이용한 화상 부호화 장치 및부호화 방법, 및 화상 복호 장치 및 복호 방법
US20060104351A1 (en) Video/image processing devices and methods
US7636497B1 (en) Video rotation in a media acceleration engine
KR100663380B1 (ko) 촬상 장치 및 영상 신호 생성 방법
US20080056381A1 (en) Image compression and decompression with fast storage device accessing
US20080278606A9 (en) Image compositing
US9990900B2 (en) Image processing device and method thereof
US20130235924A1 (en) Electronic apparatus and method for encoding
US20060170708A1 (en) Circuits for processing encoded image data using reduced external memory access and methods of operating the same
US20030123555A1 (en) Video decoding system and memory interface apparatus
US9544586B2 (en) Reducing motion compensation memory bandwidth through memory utilization
US20100046630A1 (en) Apparatus and method for video processing
KR20160067577A (ko) 이미지 프로세서, 상기 이미지 프로세서의 동작 방법, 및 상기 이미지 프로세서를 포함하는 애플리케이션 프로세서
US9792884B2 (en) Image processing apparatus and image processing method
JP2004328178A (ja) 画像処理装置
US20040183948A1 (en) Real time smart image scaling for video input
US20070052714A1 (en) Video processing system

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070914

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20090218

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20090218

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20090218

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20090520

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20090520

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20101026

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20110126

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20110202

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20110228

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20110307

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20110328

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20110404

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110426

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110913

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110922

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20111018

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20111117

R150 Certificate of patent or registration of utility model

Ref document number: 4870563

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20141125

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250