JP5602367B2 - 画像およびビデオ処理のためのスケーラ構造 - Google Patents

画像およびビデオ処理のためのスケーラ構造 Download PDF

Info

Publication number
JP5602367B2
JP5602367B2 JP2008543579A JP2008543579A JP5602367B2 JP 5602367 B2 JP5602367 B2 JP 5602367B2 JP 2008543579 A JP2008543579 A JP 2008543579A JP 2008543579 A JP2008543579 A JP 2008543579A JP 5602367 B2 JP5602367 B2 JP 5602367B2
Authority
JP
Japan
Prior art keywords
image
image data
coder
memory
processing unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2008543579A
Other languages
English (en)
Other versions
JP2009518890A (ja
Inventor
チュング、ジョセフ
カンドハダイ、アナンサパドマナブハン・エー.
パン、ジョージ・ガオジ
モハン、サミット
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of JP2009518890A publication Critical patent/JP2009518890A/ja
Application granted granted Critical
Publication of JP5602367B2 publication Critical patent/JP5602367B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/156Availability of hardware or computational resources, e.g. encoding based on power-saving criteria
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/436Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation using parallelised computational arrangements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Processing (AREA)

Description

本出願は画像および/またはビデオ処理に関し、より詳しくは、画像および/またはビデオ処理のためのスケーラ構造に関する。
ビデオアプリケーションの画像センサは、センサの表面に配列された色フィルターアレイ(CFA)を用いて、シーンをサンプリングする。さまざまなCFAパターンが用いられうる。ディジタル信号プロセッサ(DSP)は、各フォトサイトに3つの色値を得ることができる。画像処理技術は、高品質のカラービデオ画像を得るために用いられうる。これらの画像処理技術は、一般に、ビデオコーディングユニットによる他のビデオコーディングまたは画像圧縮に先行するので、「フロントエンド」("front-end")画像処理と称されうる。あるいは、これらの画像処理技術は、画像センサによって画像が獲得された後に処理が起こるため、「後処理」("post processing")と称されうる。
画像センサから生じたビデオシーケンスの画像フレームは、1つまたは複数の画像処理技術によって処理されうる。画像処理技術の例は、色補正およびモザイク除去を含む。画像処理は、たとえば色調復元、彩度、色彩復元および鮮明さのような、視覚画像品質特性を向上しうる。
複数のビデオ処理およびビデオコーディング技術が、ディジタルビデオシーケンスの通信に用いられてきた。たとえば、ムービング・ピクチャ・エクスパーツ・グループ(MPEG)は、たとえばMPEG−1、MPEG−2およびMPEG−4のような、複数のビデオコーディング規格を作成してきた。他の規格は、ITU H.263およびITU H.264を含む。
いくつかのビデオコーディング技術および規格は、データを圧縮するためにグラフィックおよびビデオ圧縮アルゴリズムを用いうる。いくつかの圧縮アルゴリズムは、時間的またはフレーム間相関関係を利用し、フレーム間圧縮を提供する。フレーム間圧縮技術は、画素ベースの画像フレーム表現を動画表示に変換することによって、フレームにわたるデータ冗長を利用する。いくつかのビデオ圧縮技術は、画像フレーム内の類似性、すなわち、空間的またはフレーム内相関関係を用いて、画像フレーム内の動画表示を更に圧縮可能なフレーム内圧縮を提供することができる。フレーム内圧縮は、たとえば離散余弦変換(DCT)変換のような、静止画像を圧縮するための処理を用いうる。
(35U.S.C.119条の下の優先権主張)
本特許出願は、参照によってその全体が本明細書に組み込まれた、2005年11月30日出願の“POWER AND AREA EFFICIENT SCALAR ARCHITECTURE FOR EMBEDDED VIDEO PROCESSING APPLICATIONS”と題された米国仮出願60/741,347号に対する優先権を主張する。
発明の概要
画像処理には、リアルタイムのビデオテレフォニ(VT)アプリケーション内でのリアルタイムのビデオ符号化の問題がある。たとえば、ビデオシーケンスのリアルタイム送信を確実にするために、全ての画像処理ステップは迅速に行われる必要がある。したがって、リアルタイム画像処理は、大量の画像処理を、特にいくつかの異なる画像処理モジュールによって実行するために、高バンド幅メモリおよび大きなメモリ容量を必要としうる。メモリバンド幅およびメモリスペースは、たとえば携帯電話のような、いくつかのビデオコーディングデバイスでは限られうる。
ある局面は、画像処理ユニット、メモリ、およびコーダを備える装置に関する。メモリは、画像処理ユニットからの処理された画像データを記憶するように構成される。コーダは、メモリから、処理され記憶された画像データを取り出すように構成される。コーダは、メモリから取り出した画像データを拡大するように構成されたスケーラを備える。コーダは、拡大された画像データを符号化するように構成される。
別の局面は、画像データを処理することと、処理された画像データを記憶することと、記憶された画像データを取り出すことと、取り出された画像データを拡大縮小することと、拡大縮小された画像データを符号化することとを備える方法に関する。
1つまたは複数の実施形態の詳細は、以下に添付の図面および説明に記載されている。他の特徴、目的、および利点は、説明および図面、および請求項によって明らかになるであろう。
詳細な説明
ディジタルビデオ機能は、たとえばディジタルテレビ、ディジタルカメラ、ディジタル直接衛星放送システム、無線通信デバイス、携帯端末(PDAs)、ラップトップコンピュータ、デスクトップコンピュータ、直接双方向通信デバイス(「ウォーキー・トーキー」("walkie-talkies")とも称される)、および、たとえばセルラー、サテライト、および地上波ベースの無線電話のような無線電話といった広範囲のデバイスに組み込まれうる。これらのデバイスは、フルモーションビデオシーケンスを、生成、修正、送信、記憶、および再生する。
図1は、ディジタル画像および/またはディジタルビデオを処理するように構成されたデバイス2を示す。デバイス2は、ディジタルテレビ、ディジタル直接衛星放送システム、無線通信デバイス、携帯端末(PDA)、ラップトップコンピュータ、デスクトップコンピュータ、ディジタルカメラ、ディジタル記録デバイス、ネットワークイネーブルディジタルテレビ、セルラーまたはサテライト無線電話、またはビデオテレフィニ(VT)機能を有するあらゆる電気通信デバイスを示し、またはそれらに実装されうる。
デバイス2は、画像および/またはビデオデータを、処理、符号化、復号、送信および/または受信しうる。ビデオデータは、たとえばビデオキャプチャユニット(または画像センサ)12のようなビデオカメラで取得されるか、ビデオアーカイブから取り出されるか、または別の方式で得られる。デバイス2内のビデオコーディングユニット19は、たとえばMPEG−4、ITU−T H.263、ITU−T H.264、またはその他の任意のビデオコーディング規格を用いうる。ビデオコーディングユニット19は、たとえば動作検出および動作補償のようなフレーム間コーディング技術、および、たとえば空間検出および予測内コーディング技術のようなフレーム内コーディング技術をサポートしうる。
デバイス2は、画像またはビデオシーケンスを取得し、取得した画像またはビデオシーケンスをメモリ14内に記憶するために、たとえばカメラまたはビデオカメラのような、画像/ビデオキャプチャデバイス12を含みうる。画像/ビデオ処理ユニット4は、画像および/またはビデオシーケンスを処理しうる。メモリ14は、このような処理の前後に、画像および/またはビデオシーケンスを記憶しうる。
トランシーバ16は、コードされたビデオシーケンスを受信するか、あるいは又はそれに加えて、別のデバイスへ送信することができる。トランシーバ16は、たとえば符号分割多元接続(CDMA)のような無線通信規格を用いうる。CDMA規格の例は、CDMA 1xEV−DO、WCDMA等がある。
デバイス2の1つまたは複数の要素が、通信バス15を経由して、通信可能に接続されうる。図1に示した要素に加えて、またはその代わりに、他の要素がデバイス10に含まれうる。図1に示した構造は単なる一例にすぎない。本明細書で説明される技術は、他のさまざまな構造で実現されうる。
メモリ14は、比較的大きなメモリスペースを有しうる。メモリ14は、ダイナミックランダムアクセスメモリ(DRAM)、またはフラッシュメモリを備えうる。メモリ14は、"NOR"または"NAND"ゲートメモリ技術、または他のあらゆる記憶技術を備えうる。他の例では、メモリ14は、不揮発性メモリまたは他のあらゆるタイプのデータ記憶ユニットを備えうる。
画像/ビデオ処理ユニット4は、ハードウェア、ソフトウェア、ファームウェア、および/または1つまたは複数のマイクロプロセッサ、ディジタル信号プロセッサ(DSPs)、特定用途向け集積回路(ASICs)、フィールドプログラマブルゲートアレイ(FPGAs)、またはこれらのさまざまな組み合わせを含む、モバイル無線電話のチップセットを備えうる。処理ユニット4は、フロントエンド画像/ビデオ処理ユニット18、および画像/ビデオコーディングユニット19を含む。コーディングユニット19と接続されたローカルメモリ8は、ディジタルビデオデータを符号化(または圧縮)および復号(または解凍)するための符号器/復号器(CODEC)を備える。
ローカルメモリ8は、メモリ14と比較して、より小さくより高速なメモリを備えうる。たとえば、ローカルメモリ8は、同期型ダイナミックランダムアクセスメモリ(SDRAM)を備えうる。ローカルメモリ8は、プロセッサ集約コーディング処理の間、データへの高速なアクセスを提供するために、処理ユニット4のその他の構成要素と統合された「オンチップ」メモリを備えうる。しかし、メモリ14およびメモリ8は、1つのメモリとして結合される。またはその他の多くの構成で実現される。メモリコントローラ10は、ローカルメモリ8へのライトバックおよびメモリフェッチを制御しうる。
フロントエンド画像/ビデオ処理ユニット18は、画質を高めるために、ビデオシーケンスのフレームに1つまたは複数の画像処理技術を施し、それによってビデオシーケンスの品質を高める。たとえば、フロントエンド画像/ビデオ処理ユニット18は、たとえばモザイク除去、レンズロールオフ補正、拡大縮小、色補正、色変換、および空間フィルタリングのような技法を実行することができる。フロントエンド画像/ビデオ処理ユニット18は、他の技法も実行することができる。一般に、ユニット18によって実行される技法は、画像/ビデオコーディングユニット19によるコーディングに先行するため、「フロントエンド」画像処理技術と称される。
画像/ビデオキャプチャユニット12は、センサの表面に配列された色フィルターアレイ(CFAs)を含む画像センサを備えうる。ユニット18によって行われるフロントエンド画像処理は、キャプチャユニット12によって取得されるビデオシーケンスの品質を高めうる。たとえば、フロントエンド処理ユニット18および/またはコーディングユニット19は、キャプチャユニット12によって取得される画像を処理するようにプログラムされたDSPを備えうる。メモリ8(またはメモリ14)における同じ領域が、フロントエンド画像処理目的および他の記憶目的の両方のために用いられうる。
画像/ビデオコーディングユニット19は、たとえばフレーム間圧縮および/またはフレーム内圧縮のような1つまたは複数のビデオ圧縮技術を含みうる画像および/またはビデオコーディングを実行しうる。たとえば、コーディングユニット19は、フレーム間圧縮を提供するために、時間的またはフレーム間データ相関関係を利用するために、動作検出および動作補償技術を実現しうる。あるいは、または加えて、コーディングユニット19は、空間検出および予測内技術を実行し、空間的またはフレーム内データ相互関係を利用し、フレーム内圧縮を提供する。動作補償(またはイントラ予測)は「残余」("residual")と称され、コードされるカレントビデオブロックと、動作検出または空間検出によって識別される予測ブロックとの間の差異を示すデータのブロックを備えうる。
コーディングユニット19は、残余を生成するために動き補正(またはイントラ予測)を行い、一連の追加ステップは、更に残余をコードし、更にデータを圧縮するように実行される。追加ステップは、一般には「残余コーディング」と称されるが、用いられているコーディング規格に依存する。コーディングユニット19は、トランシーバ16経由で別のデバイスへビデオシーケンスを通信するために必要とされるデータの量を縮小するために、これらのビデオ圧縮技術のうちの1または複数を実行することができる。
図2は、図1のデバイス2に実装されうる構成要素を示す。図2は、画像処理ユニットまたはエンジン20、メモリまたはバッファ24、およびコーダ26(符号器/復号器、コーデック、圧縮エンジンまたはバックエンドプロセッサとも呼ばれる)を示す。ビデオ処理システムは通常、たとえば画像処理ユニット20のような、リアルタイム画像を取得するフロントエンドプロセッサ、およびたとえばコーダ26のような、ビデオ/画像符号化を実行するバックエンドプロセッサを含む。
図2の画像処理ユニット20は、あらゆる数の画像処理モジュール22(22A、22Bおよび22Cと付され、集合的に「モジュール22」と称される)を含みうる。モジュール22は、画像センサインタフェース、モザイク除去モジュール、レンズロールオフ補正モジュール、拡大縮小モジュール、色補正モジュール、色変換モジュール、および空間フィルタリングモジュール、または他のフロントエンド画像処理モジュールを含みうる。
モジュール22によるフロントエンド画像処理は、連続的である。第1の処理は、次の処理が、与えられた画像に対して実行されることができる前に、全てが行われる。いくつかの処理は、いくつかの異なるシーケンスの画像に対して、同時に行われる。いくつかのモジュール22は、同じ機能を実行することができる。これによって、異なる画像に対し同時に実行されるようになる。
第1の構成では、画像処理ユニット20は、画像を縮小(すなわち、ダウンサンプルまたはデシメーション)または拡大(すなわち、アップサンプルまたは補間)するためのスケーラを含む。拡大縮小することは、他の画像処理技術と関連している。アップサンプリング(または拡大)は、(a)アップサンプリングは画像にいかなる新たな情報も付加せず、(b)ラインバッファ内のエリアおよび電力の節約のために、他の画像処理モジュール22で実行されるデータ処理量を低減することが望ましいので、画像処理ユニット20内のパイプラインの最後または終わり付近で実行されうる。
アップサンプリングは、適切な表示またはディジタルズーム目的の何れかのために、画像のサイズを変えるために行われる。2xアップサンプリングの単純な形式は、各画素が4x4ブロックに複写され、出力画像を再現するために用いられるボックスフィルタを用いる。
フロントエンド画像処理ユニット20は、画像マクロブロックベースで動作しうる、コーダ26によるジョイント・フォトグラフィック・エクスパーツ・グループ(JPEG)符号化またはMPEG符号化の何れかのためにデータが更に処理されることができるまで、記憶のために、メモリ24(たとえば、外部メモリ)へ、処理されたデータを送る。コーダ26は、MPEG規格またはJPEG規格または他の規格に準拠して、データを符号化および/または復号しうる。この第1の構成では、コーダ26内にスケーラはない。
第2の構成では、図2に示すように、コーダ26は、設定可能なアップスケーラおよび/またはダウンスケーラでありうるスケーラ28を含む。コーダ26は、JPEGまたはMPEG符号器のあらゆる実現形態でありうる。コーダ26は、処理された画像データをマクロブロックごとにフェッチし、マクロブロックを処理する。コーダ26にスケーラ28を組み込むことによって、最終的に求められる出力サイズが、画像処理ユニット20からの元々の入力サイズ(解像度)よりも大きい場合いつでも、メモリ24で必要とされるスペースは小さい。画像が、拡張または拡大された場合、処理または記憶されるデータの量は、たとえばNがアップサンプリング係数である係数2N倍に増加する。もしスケーラ28が、コーダのメモリ24からの読取操作の一部として、すなわちコーダ26が、処理された画像データをメモリ24からフェッチする間、画像をアップサンプルする場合、メモリ24で必要なサイズ、外部バンド幅、領域および電力は、品質を損なうことなく低減されうる。
図2の構成要素は、電力が低減されたビデオ処理デバイスで用いられうる。
コーダ26は、メモリ24から読み取ったマクロブロックデータを記憶するための内部バッファを有しうる。コーダ26は二重バッファを用いることができるので、コーダ26は、1つのマクロブロックを、次のマクロブロックをフェッチする間に処理することができる。もしスケーラ28が、コーダのメモリ24からの読取動作の一部としてアップサンプルすれば、アップサンプルされていないもとの画像だけがメモリ24からフェッチされるので、上述した第1の構成と比べて、メモリ24に対して1/4のみのフェッチ(2xアップサンプリングの割合)しか要求されないだろう。メモリ24に対するフェッチの回数を低減することによって、電力を著しく節約することができる。(画像処理ユニット20内の最後の段階としてアップサンプルする)第1の構成と比較して、品質が損なわれることはない。
コーダ26にアップサンプリングをさせる利点は、画像処理ユニット20からの出力を格納するために必要なメモリ24の量を、(2xアップサンプリングの場合)4倍低減することができることである。
もしアップサンプリングが、(第1の構成におけるように)画像処理ユニット20内で実行され、画像が画像センサからリアルタイムで処理されれば、モジュール22のパイプラインは、追従するために、アップサンプルされたデータレートで動作されなければならない。これは、ハードウェアが、より多くの並列動作を組み込むためか、あるいは、より速いクロック速度で動作するかの何れかのために、大型化を要することを意味する。アップサンプリング係数が増加するにつれ、これは直ちに実現不可能となる。
もしコーダ26が(第2の配置において)アップサンプリングを実行すれば、画像処理ユニット20は、画像センサから来るデータレートによって指定されたような、最小クロックレートで動作することができる。
画像処理ユニット20でアップサンプルすることは、画像が垂直方向にアップサンプルされる場合、ラインバッファも必要とする。ラインバッファサイズは、処理されている画像の横幅によって規定されうる。高DSC解像度をサポートするために、このラインバッファは著しく大きくなりうる。4MP画像センサは2272ピクセルの幅を有し、ラインバッファごとに2272x10ビットのRAMサイズを用いうる。要求されるラインバッファの数は、垂直フィルタで用いられるタップの数によって決定されうる。
もしコーダ26がアップサンプリングを実行すれば、ラインバッファはまだ用いられうる。しかし、コーダ26は、16x16ピクセルをベースとするマクロブロックについてしか処理しないので、これらのラインバッファのサイズは著しく低減される。これは、エリアおよび電力の低減をもたらす。
コーダ26へのアップサンプリングを動機付ける別の潜在的利点は、ユニット20の出力においてサポートされることを必要とする最大データレートが4倍低減されるために、(画像処理ユニット20の出力におけるバスレイテンシを説明するために用いられる)RAMバッファのサイズを低減できることである。
図2において提案されたスケーラ構造は、たとえば加算器および乗算器等のようないくつかのハードウェアが、円滑な拡大および縮小の両方のために用いられ共有されうる。これは、画像効率の良い設定可能な構造をもたらす。
画像処理プロセッサがビデオ/画像符号器と統合されているシステム内では、フロントエンドプロセッサおよびビデオ/画像符号器は、ビデオ処理を実現するために必要とされるメモリバンド幅、エリアおよび電力の全体が低減されうるように、区分化されることができる。
コーダ26が、フェッチをパイプライン化しマクロブロックを処理するために二重バッファを用いれば、コーダ26はマクロブロックを処理する時間内で、メモリ24からマクロブロックを読み取り、かつアップサンプルできなければならず、そうでなければ、コーダパイプライン中で処理停止が生じうる。もしアップサンプリングが、マクロブロック処理時間よりも長くかかれば、全体のビデオ性能がわずかに低下する。これは、このレイテンシを補うために、より多くの内部バッファを追加することによって解決される。
図3は、図2に示した構成要素を用いる方法を示す。ブロック30で、画像データが処理される。ブロック32で、処理された画像データが記憶される。ブロック34で、記憶された画像データが取り出される。ブロック36で、取り出された画像データが拡大縮小される。ブロック38で、拡大縮小された画像データが符号化および/または圧縮される。
情報および信号は、あらゆる種類の異なる技術および技法を用いて示されうる。たとえば、上記にわたって参照されたデータ、命令、コマンド、情報、信号、ビット、シンボル、およびチップは、電圧、電流、電磁波、磁場または磁粒子、光場または光粒子、またはあらゆるこれらの組み合わせによって示されうる。
本明細書に開示された局面に関連して記載されたさまざまな例示的論理ブロック、モジュール、回路、およびアルゴリズムステップは、電子工学的ハードウェア、コンピュータソフトウェア、または2つの組み合わせとして実現されうる。ハードウェアとソフトウェアとの相互置換性を明確に説明するために、さまざまな実例となる構成要素、ブロック、モジュール、回路、およびステップが、それらの機能観点から一般的に説明された。このような機能が、ハードウェアとして実現されるかソフトウェアとして実現されるかは、システム全体に課された設計制約および特定のアプリケーションによる。当業者は、各特定のアプリケーションのために上述した機能をさまざまな方法で実装することができるが、このような実現の決定は、限定して解釈されてはならない。
本明細書に開示された局面に関連して記載されたさまざまな例示的論理ブロック、モジュール、および回路は、汎用プロセッサ、DSP、ASIC、FPGAあるいはその他のプログラマブル論理デバイス、ディスクリートゲートあるいはトランジスタロジック、ディスクリートハードウェア部品、または上述された機能を実現するために設計された上記何れかの組み合わせを用いて実現または実行されうる。汎用プロセッサとしてマイクロプロセッサを用いることが可能であるが、代わりに、従来技術によるプロセッサ、コントローラ、マイクロコントローラ、あるいは状態機器を用いることも可能である。プロセッサは、たとえばDSPとマイクロプロセッサとの組み合わせ、複数のマイクロプロセッサ、DSPコアに接続された1または複数のマイクロプロセッサ、またはこのような任意の構成である計算デバイスの組み合わせとして実現することも可能である。
本明細書で開示された例に関連して記述された方法やアルゴリズムの実行は、ハードウェアによって直接的に、プロセッサによって実行されるソフトウェアモジュールによって、または、これらの組み合わせによって具現化される。ソフトウェアモジュールは、RAMメモリ、フラッシュメモリ、ROMメモリ、EPROMメモリ、EEPROMメモリ、レジスタ、ハードディスク、リムーバブルディスク、CD−ROM、あるいはその他の形式の記憶媒体に収納されうる。記憶媒体は、プロセッサがそこから情報を読み取り、またそこに情報を書き込むことができるようにプロセッサに結合される。または、記憶媒体はプロセッサに統合されうる。このプロセッサと記憶媒体は、ASIC内に存在することができる。ASICは、ユーザ端末内に存在することもできる。あるいは、このプロセッサと記憶媒体は、ユーザ端末内のディスクリート部品として存在することができる。
上述した局面へのさまざまな変形例が、当業者には明らかであって、本明細書で定義された包括的な原理は、本開示の主旨または範囲から逸脱することなくその他の実施例にも適用されうる。したがって、本開示は、本明細書で示された実施例に限定されることは意図されず、本明細書に開示された原理および新たな特徴と矛盾しない最大範囲に一致するよう意図される。
図1は、ディジタル画像および/またはディジタルビデオを処理するように構成されたデバイスを示す。 図2は、図1のデバイスに実装されうる構成要素を示す。 図3は、図1のデバイスを用いる方法を示す。

Claims (16)

  1. 画像処理ユニットと、
    前記画像処理ユニットからの処理された画像データを記憶するように構成されたメモリであって、前記記憶される画像データは拡大されていない、メモリと、
    前記メモリから、前記記憶された画像データを取り出すように構成されたコーダとを備え、
    前記コーダは、前記メモリから取り出された画像データを、複数の異なる寸法に拡大するように構成されたスケーラを備え、前記コーダは、前記拡大された画像データを符号化するように構成され、
    前記コーダは、画像データを取り出すことと拡大することとが、ほぼ同時に起こることを可能にする二重バッファを備え、
    前記画像処理ユニットおよび前記コーダは、共通の通信バスによって、前記処理された画像データを前記メモリと通信するように構成される、装置。
  2. 前記画像処理ユニットは、拡大縮小と、色補正と、色変換とのうち少なくとも1つを実行するように構成された請求項1に記載の装置。
  3. 前記メモリは、前記画像処理ユニットおよびコーダに外付けされている請求項1に記載の装置。
  4. 前記コーダは、前記取り出された画像データを圧縮するように構成された請求項1に記載の装置。
  5. 前記コーダは、MPEG規格と、JPEG規格と、ITU H.263規格と、ITUH.264規格とのうち少なくとも1つに準拠して画像データを圧縮するように構成された請求項4に記載の装置。
  6. 前記装置は携帯通信デバイスであり、前記装置は、前記符号化された画像データを無線通信チャネル上で送信するように構成された送信機を更に備える請求項1に記載の装置。
  7. 前記スケーラは、取り出された画像データを拡大および縮小するように構成された請求項1に記載の装置。
  8. 前記コーダはビデオコーダを備える請求項1に記載の装置。
  9. 第1の処理ユニットを用いて画像データを処理することと、
    前記第1の処理ユニットから、通信バスを介して、メモリ内に、前記画像データを記憶することであって、前記記憶される画像データは、拡大されていないことと、
    前記第1および第2の処理ユニットに共通の通信バスを介して、前記第1の処理ユニットとデータを通信するように構成された第2の処理ユニットを用いて、前記メモリから、前記記憶された画像データを取り出すことと、
    前記第2の処理ユニットを用いて前記取り出された画像データを、複数の異なる寸法に拡大することと、
    前記第2の処理ユニットを用いて、前記拡大された画像データを符号化することとを備え、
    前記画像データを取り出すことと拡大することとが、コーダに含まれる二重バッファによって、ほぼ同時に行われる方法。
  10. 符号化することは、MPEG規格と、JPEG規格と、ITU H.263規格と、ITU H.264規格とのうち少なくとも1つに準拠して、前記取り出された画像データを圧縮することを備える請求項9に記載の方法。
  11. 符号化することは、ビデオ符号化することを備える請求項9に記載の方法。
  12. 前記画像データを処理することは、拡大縮小と、色補正と、色変換とのうち少なくとも1つを備える請求項9に記載の方法。
  13. 前記取り出された画像データをバッファすることを更に備える請求項9に記載の方法。
  14. 前記符号化された画像データを、無線通信チャネル上で送信することを更に備える請求項9に記載の方法。
  15. 画像を処理する第1の手段と、
    前記処理された画像を記憶する第2の手段と、
    (a)前記処理され記憶された画像を取り出し、(b)前記取り出された画像を拡大し、(c)前記拡大された画像を符号化する第3の手段とを備え、
    前記第3の手段は、コーダに含まれる二重バッファが、前記画像の取り出しと、前記取り出された画像の拡大とをほぼ同時に行うように構成され、前記第3の手段は、前記取り出された画像を、複数の異なる寸法に拡大するように構成された、装置。
  16. 前記画像を処理する手段は、拡大縮小と、色補正と、色変換とのうち少なくとも1つを実行するように構成された請求項15に記載の装置。
JP2008543579A 2005-11-30 2006-11-30 画像およびビデオ処理のためのスケーラ構造 Expired - Fee Related JP5602367B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US74134705P 2005-11-30 2005-11-30
US60/741,347 2005-11-30
US11/360,137 US8009729B2 (en) 2005-11-30 2006-02-22 Scaler architecture for image and video processing
US11/360,137 2006-02-22
PCT/US2006/061430 WO2007120303A2 (en) 2005-11-30 2006-11-30 Scaler architecture for image and video processing

Publications (2)

Publication Number Publication Date
JP2009518890A JP2009518890A (ja) 2009-05-07
JP5602367B2 true JP5602367B2 (ja) 2014-10-08

Family

ID=38087468

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008543579A Expired - Fee Related JP5602367B2 (ja) 2005-11-30 2006-11-30 画像およびビデオ処理のためのスケーラ構造

Country Status (7)

Country Link
US (1) US8009729B2 (ja)
EP (1) EP1955551A2 (ja)
JP (1) JP5602367B2 (ja)
KR (1) KR100985464B1 (ja)
CN (1) CN103945225A (ja)
TW (1) TW200806038A (ja)
WO (1) WO2007120303A2 (ja)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8156259B2 (en) * 2005-07-21 2012-04-10 Elliptic Technologies Inc. Memory data transfer method and system
JP4845825B2 (ja) * 2007-07-25 2011-12-28 株式会社 日立ディスプレイズ 多色表示装置
CN102450010A (zh) * 2009-04-20 2012-05-09 杜比实验室特许公司 定向内插和数据后处理
EP2315445A1 (en) * 2009-10-09 2011-04-27 Vidast Oy Video compression
US20110279702A1 (en) * 2010-05-17 2011-11-17 David Plowman Method and System for Providing a Programmable and Flexible Image Sensor Pipeline for Multiple Input Patterns
CN102065281B (zh) * 2010-11-23 2015-01-07 无锡港湾网络科技有限公司 一种带存储可远程回放的网络监控系统
KR101756841B1 (ko) 2011-06-07 2017-07-11 삼성전자주식회사 블록 기반 영상의 해상도 변환 방법 및 장치
TWI511078B (zh) * 2012-06-11 2015-12-01 Acer Inc 影像處理的調整方法及其電子裝置
CN103531217B (zh) * 2012-07-02 2016-06-08 宏碁股份有限公司 影像处理的调整方法及其电子装置
TWI512675B (zh) * 2013-10-02 2015-12-11 Mstar Semiconductor Inc 影像處理裝置與方法
US10284861B2 (en) * 2016-12-09 2019-05-07 Advanced Micro Devices, Inc. Concurrent image compression and thumbnail generation
CN108184084A (zh) * 2017-12-29 2018-06-19 北京九方广维科技有限公司 对讲机的视频信号传输方法及装置
CN111314579B (zh) * 2020-02-21 2021-10-15 苏州浪潮智能科技有限公司 一种图像垂直滤波处理的方法及芯片
TWI823281B (zh) * 2022-03-04 2023-11-21 大陸商星宸科技股份有限公司 視訊處理電路與視訊處理方法
CN114760479A (zh) * 2022-05-09 2022-07-15 合肥宏晶半导体科技有限公司 视频传输方法、装置及系统

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6546052B1 (en) * 1998-05-29 2003-04-08 Canon Kabushiki Kaisha Image processing apparatus and method, and computer-readable memory
JP4179701B2 (ja) 1999-04-28 2008-11-12 オリンパス株式会社 画像処理装置
US6933970B2 (en) 1999-12-20 2005-08-23 Texas Instruments Incorporated Digital still camera system and method
JP2004193686A (ja) 2002-12-06 2004-07-08 Nec Access Technica Ltd カメラ付き携帯端末
US8159548B2 (en) 2003-01-30 2012-04-17 Qualcomm Incorporated Modular architecture having reusable front end for processing digital video data
US20040158878A1 (en) 2003-02-07 2004-08-12 Viresh Ratnakar Power scalable digital video decoding
JP2005277908A (ja) 2004-03-25 2005-10-06 Nec Access Technica Ltd 画像処理装置、その画像処理方法およびカメラつき携帯電話
US20050248586A1 (en) 2004-05-06 2005-11-10 Atousa Soroushi Memory efficient method and apparatus for compression encoding large overlaid camera images

Also Published As

Publication number Publication date
WO2007120303A2 (en) 2007-10-25
KR100985464B1 (ko) 2010-10-06
KR20080078700A (ko) 2008-08-27
WO2007120303A3 (en) 2008-01-10
CN103945225A (zh) 2014-07-23
US8009729B2 (en) 2011-08-30
US20070121733A1 (en) 2007-05-31
TW200806038A (en) 2008-01-16
EP1955551A2 (en) 2008-08-13
JP2009518890A (ja) 2009-05-07

Similar Documents

Publication Publication Date Title
JP5602367B2 (ja) 画像およびビデオ処理のためのスケーラ構造
US8615043B2 (en) Fixed length coding based image data compression
JP5619790B2 (ja) 二層符号化及び単層復号化による階層的ビデオ符号化
KR100196019B1 (ko) 스케일러블 mpeg2 컴플라이언트 비디오 인코더
JP4641892B2 (ja) 動画像符号化装置、方法、及びプログラム
WO2022068682A1 (zh) 图像处理方法及装置
JP5581688B2 (ja) 画像処理装置および方法、並びにプログラム
US20060133512A1 (en) Video decoder and associated methods of operation
WO2009130886A1 (ja) 動画像符号化装置、撮像装置及び動画像符号化方法
EP3981155A1 (en) Adaptive resolution change in video processing
JP2011151430A (ja) 画像処理装置およびそれを搭載した撮像装置
US20130216150A1 (en) Image processing device, image processing method, and program
KR20230145063A (ko) 비디오 코딩에서의 인트라-예측을 위한 레퍼런스 픽셀들의업샘플링
US20080089418A1 (en) Image encoding apparatus and memory access method
TW201140557A (en) Moving image encoding method, moving image decoding method, moving image encoding device, and moving image decoding device
JP5139322B2 (ja) 画像およびビデオ処理のためのメモリ体系化スキームおよびコントローラ・アーキテクチャ
JP2002058026A (ja) 画像符号化装置及び方法並びに画像復号装置及び方法
JP2002152733A (ja) 動画像符号化方法、動画像復号化方法、動画像符号化装置、動画像復号化装置、動画像符号化プログラムを記録した記録媒体、動画像復号化プログラムを記録した記録媒体、および動画像符号化データを記録した記録媒体
WO2010021153A1 (ja) 動き検出装置
US20110249719A1 (en) Video compression
JP2009278473A (ja) 画像処理装置、それを搭載した撮像装置、および画像再生装置
CN101317461A (zh) 用于图像和视频处理的缩放器结构
WO2005104560A1 (en) Method of processing decoded pictures.
Sriram et al. Compression of CCD raw images for digital still cameras
JP2006295954A (ja) 画像符号化装置及び方法並びに画像復号装置及び方法

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110412

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110419

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110617

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20111206

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20120717

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20121119

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20121218

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20130301

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140529

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140820

R150 Certificate of patent or registration of utility model

Ref document number: 5602367

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees