JPH11164198A

JPH11164198A - 画像データ処理装置

Info

Publication number: JPH11164198A
Application number: JP33059897A
Authority: JP
Inventors: Yoshihisa Nishigori; 義久錦織; Tetsuya Imamura; 哲也今村; Takayasu Miki; 孝保三木; Kenjiro Tsuda; 賢治郎津田; Teru Yoneyama; 輝米山
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 1997-12-01
Filing date: 1997-12-01
Publication date: 1999-06-18

Abstract

(57)【要約】【課題】従来の画像データ処理装置は、複数のＭＰＥＧ
画像データを、同時に処理することができないという課
題があった。【解決手段】外部インタフェース回路２５００が、複数
のＭＰＥＧ画像データを入力し、可変結合回路２５０７
が、結合方式演算回路２５０９からの割り当て情報に基
づいて、外部インタフェース回路２５００が入力した複
数のＭＰＥＧ画像データを、複数の演算ユニット群のい
ずれかに割り当てる。そして、複数のＭＰＥＧ画像デー
タが同時に、並列的に復号されるように、割り当てられ
た一つまたは複数の演算ユニットが、対応するＭＰＥＧ
画像データを復号する。同様に、それら復号された画像
それぞれを、複数の演算ユニット群のいずれかに割り当
て、複数の画像が同時に、並列的に拡大縮小されるよう
に、割り当てられた一つまたは複数の演算ユニットが、
対応する画像を拡大縮小する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、パーソナルコンピ
ュータ等のディスプレイに、複数の画像を表示するさい
の、それら複数の画像の画像データを処理する画像デー
タ処理装置に関するものである。

【０００２】

【従来の技術】近年、ＭＰＥＧ画像データを再生して、
パーソナルコンピュータ等のディスプレイに画像を表示
することがますます重要になってきている。このＭＰＥ
Ｇ画像データを画像として表示するまでの復号等の処理
量は、非常に大きい。そのため現在では、そのような、
ＭＰＥＧ画像データの処理を行う装置は、一時に、一つ
のＭＰＥＧ画像データを処理することで精一杯である。

【０００３】以下に、ＭＰＥＧ画像データを復号して、
パーソナルコンピュータのディスプレイのウィンドウに
画像を表示するさいの、従来の方法を説明する。その従
来の方法としては、２通りあるので、それらを区別して
説明する。

【０００４】第一の方法は、ＭＰＥＧ画像データを完全
に復号して画像を再生し、ウィンドウの大きさおよび形
状に合致させるように、画素の補間または間引きを行っ
て、画像をウィンドウに表示する方法である。

【０００５】第二の方法は、ＭＰＥＧ画像データを復号
する前に、ウィンドウの大きさおよび形状に応じて、そ
のＭＰＥＧ画像データの全部または一部のＤＣＴ係数を
選択し、そのＤＣＴ係数をそのまま復号するか、また
は、全部のＤＣＴ係数に高周波数領域に所定の数のゼロ
を付加して復号し、その復号された画像を、ウィンドウ
の大きさおよび形状に合致させるように、画素の補間ま
たは間引きを行って、画像をウィンドウに表示する方法
である。

【０００６】ところで、複数のＭＰＥＧ画像データを復
号して、パーソナルコンピュータ等のディスプレイに、
同時に複数の画像を表示するウィンドウシステムが普及
してきている。例えば、パーソナルコンピュータのディ
スプレイに、ＤＶＤからの画像を表示しながら、同時
に、ＣＤ−ＲＯＭからの画像を、同じディスプレイ上に
表示するといったことである。

【０００７】このように、同時に複数の画像を同じディ
スプレイに表示する場合、上述した、第一の方法または
第二の方法では、それぞれの画像に対して、独立に画像
データ処理装置を用意し、それぞれのウィンドウの大き
さおよび形状に合致させるように、画像を再生し表示し
ている。それら従来の画像データ処理装置は、作りだそ
うとする画像が極めて小さくても、大きな画像を作り出
すことのできる処理能力をそれぞれ有するものであっ
た。

【０００８】

【発明が解決しようとする課題】上述したように、従来
の画像データ処理装置は、同時に、二以上のＭＰＥＧ画
像データを処理することができない。

【０００９】したがって、複数のＭＰＥＧ画像データを
再生して、パーソナルコンピュータ等のディスプレイ
に、同時に複数の画像を表示しようとすると、表示画像
の数と同じ数の画像データ処理装置が必要となってく
る。つまり、表示画像それぞれの大きさおよび形状に応
じた、ＭＰＥＧ画像データの処理量の多少にかかわら
ず、画像の数と同じ数の、しかもそれぞれ処理能力が大
きい画像データ処理装置が必要となっているということ
である。

【００１０】本発明は、従来では、複数のＭＰＥＧ画像
データを再生して、パーソナルコンピュータ等のディス
プレイに、同時に複数の画像を表示する場合、それら画
像の数と同じ数の、しかもそれぞれ処理能力が大きい画
像データ処理装置が必要となっているという課題を考慮
して、複数のＭＰＥＧ画像データを再生して、パーソナ
ルコンピュータ等のディスプレイに、同時に複数の画像
を表示する場合でも、一つの装置で、複数のＭＰＥＧ画
像データを柔軟に処理する画像データ処理装置を提供す
ることを目的とするものである。

【００１１】

【課題を解決するための手段】請求項１の本発明は、複
数の画像データに対する拡大縮小の程度の情報を入力す
る拡大縮小情報入力手段と、画像データを処理する処理
ユニットを複数個有し、複数の画像データを入力して画
像処理する画像処理手段と、前記拡大縮小情報入力手段
から前記拡大縮小の程度の情報を入力し、前記画像処理
手段の処理ユニット群の全部または一部を、前記拡大縮
小の程度の情報に基づいて、その拡大縮小の程度の情報
に対応する画像データの拡大縮小処理に割り当てる割り
当て手段とを備え、前記画像処理手段は、前記拡大縮小
の程度の情報に基づき、前記処理ユニット群の割り当て
にしたがって、複数の画像データを処理することを特徴
とする画像データ処理装置である。

【００１２】

【発明の実施の形態】以下に、本発明の実施の形態を図
面を参照して説明する。

【００１３】（実施の形態１）先ず、本発明の実施の形
態１の画像データ処理装置の構成を述べる。

【００１４】図１に、本発明の実施の形態１の画像デー
タ処理装置のブロック図を示す。本発明の実施の形態１
の画像データ処理装置は、ユーザーＩ／Ｆ回路１００
と、形状演算回路１０１と、演算量制御回路１０２と、
復号・補間演算回路１１０と、メモリＩ／Ｆ１１１と、
メモリ１１２から構成される。なお、形状演算回路１０
１、演算量制御回路１０２および復号・補間演算回路１
１０それぞれは、さらにそれらを構成する構成手段を備
えている。それについては、後に説明する。

【００１５】次に、図５（ａ）に、パーソナルコンピュ
ータのディスプレイ５０１を示す。パーソナルコンピュ
ータのディスプレイ５０１は、本発明の実施の形態１の
画像データ処理装置からの画像を表示するディスプレイ
である。実施の形態１では、そのディスプレイ５０１
に、５つのウィンドウ５０３、５０４、５０５、５０６
および５０７が表示され、それぞれのウィンドウに画像
が表示されるものとする。また、それら５つのウィンド
ウのうち、ウィンドウ５０３、５０５、５０６および５
０７に表示される画像が、ＭＰＥＧ画像データからの画
像であるものとする。

【００１６】さて、ユーザーＩ／Ｆ回路１００は、図５
（ａ）のディスプレイ５０１に、ユーザーが表示しよう
とする画像のウィンドウの大きさ、形状および位置の指
示を、ユーザーから受け付ける手段である。

【００１７】形状演算回路１０１は、ユーザーＩ／Ｆ回
路１００からのウィンドウの大きさおよび形状の情報に
基づいて、ウィンドウの大きさおよび形状を決定し、そ
のウィンドウに合致するように、画像を拡大縮小するさ
いの、その画像の縦方向と横方向の拡大縮小比率を演算
する手段である。なお、図２に示すように、形状演算回
路１０１は、貼り付け面の大きさ・形状決定回路２０１
と、縦・横比率演算回路２０２を備えており、具体的に
は、貼り付け面の大きさ・形状決定回路２０１が、ウィ
ンドウの大きさおよび形状を決定し、縦・横比率演算回
路２０２が、拡大縮小比率を演算する。また、拡大縮小
比率とは、画像符号発生源１・１０６、画像符号発生源
２・１０７、画像符号発生源３・１０８、…、または画
像符号発生源ｎ・１０９からのＭＰＥＧ画像データのＤ
ＣＴ係数全部を復号した画像を、それぞれの画像につい
て、対応するウィンドウの大きさおよび形状に合致させ
るために必要とする情報である。

【００１８】画像符号発生源１・１０６は、図５（ａ）
のディスプレイ５０１のウィンドウ５０３に表示される
画像の符号化されたＭＰＥＧ画像データを発生する手段
である。同様に、画像符号発生源２・１０７、画像符号
発生源３・１０８、…、画像符号発生源ｎ・１０９それ
ぞれは、図５（ａ）のディスプレイ５０１のウィンドウ
５０５、５０６または５０７それぞれに表示される画像
の符号化されたＭＰＥＧ画像データを発生する手段であ
る。なお、実施の形態１では、ｎは４であるものとす
る。

【００１９】演算量制御回路１０２は、ユーザーＩ／Ｆ
回路１００からの情報と、形状演算回路１０１からの情
報とに基づいて、図５（ａ）のディスプレイ５０１のウ
ィンドウに、正確に画像が表示されるように、画像がメ
モリ１１２に書き込まれるさいの、画像の書き込み位置
を特定する手段である。また、演算量制御回路１０２
は、上述した２つの情報を用いて、復号・補間演算回路
１１０でのＭＰＥＧ画像データの復号方法を制御し、さ
らに、その画像の大きさおよび形状をウィンドウに合致
させるように制御する手段でもある。それら画像の書き
込み位置の特定、ＭＰＥＧ画像データの復号方法、およ
び、画像の大きさと形状の制御については、後に、本発
明の実施の形態１の画像データ処理装置の動作を述べる
さいに説明する。なお、図３に示すように、演算量制御
回路１０２は、書き出し位置制御回路３０２と、画像復
号制御回路３０４と、サイズ変換制御回路３０３を備え
ている。

【００２０】復号・補間演算回路１１０は、画像符号発
生源１・１０６、画像符号発生源２・１０７、画像符号
発生源３・１０８、…、画像符号発生源ｎ・１０９それ
ぞれから、符号化されたＭＰＥＧ画像データを入力し、
それら複数のＭＰＥＧ画像データそれぞれを復号し、そ
の復号された画像を、図５（ａ）のディスプレイ５０１
の対応するウィンドウに合致させるように、画素の間引
きまたは補間を行う手段である。なお、図４に示すよう
に、復号・補間演算回路１１０は、処理量割り当て回路
Ａ・４０４と、ＭＰＥＧデコード回路群４０８と、処理
量割り当て回路Ｂ・４１２と、拡大縮小回路群４１６を
備えている。また、ＭＰＥＧデコード回路群４０８およ
び拡大縮小回路群４１６それぞれは、さらにそれらを構
成する構成手段を備えている。それについては、後に説
明する。

【００２１】メモリＩ／Ｆ１１１は、復号・補間演算回
路１１０の拡大縮小回路群４１６から複数の画像を入力
するとともに、それら画像それぞれが、メモリ１１２に
書き込まれるさいの書き込み位置の情報を、演算量制御
回路１０２の書き出し位置制御回路３０２から入力し、
それぞれの画像とそれに対応する書き込み位置の情報を
まとめる手段である。

【００２２】メモリ１１２は、メモリＩ／Ｆ１１１から
の、画像とそれに対応する書き込み位置の情報の組を複
数個入力し、入力した書き込み位置の情報に基づいて、
図５（ａ）のディスプレイ５０１に画像が表示されるさ
いに、所定の位置に画像が表示されるように、画像を記
憶する手段である。

【００２３】次に、このような本発明の実施の形態１の
画像データ処理装置の動作を述べる。

【００２４】先ず、ユーザーＩ／Ｆ回路１００が、図５
（ａ）のディスプレイ５０１に、ユーザーが表示しよう
とする５つの画像それぞれのウィンドウの大きさ、形状
および位置の指示を、ユーザーから受け付け、その情報
を形状演算回路１０１の貼り付け面の大きさ・形状決定
回路２０１と、演算量制御回路１０２の書き出し位置制
御回路３０２とに出力する。

【００２５】次に、形状演算回路１０１の貼り付け面の
大きさ・形状決定回路２０１が、ユーザーＩ／Ｆ回路１
００からの５つのウィンドウそれぞれの大きさおよび形
状の情報に基づいて、それら５つのウィンドウの大きさ
および形状を決定し、その情報を縦・横比率演算回路２
０２に出力する。そして、縦・横比率演算回路２０２
が、その情報に基づいて、５つのウィンドウそれぞれに
表示される画像の拡大縮小比率を演算し、その演算結果
を演算量制御回路１０２の各構成手段と、復号・補間演
算回路１１０の処理量割り当て回路Ａ・４０４とに出力
する。

【００２６】その後、演算量制御回路１０２の書き出し
位置制御回路３０２が、先ず、ユーザーＩ／Ｆ回路１０
０からの５つのウィンドウそれぞれの大きさ、形状およ
び位置の情報と、形状演算回路１０１の縦・横比率演算
回路２０２からの５つのウィンドウそれぞれに表示され
る画像の拡大縮小比率の情報とを入力する。そして、そ
れら２つの情報に基づいて、５つのウィンドウそれぞれ
に、正確に画像が表示されるように、画像がメモリ１１
２に書き込まれるさいの、画像の書き込み位置を特定
し、その情報をメモリＩ／Ｆ１１１に出力する。

【００２７】同時に、演算量制御回路１０２の画像復号
制御回路３０４が、形状演算回路１０１の縦・横比率演
算回路２０２からの拡大縮小比率の情報に基づいて、５
つのウィンドウそれぞれの大きさおよび形状に最も近い
大きさおよび形状の画像を復号するように、復号・補間
演算回路１１０のＭＰＥＧデコード回路群４０８が行う
ＭＰＥＧ画像データの復号方法を決定する。そして、そ
の復号方法の情報を復号・補間演算回路１１０の処理量
割り当て回路Ａ・４０４に出力する。

【００２８】ここで、画像復号制御回路３０４が決定す
る復号方法を、具体的に説明する。その説明のために、
画像符号発生源１・１０６からのＭＰＥＧ画像データの
ＤＣＴ係数を全て復号した図を、画像符号発生源１・１
０６の原図とし、その原図の拡大縮小図を図５（ａ）の
ディスプレイ５０１のウィンドウ５０３に表示するもの
とする。また、図６に、復号・補間演算回路１１０のＭ
ＰＥＧデコード回路群４０８が行うＭＰＥＧ画像データ
の復号方法を説明するための図を示す。

【００２９】さて、画像符号発生源１・１０６の原図と
ウィンドウ５０３との大きさが一致するかそれに近けれ
ば、画像復号制御回路３０４は、ＭＰＥＧデコード回路
群４０８に、画像符号発生源１・１０６からのＭＰＥＧ
画像データの８×８のＤＣＴ係数を全て復号させるよう
に、復号方法を決定する。つまり、ＭＰＥＧデコード回
路群４０８は、図６（ａ）に示すように、画像符号発生
源１・１０６からのＭＰＥＧ画像データのＤＣＴ係数を
全て復号する。

【００３０】次に、ウィンドウ５０３の大きさが、画像
符号発生源１・１０６の原図の縦方向、横方向ともに３
／４程度であれば、画像復号制御回路３０４は、ＭＰＥ
Ｇデコード回路群４０８に、画像符号発生源１・１０６
からの８×８のＭＰＥＧ画像データのＤＣＴ係数のうち
の、周波数の低い方の６×６の係数のみを復号させるよ
うに、復号方法を決定する。つまり、ＭＰＥＧデコード
回路群４０８は、図６（ｂ）に示すように、画像符号発
生源１・１０６からのＭＰＥＧ画像データの６×６のＤ
ＣＴ係数のみを復号する。同様に、ウィンドウ５０３の
大きさが、画像符号発生源１・１０６の原図の縦方向、
横方向ともに１／２程度であれば、図６（ｃ）に示すよ
うに、画像復号制御回路３０４は、ＭＰＥＧデコード回
路群４０８に、周波数の低い方の４×４のＤＣＴ係数の
みを復号させるように、復号方法を決定する。

【００３１】また、ウィンドウ５０３の大きさが、画像
符号発生源１・１０６の原図の縦方向、横方向ともに２
倍程度であれば、画像復号制御回路３０４は、ＭＰＥＧ
デコード回路群４０８に、画像符号発生源１・１０６か
らの８×８のＭＰＥＧ画像データのＤＣＴ係数に、高周
波数成分の係数としてゼロの係数を追加して、１６×１
６の係数として復号させるように、復号方法を決定す
る。つまり、ＭＰＥＧデコード回路群４０８は、図６
（ｄ）に示すように、画像符号発生源１・１０６からの
８×８のＭＰＥＧ画像データのＤＣＴ係数にゼロの係数
を追加して、１６×１６の係数として復号する。同様
に、ウィンドウ５０３の大きさが、画像符号発生源１・
１０６の原図の縦方向、横方向ともに自然数Ｎ倍程度で
あれば、画像復号制御回路３０４は、ＭＰＥＧデコード
回路群４０８に、画像符号発生源１・１０６からの８×
８のＭＰＥＧ画像データのＤＣＴ係数に、周波数の高い
成分の係数としてゼロの係数を追加して、８Ｎ×８Ｎの
係数として復号させるように、復号方法を決定する。こ
のように、画像符号発生源１・１０６の原図を拡大する
場合は、自然数倍となる。

【００３２】以上説明したように、演算量制御回路１０
２の画像復号制御回路３０４は、復号・補間演算回路１
１０のＭＰＥＧデコード回路群４０８が行うＭＰＥＧ画
像データの復号方法を決定する。

【００３３】さらに、その決定と同時に、演算量制御回
路１０２のサイズ変換制御回路３０３が、形状演算回路
１０１の縦・横比率演算回路２０２からの画像の拡大縮
小比率の情報に基づいて、５つのウィンドウそれぞれの
大きさおよび形状に合致するように、復号・補間演算回
路１１０の拡大縮小回路群４１６で拡大縮小される、画
像の拡大縮小方法を決定する。

【００３４】上述した復号方法の説明より、ＭＰＥＧデ
コード回路群４０８では、画像符号発生源１・１０６等
からのＭＰＥＧ画像データの原図は、自然数Ｎ倍、また
は、６／８や４／８といった特定の大きさになるように
しか拡大または縮小されない。したがって、それぞれの
ウィンドウの大きさが、原図の２／５というような、特
定の大きさでない場合、サイズ変換制御回路３０３は、
ＭＰＥＧデコード回路群４０８で復号される画像がそれ
ぞれのウィンドウに合致するように、拡大縮小回路群４
１６に、画素の補間または間引きをさせる、画像の拡大
縮小方法を決定する。

【００３５】そして、サイズ変換制御回路３０３は、決
定した拡大縮小方法の情報を復号・補間演算回路１１０
の処理量割り当て回路Ｂ・４１２に出力する。

【００３６】復号・補間演算回路１１０の処理量割り当
て回路Ａ・４０４は、先ず、画像符号発生源１・１０
６、画像符号発生源２・１０７、画像符号発生源３・１
０８、…、画像符号発生源ｎ・１０９それぞれから、符
号化されたＭＰＥＧ画像データを入力する。そして、形
状演算回路１０１の縦・横比率演算回路２０２からの複
数のＭＰＥＧ画像データそれぞれに基づく画像の拡大縮
小の情報と、演算量制御回路１０２の画像復号制御回路
３０４からの複数のＭＰＥＧ画像データそれぞれの復号
方法の情報とを対照する。さらに、処理量割り当て回路
Ａ・４０４は、上述した２つの情報からの、複数のＭＰ
ＥＧ画像データそれぞれの復号のための処理量に基づい
て、ＭＰＥＧデコード回路群４０８が有する演算ユニッ
ト群のいずれを、複数のＭＰＥＧ画像データそれぞれの
復号に割り当てるかを決定する。その演算ユニットにつ
いては、後に説明する。つまり、処理量割り当て回路Ａ
・４０４は、複数のＭＰＥＧ画像データそれぞれの復号
時の処理量に基づいて、ＭＰＥＧデコード回路群４０８
が複数のＭＰＥＧ画像データを、一度に、並列的に復号
することができるように、それぞれのＭＰＥＧ画像デー
タの復号に、ＭＰＥＧデコード回路群４０８の演算ユニ
ット群のいずれを割り当てるかを決定する。そして、処
理量割り当て回路Ａ・４０４は、決定した割り当ての情
報と、画像符号発生源１・１０６、画像符号発生源２・
１０７、画像符号発生源３・１０８、…、画像符号発生
源ｎ・１０９それぞれからのＭＰＥＧ画像データとを、
復号・補間演算回路１１０のＭＰＥＧデコード回路群４
０８に出力する。

【００３７】その後、ＭＰＥＧデコード回路群４０８
が、処理量割り当て回路Ａ・４０４から割り当て情報
と、複数のＭＰＥＧ画像データとを入力する。

【００３８】ところで、ＭＰＥＧデコード回路群４０８
は、図７に示すように、外部インタフェース回路２５０
０と、結合方式演算回路２５０９と、可変結合回路２５
０７と、演算ユニット１・２５０１と、演算ユニット２
・２５０２と、演算ユニット３・２５０３と、演算ユニ
ット４・２５０４と、演算ユニット５・２５０５と、
…、演算ユニットｎ・２５０６と、データ一時記憶回路
２５０８から構成される。

【００３９】したがって、ＭＰＥＧデコード回路群４０
８に入力される、割り当て情報と複数のＭＰＥＧ画像デ
ータは、実際には、外部インタフェース回路２５００に
入力されることになる。

【００４０】そして、データ一時記憶回路２５０８が、
外部インタフェース回路２５００から、複数のＭＰＥＧ
画像データを入力し、一時蓄積する。

【００４１】他方、結合方式演算回路２５０９は、外部
インタフェース回路２５００から、割り当て情報を入力
し、その情報を可変結合回路２５０７に出力する。

【００４２】その後、可変結合回路２５０７が、結合方
式演算回路２５０９からの割り当て情報に基づいて、デ
ータ一時記憶回路２５０８に一時蓄積されていた、複数
のＭＰＥＧ画像データを、複数の演算ユニット群のいず
れかに割り当てる。例えば、図５（ａ）のディスプレイ
５０１のウインドウの大きさが大きいものに対応するＭ
ＰＥＧ画像データは、復号方法の説明時に述べたよう
に、復号するさいのＤＣＴ係数が多いので、処理量が多
いものとして３つの演算ユニットを割り当てる。それに
対し、ウインドウの大きさが小さいものに対応するＭＰ
ＥＧ画像データは、復号するさいのＤＣＴ係数が少ない
ので、処理量が少ないものとして１つの演算ユニットを
割り当てるといった具合である。具体的には、図６
（ａ）では、３つの演算ユニットを割り当て、図６
（ｃ）では、１つの演算ユニットを割り当てるといった
具合である。

【００４３】そして、割り当てられた一つまたは複数の
演算ユニットが、対応するＭＰＥＧ画像データを復号す
る。そのさい、可変結合回路２５０７の割り当てにした
がって、割り当てられた演算ユニット群の全部または一
部が、複数のＭＰＥＧ画像データを、同時に、並列的に
復号する。なお、その復号の方法は、図６を用いて説明
した、演算量制御回路１０２の画像復号制御回路３０４
が決定した復号方法に基づくものである。これについて
は、上述したので、ここでは省略する。それら復号され
た複数の画像は、外部インタフェース回路２５００を介
して、復号・補間演算回路１１０の処理量割り当て回路
Ｂ・４１２に出力される。

【００４４】次に、処理量割り当て回路Ｂ・４１２が、
先ず、ＭＰＥＧデコード回路群４０８から複数の画像を
入力する。そして、処理量割り当て回路Ｂ・４１２は、
演算量制御回路１０２のサイズ変換制御回路３０３から
の画像の拡大縮小方法の情報に基づいて、ＭＰＥＧデコ
ード回路群４０８で復号された画像それぞれが、対応す
るウィンドウの大きさおよび形状に合致するように、Ｍ
ＰＥＧデコード回路群４０８からの画像から、画素を間
引いたり補間するための処理量を判断する。さらに、そ
の判断に基づいて、拡大縮小回路群４１６の演算ユニッ
ト群のいずれを、ＭＰＥＧデコード回路群４０８からの
複数の画像それぞれの処理に割り当てるかを決定する。
その演算ユニットは、上述した、ＭＰＥＧデコード回路
群４０８の演算ユニットと同様なものである。つまり、
処理量割り当て回路Ｂ・４１２は、ＭＰＥＧデコード回
路群４０８からの複数の画像それぞれの処理量に基づい
て、拡大縮小回路群４１６が複数の画像を一度に、並列
的に処理することができるように、それぞれの画像の処
理に、拡大縮小回路群４１６の演算ユニット群のいずれ
を割り当てるかを決定する。そして、処理量割り当て回
路Ｂ・４１２は、決定した割り当ての情報と、ＭＰＥＧ
デコード回路群４０８からの複数の画像とを、復号・補
間演算回路１１０の拡大縮小回路群４１６に出力する。

【００４５】その後、拡大縮小回路群４１６が、処理量
割り当て回路Ｂ・４１２から割り当て情報と、複数の画
像とを入力する。

【００４６】ところで、拡大縮小回路群４１６は、ＭＰ
ＥＧデコード回路群４０８と同様に、外部インタフェー
ス回路と、結合方式演算回路と、可変結合回路と、複数
の演算ユニットと、データ一時記憶回路から構成され
る。

【００４７】したがって、ＭＰＥＧデコード回路群４０
８と同様に、拡大縮小回路群４１６は、処理量割り当て
回路Ｂ・４１２からの割り当て情報に基づいて、割り当
てられた一つまたは複数の演算ユニットが、対応する画
像の画素の間引きまたは補間を行う。例えば、図８
（ａ）の画像を、同図（ｂ）の画像へ縮小する場合、画
素の間引きが行われるが、その画素の間引き時に発生す
る折り返し歪みの発生を抑える処理を３つの演算ユニッ
トが行い、間引き処理を１つの演算ユニットが行い、さ
らに、カラー変換するのであれば、その変換処理を２つ
の演算ユニットが行うといった具合である。このよう
に、処理量割り当て回路Ｂ・４１２からの割り当て情報
にしたがって、割り当てられた演算ユニット群の全部ま
たは一部が、複数の画像について、同時に、並列的に画
素の間引きまたは補間を行う。なお、その画素の間引き
または補間は、対応するウィンドウの大きさおよび形状
に合致するように行われる。それら画素の間引きまたは
補間が施された複数の画像は、外部インタフェース回路
を介して、メモリＩ／Ｆ１１１に出力される。

【００４８】次に、メモリＩ／Ｆ１１１が、拡大縮小回
路群４１６からの複数の画像と、演算量制御回路１０２
の書き出し位置制御回路３０２からのメモリ１１２に画
像が書き込まれるさいの書き込み位置の情報とを入力
し、それぞれの画像とそれに対応する書き込み位置の情
報を、図５（ａ）のディスプレイ５０１の５つのウィン
ドウそれぞれについてまとめ、その情報を、拡大縮小回
路群４１６からの複数の画像のとともに、メモリ１１２
に出力する。

【００４９】最後に、メモリ１１２が、図５（ａ）のデ
ィスプレイ５０１に画像が表示されるさいに、所定の位
置に正確に画像が表示されるように、画像を記憶する。
メモリ１１２に記憶される画像が再生されると、図５
（ａ）のディスプレイ５０１のそれぞれのウィンドウに
画像が表示されることになる。

【００５０】なお、ＭＰＥＧデコード回路群４０８およ
び拡大縮小回路群４１６として、メディア処理プロセッ
サを用いてもよい。

【００５１】また、実施の形態１では、処理量割り当て
回路Ａ・４０４と処理量割り当て回路Ｂ・４１２とが分
離され、また、ＭＰＥＧデコード回路群４０８と拡大縮
小回路群４１６とが分離された場合について述べてきた
が、処理量割り当て回路Ａ・４０４と処理量割り当て回
路Ｂ・４１２とを分離せずに一つの処理量割り当て回路
とし、また、ＭＰＥＧデコード回路群４０８と拡大縮小
回路群４１６とを分離せずに一つの画像データ処理回路
としてもよい。この場合、画像データ処理回路は、処理
量割り当て回路の指示にしたがって、割り当てられた演
算ユニットにおいて、ＭＰＥＧ画像データの復号、およ
び、画像の拡大縮小を行えばよい。

【００５２】さらに、実施の形態１では、図５のディス
プレイ５０１（ａ）に示すように、各ウィンドウに表示
される画像は、その画像全体の拡大縮小率が同一のもの
である場合について述べてきたが、図９に示すディスプ
レイのウィンドウ１２０１やウィンドウ１２０３に表示
される画像のように、その画像全体の拡大縮小率が同一
でなく、部分的に異なる画像であってもよい。その場
合、ＭＰＥＧデコード回路群４０８および拡大縮小回路
群４１６は、部分的に拡大縮小率が異なる画像について
は、例えば、拡大縮小率が同一の画像を作り出す場合に
比べて、処理量が多いものとして、その処理量に応じた
演算ユニットにおいて、その処理を行えばよい。

【００５３】（実施の形態２）本発明の実施の形態２の
画像データ処理装置の構成をその動作とともに述べる。

【００５４】本発明の実施の形態２の画像データ処理装
置の構成は、本発明の実施の形態１の画像データ処理装
置の構成と同一であって、その動作が、本発明の実施の
形態１の画像データ処理装置の動作と一部異なる。

【００５５】したがって、実施の形態２では、実施の形
態１で説明したところと異なる部分についてのみ説明す
る。

【００５６】図５（ａ）のディスプレイ５０１の５つの
ウィンドウのうち、ウィンドウ５０５と５０６、およ
び、ウィンドウ５０６と５０７は、重なるように表示さ
れている。このように、ユーザーＩ／Ｆ回路１００が、
ユーザーから、複数のウィンドウのうちの一部が重なる
ように、それら複数のウィンドウを表示させる旨の指示
を受け付けた場合、ユーザーＩ／Ｆ回路１００は、その
重複状況の情報をも形状演算回路１０１の貼り付け面の
大きさ・形状決定回路２０１に出力する。

【００５７】このとき、貼り付け面の大きさ・形状決定
回路２０１は、ユーザーＩ／Ｆ回路１００からの重複状
況の情報をも利用して、５つのウィンドウの大きさおよ
び形状を決定する。

【００５８】その後、形状演算回路１０１の縦・横比率
演算回路２０２は、図５（ａ）のディスプレイ５０１の
５つのウィンドウそれぞれに表示される画像の拡大縮小
比率の情報を、演算量制御回路１０２の各構成手段と、
復号・補間演算回路１１０の処理量割り当て回路Ａ・４
０４とに出力するとともに、ユーザーＩ／Ｆ回路１００
が入力した重複状況の情報をも、演算量制御回路１０２
の各構成手段と、処理量割り当て回路Ａ・４０４とに出
力する。

【００５９】そして、演算量制御回路１０２の書き出し
位置制御回路３０２は、形状演算回路１０１の縦・横比
率演算回路２０２からのウィンドウの重複状況の情報を
も利用して、５つの画像がメモリ１１２に書き込まれる
さいの、それら画像の書き込み位置を特定する。

【００６０】また、演算量制御回路１０２の画像復号制
御回路３０４は、形状演算回路１０１の縦・横比率演算
回路２０２からのウィンドウの重複状況の情報をも利用
して、復号・補間演算回路１１０のＭＰＥＧデコード回
路群４０８がＭＰＥＧ画像データを復号するさいに、重
複部分が復号されないように、ＭＰＥＧ画像データの復
号方法を決定する。つまり、図５（ａ）のディスプレイ
５０１のウィンドウ５０５および５０７については、そ
れぞれ同図（ｂ）のウィンドウ５０８、５０９の部分の
画像のみのＭＰＥＧ画像データがＭＰＥＧデコード回路
群４０８で復号されるように、画像復号制御回路３０４
は、復号方法を決定する。いいかえると、図５（ａ）の
ディスプレイ５０１のウィンドウ５０５および５０７が
ウィンドウ５０６に隠れる部分の画像のＭＰＥＧ画像デ
ータについては、復号されないように、復号方法は決定
される。この結果、ＭＰＥＧデコード回路群４０８での
復号時の処理量は低減する。

【００６１】さらに、演算量制御回路１０２のサイズ変
換制御回路３０３は、形状演算回路１０１の縦・横比率
演算回路２０２からのウィンドウの重複状況の情報をも
利用して、５つのウィンドウそれぞれの大きさおよび形
状に合致するように、復号・補間演算回路１１０のＭＰ
ＥＧデコード回路群４０８で復号される画像の拡大縮小
方法を決定する。つまり、図５（ａ）のディスプレイ５
０１のウィンドウ５０５および５０７のウィンドウ５０
６に隠れる部分の画像については、復号・補間演算回路
１１０の拡大縮小回路群４１６で処理されないように、
拡大縮小方法は決定される。この結果、拡大縮小回路群
４１６での処理量は低減する。

【００６２】次に、復号・補間演算回路１１０の処理量
割り当て回路Ａ・４０４は、演算量制御回路１０２の画
像復号制御回路３０４からの、ウィンドウの重複状況が
考慮された復号方法の情報を利用して、複数の画像のＭ
ＰＥＧ画像データの復号に、ＭＰＥＧデコード回路群４
０８の演算ユニット群のいずれを割り当てるかを決定す
る。つまり、処理量割り当て回路Ａ・４０４は、図５
（ａ）のディスプレイ５０１のウィンドウ５０５および
５０７については、ウィンドウ５０６に隠れる部分だ
け、ＭＰＥＧ画像データの復号量が実施の形態１の場合
に比べて削減されるように、ＭＰＥＧデコード回路群４
０８の演算ユニット群の割り当てを決定する。

【００６３】そして、復号・補間演算回路１１０の処理
量割り当て回路Ｂ・４１２は、演算量制御回路１０２の
サイズ変換制御回路３０３からの、ウィンドウの重複状
況が考慮された拡大縮小方法の情報を利用して、ＭＰＥ
Ｇデコード回路群４０８からの画像が対応するウィンド
ウの大きさおよび形状に合致するように、拡大縮小回路
群４１６の演算ユニット群のいずれを、ＭＰＥＧデコー
ド回路群４０８からの複数の画像それぞれの処理に割り
当てるかを決定する。つまり、処理量割り当て回路Ｂ・
４１２は、図５（ａ）のディスプレイ５０１のウィンド
ウ５０５および５０７については、ウィンドウ５０６に
隠れる部分だけ、画像の拡大縮小量が実施の形態１の場
合に比べて削減されるように、拡大縮小回路群４１６の
演算ユニット群の割り当てを決定する。

【００６４】さらに、メモリＩ／Ｆ１１１は、拡大縮小
回路群４１６から複数の画像と、演算量制御回路１０２
の書き出し位置制御回路３０２からのメモリ１１２に画
像が書き込まれるさいの書き込み位置の情報とを入力
し、図５（ａ）の５つのウィンドウのうち、ウィンドウ
５０５と５０７については、図５（ｂ）に示す部分のみ
を、メモリ１１２に画像を書き込ませる。

【００６５】以上の結果、メモリ１１２に記憶される画
像が再生されると、実施の形態１と同様に、図５（ａ）
のディスプレイ５０１のそれぞれのウィンドウに画像が
表示されることになる。

【００６６】（実施の形態３）本発明の実施の形態３の
画像データ処理装置の構成をその動作とともに述べる。

【００６７】本発明の実施の形態３の画像データ処理装
置の構成は、本発明の実施の形態１の画像データ処理装
置の構成と同一であって、その動作が、本発明の実施の
形態１または２の画像データ処理装置の動作と一部異な
る。

【００６８】したがって、実施の形態３では、実施の形
態１または２で説明したところと異なる部分についての
み説明する。

【００６９】実施の形態１および２では、図５（ａ）の
ディスプレイ５０１に表示される画像の数は、５である
ものとして説明してきたが、画像の数が例えば２０とい
うように多数になると、復号・補間演算回路１１０のＭ
ＰＥＧデコード回路群４０８または拡大縮小回路群４１
６では、演算ユニット群の全ての演算ユニットが、それ
ぞれ処理をしても処理量が多すぎて処理することができ
ない場合がある。

【００７０】その場合、ユーザーＩ／Ｆ回路１００は、
ユーザーザから各ＭＰＥＧ画像データの処理についての
優先順位の情報を入力し、演算量制御回路１０２の画像
復号制御回路３０４およびサイズ変換制御回路３０３
に、各ＭＰＥＧ画像データの処理についての優先順位の
情報を出力する。

【００７１】画像復号制御回路３０４は、ユーザーＩ／
Ｆ回路１００からの、各画像の処理についての優先順位
の情報に基づいて、復号・補間演算回路１１０のＭＰＥ
Ｇデコード回路群４０８の全ての演算ユニットが処理し
た場合の処理量を超えないように、優先順位の低いＭＰ
ＥＧ画像データから順に、ＤＣＴ係数の周波数の低い部
分のみ復号され、対応するウィンドウの大きさよりも縮
小された大きさで復号されるように、各ＭＰＥＧ画像デ
ータの復号方法を決定する。つまり、画像復号制御回路
３０４は、優先順位の低いＭＰＥＧ画像データから順
に、復号処理量を削減する。その場合、復号・補間演算
回路１１０の処理量割り当て回路Ａ・４０４は、画像復
号制御回路３０４の復号方法の決定に基づいて、ＭＰＥ
Ｇデコード回路群４０８の演算ユニット群のいずれを、
複数のＭＰＥＧ画像データそれぞれの復号に割り当てる
のかを決定する。

【００７２】サイズ変換制御回路３０３は、画像復号制
御回路３０４と同様に、ユーザーＩ／Ｆ回路１００から
の、各画像の処理についての優先順位の情報に基づい
て、復号・補間演算回路１１０の拡大縮小回路群４１６
の全ての演算ユニットが処理した場合の処理量を超えな
いように、また、優先順位の低いＭＰＥＧ画像データか
らの復号画像から順に処理量を削減するように、ＭＰＥ
Ｇデコード回路群４０８からの各画像の拡大縮小方法を
決定する。つまり、サイズ変換制御回路３０３は、優先
順位の低いＭＰＥＧ画像データからの画像から順に、拡
大縮小処理量を削減する。この場合、例えば、優先順位
の低いＭＰＥＧ画像データから復号された画像を拡大す
るさい、単純に計算された画像信号を所定の位置の周囲
に配置することで処理量を削減する。ただし、拡大され
た画像は、モザイク画像のようになる。そして、復号・
補間演算回路１１０の処理量割り当て回路Ｂ・４１２
は、サイズ変換制御回路３０３の拡大縮小方法の決定に
基づいて、拡大縮小回路群４１６の演算ユニット群のい
ずれを、複数の画像それぞれの拡大縮小に割り当てるの
かを決定する。なお、実施の形態３では、各ＭＰＥＧ画
像データの処理についての優先順位の情報は、ユーザー
Ｉ／Ｆ回路１００がユーザーから入力するとしたが、画
像復号制御回路３０４およびサイズ変換制御回路３０３
に、優先順位の情報を決定するルールをあらかじめ設定
してもよい。そして、画像復号制御回路３０４およびサ
イズ変換制御回路３０３は、あらかじめ決められたルー
ルに基づいて、それぞれ復号方法、拡大縮小の方法を決
定するとしてもよい。そのあらかじめ決められたルール
とは、ディスプレイの一番手前にあるウィンドウの画像
処理の優先順位を最も高いものとし、一番奥にあるウィ
ンドウの画像処理の優先順位を最も低いものとするルー
ルであってもよいし、一番最後に操作されたウィンドウ
の画像処理の優先順位を最も高いものとし、一番最先に
操作されたウィンドウの画像処理の優先順位を最も低い
ものとするルールであってもよい。または、大きなウィ
ンドウほど優先順位が高いものとするなど、ウィンドウ
の大きさに基づいたルールであってもよい。または、Ｍ
ＰＥＧ画像データの信号源によって優先順位が異なるル
ールであってもよい。例えば、信号源としてのＴＶチュ
ーナーからのＭＰＥＧ画像データの画像処理の優先順位
は、信号源としてのＤＶＤやディジタルビデオからのＭ
ＰＥＧ画像データの画像処理の優先順位より高いとする
ルールであってもよい。また、あらかじめ決められたル
ールは、ユーザーが設定を変えることができるようにし
てもよい。さらに、あらかじめ決められたルールによる
優先順位が、例えば、ウィンドウ１は１番高く、ウィン
ドウ２は２番目、ウィンドウ３は３番目、ウィンドウ４
は４番目となる場合であっても、ウィンドウ２を３番
目、ウィンドウ３を２番目となるように、ユーザーが優
先順位を変更するように、ユーザーの指示が、あらかじ
め決められたルールに優先するとしてもよい。

【００７３】また、実施の形態３では、各ＭＰＥＧ画像
データの処理についての優先順位の情報は、各画像それ
ぞれのフレームレートを低下させる情報であってもよ
い。

【００７４】なお、本発明の拡大縮小情報入力手段は、
ユーザーＩ／Ｆ回路１００と、形状演算回路１０１と、
演算量制御回路１０２から構成される。画像処理手段
は、復号・補間演算回路１１０のＭＰＥＧデコード回路
群４０８と拡大縮小回路群４１６から構成される。割り
当て手段は、復号・補間演算回路１１０の処理量割り当
て回路Ａ・４０４と処理量割り当て回路Ｂ・４０４から
構成される。しかしながら、本発明の拡大縮小情報入力
手段は、ユーザーＩ／Ｆ回路１００と、形状演算回路１
０１と、演算量制御回路１０２から構成されるものに限
らず、画像データに対する拡大縮小の程度の情報を入力
するものでありさえすればよい。また、画像処理手段
は、復号・補間演算回路１１０のＭＰＥＧデコード回路
群４０８と拡大縮小回路群４１６から構成されるものに
限らず、複数の画像データを処理する処理ユニットを複
数個有し、画像データを入力して、拡大縮小情報入力手
段から画像データに対する拡大縮小の程度の情報に基づ
き、割り当て手段からの処理ユニット群の割り当てにし
たがって、画像処理するものでありさえすればよい。さ
らに、割り当て手段は、復号・補間演算回路１１０の処
理量割り当て回路Ａ・４０４と処理量割り当て回路Ｂ・
４０４から構成されるものに限らず、拡大縮小情報入力
手段から画像データに対する拡大縮小の程度の情報を入
力し、画像処理手段の処理ユニット群の全部または一部
を、画像データに対する拡大縮小の程度の情報に基づい
て、その拡大縮小の程度の情報に対応する画像データの
拡大縮小処理に割り当てるものでありさえすればよい。

【００７５】また、上述した実施の形態では、符号化さ
れたＭＰＥＧ画像データを復号し、その画像を拡大縮小
する場合について述べてきたが、本発明の画像データ処
理装置は、符号化されたＭＰＥＧ画像データが完全に復
号された画像を複数個入力し、それら画像それぞれを拡
大縮小するさいにおいても、その拡大縮小率に応じて決
定される処理量に基づいて、演算ユニット群の割り当て
を決定し、割り当てられた演算ユニットに、画像の拡大
縮小処理をさせてもよい。

【００７６】さらに、上述した実施の形態１および２で
は、１つのディスプレイに５の画像が表示される場合に
ついて説明してきたが、ディスプレイに表示される画像
の数は、５に限ったものではない。要するに、ディスプ
レイに表示される画像の数は、複数でありさえすればよ
い。

【００７７】

【発明の効果】以上説明したところから明らかなよう
に、本発明は、複数のＭＰＥＧ画像データを再生して、
パーソナルコンピュータ等のディスプレイに、同時に複
数の画像を表示する場合でも、一つの装置で、複数のＭ
ＰＥＧ画像データを柔軟に処理する画像データ処理装置
を提供することができる。

【図面の簡単な説明】

【図１】本発明の実施の形態の画像データ処理装置のブ
ロック図

【図２】本発明の実施の形態の画像データ処理装置の形
状演算回路のブロック図

【図３】本発明の実施の形態の画像データ処理装置の演
算量制御回路のブロック図

【図４】本発明の実施の形態の画像データ処理装置の復
号・補間演算回路のブロック図

【図５】本発明の実施の形態で用いられるパーソナルコ
ンピュータのディスプレイの一例

【図６】本発明の実施の形態の画像データ処理装置の復
号・補間演算回路のＭＰＥＧデコード回路群が行うＭＰ
ＥＧ画像データの復号方法を説明するための図

【図７】本発明の実施の形態の画像データ処理装置の復
号・補間演算回路のＭＰＥＧデコード回路群のブロック
図

【図８】本発明の実施の形態の画像データ処理装置の拡
大縮小回路群が行う処理を説明するための図

【図９】図５の場合以外の本発明の実施の形態で用いら
れるパーソナルコンピュータのディスプレイの例

【符号の説明】

１００ユーザーＩ／Ｆ回路１０１形状演算回路１０２演算量制御回路１０６画像符号発生源１１０７画像符号発生源２１０８画像符号発生源３１０９画像符号発生源ｎ１１０復号・補間演算回路１１１メモリＩ／Ｆ１１２メモリ２０１貼り付け面の大きさ・形状決定回路２０２縦・横比率演算回路３０２書き出し位置制御回路３０３サイズ変換制御回路３０４画像復号制御回路４０４処理量割り当て回路Ａ４０８ＭＰＥＧデコード回路群４１２処理量割り当て回路Ｂ４１６拡大縮小回路群５０１ディスプレイ５０３、５０４、５０５、５０６、５０７、５０８、５
０９、１２０１、１２０２、１２０３ウィンドウ２５００外部インタフェース回路２５０１演算ユニット１２５０２演算ユニット２２５０３演算ユニット３２５０４演算ユニット４２５０５演算ユニット５２５０６演算ユニットｎ２５０７可変結合回路２５０８データ一時記憶回路２５０９結合方式演算回路

フロントページの続き (72)発明者津田賢治郎大阪府門真市大字門真1006番地松下電器産業株式会社内 (72)発明者米山輝大阪府門真市大字門真1006番地松下電器産業株式会社内

Claims

【特許請求の範囲】

【請求項１】複数の画像データに対する拡大縮小の程度
の情報を入力する拡大縮小情報入力手段と、画像データ
を処理する処理ユニットを複数個有し、複数の画像デー
タを入力して画像処理する画像処理手段と、前記拡大縮
小情報入力手段から前記拡大縮小の程度の情報を入力
し、前記画像処理手段の処理ユニット群の全部または一
部を、前記拡大縮小の程度の情報に基づいて、その拡大
縮小の程度の情報に対応する画像データの拡大縮小処理
に割り当てる割り当て手段とを備え、前記画像処理手段
は、前記拡大縮小の程度の情報に基づき、前記処理ユニ
ット群の割り当てにしたがって、複数の画像データを処
理することを特徴とする画像データ処理装置。
【請求項２】前記画像データは、複数個の画像につい
て、ぞれぞれ符号化されたＭＰＥＧ画像データであり、
前記拡大縮小情報入力手段は、複数個の前記ＭＰＥＧ画
像データに対するそれぞれの拡大縮小の程度の情報を入
力し、前記割り当て手段は、前記画像処理手段の処理ユ
ニット群の全部または一部を、前記複数個のＭＰＥＧ画
像データに対するそれぞれの拡大縮小の程度の情報に基
づいて、前記複数個のＭＰＥＧ画像データの復号および
拡大縮小処理に割り当て、前記画像処理手段は、前記複
数個のＭＰＥＧ画像データを入力し、前記処理ユニット
群の割り当てにしたがって、前記複数個のＭＰＥＧ画像
データそれぞれについて、全部または一部のデータを復
号して拡大縮小処理することを特徴とする請求項１記載
の画像データ処理装置。
【請求項３】前記複数個の画像のうちのいずれかが重複
して表示される場合、前記拡大縮小情報入力手段は、そ
の画像の重複状況の情報を入力し、前記割り当て手段
は、前記画像処理手段の処理ユニット群のいずれもを、
前記画像の重複状況の情報に基づいて、画像が隠れる部
分のＭＰＥＧ画像データの復号および拡大縮小処理に割
り当てないことを特徴とする請求項２記載の画像データ
処理装置。
【請求項４】前記拡大縮小情報入力手段は、前記複数の
画像データに対する処理の優先順位の情報を入力し、前
記割り当て手段は、前記画像処理手段の処理ユニットの
全部または一部を、前記複数の画像データに対する処理
の優先順位の情報をも考慮して、前記複数の画像データ
の処理に割り当てることを特徴とする請求項１から３の
いずれかに記載の画像データ処理装置。
【請求項５】前記画像処理手段は、メディア処理プロセ
ッサであることを特徴とする請求項１から４のいずれか
に記載の画像データ処理装置。