JP3387883B2 - 画像処理装置、および画像処理方法 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は画像処理装置、およ
び画像処理方法に関し、特に、画像データと、当該画像
データの時間的変化を示す情報である変化情報とを入力
して、表示用画像データを生成する画像処理装置、およ
び画像処理方法に関する。

【０００２】

【従来の技術】画像をデジタル化してデジタル画像デー
タを得る技術は、放送、テレビ電話、テレビ会議、及び
コンピュータネットワークシステム等における画像デー
タの表示や伝送等のために重要な技術である。そして、
デジタル画像データの蓄積については、ＤＶＤ等の大容
量の蓄積媒体が普及しつつあり、これらの媒体には、Ｍ
ＰＥＧ１やＭＰＥＧ２等に従って圧縮処理をされた符号
化動画像データが蓄積されることが一般的である。

【０００３】このような媒体に蓄積されたデータは、例
えば媒体がＤＶＤであればＤＶＤプレーヤを含む再生装
置において再生され、利用されるものとなる。そして、
ネットワークシステム等において伝送されるデータを用
いた再生の場合、元の動画像と同様の画像を表示等する
通常再生が専ら行われるのと比較して、かかる再生装置
における再生の場合には、利用者の便宜のため種々の特
殊再生機能を有するものとなっていることが多い。特殊
再生機能としては、元の動画像とは時系列的に逆方向に
再生する逆再生、元の動画像の動きよりも高速な動きの
ものとして再生する高速再生、高速かつ逆方向の再生を
行う高速逆再生等がある。

【０００４】例えばＤＶＤプレーヤを含む再生装置にお
いて、ＤＶＤに蓄積された圧縮符号化データを再生する
場合、通常再生を行う場合には、圧縮符号化データを逐
次伸長復号化処理して出力（表示等）するものとなる。
これに対して高速再生を行う場合には、データの一部の
みを出力（表示等）することで、高速な表示等を行うこ
とが一般的である。圧縮符号化された動画像データは、
一般的に一画面、すなわち１フレームを単位として処理
されているものとなるので、通常再生であれば各フレー
ムを逐次処理し表示等するのに対して、高速再生であれ
ば、一部のフレームを間引きするコマ（フレーム）落と
し処理がされることとなる。例えば毎秒２５フレームか
ら構成される画像データに対して、２５フレーム中１フ
レームのみを処理して出力するものとすれば、２５倍速
の再生が行われるものとなる。

【０００５】図１５は、フレームを単位とする動画像デ
ータに対しての通常再生と高速再生とを説明するための
図である。図示するＦ１からＦ１３までは、通常再生の
出力画像に含まれるフレームごとの画像であって、これ
らは時系列に従ってこの順に再生されるべきものとなっ
ている。再生装置においてこのデータを通常再生する場
合には、Ｆ１からＦ１３までのデータが、ＮＴＳＣやＰ
ＡＬ等のテレビ信号規格に応じた周期により順に出力さ
れる。

【０００６】これに対して、図示する矢印は４倍速の高
速再生の際のフレーム出力順を示すものである。この場
合、Ｆ１フレームが出力された後にＦ５フレームが、次
いで、Ｆ９、Ｆ１３フレームが出力されるものとなり、
４フレームのうち１フレームのみが出力されることで４
倍速の高速再生が行われるものである。

【０００７】なお、逆再生の場合時系列と逆順にＦ１３
からＦ１の順に従って、順次再生が行われるものであ
り、高速逆再生であれば、時系列と逆順にＦ１３、Ｆ
９、Ｆ５、Ｆ１とやはり４フレームのうち１フレームが
出力されることで、４倍速の高速逆再生が行われるもの
となる。

【０００８】このような特殊再生機能は、前述のように
再生装置においては一般的なものであるが、画像データ
を伝送する場合にも、低ビットレートでの伝送が必要と
なる場合などにおいては、上記の高速再生と同様にフレ
ームを間引きして出力するデータを伝送することも行わ
れている。

【０００９】

【発明が解決しようとする課題】従来の技術による画像
処理装置においては、上記のようにフレームを間引きし
て出力（表示、伝送等）することで、高速再生を可能と
するものである。しかし、このような処理による場合間
引きの対象となるフレームについては、全く出力の対象
とならないことから、当該間引きの対象となったフレー
ムが有する、動画像の動きについての情報が完全に失わ
れることとなる点が問題となっていた。

【００１０】例えば、図１５に示す画像データのフレー
ムＦ２からＦ７において、ある物体が右から左への動き
を有していたものとする。この画像データに対して、上
述の４倍速の高速再生を行った場合、フレームＦ５のみ
により伝達される情報によっては、物体の右から左への
動きは全く伝えられることがないものとなる。従って、
高速再生の表示結果を利用する使用者においては、当該
物体がいかなる動きをしていたものか、あるいは動かず
に止まっていたのかについての知見を得ることはできな
い。

【００１１】また、従来の技術による画像処理装置にお
いて、フレームを間引きすることにより高速再生を行う
場合には、出力されるフレームが不連続なものとなるこ
とから、使用者にとって違和感のある表示しか得られな
いものとなる点が問題となっていた。

【００１２】さらに、従来の技術による画像処理装置に
おいて、フレームを間引きすることにより高速再生を行
う場合には、使用者が表示結果のみからは、通常再生が
行われているか高速再生が行われているかについて、容
易に知見を得ることができない点が問題となっていた。
すなわち、間引きの程度が小さい（比較的低速）場合の
みならず、間引きの程度が大きい（高速）の場合にも、
上述のような違和感のある表示であるにもかかわらず、
それが高速再生であるのか、特殊効果等を奏するような
動画像等が通常再生されているのかを容易に知ることが
できないものとなっていた。そして、低ビットレートで
の伝送に際して、前述のようにフレームを間引きしたデ
ータが伝送される場合にも、伝送先において表示等され
利用される際に同様の現象が生じる点が問題となってい
た。

【００１３】本発明はかかる事情に鑑みてなされたもの
であり、高速再生を行う場合にも、本来の画像が有する
動きの情報を伝達することが可能な画像処理装置、およ
び画像処理方法を提供することを目的とする。また、本
発明は、高速再生を行う場合にも、不連続な表示による
違和感が少ない良好な表示を行うことが可能な画像処理
装置、および画像処理方法を提供することを目的とす
る。

【００１４】また、本発明は、高速再生が行われている
か否かを、表示画面等により容易に知ることが可能な画
像処理装置、および画像処理方法を提供することを目的
とする。また、本発明は、高速再生の場合と同様にフレ
ームを間引きしたデータを伝送する際においても、動き
の情報を伝達し、違和感がなく、しかも、再生状態につ
いて容易に知ることが可能な画像処理装置、および画像
処理方法を提供することを目的とする。

【００１５】

【課題を解決するための手段】上記目的を達成するため
に、本発明の請求項１にかかる画像処理装置は、画像デ
ータと、当該画像データの時間的変化を示す情報である
変化情報とを入力して、表示用画像データを生成する画
像処理装置であって、予め、単位画像データ毎に付され
た上記変化情報を用いて当該単位画像データを構成する
画素の重み付け加算処理を行ない、表示用画像データを
生成する動き生成部を備えるものである。

【００１６】また、請求項２にかかる画像処理装置は、
画像データと、当該画像データの時間的変化を示す情報
である変化情報とを入力して、表示用画像データを生成
する画像処理装置であって、複数の、予め単位画像デー
タ毎に付された上記変化情報に基づいて、当該単位画像
データより小さい単位である処理単位画像データに対応
する変化情報を生成し、上記生成した処理単位画像デー
タに対応する変化情報を用いて当該処理単位画像データ
を構成する画素の重み付け加算処理を行ない、表示用画
像データを生成する動き生成部を備えるものである。

【００１７】また、請求項３にかかる画像処理装置は、
請求項１に記載の画像処理装置であって、上記動き生成
部は、上記変化情報から各画素毎に移動量及び重み係数
を決定する移動量重み係数決定部と、上記移動量に基づ
いて処理対象とする画素を決定する処理対象画素決定部
と、上記重み係数を用いて上記処理対象となる画素の画
素データを重み付け加算処理する重み付け加算部とを備
えるものである。

【００１８】また、請求項４にかかる画像処理装置は、
請求項２に記載の画像処理装置であって、上記動き生成
部は、単位画像データ毎に付された複数の変化情報に基
づいて、当該単位画像データより小さい単位である処理
単位画像データに対応する変化情報を生成する動きベク
トル補間部と、上記処理単位画像データに対応する変化
情報から各画素毎に移動量及び重み係数を決定する移動
量重み係数決定部と、上記移動量に基づいて処理対象と
する画素を決定する処理対象画素決定部と、上記重み係
数を用いて上記処理対象となる画素の画素データを重み
付け加算処理する重み付け加算部とを備えるものであ
る。

【００１９】また、請求項５にかかる画像処理装置は、
請求項１、又は請求項２に記載の画像処理装置であっ
て、上記動き生成部は、変化情報の時間的変化を示す変
化情報遷移情報を取得し、該取得した変化情報遷移情報
に基づいて、画像データを構成する画素の重み付け加算
処理を行ない、表示用画像データを生成するものであ
る。

【００２０】また、請求項６にかかる画像処理装置は、
請求項３、又は請求項４に記載の画像処理装置であっ
て、上記移動量重み係数決定部は、入力された変化情報
を格納する変化情報格納部を備え、上記変化情報格納部
に格納された時間が異なる複数の変化情報に基づいて各
画素毎に移動量及び重み係数を決定するものである。

【００２１】また、請求項７にかかる画像処理装置は、
請求項１、又は請求項２に記載の画像処理装置であっ
て、上記表示用画像データの表示状態を指示する再生情
報を入力する再生情報入力部をさらに備え、上記動き生
成部は、上記再生情報を用いて表示画像データを生成す
るものである。

【００２２】また、請求項８にかかる画像処理装置は、
請求項１、又は請求項２に記載の画像処理装置であっ
て、入力とする変化情報と閾値とを比較し、当該比較結
果に基づいて第２の変化情報を生成する閾値判定処理部
をさらに備え、上記動き生成部は、上記第２の変化情報
を用いて表示用画像データを生成するものである。

【００２３】また、請求項９にかかる画像処理装置は、
請求項１、又は請求項２に記載の画像処理装置であっ
て、入力とする変化情報の値に予め定める係数を乗じて
第２の変化情報を生成する動きベクトル処理部をさらに
備え、上記動き生成部は、上記第２の変化情報を用いて
表示用画像データを生成するものである。

【００２４】また、請求項１０にかかる画像処理装置
は、請求項１、又は請求項２に記載の画像処理装置であ
って、処理対象となる画像データの領域を判定する領域
判定部をさらに備えるものである。

【００２５】また、請求項１１にかかる画像処理方法
は、画像データと、当該画像データの時間的変化を示す
情報である変化情報とを入力して、表示用画像データを
生成する画像処理方法であって、予め、単位画像データ
毎に付された上記変化情報を用いて、当該単位データを
構成する画素の重み付け加算処理を行ない、表示用画像
データを生成するものである。

【００２６】また、請求項１２にかかる画像処理方法
は、画像データと、当該画像データの時間的変化を示す
情報である変化情報とを入力して、表示用画像データを
生成する画像処理方法であって、複数の、予め単位画像
データ毎に付された上記変化情報に基づいて、当該単位
画像データより小さい単位である処理単位画像データに
対応する変化情報を生成し、上記生成した処理単位画像
データに対応する変化情報を用いて、当該処理単位画像
データを構成する画素の重み付け加算処理を行ない、表
示用画像データを生成するものである。

【００２７】また、請求項１３にかかる画像処理方法
は、請求項１１、又は請求項１２に記載の画像処理方法
であって、変化情報の時間的変化を示す変化情報遷移情
報を取得し、該取得した変化情報遷移情報に基づいて、
画像データを構成する画素の重み付け加算処理を行な
い、表示用画像データを生成するものである。

【００２８】また、請求項１４にかかる画像処理方法
は、請求項１１、又は請求項１２に記載の画像処理方法
であって、上記表示用画像データの表示状態を指示する
再生情報を入力し、上記再生情報を用いて表示用画像デ
ータを生成するものである。

【００２９】また、請求項１５にかかる画像処理方法
は、請求項１１、又は請求項１２に記載の画像処理方法
であって、入力とする変化情報と閾値とを比較し、当該
比較結果に基づいて生成した第２の変化情報を用いて表
示用画像データを生成するものである。

【００３０】また、請求項１６にかかる画像処理方法
は、請求項１１、又は請求項１２に記載の画像処理方法
であって、入力とする変化情報の値に予め定める係数を
乗じて生成した第２の変化情報を用いて表示用画像デー
タを生成するものである。

【００３１】また、請求項１７にかかる画像処理方法
は、請求項１１、又は請求項１２に記載の画像処理方法
であって、処理対象とする画像データの領域を判定し、
当該判定結果を用いて表示用画像データを生成するもの
である。

【００３２】

【００３３】

【００３４】

【００３５】

【発明の実施の形態】実施の形態１．本発明の実施の形
態１による画像処理装置は、マクロブロックごとの動き
ベクトルに基づいて動き情報を生成し、画像データに付
与するものである。図１は、本発明の実施の形態１によ
る画像処理装置の全体構成を示すブロック図である。図
示するように、本実施の形態１の画像処理装置は、画像
伸長部１０１、第１フレームメモリ１０２、動き生成部
１０３、及び第２フレームメモリ１０４を備えており、
当該画像処理装置の装置入力として、ＤＶＤ等の蓄積媒
体より圧縮符号化されたデジタル動画像データを入力
し、当該画像処理装置の装置出力として表示データを表
示用モニタ等に出力する。また、当該画像処理装置の装
置の入出力は、ネットワーク等により伝送されるものと
することもできる。

【００３６】画像伸長部１０１は、装置入力である符号
化画像データに対して、圧縮符号化処理の逆処理である
伸長復号化処理を行うことにより、伸長画像データを生
成する。第１フレームメモリ１０２は、画像伸長部１０
１が生成した伸長画像データを格納する。第１フレーム
メモリ１０２としては、ＤＲＡＭメモリ等の記憶媒体を
用いることができる。

【００３７】動き生成部１０３は、第１フレームメモリ
１０２に格納された伸長画像データに対し、画像の動き
を伝達する情報（以下、動き情報と称する。）を付与す
る動き生成・付与処理を行い動き情報付き画像データを
生成する。第２フレームメモリ１０４は、動き生成部１
０３による動き生成・付与処理を行うための作業領域と
して用いられる一時記憶媒体であり、また、動き生成部
１０３が生成した動き情報付き画像データを表示用画像
データとして格納する。第２フレームメモリ１０４とし
ては、第１フレームメモリ１０２と同様にＤＲＡＭメモ
リ等の記憶媒体を用いることができる。

【００３８】なお、本実施の形態１の画像処理装置で
は、画像データを構成する単位画像データであるマクロ
ブロック（後述する）ごとに付された動きベクトルを用
いて、当該マクロブロックを構成する画素の重み付け加
算処理を行なうものである。

【００３９】図２は、図１に示す動き生成部１０３の内
部構成を示すブロック図である。図示するように動き生
成部１０３は、移動量重み係数決定部２０１と、処理対
象画素決定部２０５として機能する第１アドレス生成部
２０２および第２アドレス生成部２０３と、重み付け加
算部２０４とを備えており、重み付け加算部２０４は、
第１の乗算器２１０、第２の乗算器２１１、第３の乗算
器２１２、第４の乗算器２１３、および加算器２１４を
備えている。

【００４０】動き生成部１０３には、画像伸長部１０１
（図１）から変化情報である動きベクトル（Ｘ，Ｙ）、
およびこの動きベクトルに対応したマクロブロック識別
データが入力される。

【００４１】移動量重み係数決定部２０１は、動きベク
トルを入力し、これに基づいて、伸長画像データに含ま
れる処理対象となる画素ごとに、動き生成処理に用いる
移動量（ｄｘ，ｄｙ）と、重み係数（ｗ０〜ｗ３）とを
生成する。第１アドレス生成部２０２は、マクロブロッ
ク識別データを入力し、これに基づいて画像データを第
２フレームメモリ１０４に格納する際の、画素ごとの格
納アドレス（ａｄｒ）を生成する。第２アドレス生成部
２０３は、第１アドレス生成部２０２が生成した格納ア
ドレスと、移動量重み係数決定部２０１が生成した移動
量（ｄｘ，ｄｙ）とを入力し、これらに基づいて画像デ
ータを第１フレームメモリ１０２から読み出す際の、４
つの画素の格納アドレス（ａｄｒ０〜ａｄｒ３）を生成
する。

【００４２】重み付け加算部２０４は、移動量重み係数
決定部２０１が生成した重み係数（ｗ０〜ｗ３）を入力
し、第２アドレス生成部２０３が生成したアドレスを用
いて第１フレームメモリ１０２から読み出した４つの画
素の画素データ（ｐｉｘｅｌ０からｐｉｘｅｌ３）に対
しての重み付け加算処理を行う。重み付け加算処理は重
み付け加算部２０４が備える第１から第４の乗算器２１
０〜２１３による、画素データに対して重み量を乗算処
理する重み付け処理と、これら乗算処理により得られる
４つの重み付け結果に対する加算器２１４における加算
処理とからなるものである。

【００４３】図３から図７は、本実施の形態１の画像処
理装置における処理を説明するための図である。以下
に、図１、および図２を参照しつつ、図３から図７を用
いて、本実施の形態１の画像処理装置が、蓄積媒体等か
ら入力した画像データを処理する際の動作を説明する。

【００４４】本実施の形態１の画像処理装置が備える画
像伸長部１０１に、蓄積媒体から符号化画像データが入
力される。ここで符号化画像データは、一般的な圧縮符
号化規格であるＭＰＥＧ１やＭＰＥＧ２に従って符号化
されているものとする。このような符号化においては、
複数の画素を含むマクロブロックを処理単位として圧縮
符号化処理が行われるものであり、デジタル画像データ
の１フレーム（一画面）内における相関関係、すなわち
空間的相関関係に基づくフレーム内符号化処理を行うと
ともに、デジタル画像データの、時系列的に近接するフ
レーム間における相関関係、すなわち時間的相関関係に
基づくフレーム間符号化処理を行うことで、高い圧縮率
が得られるものとなる。

【００４５】すなわち、フレーム内処理においては画素
そのものが処理対象となるのに比較して、フレーム間処
理においては、処理対象とするマクロブロック（単位画
素領域）につき、時系列的に近接するフレーム間におい
てどれだけの動きがあったかを検出し、動きを示す動き
ベクトルを生成することで、高い圧縮率を実現するもの
である。

【００４６】一般的な圧縮符号化の処理手順に従って、
ここでは１つのマクロブロックは６個の画素ブロック
（８×８画素等、一定の画素で構成される。）からなる
ものであり、マクロブロックを構成する６個の画素ブロ
ックのうち４つが輝度信号を、２つが色差信号を示すも
のである。以下に、図３を用いて、本実施の形態１の画
像処理装置における処理対象の輝度信号についてのみ説
明するが、色差信号についても同様の処理が行われるも
のとなる。

【００４７】図３は、本実施の形態１の画像処理装置に
おいて、第１フレームメモリ１０２に格納されることと
なる伸長画像データと、動きベクトルとを説明するため
の図である。なお、ここでの動きベクトルは、順方向に
再生する場合に動くことが予想されている方向を示すも
のである。以下も断りがない限り同様とする。

【００４８】同図は、第１フレームメモリ１０２に格納
された伸長画像データの一部を示す概念図であり、ここ
では、第１〜第４の４つのマクロブロック３０１〜３０
４が格納されていることを示している。各マクロブロッ
クは１６×１６画素の構成を有するものとする。

【００４９】これらのマクロブロックは時系列的に近接
するマクロブロックとの間において検出された動きベク
トルが付加されているものであり、同図に示す３１１〜
３１４は、第１〜第４のマクロブロック３０１〜３０４
にそれぞれ付加された動きベクトルを示すものである。
第１〜第４のマクロブロック３０１〜３０４に付加され
た動きベクトル３１１〜３１４は、本実施の形態１にお
いて、画像伸長部１０１（図１）による伸長処理の際に
抽出され、画像伸長部１０１から動き生成部１０３が備
える移動量重み係数決定部２０１（図２）に入力され
る。

【００５０】ここで、図３に示す３１１〜３１４は、便
宜上各マクロブロック３０１〜３０４の中心から、動き
の方向を示すベクトルとなっている。又、これら動きベ
クトル３１１〜３１４は再生時間方向に対するものであ
るため、各マクロブロック３０１〜３０４は、時間の経
過に伴い各動きベクトル３１１〜３１４の方向に動きを
示すものと予想されることとなる。

【００５１】図１に示す動き生成部１０３は、図３に示
すマクロブロック３０１〜３０４（第１フレームメモリ
１０２に格納されている）を対象として、同図に示す動
きベクトル３１１〜３１４に基づいて、各マクロブロッ
クに含まれる画素に対する重み付け加算処理を行い、第
２フレームメモリ１０４（図１）に格納する。

【００５２】図４は、動き生成部１０３における、重み
付け加算処理において処理に用いる画素の決定方法を説
明するための図である。図示するマクロブロック３０１
と、動きベクトル３１１とは、図３と同等のものであ
り、マクロブロック３０１は動きベクトル３１１によっ
て示される方向に動くものと予想される。図４に示す４
０１は基準画素であり、４０２〜４０４は第１〜第３の
移動画素である。基準画素４０１は、重み付け加算処理
の処理対象となる画素であり、マクロブロック３０１の
領域の任意の画素を選択することができる。また、基準
画素の位置は座標位置(x0,y0) で示されるものであり、
この座標位置は後述するように第１アドレス生成部２０
２が生成するアドレスによって指定される。

【００５３】図２を用いて説明したように、動き生成部
１０３においては、移動量重み係数決定部２０１が、動
きベクトル(X,Y) を用いて、移動画素の決定に用いられ
る移動量(dx,dy) を生成する。本実施の形態１における
移動量重み係数決定部２０１は、任意の数k を用いて、 (dx,dy) = (X,Y) * k として生成するものである。図２に示すように、移動量
重み係数決定部２０１が生成した移動量は第２アドレス
生成部２０３に出力される。

【００５４】一方、やはり図２に示すように、画像伸長
部１０１から、動きベクトルに対応したマクロブロック
識別データが第１アドレス生成部２０２に対して入力さ
れ、第１アドレス生成部２０２では、このマクロブロッ
ク識別データに基づいて、基準画素４０１の第１フレー
ムメモリ１０２における格納位置を示す基準画素の格納
アドレス（ａｄｒ）が生成され、格納アドレスは第２ア
ドレス生成部２０３に出力されるとともに、第２フレー
ムメモリ１０４における格納位置の指定に用いられるも
のとなる。

【００５５】第２アドレス生成部２０３においては、第
１アドレス生成部２０２から入力された基準画素の格納
アドレス(ａｄｒ）と、移動量重み係数決定部２０１か
ら入力される移動量とによって、第１〜第３の移動画素
の格納位置を指定する３つの画素の格納アドレス（ａｄ
ｒ１〜ａｄｒ３）を生成する。これらと基準画素の格納
位置を示すａｄｒ０（ａｄｒと同じ）は、処理に用いる
４つの画素の格納位置を示す格納アドレス(ａｄｒ）と
なる。

【００５６】動き生成部１０３における移動画素の決定
は、以下のようにして図４に示すように行われる。ま
ず、第１の移動画素４０２は、基準画素４０１の座標位
置を元にして、移動量により示される分だけ動いた位置
の画素として決定される。すなわち、基準画素４０１の
座標位置(x0,y0) と、移動量(dx,dy) とから、第１の移
動画素４０２の座標位置は、 (x1,y1) = (x0,y0) + (dx,dy) * 1 として決定される。同様にして、移動量(dx,dy) を用い
て、第２、および第３の移動画素４０３、および４０４
は、座標位置をそれぞれ(x2,y2) 、(x3,y3) として、 (x2,y2) = (x0,y0) + (dx,dy) * 2 (x3,y3) = (x0,y0) + (dx,dy) * 3 として決定される。

【００５７】図２に示す第２アドレス生成部２０３によ
り生成された４つの格納アドレスａｄｒ０〜ａｄｒ３
は、それぞれ(x0,y0),(x1,y1),(x2,y2),(x3,y3)とな
る。図１において動き生成部１０３は、第１フレームメ
モリ１０２に格納された伸長画像データより、これらの
アドレスで指定される格納位置をアクセスし、４つの画
素の画素値（ｐｉｘｅｌ０〜ｐｉｘｅｌ３）が取得さ
れ、これらは図２に示すように重み付け加算部２０４に
入力される。なお、図４に示すように第３の移動画素４
０４は、当該マクロブロックの領域外に存在するものと
なるので、このような場合には他のマクロブロックから
該当する画素の画素値が取得される。

【００５８】図２に示すように、動き生成部１０３にお
いては、移動量重み係数決定部２０１が、処理に用いる
各画素データの貢献度を示す重み係数（ｗ０〜ｗ３）を
決定し、これを重み付け加算部２０４に出力する。ここ
では、移動量重み係数決定部２０１が、基準画素４０１
（図４）、および第１〜第３の移動画素４０２〜４０４
に対しての重み係数ｗ０〜ｗ３として、１／２、１／
４、１／８、１／８を生成して出力するものである。こ
こで重み係数ｗ０〜ｗ３は、それぞれの画素の画素値
（各画素の輝度を示す）に乗算されることにより重みを
与えるものとなるのであり、本実施の形態１ではこれら
の総和を１とすることにより、処理によって画像の輝度
が変化することを防止するものである。

【００５９】図２に示す重み付け加算部２０４において
は、その内包する第１〜第４の乗算器２１０〜２１３に
それぞれ、基準画素４０１（図４）、および第１〜第３
の移動画素４０２〜４０４に対しての重み係数ｗ０〜ｗ
３が入力される。又、第１〜第４の乗算器２１０〜２１
３にはそれぞれ、基準画素４０１、および第１〜第３の
移動画素４０２〜４０４の画素値ｐｉｘｅｌ０〜ｐｉｘ
ｅｌ３が入力され、第１〜第４の乗算器２１０〜２１３
は、それぞれ、入力された重み係数と画素値とを乗算処
理し、得られた乗算結果を加算器２１４に出力する。加
算器２１４では、４つの乗算結果が加算処理され、動き
生成・付与処理がされた画素値（ｐｉｘｅｌ）が生成さ
れて第２フレームメモリ１０４（図１）に出力される。

【００６０】前述のように、動き生成部１０３の第１ア
ドレス生成部２０２（図２）で生成されたアドレス（ａ
ｄｒ）は、第２フレームメモリ１０４における格納位置
の指定にも用いられるので、この格納位置（ａｄｒ）、
すなわち第１フレームメモリにおける基準画素４０１
（図４）の格納位置に相当する格納位置に、処理された
画素値（ｐｉｘｅｌ）が格納されることとなる。

【００６１】図３に示すマクロブロック３０１に含まれ
る全ての画素を基準画素として、以上の処理が行われる
ことにより、当該マクロブロック３０１に含まれる全て
の画素に相当する処理済みの画素が第２フレームメモリ
１０４（図１）に格納されることとなる。さらに、図３
に示す他のマクロブロック３０２等に対しても同様の処
理が行われ、第１フレームメモリ１０２に格納された全
ての画像データに対応する動き生成・付与処理のされた
データが第２フレームメモリ１０４に格納されることと
なる。第２フレームメモリ１０４に格納された画像デー
タは、当該画像処理装置の装置出力として表示等される
ものとなり、当該画像処理装置に対して蓄積媒体等から
後続の装置入力があれば、画像伸長部１０１の処理以降
が繰り返されるものとなる。

【００６２】図５は、以上のように行われる本実施の形
態１の画像処理装置における動き生成・付与処理を説明
するための図、図６は、かかる処理による効果を示す概
念図である。これらを用いて、本実施の形態１における
動き生成・付与処理についてさらに説明する。

【００６３】図５は重み付け加算処理の説明を単純化す
るため、図４に示す座標位置（二次元で示される）を一
次元の水平座標として示し、垂直座標に画素値を示すも
のである。同図(a) は、重み付け加算処理前の状態を示
し、座標位置５２０を有する処理対象画素（図４の基準
画素４０１に相当する。）が、画素値ｐｖを有するもの
となっている。また、座標位置５２１〜５２３を有する
画素（図４の移動画素４０２〜４０４に相当する。）
は、いずれも画素値が０となっている。又、図中のベク
トル５０１は、図３、および図４の動きベクトル３１１
に相当するものであり、動きの方向を一次元的に示すベ
クトルである。

【００６４】図５(b) は、図２に示す重み係数ｗ０〜ｗ
３を示すものである。図において、水平座標は同図(a)
と同様の一次元の座標位置を示すものであり、垂直座標
は重み係数の値を示すものである。図示するように、座
標位置５２０（図４の基準画素４０１に相当する。）、
および５２１〜５２３（図4の移動画素４０２〜４０４
に相当する。）を有する画素は、それぞれ重み係数が１
／２、１／４、１／８、１／８となっている。

【００６５】重み付け加算処理は、図５(a) に示す座標
位置５２０〜５２３の画素の画素値に対して、同図(b)
に示す座標位置５２０〜５２３に対する重み係数をそれ
ぞれ乗算し、それら乗算結果の総和が、処理済みの画素
値となるものである。このような処理を図５(a) の水平
座標により示される全ての画素に対して、同図(b) の重
み係数を用いて実行することで本実施の形態１における
動き生成・付与処理は行われる。

【００６６】また、図中の画素５５１や５５２の処理に
あたって、画素５２０が移動画素として用いられた場合
には、画素５２０が有する画素値ｐｖに設定された重み
付けがされて用いられることとなる。例えば画素５５１
と５５２とがともに画素値０を有するものであり、画素
５２０以外の移動画素５２１〜５２３も画素値が０であ
った場合、画素５５１を基準画素とした処理において、
画素５２０が第２移動画素として用いられたならば、画
素５５１は画素値ｐｖ／４となり、画素５５２を基準画
素とした処理において画素５２０が第１移動画素として
用いられたならば、画素５５２は画素値ｐｖ／２とな
る。

【００６７】図５(c) および同図(d) は、かかる動き生
成・付与処理の結果を示す図である。これらの図では、
同図(a) と同様に、水平座標は一次元の座標位置を、垂
直座標は画素値を示すものである。同図(c) において
は、７５０で示す狭い領域にのみ画素値を有する画素が
存在する状態を示しており、７５１は同図(a) と同様に
動きの方向を示すベクトルである。この状態に対して、
重み付け加算処理（動き生成・付与処理）を行って得ら
れる同図(d) に示す状態では、同図(c) と比較してベク
トル７５１が示す向きに動き情報が付与されたものとな
っている。

【００６８】図６は、本実施の形態１の画像処理装置の
装置出力を表示する場合の効果を示す概念図である。同
図(a) は、動き生成・付与処理を行わない場合の表示状
態を、同図(b) は行った場合の表示状態を示すものであ
り、同図(b) においては、動きのある画像を時間方向に
積分したと同等の表示結果が得られるものとなってい
る。従って、本実施の形態１の画像処理装置により動き
生成・付与処理を行った場合には、同図(a) のような表
示しかされ得ない従来の技術による画像処理装置と比較
して、同図(b) に示すような動き感のある表示ができ、
動きについての情報を提供することが可能となるもので
ある。

【００６９】このように、本実施の形態１の画像処理装
置によれば、画像伸長部１０１、第１フレームメモリ１
０２、動き生成部１０３、及び第２フレームメモリ１０
４を備え、第１フレームメモリ１０２に格納された伸長
画像データに対して、動き生成部１０３が、画像伸長部
１０１から取得する動きベクトルを用いて動き生成・付
与処理を行い、該処理の結果得られた画像データを第２
フレームメモリ１０４に格納するので、当該画像処理装
置の装置出力として表示等される画像は動き情報を伴う
ものであって、動き感を有する表示結果を得ることが可
能となる。従って、従来の技術による画像処理装置より
も、違和感の少ない表示を行い得るものであり、動き情
報が付与されていることによって、使用者が再生状態を
容易に知ることが可能となるものである。また、本実施
の形態１の画像処理装置における装置入力が、フレーム
を間引きして低ビットレートにおいて伝送される画像デ
ータである場合にも、同様に処理をすることで同様の効
果が得られる。

【００７０】なお、本実施の形態１では、動き生成部１
０３の処理について、図４に示すように基準画素に対す
る移動画素の決定は、移動量を用いて線形処理を行うこ
と、すなわち移動量に対して１、２、３を乗じて移動画
素を決定することとしているが、これは一例にすぎず、
これら以外の数値を用いて線形処理により行われるもの
とすること、あるいは非線形処理により行われるものと
することも可能であり、同様の動き生成・付与処理を行
い、上記の効果を得ることができる。

【００７１】図７は、移動画素の決定にあたり非線形処
理を行う場合を説明するための図である。同図において
マクロブロック３０１、および動きベクトル３１１は、
図３、および図４と同等のものを示している。また、基
準画素４０１は、図４に示す実施の形態１と同様に選定
された処理対象の画素である。

【００７２】図７に示す場合において、第１〜第３の移
動画素４０２〜４０４は、座標位置(x1',y1') 、(x2',y
2') 、(x3',y3') で指定されるものであり、これらは、 (x1',y1') = (x0,y0) + (dx,dy) * 1 (x2',y2') = (x0,y0) + (dx,dy) * 4 (x3',y3') = (x0,y0) + (dx,dy) * 8 で決定されるものとなっている。このような非線形処理
により決定される移動画素を用いる場合にも、実施の形
態１と同様の動き生成・付与処理を行うことが可能であ
る。

【００７３】また、本実施の形態１では、動き生成部１
０３（図１）が備える移動量重み係数決定部２０１（図
２）は、重み係数ｗ０〜ｗ３として、１／２、１／４、
１／８、１／８を生成して出力するものとしているが、
この数値も一例であり、他の係数を用いて処理を行うこ
とも設定により可能である。さらに、前述のように、本
実施の形態１では、重み係数の総和を１となるようにし
て輝度（色差の場合も同様）の変化を防止しているが、
特殊効果を得たい場合などにおいて輝度を変更するので
あれば、設定により総和が１とならないような係数を用
いることも可能である。

【００７４】実施の形態２．本発明の実施の形態２によ
る画像処理装置は、実施の形態１と同様に、動きベクト
ルに基づいて動き情報を生成し、画像データに付与する
が、複数の動きベクトルが示す画像の状態と、再生状態
とに基づいて動き情報を生成し、画像データに付与する
ものである。

【００７５】図８は、本発明の実施の形態２による画像
処理装置の全体構成を示すブロック図である。図示する
ように、本実施の形態２の画像処理装置は、画像伸長部
１０１、第１フレームメモリ１０２、動き生成部８０
３、第２フレームメモリ１０４、および再生情報入力部
８０５を備えており、実施の形態１の画像処理装置の全
体構成（図１）に再生情報入力部８０５を追加した構成
となっている。そして、実施の形態１の画像処理装置と
同様に、当該画像処理装置の装置入力として、ＤＶＤ等
の蓄積媒体より圧縮符号化されたデジタル動画像データ
を入力し、当該画像処理装置の装置出力として表示デー
タを表示用モニタ等に出力する。

【００７６】再生情報入力部８０５は、当該画像処理装
置が用いる再生情報を外部より入力する。ここで再生情
報は、再生方向、再生速度等を指示する情報である。な
お、画像伸長部１０１、第１フレームメモリ１０２、お
よび第２フレームメモリ１０４は、前述した実施の形態
１と同様であるため同一の番号を付し、説明を省略す
る。

【００７７】動き生成部８０３は、実施の形態１におけ
る１０３と同様に、図２に示す内部構成を有し、動き生
成・付与処理を行うものであるが、本実施の形態２の装
置における動き生成部８０３では、移動量重み係数決定
部２０１の構成、及び動作が上述した実施の形態１のも
のとは異なるものとなっている。

【００７８】図９は、本実施の形態２の画像処理装置が
備える移動量重み係数決定部２０１の内部構成を示す図
である。図示するように移動量重み係数決定部２０１
は、変化情報格納部として機能する第１〜第４の動きベ
クトル格納部９０１〜９０４と、動きベクトル決定部９
０５とを備えている。変化情報格納部として機能する第
１〜第４の動きベクトル格納部９０１〜９０４は、画像
伸長部１０１（図８）から入力される変化情報たる動き
ベクトルを格納する。第１〜第４の動きベクトル格納部
９０１〜９０４には、異なる時刻に相当する画像データ
の動きベクトルが格納されるものとなっている。

【００７９】動きベクトル決定部９０５は、再生情報入
力部８０５（図８）から入力する再生情報に対応して、
第１〜第４の動きベクトル格納部９０１〜９０４に格納
された動きベクトルから動きベクトルの時間的変化を示
す変化情報遷移情報を取得し、当該取得した変化情報遷
移情報に基づいて、移動量と重み係数を生成する。すな
わち、実施の形態１では、単一の時刻の動きベクトルに
基づいて処理が行われたのに対して、本実施の形態２で
は、時刻が異なる複数の動きベクトルに基づいて処理が
行われるものである。

【００８０】このように本実施の形態２において、動き
生成部８０３は、変化情報として入力する動きベクトル
の時間的変化である変化情報遷移情報に基づいて、表示
用画像データを生成するものである。また、画像データ
の表示状態を指定する再生情報を入力する再生情報入力
手段として再生情報入力部８０５を備え、後述するよう
に、再生情報に対応して表示用画像データを生成するも
のである。

【００８１】図１０から図１２は、本実施の形態２の画
像処理装置における処理を説明するための図である。以
下に、図８、および図９を参照しつつ、図１０から図１
２を用いて、本実施の形態２の画像処理装置が、蓄積媒
体等から入力した画像データを処理する際の動作を説明
する。

【００８２】本実施の形態２の画像処理装置が備える画
像伸長部１０１に、蓄積媒体から符号化画像データが入
力される。符号化画像データは実施の形態１の場合と同
様に一般的なフレーム間処理を含む圧縮符号化処理によ
って生成されたものであり、動きベクトルが付与された
ものであるとする。画像伸長部１０１は、実施の形態１
の画像伸長部１０１と同様に圧縮符号化処理の逆処理で
ある伸長復号化処理を行い、得られた伸長画像データを
第１フレームメモリ１０２に出力し、また動きベクトル
を動き生成部８０３に出力する。

【００８３】動き生成部８０３は入力された動きベクト
ルをいずれかの動きベクトル格納部に格納する。画像伸
長部１０１が後続の符号化データを処理して、動きベク
トルを動き生成部８０３に出力した際には、この動きベ
クトルは前段において動きベクトルが格納されたものと
は異なる動きベクトル格納部に格納される。これによ
り、動き生成部８０３が備える第１〜第４の動きベクト
ル格納部９０１〜９０４には、時刻の異なる画像データ
に対応した動きベクトルが格納されるものとなる。ここ
では、それぞれ時刻（Ｔ−３）（Ｔ−２）、（Ｔ−
１）、およびＴの動きベクトルを格納したものとする。

【００８４】本実施の形態２では、このように時刻の異
なる動きベクトルを複数保持することによって、動きベ
クトルの変化を示す情報を取得し、時間的な幅を持つ動
き情報を付与するものである。図１０は、動きベクトル
の変化を説明するための図である。同図において、１０
０１〜１００４は、特定のマクロブロックに着目した場
合における、時刻（Ｔ−３）（Ｔ−２）、（Ｔ−１）、
およびＴの動きベクトルを示すものであり、同図は上記
特定のマクロブロックにおける動きベクトルの大きさ
（スカラー値）の時間的変化を示す図である。これらの
時刻は時系列的にこの順に並ぶものであって、動きベク
トルは図示するような遷移状態をとるものである。

【００８５】本実施の形態２の動き生成部８０３におい
ては、これら４つの動きベクトルが第１〜第４の動きベ
クトル格納部９０１〜９０４に格納される。そして、動
きベクトル決定部９０５は、第１〜第４の動きベクトル
格納部９０１〜９０４に格納された動きベクトルから、
時系列に沿った動きベクトルの変化の状態を示す変化情
報遷移情報を取得し、該取得した変化情報遷移情報に対
応して移動量と重み係数とを生成する。

【００８６】図１１は、本実施の形態２による、動きベ
クトルの変化状態に対応した重み係数の選択を説明する
ための図である。同図は移動量と重み係数との関係を示
す図であり、同図(a) 〜(d) における水平座標は画素座
標（移動量）を、垂直座標は重み係数の値を示すもので
ある。動きベクトル決定部９０５は、動きベクトルの変
化の状態に応じて、図１１(a) 〜(d) のいずれかの関係
を示す関数を用いて重み係数を決定するものである。決
定は、動きベクトルの大きさと、動きベクトルの変化の
大きさとに基づいて行われる。

【００８７】動きベクトルが大きな場合は、処理対象と
なっている画像の動きが大きなものであることを示すの
で、動き情報の生成にあたっては、より広範囲の画素を
重み付け加算処理において用いることが望ましいものと
なる。従って、広範囲の画素座標に対して、重み係数が
設定されている図１１(b) や、図１１(d) の関係を示す
関数を用いて決定が行われることとする。これに対し
て、動きベクトルが小さな場合、すなわち画像の動きが
小さなものである場合は、動き情報の生成にあたり、比
較的狭い範囲の画素を重み付け加算処理に用いることが
望ましく、比較的狭い範囲の画素座標に対して、重み係
数が設定されている図１１(a) や、図１１(c) の関係を
示す関数を用いて決定が行われることとする。

【００８８】動きベクトルの変化が緩やかである場合に
は、処理対象（基準画素）の近傍の画素の影響を大きな
ものとすることが望ましいので、このような画素に重み
をかける図１１(c) や、図１１(d) の関係を示す関数を
用いて決定が行われることとする。これに対して、動き
ベクトルの変化が激しい場合には、基準画素から比較的
離れた位置の画素の影響も考慮することが望ましいもの
となることから、図１１(a) や、図１１(b) の関係を示
す関数を用いて決定が行われることとする。

【００８９】以上より、動きベクトルが小さく、動きの
変化が激しい場合には同図(a) の関係を示す関数を、動
きベクトルが大きく、動きの変化が激しい場合には同図
(b)の関係を示す関数を、動きベクトルが小さく、動き
の変化が緩やかである場合には同図(c) の関係を示す関
数を、動きベクトルが大きいく、動きの変化が緩やかで
ある場合には同図(d) の関係を示す関数を用いるものと
なる。これにより、画像の状態に適切に対応した重み付
け加算処理を行うことが可能となる。

【００９０】本実施の形態２の画像処理装置では、図８
に示す再生情報入力部８０５より、再生の速度と、再生
の方向すなわち順方向の再生が行われるか、逆方向の再
生が行われるかを示す再生情報が、動き生成部８０３が
内包する移動量重み係数決定部２０１（図２）に入力さ
れ、この再生情報は移動量重み係数決定部２０１内部に
おいて、動きベクトル決定部９０５に入力され、上記の
ような動きベクトルに関する情報とともに、移動量と重
み係数との決定に用いられるものである。

【００９１】再生情報のうち、再生の速度を示す情報
は、上記の動きベクトルの大小と同様に扱われる。即ち
再生の速度が大きなものである場合、動きベクトルが大
きな場合と同様に、広範囲の画素を処理に用いることと
するため、図１１(b) や、図１１(d) の関係を示す関数
が用いられる。これに対して再生の速度が小さなもので
ある場合、動きベクトルが小さな場合と同様に、比較的
狭い範囲の画素を処理に用いることとするため、図１１
(a) や、図１１(c) の関係を示す関数が用いられる。

【００９２】又、再生情報のうち、再生方向を示す情報
は次のように用いられる。図１２は、図１１と同様に、
再生方向に対応した重み係数の選択を説明するための図
であり、移動量と重み係数との関係を示す図である。水
平・垂直両座標は図１１と同様のものである。順方向の
再生、すなわち時系列に従った再生が行われる場合、図
１２(a) に示す前方向（動きの方向）に重み係数が設定
された関係を示す関数が用いられる。これに対して、逆
方向の再生、すなわち時系列と反対方向に再生が行われ
る場合、同図(b) に示す後方向（動きと逆の方向）に重
み係数が設定された関係を示す関数が用いられる。

【００９３】以上のように、適応的に選択された関数を
用いて、移動量と重み係数とが、移動量重み決定部２０
１（図２）において生成されたならば、以降の処理は実
施の形態１と同様に実行され、第２フレームメモリ１０
４（図８）には動き生成・付与処理のなされた画像デー
タが格納されるものとなる。従って、この画像データは
実施の形態１の場合と同様に、動き情報を伴うものであ
って、動き感を有する表示結果を得ることが可能とな
る。そして、付与された動き情報は、実施の形態１の場
合よりも、画像の状態に適合したものとなっている。

【００９４】このように、本実施の形態２の画像処理装
置によれば、画像伸長部１０１、第１フレームメモリ１
０２、動き生成部８０３、第２フレームメモリ１０４、
および再生情報入力部８０５を備え、第１フレームメモ
リ１０２に格納された伸長画像データに対して、動き生
成部８０３が、画像伸長部１０１から取得する動きベク
トルを用いて動き生成・付与処理を行い、該処理の結果
得られた画像データを第２フレームメモリ１０４に格納
するので、当該画像処理装置の装置出力として表示等さ
れる画像は動き情報を伴い、動き感を有する表示結果を
得ることが可能となる。そして、動き生成部８０３が備
える移動量重み係数決定部２０１は、第１〜第４の動き
ベクトル格納部９０１〜９０４を備えて、時刻の異なる
動きベクトルを保持し、動きベクトル決定部９０５を備
えて、動きベクトルの状態と再生情報とに対応した移動
量と重み係数との決定を行うので、より画像の状態に適
切に対応した動き情報を付与することが可能となる。ま
た、本実施の形態２の画像処理装置において、フレーム
を間引きして低ビットレートにおいて伝送される画像デ
ータを装置入力とする場合にも、同様に処理をすること
で同様の効果が得られる。

【００９５】なお、本実施の形態２では、移動量重み係
数決定部２０１は第１〜第４の動きベクトル格納部９０
１〜９０４を備え、動きベクトル決定部９０５は４つの
動きベクトルに基づいて処理を行うものとしているが、
これに限定されるものではなく、より小さな数として回
路規模の小型化と、処理の簡素化とを図ることも、より
大きな数として、より適切な処理を行うものとすること
も可能である。

【００９６】実施の形態３．本発明の実施の形態３によ
る画像処理装置は、実施の形態１と同様に、動きベクト
ルに基づいて動き情報を生成し、画像データに付与する
が、処理対象とする画素ごとに生成した動きベクトルに
基づいて動き情報を生成し、画像データに付与するもの
である。

【００９７】なお、本実施の形態３による画像処理装置
の全体構成は、実施の形態１と同様であり、説明には図
１を用いる。また、本実施の形態３の画像処理装置も、
実施の形態１の画像処理装置と同様に、図２に示す内部
構成の動き生成部１０３を備え、動き生成・付与処理を
行うものであるが、本実施の形態３の装置における動き
生成部は、移動量重み係数の決定部２０１と、処理対象
画素決定部として機能する第１アドレス生成部２０２お
よび第２アドレス生成部２０３と、重み付け加算部２０
４とに加え、さらに動きベクトル補完部１３０１を備え
る。なお、移動量重み係数の決定部２０１、第１アドレ
ス生成部２０２、第２アドレス生成部２０３、重み付け
加算部２０４は、上述した実施の形態１のものと同様で
あるため、同一の番号を付し、説明を省略する。

【００９８】図１３は、本実施の形態３の画像処理装置
が備える動き生成部１０３の内部構成を示す図である。
図示するように動きベクトル補間部１３０１は、第１〜
第４の乗算器１３１０〜１３１３と、第５〜第８の乗算
器１３２０〜１３２３と、加算器１３３０とを備えてい
る。ここで動きベクトル補間部１３０１が内包する第５
〜第８の乗算器１３２０〜１３２３と、加算器１３３０
とはベクトル演算用の乗算器、および加算器であり、二
組の乗算、および加算処理をすることが可能なものであ
る。

【００９９】動きベクトル補間部１３０１は、４つの動
きベクトルと、４つの位置情報とに基づいて補間処理を
行い、処理対象とする処理単位画像データに対応した動
きベクトルを生成する。なお、以下に説明する本実施の
形態３による補間処理では、処理単位画像データが画素
データであり、当該処理対象とする画素に対応した動き
ベクトルを生成するものについて説明する。

【０１００】すなわち、本実施の形態３の画像処理装置
が備える動き生成部１０３は、変化情報として入力する
動きベクトルの複数に基づいて、処理対象とする処理単
位画像データである画素に対応して、単位変化情報とな
る画素ごとの動きベクトルを生成し、生成した動きベク
トルに基づいて、表示用画像データを生成する。

【０１０１】図１４は、本実施の形態３の動きベクトル
補間部１３０１による処理を説明するための図である。
同図(a) は、図３と同様に第１フレームメモリ１０２
（図１）に格納された伸長画像データと、画像データに
おける動きベクトルとを示す図であり、３０１〜３０４
は図３と同様に１６×１６画素で構成されるマクロブロ
ックであり、３１１〜３１４は図３と同様に各マクロブ
ロック３０１〜３０４の中心から、動きの方向を示すベ
クトルである。同図の１４０１は、補間対象画素であ
り、補間処理によって動きベクトルを生成する処理対象
の画素である。１４０２は、マクロブロック３０１〜３
０４のそれぞれの中心点を囲んで得られ、補間対象画素
１４０１を含む領域であり、補間処理に用いる補間領域
である。１４０３は、補間領域１４０２において設定さ
れる基準点となる補間基準画素であり、ここでは、補間
領域１４０２中、図（ａ）に示す原点に最も近い画素を
基準画素として設定するものとしている。１４０４は、
補間処理によって補間対象画素に対して生成される動き
ベクトルである。

【０１０２】同図(b) は、補間領域１４０２における、
補間対象画素１４０１と補間基準画素１４０３との位置
関係を示す画素位置情報を説明するための図である。こ
こで、補間対象画素１４０１の座標を(x,y) と、補間基
準画素１４０３の座標を(x0,y0) とする。同図(b) に示
す画素位置情報(p,q,1-p,1-q) は、 p = (x-x0)/16 q = (y-y0)/16 1-p = 1-(x-x0)/16 1-q = 1-(y-y0)/16 と表されるものであるとする。

【０１０３】本実施の形態３の動きベクトル補間部１３
０１は、画素位置情報に基づいて、当該マクロブロック
の動きベクトル３１１と、近傍に位置するマクロブロッ
クの動きベクトル３１２〜３１４とから、補間対象画素
１４０３に対しての動きベクトル１４０４を生成する補
間処理を行うものである。

【０１０４】ここで、動きベクトル３１１〜３１４を、
(X0,Y0),(X1,Y1),(X2,Y2),(X3,Y3),であるものとする
と、補間対象画素１４０３に対しての動きベクトル１４
０４(X,Y) は次式に従って生成されるものとなる。 (X,Y) = (1-p) * (1-q) * (X0,Y0)+(1-p) * q * (X
3,Y3)+ p * (1-q) * (X1,Y1)+ p * q * (X2,
Y2)

【０１０５】従って、動きベクトル補間部１３０１は、
その内包する第１〜第４の乗算器１３１０〜１３１３
と、第５〜第８の乗算器１３２０〜１３２３と、加算器
１３３０とによって、上記の演算処理を行い動きベクト
ル１４０４(X,Y) を生成するものである。

【０１０６】まず、動きベクトル補間部１３０１におい
ては、画素位置情報(p,q,1-p,1-q)を構成する各項のp,
q,1-p,1-q をそれぞれ図１３に示すように第１〜第４の
乗算器１３１０〜１３１３に入力する。すなわち、第１
項p は第１、および第２の乗算器１３１０、および１３
１１に、第２項q は第１、および第３の乗算器１３１
０、および１３１２に、第３項1-p は第３、および第４
の乗算器１３１２、および１３１３に、第４項1-ｑ は
第２、および第４の乗算器１３１１、および１３１３に
入力され、それぞれの乗算器は入力された各項を乗算処
理する。これにより、第１〜第４の乗算器１３１０〜１
３１３ではそれぞれ、p*q,p*(1-q),(1-p)*q,(1-p)*(1-
q) が生成され、第１〜第４の乗算器１３１０〜１３１
３はこれらの乗算結果を図１３に示すように、第５〜第
８の乗算器１３２０〜１３２３に出力する。従って、第
５の乗算器１３２０には乗算結果(1-p)*(1-q) が、第６
の乗算器１３２１には乗算結果(1-p)*q が、第７の乗算
器１３２２には乗算結果p*(1-q) が、そして第８の乗算
器１３２３には乗算結果p*q が入力される。

【０１０７】一方、動きベクトル補間部１３０１におい
ては、動きベクトル３１１〜３１４が入力され、これら
の動きベクトルは、図１３に示すように、第５〜第８の
乗算器１３２０〜１３２３に入力される。すなわち、第
５の乗算器１３２０には(X0,Y0) である動きベクトル３
１１が、第６の乗算器１３２１には(X1,Y1) である動き
ベクトル３１２が、第７の乗算器１３２２には(X2,Y2)
である動きベクトル３１３が、そして第８の乗算器１３
２３には(X3,Y3) である動きベクトル３１４が入力され
る。

【０１０８】第５〜第８の乗算器１３２０〜１３２３
は、前述の通りベクトル演算用の乗算器であって、それ
ぞれ入力された乗算結果と動きベクトルとの二組の乗算
処理を行う。例えば第５の乗算器１３２０は、(1-p)*(1
-q)*X0の乗算処理と、(1-p)*(1-q)*Y0の乗算処理とを行
うものとなる。従って、上記動きベクトル１４０４(X,
Y) を生成する演算式の第１項から第４項までは、第５
〜第８の乗算器１３２０〜１３２３においてそれぞれベ
クトル乗算処理により生成されることとなる。第５〜第
８の乗算器１３２０〜１３２３はそれぞれ生成した乗算
結果を加算器１３３０に出力する。前述の通り加算器１
３３０はベクトル演算用の加算器であって、二組の加算
処理を実行するので、加算器１３３０においてこれら乗
算結果が加算処理されることによって、上記動きベクト
ル(X,Y) が生成され、図１３に示すように移動量重み係
数決定部２０１に出力される。

【０１０９】処理単位画像データである画素、すなわち
図１４に示す補間対象画素１４０１に対しての動きベク
トル１４０４が移動量重み係数決定部２０１に出力され
たならば、移動量重み係数決定部２０１は当該動きベク
トルに基づいて移動量と重み係数とを生成する。以降の
処理は実施の形態１と同様に実行され、動き情報が生成
され、付与された画像データが第２フレームメモリ１０
４（図１）に格納され、当該画像処理装置の装置出力と
して表示等されることとなる。

【０１１０】ＭＰＥＧ１やＭＰＥＧ２等の圧縮符号化方
法では、実施の形態１や本実施の形態３に示したよう
に、マクロブロック単位等で動きベクトルを付与するこ
とがなされることが一般的であり、又、物体ごとの符号
化を行うオブジェクト符号化では、オブジェクトを単位
として動きベクトルを付与することがなされることもあ
る。しかし、画素ごとに動きベクトルが付与された符号
化データを生成するような符号化方法は一般的なものと
は言えない。従って、実施の形態１の場合には、あるマ
クロブロックに含まれる画素の処理にあたっては、当該
マクロブロックに対して付与された動きベクトルを用い
ることとして動き生成・付与処理を実行しているが、本
実施の形態３の場合、マクロブロックを単位として付与
された動きベクトルを用いて、画素ごとの動きベクトル
を生成し、これに基づいて動き生成・付与処理を行うこ
とから、処理負担の増大は伴うものの、より精度の高い
動き情報を付与することが可能となる。

【０１１１】このように、本実施の形態３の画像処理装
置によれば、画像伸長部１０１、第１フレームメモリ１
０２、動き生成部１０３、第２フレームメモリ１０４、
および再生情報入力部１０５を備え、第１フレームメモ
リ１０２に格納された伸長画像データに対して、動き生
成部１０３が、画像伸長部１０１から取得する動きベク
トルを用いて動き生成・付与処理を行い、該処理の結果
得られた画像データを第２フレームメモリ１０４に格納
するので、当該画像処理装置の装置出力として表示等さ
れる画像は動き情報を伴い、動き感を有する表示結果を
得ることが可能となる。そして、動き生成部１０３が備
える移動量重み係数決定部２０１は、動きベクトル補間
部１３０１を備えて、画素ごとに補間処理によって動き
ベクトルを生成し、当該生成した動きベクトルに基づい
て移動量と重み係数との決定を行うので、より画像の状
態に適切に対応した動き情報を付与することが可能とな
る。また、本実施の形態３の画像処理装置において、フ
レームを間引きして低ビットレートにおいて伝送される
画像データを装置入力とする場合にも、同様に処理をす
ることで同様の効果が得られる。

【０１１２】なお、本実施の形態３では、図１４を用い
て説明したように４つのマクロブロックに付与された動
きベクトルを用いて補間処理により動きベクトルを生成
するものとしているが、これに限定されるものではな
く、例えばマクロブロック９個、あるいは１６個に付与
された動きベクトルを用いることとして、一層の精度向
上を図ることも可能となる。

【０１１３】また、本実施の形態３では、複数（４つ）
の動きベクトルを線形処理することにより、画素ごとの
動きベクトルを生成するものとしているが、非線形の補
間処理を行うものとすることも可能である。例えば上記
のようにより多数のマクロブロックに付与された動きベ
クトルを用いる場合に、動きベクトル補間部１３０１内
部において、一部の動きベクトルに対しては設定された
係数を乗じることで、近接するマクロブロックの動きベ
クトルについては貢献度を高めること等が可能となる。

【０１１４】また、本発明の実施の形態３では、処理単
位画像データを画素データとして画素ごとの動きベクト
ルを求めて処理するものについて説明したが、動きベク
トルが付された画像データよりも小さい単位である処理
単位画像データ毎に動きベクトルを求め、処理するもの
であればよく、例えば、オブジェクト毎に動きベクトル
が付与されているものであれば当該オブジェクトを構成
するマクロブロック毎の動きベクトルを求め、求めた動
きベクトルを用いて動き情報を生成するもの等がある。

【０１１５】また、本実施の形態３では、動きベクトル
が付された画像データよりも小さい単位である処理単位
画像データ毎に動きベクトルを求め処理するものについ
て説明したが、動きベクトルが付された画像データより
も大きい単位である処理単位画像データの動きベクトル
を逆補間することにより求め、処理するものであっても
良い。なお、この場合においては、動き情報の精度が落
ちるものの、動き生成部１０３の処理負担の軽減を図る
ことができる。

【０１１６】実施の形態４．本発明の実施の形態４によ
る画像処理装置は、実施の形態１と同様に、動きベクト
ルに基づいて動き情報を生成し、画像データに付与する
が、マクロブロックごとの動きベクトルの値と閾値を比
較し、当該比較結果に基づいて動き情報を生成し、画像
データに付与するものである。

【０１１７】図１６は、本実施の形態４による画像処理
装置の全体構成を示すブロック図である。図示するよう
に、本実施の形態４の画像処理装置は、画像伸長部１０
１、第１フレームメモリ１０２、動き生成部１０３、第
２フレームメモリ１０４、および閾値判定処理部１６０
１を備えており、実施の形態１の画像処理装置の全体構
成（図１）に閾値判定処理部１６０１を追加した構成と
なっている。なお、本実施の形態４による画像処理装置
における、画像伸長部１０１、第１フレームメモリ１０
２、動き生成部１０３、および第２フレームメモリ１０
４は、上述した実施の形態１と同様であるため、同一の
番号を付し、説明を省略する。

【０１１８】閾値判定処理部１６０１は、画像伸長部１
０１からの動きベクトル（ｘ,ｙ）と、この動きベクト
ルに対応したマクロブロック識別データとを入力とし、
動き生成部１０３で生成する画像データのための第２の
動きベクトル（x’,y’）と、この動きベクトルに対応
したマクロブロック識別データを生成し、出力するもの
である。

【０１１９】すなわち、本実施の形態４による閾値判定
処理部１６０１は、画像伸長部１０１から動きベクトル
（ｘ,ｙ）の入力があると、当該動きベクトル（ｘ,ｙ）
と予め定められた閾値とを比較する。この時、動きベク
トル（ｘ,ｙ）が閾値以下であれば、対象マクロブロッ
クに動きがなかったものとし第２の動きベクトルとして
（x’,y’）=（０,０）を出力する。一方、動きベクト
ル（ｘ,ｙ）が閾値より大きければ、対象マクロブロッ
クに動きがあったものとし第２の動きベクトルとして
（x’,y’）=（ｘ,ｙ）を出力する。

【０１２０】これにより、動き生成部１０３は、閾値判
定処理部１６０１から出力された第２の動きベクトル
（x’,y’）を用いて、動き成分を付与した画像を第２
フレームメモリ１０４に生成することになり、第２フレ
ームメモリ１０４には、動きベクトルが小さいマクロブ
ロックや物体に対して動き成分が付与されていない画像
を生成することができる。すなわち、蓄積媒体に蓄積さ
れた画像にカメラの手ぶれなどが含まれていた場合に、
その手ぶれ画像を画像の動きとして誤ることを排除する
ことができる。

【０１２１】このように、本実施の形態４によれば、閾
値判定処理部１６０２を設けることにより、動きベクト
ルの大きさが閾値以下の場合には、画像に動きベクトル
を付与しないようにすることが可能になる。したがっ
て、上述した実施の形態１の効果に加え、動きベクトル
が微少であるようなカメラの手ぶれや動きベクトルがほ
とんどないような画像や物体が含まれている場合には、
動き情報を付与しないこととなり、その手ぶれ画像を画
像の動きとして誤ることを排除することができる。

【０１２２】これにより、不必要な動き情報を画像に与
えないことにより、画像本来の動きを伝達し、違和感や
不快感の少ない良好な画像を得ることが可能な画像処理
装置を実現することができる。

【０１２３】また、動き生成部１０３に第２の動きベク
トルとして（x’,y’）=（０,０）が入力された場合に
は、動き生成部１０３は重み付け加算処理を行なう必要
がなく、第１フレームメモリ１０２に格納されている画
素を、そのまま第２フレームメモリ１０４に格納すれば
よい。このため、動き生成部１０３において重み付け加
算処理を行なう重み付け加算部２０４の処理量を低減す
ることができ、処理速度の向上を実現することが可能と
なる。

【０１２４】なお、本発明の実施の形態４における画像
処理装置は、前述した実施の形態１における画像処理装
置に閾値判定処理部１６０１を加えたものについて説明
したが、上述した実施の形態２、および実施の形態３に
かかる画像処理装置に閾値判定処理部１６０１を加えた
ものであっても同様の効果を得ることができる。

【０１２５】なお、本実施の形態４による画像処理装置
における閾値判定処理部１６０１は、入力する変化情報
が閾値より大きいか否かにより動き成分を付与するか否
かを決定するものについて説明したが、これに限定され
ず、入力する変化情報が閾値より大きいか否かの比較結
果に基づいて、入力された動きベクトルに異なる処理を
行なうものであれば良い。

【０１２６】実施の形態５．本発明の実施の形態５によ
る画像処理装置は、実施の形態１と同様に、動きベクト
ルに基づいて動き情報を生成し、画像データに付与する
が、マクロブロックごとの動きベクトルの値に予め定め
る係数を乗じて、動き情報を生成し、画像データに付与
するものである。

【０１２７】図１７は、本実施の形態５による画像処理
装置の全体構成を示すブロック図である。図示するよう
に、本実施の形態５の画像処理装置は、画像伸長部１０
１、第１フレームメモリ１０２、動き生成部１０３、第
２フレームメモリ１０４、および動きベクトル処理部１
７０１を備えており、実施の形態１の画像処理装置の全
体構成（図１）に動きベクトル処理部１７０１を追加し
た構成となっている。なお、本実施の形態５による画像
処理装置における、画像伸長部１０１、第１フレームメ
モリ１０２、動き生成部１０３、および第２フレームメ
モリ１０４は、上述した実施の形態１と同様であるた
め、同一の番号を付し、説明を省略する。

【０１２８】動きベクトル処理部１７０１は、画像伸長
部１０１からの動きベクトル（ｘ,ｙ）と、この動きベ
クトルに対応したマクロブロック識別データとを入力と
し、動き生成部１０３で生成する画像データのための第
２の動きベクトル（x’,y’）と、この動きベクトルに
対応したマクロブロック識別データを生成し、出力する
ものである。

【０１２９】すなわち、本実施の形態５による動きベク
トル量処理部１７０１は、入力される動きベクトル
（ｘ,ｙ）に予め定められた係数を乗じ、第２の動きベ
クトル（x’,y’）を動き生成部１０３に出力する。動
き生成部１０３は、当該第２の動きベクトル（x’,
y’）を用いて表示用画像データを生成する。

【０１３０】図１８（ａ）は、入力される動きベクトル
（ｘ,ｙ）の大きさと、一定の係数を乗じた第２の動き
ベクトル（x’,y’）の大きさとの関係を示す図であ
る。図１８（ａ）において、破線１８０１は、係数を乗
じない場合の入出力ベクトルの大きさの関係を示したも
のである。実線１８０２は、１より大きい係数を乗じた
場合の入出力ベクトルの大きさの関係を示したもので、
実線１８０３は、１より小さい係数を乗じた場合の入出
力ベクトルの大きさの関係を示したものである。

【０１３１】例えば、実線１８０２に示す、１より大き
い係数を乗じた場合には、係数を乗じない場合（破線１
８０１）に比べ、出力される第２の動きベクトル（x’,
y’）の値が大きくなる。すなわち、動き生成部１０３
により、当該第２の動きベクトル（x’,y’）を用いて
画像に動き情報を与えた場合には、第２フレームメモリ
１０４に生成される画像は、係数を乗じない場合に比
べ、その動きが強調された画像となる。

【０１３２】一方、実線１８０３に示す、１より小さい
係数を乗じた場合には、係数を乗じない場合（破線１８
０１）に比べ、出力される第２の動きベクトル（x’,
y’）の値が小さくなる。すなわち、動き生成部１０３
により、当該第２の動きベクトル（x’,y’）を用いて
画像に動き情報を与えた場合には、第２フレームメモリ
１０４に生成される画像は、係数を乗じない場合に比
べ、その動きを抑えた画像となる。

【０１３３】また、図１８（ｂ）は、入力される動きベ
クトル（ｘ,ｙ）の大きさに応じて乗じる係数を変化さ
せた場合の入出力される動きベクトルの大きさの関係の
一例を示した図である。

【０１３４】図１８（ｂ）において、破線１８０１は、
係数を乗じない場合の入出力ベクトルの大きさの関係を
示したものである。実線１８０４は、入力される動きベ
クトル（ｘ，ｙ）の大きさにより乗じる係数を１から徐
々に大きくした場合の入出力ベクトルの大きさの関係を
示したものであり、実線１８０５は、入力される動きベ
クトル（ｘ，ｙ）の大きさにより乗じる係数を１から徐
々に小さくした場合の入出力ベクトルの大きさの関係を
示したものである。

【０１３５】例えば、実線１８０２に示す、入力される
動きベクトル（ｘ，ｙ）の大きさにより乗じる係数を１
から徐々に大きくした場合には、係数を乗じない場合
（破線１８０１）に比べ、出力される第２の動きベクト
ル（x’,y’）の値が大きくなる。すなわち、動き生成
部１０３により、当該第２の動きベクトル（x’,y’）
を用いて画像に動き情報を与えた場合には、第２フレー
ムメモリ１０４に生成される画像は、係数を乗じない場
合に比べ、その動きが強調された画像となる。

【０１３６】一方、実線１８０３に示す、入力される動
きベクトル（ｘ，ｙ）の大きさにより乗じる係数を１か
ら徐々に小さくした場合には、係数を乗じない場合（破
線１８０１）に比べ、出力される第２の動きベクトル
（x’,y’）の値が小さくなる。すなわち、動き生成部
１０３により、当該第２の動きベクトル（x’,y’）を
用いて画像に動き情報を与えた場合には、第２フレーム
メモリ１０４に生成される画像は、係数を乗じない場合
に比べ、その動きを抑えた画像となる。

【０１３７】このように、本実施の形態５によれば、動
きベクトル処理部１７０１を設けることにより、動き生
成部１０３に入力される動きベクトルの大きさを変化さ
せることができ、強調または抑制した動き情報を画像に
付与することを実現することができる。

【０１３８】したがって、上述した実施の形態１の効果
に加え、強調した動き情報を付与した画像を生成するこ
とや、またその逆に抑制した動き情報を付与した画像を
生成することが可能となる。これにより、よりダイナミ
ックな臨場感を与えたり、臨場感を抑えつつ動き情報を
付与した画像を生成表示する画像処理装置を実現するこ
とができる。

【０１３９】なお、本発明の実施の形態５における画像
処理装置は、前述した実施の形態１における画像処理装
置に動きベクトル処理部１７０１を加えたものについて
説明したが、上述した実施の形態２、および実施の形態
３にかかる画像処理装置に動きベクトル処理部１７０１
を加えたものであっても同様の効果を得ることができ
る。

【０１４０】また、さらに本実施の形態５による画像処
理装置は、上述した実施の形態４による画像処理装置の
閾値判定処理部１６０１と組み合わせることができ、入
力される動きベクトルが閾値以上か否かに基づいて、動
きベクトルに予め定める係数を乗ずるか否かを決定した
り、動きベクトルに乗ずる係数の値を変化させたりする
ことができる。

【０１４１】実施の形態６．本発明の実施の形態６によ
る画像処理装置は、実施の形態１と同様に、動きベクト
ルに基づいて動き情報を生成し、画像データに付与する
が、処理対象とする画像データの領域を判定し、当該判
定結果に基づいて動き情報を生成し、画像データに付与
するものである。

【０１４２】図１９は、本実施の形態６による画像処理
装置の全体構成を示すブロック図である。図示するよう
に、本実施の形態６の画像処理装置は、画像伸長部１０
１、第１フレームメモリ１０２、動き生成部１０３、第
２フレームメモリ１０４、および領域判定処理部１９０
１を備えており、実施の形態１の画像処理装置の全体構
成（図１）に領域判定処理部１９０１を追加した構成と
なっている。なお、本実施の形態６による画像処理装置
における、画像伸長部１０１、第１フレームメモリ１０
２、動き生成部１０３、および第２フレームメモリ１０
４は、上述した実施の形態１と同様であるため、同一の
番号を付し、説明を省略する。

【０１４３】領域判定処理部１９０１は、画像伸長部１
０１からの動きベクトル（ｘ,ｙ）と、この動きベクト
ルに対応したマクロブロック識別データとを入力とし、
動き生成部１０３で生成する画像データのための第２の
動きベクトル（x’,y’）と、この第２の動きベクトル
に対応したマクロブロック識別データを生成し、出力す
るものである。すなわち、領域判定処理部１９０１は、
処理対象とする画像データの領域を判定するものであ
り、当該処理対象とする領域毎に出力する第２の動きベ
クトルを決定する。

【０１４４】図２０は、第１フレームメモリ１０２に格
納されている画像データを構成するマクロブロックを示
したものである。なお、図２０に示す画像データは、横
方向にＵ個、縦方向にＶ個のマクロブロックにより構成
されており、図示するように横方向をｕ、縦方向をｖと
する座標を用いてマクロブロックの位置を示すものとす
る。

【０１４５】領域判定処理部１９０１は、入力されたマ
クロブロックの位置を表わす情報（ｕ，ｖ）であるマク
ロブロック識別データから、処理対象とするマクロブロ
ックの位置を決定する。例えば、生成する表示用画像デ
ータの周辺部分に動き情報を付与しない場合には、処理
対象とする領域の判定条件を、 ２≦ｕ＜Ｕ−２、かつ２≦ｖ＜Ｖ−２ とし、当該条件を満たすマクロブロックに対応する動き
ベクトルについては、入力する動きベクトル（ｘ,ｙ）
と、出力する第２の動きベクトル（x’,y’）を同一の
値とする。一方、条件を満たさないマクロブロックに対
応する動きベクトルについては、出力する第２の動きベ
クトル（x’,y’）を（０，０）とする。なお、上述し
た領域の判定条件は、例えば、画像データの内容（映像
と文字）等から定めることができる。

【０１４６】これにより、動き生成部１０３では、領域
判定処理部１９０１から出力されたる第２の動きベクト
ル（x’,y’）を用いて、動き成分を付与した画像を第
２フレームメモリ１０４に生成することになり、第２フ
レームメモリ１０４には、画像周辺部に、動き情報を付
加してない生成画像を得ることができる。

【０１４７】したがって、本実施の形態６によれば、領
域判定処理部１９０１を設けることにより、動き情報を
付加する領域を任意に設定することが可能になり、上述
した実施の形態１の効果に加え、提供する画像データに
応じて、ダイナミックな臨場感を与える部分と、そうで
ない部分を分けることができる。例えば、字幕を有する
映画等の場合には、字幕部分には字幕部分を読みやすく
するために動き情報を付与しないで画像を生成し、映像
部分には動き情報を与え、臨場感ある画像を生成する。

【０１４８】また、動き生成部１０３に第２の動きベク
トルとして（x’,y’）=（０,０）が入力された場合に
は、動き生成部１０３は重み付け加算処理を行なう必要
がなく、第１フレームメモリ１０２に格納されている画
素を、そのまま第２フレームメモリ１０４に格納すれば
よい。このため、動き生成部１０３において重み付け加
算処理を行なう重み付け加算部２０４の処理量を低減す
ることができ、処理速度の向上を実現することが可能と
なる。

【０１４９】なお、本実施の形態６による画像処理装置
の領域判定処理部１９０１は、処理を行なう領域か、処
理を行なわない領域かを判定するものについて説明した
が、これに限定されず、領域判定処理部１９０１が処理
対象とする領域を判定し、当該判定された領域毎に異な
った処理を行なうものであればよい。

【０１５０】また、本発明の実施の形態６における画像
処理装置は、前述した実施の形態１における画像処理装
置に領域判定処理部１９０１を加えたものについて説明
したが、上述した実施の形態２、および実施の形態３に
かかる画像処理装置に領域判定処理部１９０１を加えた
ものであっても同様の効果を得ることができる。

【０１５１】また、さらに本実施の形態６による画像処
理装置は、上述した実施の形態４、５により説明したも
のとの組み合わせによっても実施することができ、本実
施の形態６による画像処理装置の効果に加え、上述した
本実施の形態４、および５による画像処理装置の効果を
得ることができる。

【０１５２】また、実施の形態１から６において、符号
化画像データはマクロブロックごとに動きベクトルが付
与されているものとしているが、例えばフレームごと
に、あるいはオブジェクトごとに等種々の処理単位に対
して付与された動きベクトルを用いて、実施の形態１か
ら６に示す画像処理を行うことが可能であり、同様の効
果が得られるものとなる。

【０１５３】また、画像データに対してフレーム間符号
化を行う場合にも、一部のフレームの画像データについ
てはフレーム内符号化を行い、当該フレーム内符号化を
行ったフレーム（Ｉフレーム）に基づいて、時系列的に
近接するフレーム（Ｐフレーム、又はＢフレーム）をフ
レーム間符号化し、差分のみを処理することで圧縮率を
大きくすることが多いので、フレーム間符号化が行われ
たＰフレームやＢフレームの符号化データには動きベク
トルが付与されているが、Ｉフレームについては動きベ
クトルが付与されていないものとなっている。このよう
なＩフレームの画像データを処理する場合には、時系列
的に近接するＰフレームやＢフレームの画像データに付
与された動きベクトルを用いて処理するものとして、同
様の効果が得られるものとなる。これはそもそもフレー
ム間符号化は、時系列的に近接する画像データが有する
相関性に基づくものであって、相関性の高い画像データ
の動きベクトルを用いることとしても、良好な動き情報
を得ることが可能なものとなるからである。

【０１５４】

【発明の効果】本発明の画像処理装置、または画像処理
方法によれば、予め、単位画像データ毎に付された変化
情報である動きベクトルに基づいて上記画像データを構
成する画素の重み付け加算処理を行ない、表示用画像デ
ータを生成することにより、表示用画像データは動き情
報を伴い、動き感を有する表示結果を得ることが可能と
なる。したがって、従来の技術による画像処理装置、ま
たは画像処理方法よりも、違和感の少ない表示を行ない
得るものであり、動き情報が付加されていることによっ
て、使用者が再生状態を容易に知ることが可能となるも
のである。

【０１５５】また、本発明の画像処理装置、または画像
処理方法によれば、変化情報である動きベクトルの時間
的変化を示す変化情報遷移情報を取得し、当該取得した
変化情報遷移情報に基づいて、画像データを構成する画
素の重み付け加算処理を行ない、表示用画像データを生
成することにより、より画像の状態に適切に対応した表
示画像を得ることができる。

【０１５６】また、本発明の画像処理装置、または画像
処理方法によれば、表示用画像データの表示状態を指示
する再生情報を入力し、上記再生情報を用いて表示画像
データを生成することにより、より画像の状態に適切に
対応した表示画像を得ることができる。

【０１５７】また、本発明の画像処理装置、または画像
処理方法によれば、複数の，予め単位画像データ毎に付
された変化情報に基づいて、当該単位画像データより小
さい単位である処理単位画像データに対応する変化情報
を生成し、上記生成した処理単位画像データに対応する
変化情報を用いて、当該処理単位画像データを構成する
画素の重み付け加算処理を行なうことにより、より画像
の状態に適切に対応した表示画像を得ることができる。

【０１５８】また、本発明の画像処理装置、または画像
処理方法によれば、入力とする変化情報である動きベク
トルと閾値とを比較し、当該比較結果に基づいて生成し
た第２の変化情報を用いて表示用画像データを生成する
ことにより、例えば、動きベクトルが微少であるような
カメラの手ぶれや動きベクトルがほとんどないような画
像や物体が含まれている場合には、動き情報を付与しな
いこととなり、その手ぶれ画像を画像の動きと誤ること
を排除することができ、不必要な動き情報を画像に与え
ないことにより、画像本来の動きを伝達し、違和感や不
快感の少ない良好な画像を得ることが可能な画像処理装
置を実現することができる。

【０１５９】また、本発明の画像処理装置、または画像
処理方法によれば、入力とする変化情報である動き情報
の値に、予め定める係数を乗じて生成した第２の変化情
報を用いて表示用画像データを生成することにより、強
調した動き情報を付与した画像を生成することや、また
その逆に抑制した動き情報を付与した画像を生成するこ
とが可能となり、よりダイナミックな臨場感を与えた
り、臨場感を抑えつつ動き情報を付与した画像を生成表
示する画像処理装置を実現することができる。

【０１６０】また、本発明の画像処理装置、または画像
処理方法によれば、処理対象とする画像データの領域を
判定し、当該判定結果を用いて表示用画像データを生成
することにより、動き情報を付加する領域を任意に設定
することが可能になり、提供する画像データに応じて、
ダイナミックな臨場感を与える部分と、そうでない部分
を分けることができる。

【０１６１】また、本発明の画像処理装置、または画像
処理方法によれば、低ビットレートにおいて画像を送信
する場合にも、画像本来の動きを伝達することで、上記
のような再生時と同様の効果が得られる。

【図面の簡単な説明】

【図１】本発明の実施の形態１による画像処理装置の全
体の構成を示すブロック図である。

【図２】同実施の形態の装置が備える動き生成部の内部
構成と機能とを説明するための図である。

【図３】同実施の形態の装置が処理対象とする画像デー
タを構成するマクロブロックと動きベクトルとを説明す
るための図である。

【図４】同実施の形態の装置が備える動き生成部による
動き生成・付与処理を説明するための図である。

【図５】同実施の形態の装置が備える動き生成部による
重み付け加算処理を説明するための図である。

【図６】同実施の形態の装置による動き生成・付与処理
がされた画像データの表示状態を説明するための図であ
る。

【図７】同実施の形態の装置が備える動き生成部による
動き生成・付与処理を非線形処理として行う場合の処理
を説明するための図である。

【図８】本発明の実施の形態２による画像処理装置の全
体の構成を示すブロック図である。

【図９】同実施の形態の装置が備える動き生成部の内部
構成と機能とを説明するための図である。

【図１０】同実施の形態の装置が処理対象とする動きベ
クトルの変化状態（遷移状態）を説明するための図であ
る。

【図１１】同実施の形態の装置による、動きベクトルの
大きさと遷移状態とに対応した重み付け加算処理を説明
するための図である。

【図１２】同実施の形態の装置による、再生方向を示す
情報に対応した重み付け加算処理を説明するための図で
ある。

【図１３】本発明の実施の形態３による画像処理装置が
備える動き生成部の内部構成と機能とを説明するための
図である。

【図１４】同実施の形態の装置が備えるベクトル補間部
による、動きベクトル補間処理を説明するための図であ
る。

【図１５】画像データのフレームと、高速再生処理とを
説明するための図である。

【図１６】本発明の実施の形態４による画像処理装置の
全体の構成を示すブロック図である。

【図１７】本発明の実施の形態５による画像処理装置の
全体の構成を示すブロック図である。

【図１８】動きベクトル処理部における処理を説明する
ための図である。

【図１９】本発明の実施の形態６による画像処理装置の
全体の構成を示すブロック図である。

【図２０】同実施の形態の装置が備える第１フレームメ
モリに格納されている画像データを構成するマクロブロ
ックを示す図である。

【符号の説明】

１０１ 画像伸長部 １０２ 第１フレームメモリ １０３ 動き生成部 １０４ 第２フレームメモリ ２０１ 移動量重み係数決定部 ２０２ 第１アドレス生成部 ２０３ 第２アドレス生成部 ２０４ 重み付け加算部 ２０５ 処理対象画素決定部 ２１０，２１１，２１２，２１３ 乗算器 ２１４ 加算器 ３０１，３０２，３０３，３０４ マクロブロック ３１１，３１２，３１３，３１４ 動きベクトル（マ
クロブロックごとの） ４０１ 基準画素 ４０２，４０３，４０４ 移動画素 ５０１，７５１ 動きベクトル（一次元） ５２０ 座標位置（基準画素） ５２１，５２２，５２３ 座標位置（移動画素） ５５１，５５２ 座標位置 ７５１ 画素値を有する領域 ８０５ 再生情報入力部 ９０１，９０２，９０３，９０４ 動きベクトル格納
部 ９０５ 動きベクトル決定部 ９０６ 変化情報格納部 １３０１ 動きベクトル補間部 １３１０，１３１１，１３１２，１３１３，１３２０，
１３２１，１３２２，１３２３ 乗算器 １３３０ 加算器 １４０１ 補間対象画素 １４０２ 補間領域 １４０３ 補間基準画素 １４０４ 動きベクトル（補間対象画素） １６０１ 閾値判定処理部 １７０１ 動きベクトル処理部 １９０１ 領域判定処理部

Claims (17)

(57)【特許請求の範囲】
1. 【請求項１】 画像データと、当該画像データの時間的
   変化を示す情報である変化情報とを入力して、表示用画
   像データを生成する画像処理装置であって、予め、単位画像データ毎に付された上記変化情報を用い
   て当該単位 画像データを構成する画素の重み付け加算処
   理を行ない、表示用画像データを生成する動き生成部を
   備えた、 ことを特徴とする画像処理装置。
2. 【請求項２】 画像データと、当該画像データの時間的
   変化を示す情報である変化情報とを入力して、表示用画
   像データを生成する画像処理装置であって、複数の、予
   め単位画像データ毎に付された上記変化情報に基づい
   て、当該単位画像データより小さい単位である処理単位
   画像データに対応する変化情報を生成し、上記生成した
   処理単位画像データに対応する変化情報を用いて当該処
   理単位画像データを構成する画素の重み付け加算処理を
   行ない、表示用画像データを生成する動き生成部を備え
   た、 ことを特徴とする画像処理装置。
3. 【請求項３】 請求項１に記載の画像処理装置であっ
   て、 上記動き生成部は、上記変化情報から各画素毎に移動量
   及び重み係数を決定する移動量重み係数決定部と、 上記移動量に基づいて処理対象とする画素を決定する処
   理対象画素決定部と、 上記重み係数を用いて上記処理対
   象となる画素の画素データを重み付け加算処理する重み
   付け加算部とを備えた、 ことを特徴とする画像処理装置。
4. 【請求項４】 請求項２に記載の画像処理装置であっ
   て、 上記動き生成部は、単位画像データ毎に付された複数
   の、変化情報に基づいて、当該単位画像データより小さ
   い単位である処理単位画像データに対応する変化情報を
   生成する動きベクトル補間部と、 上記処理単位画像データに対応する 変化情報から各画素
   毎に移動量及び重み係数を決定する移動量重み係数決定
   部と、 上記移動量に基づいて処理対象とする画素を決定する処
   理対象画素決定部と、上記重み係数を用いて上記処理対
   象となる画素の画素データを重み付け加算処理する重み
   付け加算部とを備えた、 ことを特徴とする画像処理装置。
5. 【請求項５】 請求項１、又は請求項２に記載の画像処
   理装置であって、 上記動き生成部は、変化情報の時間的変化を示す変化情
   報遷移情報を取得し、該取得した変化情報遷移情報に基
   づいて、画像データを構成する画素の重み付け加算処理
   を行ない、表示用画像データを生成する、 ことを特徴とする画像処理装置。
6. 【請求項６】 請求項３、又は請求項４に記載の画像処
   理装置であって、上記移動量重み係数決定部は、 入力された変化情報を格納する変化情報格納部を備え、 上記変化情報格納部に格納された時間が異なる複数の、
   変化情報に基づいて各画素毎に移動量及び重み係数を決
   定する、 ことを特徴とする画像処理装置。
7. 【請求項７】 請求項１、又は請求項２に記載の画像処
   理装置であって、 上記表示用画像データの表示状態を指示する再生情報を
   入力する再生情報入力部をさらに備え、 上記動き生成部は、上記再生情報を用いて表示画像デー
   タを生成する、 ことを特徴とする画像処理装置。
8. 【請求項８】 請求項１、又は請求項２に記載の画像処
   理装置であって、入力とする変化情報と閾値とを比較し、当該比較結果に
   基づいて第２の変化情報を生成する閾値判定処理部 をさ
   らに備え、 上記動き生成部は、上記第２の変化情報を用いて表示用
   画像データを生成する、 ことを特徴とする画像処理装置。
9. 【請求項９】 請求項１、又は請求項２に記載の画像処
   理装置であって、 入力とする変化情報の値に予め定める係数を乗じて第２
   の変化情報を生成する動きベクトル処理部をさらに備
   え、 上記動き生成部は、上記第２の変化情報を用いて表示用
   画像データを生成する、 ことを特徴とする画像処理装置。
10. 【請求項１０】 請求項１、又は請求項２に記載の画像
    処理装置であって、処理対象となる画像データの領域を判定する領域判定部
    をさらに備えた、 ことを特徴とする画像処理装置。
11. 【請求項１１】 画像データと、当該画像データの時間
    的変化を示す情報である変化情報とを入力して、表示用
    画像データを生成する画像処理方法であって、 予め、単位画像データ毎に付された上記変化情報を用い
    て、当該単位データを構成する画素の重み付け加算処理
    を行ない、表示用画像データを生成する、 ことを特徴とする画像処理方法。
12. 【請求項１２】 画像データと、当該画像データの時間
    的変化を示す情報である変化情報とを入力して、表示用
    画像データを生成する画像処理方法であって、複数の、予め単位画像データ毎に付された上記変化情報
    に基づいて、当該単位画像データより小さい単位である
    処理単位画像データに対応する変化情報を生成し、 上記生成した処理単位画像データに対応する変化情報を
    用いて、当該処理単位画像データを構成する画素の重み
    付け加算処理を行ない、 表示用画像データを生成する、 ことを特徴とする画像処理方法。
13. 【請求項１３】 請求項１１、又は請求項１２に記載の
    画像処理方法であって、変化情報の時間的変化を示す変化情報遷移情報を取得
    し、 該取得した変化情報遷移情報に基づいて、画像データを
    構成する画素の重み付け加算処理を行ない、表示用画像
    データを生成する、 ことを特徴とする画像処理方法。
14. 【請求項１４】 請求項１１、又は請求項１２に記載の
    画像処理方法であって、上記表示用画像データの表示状態を指示する再生情報を
    入力し、上記再生情報を用いて表示用画像データを生成
    する、 ことを特徴とする画像処理方法。
15. 【請求項１５】 請求項１１、又は請求項１２に記載の
    画像処理方法であって、入力とする変化情報と閾値とを比較し、当該比較結果に
    基づいて生成した第２の変化情報を用いて表示用画像デ
    ータを生成する、 ことを特徴とする画像処理方法。
16. 【請求項１６】 請求項１１、又は請求項１２に記載の
    画像処理方法であって、入力とする変化情報の値に予め定める係数を乗じて生成
    した第２の変化情報 を用いて表示用画像データを生成す
    る、 ことを特徴とする画像処理方法。
17. 【請求項１７】 請求項１１、又は請求項１２に記載の
    画像処理方法であって、処理対象とする画像データの領域を判定し、当該判定結
    果を 用いて表示用画像データを生成する、 ことを特徴とする画像処理方法。