JP3854721B2 - 画像処理装置及びその方法 - Google Patents
画像処理装置及びその方法 Download PDFInfo
- Publication number
- JP3854721B2 JP3854721B2 JP15176698A JP15176698A JP3854721B2 JP 3854721 B2 JP3854721 B2 JP 3854721B2 JP 15176698 A JP15176698 A JP 15176698A JP 15176698 A JP15176698 A JP 15176698A JP 3854721 B2 JP3854721 B2 JP 3854721B2
- Authority
- JP
- Japan
- Prior art keywords
- encoded data
- shape information
- encoded
- shape
- dividing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Image Analysis (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は画像処理装置及びその方法に関し、特に動画像内のオブジェクトを抽出して処理する画像処理装置及びその方法に関する。
【０００２】
【従来の技術】
近年、動画像をその背景とオブジェクトとに分離し、それぞれを符号化するオブジェクト符号化の技術が開発されつつある。その代表としてMPEG-4符号化方式が知られており、標準化作業が進んでいる。MPEG-4符号化方式は、動画像を背景とオブジェクトと呼ばれる符号化の対象とに分離し、それぞれを符号化する方式である。これにより、従来のMPEG-1，MPEG-2，h.261，h.263等に代表されるフレーム単位での符号化と異なり、動きの無い（または少ない）背景の部分の符号化を２度以上行わないので、低ビットレートでの符号化が可能になる。さらに、復号側でオブジェクトの取捨選択や拡大縮小や回転などの編集作業を行うことが容易にできるため、ユーザの好みを反映した復号が可能になった。
【０００３】
以下、MPEG-4符号化方式における符号化の一例について説明する。尚、画像内における背景とオブジェクトの抽出方法についてはMPEG-4の標準の対象外であり、自由である。例えば「スポーツ番組における事前知識情報を用いたモルフォロジカルセグメンテーション」（1997年映像メディア処理シンポジウム(IMPS97)I-3,15 1997．10．8苗村他）に示されるような手法を用いることができる。これは、オブジェクトである選手のいないグラウンド等の情報を背景として予め取得しておき、該背景の情報に基づいて動画像からオブジェクト（選手）を抽出するという方法である。
【０００４】
図18は、従来の画像入力装置の構成を示すブロック図である。同図において、最初にTVカメラ1001により撮像された動画像データを背景メモリ1002に格納する。以下、図19に示すような、海上を航行するヨットと戦艦の画像を例として説明する。この画像から、カラーヒストグラムを作成して背景の領域を抽出した場合、図20に示すように、上半分の空の部分と下半分の海の部分を検出できる。この図20に示す背景画像は静止画像であるから、背景画像符号化器1003で静止画像の符号化がされる。
【０００５】
続いて、オブジェクトであるヨットと戦艦が入った画像を動画像として撮像し、オブジェクト抽出器1004において背景画像との差分をとったり、色の異なる領域を抽出することでオブジェクトを抽出することができる。抽出されたオブジェクトは図21に示すとおりとなる。これをオブジェクト符号化器1005で符号化する。
【０００６】
図22に、オブジェクト符号化器1005の詳細ブロック構成を示す。端子1020から形状(shape)情報を入力し、形状メモリ1022に格納する。この形状情報はオブジェクトを表す画素を白、それ以外を黒とするような２値画像で表される。境界抽出器1023でこの画像から白黒が反転する画素を境界として抽出し、動き補償器1024に入力する。フレームモードがＩフレームであれば動き補償器1024は動作せず、ＰフレームやＢフレームであれば過去のフレームの境界状態を格納した境界メモリ1025の内容と比較して動き補償を行い、その結果を算術符号化する。その後、入力された形状情報の境界の情報を境界メモリ1025に格納する。
【０００７】
一方、図21に表されるオブジェクトの画像データは、端子1021から入力されてオブジェクトメモリ1027に格納される。オブジェクトメモリ1027と形状メモリ1022の画像データは補填器1028に入力される。補填器1028はオブジェクトの外の画素、即ち、形状情報が黒である画素を、近くのオブジェクト内の画素値によってマクロブロック単位に補填する。補填した結果を図23に示す。ここで、補填は垂直方向と水平方向の繰り返しにより行なう。オブジェクトから離れたマクロブロックには補填器1028から補填画素が入力される。
【０００８】
このようにして補填された画像データは、差分器1029で動き補償器1037の出力との差分が求められ、DCT変換器1030でDCT変換され、量子化器1031で所定の量子化マトリクスで量子化された後、係数符号化器1032でハフマン符号化される。量子化結果は逆量子化器1033で逆量子化され、逆DCT変換器1034で予測差分値に戻されて動き補償器1037の出力と加えて画素値を復号し、オブジェクトメモリ1036に格納して次の動き補償に用いる。動き補償器1037はＰフレームとＢフレームの時、オブジェクトメモリ1036とオブジェクトメモリ1027の内容を比較して動き補償を行い、その予測値と動きベクトルを算出する。動きベクトルは符号化され、合成器1038に入力される。算術符号器1026、動き補償器1037、係数符号化器1032の出力は合成器1038でヘッダ等を加えられてMPEG-4の符号化データに整えられ、端子1039から出力される。
【０００９】
図18に戻り、合成器1006は、背景符号化器1003とオブジェクト符号化器1005の出力を合成し、ヘッダ等を加えてMPEG-4の符号化データに整えた後、通信インタフェース1007を介して通信回線1008に送出したり、記憶装置1009に蓄積したりする。
【００１０】
【発明が解決しようとする課題】
しかしながら、上述したオブジェクトの抽出方法では、背景以外をオブジェクトとするため、本来異なるべきである複数のオブジェクト、例えば図21ではヨットと戦艦の両方が1つのオブジェクトとして扱われてしまうため、個別のオブジェクトとして扱うことは非常に困難であった。
【００１１】
また、図24に示すように、次のフレームでオブジェクトどうしが離れていく場合等においては、1オブジェクトとしてまとめられたオブジェクト全体の大きさは大きくなる。従って、復号側では復号した形状情報やオブジェクトの画像が大きくなり、メモリを不要に大きく占有してしまうため、処理効率が悪くなってしまう。
【００１２】
また、フレーム単位でオブジェクトの抽出を行うため、たとえオブジェクト毎に切り出せてもフレーム間での関係が分からないため、フレーム間相関を用いた符号化は困難である。
【００１３】
前記課題を考慮して、本発明は、動画像内のオブジェクトを分割して抽出し、効率のよい符号化処理を可能とする画像処理装置及びその方法を提供することを目的とする。
【００１４】
【課題を解決するための手段】
上記目的を達成するための一手段として、本発明の画像処理装置は以下の構成を備える。すなわち、
【００１５】
符号化された動画像データを入力する入力手段と、
該動画像データを背景の符号化データとオブジェクトの符号化データとに分離する分離手段と、
該分離されたオブジェクトの符号化データから符号化された形状情報を抽出する抽出手段と、
前記符号化された形状情報を復号する復号手段と、
前記復号手段によって復号された形状情報を閉領域毎に分割する形状分割手段と、
前記形状分割手段における分割結果に基づいて、前記オブジェクトの符号化データを複数の新オブジェクトに分割するオブジェクト分割手段と、
分割された背景の符号化データと、前記複数の新オブジェクトの符号化データを合成する合成手段とを備える。
【００１６】
また、本発明の画像処理方法は、
符号化された動画像データを入力する入力工程と、
該動画像データを背景の符号化データとオブジェクトの符号化データとに分離する分離工程と、
該分離されたオブジェクトの符号化データから符号化された形状情報を抽出する抽出工程と、
前記符号化された形状情報を復号する復号工程と、
前記復号工程によって復号された形状情報を閉領域毎に分割する形状分割工程と、
前記形状分割工程における分割結果に基づいて、前記オブジェクトの符号化データを複数の新オブジェクトに分割するオブジェクト分割工程と、
分割された背景の符号化データと、前記複数の新オブジェクトの符号化データを合成する合成工程とを備える。
【００１７】
本発明がこのように構成されることにより、形状情報を用いて対象を分割する動作を容易に、且つ確実に行うことが可能になる。
【００１８】
【発明の実施の形態】
以下、本発明に係る一実施形態について、図面を参照して詳細に説明する。
【００１９】
＜第一実施形態＞
図1は本実施形態としての動画像入力装置の構成を示すブロック図である。本実施形態においては、画像内のオブジェクトを抽出する方法として前記「スポーツ番組における事前知識情報を用いたモルフォロジカルセグメンテーション」を用い、符号化方式としてMPEG-4符号化方式を用いた場合について説明する。
【００２０】
図1において、101はTVカメラである。なお、このTVカメラ101は動画像を撮像し、ディジタル信号として出力するものであればどんなものでもよい。102は背景メモリであり、事前に撮像された背景画像を格納する。103は背景画像を符号化する背景符号化器である。104は前述のモルフォロジカルセグメンテーションにてオブジェクトの抽出を行うオブジェクト抽出器である。105は本実施形態の特徴である、オブジェクトを分割するオブジェクト分割器である。106は分割されたオブジェクトをそれぞれ符号化するオブジェクト符号化器である。107は得られた符号化データにヘッダ等を付加し、MPEG-4の符号化書式に適応するように符号化データを合成する合成器である。108は通信インタフェースであり、109は通信回線である。110は符号化データを蓄積する記憶装置である。
【００２１】
以下、本実施形態において動画像を撮像し、該画像を符号化して出力する処理について詳細に説明する 以下、説明をより明解にするために、図19に示す画像を撮像する場合を例として説明する。
【００２２】
図1に示す構成において、ユーザは、まず各部の初期化を行い、TVカメラ101からオブジェクトのない、即ち背景のみの画像を撮像する。撮像された例えば図20に示すような背景画像は、背景メモリ102に入力される。背景メモリ102の内容は背景符号化器103で符号化され、合成器107でMPEG-4の符号化データとして整えられた後、通信インタフェース108を介して通信回線109に送出されたり、記憶装置110に蓄積されたりする。
【００２３】
続いてTVカメラ101により、オブジェクトを含めた動画像を撮像し、オブジェクト抽出器104に入力する。オブジェクト抽出器104は、上述したモルフォロジカルセグメンテーションによって、背景画像の特性から異なる性質の領域をオブジェクトとして抽出し、オブジェクト分割器105にその形状情報と画像データを入力する。
【００２４】
オブジェクト分割器105の詳細ブロック構成を図2に示す。同図において、端子120はオブジェクト抽出器104から形状情報である２値画像を入力する。端子121はオブジェクト抽出器104からオブジェクトの画像データを入力する。122は形状メモリであり、入力された形状情報をフレーム毎に格納する。132はオブジェクトメモリであり、入力されたオブジェクトの画像データをフレーム毎に格納する。123は領域抽出器であり、形状情報から閉領域を抽出し、閉領域毎に矩形で切り出して抽出する。124は抽出された領域を格納する領域メモリであり、125はそのデータを変倍し変形させる変形器である。126は領域抽出器123から出力された各領域のデータと変形器125の出力との排他的論理和を求めることにより領域を比較する領域比較器であり、127はこの領域比較結果に基づいて最も類似する領域を選択する領域選択器である。128は抽出された領域の情報を格納する領域情報メモリであり、端子129は抽出された領域の情報を出力する。130は領域情報に従って領域抽出器123からそれぞれの領域を新たな形状情報として格納する形状メモリである。131は形状メモリ130に格納された各領域の形状情報を出力する端子である。133は領域データ抽出器であり、オブジェクトメモリ132から画像データを読み出し、領域情報メモリ128内の領域情報と形状メモリ130内の形状情報に従って、いずれの閉領域に属するものかを判定し、それぞれの閉領域毎に画像データをオブジェクトメモリ134に格納する。
【００２５】
このような構成において、オブジェクトを含む第1のフレームについて、端子120と端子121からフレームの形状情報（図3）とオブジェクトの画像データ（図21）がそれぞれ入力され、形状メモリ122とオブジェクトメモリ132にそれぞれ格納される。領域抽出器123は形状メモリ122から２値画像を読み出し、形状情報に含まれる閉領域を抽出する。例えば図3においては、２つの閉領域があることがわかる。１つはヨットであり、もう１つは戦艦である。領域抽出器123では、最初に左側の閉領域（ヨット）について図4に示すように外接矩形で切り出し、領域メモリ124と形状メモリ130に格納する。処理フレームが第1フレームである場合には領域比較器126、領域選択器127は作動せず、領域情報メモリ128は抽出された閉領域を新たな形状情報としてその位置や大きさ等の情報を格納する。続いて、右側の閉領域（戦艦）についても同様に図5に示すように外接矩形で切り出し、領域メモリ124、形状メモリ130、領域情報メモリ128への格納を行う。
【００２６】
その後、領域データ抽出器133においてオブジェクトメモリ132から画像データが読み出され、領域情報メモリ128内の領域情報と形状メモリ130内の形状情報に従って、いずれの閉領域に属するものかを判定し、それぞれの閉領域毎に画像データをオブジェクトメモリ134に格納する。本実施形態においては、オブジェクトメモリ134に格納された画像データが、分割された新たなオブジェクトとなる。
【００２７】
以上が、オブジェクト分割器105における１フレームの分割処理である。以下、符号化するフレーム順にオブジェクト分割器105への入力を行なう。ここで、続くフレームの画像を図24として、オブジェクト分割器105における第1フレーム以降の処理について説明する。
【００２８】
図24によれば、ヨットは画面左に舵を切りながら進んでおり、戦艦はこちらに向かって前進していることが分かる。このとき、オブジェクト分割器105の端子120と端子121からはフレームの形状情報とオブジェクトの画像データが入力され、形状メモリ122とオブジェクトメモリ132に格納される。第1フレームの場合と同様に、領域抽出器123は形状メモリ122から２値画像を読み出し、形状情報に含まれる閉領域を抽出する。抽出されたヨットの閉領域を最初に処理するが、ここで、抽出された閉領域を図6に示す。変形器125は、最初に領域メモリ124に格納されている複数の領域をそれぞれ読み出し、領域比較器126に入力される形状情報(図6に対応)と同じ大きさになるように変倍が行われる。
【００２９】
領域比較器126では、変倍された結果と入力された領域との差分を求めることにより、比較を行う。ここで、図7に前フレームのヨットの形状情報を変形させて、新たに入力された閉領域画像との排他的論理和をとった結果を示し、図8に前フレームの戦艦の形状情報を変形させて排他的論理和をとった結果を示す。即ち、図7及び図8においては、黒で示される画素が両閉領域間において異なる画素であることを表している。図7と図8から明らかなように、図8の方が黒画素が多いことがわかる。即ち、領域比較器126においては、黒画素数をカウントし、該カウント値の少ないほうの閉領域が、入力領域との類似度がより高いことを示す。
【００３０】
領域比較器126は、このカウント結果を領域選択器127に入力する。領域選択器127では、領域比較器126からのカウント結果に基づき、端子120より入力された閉領域が前フレームで検出されたヨットの閉領域と同じオブジェクトを表すことを検知し、新たに検出した閉領域がヨットと同じオブジェクトであること、及びその位置、大きさ等の領域情報を、領域情報メモリ128に書き込む。
【００３１】
続いて、図24に示す右側の戦艦領域についても同様に、複数の閉領域との排他的論理和をとり、その比較結果に基づいて、領域情報メモリ128は新たに検出した閉領域が戦艦と同じオブジェクトであること、及びその位置、大きさ等の領域情報を領域情報メモリ128に格納する。尚、領域情報メモリ128の内容は、符号化時にオブジェクトの情報として図1に示すオブジェクト符号化器106で符号を割り当てられ、合成器107でヘッダ等に記録される。
【００３２】
上述したようにして検出された閉領域は、それぞれ形状メモリ130に格納される。領域データ抽出器133は、領域情報メモリ128の内容と形状メモリ130の内容とに基づいて、オブジェクトメモリ132からそれぞれのオブジェクトデータを切り出し、オブジェクトメモリ134に別々に格納する。ここで、図9にヨットの切り出し結果を、図10に戦艦の切り出し結果を示す。形状メモリ130とオブジェクトメモリ134の内容は、符号化時にそれぞれ端子131、135から読み出される。
【００３３】
以上がオブジェクト分割器105における分割処理の説明である。
【００３４】
図1に戻り、オブジェクト符号化器106は、オブジェクト分割器105から出力される領域情報メモリ128の内容、形状メモリ130、オブジェクトメモリ134の内容をそれぞれMPEG-4符号化方式の書式に従って符号化し、合成器107に出力する。形状の符号化とオブジェクトの画像データの符号化は、上述した図22のブロック図に示す構成によって行える。合成器107は、背景符号化器103とオブジェクト符号化器106の出力を合成し、ヘッダ等を加えてMPEG-4の符号化データに整えた後、通信インタフェース108を介して通信回線109に送出したり、記憶装置110に蓄積したりする。
【００３５】
以上説明したように本実施形態によれば、一連の選択動作により形状情報からオブジェクトを分割し、フレーム毎に類似度を測定することで、連続するオブジェクトを容易に決定することができる。これにより、符号化効率を向上させるとともに、オブジェクト毎に編集を施したり、別の符号化データとして扱ったりすることができる。
【００３６】
また、符号化側、復号側においては、1オブジェクトのサイズを最小とすることができるため、補填を行う領域を縮小することで処理を軽減することができ、また同時に、復号側ではオブジェクトを復号するためのメモリ容量を小さく抑えることも可能になる。
【００３７】
尚、本実施形態においては、領域の類似性を計るのに形状情報の不一致画素の数を参照する例について説明したが、本発明は必ずしもこの例に限定されず、形状の重心や、形状自体を用いても構わない。例えば形状自体を比較する方法としては、輪郭追跡による曲り方や分岐のし方等の特徴を判定に用いれば良い。
【００３８】
また、符号化方式もMPEG-4方式に限定されない。例えば、形状の符号化としてチェイン符号化等の別の符号化方式を用いても良いし、オブジェクトの画像データの符号化としてフレーム間相関を用いない符号化を行なっても構わない。
【００３９】
また、得られた符号化データの出力方法としても本実施形態に限定されるものではない。また、オブジェクトの分割後、符号化せずに画像を編集する装置等に直接入力し、オブジェクトの配置を変えたり、オブジェクト自体に回転・拡大縮小等の画像編集作用を施すことももちろん可能である。
【００４０】
＜第２実施形態＞
以下、本発明に係る第2実施形態について説明する。第2実施形態においては、処理対象となる画像データが符号化データとして入力されることを特徴とする。
【００４１】
図11は、第2実施形態に係る画像処理装置の構成を示すブロック図である。ここで、上述した第1実施形態において示した図1と同様の構成要素については同一番号を付し、その詳細な説明を省略する。尚、第2実施形態においては、その入力データはMPEG-4符号化方式による符号化データである。ただし、第2実施形態における符号化方式はこれに限定されるものではない。
【００４２】
図11において、201は記憶装置であり、MPEG-4符号化方式で符号化された画像データが蓄積されている。202は分離器であり、入力されたMPEG-4符号化データを、背景画像に関する符号化データとオブジェクトに関する符号化データとに分離する。203は背景符号メモリであり、分離された背景画像に関する符号化データを格納する。204は第2実施形態の特徴であるところのオブジェクト分割部であり、その詳細については後述する。
【００４３】
図11に示す構成においては、記憶装置201からMPEG-4符号化方式で符号化されたデータを読み込み、分離器202に入力する。ここで、入力される符号化データの構成を図12に示す。同図によれば符号化データは、まずその先頭に画像や符号全体の情報を表すヘッダを有する。そして、背景画像に関する符号化データが続くが、この中には背景画像の大きさ等の情報を含む背景ヘッダ、及び、Ｉフレームモードで符号化された背景画像のデータが含まれる。そしてその後に、含まれるオブジェクトの数分、オブジェクトに関する符号化データが続く。各オブジェクトの符号化データは、それぞれオブジェクトの大きさ等の情報を含むオブジェクトヘッダを有し、その後にMPEG-4符号化方式で符号化されたオブジェクトの符号化データが続く。各オブジェクトの符号化データとしては、各フレームの符号化データが連なり、各フレームの符号化データはフレームのモードや同期のコードを含むフレームヘッダと符号化データの本体からなる。尚、この符号化データにはオブジェクトの形状を表す形状情報の符号化データと、画像データの符号化データが含まれている。
【００４４】
分離器202においては、図12に示す符号化データのヘッダを解析し、各ヘッダは合成器107へ、背景画像に関する符号化データは背景符号メモリ203へ、各オブジェクトの符号化データはオブジェクト分割部204へと分離する。背景符号メモリ203は、背景画像の符号化データを蓄積する。
【００４５】
ここで、オブジェクト分割部204の詳細ブロック構成を図13に示す。同図において上述した図2と同じ機能を果たすものについては同一番号を付与し、詳細な説明は省略する。
【００４６】
図13において、210は分離器202からオブジェクトに関する符号化データを入力する端子である。211は入力された符号化データを形状情報の符号化データと画像データの符号化データに分離する分離器である。212は形状情報復号器であり、MPEG-4符号化方式の形状情報の復号を行う。213は形状メモリであり、復号された形状情報である２値画像を格納する。214はヒストグラム処理器であり、領域抽出器123から出力される各領域単位にヒストグラムを生成する。215は生成されたヒストグラムを各領域毎に格納するヒストグラムメモリである。216は領域抽出器123から出力された各領域のデータとヒストグラム処理器215の出力に基づき、領域の類似度を求めるヒストグラム比較器であり、217はヒストグラムの比較結果に基づいてもっとも類似する領域を選択する領域選択器である。223は抽出された領域の情報を出力する端子である。
【００４７】
220は領域情報メモリ128の領域情報に従って領域抽出器123からそれぞれの領域を新たな形状情報としてそれぞれを符号化する形状情報符号化器である。224は形状情報符号化器220で符号化された各領域の形状情報の符号化データを出力する端子である。219は分離器211で分離された各オブジェクトの符号化データを格納するオブジェクト符号メモリである。221は領域情報メモリ128の領域情報に従ってオブジェクト符号メモリ219の符号化データを抽出されたオブジェクト毎の符号化データに分割する符号分割器である。222は分割された符号化データを格納するメモリであり、225はオブジェクト符号メモリ222に格納された各オブジェクトの画像の符号化データを出力する端子である。
【００４８】
このような構成からなるオブジェクト分割部204において、最初にオブジェクトを含む第1のフレームの符号化データが、端子210から入力される。尚、第1のフレームの符号化データはフレーム内符号化が行われており、動き補償は行われていない。入力された符号化データは分離器211で形状情報の符号化データと画像データの符号化データに分離され、形状情報の符号化データは形状情報復号器212へ、画像データはオブジェクト符号メモリ219に入力される。形状情報復号器212は符号化データの復号を行い、２値画像を再生して形状メモリ213に格納する。領域抽出器123は第１実施例と同様に閉領域の抽出を行う。抽出された各領域の形状情報は、領域毎にヒストグラム処理器214に入力される。
【００４９】
ヒストグラム処理器214では、閉領域の領域内を黒(1)とし、領域外を白(0)として、最初に各主走査方向に画素値を計数してヒストグラムを生成する。続いて副走査方向に画素値を計数してヒストグラムを生成する。ここで、図19に示す画像についてヒストグラム処理を行なう場合について考えると、左側の閉領域であるヨットについてのヒストグラム処理結果は図14に示すグラフの様になる。図14(a)は主走査方向のヒストグラムであり、図14(b)は副走査方向のヒストグラムである。これらのヒストグラムのデータは、各領域毎にヒストグラムメモリ215に格納される。同様にして、右側の閉領域である戦艦についてヒストグラム処理を行うことにより、図15(a)に示す主走査方向のヒストグラムと、図15(b)に示す副走査方向のヒストグラムが得られる。これらのヒストグラムのデータは各領域毎にヒストグラムメモリ215に格納される。尚、ヒストグラム比較器216は最初のフレームでは動作しない。領域選択器217は、抽出された２つの領域をぞれぞれ新しいオブジェクトとする。領域情報メモリ128は、抽出されたオブジェクトの新たな形状情報の位置や大きさ等の情報を格納する。
【００５０】
その後、形状メモリ213から形状情報が読み出され、領域抽出器123でそれぞれのオブジェクトに分けられ、形状情報符号化器220に入力される。形状情報符号化器220は、各オブジェクトの形状情報をMPEG-4符号化方式の形状情報符号化にしたがって符号化する。さらに、オブジェクト符号メモリ219から画像データの符号化データが読み出され、符号分割器221は領域情報メモリ128の情報と領域抽出器123の示す新しいオブジェクトの形状情報に従って、いずれの閉領域に属するものかを判定し、それぞれの閉領域毎に符号化データ分割する。
【００５１】
ここで、入力される符号化データはマクロブロック単位で符号化されている。図16は、図19の画像からオブジェクトを抽出した画像をマクロブロックで分割した例を示している。同図によれば、抽出されたオブジェクトは、分割すべきオブジェクトであるヨットの領域250と戦艦の領域251を含んでいることが分かる。図16における方眼の一マスが、１つのマクロブロックを示す。第2実施形態においては、このマクロブロック単位に符号化データを読み出す。
【００５２】
マクロブロックが、領域250，251で示される分割されるべきオブジェクトのいずれにも含まれない場合、符号化データは破棄される。一方、マクロブロックが完全にオブジェクトに含まれている場合は、符号化データをそのまま使用する。また、領域が重なる部分のマクロブロックについては、マクロブロックが符号化されているか否かを表すnot_coded符号がマクロブロック単位で付加される。すなわち領域250において、領域251と重なる56個のマクロブロックはオブジェクト(ヨットの絵柄)の外であるため、領域250について56個のnot_coded符号がそれぞれ付加される。
【００５３】
ここで、もう一方の領域に接するマクロブロック(図16においては、252から254で示されるブロック)に関しては、符号の置き換えを行う可能性を含んでいる。マクロブロックの直前または直上が別な領域のマクロブロックである場合については、符号の置換が発生する。すなわちこれらのマクロブロックでは、周囲のマクロブロックからの予測を行っており、参照するマクロブロックの内容が変化することにより復号できなくなることがあるからである。このため、周囲のマクロブロックを参照して符号化されているマクロブロックについては、該マクロブロックの符号化データを一旦復号し、周囲のマクロブロックで他の領域のブロックであるマクロブロックに対して領域情報メモリ128の値を入れて再度符号化を行う。このようにして符号化データを各オブジェクト毎に分割し、オブジェクト符号メモリ222に格納する。
【００５４】
以上が、オブジェクト分割部204における１フレームの分割処理である。以下、後続のフレーム順にオブジェクト分割部204への入力を行なう。ここで、続くフレームの画像を図24として、オブジェクト分割部204における第1フレーム以降の処理について説明する。 第1フレームと同様に、入力された符号化データは分離器211で形状情報の符号化データと画像データの符号化データに分離され、形状情報復号器212は符号化データを復号して形状メモリ213に格納する。領域抽出器123は閉領域の抽出を行い、各領域の形状情報はヒストグラム処理器214に入力され、領域毎にヒストグラムが生成される。図24において、左側の閉領域であるヨットについてヒストグラム処理を行った結果を示すグラフが、図17である。図17(a)は主走査方向のヒストグラムであり、図17(b)は副走査方向のヒストグラムである。これらヒストグラムのデータは、ヒストグラム比較器216においてヒストグラムメモリ215に格納されている各領域毎のヒストグラムと比較され、類似度が算出される。ここでは比較の方法は限定しないが、たとえば極大値の位置の相関や頻度の分布等を用いればよい。
【００５５】
そして領域選択器217においては、もっとも類似度が高いものを同じオブジェクトとし、領域情報メモリ128に、前のフレームの該当するオブジェクトの情報に位置や大きさ等の情報を付け加えて格納する。同様にして、図24における右側の閉領域である戦艦についても、同様の処理を行う。その後、これらのヒストグラムのデータは各領域毎にヒストグラムメモリ215に格納される。
【００５６】
その後、形状メモリ213から形状情報が読み出され、領域抽出器123でそれぞれのオブジェクトに分けられ、形状情報符号化器220で符号化される。
【００５７】
さらにオブジェクト符号メモリ219から画像データの符号化データが読み出され、領域情報メモリ128の情報と領域抽出器123の示す新しいオブジェクトの形状情報に従って、いずれの閉領域に属するものかを判定し、符号分割器221でそれぞれの閉領域毎に符号化データを分割する。
【００５８】
尚、第2フレーム以降については動き補償が行われる場合がある。動き補償が無いマクロブロックについては、前述のとおり、符号の分割はマクロブロック単位で行われる。一方、動き補償を行っているマクロブロックについては、その動きベクトルが領域外を参照した時に、参照するマクロブロックの内容が変化した場合には復号できなくなることがある。そこで、動きベクトルのみを復号し、領域外や領域内で他の領域と重なる部分を参照している場合に限り、マクロブロックを一旦復号し、フレーム内符号化するか、直前のマクロブロックを一旦復号してから、これを参照マクロブロックとして動き補償を行い、符号化する。以上の処理により、マクロブロック単位で符号の分割を行い、各オブジェクト毎に分割し、オブジェクト符号メモリ222に格納する。
【００５９】
最終的には、図11に示す合成器107において、背景符号メモリ203とオブジェクト分割部204の出力を合成し、ヘッダ等を加えてMPEG-4の符号化データに整え、通信インタフェース108を介して通信回線109に送出したり、記憶装置110に蓄積したりする。
【００６０】
以上説明したように第2実施形態によれば、全ての符号化データを復号すること無く、オブジェクトを分割することが可能になる。このため、オブジェクトの分割を高速に行うことが可能になる上、復号画像を格納する必要がないため、メモリを削減することも可能になった。
【００６１】
さらに、オブジェクトの細分化を形状情報から抽出した特徴量をもって行うことで、過去の形状情報を画像としてではなく数値で持つため、過去の形状情報を格納するメモリ量を減少させることが可能になった。従って、過去の形状情報は画像情報でなくても構わないことが分かる。
【００６２】
なお、第2実施形態では記憶装置１１０と記憶装置２０１をそれぞれ独立に記載したが、例えばこれらを同一の装置で構成し、異なるメモリ領域に書き込むようにしても良い。
【００６３】
また、第2実施形態では類似度をヒストグラムから求める例について説明したが、本発明はこの例に限定されず、第1実施例と同様な手段を用いてもかまわないし、一般に知られているＯＣＲの技術を用いて、格納された形状ともっとも類似度の高い領域を選択することも十分に可能である。
【００６４】
また、第2実施形態におけるメモリの構成等はこれに限定されない。また、各機能の一部または全てをＣＰＵ等を用いたソフトウェアで実現してもかまわない。
【００６５】
また、符号化方式もMPEG-4に限定されない。例えば、形状情報を２値画像符号化方式であるJBIG符号化方式やMMR符号化方式で符号化しても良いし、オブジェクトの画像データをフレーム単位で圧縮しても、MPEG-1，2、h.261等で符号化してももちろん構わない。
【００６６】
＜他の実施形態＞
なお、本発明は、複数の機器（例えばホストコンピュータ，インタフェイス機器，リーダ，プリンタなど）から構成されるシステムに適用しても、一つの機器からなる装置（例えば、複写機，ファクシミリ装置など）に適用してもよい。
【００６７】
また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読出し実行することによっても、達成されることは言うまでもない。
【００６８】
この場合、記憶媒体から読出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。
【００６９】
プログラムコードを供給するための記憶媒体としては、例えば、フロッピディスク，ハードディスク，光ディスク，光磁気ディスク，ＣＤ−ＲＯＭ，ＣＤ−Ｒ，磁気テープ，不揮発性のメモリカード，ＲＯＭなどを用いることができる。
【００７０】
また、コンピュータが読出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているＯＳ（オペレーティングシステム）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００７１】
さらに、記憶媒体から読出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００７２】
【発明の効果】
以上の説明したように本発明によれば、動画像内の複数のオブジェクトを分割して抽出することができる。そしてさらに、分割されたオブジェクトのフレーム間における相間を把握することができるため、効率のよい符号化処理が可能となる。
【００７３】
これにより、画像内におけるオブジェクト単位の編集作業等が効率良く行えるとともに、さらに符号化を施すことにより効率のよいデータ転送や蓄積が可能になる。
【００７４】
【図面の簡単な説明】
【図１】本発明に係る一実施形態における動画像入力装置の構成を示すブロック図である。
【図２】本実施形態におけるオブジェクト分割器の詳細構成を示すブロック図である。
【図３】本実施形態におけるオブジェクトの領域の一例の様子を示す図である。
【図４】本実施形態におけるオブジェクトの領域の一例の様子を示す図である。
【図５】本実施形態におけるオブジェクトの領域の一例の様子を示す図である。
【図６】本実施形態におけるオブジェクトの領域の一例の様子を示す図である。
【図７】本実施形態における形状情報の差分の様子を説明するための図である。
【図８】本実施形態における形状情報の差分の様子を説明するための図である。
【図９】本実施形態におけるオブジェクトの分割の様子を説明するための図である。
【図１０】本実施形態におけるオブジェクトの分割の様子を説明するための図である。
【図１１】本発明に係る第2実施形態における画像処理装置の構成を示すブロック図である。
【図１２】第2実施形態における符号化データの構成を説明するための図である。
【図１３】第2実施形態のオブジェクト分割部の詳細構成を示すブロック図である。
【図１４】第2実施形態におけるヒストグラムの様子を説明するための図である。
【図１５】第2実施形態におけるヒストグラムの様子を説明するための図である。
【図１６】第2実施形態におけるマクロブロックの分割の様子を説明するための図である。
【図１７】第2実施形態におけるヒストグラムの様子を説明するための図である。
【図１８】従来の画像入力装置の構成を示すブロック図である。
【図１９】一例としての動画像の１フレームの内容を表す図である。
【図２０】背景画像の一例を表す図である。
【図２１】抽出されたオブジェクトの一例を表す図である。
【図２２】 MPEG-4符号化方式を説明するための図である。
【図２３】従来例におけるオブジェクトの補填の様子を示す図である。
【図２４】一例としての動画像の１フレームの内容を表す図である。
【符号の説明】
101，1001 TVカメラ
102，1002 背景メモリ
103，1003 背景符号化器
104，1004 オブジェクト抽出器
105 オブジェクト分割器
106，1005 オブジェクト符号化器
107，1006 合成器
108，1007 通信インタフェース
109，1008 通信回線
110，201，1009 記憶装置
120，121，129，131，135，210，223，224，225 端子
122，130，213 形状メモリ
123 領域抽出器
133 領域データ抽出器
124 領域メモリ
125 変形器
126 領域比較器
127，217 領域選択器
128 領域情報メモリ
132，134 オブジェクトメモリ
202，211 分離器
203 背景符号メモリ
204 オブジェクト分割部
212 形状情報復号器
214 ヒストグラム処理器
215 ヒストグラムメモリ
216 ヒストグラム比較器
219，222 オブジェクト符号メモリ
220 形状情報符号化器
221 符号分割器
250，251 領域
252，253，254 マクロブロック
【発明の属する技術分野】
本発明は画像処理装置及びその方法に関し、特に動画像内のオブジェクトを抽出して処理する画像処理装置及びその方法に関する。
【０００２】
【従来の技術】
近年、動画像をその背景とオブジェクトとに分離し、それぞれを符号化するオブジェクト符号化の技術が開発されつつある。その代表としてMPEG-4符号化方式が知られており、標準化作業が進んでいる。MPEG-4符号化方式は、動画像を背景とオブジェクトと呼ばれる符号化の対象とに分離し、それぞれを符号化する方式である。これにより、従来のMPEG-1，MPEG-2，h.261，h.263等に代表されるフレーム単位での符号化と異なり、動きの無い（または少ない）背景の部分の符号化を２度以上行わないので、低ビットレートでの符号化が可能になる。さらに、復号側でオブジェクトの取捨選択や拡大縮小や回転などの編集作業を行うことが容易にできるため、ユーザの好みを反映した復号が可能になった。
【０００３】
以下、MPEG-4符号化方式における符号化の一例について説明する。尚、画像内における背景とオブジェクトの抽出方法についてはMPEG-4の標準の対象外であり、自由である。例えば「スポーツ番組における事前知識情報を用いたモルフォロジカルセグメンテーション」（1997年映像メディア処理シンポジウム(IMPS97)I-3,15 1997．10．8苗村他）に示されるような手法を用いることができる。これは、オブジェクトである選手のいないグラウンド等の情報を背景として予め取得しておき、該背景の情報に基づいて動画像からオブジェクト（選手）を抽出するという方法である。
【０００４】
図18は、従来の画像入力装置の構成を示すブロック図である。同図において、最初にTVカメラ1001により撮像された動画像データを背景メモリ1002に格納する。以下、図19に示すような、海上を航行するヨットと戦艦の画像を例として説明する。この画像から、カラーヒストグラムを作成して背景の領域を抽出した場合、図20に示すように、上半分の空の部分と下半分の海の部分を検出できる。この図20に示す背景画像は静止画像であるから、背景画像符号化器1003で静止画像の符号化がされる。
【０００５】
続いて、オブジェクトであるヨットと戦艦が入った画像を動画像として撮像し、オブジェクト抽出器1004において背景画像との差分をとったり、色の異なる領域を抽出することでオブジェクトを抽出することができる。抽出されたオブジェクトは図21に示すとおりとなる。これをオブジェクト符号化器1005で符号化する。
【０００６】
図22に、オブジェクト符号化器1005の詳細ブロック構成を示す。端子1020から形状(shape)情報を入力し、形状メモリ1022に格納する。この形状情報はオブジェクトを表す画素を白、それ以外を黒とするような２値画像で表される。境界抽出器1023でこの画像から白黒が反転する画素を境界として抽出し、動き補償器1024に入力する。フレームモードがＩフレームであれば動き補償器1024は動作せず、ＰフレームやＢフレームであれば過去のフレームの境界状態を格納した境界メモリ1025の内容と比較して動き補償を行い、その結果を算術符号化する。その後、入力された形状情報の境界の情報を境界メモリ1025に格納する。
【０００７】
一方、図21に表されるオブジェクトの画像データは、端子1021から入力されてオブジェクトメモリ1027に格納される。オブジェクトメモリ1027と形状メモリ1022の画像データは補填器1028に入力される。補填器1028はオブジェクトの外の画素、即ち、形状情報が黒である画素を、近くのオブジェクト内の画素値によってマクロブロック単位に補填する。補填した結果を図23に示す。ここで、補填は垂直方向と水平方向の繰り返しにより行なう。オブジェクトから離れたマクロブロックには補填器1028から補填画素が入力される。
【０００８】
このようにして補填された画像データは、差分器1029で動き補償器1037の出力との差分が求められ、DCT変換器1030でDCT変換され、量子化器1031で所定の量子化マトリクスで量子化された後、係数符号化器1032でハフマン符号化される。量子化結果は逆量子化器1033で逆量子化され、逆DCT変換器1034で予測差分値に戻されて動き補償器1037の出力と加えて画素値を復号し、オブジェクトメモリ1036に格納して次の動き補償に用いる。動き補償器1037はＰフレームとＢフレームの時、オブジェクトメモリ1036とオブジェクトメモリ1027の内容を比較して動き補償を行い、その予測値と動きベクトルを算出する。動きベクトルは符号化され、合成器1038に入力される。算術符号器1026、動き補償器1037、係数符号化器1032の出力は合成器1038でヘッダ等を加えられてMPEG-4の符号化データに整えられ、端子1039から出力される。
【０００９】
図18に戻り、合成器1006は、背景符号化器1003とオブジェクト符号化器1005の出力を合成し、ヘッダ等を加えてMPEG-4の符号化データに整えた後、通信インタフェース1007を介して通信回線1008に送出したり、記憶装置1009に蓄積したりする。
【００１０】
【発明が解決しようとする課題】
しかしながら、上述したオブジェクトの抽出方法では、背景以外をオブジェクトとするため、本来異なるべきである複数のオブジェクト、例えば図21ではヨットと戦艦の両方が1つのオブジェクトとして扱われてしまうため、個別のオブジェクトとして扱うことは非常に困難であった。
【００１１】
また、図24に示すように、次のフレームでオブジェクトどうしが離れていく場合等においては、1オブジェクトとしてまとめられたオブジェクト全体の大きさは大きくなる。従って、復号側では復号した形状情報やオブジェクトの画像が大きくなり、メモリを不要に大きく占有してしまうため、処理効率が悪くなってしまう。
【００１２】
また、フレーム単位でオブジェクトの抽出を行うため、たとえオブジェクト毎に切り出せてもフレーム間での関係が分からないため、フレーム間相関を用いた符号化は困難である。
【００１３】
前記課題を考慮して、本発明は、動画像内のオブジェクトを分割して抽出し、効率のよい符号化処理を可能とする画像処理装置及びその方法を提供することを目的とする。
【００１４】
【課題を解決するための手段】
上記目的を達成するための一手段として、本発明の画像処理装置は以下の構成を備える。すなわち、
【００１５】
符号化された動画像データを入力する入力手段と、
該動画像データを背景の符号化データとオブジェクトの符号化データとに分離する分離手段と、
該分離されたオブジェクトの符号化データから符号化された形状情報を抽出する抽出手段と、
前記符号化された形状情報を復号する復号手段と、
前記復号手段によって復号された形状情報を閉領域毎に分割する形状分割手段と、
前記形状分割手段における分割結果に基づいて、前記オブジェクトの符号化データを複数の新オブジェクトに分割するオブジェクト分割手段と、
分割された背景の符号化データと、前記複数の新オブジェクトの符号化データを合成する合成手段とを備える。
【００１６】
また、本発明の画像処理方法は、
符号化された動画像データを入力する入力工程と、
該動画像データを背景の符号化データとオブジェクトの符号化データとに分離する分離工程と、
該分離されたオブジェクトの符号化データから符号化された形状情報を抽出する抽出工程と、
前記符号化された形状情報を復号する復号工程と、
前記復号工程によって復号された形状情報を閉領域毎に分割する形状分割工程と、
前記形状分割工程における分割結果に基づいて、前記オブジェクトの符号化データを複数の新オブジェクトに分割するオブジェクト分割工程と、
分割された背景の符号化データと、前記複数の新オブジェクトの符号化データを合成する合成工程とを備える。
【００１７】
本発明がこのように構成されることにより、形状情報を用いて対象を分割する動作を容易に、且つ確実に行うことが可能になる。
【００１８】
【発明の実施の形態】
以下、本発明に係る一実施形態について、図面を参照して詳細に説明する。
【００１９】
＜第一実施形態＞
図1は本実施形態としての動画像入力装置の構成を示すブロック図である。本実施形態においては、画像内のオブジェクトを抽出する方法として前記「スポーツ番組における事前知識情報を用いたモルフォロジカルセグメンテーション」を用い、符号化方式としてMPEG-4符号化方式を用いた場合について説明する。
【００２０】
図1において、101はTVカメラである。なお、このTVカメラ101は動画像を撮像し、ディジタル信号として出力するものであればどんなものでもよい。102は背景メモリであり、事前に撮像された背景画像を格納する。103は背景画像を符号化する背景符号化器である。104は前述のモルフォロジカルセグメンテーションにてオブジェクトの抽出を行うオブジェクト抽出器である。105は本実施形態の特徴である、オブジェクトを分割するオブジェクト分割器である。106は分割されたオブジェクトをそれぞれ符号化するオブジェクト符号化器である。107は得られた符号化データにヘッダ等を付加し、MPEG-4の符号化書式に適応するように符号化データを合成する合成器である。108は通信インタフェースであり、109は通信回線である。110は符号化データを蓄積する記憶装置である。
【００２１】
以下、本実施形態において動画像を撮像し、該画像を符号化して出力する処理について詳細に説明する 以下、説明をより明解にするために、図19に示す画像を撮像する場合を例として説明する。
【００２２】
図1に示す構成において、ユーザは、まず各部の初期化を行い、TVカメラ101からオブジェクトのない、即ち背景のみの画像を撮像する。撮像された例えば図20に示すような背景画像は、背景メモリ102に入力される。背景メモリ102の内容は背景符号化器103で符号化され、合成器107でMPEG-4の符号化データとして整えられた後、通信インタフェース108を介して通信回線109に送出されたり、記憶装置110に蓄積されたりする。
【００２３】
続いてTVカメラ101により、オブジェクトを含めた動画像を撮像し、オブジェクト抽出器104に入力する。オブジェクト抽出器104は、上述したモルフォロジカルセグメンテーションによって、背景画像の特性から異なる性質の領域をオブジェクトとして抽出し、オブジェクト分割器105にその形状情報と画像データを入力する。
【００２４】
オブジェクト分割器105の詳細ブロック構成を図2に示す。同図において、端子120はオブジェクト抽出器104から形状情報である２値画像を入力する。端子121はオブジェクト抽出器104からオブジェクトの画像データを入力する。122は形状メモリであり、入力された形状情報をフレーム毎に格納する。132はオブジェクトメモリであり、入力されたオブジェクトの画像データをフレーム毎に格納する。123は領域抽出器であり、形状情報から閉領域を抽出し、閉領域毎に矩形で切り出して抽出する。124は抽出された領域を格納する領域メモリであり、125はそのデータを変倍し変形させる変形器である。126は領域抽出器123から出力された各領域のデータと変形器125の出力との排他的論理和を求めることにより領域を比較する領域比較器であり、127はこの領域比較結果に基づいて最も類似する領域を選択する領域選択器である。128は抽出された領域の情報を格納する領域情報メモリであり、端子129は抽出された領域の情報を出力する。130は領域情報に従って領域抽出器123からそれぞれの領域を新たな形状情報として格納する形状メモリである。131は形状メモリ130に格納された各領域の形状情報を出力する端子である。133は領域データ抽出器であり、オブジェクトメモリ132から画像データを読み出し、領域情報メモリ128内の領域情報と形状メモリ130内の形状情報に従って、いずれの閉領域に属するものかを判定し、それぞれの閉領域毎に画像データをオブジェクトメモリ134に格納する。
【００２５】
このような構成において、オブジェクトを含む第1のフレームについて、端子120と端子121からフレームの形状情報（図3）とオブジェクトの画像データ（図21）がそれぞれ入力され、形状メモリ122とオブジェクトメモリ132にそれぞれ格納される。領域抽出器123は形状メモリ122から２値画像を読み出し、形状情報に含まれる閉領域を抽出する。例えば図3においては、２つの閉領域があることがわかる。１つはヨットであり、もう１つは戦艦である。領域抽出器123では、最初に左側の閉領域（ヨット）について図4に示すように外接矩形で切り出し、領域メモリ124と形状メモリ130に格納する。処理フレームが第1フレームである場合には領域比較器126、領域選択器127は作動せず、領域情報メモリ128は抽出された閉領域を新たな形状情報としてその位置や大きさ等の情報を格納する。続いて、右側の閉領域（戦艦）についても同様に図5に示すように外接矩形で切り出し、領域メモリ124、形状メモリ130、領域情報メモリ128への格納を行う。
【００２６】
その後、領域データ抽出器133においてオブジェクトメモリ132から画像データが読み出され、領域情報メモリ128内の領域情報と形状メモリ130内の形状情報に従って、いずれの閉領域に属するものかを判定し、それぞれの閉領域毎に画像データをオブジェクトメモリ134に格納する。本実施形態においては、オブジェクトメモリ134に格納された画像データが、分割された新たなオブジェクトとなる。
【００２７】
以上が、オブジェクト分割器105における１フレームの分割処理である。以下、符号化するフレーム順にオブジェクト分割器105への入力を行なう。ここで、続くフレームの画像を図24として、オブジェクト分割器105における第1フレーム以降の処理について説明する。
【００２８】
図24によれば、ヨットは画面左に舵を切りながら進んでおり、戦艦はこちらに向かって前進していることが分かる。このとき、オブジェクト分割器105の端子120と端子121からはフレームの形状情報とオブジェクトの画像データが入力され、形状メモリ122とオブジェクトメモリ132に格納される。第1フレームの場合と同様に、領域抽出器123は形状メモリ122から２値画像を読み出し、形状情報に含まれる閉領域を抽出する。抽出されたヨットの閉領域を最初に処理するが、ここで、抽出された閉領域を図6に示す。変形器125は、最初に領域メモリ124に格納されている複数の領域をそれぞれ読み出し、領域比較器126に入力される形状情報(図6に対応)と同じ大きさになるように変倍が行われる。
【００２９】
領域比較器126では、変倍された結果と入力された領域との差分を求めることにより、比較を行う。ここで、図7に前フレームのヨットの形状情報を変形させて、新たに入力された閉領域画像との排他的論理和をとった結果を示し、図8に前フレームの戦艦の形状情報を変形させて排他的論理和をとった結果を示す。即ち、図7及び図8においては、黒で示される画素が両閉領域間において異なる画素であることを表している。図7と図8から明らかなように、図8の方が黒画素が多いことがわかる。即ち、領域比較器126においては、黒画素数をカウントし、該カウント値の少ないほうの閉領域が、入力領域との類似度がより高いことを示す。
【００３０】
領域比較器126は、このカウント結果を領域選択器127に入力する。領域選択器127では、領域比較器126からのカウント結果に基づき、端子120より入力された閉領域が前フレームで検出されたヨットの閉領域と同じオブジェクトを表すことを検知し、新たに検出した閉領域がヨットと同じオブジェクトであること、及びその位置、大きさ等の領域情報を、領域情報メモリ128に書き込む。
【００３１】
続いて、図24に示す右側の戦艦領域についても同様に、複数の閉領域との排他的論理和をとり、その比較結果に基づいて、領域情報メモリ128は新たに検出した閉領域が戦艦と同じオブジェクトであること、及びその位置、大きさ等の領域情報を領域情報メモリ128に格納する。尚、領域情報メモリ128の内容は、符号化時にオブジェクトの情報として図1に示すオブジェクト符号化器106で符号を割り当てられ、合成器107でヘッダ等に記録される。
【００３２】
上述したようにして検出された閉領域は、それぞれ形状メモリ130に格納される。領域データ抽出器133は、領域情報メモリ128の内容と形状メモリ130の内容とに基づいて、オブジェクトメモリ132からそれぞれのオブジェクトデータを切り出し、オブジェクトメモリ134に別々に格納する。ここで、図9にヨットの切り出し結果を、図10に戦艦の切り出し結果を示す。形状メモリ130とオブジェクトメモリ134の内容は、符号化時にそれぞれ端子131、135から読み出される。
【００３３】
以上がオブジェクト分割器105における分割処理の説明である。
【００３４】
図1に戻り、オブジェクト符号化器106は、オブジェクト分割器105から出力される領域情報メモリ128の内容、形状メモリ130、オブジェクトメモリ134の内容をそれぞれMPEG-4符号化方式の書式に従って符号化し、合成器107に出力する。形状の符号化とオブジェクトの画像データの符号化は、上述した図22のブロック図に示す構成によって行える。合成器107は、背景符号化器103とオブジェクト符号化器106の出力を合成し、ヘッダ等を加えてMPEG-4の符号化データに整えた後、通信インタフェース108を介して通信回線109に送出したり、記憶装置110に蓄積したりする。
【００３５】
以上説明したように本実施形態によれば、一連の選択動作により形状情報からオブジェクトを分割し、フレーム毎に類似度を測定することで、連続するオブジェクトを容易に決定することができる。これにより、符号化効率を向上させるとともに、オブジェクト毎に編集を施したり、別の符号化データとして扱ったりすることができる。
【００３６】
また、符号化側、復号側においては、1オブジェクトのサイズを最小とすることができるため、補填を行う領域を縮小することで処理を軽減することができ、また同時に、復号側ではオブジェクトを復号するためのメモリ容量を小さく抑えることも可能になる。
【００３７】
尚、本実施形態においては、領域の類似性を計るのに形状情報の不一致画素の数を参照する例について説明したが、本発明は必ずしもこの例に限定されず、形状の重心や、形状自体を用いても構わない。例えば形状自体を比較する方法としては、輪郭追跡による曲り方や分岐のし方等の特徴を判定に用いれば良い。
【００３８】
また、符号化方式もMPEG-4方式に限定されない。例えば、形状の符号化としてチェイン符号化等の別の符号化方式を用いても良いし、オブジェクトの画像データの符号化としてフレーム間相関を用いない符号化を行なっても構わない。
【００３９】
また、得られた符号化データの出力方法としても本実施形態に限定されるものではない。また、オブジェクトの分割後、符号化せずに画像を編集する装置等に直接入力し、オブジェクトの配置を変えたり、オブジェクト自体に回転・拡大縮小等の画像編集作用を施すことももちろん可能である。
【００４０】
＜第２実施形態＞
以下、本発明に係る第2実施形態について説明する。第2実施形態においては、処理対象となる画像データが符号化データとして入力されることを特徴とする。
【００４１】
図11は、第2実施形態に係る画像処理装置の構成を示すブロック図である。ここで、上述した第1実施形態において示した図1と同様の構成要素については同一番号を付し、その詳細な説明を省略する。尚、第2実施形態においては、その入力データはMPEG-4符号化方式による符号化データである。ただし、第2実施形態における符号化方式はこれに限定されるものではない。
【００４２】
図11において、201は記憶装置であり、MPEG-4符号化方式で符号化された画像データが蓄積されている。202は分離器であり、入力されたMPEG-4符号化データを、背景画像に関する符号化データとオブジェクトに関する符号化データとに分離する。203は背景符号メモリであり、分離された背景画像に関する符号化データを格納する。204は第2実施形態の特徴であるところのオブジェクト分割部であり、その詳細については後述する。
【００４３】
図11に示す構成においては、記憶装置201からMPEG-4符号化方式で符号化されたデータを読み込み、分離器202に入力する。ここで、入力される符号化データの構成を図12に示す。同図によれば符号化データは、まずその先頭に画像や符号全体の情報を表すヘッダを有する。そして、背景画像に関する符号化データが続くが、この中には背景画像の大きさ等の情報を含む背景ヘッダ、及び、Ｉフレームモードで符号化された背景画像のデータが含まれる。そしてその後に、含まれるオブジェクトの数分、オブジェクトに関する符号化データが続く。各オブジェクトの符号化データは、それぞれオブジェクトの大きさ等の情報を含むオブジェクトヘッダを有し、その後にMPEG-4符号化方式で符号化されたオブジェクトの符号化データが続く。各オブジェクトの符号化データとしては、各フレームの符号化データが連なり、各フレームの符号化データはフレームのモードや同期のコードを含むフレームヘッダと符号化データの本体からなる。尚、この符号化データにはオブジェクトの形状を表す形状情報の符号化データと、画像データの符号化データが含まれている。
【００４４】
分離器202においては、図12に示す符号化データのヘッダを解析し、各ヘッダは合成器107へ、背景画像に関する符号化データは背景符号メモリ203へ、各オブジェクトの符号化データはオブジェクト分割部204へと分離する。背景符号メモリ203は、背景画像の符号化データを蓄積する。
【００４５】
ここで、オブジェクト分割部204の詳細ブロック構成を図13に示す。同図において上述した図2と同じ機能を果たすものについては同一番号を付与し、詳細な説明は省略する。
【００４６】
図13において、210は分離器202からオブジェクトに関する符号化データを入力する端子である。211は入力された符号化データを形状情報の符号化データと画像データの符号化データに分離する分離器である。212は形状情報復号器であり、MPEG-4符号化方式の形状情報の復号を行う。213は形状メモリであり、復号された形状情報である２値画像を格納する。214はヒストグラム処理器であり、領域抽出器123から出力される各領域単位にヒストグラムを生成する。215は生成されたヒストグラムを各領域毎に格納するヒストグラムメモリである。216は領域抽出器123から出力された各領域のデータとヒストグラム処理器215の出力に基づき、領域の類似度を求めるヒストグラム比較器であり、217はヒストグラムの比較結果に基づいてもっとも類似する領域を選択する領域選択器である。223は抽出された領域の情報を出力する端子である。
【００４７】
220は領域情報メモリ128の領域情報に従って領域抽出器123からそれぞれの領域を新たな形状情報としてそれぞれを符号化する形状情報符号化器である。224は形状情報符号化器220で符号化された各領域の形状情報の符号化データを出力する端子である。219は分離器211で分離された各オブジェクトの符号化データを格納するオブジェクト符号メモリである。221は領域情報メモリ128の領域情報に従ってオブジェクト符号メモリ219の符号化データを抽出されたオブジェクト毎の符号化データに分割する符号分割器である。222は分割された符号化データを格納するメモリであり、225はオブジェクト符号メモリ222に格納された各オブジェクトの画像の符号化データを出力する端子である。
【００４８】
このような構成からなるオブジェクト分割部204において、最初にオブジェクトを含む第1のフレームの符号化データが、端子210から入力される。尚、第1のフレームの符号化データはフレーム内符号化が行われており、動き補償は行われていない。入力された符号化データは分離器211で形状情報の符号化データと画像データの符号化データに分離され、形状情報の符号化データは形状情報復号器212へ、画像データはオブジェクト符号メモリ219に入力される。形状情報復号器212は符号化データの復号を行い、２値画像を再生して形状メモリ213に格納する。領域抽出器123は第１実施例と同様に閉領域の抽出を行う。抽出された各領域の形状情報は、領域毎にヒストグラム処理器214に入力される。
【００４９】
ヒストグラム処理器214では、閉領域の領域内を黒(1)とし、領域外を白(0)として、最初に各主走査方向に画素値を計数してヒストグラムを生成する。続いて副走査方向に画素値を計数してヒストグラムを生成する。ここで、図19に示す画像についてヒストグラム処理を行なう場合について考えると、左側の閉領域であるヨットについてのヒストグラム処理結果は図14に示すグラフの様になる。図14(a)は主走査方向のヒストグラムであり、図14(b)は副走査方向のヒストグラムである。これらのヒストグラムのデータは、各領域毎にヒストグラムメモリ215に格納される。同様にして、右側の閉領域である戦艦についてヒストグラム処理を行うことにより、図15(a)に示す主走査方向のヒストグラムと、図15(b)に示す副走査方向のヒストグラムが得られる。これらのヒストグラムのデータは各領域毎にヒストグラムメモリ215に格納される。尚、ヒストグラム比較器216は最初のフレームでは動作しない。領域選択器217は、抽出された２つの領域をぞれぞれ新しいオブジェクトとする。領域情報メモリ128は、抽出されたオブジェクトの新たな形状情報の位置や大きさ等の情報を格納する。
【００５０】
その後、形状メモリ213から形状情報が読み出され、領域抽出器123でそれぞれのオブジェクトに分けられ、形状情報符号化器220に入力される。形状情報符号化器220は、各オブジェクトの形状情報をMPEG-4符号化方式の形状情報符号化にしたがって符号化する。さらに、オブジェクト符号メモリ219から画像データの符号化データが読み出され、符号分割器221は領域情報メモリ128の情報と領域抽出器123の示す新しいオブジェクトの形状情報に従って、いずれの閉領域に属するものかを判定し、それぞれの閉領域毎に符号化データ分割する。
【００５１】
ここで、入力される符号化データはマクロブロック単位で符号化されている。図16は、図19の画像からオブジェクトを抽出した画像をマクロブロックで分割した例を示している。同図によれば、抽出されたオブジェクトは、分割すべきオブジェクトであるヨットの領域250と戦艦の領域251を含んでいることが分かる。図16における方眼の一マスが、１つのマクロブロックを示す。第2実施形態においては、このマクロブロック単位に符号化データを読み出す。
【００５２】
マクロブロックが、領域250，251で示される分割されるべきオブジェクトのいずれにも含まれない場合、符号化データは破棄される。一方、マクロブロックが完全にオブジェクトに含まれている場合は、符号化データをそのまま使用する。また、領域が重なる部分のマクロブロックについては、マクロブロックが符号化されているか否かを表すnot_coded符号がマクロブロック単位で付加される。すなわち領域250において、領域251と重なる56個のマクロブロックはオブジェクト(ヨットの絵柄)の外であるため、領域250について56個のnot_coded符号がそれぞれ付加される。
【００５３】
ここで、もう一方の領域に接するマクロブロック(図16においては、252から254で示されるブロック)に関しては、符号の置き換えを行う可能性を含んでいる。マクロブロックの直前または直上が別な領域のマクロブロックである場合については、符号の置換が発生する。すなわちこれらのマクロブロックでは、周囲のマクロブロックからの予測を行っており、参照するマクロブロックの内容が変化することにより復号できなくなることがあるからである。このため、周囲のマクロブロックを参照して符号化されているマクロブロックについては、該マクロブロックの符号化データを一旦復号し、周囲のマクロブロックで他の領域のブロックであるマクロブロックに対して領域情報メモリ128の値を入れて再度符号化を行う。このようにして符号化データを各オブジェクト毎に分割し、オブジェクト符号メモリ222に格納する。
【００５４】
以上が、オブジェクト分割部204における１フレームの分割処理である。以下、後続のフレーム順にオブジェクト分割部204への入力を行なう。ここで、続くフレームの画像を図24として、オブジェクト分割部204における第1フレーム以降の処理について説明する。 第1フレームと同様に、入力された符号化データは分離器211で形状情報の符号化データと画像データの符号化データに分離され、形状情報復号器212は符号化データを復号して形状メモリ213に格納する。領域抽出器123は閉領域の抽出を行い、各領域の形状情報はヒストグラム処理器214に入力され、領域毎にヒストグラムが生成される。図24において、左側の閉領域であるヨットについてヒストグラム処理を行った結果を示すグラフが、図17である。図17(a)は主走査方向のヒストグラムであり、図17(b)は副走査方向のヒストグラムである。これらヒストグラムのデータは、ヒストグラム比較器216においてヒストグラムメモリ215に格納されている各領域毎のヒストグラムと比較され、類似度が算出される。ここでは比較の方法は限定しないが、たとえば極大値の位置の相関や頻度の分布等を用いればよい。
【００５５】
そして領域選択器217においては、もっとも類似度が高いものを同じオブジェクトとし、領域情報メモリ128に、前のフレームの該当するオブジェクトの情報に位置や大きさ等の情報を付け加えて格納する。同様にして、図24における右側の閉領域である戦艦についても、同様の処理を行う。その後、これらのヒストグラムのデータは各領域毎にヒストグラムメモリ215に格納される。
【００５６】
その後、形状メモリ213から形状情報が読み出され、領域抽出器123でそれぞれのオブジェクトに分けられ、形状情報符号化器220で符号化される。
【００５７】
さらにオブジェクト符号メモリ219から画像データの符号化データが読み出され、領域情報メモリ128の情報と領域抽出器123の示す新しいオブジェクトの形状情報に従って、いずれの閉領域に属するものかを判定し、符号分割器221でそれぞれの閉領域毎に符号化データを分割する。
【００５８】
尚、第2フレーム以降については動き補償が行われる場合がある。動き補償が無いマクロブロックについては、前述のとおり、符号の分割はマクロブロック単位で行われる。一方、動き補償を行っているマクロブロックについては、その動きベクトルが領域外を参照した時に、参照するマクロブロックの内容が変化した場合には復号できなくなることがある。そこで、動きベクトルのみを復号し、領域外や領域内で他の領域と重なる部分を参照している場合に限り、マクロブロックを一旦復号し、フレーム内符号化するか、直前のマクロブロックを一旦復号してから、これを参照マクロブロックとして動き補償を行い、符号化する。以上の処理により、マクロブロック単位で符号の分割を行い、各オブジェクト毎に分割し、オブジェクト符号メモリ222に格納する。
【００５９】
最終的には、図11に示す合成器107において、背景符号メモリ203とオブジェクト分割部204の出力を合成し、ヘッダ等を加えてMPEG-4の符号化データに整え、通信インタフェース108を介して通信回線109に送出したり、記憶装置110に蓄積したりする。
【００６０】
以上説明したように第2実施形態によれば、全ての符号化データを復号すること無く、オブジェクトを分割することが可能になる。このため、オブジェクトの分割を高速に行うことが可能になる上、復号画像を格納する必要がないため、メモリを削減することも可能になった。
【００６１】
さらに、オブジェクトの細分化を形状情報から抽出した特徴量をもって行うことで、過去の形状情報を画像としてではなく数値で持つため、過去の形状情報を格納するメモリ量を減少させることが可能になった。従って、過去の形状情報は画像情報でなくても構わないことが分かる。
【００６２】
なお、第2実施形態では記憶装置１１０と記憶装置２０１をそれぞれ独立に記載したが、例えばこれらを同一の装置で構成し、異なるメモリ領域に書き込むようにしても良い。
【００６３】
また、第2実施形態では類似度をヒストグラムから求める例について説明したが、本発明はこの例に限定されず、第1実施例と同様な手段を用いてもかまわないし、一般に知られているＯＣＲの技術を用いて、格納された形状ともっとも類似度の高い領域を選択することも十分に可能である。
【００６４】
また、第2実施形態におけるメモリの構成等はこれに限定されない。また、各機能の一部または全てをＣＰＵ等を用いたソフトウェアで実現してもかまわない。
【００６５】
また、符号化方式もMPEG-4に限定されない。例えば、形状情報を２値画像符号化方式であるJBIG符号化方式やMMR符号化方式で符号化しても良いし、オブジェクトの画像データをフレーム単位で圧縮しても、MPEG-1，2、h.261等で符号化してももちろん構わない。
【００６６】
＜他の実施形態＞
なお、本発明は、複数の機器（例えばホストコンピュータ，インタフェイス機器，リーダ，プリンタなど）から構成されるシステムに適用しても、一つの機器からなる装置（例えば、複写機，ファクシミリ装置など）に適用してもよい。
【００６７】
また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読出し実行することによっても、達成されることは言うまでもない。
【００６８】
この場合、記憶媒体から読出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。
【００６９】
プログラムコードを供給するための記憶媒体としては、例えば、フロッピディスク，ハードディスク，光ディスク，光磁気ディスク，ＣＤ−ＲＯＭ，ＣＤ−Ｒ，磁気テープ，不揮発性のメモリカード，ＲＯＭなどを用いることができる。
【００７０】
また、コンピュータが読出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているＯＳ（オペレーティングシステム）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００７１】
さらに、記憶媒体から読出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００７２】
【発明の効果】
以上の説明したように本発明によれば、動画像内の複数のオブジェクトを分割して抽出することができる。そしてさらに、分割されたオブジェクトのフレーム間における相間を把握することができるため、効率のよい符号化処理が可能となる。
【００７３】
これにより、画像内におけるオブジェクト単位の編集作業等が効率良く行えるとともに、さらに符号化を施すことにより効率のよいデータ転送や蓄積が可能になる。
【００７４】
【図面の簡単な説明】
【図１】本発明に係る一実施形態における動画像入力装置の構成を示すブロック図である。
【図２】本実施形態におけるオブジェクト分割器の詳細構成を示すブロック図である。
【図３】本実施形態におけるオブジェクトの領域の一例の様子を示す図である。
【図４】本実施形態におけるオブジェクトの領域の一例の様子を示す図である。
【図５】本実施形態におけるオブジェクトの領域の一例の様子を示す図である。
【図６】本実施形態におけるオブジェクトの領域の一例の様子を示す図である。
【図７】本実施形態における形状情報の差分の様子を説明するための図である。
【図８】本実施形態における形状情報の差分の様子を説明するための図である。
【図９】本実施形態におけるオブジェクトの分割の様子を説明するための図である。
【図１０】本実施形態におけるオブジェクトの分割の様子を説明するための図である。
【図１１】本発明に係る第2実施形態における画像処理装置の構成を示すブロック図である。
【図１２】第2実施形態における符号化データの構成を説明するための図である。
【図１３】第2実施形態のオブジェクト分割部の詳細構成を示すブロック図である。
【図１４】第2実施形態におけるヒストグラムの様子を説明するための図である。
【図１５】第2実施形態におけるヒストグラムの様子を説明するための図である。
【図１６】第2実施形態におけるマクロブロックの分割の様子を説明するための図である。
【図１７】第2実施形態におけるヒストグラムの様子を説明するための図である。
【図１８】従来の画像入力装置の構成を示すブロック図である。
【図１９】一例としての動画像の１フレームの内容を表す図である。
【図２０】背景画像の一例を表す図である。
【図２１】抽出されたオブジェクトの一例を表す図である。
【図２２】 MPEG-4符号化方式を説明するための図である。
【図２３】従来例におけるオブジェクトの補填の様子を示す図である。
【図２４】一例としての動画像の１フレームの内容を表す図である。
【符号の説明】
101，1001 TVカメラ
102，1002 背景メモリ
103，1003 背景符号化器
104，1004 オブジェクト抽出器
105 オブジェクト分割器
106，1005 オブジェクト符号化器
107，1006 合成器
108，1007 通信インタフェース
109，1008 通信回線
110，201，1009 記憶装置
120，121，129，131，135，210，223，224，225 端子
122，130，213 形状メモリ
123 領域抽出器
133 領域データ抽出器
124 領域メモリ
125 変形器
126 領域比較器
127，217 領域選択器
128 領域情報メモリ
132，134 オブジェクトメモリ
202，211 分離器
203 背景符号メモリ
204 オブジェクト分割部
212 形状情報復号器
214 ヒストグラム処理器
215 ヒストグラムメモリ
216 ヒストグラム比較器
219，222 オブジェクト符号メモリ
220 形状情報符号化器
221 符号分割器
250，251 領域
252，253，254 マクロブロック
Claims (7)
- 符号化された動画像データを入力する入力手段と、
該動画像データを背景の符号化データとオブジェクトの符号化データとに分離する分離手段と、
該分離されたオブジェクトの符号化データから符号化された形状情報を抽出する抽出手段と、
前記符号化された形状情報を復号する復号手段と、
前記復号手段によって復号された形状情報を閉領域毎に分割する形状分割手段と、
前記形状分割手段における分割結果に基づいて、前記オブジェクトの符号化データを複数の新オブジェクトに分割するオブジェクト分割手段と、
分割された背景の符号化データと、前記複数の新オブジェクトの符号化データを合成する合成手段と
を備えることを特徴とする画像処理装置。 - 前記形状分割手段は、
前記閉領域に分割した形状情報を過去の形状情報と比較する比較手段と、
該比較結果に基づき、前記形状情報が属する領域を選択する選択手段と、
を有することを特徴とする請求項１記載の画像処理装置。 - 前記比較手段は、前記形状情報のヒストグラムを過去の形状情報のヒストグラムと比較することを特徴とする請求項２記載の画像処理装置。
- 更に、前記抽出手段によって取得された形状情報によって前記過去の形状情報を更新する形状情報更新手段を備えることを特徴とする請求項２記載の画像処理装置。
- 前記入力手段は、ＭＰＥＧ−４符号化方式により符号化された動画像データを入力することを特徴とする請求項１記載の画像処理装置。
- 符号化された動画像データを入力する入力工程と、
該動画像データを背景の符号化データとオブジェクトの符号化データとに分離する分離工程と、
該分離されたオブジェクトの符号化データから符号化された形状情報を抽出する抽出工程と、
前記符号化された形状情報を復号する復号工程と、
前記復号工程によって復号された形状情報を閉領域毎に分割する形状分割工程と、
前記形状分割工程における分割結果に基づいて、前記オブジェクトの符号化データを複数の新オブジェクトに分割するオブジェクト分割工程と、
分割された背景の符号化データと、前記複数の新オブジェクトの符号化データを合成する合成工程と
を備えることを特徴とする画像処理方法。 - コンピュータに画像処理を実行させるためのプログラムが記憶された記憶媒体であって、
符号化された動画像データを入力する入力手段と、
該動画像データを背景の符号化データとオブジェクトの符号化データとに分離する分離手段と、
該分離されたオブジェクトの符号化データから符号化された形状情報を抽出する抽出手段と、
前記符号化された形状情報を復号する復号手段と、
前記復号手段によって復号された形状情報を閉領域毎に分割する形状分割手段と、
前記形状分割手段における分割結果に基づいて、前記オブジェクトの符号化データを複数の新オブジェクトに分割するオブジェクト分割手段と、
分割された背景の符号化データと、前記複数の新オブジェクトの符号化データを合成する合成手段
として機能するコンピュータプログラムを格納したことを特徴とする記憶媒体。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP15176698A JP3854721B2 (ja) | 1998-06-01 | 1998-06-01 | 画像処理装置及びその方法 |
| US09/323,254 US6625316B1 (en) | 1998-06-01 | 1999-06-01 | Image processing apparatus and method, and image processing system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP15176698A JP3854721B2 (ja) | 1998-06-01 | 1998-06-01 | 画像処理装置及びその方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH11346363A JPH11346363A (ja) | 1999-12-14 |
| JP3854721B2 true JP3854721B2 (ja) | 2006-12-06 |
Family
ID=15525835
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP15176698A Expired - Fee Related JP3854721B2 (ja) | 1998-06-01 | 1998-06-01 | 画像処理装置及びその方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3854721B2 (ja) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1878256A4 (en) * | 2005-03-31 | 2011-06-08 | Euclid Discoveries Llc | DEVICE AND METHOD FOR PROCESSING VIDEO DATA |
| JP4873488B2 (ja) * | 2007-07-18 | 2012-02-08 | 富士フイルム株式会社 | 画像処理装置、画像処理方法、およびプログラム |
| WO2015132881A1 (ja) * | 2014-03-04 | 2015-09-11 | 三菱電機株式会社 | 画像符号化装置、画像復号装置、画像符号化方法、画像復号方法及びプログラム |
-
1998
- 1998-06-01 JP JP15176698A patent/JP3854721B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH11346363A (ja) | 1999-12-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8115821B2 (en) | Method and apparatus for setting a region of interest in image data | |
| EP1389016B1 (en) | Improved motion estimation and block matching pattern | |
| US6058210A (en) | Using encoding cost data for segmentation of compressed image sequences | |
| US9338477B2 (en) | Recovering a pruned version of a picture in a video sequence for example-based data pruning using intra-frame patch similarity | |
| US6625316B1 (en) | Image processing apparatus and method, and image processing system | |
| EP2169961A1 (en) | Image encoder and image decoder | |
| US20040120399A1 (en) | Image processing apparatus and method | |
| US6674910B1 (en) | Apparatus and method for image-compression encoding and decoding using adaptive transform | |
| JPH1155667A (ja) | 画像符号化装置および画像復号化装置および画像符号化データを記録した記録媒体 | |
| JPH1155672A (ja) | 動画像符号化装置および動画像復号化装置および動画像符号化方法および動画像復号化方法 | |
| JPWO2006035883A1 (ja) | 画像処理装置、画像処理方法、および画像処理プログラム | |
| JP5256496B2 (ja) | 画像処理システム、画像処理方法、およびプログラム | |
| US20080253670A1 (en) | Image Signal Re-Encoding Apparatus And Image Signal Re-Encoding Method | |
| JP3893350B2 (ja) | 符号化データ変換装置及びその方法 | |
| JP3854721B2 (ja) | 画像処理装置及びその方法 | |
| JP3200196B2 (ja) | 動きベクトル検出方法 | |
| US5915043A (en) | Image reproducing apparatus | |
| JP4580880B2 (ja) | 画像符号化装置、画像復号装置及び画像処理システム | |
| JP2001309373A (ja) | 画像変化検出装置及び画像変化検出方法、画像符号化装置並びに画像変化検出用プログラムがコンピュータで読取可能に記録された情報記録媒体 | |
| JP4415186B2 (ja) | 動画像符号化装置、動画像復号化装置、コーデック装置、および、プログラム | |
| JPH08163561A (ja) | 画像データ圧縮装置 | |
| JP2009260747A (ja) | 画像符号化装置及びその制御方法 | |
| JP4136403B2 (ja) | 画像処理装置、画像処理方法、プログラム、記憶媒体 | |
| JP2009253581A (ja) | 画像処理装置、画像処理方法、およびプログラム | |
| JPH11313319A (ja) | 復号装置およびその方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060203 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060404 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060602 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060728 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060825 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060911 |
|
| R150 | Certificate of patent (=grant) or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090915 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100915 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100915 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110915 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110915 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120915 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120915 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130915 Year of fee payment: 7 |
|
| LAPS | Cancellation because of no payment of annual fees |