JPH10108198A - 画像領域統合方法 - Google Patents
画像領域統合方法Info
- Publication number
- JPH10108198A JPH10108198A JP25995696A JP25995696A JPH10108198A JP H10108198 A JPH10108198 A JP H10108198A JP 25995696 A JP25995696 A JP 25995696A JP 25995696 A JP25995696 A JP 25995696A JP H10108198 A JPH10108198 A JP H10108198A
- Authority
- JP
- Japan
- Prior art keywords
- area
- frame
- image
- areas
- integration
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Image Analysis (AREA)
Abstract
(57)【要約】
【課題】 画像からオブジェクトを抽出するとき、計算
負荷、抽出精度が問題だった。 【解決手段】 複数のフレーム間で領域の統合状況を相
互参照する。フレームF1では領域A1が単一の領域、
フレームF2では領域A2、A3が2つの領域としてそ
れぞれ統合されている。いま、領域A2、A3の統合の
領域が領域A1に対応すると判定されたとき、領域A2
とA3を統合し、これを新たな領域A2とする。以降、
他フレームの参照と統合を継続的に行う。
負荷、抽出精度が問題だった。 【解決手段】 複数のフレーム間で領域の統合状況を相
互参照する。フレームF1では領域A1が単一の領域、
フレームF2では領域A2、A3が2つの領域としてそ
れぞれ統合されている。いま、領域A2、A3の統合の
領域が領域A1に対応すると判定されたとき、領域A2
とA3を統合し、これを新たな領域A2とする。以降、
他フレームの参照と統合を継続的に行う。
Description
【0001】
【発明の属する技術分野】この発明は画像領域統合方
法、特に、動画像が与えられたとき、その動画像中の画
像領域を統合する方法に関する。
法、特に、動画像が与えられたとき、その動画像中の画
像領域を統合する方法に関する。
【0002】
【従来の技術】画像内のオブジェクトの動きを解析する
技術として、オプティカルフロー手法が知られている。
オプティカルフローとは、オブジェクトの角点などの特
徴点のフレーム間の動きを点ごとに示したベクトルをい
う。オプティカルフロー手法では、オブジェクトの点の
動きを運動方程式に投入することにより、その運動の様
子を算出する。この手法については、例えば「画像情報
処理」(安居院猛、中嶋正之共著、森北出版株式会社)
の151〜154ページに記載されている。
技術として、オプティカルフロー手法が知られている。
オプティカルフローとは、オブジェクトの角点などの特
徴点のフレーム間の動きを点ごとに示したベクトルをい
う。オプティカルフロー手法では、オブジェクトの点の
動きを運動方程式に投入することにより、その運動の様
子を算出する。この手法については、例えば「画像情報
処理」(安居院猛、中嶋正之共著、森北出版株式会社)
の151〜154ページに記載されている。
【0003】一方、こうした従来の画像処理技術とは別
に、メディア統合系の動画像圧縮技術として、MPEG
と呼ばれる国際標準に則った製品の開発が広く行われて
いる。現在、MPEG2からさらに進んだMPEG4が
検討されている。MPEG4では、例えば画像に含まれ
る人物等の特定オブジェクトだけを符号化する技術が求
められる。これは低ビットレートの枠において画像の重
要部分の画質を落とさないための方途である。したがっ
て、将来のマルチメディア関連技術を考える場合、オブ
ジェクトの符号化の前処理として、画像から所望のオブ
ジェクトを抽出する技術が必須となる。オブジェクト抽
出に関する研究は拡大基調にあるとはいえ、現在のとこ
ろ上述のオプティカルフロー手法を用いる以外、実用に
耐える提案はほとんどない。
に、メディア統合系の動画像圧縮技術として、MPEG
と呼ばれる国際標準に則った製品の開発が広く行われて
いる。現在、MPEG2からさらに進んだMPEG4が
検討されている。MPEG4では、例えば画像に含まれ
る人物等の特定オブジェクトだけを符号化する技術が求
められる。これは低ビットレートの枠において画像の重
要部分の画質を落とさないための方途である。したがっ
て、将来のマルチメディア関連技術を考える場合、オブ
ジェクトの符号化の前処理として、画像から所望のオブ
ジェクトを抽出する技術が必須となる。オブジェクト抽
出に関する研究は拡大基調にあるとはいえ、現在のとこ
ろ上述のオプティカルフロー手法を用いる以外、実用に
耐える提案はほとんどない。
【0004】
【発明が解決しようとする課題】オプティカルフロー手
法は、もともと剛体の動きを解析するために考案された
ものである。したがって、オブジェクトの抽出という観
点からすれば、以下のような課題がある。
法は、もともと剛体の動きを解析するために考案された
ものである。したがって、オブジェクトの抽出という観
点からすれば、以下のような課題がある。
【0005】1.動きの把握のために多くの運動方程式
を解く必要があるため、計算の負荷が大きい。 2.本来オブジェクトは領域として抽出すべきところ、
オプティカルフローは点ごとの処理であるため、領域ま
たはその輪郭線を記述するという概念に欠ける。したが
って、運動の算出の後、その結果をもとにオブジェクト
の領域を見い出す工程が別途必要になる。 3.同様に、計算の途上で輪郭線に関する記述がないた
め、最終的なオブジェクト抽出の精度を保証しにくい。
を解く必要があるため、計算の負荷が大きい。 2.本来オブジェクトは領域として抽出すべきところ、
オプティカルフローは点ごとの処理であるため、領域ま
たはその輪郭線を記述するという概念に欠ける。したが
って、運動の算出の後、その結果をもとにオブジェクト
の領域を見い出す工程が別途必要になる。 3.同様に、計算の途上で輪郭線に関する記述がないた
め、最終的なオブジェクト抽出の精度を保証しにくい。
【0006】本発明はこれらの点に鑑みてなされたもの
であり、その目的は、計算負荷が軽く、オブジェクトの
抽出に最適な画像領域統合方法を提供することにある。
本発明の別の目的は、オブジェクトの抽出を行わない場
合であっても、画像データの高い圧縮率が実現可能であ
り、かつ統合結果の妥当性の高い画像領域統合方法を提
供することにある。
であり、その目的は、計算負荷が軽く、オブジェクトの
抽出に最適な画像領域統合方法を提供することにある。
本発明の別の目的は、オブジェクトの抽出を行わない場
合であっても、画像データの高い圧縮率が実現可能であ
り、かつ統合結果の妥当性の高い画像領域統合方法を提
供することにある。
【0007】
【課題を解決するための手段】本発明は、自フレームに
含まれる画像領域を統合する際、他フレームにおける画
像領域の統合状況を参照する。従来、あるフレームにつ
いて画像領域を統合する場合、例えば互いに位置の近い
ものどうしを統合するような技術が存在した。しかしそ
うした技術では、例えばオブジェクトごとに画像領域を
統合することが困難なのは明らかである。
含まれる画像領域を統合する際、他フレームにおける画
像領域の統合状況を参照する。従来、あるフレームにつ
いて画像領域を統合する場合、例えば互いに位置の近い
ものどうしを統合するような技術が存在した。しかしそ
うした技術では、例えばオブジェクトごとに画像領域を
統合することが困難なのは明らかである。
【0008】一方、本発明では、例えば自フレームでは
領域aと領域bを統合すべきか否かが不明であるもの
の、他フレームではこれらが統合されており、そのフレ
ームを見ればその統合が妥当である場合、自フレームで
も領域a、bを統合してよいという判断が可能になる。
本発明では他フレームを参照することにより、自フレー
ム内のみで統合するよりも統合の妥当性を高めることが
できる。その意味から、本発明では自他フレームを同一
のシーンに関する動画像の中から選択することが望まし
い。別のシーンでは画像に含まれる被写体が異なり、参
照する意味が失われるためである。
領域aと領域bを統合すべきか否かが不明であるもの
の、他フレームではこれらが統合されており、そのフレ
ームを見ればその統合が妥当である場合、自フレームで
も領域a、bを統合してよいという判断が可能になる。
本発明では他フレームを参照することにより、自フレー
ム内のみで統合するよりも統合の妥当性を高めることが
できる。その意味から、本発明では自他フレームを同一
のシーンに関する動画像の中から選択することが望まし
い。別のシーンでは画像に含まれる被写体が異なり、参
照する意味が失われるためである。
【0009】本発明では、もともと領域単位で統合を進
めるため、最終的にオブジェクトの領域を抽出する場合
にも都合がよい。なお、「フレーム」とは画像の処理単
位であり、MPEGでいうピクチャなどの概念を含む。
また「領域」は画素単位でもよい。
めるため、最終的にオブジェクトの領域を抽出する場合
にも都合がよい。なお、「フレーム」とは画像の処理単
位であり、MPEGでいうピクチャなどの概念を含む。
また「領域」は画素単位でもよい。
【0010】本発明のある態様では、自他フレームで対
応しうる画像領域どうしの関係を参照する参照工程を経
て自フレームに含まれる画像領域を統合する。参照工程
の前に各フレーム内で画像領域を予備統合してもよい。
参照工程では、自他フレーム間で重心など領域の基準点
の包含関係、領域どうしの重複度、色の近さ、面積の近
さ等に着目して領域を統合する。本発明では、画像の多
数点について運動方程式を解くような処理は不要であ
り、計算の負荷が軽い。
応しうる画像領域どうしの関係を参照する参照工程を経
て自フレームに含まれる画像領域を統合する。参照工程
の前に各フレーム内で画像領域を予備統合してもよい。
参照工程では、自他フレーム間で重心など領域の基準点
の包含関係、領域どうしの重複度、色の近さ、面積の近
さ等に着目して領域を統合する。本発明では、画像の多
数点について運動方程式を解くような処理は不要であ
り、計算の負荷が軽い。
【0011】本発明の別の態様では、自他フレーム間に
おける画像領域の移動を考慮し、画像領域の探索域を設
けた上で前記参照工程を行う。動画像では当然オブジェ
クトなどが動き得るため、これに対処する趣旨である。
探索域の大きさを適切に定めることにより、自他フレー
ム間で対応しあう画像領域の特定の精度を高めることが
できる。
おける画像領域の移動を考慮し、画像領域の探索域を設
けた上で前記参照工程を行う。動画像では当然オブジェ
クトなどが動き得るため、これに対処する趣旨である。
探索域の大きさを適切に定めることにより、自他フレー
ム間で対応しあう画像領域の特定の精度を高めることが
できる。
【0012】本発明の別の態様では、参照工程で判明し
た自他フレーム間の画像領域の対応関係をもとに、自他
フレーム間で動きベクトルが互いに似かよっている画像
領域の集合領域をひとつのオブジェクト領域と推定して
抽出する。オブジェクトは、例えば人、車、ボールなど
のように物理的にひとかたまりである場合が多い。ひと
かたまりである以上、それを構成する各部の動きベクト
ルは大体揃うはずである。したがって、動きベクトルが
揃った画像領域の集合領域をオブジェクト領域と考える
のである。
た自他フレーム間の画像領域の対応関係をもとに、自他
フレーム間で動きベクトルが互いに似かよっている画像
領域の集合領域をひとつのオブジェクト領域と推定して
抽出する。オブジェクトは、例えば人、車、ボールなど
のように物理的にひとかたまりである場合が多い。ひと
かたまりである以上、それを構成する各部の動きベクト
ルは大体揃うはずである。したがって、動きベクトルが
揃った画像領域の集合領域をオブジェクト領域と考える
のである。
【0013】この態様によれば、領域統合の結果を用い
てオブジェクト領域を抽出することができる。特に、前
記探索域を設けて参照工程を行う場合、処理の途上で動
きベクトルまたはそれと同等の数値が導出されると考え
られるため、処理効率の面でも好都合である。
てオブジェクト領域を抽出することができる。特に、前
記探索域を設けて参照工程を行う場合、処理の途上で動
きベクトルまたはそれと同等の数値が導出されると考え
られるため、処理効率の面でも好都合である。
【0014】
【発明の実施の形態】本発明の好適な実施形態を適宜図
面を参照しながら説明する。
面を参照しながら説明する。
【0015】図1は実施形態に係る画像領域統合方法の
処理を示すフローチャートである。同図のごとく、処理
は予備統合(S1)、一対一対応領域の探索(S2)、
領域の統合(S3)、オブジェクトの抽出(S4)の順
に進む。
処理を示すフローチャートである。同図のごとく、処理
は予備統合(S1)、一対一対応領域の探索(S2)、
領域の統合(S3)、オブジェクトの抽出(S4)の順
に進む。
【0016】[1]予備統合(S1) 本発明の特徴は、自フレームで領域を統合する際、他フ
レームにおける統合状況を参照する点にある。例えば1
フレームが640×480画素のような多数の画素で構
成される場合、フレーム間の参照を行う前に、フレーム
ごとに予めある程度の領域統合を行うことが望ましい。
ここでは(1)色差による統合、(2)領域の大きさに
よる統合、の2つの方法をこの順に用いる予備統合の例
を説明する。
レームにおける統合状況を参照する点にある。例えば1
フレームが640×480画素のような多数の画素で構
成される場合、フレーム間の参照を行う前に、フレーム
ごとに予めある程度の領域統合を行うことが望ましい。
ここでは(1)色差による統合、(2)領域の大きさに
よる統合、の2つの方法をこの順に用いる予備統合の例
を説明する。
【0017】(1)色による統合 本出願人がさきに特願平7−146507号で提案した
画像処理装置による領域統合で、手順は以下の通りであ
る。
画像処理装置による領域統合で、手順は以下の通りであ
る。
【0018】1.準備 HVC均等色空間を複数の領域に分割して作成される色
テーブルを準備する。HVC均等色空間とは、回転方向
にHue(色相)、高さ方向にValue(輝度)、半
径方向にChrome(彩度)をとって色を立体的に分
類する円筒状の色空間で、RGB色空間から既知の変換
式を通して得られる。HVC均等色空間上の距離は、お
おむね人の目が感じる色の差に対応する。
テーブルを準備する。HVC均等色空間とは、回転方向
にHue(色相)、高さ方向にValue(輝度)、半
径方向にChrome(彩度)をとって色を立体的に分
類する円筒状の色空間で、RGB色空間から既知の変換
式を通して得られる。HVC均等色空間上の距離は、お
おむね人の目が感じる色の差に対応する。
【0019】2.画素の置換 画像を画素ごとに色テーブル中の最も近い色に割り当て
る。ここでは、色差が最小になる色を割り当てる。色テ
ーブルに含まれる色は色番号によって記述されるため、
ここで各画素を色番号に置換する。
る。ここでは、色差が最小になる色を割り当てる。色テ
ーブルに含まれる色は色番号によって記述されるため、
ここで各画素を色番号に置換する。
【0020】3.画素の統合 色番号に置換された画素のうち、原画像において位置的
に近く、かつ色番号も近いもの、すなわち色差の小さい
ものを統合する。色番号の近い2色はHVC均等色空間
上で近い位置に存在し、人間の目からも近い色に感じら
れるため、自然な統合が可能となる。統合は、例えば2
つの画素の色番号を一方の色番号に揃えるか、2つの色
番号の平均を両画素の色番号とすることによって実現す
る。
に近く、かつ色番号も近いもの、すなわち色差の小さい
ものを統合する。色番号の近い2色はHVC均等色空間
上で近い位置に存在し、人間の目からも近い色に感じら
れるため、自然な統合が可能となる。統合は、例えば2
つの画素の色番号を一方の色番号に揃えるか、2つの色
番号の平均を両画素の色番号とすることによって実現す
る。
【0021】以上が1回の処理単位である。以降、画素
(または領域)が統合されるたびに、新たな領域と他の
領域の位置関係、色番号を比較し、上記3の統合処理を
繰り返し行う。例えば、上記3の処理を行うたびにその
時点で存在する領域間の最小色差を見い出し、それが所
定の基準値に達すれば色差による統合を終了する。この
段階では無関係な領域が統合されることを防ぐために、
ある程度早い段階で処理を止めるよう配慮する。
(または領域)が統合されるたびに、新たな領域と他の
領域の位置関係、色番号を比較し、上記3の統合処理を
繰り返し行う。例えば、上記3の処理を行うたびにその
時点で存在する領域間の最小色差を見い出し、それが所
定の基準値に達すれば色差による統合を終了する。この
段階では無関係な領域が統合されることを防ぐために、
ある程度早い段階で処理を止めるよう配慮する。
【0022】(2)領域の大きさによる統合 つづいて、残りの領域を小さい順に統合していく。領域
の大きさは例えば画素数で判断する。小さい領域を先に
統合するのは、大きな領域ほどもとの被写体において占
める面積比が大きく、オブジェクトの主要部分を構成す
る可能性が概して高いためである。この処理は、ある程
度領域の大きさが平均化されてきた時点で処理を終了す
る。
の大きさは例えば画素数で判断する。小さい領域を先に
統合するのは、大きな領域ほどもとの被写体において占
める面積比が大きく、オブジェクトの主要部分を構成す
る可能性が概して高いためである。この処理は、ある程
度領域の大きさが平均化されてきた時点で処理を終了す
る。
【0023】以上が予備統合の例である。この予備統合
により、当初1000程度存在した領域を例えば100
程度に統合し、フレーム間の参照を行う際の処理時間の
短縮を図ることができる。なお、原画像がアニメーショ
ンのような場合、最初からある程度領域分割がなされて
いるため、予備統合を行う必要がないこともある。
により、当初1000程度存在した領域を例えば100
程度に統合し、フレーム間の参照を行う際の処理時間の
短縮を図ることができる。なお、原画像がアニメーショ
ンのような場合、最初からある程度領域分割がなされて
いるため、予備統合を行う必要がないこともある。
【0024】[2]一対一対応領域の探索(S2) 以降、フレーム間の参照を開始する。まず始めに、フレ
ーム間で一対一に対応しあう画像領域を探索する。S2
は次のS3の準備工程であり、S2で発見された一対一
対応領域をコアとしてS3で領域の統合が開始される。
ーム間で一対一に対応しあう画像領域を探索する。S2
は次のS3の準備工程であり、S2で発見された一対一
対応領域をコアとしてS3で領域の統合が開始される。
【0025】図2はS2の処理を説明する図であり、こ
こではあるフレームF1に対し、そのフレームと同一の
シーンに含まれるフレームF2を選んでおく。同一のシ
ーンに関するフレームどうしでは領域間の相関が比較的
高く、本発明を効果的に利用できるためである。フレー
ムF2の具体例として、動画像の動きが大きい場合はフ
レームF1に隣接するフレーム、小さい場合は数フレー
ム隔たったフレームをF2が挙げられる。ここでは、こ
うして選択されたフレームF1の画像領域A1に対応す
るフレームF2の画像領域A2を探索する。この探索に
は以下のような手法を用いることができる。
こではあるフレームF1に対し、そのフレームと同一の
シーンに含まれるフレームF2を選んでおく。同一のシ
ーンに関するフレームどうしでは領域間の相関が比較的
高く、本発明を効果的に利用できるためである。フレー
ムF2の具体例として、動画像の動きが大きい場合はフ
レームF1に隣接するフレーム、小さい場合は数フレー
ム隔たったフレームをF2が挙げられる。ここでは、こ
うして選択されたフレームF1の画像領域A1に対応す
るフレームF2の画像領域A2を探索する。この探索に
は以下のような手法を用いることができる。
【0026】(1)重心の包含関係 フレームF1の領域A1の重心がフレームF2のある領
域Axに含まれるとき、領域Axを領域A2と決める方
法である。この方法はオブジェクトの動きが緩慢な場合
や、フレームF1、F2が時間的に近い場合に簡単かつ
有効である。
域Axに含まれるとき、領域Axを領域A2と決める方
法である。この方法はオブジェクトの動きが緩慢な場合
や、フレームF1、F2が時間的に近い場合に簡単かつ
有効である。
【0027】なお領域の移動も考慮する場合、領域A1
の周囲に一定の探索枠を設け、その枠の中で領域A1を
移動させながら領域Axを探してもよい。探索枠は、処
理中の動画像の動きベクトルが大きい場合には大きめ
に、小さい場合は小さめにとるなどの方法が考えられ
る。
の周囲に一定の探索枠を設け、その枠の中で領域A1を
移動させながら領域Axを探してもよい。探索枠は、処
理中の動画像の動きベクトルが大きい場合には大きめ
に、小さい場合は小さめにとるなどの方法が考えられ
る。
【0028】(2)領域の重複度 フレームF1の領域A1とフレームF2のある領域Ax
の重複部分の割合が大きいとき、領域Axを領域A2と
決める。例えば、領域A1、Axの面積をそれぞれS
1、Sxとし、両者の重複部分の面積をSとするとき、
S/S1、S/Sxがともに所定の基準を超えれば両者
が対応しあうとする。この方法も(1)同様の場合に有
効である。この方法も(1)同様探索枠を設けて行って
もよい。
の重複部分の割合が大きいとき、領域Axを領域A2と
決める。例えば、領域A1、Axの面積をそれぞれS
1、Sxとし、両者の重複部分の面積をSとするとき、
S/S1、S/Sxがともに所定の基準を超えれば両者
が対応しあうとする。この方法も(1)同様の場合に有
効である。この方法も(1)同様探索枠を設けて行って
もよい。
【0029】(3)領域の面積 フレームF1の領域A1の面積S1とフレームF2のあ
る領域Axの面積Sxが近い場合、領域Axを領域A2
と決める。対応しあう領域は面積的にも近い場合が多い
という予測に基づく。なお、この方法を採用する場合、
「領域A1と領域Axが位置的に近いこと」という加重
条件を設けてもよい。フレーム上の全く関係のない箇所
に偶然同じような面積をもつ領域が存在することもある
ためである。この加重条件として(1)(2)を用いる
こともできる。
る領域Axの面積Sxが近い場合、領域Axを領域A2
と決める。対応しあう領域は面積的にも近い場合が多い
という予測に基づく。なお、この方法を採用する場合、
「領域A1と領域Axが位置的に近いこと」という加重
条件を設けてもよい。フレーム上の全く関係のない箇所
に偶然同じような面積をもつ領域が存在することもある
ためである。この加重条件として(1)(2)を用いる
こともできる。
【0030】(4)領域の色 フレームF1の領域A1の色とフレームF2のある領域
Axの色差が小さい場合、領域Axを領域A2と決め
る。対応しあう領域はフレーム間で大きく色が変わるこ
とは少ないという経験則に基づく。各領域の色は、例え
ばその領域の色番号の平均で表すことができる。(4)
についても(3)同様の加重条件を導入することができ
る。
Axの色差が小さい場合、領域Axを領域A2と決め
る。対応しあう領域はフレーム間で大きく色が変わるこ
とは少ないという経験則に基づく。各領域の色は、例え
ばその領域の色番号の平均で表すことができる。(4)
についても(3)同様の加重条件を導入することができ
る。
【0031】(5)既知の領域マッチング手法 (1)〜(4)の基準を総合的に用いるために領域マッ
チング手法を採用することができる。一例として、フレ
ームF1の領域A1をフレームF2の画面上で移動させ
ながら色番号P(x,y)の二乗誤差でマッチングを見
る場合、 E=ΣΣ(P1(u,v)−P2(u+i,v+j))2 のEを最小にする(i,j)を求める。この式において
u、vは領域F1内部の点を示し、ΣΣはu,vに関す
る総和である。求まった(i,j)が対応する領域A1
と領域A2の位置的なずれを示す。
チング手法を採用することができる。一例として、フレ
ームF1の領域A1をフレームF2の画面上で移動させ
ながら色番号P(x,y)の二乗誤差でマッチングを見
る場合、 E=ΣΣ(P1(u,v)−P2(u+i,v+j))2 のEを最小にする(i,j)を求める。この式において
u、vは領域F1内部の点を示し、ΣΣはu,vに関す
る総和である。求まった(i,j)が対応する領域A1
と領域A2の位置的なずれを示す。
【0032】以上がS2の処理である。計算負荷の軽減
を第一に考える場合、(1)〜(4)の方法をとればよ
く、処理の精度を第一に考える場合は一般に(5)の方
法をとればよい。(1)〜(4)の中の複数の方法に対
して重み付けを行うことで複数の方法を併用することも
できる。
を第一に考える場合、(1)〜(4)の方法をとればよ
く、処理の精度を第一に考える場合は一般に(5)の方
法をとればよい。(1)〜(4)の中の複数の方法に対
して重み付けを行うことで複数の方法を併用することも
できる。
【0033】なお、S2からS3への移行タイミングに
ついてはある程度自由度があるが、一例として、相当高
い確度で対応すると考えられる領域A1、A2の組合せ
をのみをS2で選定し、これをS3に投入することが考
えられる。
ついてはある程度自由度があるが、一例として、相当高
い確度で対応すると考えられる領域A1、A2の組合せ
をのみをS2で選定し、これをS3に投入することが考
えられる。
【0034】[3]領域の統合(S3) いま、S2によってフレームF1の領域A1とフレーム
F2の領域A2が一対一対応領域として選定されたとす
る。この状態から統合を開始する。図3はフレームF1
の領域A1を参照してフレームF2の領域A2、A3を
統合する様子を示す図、図4はS3の手順を示すフロー
チャートである。統合の基本原理は、「領域A1に対し
て領域(A2+A3)が対応するか否かを判断し、対応
すると考えられる場合、領域A2とA3を統合する」と
いう処理を繰り返す点にある。S2が一対一対応領域を
発見したことに対し、S3ではいわば一対二対応領域を
見い出す。領域A2とA3が統合されたとき、これらは
新たな領域A2となり、さらなる統合を待つ。以下、図
4で詳細を説明する。
F2の領域A2が一対一対応領域として選定されたとす
る。この状態から統合を開始する。図3はフレームF1
の領域A1を参照してフレームF2の領域A2、A3を
統合する様子を示す図、図4はS3の手順を示すフロー
チャートである。統合の基本原理は、「領域A1に対し
て領域(A2+A3)が対応するか否かを判断し、対応
すると考えられる場合、領域A2とA3を統合する」と
いう処理を繰り返す点にある。S2が一対一対応領域を
発見したことに対し、S3ではいわば一対二対応領域を
見い出す。領域A2とA3が統合されたとき、これらは
新たな領域A2となり、さらなる統合を待つ。以下、図
4で詳細を説明する。
【0035】まず、S2で判明したいくつかの一対一対
応領域のうち、あるひとつの組(A1,A2)を選択す
る(S30)。このとき、面積の大きなほうを領域A
1、小さなほうを領域A2と決める。つづいて図3のご
とく、領域A2に隣接する領域のうちひとつの領域A3
を選択する(S31)。この状態で、領域A2とA3を
統合すべきか否かの判断を行う(S32)。この判断に
は以下の方法が考えられる。
応領域のうち、あるひとつの組(A1,A2)を選択す
る(S30)。このとき、面積の大きなほうを領域A
1、小さなほうを領域A2と決める。つづいて図3のご
とく、領域A2に隣接する領域のうちひとつの領域A3
を選択する(S31)。この状態で、領域A2とA3を
統合すべきか否かの判断を行う(S32)。この判断に
は以下の方法が考えられる。
【0036】(1)重心の包含関係 領域A2、A3の重心がともに領域A1に入る場合、領
域A2とA3を統合する。S2の(1)同様の場合に効
果が大きく、S2の(1)同様に探索枠を設けてもよ
い。
域A2とA3を統合する。S2の(1)同様の場合に効
果が大きく、S2の(1)同様に探索枠を設けてもよ
い。
【0037】(2)領域の重複度 領域A1と領域(A2+A3)の重複部分の割合が大き
いとき、領域A2とA3を統合する。例えば、領域A1
〜A3の面積をそれぞれS1〜S3とし、領域A1と領
域(A2+A3)の重複部分の面積をSとするとき、S
/S1、S/(S2+S3)がともに所定の基準を超え
れば統合する。この方法も(1)同様の場合に効果的で
あり、(1)同様探索枠を設けてもよい。
いとき、領域A2とA3を統合する。例えば、領域A1
〜A3の面積をそれぞれS1〜S3とし、領域A1と領
域(A2+A3)の重複部分の面積をSとするとき、S
/S1、S/(S2+S3)がともに所定の基準を超え
れば統合する。この方法も(1)同様の場合に効果的で
あり、(1)同様探索枠を設けてもよい。
【0038】(3)領域の面積 領域A1の面積S1と領域(A2+A3)の面積(S2
+S3)が近い場合、領域A2とA3を統合する。この
とき、「領域A1と領域(A2+A3)が位置的に近い
こと」という加重条件を設けてもよい。この加重条件と
して(1)(2)を用いてもよい。
+S3)が近い場合、領域A2とA3を統合する。この
とき、「領域A1と領域(A2+A3)が位置的に近い
こと」という加重条件を設けてもよい。この加重条件と
して(1)(2)を用いてもよい。
【0039】(4)領域の色 領域A1〜A3の色番号をそれぞれC1〜C3とする。
統合する条件は以下のようにいくつか設定できる。
統合する条件は以下のようにいくつか設定できる。
【0040】条件1:|C1−C2|と|C1−C3|
がともに所定値以下である 条件2:|C1−C2|と|C2−C3|がともに所定
値以下である 条件2:|C1−C3|と|C2−C3|がともに所定
値以下である 条件3:|C2−C3|が所定値以下である このうち、条件3についてはフレームF2の中で閉じた
比較である。例えば、日光が当たっている山の映像の場
合、日がかげると、同じ領域であってもフレーム間で色
番号が変わる。また、オブジェクトが動いたときも光の
反射状態が変化し、フレーム間で色番号が変わりうる。
そうした場合、条件3が最適な場合がある。なお、
(4)についても(3)同様の加重条件を導入すること
ができる。
がともに所定値以下である 条件2:|C1−C2|と|C2−C3|がともに所定
値以下である 条件2:|C1−C3|と|C2−C3|がともに所定
値以下である 条件3:|C2−C3|が所定値以下である このうち、条件3についてはフレームF2の中で閉じた
比較である。例えば、日光が当たっている山の映像の場
合、日がかげると、同じ領域であってもフレーム間で色
番号が変わる。また、オブジェクトが動いたときも光の
反射状態が変化し、フレーム間で色番号が変わりうる。
そうした場合、条件3が最適な場合がある。なお、
(4)についても(3)同様の加重条件を導入すること
ができる。
【0041】以上の結果、領域A2とA3を統合すべき
かどうかが決まり、統合すべきとき(S32のY)は領
域A3を領域A2へ統合する(S35)。すなわち、領
域A3は領域A2の一部となり、新たな領域A2が生ま
れる。
かどうかが決まり、統合すべきとき(S32のY)は領
域A3を領域A2へ統合する(S35)。すなわち、領
域A3は領域A2の一部となり、新たな領域A2が生ま
れる。
【0042】一方、統合すべきでないと判断されたとき
(S32のN)、領域A2に対する次の領域A3の候補
があるとどうかを判定する。例えば、図3のごとく領域
A2の周囲に複数の領域が隣接しているとき、別の領域
を選んでこれを新たな領域A3とし、この領域A3を領
域A2に統合すべきか否かを判定する(S34)。この
判定はS32同様に行う。ここで統合すべきでないと判
定された場合(S34のN)、さらに別の領域がある限
り、これを順次新たな領域A3として同様の処理を行
う。この繰り返しの中で、ある領域A3について統合す
べき判定がなされたとき(S34のY)、S35に進ん
で領域A3を領域A2に統合する。一方、すべての領域
A3について領域A2に統合すべきでない旨の判定がな
された場合(S33のN)、統合処理を行わずにS36
に進む。
(S32のN)、領域A2に対する次の領域A3の候補
があるとどうかを判定する。例えば、図3のごとく領域
A2の周囲に複数の領域が隣接しているとき、別の領域
を選んでこれを新たな領域A3とし、この領域A3を領
域A2に統合すべきか否かを判定する(S34)。この
判定はS32同様に行う。ここで統合すべきでないと判
定された場合(S34のN)、さらに別の領域がある限
り、これを順次新たな領域A3として同様の処理を行
う。この繰り返しの中で、ある領域A3について統合す
べき判定がなされたとき(S34のY)、S35に進ん
で領域A3を領域A2に統合する。一方、すべての領域
A3について領域A2に統合すべきでない旨の判定がな
された場合(S33のN)、統合処理を行わずにS36
に進む。
【0043】S36では、統合処理の済んでいない別の
一対一対応領域が残っているか否かを判定し、残ってい
る場合はS30に戻って新たな組(A1,A2)につい
て同様の処理を繰り返す。未処理の組がなくなれば(S
36のN)、S3の処理全体を終了する。なお、図4の
場合、同図の領域A3が領域A2に統合されるとすれ
ば、新たな領域A2が生まれる。従って、この時点で新
たな一対一対応領域(A1,A2)が生じるため、「未
処理の(A1,A2)が残っている」と見なすことがで
きる。この結果、もとの領域A2を核としてその周囲の
領域を次々に統合していくことが可能となる。なお、統
合の過程で領域A2が領域A1よりも大きくなれば、そ
の時点でA1、A2を入れ換えて以降の処理をつづけれ
ばよい。
一対一対応領域が残っているか否かを判定し、残ってい
る場合はS30に戻って新たな組(A1,A2)につい
て同様の処理を繰り返す。未処理の組がなくなれば(S
36のN)、S3の処理全体を終了する。なお、図4の
場合、同図の領域A3が領域A2に統合されるとすれ
ば、新たな領域A2が生まれる。従って、この時点で新
たな一対一対応領域(A1,A2)が生じるため、「未
処理の(A1,A2)が残っている」と見なすことがで
きる。この結果、もとの領域A2を核としてその周囲の
領域を次々に統合していくことが可能となる。なお、統
合の過程で領域A2が領域A1よりも大きくなれば、そ
の時点でA1、A2を入れ換えて以降の処理をつづけれ
ばよい。
【0044】以上がS3の処理である。この統合処理の
結果の妥当性を担保するために、以下の配慮をなしても
よい。
結果の妥当性を担保するために、以下の配慮をなしても
よい。
【0045】1.予備統合(S1)の精度が高いことが
望ましく、予備統合の段階で無関係の領域が統合されて
いると、それをベースに統合を進める意味が失われる。
従って、予備統合の段階で統合すべきかどうかを判断し
かねる場合には統合しないほうがよい場合も多い。
望ましく、予備統合の段階で無関係の領域が統合されて
いると、それをベースに統合を進める意味が失われる。
従って、予備統合の段階で統合すべきかどうかを判断し
かねる場合には統合しないほうがよい場合も多い。
【0046】2.ここでは2枚のフレームF1、F2の
相互参照を考えたが、当然3枚以上を用いてもよい。例
えば、領域A2、A3の重心が別の複数のフレームにお
いて領域A1に含まれる場合に限り、領域A2とA3を
統合してもよい。
相互参照を考えたが、当然3枚以上を用いてもよい。例
えば、領域A2、A3の重心が別の複数のフレームにお
いて領域A1に含まれる場合に限り、領域A2とA3を
統合してもよい。
【0047】3.2とは逆に、わずか1枚のフレームで
あっても、そのフレームによれば領域A2とA3を統合
すべきことが明白な場合、他のフレームを無視して統合
してもよい。
あっても、そのフレームによれば領域A2とA3を統合
すべきことが明白な場合、他のフレームを無視して統合
してもよい。
【0048】[4]オブジェクトの抽出(S4) S3によって領域の統合が終了した時点で各種画像処理
の途がひらける。例えば、統合によってデータを圧縮す
ることもできるし、オブジェクトの抽出に利用すること
もできる。S4では動きベクトルを用いたオブジェクト
抽出を行う。
の途がひらける。例えば、統合によってデータを圧縮す
ることもできるし、オブジェクトの抽出に利用すること
もできる。S4では動きベクトルを用いたオブジェクト
抽出を行う。
【0049】図5は統合後の各画像領域の動きベクトル
を示す図である。同図のごとく、画面のほぼ中心に存在
するほぼ円形の領域10は右上に向く動きベクトルをも
つ。また、画面左下に存在するほぼ長方形の領域12は
左に向く動きベクトルをもつ。その他の背景領域14の
動きベクトルはほぼゼロである。こうして動きベクトル
が判明すれば、同じような動きベクトルをもつ領域をひ
とつのオブジェクト領域とみなしてオブジェクトを抽出
すればよい。図5の場合、円形の領域10と長方形領域
12がそれぞれひとつのオブジェクトである可能性が高
い。S4の処理では、隣接しない領域はたとえ同じよう
な動きベクトルをもっていても、同一オブジェクトの領
域と見なさない配慮がいる。
を示す図である。同図のごとく、画面のほぼ中心に存在
するほぼ円形の領域10は右上に向く動きベクトルをも
つ。また、画面左下に存在するほぼ長方形の領域12は
左に向く動きベクトルをもつ。その他の背景領域14の
動きベクトルはほぼゼロである。こうして動きベクトル
が判明すれば、同じような動きベクトルをもつ領域をひ
とつのオブジェクト領域とみなしてオブジェクトを抽出
すればよい。図5の場合、円形の領域10と長方形領域
12がそれぞれひとつのオブジェクトである可能性が高
い。S4の処理では、隣接しない領域はたとえ同じよう
な動きベクトルをもっていても、同一オブジェクトの領
域と見なさない配慮がいる。
【0050】S3までの処理がオブジェクトの抽出に最
適な理由は以下のとおりである。
適な理由は以下のとおりである。
【0051】1.処理が領域ベースで行われており、オ
ブジェクトも領域として抽出する以上、処理の親和性が
高い。 2.S3の統合がすでにオブジェクト抽出を指向するも
のである。すなわち、隣接して色なども近い領域は、も
ともとひとつのオブジェクトに属している可能性が高い
ため、S3の処理でオブジェクトごとの統合がある程度
進んでいると見ることができる。 3.探索枠を設けて対応領域を探す場合、処理の過程で
動きベクトルが算出されているため、これをそのままS
4の処理に利用できる。
ブジェクトも領域として抽出する以上、処理の親和性が
高い。 2.S3の統合がすでにオブジェクト抽出を指向するも
のである。すなわち、隣接して色なども近い領域は、も
ともとひとつのオブジェクトに属している可能性が高い
ため、S3の処理でオブジェクトごとの統合がある程度
進んでいると見ることができる。 3.探索枠を設けて対応領域を探す場合、処理の過程で
動きベクトルが算出されているため、これをそのままS
4の処理に利用できる。
【0052】以上がS4の処理である。S4によってオ
ブジェクトが抽出されれば、例えばのそのオブジェクト
内部のみの画質を維持したままそれ以外の領域のデータ
圧縮率を高めるなどの処理が可能となる。
ブジェクトが抽出されれば、例えばのそのオブジェクト
内部のみの画質を維持したままそれ以外の領域のデータ
圧縮率を高めるなどの処理が可能となる。
【0053】なお、S4の処理については、動きベクト
ルの他に、領域の色どうしの関係を参照する方法も考え
られる。例えば、本実施形態をテレビ電話に適用する場
合、通常、画面中央には人の顔がくる。したがって、肌
色の領域(顔)の上に黒い領域(髪)があれば、これら
を「人の顔」というひとつのオブジェクトとして抽出す
ることも可能である。こうした調整は、用途ごとに固有
の画像の性質に基づいてなせばよい。
ルの他に、領域の色どうしの関係を参照する方法も考え
られる。例えば、本実施形態をテレビ電話に適用する場
合、通常、画面中央には人の顔がくる。したがって、肌
色の領域(顔)の上に黒い領域(髪)があれば、これら
を「人の顔」というひとつのオブジェクトとして抽出す
ることも可能である。こうした調整は、用途ごとに固有
の画像の性質に基づいてなせばよい。
【図1】 実施形態に係る画像領域統合方法の処理を示
すフローチャートである。
すフローチャートである。
【図2】 図1のS2の処理を説明する図である。
【図3】 フレームF1の領域A1を参照してフレーム
F2の領域A2、A3を統合する様子を示す図である。
F2の領域A2、A3を統合する様子を示す図である。
【図4】 図1のS3の手順を示すフローチャートであ
る。
る。
【図5】 図1のS3による統合後の各画像領域の動き
ベクトルを示す図である。
ベクトルを示す図である。
10 円形の領域、12 長方形領域、14 背景領
域、F1,F2 フレーム、A1,A2,A3 領域。
域、F1,F2 フレーム、A1,A2,A3 領域。
Claims (10)
- 【請求項1】 他フレームにおける画像領域の統合状況
を参照して自フレームにおける画像領域の統合を行うこ
とを特徴とする画像領域統合方法。 - 【請求項2】 自他フレームで対応しうる画像領域どう
しの関係を参照する参照工程を経て自フレームに含まれ
る画像領域を統合することを特徴とする画像領域統合方
法。 - 【請求項3】 前記自他フレームは、同一のシーンに関
する動画像の中から選択されることを特徴とする請求項
2に記載の画像領域統合方法。 - 【請求項4】 各フレーム内で画像領域を予備統合した
後に前記参照工程を行う請求項2、3のいずれかに記載
の画像領域統合方法。 - 【請求項5】 前記参照工程は、自フレームにおける複
数画像領域のそれぞれについて定まる領域基準点が他フ
レームの単一の画像領域に含まれるとき、自フレームに
おいて前記複数画像領域を統合する請求項2〜4のいず
れかに記載の画像領域統合方法。 - 【請求項6】 前記参照工程は、他フレームの単一の画
像領域と、自フレームにおける複数画像領域の併合領域
との重複の程度が大きいとき、自フレームにおいて前記
複数画像領域を統合する請求項2〜4のいずれかに記載
の画像領域統合方法。 - 【請求項7】 前記参照工程は、他フレームの単一の画
像領域の色と、自フレームにおける複数画像領域の色が
近いとき、自フレームにおいて前記複数画像領域を統合
する請求項2〜4のいずれかに記載の画像領域統合方
法。 - 【請求項8】 前記参照工程は、他フレームの単一の画
像領域の面積と、自フレームにおける複数画像領域の併
合領域の面積が近いとき、自フレームにおいて前記複数
画像領域を統合する請求項2〜4のいずれかに記載の画
像領域統合方法。 - 【請求項9】 自他フレーム間における画像領域の移動
を考慮し、画像領域の探索域を設けた上で前記参照工程
を行う請求項2〜8のいずれかに記載の画像領域統合方
法。 - 【請求項10】 前記参照工程で判明した自他フレーム
間の画像領域の対応関係をもとに、自他フレーム間で動
きベクトルが互いに似かよっている画像領域の集合領域
をひとつのオブジェクト領域と推定して抽出する請求項
2〜9に記載の画像領域統合方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP25995696A JPH10108198A (ja) | 1996-09-30 | 1996-09-30 | 画像領域統合方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP25995696A JPH10108198A (ja) | 1996-09-30 | 1996-09-30 | 画像領域統合方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JPH10108198A true JPH10108198A (ja) | 1998-04-24 |
Family
ID=17341262
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP25995696A Pending JPH10108198A (ja) | 1996-09-30 | 1996-09-30 | 画像領域統合方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JPH10108198A (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000048207A (ja) * | 1998-05-27 | 2000-02-18 | Fr Telecom | 一対の画像から1つの画像における物体の相対的深度を検出する方法 |
JP2009134693A (ja) * | 2007-10-30 | 2009-06-18 | Canon Inc | 画像処理装置、画像処理方法 |
JP2015088805A (ja) * | 2013-10-29 | 2015-05-07 | ソニー株式会社 | 符号化装置、復号装置、符号化データ、符号化方法、復号方法およびプログラム |
JP2019053625A (ja) * | 2017-09-17 | 2019-04-04 | 国立大学法人岩手大学 | 移動物体検出装置および移動物体検出方法 |
-
1996
- 1996-09-30 JP JP25995696A patent/JPH10108198A/ja active Pending
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000048207A (ja) * | 1998-05-27 | 2000-02-18 | Fr Telecom | 一対の画像から1つの画像における物体の相対的深度を検出する方法 |
JP2009134693A (ja) * | 2007-10-30 | 2009-06-18 | Canon Inc | 画像処理装置、画像処理方法 |
JP2013077307A (ja) * | 2007-10-30 | 2013-04-25 | Canon Inc | 画像処理装置、画像処理方法 |
JP2015088805A (ja) * | 2013-10-29 | 2015-05-07 | ソニー株式会社 | 符号化装置、復号装置、符号化データ、符号化方法、復号方法およびプログラム |
JP2019053625A (ja) * | 2017-09-17 | 2019-04-04 | 国立大学法人岩手大学 | 移動物体検出装置および移動物体検出方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7099392B2 (en) | Motion vector searching method using plural search areas | |
EP1587032B1 (en) | Image processing apparatus and method, recording medium, and program | |
US6380986B1 (en) | Motion vector search method and apparatus | |
US5557684A (en) | System for encoding image data into multiple layers representing regions of coherent motion and associated motion parameters | |
JP4121376B2 (ja) | 動き整合のための局所的制約 | |
US8208551B2 (en) | Method and system for hierarchically layered adaptive median motion vector smoothing | |
US5854856A (en) | Content based video compression system | |
US7050502B2 (en) | Method and apparatus for motion vector detection and medium storing method program directed to the same | |
TW200401569A (en) | Method and apparatus for motion estimation between video frames | |
JPH0670301A (ja) | 画像セグメント化装置 | |
JPH10285602A (ja) | 映像データをエンコードするための動的なスプライト | |
KR20030008150A (ko) | 단일 텔레비전 신호 필드들에서 병렬로 발생하는 필름 및비디오 오브젝트들의 인식 | |
KR20050089886A (ko) | 배경 움직임 벡터 검출 | |
JP2005528708A (ja) | 現動きベクトルを推定するユニット及び方法 | |
JP2003512749A (ja) | 動き推定方法及びその装置 | |
JP4123539B2 (ja) | 画像セグメント化方法 | |
JP2005528709A (ja) | 現動きベクトルを推定するユニット及び方法 | |
JP2002522836A (ja) | 静止画像生成方法および装置 | |
JP2001076161A (ja) | 画像処理方法及び装置並びに記憶媒体 | |
JPH10108198A (ja) | 画像領域統合方法 | |
US6912296B2 (en) | Motion estimation method | |
Gu et al. | Morphological moving object segmentation and tracking for content-based video coding | |
JPH09182077A (ja) | 画像符号化方法および画像符号化装置 | |
ITMI970575A1 (it) | Metodo per la stima del movimento in sequenze di immagini codificate a blocchi in particolare per la elaborazione del segnale video | |
US20050047665A1 (en) | Method for segmenting moving object of compressed moving image |