JPH09251554A

JPH09251554A - 画像処理装置

Info

Publication number: JPH09251554A
Application number: JP6042996A
Authority: JP
Inventors: Hisami Shinsenji; 久美秦泉寺; Hisatsugu Kasahara; 久嗣笠原
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 1996-03-18
Filing date: 1996-03-18
Publication date: 1997-09-22

Abstract

(57)【要約】【課題】ビットストリームをすべて復号しなくても内
容が判明し、検索や再利用に都合のよい、時間空間方向
の拡大縮小に自在な、矩形以外の映像の存在形態を許容
できる、映像の表現が可能な画像処理装置を提供する。【解決手段】まず、時空間領域分割部１１が、カメラ
１０からの時空間画像を意味あるボクセルのクラスタ
（部品画像）に分割する。次に、時空間テクスチャ記述
部１２が、分割された各部品画像の輪郭を包含する領域
の時空間的テクスチャをフラクタル係数で近似して表現
する。それにより時空間テクスチャの時間時方向への拡
大縮小が自在な表現が可能となる。また、時空間輪郭記
述部１３が、分割された各部品画像の時空間的輪郭を多
角形近似等の手法によって記述する。それにより、輪郭
の時空間方向への拡大縮小が自在となり、各々の部品の
形状が定義されるので、全体の画像が矩形以外の形態を
とる事が許容可能となる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、カメラで撮像され
た画素単位の映像を、時空間の領域分割の技術を用いて
時空間における領域ごとに再表現する映像記述方式を採
用した画像処理装置に関するものである。

【０００２】

【従来の技術】従来の技術による映像記述方式として
は、画像をカメラで撮像された画素単位で記述（符号
化）を行うものがある。これは、映像をフレーム毎に幾
つかの重なりあわない矩形のマクロブロックに分割して
ＤＣＴ（ＤｉｓｃｒｅｔｅＣｏｓｉｎｅＴｒａｎｓ
ｆｏｒｍ）を施しフレーム内の圧縮を図り、時間軸方向
は異なるフレーム間の動きベクトルなどを用いてマクロ
ブロックがどの位置に移動するかを推定し、推定された
ものと実際の値の差分を符号化するものである。標準方
式Ｈ．２６ＸやＭＰＥＧ−１、ＭＰＥＧ−２がこれにあ
たる。

【０００３】

【発明が解決しようとする課題】しかしながら、上記従
来の技術による映像記述方式では、以下のような問題が
あった。

【０００４】（１）意味を持たないマクロブロック単位
で符号化するため、すべてのビットストリームを復号し
ないと内容が何かわからない。

【０００５】（２）検索や再利用などに不向きな表現法
になっている。

【０００６】（３）画素単位での表現であるため、時間
方向、空間方向への拡大縮小が自在でない。

【０００７】（４）映像の存在形態は唯一、矩形であ
り、例えばブルーバックに人物が写っている映像など本
来は人物のみ保存したいのにもかかわらず、余分なブル
ーの背景も一緒に保存しなくてはならず、情報量の観点
からして映像をより冗長な存在形態にならしめている。

【０００８】本発明は、以上の問題点を解決するための
ものであり、ビットストリームをすべて復号しなくても
内容が判明し、ひいては、検索や再利用に都合のよい、
時間空間方向の拡大縮小に自在な、矩形以外の映像の存
在形態を許容できる、映像の表現が可能な画像処理装置
を提供する事を目的とする。

【０００９】

【課題を解決するための手段】上記の目的を達成するた
めに、本発明の画像処理装置は、映像を時空間において
領域分割する時空間領域分割手段と、前記時空間領域分
割手段によって領域分割された映像の個々の要素のテク
スチャをフラクタルの係数で近似する時空間テクスチャ
記述手段と、前記時空間領域分割手段によって領域分割
された映像の個々の要素の輪郭を抽出する時空間輪郭抽
出手段と、を有することを最も主要な特徴とする。

【００１０】従来の技術が画像の内容に全く無関係なブ
ロック内での情報量圧縮を実現したものであるのに対
し、本発明は映像を時空間画像としてＣＧにおけるボク
セル表現のようにとらえ、テクスチャと形状を別々に表
現するところが従来の技術と異なる。

【００１１】ここで、ＣＧにおけるボクセル表現とは以
下のものである。ＣＧでは「ポリゴン」、「サーフェ
ス」などいろいろな３次元物体の記述の仕方があるが、
「ボクセル」もＣＧの表現の一種である。具体例として
は、ＣＴスキャンで時系列でとった人体の断面図からＣ
Ｇ空間上で人体を再構成（再表現）しようとするときな
どに用いられている。通常、ピクセル（ｐｉｘｅｌ）が
２次元座標空間の一点を表すのに対して、ボクセル（ｂ
ｏｘｅｌ）は３次元座標空間の一点を表す。その意味
で、ピクセルもボクセルを次元の相違はあるものの、同
じ様な表現ということができる。

【００１２】時空間領域分割手段は、計算機による特徴
量（カット点など）や人手によって意味ある部分への分
割するもので、時空間画像を意味あるボクセルのクラス
タ（部品画像）に分割することを可能とする。

【００１３】時空間テクスチャ記述手段は、前記時空間
領域分割手段で分割された各々の部品画像の輪郭を包含
する領域の時空間的テクスチャをフラクタルの係数で近
似するなどして表現する。それによって、時空間テクス
チャの時間時方向へ拡大縮小する自在な表現を可能とす
る。

【００１４】時空間輪郭抽出手段は、前記時空間領域分
割手段で分割された各々の部品画像の時空間的輪郭を多
角形近似等の手法によって記述する。それによって、輪
郭を時空間方向へ自在に拡大縮小することを可能とす
る。また、この手段によって各々の部品の形状を定義す
ることで、全体の画像が矩形以外の形態をとるのを許容
する事を可能とする。

【００１５】以上の各手段によって、本発明は、映像の
内容ごとに映像を分割して表現することを可能とし、ひ
いては検索や再利用に都合のよい表現を提供可能とし、
時間空間方向の拡大縮小が自在であり、矩形以外の映像
の存在形態を許容するという目的を達成する。つまり、
従来の技術のピクセルベースの表現ではなくて、意味の
あるピクセルの塊を基本とした時空間領域ベースの映像
表現を用いることで、ビットストリームをすべて復号し
なくても内容が判明し、ひいては、検索や再利用に都合
のよい、時間空間方向の拡大縮小に自在な、矩形以外の
映像の存在形態を許容できる、映像の表現方式を用いた
画像処理装置を提供する。

【００１６】

【発明の実施の形態】以下に、本発明の実施の形態を、
図面により詳しく説明する。

【００１７】図１は本発明の一実施形態例の全体の構成
を示すもので、１０はカメラ、１１は時空間領域分割
部、１２は時空間テクスチャ記述部、１３は時空間輪郭
記述部である。時空間領域分割部１１は、クラスタリン
グ部１４、ラベリング部１５を有する。時空間テクスチ
ャ記述部１２は、ドメインプール決定部１６、３次元フ
ラクタル係数決定部１７を有する。時空間輪郭記述部１
３は、キーフレーム決定部１８、多角形近似部１９を有
している。

【００１８】図２は、本発明の時空間テクスチャと時空
間輪郭の概念を示すものである。

【００１９】図３は、本発明の時空間テクスチャ記述部
１２の中の３次元フラクタル係数決定部に関するもので
あり、（ａ）は３次元フラクタル係数決定部１７の詳細
を示すもので、（ｂ）は３次元フラクタルにおけるレン
ジキューブ、ドメインキューブ、の概念図を示すもので
あり、３１はドメインキューブ走査部、３２はドメイン
キューブ縮小部、３３はピクセルシャッフル部、３４は
ルミナンススケーリング部、３５はレンジキューブ分割
部、３６は最小値判定部、３７はレンジキューブ、３８
はドメインキューブ、３９はショット映像である。

【００２０】図４は、本発明の時空間テクスチャ記述部
１２の中のドメインキューブ決定部１６に関するもので
ある。

【００２１】図５は、本発明の時空間輪郭記述部１３に
関するもので、（ａ）は多角形近似部１９の概念図、
（ｂ）はキーフレーム決定部１８の概念を示すものであ
る。

【００２２】最初に本発明の全体の構成を説明する。図
１に示すように、カメラ１０で撮像された時系列の映像
は、時空間領域分割部１１にて人手あるいは計算機によ
る映像の特徴量（カット点など）によって領域分割され
る。領域分割された各々の領域は、時空間テクスチャ記
述部１２によってその時空間テクスチャが、時空間輪郭
記述部１３によってその時空間輪郭が、記述される。こ
うして、すべての画素がクラスタ化され、時空間テクス
チャと時空間輪郭によって記述される。

【００２３】ここで、図２に示すように、通常、領域の
境界部分の近似は困難であることから、テクスチャに関
しては欲する領域を包含する新たな領域を想定し、これ
を時空間テクスチャで近似する。一方、時空間輪郭は、
元の領域の輪郭のものを参照して近似される。最後に、
近似された時空間テクスチャを時空間輪郭が切り出す形
で時空間クラスタが再現される。

【００２４】具体的には、図１の時空間領域分割部１１
のクラスタリング部１４にて計算機もしくは人手を介し
て元の映像を分割し、ラベリング部１５によって、分割
された各々の部品映像に識別するための番号がふられ
る。次に、領域分割された映像は、時空間テクスチャ部
１２のドメインプール決定部１６によってドメインキュ
ーブならびにレンジキューブ走査の範囲を決定し、その
領域内だけで３次元フラクタル係数部１７によって３次
元フラクタル係数が前記領域のテクスチャを現す係数と
して算出される。

【００２５】ここで、３次元フラクタル係数であるが、
後に説明する図３（ａ）の右側に示した、（Ｄｘ，Ｄ
ｙ，Ｄｚ，ｎｕｍ，α、β、Ｒｘ，Ｒｙ，Ｒｚ）のこと
を指す。意味並びに物理量（単位）を以下に示す。

【００２６】・Ｄｘ，Ｄｙ，Ｄｚ：ドメインキューブの
位置座標。単位は無い。

【００２７】・ｎｕｍ：ピクセルシャッフルの番号。８
通り。単位は無い。

【００２８】・α、β：ルミナンススケーリングの値。
レンジキューブと任意のドメインキューブの間の変換係
数。最少二乗法などで求められる。単位は無い。

【００２９】・Ｒｘ，Ｒｙ，Ｒｚ：レンジキューブの位
置座標。単位は無い。

【００３０】図３（ｂ）は、３次元フラクタルの概念図
を示す。あるショット映像３９はレンジキューブ３７と
いう重ならない小さな立方体に分割される。ドメインキ
ューブは通常レンジキューブの２倍の拡大比をもつ立方
体で、これは基本的にドメインプール（ドメインキュー
ブが走査しうる範囲）内を順次走査して行く。レンジキ
ューブのサイズはあらかじめ与えられ、一辺４画素、８
画素、１６画素などがある。ドメインキューブのサイズ
はレンジキューブの２倍である。

【００３１】図４にドメインプール決定部１６の詳細を
示す。ただし、便宜上２次元のもので示してある。最初
に元の領域のＸＹＴ方向（空間時間方向）の大きさの最
大値並びに最大値を与える座標を記録する。次に、時空
間クラスタのＸＹＴ方向の最大値からなる直方体を含む
直方体の領域を最小の数のレンジキューブでうめられる
ようにレンジキューブの配置を決定する（領域拡張
（１））。その中から、元の領域を含むレンジキューブ
のみ選択する。さらに選択されたレンジキューブの外側
にもう一回りレンジキューブを選択する（領域拡張
（２））。これは、順次走査されるドメインキューブの
中心が元の領域の輪郭付近にもくるように配慮するもの
である。さらに、ドメインプールの大きさをＷ×Ｈ×Ｔ
としてこの立体の中に入る領域のみを最終的に有効なド
メインプールとする。

【００３２】ドメインキプールの領域が決定されると、
３次元フラクタル係数決定部１７によってフラクタル係
数が決定される。図３（ａ）に３次元フラクタル係数決
定部１７の詳細を示す。まず、レンジキューブ分割部３
５によってあるレンジキューブがドメインプールから選
択される。レンジキューブ分割部３５は、レンジキュー
ブの先頭の座標（Ｒｘ，Ｒｙ，Ｒｚ）を控える。その各
々のレンジキューブに対してドメインキューブがドメイ
ンプール内を走査する。ドメインキューブ走査部３１は
ドメインキューブの先頭の座標（Ｄｘ，Ｄｙ，Ｄｚ）を
控える。走査の範囲は通常レンジキューブの中から一定
の場所とする（すなわち、すべてのドメインプール内を
走査するわけではない）。ドメインキューブ内の画素は
ドメインキューブ縮小部３２によって２分の１の大きさ
に縮小される。縮小されたドメインキューブ内の画素値
は元のドメインキューブの４つの画素の平均値を縮小さ
れたドメインキューブの１つの値とする。さらに、ピク
セルシャッフル部３３によって鏡像、回転の８種類の画
素の再配置処理が施される。ピクセルシャッフル部３３
は何番目にの再配置か（ｎｕｍ）を控える。その各々の
再配置された縮小ドメインキューブに対して、ルミナン
ススケーリング部３４によってレンジキューブに近似す
るように最小２乗法などによってルミナンススケール
（α、β）が算出される。このように係数Ｄｘ，Ｄｙ，
Ｄｚ、ｎｕｍ、α、βで近似された縮小ドメインキュー
ブと元のレンジキューブとの類似度が最小値判定部３５
によって判定され、最小の誤差の係数列が選択される。
以上のようにして時空間テクスチャが表現される。

【００３３】時空間領域分割部１１で選られた各々の領
域は時空間輪郭記述部１２によってその輪郭（形状）が
記述される。まず、キーフレーム決定部１８によって時
間的に変化の大きい輪郭を持つフレームが選択される。
そのフレームに対して、多角形近似部１９で輪郭の多角
形近似がなされる。

【００３４】図５に時空間領域分割部１１の概念を示
す。まず、図５（ｂ）にキーフレーム決定部１８の例を
示す。この例では、時空間におけるｙ−ｔ画像の一断面
を示しているが、領域の変化の大きいところは時空間断
面の傾きによって決定される。図５（ａ）に多角形近似
部１９の例を示す。まず、元の図形の一番長い弦ＡＢを
探す。これに垂直な線と元の輪郭の交点をそれぞれＣ，
Ｄとする。弦ＡＣ，ＣＢ，ＢＤ，ＤＡに対して垂線と元
の輪郭との交点を順次決定し、それがあるしきい値εよ
りも小さければ収束とみなす。εより大きければ同様の
処理を収束するまで繰りかえす。このようにして時空間
輪郭が記述される。時空間輪郭係数としては、キーフレ
ームの番号Ｋｎ、任意のキーフレームにおける時空間ク
ラスタのｘ−ｙ断面上に近似された輪郭の頂点座標Ｐｎ
（ｘ，ｙ）が抽出される。以下に意味と物理量をまとめ
て記す。

【００３５】・Ｋｎ：キーフレームの番号。単位は無
い。

【００３６】・Ｐｎ（ｘ，ｙ）：任意のキーフレームに
おける多角形の頂点座標。単位は無い。

【００３７】

【発明の効果】本発明は、全映像ストリームを復号しな
くても内容が把握でき、検索や再利用に都合のよい表現
形式を提供できるという効果がある。また、境界を多角
形近似し、テクスチャを時間空間周波数と無関係な関数
系であるフラクタル近似で表現することで、復号時に任
意の大きさで再現することができ、時間空間方向への拡
大縮小が自在であるという効果が得られる。また、矩形
以外の映像の存在形態を許容することができるという効
果が得られる。

【図面の簡単な説明】

【図１】本発明の一実施形態例の全体の構成を示す図で
ある。

【図２】本発明の一実施形態例における時空間テクスチ
ャと時空間輪郭の概念を示す図である。

【図３】（ａ）、（ｂ）は、本発明の一実施形態例にお
ける時空間テクスチャ記述部の中の３次元フラクタル係
数決定部の詳細を説明する図である。

【図４】本発明の一実施形態例における時空間テクスチ
ャ記述部の中のドメインプール決定部の詳細を説明する
図である。

【図５】本発明の一実施形態例における時空間輪郭記述
部の詳細を説明する図である。

【符号の説明】

１１…時空間領域分割部１２…時空間テクスチャ記述部１３…時空間輪郭記述部１４…クラスタリング部１５…ラベリング部１６…ドメインプール決定部１７…３次元フラクタル係数決定部１８…キーフレーム決定部１９…多角形近似部３１…ドメインキューブ走査部３２…ドメインキューブ縮小部３３…ピクセルシャッフル部３４…ルミナンススケーリング部３５…レンジキューブ分割部３６…最小値判定部３７…レンジキューブ３８…ドメインキューブ３９…ショット映像

Claims

【特許請求の範囲】

【請求項１】映像を時空間において領域分割する時空
間領域分割手段と、前記時空間領域分割手段によって領域分割された映像の
個々の要素のテクスチャをフラクタルの係数で近似する
時空間テクスチャ記述手段と、前記時空間領域分割手段によって領域分割された映像の
個々の要素の輪郭を抽出する時空間輪郭抽出手段と、を有することを特徴とする画像処理装置。
【請求項２】前記時空間テクスチャ記述手段は、当該要素を包含する新たな領域を決定する手段と、前記新たな領域内だけでフラクタルの係数を算出する手
段と、を有することを特徴とする請求項１記載の画像処理装
置。
【請求項３】前記時空間輪郭抽出手段は、時空間領域分割手段によって領域分割された映像の個々
の要素の輪郭を多角形近似して輪郭の抽出を行う手段
と、を有することを特徴とする請求項１または請求項２記載
の画像処理装置。