JPH1097644A - 不規則メッシュを用いた対象物指向画像表現方法及びその装置 - Google Patents
不規則メッシュを用いた対象物指向画像表現方法及びその装置Info
- Publication number
- JPH1097644A JPH1097644A JP12600197A JP12600197A JPH1097644A JP H1097644 A JPH1097644 A JP H1097644A JP 12600197 A JP12600197 A JP 12600197A JP 12600197 A JP12600197 A JP 12600197A JP H1097644 A JPH1097644 A JP H1097644A
- Authority
- JP
- Japan
- Prior art keywords
- flow control
- mesh
- control point
- control points
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/537—Motion estimation other than block-based
- H04N19/54—Motion estimation other than block-based using feature points or meshes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Signal Processing (AREA)
- Software Systems (AREA)
- Geometry (AREA)
- Multimedia (AREA)
- Computer Graphics (AREA)
- Human Computer Interaction (AREA)
- General Engineering & Computer Science (AREA)
- Image Processing (AREA)
- Image Generation (AREA)
- Processing Or Creating Images (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
(57)【要約】 （修正有）
【課題】 画像内に入っている任意の物体を不規則メッ
シュを用いて効果的に表現する。 【解決手段】 全体画像に入っている任意の対象物を含
む画像ブロックを抽出し、対象物画像データを出力する
対象物画像抽出手段、並びに対象物画像から固定制御
点、流動制御点及び画素データより構成された四角メッ
シュデータを発生し、ここで固定制御点及び流動制御点
は、前記全体画像を分割する複数個の四角メッシュの頂
点のうち対象物画像に属した頂点であり、固定制御点
は、対象物画像のエッジに位置した頂点である規則メッ
シュ形成手段を利用し、規則メッシュ形成手段からの四
角メッシュデータを用いて、最低の画素描写状態を有す
る流動制御点の除去動作及び流動制御点の取り除かれた
支持領域を多角形メッシュに分割する動作を、残された
流動制御点の個数が既に設定されたスレショルド値に達
するまで繰り返す。
シュを用いて効果的に表現する。 【解決手段】 全体画像に入っている任意の対象物を含
む画像ブロックを抽出し、対象物画像データを出力する
対象物画像抽出手段、並びに対象物画像から固定制御
点、流動制御点及び画素データより構成された四角メッ
シュデータを発生し、ここで固定制御点及び流動制御点
は、前記全体画像を分割する複数個の四角メッシュの頂
点のうち対象物画像に属した頂点であり、固定制御点
は、対象物画像のエッジに位置した頂点である規則メッ
シュ形成手段を利用し、規則メッシュ形成手段からの四
角メッシュデータを用いて、最低の画素描写状態を有す
る流動制御点の除去動作及び流動制御点の取り除かれた
支持領域を多角形メッシュに分割する動作を、残された
流動制御点の個数が既に設定されたスレショルド値に達
するまで繰り返す。
Description
【０００１】
【発明の属する技術分野】本発明は不規則メッシュを用
いた対象物指向画像表現方法及びその装置に係り、特に
画像内に入っている任意の物体を不規則メッシュを用い
て表現するための方法及びその装置に関する。
いた対象物指向画像表現方法及びその装置に係り、特に
画像内に入っている任意の物体を不規則メッシュを用い
て表現するための方法及びその装置に関する。
【０００２】
【従来の技術】最近、ＭＰＥＧ４のように画像電話また
は画像会議システムにおける応用を目的として動き画像
を低いビット率で符号化する動き画像圧縮技術に対する
国際標準化作業が進まれている。極めて低いビット率で
動き画像を符号化するため、動き画像内の意味ある物体
を符号化して伝送する対象物指向動き画像符号化技法が
多様に研究されている。また、動き画像の時間軸相関性
を取り除く動き補償のため、物体の実際の動きをさらに
効率よく表現しうる映像そり（image warping)のような
空間変換をメッシュ状に表現される映像に適用する動き
補償技法が研究しつつある。
は画像会議システムにおける応用を目的として動き画像
を低いビット率で符号化する動き画像圧縮技術に対する
国際標準化作業が進まれている。極めて低いビット率で
動き画像を符号化するため、動き画像内の意味ある物体
を符号化して伝送する対象物指向動き画像符号化技法が
多様に研究されている。また、動き画像の時間軸相関性
を取り除く動き補償のため、物体の実際の動きをさらに
効率よく表現しうる映像そり（image warping)のような
空間変換をメッシュ状に表現される映像に適用する動き
補償技法が研究しつつある。
【０００３】映像表現において、不規則メッシュは映像
のローカル特性を極めてよく反映でき、少数の制御点の
みにて映像の特性をよく表現できると知られている。
のローカル特性を極めてよく反映でき、少数の制御点の
みにて映像の特性をよく表現できると知られている。
【０００４】
【発明が解決しようとする課題】本発明は前述した問題
点を解決するために案出されたもので、その目的は画像
内に入っている任意の物体を不規則メッシュを用いて表
現するための方法を提供することにある。本発明の他の
目的は前述した方法を具現した装置を提供することにあ
る。
点を解決するために案出されたもので、その目的は画像
内に入っている任意の物体を不規則メッシュを用いて表
現するための方法を提供することにある。本発明の他の
目的は前述した方法を具現した装置を提供することにあ
る。
【０００５】
【課題を解決するための手段】前述した目的を達成する
ために供される不規則メッシュを用いた対象物指向画像
表現方法は、（ａ）全体画像から全体画像に入っている
任意の対象物を含む画像ブロックを抽出する段階と、
（ｂ）段階（ａ）から抽出された画像ブロックから、固
定制御点及び流動制御点は前記全体画像を分割する複数
個の四角メッシュの頂点のうち対象物画像に属した頂点
であり、固定制御点は対象物画像のエッジに置かれた頂
点である固定制御点、流動制御点及び画素データより構
成された四角メッシュデータを発生する段階と、（ｃ）
段階（ｂ）の四角メッシュデータに基づき最低の画像描
写状態を有する流動制御点の除去動作及び中央制御点が
取り除かれた支持領域を多角形メッシュに分割する動作
を、残されている流動制御点の個数が既に設定されたス
レショルド値に達するまで繰り返す段階とを含む。
ために供される不規則メッシュを用いた対象物指向画像
表現方法は、（ａ）全体画像から全体画像に入っている
任意の対象物を含む画像ブロックを抽出する段階と、
（ｂ）段階（ａ）から抽出された画像ブロックから、固
定制御点及び流動制御点は前記全体画像を分割する複数
個の四角メッシュの頂点のうち対象物画像に属した頂点
であり、固定制御点は対象物画像のエッジに置かれた頂
点である固定制御点、流動制御点及び画素データより構
成された四角メッシュデータを発生する段階と、（ｃ）
段階（ｂ）の四角メッシュデータに基づき最低の画像描
写状態を有する流動制御点の除去動作及び中央制御点が
取り除かれた支持領域を多角形メッシュに分割する動作
を、残されている流動制御点の個数が既に設定されたス
レショルド値に達するまで繰り返す段階とを含む。
【０００６】本発明の他の目的を達成するために供され
る不規則メッシュを用いた対象物指向画像表現装置は、
受信される画像データにより表現される全体画像から全
体画像に入っている任意の対象物を含む画像ブロックを
抽出し、抽出された画像ブロックよりなる対象物画像デ
ータを出力する対象物画像抽出手段と、前記対象物画像
抽出手段から対象物画像データを受信し、対象物画像か
ら固定制御点、流動制御点及び画素データより構成され
た四角メッシュデータを発生し、ここで固定制御点及び
流動制御点は前記全体画像を分割する複数個の四角メッ
シュの頂点のうち対象物画像に属した頂点であり、固定
制御点は対象物画像のエッジに位置した頂点である規則
メッシュ形成手段と、前記規則メッシュ形成手段からの
四角メッシュデータを受信し、最低の画像描写状態を有
する流動制御点の除去動作及び流動制御点の取り除かれ
た支持領域を多角形メッシュに分割する動作を、残され
た流動制御点の個数が既に設定されたスレショルド値に
達するまで繰り返す不規則形成手段とを含む。
る不規則メッシュを用いた対象物指向画像表現装置は、
受信される画像データにより表現される全体画像から全
体画像に入っている任意の対象物を含む画像ブロックを
抽出し、抽出された画像ブロックよりなる対象物画像デ
ータを出力する対象物画像抽出手段と、前記対象物画像
抽出手段から対象物画像データを受信し、対象物画像か
ら固定制御点、流動制御点及び画素データより構成され
た四角メッシュデータを発生し、ここで固定制御点及び
流動制御点は前記全体画像を分割する複数個の四角メッ
シュの頂点のうち対象物画像に属した頂点であり、固定
制御点は対象物画像のエッジに位置した頂点である規則
メッシュ形成手段と、前記規則メッシュ形成手段からの
四角メッシュデータを受信し、最低の画像描写状態を有
する流動制御点の除去動作及び流動制御点の取り除かれ
た支持領域を多角形メッシュに分割する動作を、残され
た流動制御点の個数が既に設定されたスレショルド値に
達するまで繰り返す不規則形成手段とを含む。
【０００７】
【発明の実施の形態】以下、添付した図１ないし図７に
基づき本発明を具現した実施例を詳述する。図１は本発
明の一実施例による不規則メッシュを用いた対象物指向
画像表現装置のブロック図である。同図に示したよう
に、対象物画像抽出部１０は任意の対象物を含む画像か
らその対象物を抽出する。任意の対象物を含む画像の例
を示す図２（Ａ）を参照するに、対象物画像抽出部１０
内のブロック形成器１１は受信された画像データにより
構成される図２（Ａ）の画像を各画像ブロックがＮ×Ｎ
個の画素より構成されたＮ×Ｎサイズの画像ブロックに
分割する。ブロック形成器１１による画像分割の例は図
２（Ｂ）に示した。ブロック形成器１１は画像分割によ
り得られた画像ブロックのデータをブロック選択器１２
へ出力する。ブロック選択器１２は受信されるデータを
用いて画像ブロック内で対象物の画像情報を含む画像ブ
ロックを選択する。ブロック選択器１２は選択された画
像ブロックのデータを対象物画像形成器１３へ出力す
る。しかし、ブロック選択器１２は選択された画像ブロ
ックを除いた画像ブロックを示すデータを対象物画像形
成器１３へ出力しない。対象物画像形成器１３はブロッ
ク選択器１２から受信されるデータを併合して対象物画
像を形成及び貯蔵する。この対象物画像はブロック選択
器１２により選択される画像ブロックよりなるもので、
図２（Ｃ）において太い実線にて囲繞された領域と示し
た。対象物画像形成器１３は画像ブロックより構成され
た対象物画像のデータを四角メッシュ形成器２０へ出力
する。
基づき本発明を具現した実施例を詳述する。図１は本発
明の一実施例による不規則メッシュを用いた対象物指向
画像表現装置のブロック図である。同図に示したよう
に、対象物画像抽出部１０は任意の対象物を含む画像か
らその対象物を抽出する。任意の対象物を含む画像の例
を示す図２（Ａ）を参照するに、対象物画像抽出部１０
内のブロック形成器１１は受信された画像データにより
構成される図２（Ａ）の画像を各画像ブロックがＮ×Ｎ
個の画素より構成されたＮ×Ｎサイズの画像ブロックに
分割する。ブロック形成器１１による画像分割の例は図
２（Ｂ）に示した。ブロック形成器１１は画像分割によ
り得られた画像ブロックのデータをブロック選択器１２
へ出力する。ブロック選択器１２は受信されるデータを
用いて画像ブロック内で対象物の画像情報を含む画像ブ
ロックを選択する。ブロック選択器１２は選択された画
像ブロックのデータを対象物画像形成器１３へ出力す
る。しかし、ブロック選択器１２は選択された画像ブロ
ックを除いた画像ブロックを示すデータを対象物画像形
成器１３へ出力しない。対象物画像形成器１３はブロッ
ク選択器１２から受信されるデータを併合して対象物画
像を形成及び貯蔵する。この対象物画像はブロック選択
器１２により選択される画像ブロックよりなるもので、
図２（Ｃ）において太い実線にて囲繞された領域と示し
た。対象物画像形成器１３は画像ブロックより構成され
た対象物画像のデータを四角メッシュ形成器２０へ出力
する。
【０００８】四角メッシュ形成器２０は対象物を含む全
体画像をＫ×Ｋサイズのグリッドに分割する。ここで、
各グリッドはＫ×Ｋ個の画素を含むサイズを有する。四
角メッシュ形成器２０は各グリッドの頂点のうち対象物
画像に含まれた頂点を初期制御点と決定し、初期制御点
で囲繞された各グリッドを四角メッシュと決定する。図
３は図２（Ｃ）の対象物画像に基づき決定された四角メ
ッシュの例を示す。図３に示した四角メッシュは図２に
関連して説明された画像ブロックの横（または縦）方向
の画素数がＫ×Ｋサイズを有するグリッドの横（または
縦）方向の画素数の整数倍となる場合である。画像ブロ
ックの横（または縦）方向の画素数がグリッドの横（ま
たは縦）方向の画素数の整数倍でない場合、四角メッシ
ュより構成された対象物画像は画像ブロックより構成さ
れた対象物画像とやや相違する。
体画像をＫ×Ｋサイズのグリッドに分割する。ここで、
各グリッドはＫ×Ｋ個の画素を含むサイズを有する。四
角メッシュ形成器２０は各グリッドの頂点のうち対象物
画像に含まれた頂点を初期制御点と決定し、初期制御点
で囲繞された各グリッドを四角メッシュと決定する。図
３は図２（Ｃ）の対象物画像に基づき決定された四角メ
ッシュの例を示す。図３に示した四角メッシュは図２に
関連して説明された画像ブロックの横（または縦）方向
の画素数がＫ×Ｋサイズを有するグリッドの横（または
縦）方向の画素数の整数倍となる場合である。画像ブロ
ックの横（または縦）方向の画素数がグリッドの横（ま
たは縦）方向の画素数の整数倍でない場合、四角メッシ
ュより構成された対象物画像は画像ブロックより構成さ
れた対象物画像とやや相違する。
【０００９】四角メッシュ形成器２０は四角メッシュよ
り構成された対象物画像のエッジに位置した初期制御点
を固定制御点と決定し、固定制御点と決定されない初期
制御点を流動制御点と決定する。ここで、各四角メッシ
ュはその四角メッシュ内に存する対象物画像のデータ及
びその四角メッシュに属した固定制御点または流動制御
点の位置情報により表現される。四角メッシュ形成器２
０は四角メッシュより構成された対象物画像を示す四角
メッシュデータを不規則メッシュ形成部３０へ出力す
る。
り構成された対象物画像のエッジに位置した初期制御点
を固定制御点と決定し、固定制御点と決定されない初期
制御点を流動制御点と決定する。ここで、各四角メッシ
ュはその四角メッシュ内に存する対象物画像のデータ及
びその四角メッシュに属した固定制御点または流動制御
点の位置情報により表現される。四角メッシュ形成器２
０は四角メッシュより構成された対象物画像を示す四角
メッシュデータを不規則メッシュ形成部３０へ出力す
る。
【００１０】不規則メッシュ形成部３０は入力される四
角メッシュデータを用いて個別四角メッシュを不規則三
角メッシュに分割させる。不規則メッシュ形成部３０に
よる不規則三角メッシュの生成は、“SPIE's １９９６
symposium on Visual communications and Image Proc
essing”において発表されたKang W.Chun, ByungwooJea
n及びJae M.Joの“Irregular Triangular Mesh Represe
ntation Based on Adaptive Control Point Removal”
との論文に基づく。不規則メッシュ形成部３０内の規則
三角メッシュ形成器３１は四角メッシュ形成器２０から
四角メッシュデータを受信する。規則三角メッシュ形成
器３１は受信された四角メッシュデータを用いて四角メ
ッシュのそれぞれを対角線方向に分割させる。この分割
により各四角メッシュは二つの規則三角メッシュに分割
される。
角メッシュデータを用いて個別四角メッシュを不規則三
角メッシュに分割させる。不規則メッシュ形成部３０に
よる不規則三角メッシュの生成は、“SPIE's １９９６
symposium on Visual communications and Image Proc
essing”において発表されたKang W.Chun, ByungwooJea
n及びJae M.Joの“Irregular Triangular Mesh Represe
ntation Based on Adaptive Control Point Removal”
との論文に基づく。不規則メッシュ形成部３０内の規則
三角メッシュ形成器３１は四角メッシュ形成器２０から
四角メッシュデータを受信する。規則三角メッシュ形成
器３１は受信された四角メッシュデータを用いて四角メ
ッシュのそれぞれを対角線方向に分割させる。この分割
により各四角メッシュは二つの規則三角メッシュに分割
される。
【００１１】規則三角メッシュ形成器３１が規則三角メ
ッシュを形成する一例を図４（Ａ）〜（Ｃ）に基づき説
明する。規則三角メッシュ形成器３１は各四角メッシュ
を規則三角メッシュに分割するため、その四角メッシュ
に属した画素値の類似性を用いる。図４（Ａ）は
“ａ”，“ｂ”，“ｃ”及び“ｄ”の四つの制御点より
なる四角メッシュを示す。一つの四角メッシュに属した
制御点（ａ，ｂ，ｃ及びｄ）の画素値をそれぞれＰ
（ａ），Ｐ（ｂ），Ｐ（ｃ）及びＰ（ｄ）とすれば、規
則三角メッシュ形成器３１は−４５度方向の類似性表示
値Ｐ−４５を：Ｐ（ａ）−Ｐ（ｃ）：を用いて計算し、
４５度方向の類似性表示値Ｐ４５を：Ｐ（ｂ）−Ｐ
（ｄ）：を用いて計算する。規則三角メッシュ形成器３
１は二つの類似性表示値Ｐ４５及びＰ−４５のうち小さ
い値に応ずる対角線方向に沿ってその四角メッシュを二
つの規則三角メッシュに分割する。図４（Ｂ）は類似性
表示値Ｐ−４５が類似性表示値Ｐ４５より小さい場合の
四角メッシュの分割を示し、図４（Ｃ）は類似性表示値
Ｐ４５が類似性表示値Ｐ−４５より小さい場合の四角メ
ッシュの分割を示す。規則三角メッシュ形成器３１は全
ての四角メッシュの分割より得られた規則三角メッシュ
を示す規則三角メッシュデータを発生する。かかる規則
三角メッシュデータは前述した固定制御点及び流動制御
点の位置に対する情報も含んでいるもので、エネルギー
計算機３２へ供給される。
ッシュを形成する一例を図４（Ａ）〜（Ｃ）に基づき説
明する。規則三角メッシュ形成器３１は各四角メッシュ
を規則三角メッシュに分割するため、その四角メッシュ
に属した画素値の類似性を用いる。図４（Ａ）は
“ａ”，“ｂ”，“ｃ”及び“ｄ”の四つの制御点より
なる四角メッシュを示す。一つの四角メッシュに属した
制御点（ａ，ｂ，ｃ及びｄ）の画素値をそれぞれＰ
（ａ），Ｐ（ｂ），Ｐ（ｃ）及びＰ（ｄ）とすれば、規
則三角メッシュ形成器３１は−４５度方向の類似性表示
値Ｐ−４５を：Ｐ（ａ）−Ｐ（ｃ）：を用いて計算し、
４５度方向の類似性表示値Ｐ４５を：Ｐ（ｂ）−Ｐ
（ｄ）：を用いて計算する。規則三角メッシュ形成器３
１は二つの類似性表示値Ｐ４５及びＰ−４５のうち小さ
い値に応ずる対角線方向に沿ってその四角メッシュを二
つの規則三角メッシュに分割する。図４（Ｂ）は類似性
表示値Ｐ−４５が類似性表示値Ｐ４５より小さい場合の
四角メッシュの分割を示し、図４（Ｃ）は類似性表示値
Ｐ４５が類似性表示値Ｐ−４５より小さい場合の四角メ
ッシュの分割を示す。規則三角メッシュ形成器３１は全
ての四角メッシュの分割より得られた規則三角メッシュ
を示す規則三角メッシュデータを発生する。かかる規則
三角メッシュデータは前述した固定制御点及び流動制御
点の位置に対する情報も含んでいるもので、エネルギー
計算機３２へ供給される。
【００１２】エネルギー計算機３２は受信される規則三
角メッシュデータを内部メモリ（図示せず）に貯蔵し、
貯蔵されたデータを用いて流動制御点のそれぞれに応ず
る第１エネルギー値を計算する。流動制御点Ｋに関連し
た第１エネルギー値Ｅ（Ｋ）は次の式１に表現され、
角メッシュデータを内部メモリ（図示せず）に貯蔵し、
貯蔵されたデータを用いて流動制御点のそれぞれに応ず
る第１エネルギー値を計算する。流動制御点Ｋに関連し
た第１エネルギー値Ｅ（Ｋ）は次の式１に表現され、
【００１３】
【数７】
【００１４】ここで、ＳK は流動制御点Ｋに応ずる支持
領域を、ＮK は支持領域ＳK 内に入っている画素数を、
ｇ（ｉ，ｊ）は“位置（ｉ，ｊ）”を有する画素の画素
値を、
領域を、ＮK は支持領域ＳK 内に入っている画素数を、
ｇ（ｉ，ｊ）は“位置（ｉ，ｊ）”を有する画素の画素
値を、
【００１５】
【外１５】
【００１６】は画素値ｇ（ｉ，ｊ）に応ずる補間された
画素値を示す。補間された画素値
画素値を示す。補間された画素値
【００１７】
【外１６】
【００１８】は画素値ｇ（ｉ，ｊ）と応ずる補間加重値
を用いて計算され、位置（ｉ，ｊ）を有する画素のため
の補間加重値は中央の流動制御点Ｋが取り除かれる前の
支持領域ＳK 内で位置（ｉ，ｊ）を有する画素が属した
三角メッシュに入っている制御点の画素値を用いてユニ
ークに決定される。図５（Ａ）を参照するに、“Ｋ”と
示された流動制御点は八つの隣り合う制御点で囲繞され
た支持領域を有する。エネルギー計算機３２はグリッド
化された対象物画像内の全ての流動制御点について前述
した式１を用いて第１エネルギー値を計算し、計算され
た第１エネルギー値を流動制御点のそれぞれに応ずる形
態に内部メモリに貯蔵する。エネルギー計算機３２は各
支持領域の中央の流動制御点を取り除き、流動制御点が
取り除かれた支持領域を三角形作り（triangulation)技
法を用いて三角メッシュに分割する。三角形作り技法は
前述したKang W.Chun,Byungwoo Jean及びJae M.Joの論
文に開示されている。
を用いて計算され、位置（ｉ，ｊ）を有する画素のため
の補間加重値は中央の流動制御点Ｋが取り除かれる前の
支持領域ＳK 内で位置（ｉ，ｊ）を有する画素が属した
三角メッシュに入っている制御点の画素値を用いてユニ
ークに決定される。図５（Ａ）を参照するに、“Ｋ”と
示された流動制御点は八つの隣り合う制御点で囲繞され
た支持領域を有する。エネルギー計算機３２はグリッド
化された対象物画像内の全ての流動制御点について前述
した式１を用いて第１エネルギー値を計算し、計算され
た第１エネルギー値を流動制御点のそれぞれに応ずる形
態に内部メモリに貯蔵する。エネルギー計算機３２は各
支持領域の中央の流動制御点を取り除き、流動制御点が
取り除かれた支持領域を三角形作り（triangulation)技
法を用いて三角メッシュに分割する。三角形作り技法は
前述したKang W.Chun,Byungwoo Jean及びJae M.Joの論
文に開示されている。
【００１９】図５（Ｂ）は流動制御点Ｋの取り除かれた
支持領域を分割する新たな三角メッシュの例を示す。エ
ネルギー計算機３２は中央の流動制御点が取り除かれた
支持領域に入っている新たな三角メッシュを用いて第２
エネルギー値を計算する。流動制御点Ｋに関連した第２
エネルギーは前述した式１を用いて計算される。しか
し、第２エネルギー値の計算において、画素値ｇ（ｉ，
ｊ）に関連した補間された画素値ｇ（ｉ，ｊ）は新たな
三角メッシュの制御点の画素値を用いて決定される。言
い換えれば、位置（ｉ，ｊ）を有する画素のための補間
加重値は新たな三角メッシュのうち位置（ｉ，ｊ）を有
する画素の属した三角メッシュに入っている制御点の画
素値を用いてユニークに決定される。エネルギー計算機
３２は第１エネルギー値及び対応する第２エネルギー値
が計算される度に第１エネルギー値及び対応する第２エ
ネルギー値との差を示すエネルギー差値を計算する。か
かるエネルギー計算機３２の信号処理が本発明を限定す
ることではない。従って、全ての流動制御点に応ずる第
１及び第２エネルギー差値が計算されてから流動制御点
のそれぞれに応ずるエネルギー差値を計算するようエネ
ルギー計算機３２を設計することもできる。エネルギー
計算機３２は計算されたエネルギー差値を各流動制御点
に応ずる形態に制御点除去器３３へ出力する。全ての流
動制御点に応ずるエネルギー差値が計算完了されれば、
エネルギー計算機３２は規則三角メッシュ形成器３１か
ら受信した規則三角メッシュデータ及びエネルギー差値
の計算完了を示す信号を制御点除去器３３へ出力する。
支持領域を分割する新たな三角メッシュの例を示す。エ
ネルギー計算機３２は中央の流動制御点が取り除かれた
支持領域に入っている新たな三角メッシュを用いて第２
エネルギー値を計算する。流動制御点Ｋに関連した第２
エネルギーは前述した式１を用いて計算される。しか
し、第２エネルギー値の計算において、画素値ｇ（ｉ，
ｊ）に関連した補間された画素値ｇ（ｉ，ｊ）は新たな
三角メッシュの制御点の画素値を用いて決定される。言
い換えれば、位置（ｉ，ｊ）を有する画素のための補間
加重値は新たな三角メッシュのうち位置（ｉ，ｊ）を有
する画素の属した三角メッシュに入っている制御点の画
素値を用いてユニークに決定される。エネルギー計算機
３２は第１エネルギー値及び対応する第２エネルギー値
が計算される度に第１エネルギー値及び対応する第２エ
ネルギー値との差を示すエネルギー差値を計算する。か
かるエネルギー計算機３２の信号処理が本発明を限定す
ることではない。従って、全ての流動制御点に応ずる第
１及び第２エネルギー差値が計算されてから流動制御点
のそれぞれに応ずるエネルギー差値を計算するようエネ
ルギー計算機３２を設計することもできる。エネルギー
計算機３２は計算されたエネルギー差値を各流動制御点
に応ずる形態に制御点除去器３３へ出力する。全ての流
動制御点に応ずるエネルギー差値が計算完了されれば、
エネルギー計算機３２は規則三角メッシュ形成器３１か
ら受信した規則三角メッシュデータ及びエネルギー差値
の計算完了を示す信号を制御点除去器３３へ出力する。
【００２０】制御点除去器３３はエネルギー計算機３２
から受信されるデータを内部メモリに貯蔵する。従っ
て、規則三角メッシュデータ及び全ての流動制御点に応
ずるエネルギー差値が制御点除去器３３の内部メモリに
貯蔵される。制御点除去器３３は内部メモリに貯蔵され
たエネルギー差値を比較して最小エネルギー差値を決定
し、決定された最小エネルギー差値及び応ずる流動制御
点のデータを内部メモリから取り消す。すなわち、制御
点除去器３３は最小エネルギー値に応ずる流動制御点を
制御点でないことと取り除かせる。制御点除去器３３は
残された流動制御点の個数、取り除かれた流動制御点に
関連した支持領域のデータ及び支持領域に隣接する三角
メッシュを示す三角メッシュデータをメッシュ再構成器
３４へ出力する。
から受信されるデータを内部メモリに貯蔵する。従っ
て、規則三角メッシュデータ及び全ての流動制御点に応
ずるエネルギー差値が制御点除去器３３の内部メモリに
貯蔵される。制御点除去器３３は内部メモリに貯蔵され
たエネルギー差値を比較して最小エネルギー差値を決定
し、決定された最小エネルギー差値及び応ずる流動制御
点のデータを内部メモリから取り消す。すなわち、制御
点除去器３３は最小エネルギー値に応ずる流動制御点を
制御点でないことと取り除かせる。制御点除去器３３は
残された流動制御点の個数、取り除かれた流動制御点に
関連した支持領域のデータ及び支持領域に隣接する三角
メッシュを示す三角メッシュデータをメッシュ再構成器
３４へ出力する。
【００２１】メッシュ再構成器３４は制御点除去器３３
から受信されるデータを用いて中央の流動制御点が取り
除かれた支持領域を三角メッシュに分割する。メッシュ
再構成器３４は中央の流動制御点が取り除かれた支持領
域について前述した三角形作り技法を適用する。従っ
て、メッシュ再構成器３４により流動制御点が取り除か
れた支持領域は新たな三角メッシュに分割される。メッ
シュ再構成器３４は残された流動制御点の個数が既に設
定されたスレショルド値以下であるかを判断する。残さ
れた流動制御点の個数が既に設定されたスレショルド値
より大きい場合、メッシュ再構成器３４は流動制御点が
取り除かれた支持領域から新たに得られた三角メッシュ
及びこの新たな三角メッシュに隣接する三角メッシュを
示すデータをエネルギー変更器３５へ出力する。メッシ
ュ再構成器３４からのデータを受信するエネルギー変更
器３５は新たな三角メッシュの流動制御点のそれぞれに
ついてエネルギー差値を計算する。新たな三角メッシュ
に属した流動制御点のそれぞれは、図５（Ａ）に関連し
て説明した支持領域と同様に、そのそれぞれに応ずる支
持領域を有する。従って、新たな三角メッシュが図５
（Ｂ）に示したように決定される場合、エネルギー変更
器３５は図５（Ｂ）に示した全ての流動制御点に応ずる
エネルギー差値を新たに計算する。エネルギー変更器３
５は計算されたエネルギー差値及び対応流動制御点を示
すデータを制御点除去器３３へ出力する。制御点除去器
３３はエネルギー変更器３５から受信されたデータと内
部メモリに貯蔵していたエネルギー差値を用いて最小エ
ネルギー差値を決定し、決定された最小エネルギー差値
及び応ずる流動制御点の位置データを内部メモリから取
り消す。制御点除去器３３，メッシュ再構成器３４及び
エネルギー変更器３５による流動制御点及び応ずるエネ
ルギー差値の削除動作は既に設定されたスレショルド値
と残された流動制御点の個数が一致するまで繰り返す。
既に設定されたスレショルド値と残された流動制御点の
個数が一致することと判断されれば、メッシュ再構成器
３４は制御点除去器３３に残された流動制御点のデータ
及び三角メッシュを示す三角メッシュデータを位置移動
部４０へ出力する。
から受信されるデータを用いて中央の流動制御点が取り
除かれた支持領域を三角メッシュに分割する。メッシュ
再構成器３４は中央の流動制御点が取り除かれた支持領
域について前述した三角形作り技法を適用する。従っ
て、メッシュ再構成器３４により流動制御点が取り除か
れた支持領域は新たな三角メッシュに分割される。メッ
シュ再構成器３４は残された流動制御点の個数が既に設
定されたスレショルド値以下であるかを判断する。残さ
れた流動制御点の個数が既に設定されたスレショルド値
より大きい場合、メッシュ再構成器３４は流動制御点が
取り除かれた支持領域から新たに得られた三角メッシュ
及びこの新たな三角メッシュに隣接する三角メッシュを
示すデータをエネルギー変更器３５へ出力する。メッシ
ュ再構成器３４からのデータを受信するエネルギー変更
器３５は新たな三角メッシュの流動制御点のそれぞれに
ついてエネルギー差値を計算する。新たな三角メッシュ
に属した流動制御点のそれぞれは、図５（Ａ）に関連し
て説明した支持領域と同様に、そのそれぞれに応ずる支
持領域を有する。従って、新たな三角メッシュが図５
（Ｂ）に示したように決定される場合、エネルギー変更
器３５は図５（Ｂ）に示した全ての流動制御点に応ずる
エネルギー差値を新たに計算する。エネルギー変更器３
５は計算されたエネルギー差値及び対応流動制御点を示
すデータを制御点除去器３３へ出力する。制御点除去器
３３はエネルギー変更器３５から受信されたデータと内
部メモリに貯蔵していたエネルギー差値を用いて最小エ
ネルギー差値を決定し、決定された最小エネルギー差値
及び応ずる流動制御点の位置データを内部メモリから取
り消す。制御点除去器３３，メッシュ再構成器３４及び
エネルギー変更器３５による流動制御点及び応ずるエネ
ルギー差値の削除動作は既に設定されたスレショルド値
と残された流動制御点の個数が一致するまで繰り返す。
既に設定されたスレショルド値と残された流動制御点の
個数が一致することと判断されれば、メッシュ再構成器
３４は制御点除去器３３に残された流動制御点のデータ
及び三角メッシュを示す三角メッシュデータを位置移動
部４０へ出力する。
【００２２】位置移動部４０内のエネルギー計算機４１
は制御点除去器３３から受信された流動制御点データ及
び三角メッシュデータを用いて各流動制御点毎にその流
動制御点に隣り合う画素位置を有する候補制御点を決定
する。エネルギー計算機４１により選択された候補制御
点の一例を図６に示した。望ましくは、候補制御点は流
動制御点に隣り合う四つの画素位置または八つの画素位
置と決定される。かかる候補制御点の決定が本発明を限
定することではないので、候補制御点が選択される範囲
をさらに拡張することも可能である。エネルギー計算機
４１は決定された候補制御点と応ずる流動制御点に隣り
合う制御点（すなわち、固定制御点そして／または流動
制御点）を連結し、新たな三角メッシュを形成する。そ
の後、エネルギー計算機４１は各流動制御点に応ずる候
補制御点のそれぞれに応ずる第３エネルギー値を計算す
る。各候補制御点に応ずる第３エネルギー値は次の数式
２により計算され、
は制御点除去器３３から受信された流動制御点データ及
び三角メッシュデータを用いて各流動制御点毎にその流
動制御点に隣り合う画素位置を有する候補制御点を決定
する。エネルギー計算機４１により選択された候補制御
点の一例を図６に示した。望ましくは、候補制御点は流
動制御点に隣り合う四つの画素位置または八つの画素位
置と決定される。かかる候補制御点の決定が本発明を限
定することではないので、候補制御点が選択される範囲
をさらに拡張することも可能である。エネルギー計算機
４１は決定された候補制御点と応ずる流動制御点に隣り
合う制御点（すなわち、固定制御点そして／または流動
制御点）を連結し、新たな三角メッシュを形成する。そ
の後、エネルギー計算機４１は各流動制御点に応ずる候
補制御点のそれぞれに応ずる第３エネルギー値を計算す
る。各候補制御点に応ずる第３エネルギー値は次の数式
２により計算され、
【００２３】
【数８】
【００２４】ここで、ＳK は流動制御点Ｋに応ずる支持
領域を、ＮK は支持領域ＳK 内に入っている画素数を、
ｇ（ｉ，ｊ）は“位置（ｉ，ｊ）”を有する画素の画素
値を、
領域を、ＮK は支持領域ＳK 内に入っている画素数を、
ｇ（ｉ，ｊ）は“位置（ｉ，ｊ）”を有する画素の画素
値を、
【００２５】
【外１７】
【００２６】は画素値ｇ（ｉ，ｊ）に応ずる補間された
画素値をそれぞれ示す。補間された画素値
画素値をそれぞれ示す。補間された画素値
【００２７】
【外１８】
【００２８】は画素値ｇ（ｉ，ｊ）と応ずる補間加重値
を用いて計算され、位置（ｉ，ｊ）を有する画素のため
の補間加重値は各候補制御点と支持領域ＳK の縁に位置
した制御点により形成される三角メッシュのうち位置
（ｉ，ｊ）を有する画素が属した三角メッシュに入って
いる制御点の画素値を用いてユニークに決定される。各
流動制御点に関連した全ての候補制御点に応ずる第３エ
ネルギーが計算されれば、エネルギー計算機４１は各流
動制御点及び応ずる候補制御点であることを示すデー
タ、そして各流動制御点及び応ずる候補制御点に関連し
た第３エネルギーを位置選定器４２へ出力する。エネル
ギー計算機４１もメッシュ再構成器３４から受信した三
角メッシュデータを位置選定器４２へ出力する。
を用いて計算され、位置（ｉ，ｊ）を有する画素のため
の補間加重値は各候補制御点と支持領域ＳK の縁に位置
した制御点により形成される三角メッシュのうち位置
（ｉ，ｊ）を有する画素が属した三角メッシュに入って
いる制御点の画素値を用いてユニークに決定される。各
流動制御点に関連した全ての候補制御点に応ずる第３エ
ネルギーが計算されれば、エネルギー計算機４１は各流
動制御点及び応ずる候補制御点であることを示すデー
タ、そして各流動制御点及び応ずる候補制御点に関連し
た第３エネルギーを位置選定器４２へ出力する。エネル
ギー計算機４１もメッシュ再構成器３４から受信した三
角メッシュデータを位置選定器４２へ出力する。
【００２９】位置選定器４２は受信される第３エネルギ
ー値のうち最小の第３エネルギー値に応ずる候補制御点
または流動制御点を最適の流動制御点と決定する。位置
移動部４０は全ての流動制御点について最適の流動制御
点を決定し、最適の流動制御点、固定制御点、そして最
適の流動制御点の決定により変更された不規則メッシュ
を含む最適化された不規則メッシュデータを後段の機器
（図示せず）へ出力する。
ー値のうち最小の第３エネルギー値に応ずる候補制御点
または流動制御点を最適の流動制御点と決定する。位置
移動部４０は全ての流動制御点について最適の流動制御
点を決定し、最適の流動制御点、固定制御点、そして最
適の流動制御点の決定により変更された不規則メッシュ
を含む最適化された不規則メッシュデータを後段の機器
（図示せず）へ出力する。
【００３０】不規則多角メッシュを生成する変形された
実施例を図７に基づき説明する。図７に示した対象物画
像抽出部１０及び四角メッシュ形成器２０は図１と同様
である。エネルギー計算機８１は四角メッシュ形成器２
０からの四角メッシュデータを受信する。この四角メッ
シュデータは四角メッシュより構成された対象物画像を
示す。エネルギー計算機８１は入力される四角メッシュ
データを用いてグリッド化された対象物領域内の流動制
御点に個別的に応ずる第４エネルギー値を計算する。エ
ネルギー計算機８１は第４エネルギー値の計算のために
前述した式（１）を用いる。この場合、ＳK はＫ番目の
流動制御点を囲繞している四角メッシュよりなる支持領
域となり、補間された値
実施例を図７に基づき説明する。図７に示した対象物画
像抽出部１０及び四角メッシュ形成器２０は図１と同様
である。エネルギー計算機８１は四角メッシュ形成器２
０からの四角メッシュデータを受信する。この四角メッ
シュデータは四角メッシュより構成された対象物画像を
示す。エネルギー計算機８１は入力される四角メッシュ
データを用いてグリッド化された対象物領域内の流動制
御点に個別的に応ずる第４エネルギー値を計算する。エ
ネルギー計算機８１は第４エネルギー値の計算のために
前述した式（１）を用いる。この場合、ＳK はＫ番目の
流動制御点を囲繞している四角メッシュよりなる支持領
域となり、補間された値
【００３１】
【外１９】
【００３２】を得るための補間加重値は支持領域に属し
た制御点の画素値を使用して決定される。エネルギー計
算機８１はグリッド化された対象物領域内の各流動制御
点に関連した第４エネルギー値を計算し、計算された第
４エネルギー値を流動制御点に応ずる形態に内部メモリ
（図示せず）に貯蔵する。全ての流動制御点に対する第
４エネルギー値の計算が完了されれば、エネルギー計算
機８１は第４エネルギー値の計算完了を示す信号を制御
点除去器８２へ出力する。制御点除去器８２はエネルギ
ー計算機８１に貯蔵された第４エネルギー値のうち最小
の第４エネルギー値に応ずる流動制御点をエネルギー計
算機８１の内部メモリから取り除く。この際、新たに形
成されるメッシュは既存の四角メッシュとは異なるサイ
ズを有する。既に設定されたスレショルド値よりエネル
ギー計算機８１に残された流動制御点の個数が大きい値
を有する場合、制御点除去器８２はエネルギー計算命令
をエネルギー計算機８１へ出力する。エネルギー計算命
令に応答するエネルギー計算機８１は取り除かれた流動
制御点に隣接する流動制御点に応ずる第４エネルギー値
を新たに計算して貯蔵する。そして、制御点除去器８２
はエネルギー計算機８１に貯蔵された第４エネルギー値
のうち最小の第４エネルギー値に応ずる流動制御点を取
り除く。エネルギー計算機８１及び制御点除去器８２に
よるかかる流動制御点除去を繰り返すと、最初の規則的
な四角メッシュはそのサイズや形が異なる不規則多角形
メッシュに変形される。流動制御点除去のための信号処
理を繰り返すと、エネルギー計算機８１に残された流動
制御点の個数が既に貯蔵されたスレショルド値と同様に
なる。この際、制御点除去器８２はエネルギー計算機８
１に貯蔵されている多角形メッシュを示すデータを読み
出し、読み出された多角形メッシュデータは位置移動部
９０へ出力する。この多角形メッシュデータは固定制御
点及び残された流動制御点を示すデータと、残された多
角形メッシュに関連した画像データを含む。
た制御点の画素値を使用して決定される。エネルギー計
算機８１はグリッド化された対象物領域内の各流動制御
点に関連した第４エネルギー値を計算し、計算された第
４エネルギー値を流動制御点に応ずる形態に内部メモリ
（図示せず）に貯蔵する。全ての流動制御点に対する第
４エネルギー値の計算が完了されれば、エネルギー計算
機８１は第４エネルギー値の計算完了を示す信号を制御
点除去器８２へ出力する。制御点除去器８２はエネルギ
ー計算機８１に貯蔵された第４エネルギー値のうち最小
の第４エネルギー値に応ずる流動制御点をエネルギー計
算機８１の内部メモリから取り除く。この際、新たに形
成されるメッシュは既存の四角メッシュとは異なるサイ
ズを有する。既に設定されたスレショルド値よりエネル
ギー計算機８１に残された流動制御点の個数が大きい値
を有する場合、制御点除去器８２はエネルギー計算命令
をエネルギー計算機８１へ出力する。エネルギー計算命
令に応答するエネルギー計算機８１は取り除かれた流動
制御点に隣接する流動制御点に応ずる第４エネルギー値
を新たに計算して貯蔵する。そして、制御点除去器８２
はエネルギー計算機８１に貯蔵された第４エネルギー値
のうち最小の第４エネルギー値に応ずる流動制御点を取
り除く。エネルギー計算機８１及び制御点除去器８２に
よるかかる流動制御点除去を繰り返すと、最初の規則的
な四角メッシュはそのサイズや形が異なる不規則多角形
メッシュに変形される。流動制御点除去のための信号処
理を繰り返すと、エネルギー計算機８１に残された流動
制御点の個数が既に貯蔵されたスレショルド値と同様に
なる。この際、制御点除去器８２はエネルギー計算機８
１に貯蔵されている多角形メッシュを示すデータを読み
出し、読み出された多角形メッシュデータは位置移動部
９０へ出力する。この多角形メッシュデータは固定制御
点及び残された流動制御点を示すデータと、残された多
角形メッシュに関連した画像データを含む。
【００３３】位置移動部９０が図７に関連して説明され
た多角形メッシュデータを処理する場合、前述した式２
は多角形メッシュ構造に適宜に変更される。変更された
式２において、補間された値
た多角形メッシュデータを処理する場合、前述した式２
は多角形メッシュ構造に適宜に変更される。変更された
式２において、補間された値
【００３４】
【外２０】
【００３５】を得るための補間加重値は各候補制御点と
支持領域ＳK の縁に位置した制御点により形成される各
多角形メッシュの頂点の制御点の画素値を用いて決定さ
れる。この変更は三角形メッシュ構造に適宜な前述した
式（２）を多角形メッシュ構造に適宜に変更したものな
ので、その具体的な説明は省く。
支持領域ＳK の縁に位置した制御点により形成される各
多角形メッシュの頂点の制御点の画素値を用いて決定さ
れる。この変更は三角形メッシュ構造に適宜な前述した
式（２）を多角形メッシュ構造に適宜に変更したものな
ので、その具体的な説明は省く。
【００３６】
【発明の効果】以上述べたように、本発明による画像表
現装置は画像から抽出された対象物についてメッシュ表
現を適用することにより、画像全体をメッシュ表現する
場合に比べて遙かに効率的な信号処理が行える。従っ
て、映像のメッシュ表現のために求められるメモリの使
用効率を最適化でき、ひいては適切なメモリ容量を有す
るシステムを設計しうる。
現装置は画像から抽出された対象物についてメッシュ表
現を適用することにより、画像全体をメッシュ表現する
場合に比べて遙かに効率的な信号処理が行える。従っ
て、映像のメッシュ表現のために求められるメモリの使
用効率を最適化でき、ひいては適切なメモリ容量を有す
るシステムを設計しうる。
【図１】本発明の一実施例による不規則メッシュを用い
た対象物指向画像表現装置のブロック図である。
た対象物指向画像表現装置のブロック図である。
【図２】（Ａ）ないし（Ｃ）は任意の対象物を含む対象
物画像の形成過程を説明するための概念図である。
物画像の形成過程を説明するための概念図である。
【図３】グリッド化された対象物画像を説明するための
概念図である。
概念図である。
【図４】（Ａ）−（Ｃ）は三角メッシュの生成を説明す
るための概念図である。
るための概念図である。
【図５】（Ａ），（Ｂ）は流動制御点の除去を説明する
ための概念図である。
ための概念図である。
【図６】最適の流動制御点の決定を説明するための概念
図である。
図である。
【図７】本発明の他の実施例による不規則多角形メッシ
ュを形成する機器を示すブロック図である。
ュを形成する機器を示すブロック図である。
１０ 対象物画像抽出部 １１ ブロック形成器 １２ ブロック選択器 １３ 対象物画像形成器 ２０ 四角メッシュ形成器 ３０ 不規則メッシュ形成器 ３１ 規則三角メッシュ形成器 ３２ エネルギー計算機 ３３ 制御点除去器 ３４ メッシュ再構成器 ４０ 位置移動部 ４１ エネルギー計算機 ４２ 位置選定器 ８１ エネルギー計算機 ８２ 制御点除去器 ９０ 位置移動部
Claims (20)
- 【請求項１】 不規則メッシュを用いた対象物指向画像
表現装置において、 受信される画像データにより表現される全体画像から全
体画像に入っている任意の対象物を含めている画像ブロ
ックを抽出し、抽出された画像ブロックよりなる対象物
画像データを出力する対象物画像抽出手段と、 前記対象物画像抽出手段から対象物画像データを受信
し、対象物画像から固定制御点、流動制御点及び画素デ
ータより構成された四角メッシュデータを発生し、ここ
で固定制御点及び流動制御点は前記全体画像を分割する
複数個の四角メッシュの頂点のうち対象物画像に属した
頂点であり、固定制御点は対象物画像のエッジに位置し
た頂点である規則メッシュ形成手段と、 前記規則メッシュ形成手段からの四角メッシュデータを
用いて最低の画像描写状態を有する流動制御点の除去動
作及び流動制御点の取り除かれた支持領域を多角形メッ
シュに分割する動作を、残された流動制御点の個数が既
に設定されたスレショルド値に達するまで繰り返す不規
則形成手段とを含む対象物指向画像表現装置。 - 【請求項２】 前記対象物画像抽出手段は受信された画
像データによる全体画像を各画像ブロックが既に設定さ
れたサイズを有する複数個の画像ブロックに分離するブ
ロック形成手段と、 前記ブロック形成手段により分離された複数個の画像ブ
ロックのうち全体画像が入っている任意の対象物を含む
画像ブロックを選択するブロック選択手段と、 前記ブロック選択手段により選択された画像ブロックを
併合し、併合された画像ブロックを対象物画像データと
して出力する対象物画像形成手段とを含む請求項１に記
載の対象物指向画像表現装置。 - 【請求項３】 前記不規則メッシュ形成手段は中央の流
動制御点が取り除かれた支持領域を三角メッシュに分割
する動作を行うことを特徴とする請求項１に記載の対象
物指向画像表現装置。 - 【請求項４】 前記不規則メッシュ形成手段は、 規則メッシュ形成手段からの四角メッシュデータを用い
て各四角メッシュをデータ類似性の程度が大きい対角線
方向を決定し、決定された対角線方向に沿って該メッシ
ュを分割して規則三角メッシュを形成する規則三角メッ
シュ形成手段と、 前記規則三角メッシュ形成手段により形成された規則三
角メッシュの画素データを用いて、流動制御点に個別に
応ずるエネルギー差値を計算するエネルギー計算手段
と、 計算されたエネルギー差値のうち最小のエネルギー差値
を決定し、決定されたエネルギー差値に応ずる流動制御
点を流動制御点でないことと取り除く制御点除去手段
と、 前記制御点除去手段の流動制御点除去に応答して、残さ
れた流動制御点の個数が既に設定されたスレショルド値
に達するまで中央の流動制御点が取り除かれた支持領域
を三角メッシュに分割するメッシュ再構成手段と、 前記メッシュ再構成手段により得られた新たな三角メッ
シュ及び隣り合う三角メッシュを用いて新たな三角メッ
シュに入っている流動制御点に個別的に対応するエネル
ギー差値を計算し、計算されたエネルギー差値及び対応
流動制御点を示す情報を前記制御点除去手段に供給する
エネルギー変更手段とを含む請求項３に記載の対象物指
向画像表現装置。 - 【請求項５】 各流動制御点Ｋに応ずるエネルギー差値
は第１エネルギー値及び第２エネルギー値の差を示し、 流動制御点Ｋに対する第１エネルギー値Ｅ（Ｋ）は、Ｓ
K は流動制御点Ｋに応ずる支持領域を、ＮK は支持領域
（ＳK ）内に入っている画素数を、ｇ（ｉ，ｊ）は“位
置（ｉ，ｊ）”を有する画素の画素値を、 【外１】 は画素値ｇ（ｉ，ｊ）に応ずる補間された画素値をそれ
ぞれ示し、ここで補間された画素値 【外２】 は画素値ｇ（ｉ，ｊ）と応ずる補間加重値を用いて計算
され、位置（ｉ，ｊ）を有する画素のための補間加重値
は中央の流動制御点Ｋが取り除かれる前の支持領域ＳK
内で位置（ｉ，ｊ）を有する画素が属した各三角メッシ
ュに入っている制御点の画素値を用いて決定される次の
数式により計算され、 【数１】 流動制御点Ｋに対する第２エネルギー値は補間された画
素値 【外３】 の代わりに新たな三角メッシュの制御点の画素値を用い
て決定された補間された画素値を用いる上記の数式を用
いて計算される請求項４に記載の対象物指向画像表現装
置。 - 【請求項６】 前記不規則メッシュ形成手段は中央の流
動制御点が取り除かれた支持領域を多角メッシュに分割
する動作を行う請求項１に記載の対象物指向画像表現装
置。 - 【請求項７】 前記不規則メッシュ形成手段は前記規則
メッシュ形成手段からの四角メッシュデータを受信して
貯蔵し、貯蔵された四角メッシュデータを用いて流動制
御点に個別に応ずるエネルギー値を計算及び貯蔵するエ
ネルギー計算手段と、 前記エネルギー計算手段に貯蔵されたエネルギー値のう
ち最小のエネルギー値に応ずる流動制御点を取り除く動
作を残された流動制御点の個数が既に設定されたスレシ
ョルド値に達するまで繰り返す制御点除去手段とを含
み、 前記エネルギー計算手段は中央の流動制御点が取り除か
れた支持領域に入っている流動制御点に応ずるエネルギ
ー値を新たに計算して貯蔵する請求項６に記載の対象物
指向画像表現装置。 - 【請求項８】 前記エネルギー値は次の数式により計算
され、 【数２】 ここで、ＳK は流動制御点Ｋに応ずる支持領域を、ＮK
は支持領域ＳK 内に入っている画素数を、ｇ（ｉ，ｊ）
は“位置（ｉ，ｊ）”を有する画素の画素値を、 【外４】 は画素値ｇ（ｉ，ｊ）に応ずる補間された画素値をそれ
ぞれ示し、補間された画素値 【外５】 は画素値ｇ（ｉ，ｊ）と応ずる補間加重値を用いて計算
され、補間加重値は支持領域ＳK 内の制御点の画素値を
用いて決定される請求項７に記載の対象物指向画像表現
装置。 - 【請求項９】 前記不規則メッシュ形成手段で最終的に
残された多角形メッシュの流動制御点について、各流動
制御点及び隣接する画素位置を有する複数個の候補制御
点に関連したエネルギー値を前記各流動制御点の支持領
域で計算するエネルギー計算手段と、 前記エネルギー計算手段により計算されたエネルギー値
のうち最小のエネルギー値を決定し、前記各流動制御点
及び前記隣接する候補制御点のうち決定されたエネルギ
ー値に応ずる制御点を前記各流動制御点に応ずる最適の
流動制御点と決定する手段とをさらに含む請求項１に記
載の対象物指向画像表現装置。 - 【請求項１０】 前記エネルギー値は次の数式により計
算され、 【数３】 ここで、ＳK は流動制御点Ｋに応ずる支持領域を、ＮK
は支持領域ＳK 内に入っている画素数を、ｇ（ｉ，ｊ）
は“位置（ｉ，ｊ）”を有する画素の画素値を、 【外６】 は画素値ｇ（ｉ，ｊ）に応ずる補間された画素値をそれ
ぞれ示し、補間された画素値 【外７】 は画素値ｇ（ｉ，ｊ）と応ずる補間加重値を用いて計算
され、位置（ｉ，ｊ）を有する画素のための補間加重値
は流動制御点または各候補制御点と支持領域ＳKの縁に
位置した制御点により形成される三角メッシュのうち位
置（ｉ，ｊ）を有する画素の属した三角メッシュの制御
点の画素値を用いて決定される請求項９に記載の対象物
指向画像表現装置。 - 【請求項１１】 不規則メッシュを用いた対象物指向画
像表現方法において、 （ａ）全体画像から全体画像に入っている任意の対象物
を含む画像ブロックを抽出する段階と、 （ｂ）段階（ａ）から抽出された画像ブロックから、固
定制御点及び流動制御点は前記全体画像を分割する複数
個の四角メッシュの頂点のうち対象物画像に属した頂点
であり、固定制御点は対象物画像のエッジに置かれた頂
点である固定制御点、流動制御点及び画素データより構
成された四角メッシュデータを発生する段階と、 （ｃ）段階（ｂ）の四角メッシュデータに基づき最低の
画像描写状態を有する流動制御点の除去動作及び中央の
流動制御点が取り除かれた支持領域を多角形メッシュに
分割する動作を、残されている流動制御点の個数が既に
設定されたスレショルド値に達するまで繰り返す段階と
を含む対象物指向画像表現方法。 - 【請求項１２】 前記段階（ａ）は全体画像を第１既設
定サイズを有する複数個の画像ブロックに分割する段階
（ａ１）と、 段階（ａ１）の複数個の画像ブロックのうち前記全体画
像に入っている任意の対象物を含む画像ブロックを選択
する段階（ａ２）とを含む請求項１１に記載の対象物指
向画像表現方法。 - 【請求項１３】 前記段階（ｃ）は、中央の流動制御点
が取り除かれた支持領域を三角メッシュに分割する請求
項１１に記載の対象物指向画像表現方法。 - 【請求項１４】 前記段階（ｃ）は、段階（ｂ）の四角
メッシュデータを用いて各四角メッシュをデータ類似性
の程度が大きい対角線方向を決定し、決定された対角線
方向に沿って該メッシュを分割して規則三角メッシュを
形成する段階（ｃ１）と、 前記段階（ｃ１）で形成された規則三角メッシュの画素
データを用いて、流動制御点に個別に応ずるエネルギー
差値を計算する段階（ｃ２）と、 前記段階（ｃ２）で計算されたエネルギー差値のうち最
小のエネルギー差値を決定し、決定されたエネルギー差
値に応ずる流動制御点を流動制御点でないことと取り除
く段階（ｃ３）と、 段階（ｃ３）の流動制御点除去に応答して、残された流
動制御点の個数が既に設定されたスレショルド値に達し
ない場合、中央の流動制御点が取り除かれた支持領域を
三角メッシュに分割する段階（ｃ４）と、 段階（ｃ４）で得られた新たな三角メッシュ及び隣り合
う三角メッシュを用いて新たな三角メッシュに入ってい
る流動制御点に個別に対応するエネルギー差値を計算す
る段階（ｃ５）とを含む請求項１３に記載の対象物指向
画像表現方法。 - 【請求項１５】 各流動制御点Ｋに応ずるエネルギー差
値は第１エネルギー値及び第２エネルギー値の差を示
し、 流動制御点Ｋに対する第１エネルギー値Ｅ（Ｋ）はＳK
は、流動制御点Ｋに応ずる支持領域を、ＮK は支持領域
（ＳK ）内に入っている画素数を、ｇ（ｉ，ｊ）は“位
置（ｉ，ｊ）”を有する画素の画素値を、 【外８】 は画素値ｇ（ｉ，ｊ）に応ずる補間された画素値をそれ
ぞれ示し、ここで補間された画素値 【外９】 は画素値ｇ（ｉ，ｊ）と応ずる補間加重値を用いて計算
され、位置（ｉ，ｊ）を有する画素のための補間加重値
は中央の流動制御点Ｋが取り除かれる前の支持領域ＳK
内で位置（ｉ，ｊ）を有する画素が属した各三角メッシ
ュに入っている制御点の画素値を用いて決定される次の
数式により計算され、 【数４】 流動制御点Ｋに対する第２エネルギー値は補間された画
素値 【外１０】 の代わりに新たな三角メッシュの制御点の画素値を用い
て決定された補間された画素値を用いる上記の数式を用
いて計算される請求項１４に記載の対象物指向画像表現
方法。 - 【請求項１６】 前記段階（ｃ）は流動制御点の除去さ
れた支持領域を四角メッシュに分割する請求項１１に記
載の対象物指向画像表現方法。 - 【請求項１７】 前記段階（ｃ）は、段階（ｂ）の四角
メッシュデータを用いて流動制御点に個別に応ずるエネ
ルギー値を計算及び貯蔵する段階（ｃ１）と、 前記段階（ｃ１）で貯蔵されたエネルギー値のうち最小
のエネルギー値に応ずる流動制御点を取り除く段階（ｃ
２）と、 中央の流動制御点が取り除かれた支持領域に属した流動
制御点に応ずるエネルギー値を計算する段階（ｃ３）
と、 残された流動制御点の個数が既に設定されたスレショル
ド値に達するまで、流動制御点の除去及び対応する支持
領域に属した流動制御点に応ずるエネルギー値の計算を
繰り返す段階（ｃ４）とを含む請求項１６に記載の対象
物指向画像表現方法。 - 【請求項１８】 前記エネルギー値は次の数式により計
算され、 【数５】 ここで、ＳK は流動制御点Ｋに応ずる支持領域を、ＮK
は支持領域ＳK 内に入っている画素数を、ｇ（ｉ，ｊ）
は“位置（ｉ，ｊ）”を有する画素の画素値を、 【外１１】 は画素値ｇ（ｉ，ｊ）に応ずる補間された画素値をそれ
ぞれ示し、補間された画素値 【外１２】 は画素値ｇ（ｉ，ｊ）と応ずる補間加重値を用いて計算
され、補間加重値は支持領域ＳK 内に属した制御点の画
素値を用いて決定される請求項１７に記載の対象物指向
画像表現方法。 - 【請求項１９】 前記段階（ｃ）で最終的に残された多
角形メッシュの流動制御点のそれぞれについて、各流動
制御点及び隣接する画素位置を有する複数個の候補制御
点に関連したエネルギー値を前記各流動制御点の支持領
域で計算する段階（ｄ）と、 段階（ｄ）で計算されたエネルギー値のうち最小のエネ
ルギー値を決定し、前記各流動制御点及び前記隣接する
候補制御点のうち決定されたエネルギー値に応ずる制御
点を前記各流動制御点に応ずる最適の流動制御点と決定
する段階（ｅ）とをさらに含む請求項１１に記載の対象
物指向画像表現方法。 - 【請求項２０】 前記エネルギー値は次の数式により計
算され、 【数６】 ここで、ＳK は流動制御点Ｋに応ずる支持領域を、ＮK
は支持領域ＳK 内に入っている画素数を、ｇ（ｉ，ｊ）
は“位置（ｉ，ｊ）”を有する画素の画素値を、 【外１３】 は画素値ｇ（ｉ，ｊ）に応ずる補間された画素値をそれ
ぞれ示し、補間された画素値 【外１４】 は画素値ｇ（ｉ，ｊ）と応ずる補間加重値を用いて計算
され、位置（ｉ，ｊ）を有する画素のための補間加重値
は流動制御点または各候補制御点と支持領域ＳKの縁に
位置した制御点により形成される三角メッシュのうち位
置（ｉ，ｊ）を有する画素の属した三角メッシュ制御点
の画素値を用いて決定される請求項１９に記載の対象物
指向画像表現方法。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR16661/1996 | 1996-05-17 | ||
| KR1019960016661A KR100215450B1 (ko) | 1996-05-17 | 1996-05-17 | 불규칙메쉬들을 이용한 대상물 지향 화상표현방법및그장치 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH1097644A true JPH1097644A (ja) | 1998-04-14 |
| JP2918513B2 JP2918513B2 (ja) | 1999-07-12 |
Family
ID=19459013
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP12600197A Expired - Fee Related JP2918513B2 (ja) | 1996-05-17 | 1997-05-15 | 不規則メッシュを用いた対象物指向画像表現方法及びその装置 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US5903682A (ja) |
| EP (1) | EP0808066A3 (ja) |
| JP (1) | JP2918513B2 (ja) |
| KR (1) | KR100215450B1 (ja) |
| CN (1) | CN1166754A (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006011544A (ja) * | 2004-06-22 | 2006-01-12 | Geo Technical Laboratory Co Ltd | 地表面ポリゴン生成方法 |
Families Citing this family (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6025847A (en) * | 1997-12-23 | 2000-02-15 | Auto Desk, Inc. | Three dimensional modeling system with visual feedback |
| TW389866B (en) * | 1998-07-01 | 2000-05-11 | Koninkl Philips Electronics Nv | Computer graphics animation method and device |
| US6879324B1 (en) * | 1998-07-14 | 2005-04-12 | Microsoft Corporation | Regional progressive meshes |
| FR2794269B1 (fr) | 1999-05-26 | 2001-08-17 | France Telecom | Procede de codage d'images, a partition triangulaire et transformation reversible, et procede de decodage correspondant |
| FR2794329B1 (fr) * | 1999-05-26 | 2001-08-17 | France Telecom | Procede de codage d'images hierarchique, a mise en oeuvre selective d'un codage a base transformation reversible, et procede de decodage correspondant |
| US7403640B2 (en) * | 2003-10-27 | 2008-07-22 | Hewlett-Packard Development Company, L.P. | System and method for employing an object-oriented motion detector to capture images |
| US20050279827A1 (en) * | 2004-04-28 | 2005-12-22 | First Data Corporation | Methods and systems for providing guaranteed merchant transactions |
| US7529418B2 (en) * | 2004-05-20 | 2009-05-05 | Hewlett-Packard Development Company, L.P. | Geometry and view assisted transmission of graphics image streams |
| KR100772194B1 (ko) * | 2006-07-26 | 2007-11-01 | 한국전자통신연구원 | 피사체의 움직임 여부에 기초하여 영상의 선택적 출력이가능한 네트워크 기반 지능형 이동 로봇 및 그 방법 |
| KR100969764B1 (ko) | 2008-02-13 | 2010-07-13 | 삼성전자주식회사 | 메쉬 모델로 구현된 3차원 데이터의 부호화 및 복호화 방법 |
| GB0807411D0 (en) * | 2008-04-23 | 2008-05-28 | Mitsubishi Electric Inf Tech | Scale robust feature-based indentfiers for image identification |
| US9601086B1 (en) * | 2009-09-11 | 2017-03-21 | Hewlett-Packard Development Company, L.P. | Defining a projector display region |
| KR20140102038A (ko) * | 2013-02-13 | 2014-08-21 | 삼성전자주식회사 | 영상 정합 장치 및 영상 정합 방법 |
| US10930086B2 (en) | 2016-11-01 | 2021-02-23 | Dg Holdings, Inc. | Comparative virtual asset adjustment systems and methods |
| US10275941B2 (en) * | 2016-11-01 | 2019-04-30 | Dg Holdings, Inc. | Multi-layered depth and volume preservation of stacked meshes |
| CN206906707U (zh) * | 2017-07-26 | 2018-01-19 | 京东方科技集团股份有限公司 | 显示装置 |
| CN112370777A (zh) * | 2020-11-12 | 2021-02-19 | 网易（杭州）网络有限公司 | 图像渲染方法、装置和电子设备 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5315537A (en) * | 1991-04-08 | 1994-05-24 | Blacker Teddy D | Automated quadrilateral surface discretization method and apparatus usable to generate mesh in a finite element analysis system |
| AU7603994A (en) * | 1993-08-27 | 1995-03-21 | Apple Computer, Inc. | System and method for generating smooth low degree polynomial spline surfaces over irregular meshes |
-
1996
- 1996-05-17 KR KR1019960016661A patent/KR100215450B1/ko not_active IP Right Cessation
-
1997
- 1997-05-09 EP EP19970303165 patent/EP0808066A3/en not_active Ceased
- 1997-05-14 CN CN97111164A patent/CN1166754A/zh active Pending
- 1997-05-15 JP JP12600197A patent/JP2918513B2/ja not_active Expired - Fee Related
- 1997-05-16 US US08/857,590 patent/US5903682A/en not_active Expired - Fee Related
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006011544A (ja) * | 2004-06-22 | 2006-01-12 | Geo Technical Laboratory Co Ltd | 地表面ポリゴン生成方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| US5903682A (en) | 1999-05-11 |
| JP2918513B2 (ja) | 1999-07-12 |
| KR100215450B1 (ko) | 1999-08-16 |
| KR970076220A (ko) | 1997-12-12 |
| EP0808066A3 (en) | 1997-12-17 |
| EP0808066A2 (en) | 1997-11-19 |
| CN1166754A (zh) | 1997-12-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2918513B2 (ja) | 不規則メッシュを用いた対象物指向画像表現方法及びその装置 | |
| CN111105352A (zh) | 超分辨率图像重构方法、系统、计算机设备及存储介质 | |
| WO2010050911A1 (en) | Method and system for image resizing based on interpolation enhanced seam operations | |
| Yusov et al. | High-performance terrain rendering using hardware tessellation | |
| CN103985085A (zh) | 图像超分辨率放大的方法和装置 | |
| CN110517352B (zh) | 一种物体的三维重建方法、存储介质、终端及系统 | |
| EP2810243A1 (en) | Content-aware image resizing using superpixels | |
| CN115170815A (zh) | 视觉任务处理及模型训练的方法、装置、介质 | |
| CN111617480A (zh) | 一种点云渲染方法及装置 | |
| US8681154B1 (en) | Adaptive rendering of indistinct objects | |
| CN113129231B (zh) | 一种基于对抗生成网络生成高清图像的方法及系统 | |
| CN113902611A (zh) | 图像美颜处理方法、装置、存储介质与电子设备 | |
| US10593111B2 (en) | Method and apparatus for performing high throughput tessellation | |
| CN115952388A (zh) | 基于图像数据处理的卷积运算方法、装置、处理器及介质 | |
| CN115631489A (zh) | 一种三维语义场景补全方法、装置、设备及介质 | |
| JP3978614B2 (ja) | 画像領域分割方法および画像領域分割装置 | |
| KR20060069232A (ko) | 다단계 해상도를 갖는 3차원 이미지 표현 장치 및 방법 | |
| CN115063299B (zh) | 一种图像预处理方法、装置、电子设备以及存储介质 | |
| CN116821400B (zh) | 一种水环境模型数据矢量化方法 | |
| CN111539375B (zh) | 一种大规模人群行为辅助规划方法 | |
| CN116758243B (zh) | 基于实时点云流的场景网格划分生成及渲染显示方法 | |
| US7593011B2 (en) | Light map compression | |
| CA2358527A1 (en) | Method for simplifying a source mesh, taking into account the local curvature and the local geometry, and corresponding uses | |
| Veguilla et al. | Issues in Terrain Visualization for Environmental Monitoring Applications | |
| JP2000031833A (ja) | 統合判断生成方法、符号化方法、統合判断生成装置、記録媒体、及び、統合確率推定値生成装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| LAPS | Cancellation because of no payment of annual fees |