JPH0662385A - 符号化すべきデータのリフレッシュ修正付映像符号化サブアッセンブリ、及び該サブアッセンブリによって符号化された映像のデコードサブアッセンブリ - Google Patents
符号化すべきデータのリフレッシュ修正付映像符号化サブアッセンブリ、及び該サブアッセンブリによって符号化された映像のデコードサブアッセンブリInfo
- Publication number
- JPH0662385A JPH0662385A JP5087548A JP8754893A JPH0662385A JP H0662385 A JPH0662385 A JP H0662385A JP 5087548 A JP5087548 A JP 5087548A JP 8754893 A JP8754893 A JP 8754893A JP H0662385 A JPH0662385 A JP H0662385A
- Authority
- JP
- Japan
- Prior art keywords
- circuit
- image
- decoding
- zone
- coding
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
- G06T9/001—Model-based coding, e.g. wire frame
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
Abstract
(57)【要約】
【目的】 データ圧縮レートが高いときにも合成画像の
画質を改善できる解が達成される符号化サブアセンブリ
の提供。 【構成】 固定又は半固定背景に最少１つの可動パター
ンを含む画像用符号化サブアセンブリが、該画像の有用
ゾーンを表す基礎モデルを構築する手段(200, 300)と符
号化手段(400) と付随する復号サブアセンブリとを含
む。モデル構築手段は初期較正及びモデル適合手段と更
新手段とを有し、それは更に有用ゾーンから取った特性
点の動きを定める回路(301),有用ゾーン内の特定の関心
のある最少１ゾーンを選びその動きを定める回路(302)
を持つ。符号化手段は初期較正手段からの出力信号を符
号化する回路(420),回路(301,302) からの出力信号を符
号化する回路(431,432),上記ゾーンの縁に沿ったゾーン
の縁の両側の輝度又はクロミナンスのシフトを訂正する
回路(433) を含む。
画質を改善できる解が達成される符号化サブアセンブリ
の提供。 【構成】 固定又は半固定背景に最少１つの可動パター
ンを含む画像用符号化サブアセンブリが、該画像の有用
ゾーンを表す基礎モデルを構築する手段(200, 300)と符
号化手段(400) と付随する復号サブアセンブリとを含
む。モデル構築手段は初期較正及びモデル適合手段と更
新手段とを有し、それは更に有用ゾーンから取った特性
点の動きを定める回路(301),有用ゾーン内の特定の関心
のある最少１ゾーンを選びその動きを定める回路(302)
を持つ。符号化手段は初期較正手段からの出力信号を符
号化する回路(420),回路(301,302) からの出力信号を符
号化する回路(431,432),上記ゾーンの縁に沿ったゾーン
の縁の両側の輝度又はクロミナンスのシフトを訂正する
回路(433) を含む。
Description
【０００１】
【発明の属する技術分野】本発明は、一定の背景、また
はほぼ一定の背景に、少なくとも１つの 移動パターン
を有するイメージ（映像）を、極めて低い伝送速度で伝
送するか、あるいは高データ圧縮率で記憶するため、該
イメージの画素またはピクセルの輝度情報または色情報
に対応するディジタル信号としてを符号化するサブアッ
センブリであり、最終的に合成イメージを回復するた
め、一方において、原イメージのいわゆる有用ゾーンを
表すフアセット（小面）を有する基本モデルを形成する
基本モデル形成手段と、他方において、伝送あるいは記
憶蓄積すべきデータを符号化する符号化手段とを具えて
なるサブアッセンブリに関するものである。本発明は、
とくにビデオフォーン（テレビジョン電話）用の符号化
システムに有用である。
はほぼ一定の背景に、少なくとも１つの 移動パターン
を有するイメージ（映像）を、極めて低い伝送速度で伝
送するか、あるいは高データ圧縮率で記憶するため、該
イメージの画素またはピクセルの輝度情報または色情報
に対応するディジタル信号としてを符号化するサブアッ
センブリであり、最終的に合成イメージを回復するた
め、一方において、原イメージのいわゆる有用ゾーンを
表すフアセット（小面）を有する基本モデルを形成する
基本モデル形成手段と、他方において、伝送あるいは記
憶蓄積すべきデータを符号化する符号化手段とを具えて
なるサブアッセンブリに関するものである。本発明は、
とくにビデオフォーン（テレビジョン電話）用の符号化
システムに有用である。
【０００２】本発明はさらに、一連のイメージを表す信
号をデコード（復号）するサブアッセンブリであり、こ
の信号は、極めて低い伝送速度でチャネルを通じて伝送
するか、あるいは極めて大なるデータ圧縮率で記憶蓄積
するため予め、一方において、有用ゾーン内の前記モデ
ルに初期校正を加えて有用ゾーンの該イメージのファセ
ット付ベースモデル構成手段によってこのモデルを符号
化し、これに続いて、イメージの前記有用ゾーンの特に
興味ある特性ゾーン内に初めに規定される１以上のウイ
ンドウの移動を追跡（トラック）することにより構成さ
れたモデルを表す情報をアップデートし、他方におい
て、前記初期校正とアップデートにより得られる重要情
報の特別の符号化手段によって符号化されている信号の
デコードを行うサブアッセンブリにも関する。
号をデコード（復号）するサブアッセンブリであり、こ
の信号は、極めて低い伝送速度でチャネルを通じて伝送
するか、あるいは極めて大なるデータ圧縮率で記憶蓄積
するため予め、一方において、有用ゾーン内の前記モデ
ルに初期校正を加えて有用ゾーンの該イメージのファセ
ット付ベースモデル構成手段によってこのモデルを符号
化し、これに続いて、イメージの前記有用ゾーンの特に
興味ある特性ゾーン内に初めに規定される１以上のウイ
ンドウの移動を追跡（トラック）することにより構成さ
れたモデルを表す情報をアップデートし、他方におい
て、前記初期校正とアップデートにより得られる重要情
報の特別の符号化手段によって符号化されている信号の
デコードを行うサブアッセンブリにも関する。
【０００３】
【発明の背景と従来の技術】テレビジョン電話による会
議、あるいはビデオフォーン（テレビ電話）による会話
は、現在極めて急速に進歩し、広く利用されてきてい
る。しかしながら、現在市場で得られるビデオフォーン
は、伝送速度が極めて遅い既存の電話回路網で伝送する
のにその特性が適していない。従ってこのギャップを満
すようにすることが、商業的に見て特に重要な課題であ
る。ケイ・アイザワ、エッチ、ハラシマ及びティ・サイ
トウによる“人間の顔のモデル・ベースト アナリシス
シンセシス イメージ コーディング（ＭＢＡＳ，
Ｃ）システム”（“Signal Processing ：Image Commun
ication ”vol.1, no.2, 1989. 10, Elsevier Science
Publishers B.V. 139 −152 頁）には、金属の針金型の
三次元モデルを原イメージ（映像）に割当て（アダプ
ト）、この割当ては、特に興味あるゾーン（領域）、す
なわち顔のもっとも典型的な表情を表わすゾーンには格
別に精密に行うようにして、予め符号（コード）化した
原イメージを再構成するイメージ合成プロセスが開示さ
れている。この方法によると満足すべきデータ圧縮率が
得られる。
議、あるいはビデオフォーン（テレビ電話）による会話
は、現在極めて急速に進歩し、広く利用されてきてい
る。しかしながら、現在市場で得られるビデオフォーン
は、伝送速度が極めて遅い既存の電話回路網で伝送する
のにその特性が適していない。従ってこのギャップを満
すようにすることが、商業的に見て特に重要な課題であ
る。ケイ・アイザワ、エッチ、ハラシマ及びティ・サイ
トウによる“人間の顔のモデル・ベースト アナリシス
シンセシス イメージ コーディング（ＭＢＡＳ，
Ｃ）システム”（“Signal Processing ：Image Commun
ication ”vol.1, no.2, 1989. 10, Elsevier Science
Publishers B.V. 139 −152 頁）には、金属の針金型の
三次元モデルを原イメージ（映像）に割当て（アダプ
ト）、この割当ては、特に興味あるゾーン（領域）、す
なわち顔のもっとも典型的な表情を表わすゾーンには格
別に精密に行うようにして、予め符号（コード）化した
原イメージを再構成するイメージ合成プロセスが開示さ
れている。この方法によると満足すべきデータ圧縮率が
得られる。
【０００４】しかしながら、観察者の注意がとくに重要
な顔の表情の部分（ゾーン）に向けられるときには、合
成イメージは不満足な表現に見られる危険を含んでお
り、イメージは非現実性を帯びる。とくに特別に符号化
されたそれぞれ異なるゾーンの輝度差によって、不自然
性が観察される。
な顔の表情の部分（ゾーン）に向けられるときには、合
成イメージは不満足な表現に見られる危険を含んでお
り、イメージは非現実性を帯びる。とくに特別に符号化
されたそれぞれ異なるゾーンの輝度差によって、不自然
性が観察される。
【０００５】
【発明の目的と目的達成のための発明の構成】本発明の
第１の目的は、データ圧縮率を高くするにも拘わらず、
合成イメージの品質を改良しうる如くしてこの問題を解
決する符号化サブアッセッブリを得るにある。
第１の目的は、データ圧縮率を高くするにも拘わらず、
合成イメージの品質を改良しうる如くしてこの問題を解
決する符号化サブアッセッブリを得るにある。
【０００６】この目的を達成するため、本発明による符
号化サブアッセンブリは、（Ａ）基本モデル形成手段
は、所定期間内に、イメージの有用ゾーン内の基本モデ
ルに、有用ゾーン内で得られる特性参照点を適合させる
基本モデル初期校正手段と、この校正されたモデルを表
す重要情報のアップデート手段とを具え、さらにこれら
手段は、前記有用ゾーンよりとった特性点の移動を定め
る回路と、該有用ゾーン内で特に興味ある少なくとも１
つのゾーンを選択し、このゾーンの移動を決定する回路
とを具えてなり、（Ｂ）符号化手段は、（１）初期校正
手段の出力信号を符号化する回路と、（２）移動決定手
段の出力信号を符号化する回路と、（３）興味ゾーンの
出力信号を符号化する回路と、（４）（各）興味ゾーン
の境界に沿って位置する転移ゾーン内で、これらの１つ
以上の境界の両側に観察される輝度のシフトの初期校正
を行う回路とを具えてなるを特徴とする。
号化サブアッセンブリは、（Ａ）基本モデル形成手段
は、所定期間内に、イメージの有用ゾーン内の基本モデ
ルに、有用ゾーン内で得られる特性参照点を適合させる
基本モデル初期校正手段と、この校正されたモデルを表
す重要情報のアップデート手段とを具え、さらにこれら
手段は、前記有用ゾーンよりとった特性点の移動を定め
る回路と、該有用ゾーン内で特に興味ある少なくとも１
つのゾーンを選択し、このゾーンの移動を決定する回路
とを具えてなり、（Ｂ）符号化手段は、（１）初期校正
手段の出力信号を符号化する回路と、（２）移動決定手
段の出力信号を符号化する回路と、（３）興味ゾーンの
出力信号を符号化する回路と、（４）（各）興味ゾーン
の境界に沿って位置する転移ゾーン内で、これらの１つ
以上の境界の両側に観察される輝度のシフトの初期校正
を行う回路とを具えてなるを特徴とする。
【０００７】本発明による上述の構成は、考えている種
類のイメージの伝送（または記憶）に高度のデータ速度
の圧縮を可能とする利点がある。すなわち、方式的にい
って、前記イメージの特別に興味ある数個所のゾーンの
みを符号化し、一方このイメージの残りの部分は極く僅
かな本質的パラメータのみを符号化する。これらのパラ
メータとは、これらの点の基本的移動を示すための、他
の点との間の相対的移動及び回転であり、これらを符号
化のために選択したことにより生ずる観測しうる輝度の
変化の修正は、規定されたコード化ゾーンの境界に沿っ
てこれを行う。
類のイメージの伝送（または記憶）に高度のデータ速度
の圧縮を可能とする利点がある。すなわち、方式的にい
って、前記イメージの特別に興味ある数個所のゾーンの
みを符号化し、一方このイメージの残りの部分は極く僅
かな本質的パラメータのみを符号化する。これらのパラ
メータとは、これらの点の基本的移動を示すための、他
の点との間の相対的移動及び回転であり、これらを符号
化のために選択したことにより生ずる観測しうる輝度の
変化の修正は、規定されたコード化ゾーンの境界に沿っ
てこれを行う。
【０００８】本発明の符号（コード）化サブッアセンブ
リの実施例においては、基本モデル形成手段の初期校正
手段は、前記有用ゾーンの前記特性点を抽出する回路を
具えること、ならびに前記適合手段は、原（オリジナ
ル）イメージに対し整列させ正しいスケールを得る回路
と、もっとも表現性ある領域に調整する回路とを含んで
なることを特徴とする。
リの実施例においては、基本モデル形成手段の初期校正
手段は、前記有用ゾーンの前記特性点を抽出する回路を
具えること、ならびに前記適合手段は、原（オリジナ
ル）イメージに対し整列させ正しいスケールを得る回路
と、もっとも表現性ある領域に調整する回路とを含んで
なることを特徴とする。
【０００９】符号化手段用の予備的修正回路としては、
とくに輝度シフトの修正用の各転移ゾーンとして、その
幅が数画素の大きさであり、その縁部が前記境界にほぼ
平行なストリップを設けると好都合である。このストリ
ップは特に興味ある関連のゾーンの内側または外側と
し、あるいはこのゾーンの境界をまたぐものとすること
もできる。
とくに輝度シフトの修正用の各転移ゾーンとして、その
幅が数画素の大きさであり、その縁部が前記境界にほぼ
平行なストリップを設けると好都合である。このストリ
ップは特に興味ある関連のゾーンの内側または外側と
し、あるいはこのゾーンの境界をまたぐものとすること
もできる。
【００１０】しかしこのように構成した符号化サブアッ
センブリも、一連のイメージの可動部分の移動が極めて
大である間には満足に動作しないこともありうる。とく
に人物の移動、とりわけその回転移動の際は、全く見え
ないか、あるいは殆ど見えないゾーンを生ずる。従って
既存の点より出発する補間（インタポレーション）によ
って、これらの回転移動に一種の補充的修正を加え、三
次元基本モデルのこれらのゾーンを規定することが一般
に行われる。通常直線的なこの補間は、各ファセットに
対し、周期的に伝送すべきデータの量を増加させること
により行い、とくに殆どは隣接ファセット間の輝度の不
連続性に関するものを取り上げる。
センブリも、一連のイメージの可動部分の移動が極めて
大である間には満足に動作しないこともありうる。とく
に人物の移動、とりわけその回転移動の際は、全く見え
ないか、あるいは殆ど見えないゾーンを生ずる。従って
既存の点より出発する補間（インタポレーション）によ
って、これらの回転移動に一種の補充的修正を加え、三
次元基本モデルのこれらのゾーンを規定することが一般
に行われる。通常直線的なこの補間は、各ファセットに
対し、周期的に伝送すべきデータの量を増加させること
により行い、とくに殆どは隣接ファセット間の輝度の不
連続性に関するものを取り上げる。
【００１１】本発明の他の目的は、符号化の補助的校正
を行う簡単な手段を設けた符号化サブアッセンブリを得
るにあり、この場合の符号化は、対象物または人物が比
較的に大きな回転移動を行うものであり、そのプロフィ
ルはある程度現われているものに対し行う。
を行う簡単な手段を設けた符号化サブアッセンブリを得
るにあり、この場合の符号化は、対象物または人物が比
較的に大きな回転移動を行うものであり、そのプロフィ
ルはある程度現われているものに対し行う。
【００１２】この目的に対し、本発明の符号化サブアッ
センブリは、さらに校正修正装置を有し、本装置は、前
記合成イメージと対応する原イメージとの間の輝度差ま
たは色度差を検出する手段を有し、該手段の検出結果に
もとづいて局部的にデータをリフレッシュする手段と、
このリフレッシュ動作に続いて得られる補間または新規
の情報を符号化する手段とを有し、かく符号化した補間
または新規な情報は伝送または記憶すべき他の符号化デ
ータに対し優先順位をもって記憶するかあるいは伝送す
ることを特徴とする。
センブリは、さらに校正修正装置を有し、本装置は、前
記合成イメージと対応する原イメージとの間の輝度差ま
たは色度差を検出する手段を有し、該手段の検出結果に
もとづいて局部的にデータをリフレッシュする手段と、
このリフレッシュ動作に続いて得られる補間または新規
の情報を符号化する手段とを有し、かく符号化した補間
または新規な情報は伝送または記憶すべき他の符号化デ
ータに対し優先順位をもって記憶するかあるいは伝送す
ることを特徴とする。
【００１３】この構成によると、合成イメージにおい
て、相異なる方向の異なるファセットを接合した各ゾー
ンにわたって、より良好な輝度の連続性が得られ、リフ
レッシュ動作数を減少させても良好な品質でイメージの
再生が可能であり、とくに一連のイメージ中で対象物ま
たは人物が大幅な回転移動を行っても良好な再生を可能
とする。
て、相異なる方向の異なるファセットを接合した各ゾー
ンにわたって、より良好な輝度の連続性が得られ、リフ
レッシュ動作数を減少させても良好な品質でイメージの
再生が可能であり、とくに一連のイメージ中で対象物ま
たは人物が大幅な回転移動を行っても良好な再生を可能
とする。
【００１４】本発明の実施例では、前記検出手段は、合
成イメージと、これに対応する原イメージ間の平均誤差
を計算する回路を具える。さらに他の例では、前記検出
手段は、初期校正された前記モデルの方向を検出する角
検出回路を具える。また第３の例では、基本モデルの各
ファセットにテクスチュア係数と称される量を付属さ
せ、さらに前記検出手段は、所定ゾーンの特定のファセ
ット、数個のファセット又はすべてのファセットに対
し、当該ファセットのテクスチュア係数の初期値を補間
することにより決定されるテクスチュア係数値と、同じ
ファセットの初期テクスチュア係数との比を計算する回
路を有する。
成イメージと、これに対応する原イメージ間の平均誤差
を計算する回路を具える。さらに他の例では、前記検出
手段は、初期校正された前記モデルの方向を検出する角
検出回路を具える。また第３の例では、基本モデルの各
ファセットにテクスチュア係数と称される量を付属さ
せ、さらに前記検出手段は、所定ゾーンの特定のファセ
ット、数個のファセット又はすべてのファセットに対
し、当該ファセットのテクスチュア係数の初期値を補間
することにより決定されるテクスチュア係数値と、同じ
ファセットの初期テクスチュア係数との比を計算する回
路を有する。
【００１５】最後に、本発明のその他の目的は、前もっ
て上述の如き符号化サブアッセンブリによって符号化さ
れたイメージを表わす信号をデコード（復号）しうる復
号（デコード）サブアッセンブリを得るにある。
て上述の如き符号化サブアッセンブリによって符号化さ
れたイメージを表わす信号をデコード（復号）しうる復
号（デコード）サブアッセンブリを得るにある。
【００１６】このため、本発明のデコード サブアッセ
ンブリは、（１）初期校正、あるいはアップデートか何
れの動作モードであるかを検出する回路と、（２）出力
側に互いに並列に設けた、（ａ）初期校正情報のデコー
ド段と、（ｂ）アップデート情報のデコード段と、
（３）上記両デコード段よりの並列出力信号を受信する
ために設けたビデオ ディスプレイ段とを有しているこ
とを特徴とする。
ンブリは、（１）初期校正、あるいはアップデートか何
れの動作モードであるかを検出する回路と、（２）出力
側に互いに並列に設けた、（ａ）初期校正情報のデコー
ド段と、（ｂ）アップデート情報のデコード段と、
（３）上記両デコード段よりの並列出力信号を受信する
ために設けたビデオ ディスプレイ段とを有しているこ
とを特徴とする。
【００１７】本発明の構成によると、伝送されたイメー
ジのそれぞれ異なる部分に対し、特別なデコード動作が
行われる。このデコード動作は、前に行われた特定の符
号化（コーディング）の関数として行われるもので、イ
メージの大部分に対しては比較的に粗いデコーディング
で充分であり、特に品質の高い再生が望まれるゾーンに
対してはより精密なデコード動作を行う。
ジのそれぞれ異なる部分に対し、特別なデコード動作が
行われる。このデコード動作は、前に行われた特定の符
号化（コーディング）の関数として行われるもので、イ
メージの大部分に対しては比較的に粗いデコーディング
で充分であり、特に品質の高い再生が望まれるゾーンに
対してはより精密なデコード動作を行う。
【００１８】本発明の実施例のデコード アッセンブリ
は、（Ａ）初期校正情報デコード段は、（ａ）順次直列
に、基本モデルに修正スケールを与える初期パラメータ
記憶回路と、該モデルのファセットのノードの座標の変
化をベースとして当該モデルの適合情報を計算記憶する
回路と、伝送される初期イメージの方位に対応する初期
座標を計算する回路とを具えている第１通路と、（ｂ）
該第１通路に平行な第２通路で、順次直列に、一連のイ
メージの初期ウインドウを受信し、デコードする回路
と、前記モデルの対応のファセットに付されたテクスチ
ュア係数を計算する回路と、合成イメージの計算回路を
具えてなる第２通路とを有し、ここで最後にのべた計算
回路は、前記初期座標計算回路よりの出力も受信し、そ
の出力信号を前記ビデオ ディスプレイ段に供給する如
く構成されており、（Ｂ）情報のアップデートを行うデ
コード段は、（ａ）モデルの特性点の移動を表す符号化
パラメータの受信回路と、（ｂ）上記回路の出力に、互
いに直列に、前記符号化パラメータの助けによりモデル
のその時点における位置を決定するスクリーン座標を計
算する回路と、合成イメージの計算回路を有する第１ブ
ランチと、イメージの特別に興味あるゾーンに付属する
ウインドウの情報を決定し、かつこれらのウインドウの
位置及び大きさを計算し、さらにこれらウインドウの符
号化情報を受信し、デコードする回路を有する第２ブラ
ンチと、これら２つのブランチの出力において、ウイン
ドウに合成イメージを適合させて供給する回路とを有し
てなる。
は、（Ａ）初期校正情報デコード段は、（ａ）順次直列
に、基本モデルに修正スケールを与える初期パラメータ
記憶回路と、該モデルのファセットのノードの座標の変
化をベースとして当該モデルの適合情報を計算記憶する
回路と、伝送される初期イメージの方位に対応する初期
座標を計算する回路とを具えている第１通路と、（ｂ）
該第１通路に平行な第２通路で、順次直列に、一連のイ
メージの初期ウインドウを受信し、デコードする回路
と、前記モデルの対応のファセットに付されたテクスチ
ュア係数を計算する回路と、合成イメージの計算回路を
具えてなる第２通路とを有し、ここで最後にのべた計算
回路は、前記初期座標計算回路よりの出力も受信し、そ
の出力信号を前記ビデオ ディスプレイ段に供給する如
く構成されており、（Ｂ）情報のアップデートを行うデ
コード段は、（ａ）モデルの特性点の移動を表す符号化
パラメータの受信回路と、（ｂ）上記回路の出力に、互
いに直列に、前記符号化パラメータの助けによりモデル
のその時点における位置を決定するスクリーン座標を計
算する回路と、合成イメージの計算回路を有する第１ブ
ランチと、イメージの特別に興味あるゾーンに付属する
ウインドウの情報を決定し、かつこれらのウインドウの
位置及び大きさを計算し、さらにこれらウインドウの符
号化情報を受信し、デコードする回路を有する第２ブラ
ンチと、これら２つのブランチの出力において、ウイン
ドウに合成イメージを適合させて供給する回路とを有し
てなる。
【００１９】この実施例では、コーディング手段が、前
記有用ゾーンにおいて特定のコーティング ゾーンを互
いに分離する境界の両側で観測される輝度のシフトの初
期校正を行う特定の手段を含むときは、前記適合（アダ
プテーション）装置は、ウインドウに各合成イメージを
再結合させる単一の回路とする。一方符号化部分に、初
期校正手段が含まれていない場合には、上述の割当て供
給装置、すなわち適合回路は、前記ウインドウの情報決
定及び合成イメージ計算回路よりの出力信号を受信する
輝度シフト修正回路と、ウインドウに合成イメージを割
当て供給する回路の直列接続を含んでいる。
記有用ゾーンにおいて特定のコーティング ゾーンを互
いに分離する境界の両側で観測される輝度のシフトの初
期校正を行う特定の手段を含むときは、前記適合（アダ
プテーション）装置は、ウインドウに各合成イメージを
再結合させる単一の回路とする。一方符号化部分に、初
期校正手段が含まれていない場合には、上述の割当て供
給装置、すなわち適合回路は、前記ウインドウの情報決
定及び合成イメージ計算回路よりの出力信号を受信する
輝度シフト修正回路と、ウインドウに合成イメージを割
当て供給する回路の直列接続を含んでいる。
【００２０】更に他の変形例では、デコード サブアッ
センブリは、動作モード検出回路は、校正情報のリフレ
ッシュ モードの存在の検出回路を有し、さらにこのデ
コード サブアッセンブリは、前記検出回路の出力にお
いて、情報の校正及びアップデートを行うデコード段と
並列に情報のリフレッシュを行うデコード段を有し、こ
のデコード段の出力信号は前記ビデオ表示段によって受
信される如くし、この後者のデコード段は、（ａ）モデ
ルの特性点の移動を表す符号化パラメータを受信する回
路と、（ｂ）該回路の出力に接続され、かつ互いに並列
に接続されている第１ブランチと第２ブランチとを有
し、第１ブランチは、リフレッシュ動作により得られる
ウインドウの座標及びスクリーンの座標の計算回路を有
し、第２ブランチは、同じくリフレッシュ動作により得
られる前記ウインドウの座標を受信するリフレッシュ情
報デコード回路と、前記リフレッシュ動作による関連モ
デルのファセットに付されるテクスチュア係数を計算す
る回路との直列接続を有し、さらにこれら２つのブラン
チの出力に接続された合成イメージの計算回路を具えて
なる。
センブリは、動作モード検出回路は、校正情報のリフレ
ッシュ モードの存在の検出回路を有し、さらにこのデ
コード サブアッセンブリは、前記検出回路の出力にお
いて、情報の校正及びアップデートを行うデコード段と
並列に情報のリフレッシュを行うデコード段を有し、こ
のデコード段の出力信号は前記ビデオ表示段によって受
信される如くし、この後者のデコード段は、（ａ）モデ
ルの特性点の移動を表す符号化パラメータを受信する回
路と、（ｂ）該回路の出力に接続され、かつ互いに並列
に接続されている第１ブランチと第２ブランチとを有
し、第１ブランチは、リフレッシュ動作により得られる
ウインドウの座標及びスクリーンの座標の計算回路を有
し、第２ブランチは、同じくリフレッシュ動作により得
られる前記ウインドウの座標を受信するリフレッシュ情
報デコード回路と、前記リフレッシュ動作による関連モ
デルのファセットに付されるテクスチュア係数を計算す
る回路との直列接続を有し、さらにこれら２つのブラン
チの出力に接続された合成イメージの計算回路を具えて
なる。
【００２１】
【実施例】以下図面により本発明を説明する。ビデオフ
ォーン（テレビ電話）は電話通話者に対してそれ以外に
通話相手のアニメ画像をスクリーン上に与えることを可
能にする装置で、この場合、スクリーン上では２つの形
式の情報、すなわち、人物および背景が認識可能でなけ
ればならない。以下に記載の実際例では、伝送しようと
する画像（イメージ）は１つの動く人物と固定背景（ま
たは半固定背景、例えば、画像偏移を受け易い背景をい
う。）により形成されるものと考える。さらに、この場
合、前記画像のフォーマットはきわめて低いデータ速度
を有するネットワークによる伝送のための標準画像フォ
ーマットとして、CCITT （Consultative Committee for
InternationalTelephony and Telegraph ；国際電信電
話諮問委員会）により限定された形式のもの、すなわち
世界におけるテレビジョン標準の非互換性の現状に対す
る解決策を見出す目的でテレビ電話およびテレビ会議利
用のため採用されているCIF （Common Intermediate Fo
rmat；共通中間フォーマット）フォーマットとする。
ォーン（テレビ電話）は電話通話者に対してそれ以外に
通話相手のアニメ画像をスクリーン上に与えることを可
能にする装置で、この場合、スクリーン上では２つの形
式の情報、すなわち、人物および背景が認識可能でなけ
ればならない。以下に記載の実際例では、伝送しようと
する画像（イメージ）は１つの動く人物と固定背景（ま
たは半固定背景、例えば、画像偏移を受け易い背景をい
う。）により形成されるものと考える。さらに、この場
合、前記画像のフォーマットはきわめて低いデータ速度
を有するネットワークによる伝送のための標準画像フォ
ーマットとして、CCITT （Consultative Committee for
InternationalTelephony and Telegraph ；国際電信電
話諮問委員会）により限定された形式のもの、すなわち
世界におけるテレビジョン標準の非互換性の現状に対す
る解決策を見出す目的でテレビ電話およびテレビ会議利
用のため採用されているCIF （Common Intermediate Fo
rmat；共通中間フォーマット）フォーマットとする。
【００２２】CIF フォーマットにおいては、輝度信号は
各々360 画素の288 ラインを含み、クロミナンス信号
（色信号）は各々180 画素の144 ラインを含む。かくし
て、CIF ビデオ画像は155,520 画素により形成される。
したがって、例えば毎秒15イメージを与えるイメージン
グ プロセスにおいては、各々８ビットにより符号化さ
れた2,332,800 画素が伝送されなければならない。かく
して、CIF イメージを転送するための伝送速度は毎秒18
メガビットより高い速度となる。これは正確には低いデ
ータ速度とはいえず、データ圧縮が絶対的に必要とな
る。また、低価格装置の使用を可能にするため第２の画
像フォーマットが規定される。QCIF（Quarter CIF ；ク
オータ CIF）で与えられるこのフォーマットは毎秒7.5
イメージのイメージング周波数で輝度情報精細度を半減
（各々180 画素の144 ライン）させ、クロミナンス情報
精細度を半減（各々90画素の72ライン）させるようにし
ている。以下の記述においては、ある結果、もしくはあ
る値はCIF 標準またはQCIF標準あるいは、例えば682 ×
512 画素（フォーマット 4/3）のような第３のフォーマ
ットのいずれかで規定されるものとするが、ここでいう
フォーマットは本発明に関して限定例を形成するもので
はない（720 ×576 画素の 4/3 テレビジョン標準もき
わめて良く使用される）。また、さらに、毎秒10イメー
ジの周波数は，通話者の視覚的な安楽さと必要なデータ
速度の減少との間で、満足な妥協を示しているものと思
われる。
各々360 画素の288 ラインを含み、クロミナンス信号
（色信号）は各々180 画素の144 ラインを含む。かくし
て、CIF ビデオ画像は155,520 画素により形成される。
したがって、例えば毎秒15イメージを与えるイメージン
グ プロセスにおいては、各々８ビットにより符号化さ
れた2,332,800 画素が伝送されなければならない。かく
して、CIF イメージを転送するための伝送速度は毎秒18
メガビットより高い速度となる。これは正確には低いデ
ータ速度とはいえず、データ圧縮が絶対的に必要とな
る。また、低価格装置の使用を可能にするため第２の画
像フォーマットが規定される。QCIF（Quarter CIF ；ク
オータ CIF）で与えられるこのフォーマットは毎秒7.5
イメージのイメージング周波数で輝度情報精細度を半減
（各々180 画素の144 ライン）させ、クロミナンス情報
精細度を半減（各々90画素の72ライン）させるようにし
ている。以下の記述においては、ある結果、もしくはあ
る値はCIF 標準またはQCIF標準あるいは、例えば682 ×
512 画素（フォーマット 4/3）のような第３のフォーマ
ットのいずれかで規定されるものとするが、ここでいう
フォーマットは本発明に関して限定例を形成するもので
はない（720 ×576 画素の 4/3 テレビジョン標準もき
わめて良く使用される）。また、さらに、毎秒10イメー
ジの周波数は，通話者の視覚的な安楽さと必要なデータ
速度の減少との間で、満足な妥協を示しているものと思
われる。
【００２３】以下、きわめて低いデータ速度でのこのよ
うな伝送を運命づけられている画像用のもしくはこれら
の画像に対応する高いデータ圧縮レートによる記憶のた
めのコーディングおよびデコーディング アセンブリに
つき説明する。この場合、前期アセンブリはテレビ電話
画像をコーディングするためのサブアセンブリおよびこ
のようにコード化された画像をデコードするためのデコ
ーディングサブアセンブリを含む。図１に関して以下に
記述するテレビ電話画像コーディング サブアセンブリ
はその入力に前述したビデオ画像のシーケンスを受信す
る。これらの画像は、例えば、512 ×512 画素のオリジ
ナル フォーマットを有するCCD カメラにより得られ
る。このカメラは256 レベル（８ビットでコード化され
た画素）における灰色の影の信号を供給するが、異なる
フォーマットの画像およびカラー画像を処理することも
可能である。
うな伝送を運命づけられている画像用のもしくはこれら
の画像に対応する高いデータ圧縮レートによる記憶のた
めのコーディングおよびデコーディング アセンブリに
つき説明する。この場合、前期アセンブリはテレビ電話
画像をコーディングするためのサブアセンブリおよびこ
のようにコード化された画像をデコードするためのデコ
ーディングサブアセンブリを含む。図１に関して以下に
記述するテレビ電話画像コーディング サブアセンブリ
はその入力に前述したビデオ画像のシーケンスを受信す
る。これらの画像は、例えば、512 ×512 画素のオリジ
ナル フォーマットを有するCCD カメラにより得られ
る。このカメラは256 レベル（８ビットでコード化され
た画素）における灰色の影の信号を供給するが、異なる
フォーマットの画像およびカラー画像を処理することも
可能である。
【００２４】このようにしてサブアセンブリの入力にあ
らわれるCIF フォーマットの画像シーケンスはセグメン
ト化装置（分割装置）100 に供給される。本実施例の場
合、その目的とするところは、通話者の顔（および胸の
上部）に対応するゾーンを固定背景から自動的に区別す
ることである。この区別は、例えば、ナンバーｎが保持
されている約10および20の間の画像の連続、例えば、そ
れぞれI1, I2, I3, I4で表示する４，８，12および16で
ナンバー付けしたイメージの連続（この順序において、
記憶画像は変位を最適に捕捉するため充分離れたもので
なければならないが、大きく動いた場合のシルエットの
はみだし（overdimensioning）を回避しうるよう余り離
れ過ぎないことが必要である）を分析することをベース
にしている。
らわれるCIF フォーマットの画像シーケンスはセグメン
ト化装置（分割装置）100 に供給される。本実施例の場
合、その目的とするところは、通話者の顔（および胸の
上部）に対応するゾーンを固定背景から自動的に区別す
ることである。この区別は、例えば、ナンバーｎが保持
されている約10および20の間の画像の連続、例えば、そ
れぞれI1, I2, I3, I4で表示する４，８，12および16で
ナンバー付けしたイメージの連続（この順序において、
記憶画像は変位を最適に捕捉するため充分離れたもので
なければならないが、大きく動いた場合のシルエットの
はみだし（overdimensioning）を回避しうるよう余り離
れ過ぎないことが必要である）を分析することをベース
にしている。
【００２５】図２に示すように、装置100 は、次式にし
たがって、これらの画像間の差（ここでは画素ごとの
差）を計算し、頭部と胸部の動きの変動を考慮に入れる
ことを可能にする平均差を得ることによりシルエットを
決定するための回路101 を含む。 DIFF(i,j) ＝｜I4(i,j) ・I3(i,j) ｜ ＋｜I4(i,j) ・I2(i,j) ｜ ＋｜I4(i,j) ・I1(i,j) ｜ 上式において、ｉおよびｊはラインおよびカラム（行）
内の現在の画素のナンバー、｜・｜は“絶対値（absolu
te value of ）”用の記号、またDIFFはこのようにして
計算される平均差である。次いで、この差は背景ノイズ
から有用な信号を分離するため、スレショールド値THRE
I （いくつかのユニット、例えば４の）と比較し、その
差がスレショールドより大きい場合は、DIFF(i,j) ＝25
5 （０ないし255 に至る256 の輝度レベルのスケールの
最大値）が取られ、対応する画素は考慮中の画像の連続
における可動画素、したがって人物に属するものとみな
される。これに対して、その差がスレショールドより大
きくない場合は、現在の画素は静止しているものとみな
され、したがってゼロ ルミナンス（ゼロ輝度）DIFF
(i,j）＝０が与えられる。この動きをベースにした背景
の抑圧による差の計算は明らかにこの画像の連続の間、
背景に対応する周囲輝度が一定値のまま残ることを意味
し、そうでない場合は輝度の変化が本当の動きと、混同
されうる恐れがあることを意味する。
たがって、これらの画像間の差（ここでは画素ごとの
差）を計算し、頭部と胸部の動きの変動を考慮に入れる
ことを可能にする平均差を得ることによりシルエットを
決定するための回路101 を含む。 DIFF(i,j) ＝｜I4(i,j) ・I3(i,j) ｜ ＋｜I4(i,j) ・I2(i,j) ｜ ＋｜I4(i,j) ・I1(i,j) ｜ 上式において、ｉおよびｊはラインおよびカラム（行）
内の現在の画素のナンバー、｜・｜は“絶対値（absolu
te value of ）”用の記号、またDIFFはこのようにして
計算される平均差である。次いで、この差は背景ノイズ
から有用な信号を分離するため、スレショールド値THRE
I （いくつかのユニット、例えば４の）と比較し、その
差がスレショールドより大きい場合は、DIFF(i,j) ＝25
5 （０ないし255 に至る256 の輝度レベルのスケールの
最大値）が取られ、対応する画素は考慮中の画像の連続
における可動画素、したがって人物に属するものとみな
される。これに対して、その差がスレショールドより大
きくない場合は、現在の画素は静止しているものとみな
され、したがってゼロ ルミナンス（ゼロ輝度）DIFF
(i,j）＝０が与えられる。この動きをベースにした背景
の抑圧による差の計算は明らかにこの画像の連続の間、
背景に対応する周囲輝度が一定値のまま残ることを意味
し、そうでない場合は輝度の変化が本当の動きと、混同
されうる恐れがあることを意味する。
【００２６】回路101 の後段には雑音抑圧回路102 を配
置する。シルエットを決定している間には、背景の明る
さにおける小さな変化が残る可能性があり、顔のゾーン
の外側に位置する隔離されたいくつかの画素に悪影響を
及ぼす恐れがある。この場合、回路102 は画像の各画素
Ｐに対して、例えば、この画素Ｐ上に中心を置くブロッ
ク内に含まれる隣接画素の輝度を調査し、それによりＰ
の周囲状況に対する平均を得ることを可能にする。かく
して、ブロックの画素の大部分が白（ホワイト）の場
合、Ｐは輝度レベル255 で与えられ、そうでない場合に
は、その輝度は0に等しいものとみなされる。このオペ
ーレションは次式により表される。 −ifΣDIFF(k,l) ＞THRE 2 →ΣDIFF(k,l) ＝255 −ifΣDIFF(k,l) ＜THRE 2 →ΣDIFF(k,l) ＝０ 上式において、文字ｋ，ｌはＰ（i,j ）の隣接画素のラ
インナンバーおよびカラム ナンバー、THRE 2は輝度平
均が決定された後の決定（majority decision ）を可能
にするスレショールド値である。この操作が終了する
と、背景に対応するゾーンは黒（ブラック）の画素で満
たされ、人物に対応するゾーンは大部分白（ホワイト）
の画素で満たされる。
置する。シルエットを決定している間には、背景の明る
さにおける小さな変化が残る可能性があり、顔のゾーン
の外側に位置する隔離されたいくつかの画素に悪影響を
及ぼす恐れがある。この場合、回路102 は画像の各画素
Ｐに対して、例えば、この画素Ｐ上に中心を置くブロッ
ク内に含まれる隣接画素の輝度を調査し、それによりＰ
の周囲状況に対する平均を得ることを可能にする。かく
して、ブロックの画素の大部分が白（ホワイト）の場
合、Ｐは輝度レベル255 で与えられ、そうでない場合に
は、その輝度は0に等しいものとみなされる。このオペ
ーレションは次式により表される。 −ifΣDIFF(k,l) ＞THRE 2 →ΣDIFF(k,l) ＝255 −ifΣDIFF(k,l) ＜THRE 2 →ΣDIFF(k,l) ＝０ 上式において、文字ｋ，ｌはＰ（i,j ）の隣接画素のラ
インナンバーおよびカラム ナンバー、THRE 2は輝度平
均が決定された後の決定（majority decision ）を可能
にするスレショールド値である。この操作が終了する
と、背景に対応するゾーンは黒（ブラック）の画素で満
たされ、人物に対応するゾーンは大部分白（ホワイト）
の画素で満たされる。
【００２７】次に、不連続性を抑圧する回路103 は人物
のシルエットをその内側にある任意の黒の画素を除去す
ることにより均一にすることを可能にする。この抑圧
は、例えば、画像をラインごとに走査し、各ラインに対
して、その２つの端部が人物の左および右の２つの輪郭
（外形）と一致するようなセグメントを決定し、ついで
このセグメントのすべての画素に輝度値255 を割当てる
ことにより実現される。かくして、白のなかで、表われ
るゾーンは連続するプロフィールを示すものでなければ
ならない。このように、その目的はこれらのセグメント
の最も外のポイントの間からプロフィール内に不連続を
もたらすそれらのポイントを除去することである。さら
に、正確には、現在のラインのセグメントの最も外のポ
イントをPL (i,j) および PR (i,j) 、すなわち、走査
されている現在のライン上で出会う最初の白の画素およ
び最後の白の画素（換言すれば、スクリーンの左からス
タートしてこのライン上で出会う最初の画素およびスク
リーンの右からスタートしてこのライン上で出会う画
素）と名付けた場合は、不連続をもたらすこの偏移ポイ
ントの抑圧は走査中の該ラインに関する実物のシルエッ
トの輪郭のより大きい傾斜またはより小さい傾斜を考慮
しながら前のラインｊ−１と現在のラインｊとの間の不
連続性のテストを介して行われる。この操作は次のよう
に表現することができる。すなわち、列（row)ｊ−１お
よびｊの画 PL （場合によっては PR ）間の輝度の差が
所定のスレショールド THRE 3 より大きいか小さいかに
よってポイント PL （または PR ）が無効とみなされ
て、除去される（輝度が値０に抑圧される）か、有効と
みなされて、同様のテストがラインｊおよびｊ＋１に対
して行われる。
のシルエットをその内側にある任意の黒の画素を除去す
ることにより均一にすることを可能にする。この抑圧
は、例えば、画像をラインごとに走査し、各ラインに対
して、その２つの端部が人物の左および右の２つの輪郭
（外形）と一致するようなセグメントを決定し、ついで
このセグメントのすべての画素に輝度値255 を割当てる
ことにより実現される。かくして、白のなかで、表われ
るゾーンは連続するプロフィールを示すものでなければ
ならない。このように、その目的はこれらのセグメント
の最も外のポイントの間からプロフィール内に不連続を
もたらすそれらのポイントを除去することである。さら
に、正確には、現在のラインのセグメントの最も外のポ
イントをPL (i,j) および PR (i,j) 、すなわち、走査
されている現在のライン上で出会う最初の白の画素およ
び最後の白の画素（換言すれば、スクリーンの左からス
タートしてこのライン上で出会う最初の画素およびスク
リーンの右からスタートしてこのライン上で出会う画
素）と名付けた場合は、不連続をもたらすこの偏移ポイ
ントの抑圧は走査中の該ラインに関する実物のシルエッ
トの輪郭のより大きい傾斜またはより小さい傾斜を考慮
しながら前のラインｊ−１と現在のラインｊとの間の不
連続性のテストを介して行われる。この操作は次のよう
に表現することができる。すなわち、列（row)ｊ−１お
よびｊの画 PL （場合によっては PR ）間の輝度の差が
所定のスレショールド THRE 3 より大きいか小さいかに
よってポイント PL （または PR ）が無効とみなされ
て、除去される（輝度が値０に抑圧される）か、有効と
みなされて、同様のテストがラインｊおよびｊ＋１に対
して行われる。
【００２８】スレショールド THRE 3 は人物のゾーンの
２つの連続するライン間で容認される不連続値を表わ
す。この値は人物の輪郭に沿って考えられる領域に従属
する。 −プロフィールが非常に丸まっており（頭の上部）、し
たがって該傾斜が小さい角度であるか、反対に 180°に
近い場合には１つのラインから他のラインにわたってか
なり大きい連続性が受容でき、例えばTHRE３に対し数ダ
ースのオーダーの画素の値をとることができる。 −こめかみ（側頭）、頬および頚に対応する領域におけ
る画像の中心において、この傾斜が90°に近いか、極端
な値０°および 180°からはるかに離れた任意の場合
で、１つのラインから次のラインへの不連続性が小さい
ときは、THRE３は数個のオーダーの画素の値となる。 −肩および胸の領域における画像の下部に対しては、傾
斜は上述のような極端な値をとり、連続するライン間に
強い不連続性が得られ、THRE３は数ダースのオーダーの
画素の値となる。
２つの連続するライン間で容認される不連続値を表わ
す。この値は人物の輪郭に沿って考えられる領域に従属
する。 −プロフィールが非常に丸まっており（頭の上部）、し
たがって該傾斜が小さい角度であるか、反対に 180°に
近い場合には１つのラインから他のラインにわたってか
なり大きい連続性が受容でき、例えばTHRE３に対し数ダ
ースのオーダーの画素の値をとることができる。 −こめかみ（側頭）、頬および頚に対応する領域におけ
る画像の中心において、この傾斜が90°に近いか、極端
な値０°および 180°からはるかに離れた任意の場合
で、１つのラインから次のラインへの不連続性が小さい
ときは、THRE３は数個のオーダーの画素の値となる。 −肩および胸の領域における画像の下部に対しては、傾
斜は上述のような極端な値をとり、連続するライン間に
強い不連続性が得られ、THRE３は数ダースのオーダーの
画素の値となる。
【００２９】最後に平滑操作を実行する回路102 および
103 に、背景からシルエットを分離させる輪郭内の不規
則性を抑圧するための回路104 を接続する。この場合に
も、例えば形態学的フィルタリング（morphological fi
ltering ）のような種々の抑圧方法を使用することがで
きる。また、回路102 の場合と同様に、平均値を設定
し、輝度スレショールドTHRE４との比較を行うための選
択、さらに正しくは輪郭からあまり遠くは離れていない
白い各画素を考慮し、その近傍の輝度をテストして、そ
れにこの近傍の大部分の輝度（majority luminance）を
割当てることによる選択がなされる。
103 に、背景からシルエットを分離させる輪郭内の不規
則性を抑圧するための回路104 を接続する。この場合に
も、例えば形態学的フィルタリング（morphological fi
ltering ）のような種々の抑圧方法を使用することがで
きる。また、回路102 の場合と同様に、平均値を設定
し、輝度スレショールドTHRE４との比較を行うための選
択、さらに正しくは輪郭からあまり遠くは離れていない
白い各画素を考慮し、その近傍の輝度をテストして、そ
れにこの近傍の大部分の輝度（majority luminance）を
割当てることによる選択がなされる。
【００３０】背景、シルエットおよびそれらを分離する
輪郭に影響を及ぼす恐れのある不規則性を抑圧するこれ
らの連続的作動の後、画像のセグメント化は終了し、そ
の時点から２進イメージの使用が可能となり、かくし
て、式DIFF（ｉ，ｊ）は各画素Ｐ（ｉ，ｊ）に対応す
る。この２進イメージは、いまや、灰色（または場合に
応じてカラー）の影における人物のゾーンのイメージを
限定するため画像置換回路105 により使用される。この
限定は次のような方法で実現される。すなわち、DIFF
（ｉ，ｊ）＝255 の場合、原イメージは２進イメージの
ロケーション（位置）に再現され、そうでない場合、背
景はDIFF（ｉ，ｊ）＝０の場合、各画素に対して値０を
与えられる。
輪郭に影響を及ぼす恐れのある不規則性を抑圧するこれ
らの連続的作動の後、画像のセグメント化は終了し、そ
の時点から２進イメージの使用が可能となり、かくし
て、式DIFF（ｉ，ｊ）は各画素Ｐ（ｉ，ｊ）に対応す
る。この２進イメージは、いまや、灰色（または場合に
応じてカラー）の影における人物のゾーンのイメージを
限定するため画像置換回路105 により使用される。この
限定は次のような方法で実現される。すなわち、DIFF
（ｉ，ｊ）＝255 の場合、原イメージは２進イメージの
ロケーション（位置）に再現され、そうでない場合、背
景はDIFF（ｉ，ｊ）＝０の場合、各画素に対して値０を
与えられる。
【００３１】この灰色またはカラーの影の背景のないイ
メージは動きの効果を抑圧する回路106 による最終処理
に従わせる。実際上、入力イメージ シーケンスのいく
つかの画像の組合せにより生ずる異なるイメージに原イ
メージが重畳された場合は、この原イメージと該差動イ
メージ（必然的に大きい）との間にある種のハロー（ha
lo, 暈）またはスーパーディメンション（Supperdimens
ion ）があらわれ、このハローの厚みは、前の処理のた
めに使用された画像の連続に通じる道程（takes ）の間
に人物によって実行された動きに対応する。このハロー
を取除くため回路106 はハローの外縁部（すなわち背景
のない画像の輪郭）およびその内縁部（すなわち、人物
の実際の輪郭）を同時にコールアップ（call up ）する
輪郭検出器を含む。回路106 のこの検出器は人物の左側
上の２つの輪郭ポイントおよび連続的に走査される各ラ
インごとの右側上の他の２つの輪郭ポイントを検出し、
次いで左側上のこれらの２つの輪郭ポイント間にある画
素ならびに右側上のこれら２つの輪郭ポイント間にある
画素に対してゼロ輝度を割当てる。
メージは動きの効果を抑圧する回路106 による最終処理
に従わせる。実際上、入力イメージ シーケンスのいく
つかの画像の組合せにより生ずる異なるイメージに原イ
メージが重畳された場合は、この原イメージと該差動イ
メージ（必然的に大きい）との間にある種のハロー（ha
lo, 暈）またはスーパーディメンション（Supperdimens
ion ）があらわれ、このハローの厚みは、前の処理のた
めに使用された画像の連続に通じる道程（takes ）の間
に人物によって実行された動きに対応する。このハロー
を取除くため回路106 はハローの外縁部（すなわち背景
のない画像の輪郭）およびその内縁部（すなわち、人物
の実際の輪郭）を同時にコールアップ（call up ）する
輪郭検出器を含む。回路106 のこの検出器は人物の左側
上の２つの輪郭ポイントおよび連続的に走査される各ラ
インごとの右側上の他の２つの輪郭ポイントを検出し、
次いで左側上のこれらの２つの輪郭ポイント間にある画
素ならびに右側上のこれら２つの輪郭ポイント間にある
画素に対してゼロ輝度を割当てる。
【００３２】可能な最終的平滑操作を行った後は、人物
の実際のプロフィールを表すイメージの使用が可能とな
る。図３は背景から人物を区別するため連続的に行われ
る操作を要約したフローチャートを示すものである。図
示のように、各ステップは、各原イメージIOからスター
トして以下のような中間操作ステップ、すなわちいくつ
かの画像間での差分（differentiating ）によるシルエ
ットの生成（CS）、ノイズ抑圧（SB）、シルエットのフ
ィリングアップ（RS）、このシルエットの平滑化（L
S）、背景のないイメージのセグメント化（SI）、輪郭
の検出（DC）、ハロー抑圧（SH）および最終平滑操作
（LF）を経路し、背景のないイメージ（IF）に至る。
の実際のプロフィールを表すイメージの使用が可能とな
る。図３は背景から人物を区別するため連続的に行われ
る操作を要約したフローチャートを示すものである。図
示のように、各ステップは、各原イメージIOからスター
トして以下のような中間操作ステップ、すなわちいくつ
かの画像間での差分（differentiating ）によるシルエ
ットの生成（CS）、ノイズ抑圧（SB）、シルエットのフ
ィリングアップ（RS）、このシルエットの平滑化（L
S）、背景のないイメージのセグメント化（SI）、輪郭
の検出（DC）、ハロー抑圧（SH）および最終平滑操作
（LF）を経路し、背景のないイメージ（IF）に至る。
【００３３】また、図１に示すシステムは有用イメージ
ゾーンの内容の３次元モデルを構成する装置200 なら
びに該モデルの精細度（definition）の主パラメータを
更新する装置300 よりなる並列配置を含むほか、装置20
0 および300 により供給される情報をコード化するため
の装置400 を具える。装置200 は活動するテレビ電流画
像シーケンス内の人物の局限（localization）および追
従（following ）よりなるここに記載の利用面に基本的
な３次元モデルを適応することにより初期校正を与える
機能を有する。次に装置300 は該シーケンスの間に生ず
る動きを考慮に入れて、このモデルを更新する働きをす
る。また、装置100 の出力には、装置200 の作動と装置
300 の作動との間の転移を制御するため、転換器250(そ
の作動については後述する）を配置する。
ゾーンの内容の３次元モデルを構成する装置200 なら
びに該モデルの精細度（definition）の主パラメータを
更新する装置300 よりなる並列配置を含むほか、装置20
0 および300 により供給される情報をコード化するため
の装置400 を具える。装置200 は活動するテレビ電流画
像シーケンス内の人物の局限（localization）および追
従（following ）よりなるここに記載の利用面に基本的
な３次元モデルを適応することにより初期校正を与える
機能を有する。次に装置300 は該シーケンスの間に生ず
る動きを考慮に入れて、このモデルを更新する働きをす
る。また、装置100 の出力には、装置200 の作動と装置
300 の作動との間の転移を制御するため、転換器250(そ
の作動については後述する）を配置する。
【００３４】装置200 は、例えば、前述のセグメンテー
ション原理によるセグメント化により選定され、画像シ
ーケンスのアニメート部分に対応するディジタル ビデ
オ信号をその情報として受信するもので、まず始めに、
伝送すべき該有用ゾーン内の基準ポイントを抽出する回
路201 を含む。３次元の幾何学的モデルをベースにして
該有用ゾーンを専有する人物の顔の真の再現もしくはい
ずれにしても満足な再現を得るためには、まず第１に３
次元モデルの初期校正（後述するように変位のトラッキ
ングが追従する）を可能とするような画像シーケンス内
に存在する顔の主要な特性ポイント（すなわち、図４に
示すような頭の頂部、こめかみ、眼、鼻、口およびあご
の部分）を決定することが実際上重要である。SignalPr
ocessing；Image Communication,１（1989），139 〜15
2 ページに掲載のケー・アイザワ（K. Aizawa ）ほか、
による論文“Model-based analysis synthesisimage co
ding (MBASIC) system for a person's face ”には、
３次元モデルをベースにして出力イメージの究極的合成
をめざすこのような作動の実施例につき記載されてい
る。
ション原理によるセグメント化により選定され、画像シ
ーケンスのアニメート部分に対応するディジタル ビデ
オ信号をその情報として受信するもので、まず始めに、
伝送すべき該有用ゾーン内の基準ポイントを抽出する回
路201 を含む。３次元の幾何学的モデルをベースにして
該有用ゾーンを専有する人物の顔の真の再現もしくはい
ずれにしても満足な再現を得るためには、まず第１に３
次元モデルの初期校正（後述するように変位のトラッキ
ングが追従する）を可能とするような画像シーケンス内
に存在する顔の主要な特性ポイント（すなわち、図４に
示すような頭の頂部、こめかみ、眼、鼻、口およびあご
の部分）を決定することが実際上重要である。SignalPr
ocessing；Image Communication,１（1989），139 〜15
2 ページに掲載のケー・アイザワ（K. Aizawa ）ほか、
による論文“Model-based analysis synthesisimage co
ding (MBASIC) system for a person's face ”には、
３次元モデルをベースにして出力イメージの究極的合成
をめざすこのような作動の実施例につき記載されてい
る。
【００３５】したがって、この基準ポイントの抽出のた
め、回路201 は背景が抑圧されたイメージを考え、この
イメージの走査、例えば垂直走査を行って、その縦座標
が背景のないイメージの最大の縦線（ordinate）に対応
する第１の特性ポイント、すなわち、頭の頂部を決定す
る。次に、眼のゾーン上に自動的に集中し、特に頭の頂
部の位置をベースにしてこの目的用に限定されたウイン
ドウ（窓）相にセグメンテーションにより眼の特性ポイ
ント（眼の両隅、上部ポイント、下部ポイント）を決定
し、人によってきわめてまちまちな髪の部分の厚みを考
慮しながら、この窓が髪の部分に対応するゾーンの正し
く下側に位置し、眼のレベルに有効に集中するようにす
る。
め、回路201 は背景が抑圧されたイメージを考え、この
イメージの走査、例えば垂直走査を行って、その縦座標
が背景のないイメージの最大の縦線（ordinate）に対応
する第１の特性ポイント、すなわち、頭の頂部を決定す
る。次に、眼のゾーン上に自動的に集中し、特に頭の頂
部の位置をベースにしてこの目的用に限定されたウイン
ドウ（窓）相にセグメンテーションにより眼の特性ポイ
ント（眼の両隅、上部ポイント、下部ポイント）を決定
し、人によってきわめてまちまちな髪の部分の厚みを考
慮しながら、この窓が髪の部分に対応するゾーンの正し
く下側に位置し、眼のレベルに有効に集中するようにす
る。
【００３６】セグメント化の方法はいくつかのレベルに
おけるスレショールドをベースにし、そのスレショール
ドはウインドウ内の輝度ヒストグラムの最小値に等しく
なるよう選定する。さらに、正しくいえば、初期作動
は、まずヒストグラム法により上縁部が頭の頂部で与え
られるようなウインドウをセグメント化することによ
り、髪の部分に対応する領域の外縁部を決めるために実
行されなければならず、ヒストグラム レベルの数は、
髪の部分の輝度が一定であるように見え、したがって、
この髪のゾーンが単一の領域として感知されるよう調整
する。このように、髪の領域の下限は眼のウインドウを
限定する基準として選定することもできる。髪の毛が検
出されない場合（頭のはげた人の場合）には充分な幅の
ウインドウを選定することにより頭の頂部の位置のみか
ら眼のウインドウのありそうな位置を決定することがで
きる。このように眼のウインドウが限定された後の第２
の作動は、皮膚よりコントラストに優れた実際の眼のゾ
ーンを確保するため、再びヒストグラム法を用いていく
つかの領域にセグメント化する操作を含む（この場合、
人物の照明条件はセグメント化を妨害する可能性をもつ
影が存在しないよう充分適正なものとする）。また、こ
の場合、ヒストグラム レベルの数はセグメント化の後
に得られる形状の横座標および縦座標に対する極限値を
見出すことによりその座標が与えられるような各々の眼
の４つの特性ポイントの局限化を可能にするよう自動的
に調整される。また、この眼の局限に対して、ほぼ眉の
レベルで選定した縦座標（眼の外側の輪郭ポイントの縦
座標にほぼ対応する）において人物の一番左と一番右の
輪郭に属する２つのポイントを限定するこめかみ（側頭
部）の局限を付加することもできる。この場合、対応す
る横座標は、この縦座標に対応するラインの走査を介し
て背景のない画像の外側の輪郭ポイントにより決められ
る。
おけるスレショールドをベースにし、そのスレショール
ドはウインドウ内の輝度ヒストグラムの最小値に等しく
なるよう選定する。さらに、正しくいえば、初期作動
は、まずヒストグラム法により上縁部が頭の頂部で与え
られるようなウインドウをセグメント化することによ
り、髪の部分に対応する領域の外縁部を決めるために実
行されなければならず、ヒストグラム レベルの数は、
髪の部分の輝度が一定であるように見え、したがって、
この髪のゾーンが単一の領域として感知されるよう調整
する。このように、髪の領域の下限は眼のウインドウを
限定する基準として選定することもできる。髪の毛が検
出されない場合（頭のはげた人の場合）には充分な幅の
ウインドウを選定することにより頭の頂部の位置のみか
ら眼のウインドウのありそうな位置を決定することがで
きる。このように眼のウインドウが限定された後の第２
の作動は、皮膚よりコントラストに優れた実際の眼のゾ
ーンを確保するため、再びヒストグラム法を用いていく
つかの領域にセグメント化する操作を含む（この場合、
人物の照明条件はセグメント化を妨害する可能性をもつ
影が存在しないよう充分適正なものとする）。また、こ
の場合、ヒストグラム レベルの数はセグメント化の後
に得られる形状の横座標および縦座標に対する極限値を
見出すことによりその座標が与えられるような各々の眼
の４つの特性ポイントの局限化を可能にするよう自動的
に調整される。また、この眼の局限に対して、ほぼ眉の
レベルで選定した縦座標（眼の外側の輪郭ポイントの縦
座標にほぼ対応する）において人物の一番左と一番右の
輪郭に属する２つのポイントを限定するこめかみ（側頭
部）の局限を付加することもできる。この場合、対応す
る横座標は、この縦座標に対応するラインの走査を介し
て背景のない画像の外側の輪郭ポイントにより決められ
る。
【００３７】このように局限された眼からスタートし、
眼を含むウインドウのトランスレーション（translatio
n ；翻訳）により口に対する探索ウインドウが限定され
る。ここで、口のまわりのコントラストが弱い場合に
は、この場合あまり正確とはいえないセグメンテーショ
ン法を使用するのでなく、口の全体の形を得ることを可
能にし、下側の唇を示す最小限度の輪郭に位置する特性
ポイントを局限することを可能にする輪郭検出法を使用
することが望ましい。ついで眼と口の局限化から、その
側縁部が眼の内側のポイントのほぼ直下にあり、下縁部
および上縁部が眼および口に関するウインドウのそれら
と接する鼻を見出すためのウインドウを確定（deduce；
演繹）することができ、その後、任意の妨害を与える影
を生ずることのない照明のもとで人の顔がカメラに向い
ているとの仮定のもとで、このウインドウの水平走査に
よるこの鼻ウインドウのセグメント化により鼻孔の位置
を推定することが可能となる。
眼を含むウインドウのトランスレーション（translatio
n ；翻訳）により口に対する探索ウインドウが限定され
る。ここで、口のまわりのコントラストが弱い場合に
は、この場合あまり正確とはいえないセグメンテーショ
ン法を使用するのでなく、口の全体の形を得ることを可
能にし、下側の唇を示す最小限度の輪郭に位置する特性
ポイントを局限することを可能にする輪郭検出法を使用
することが望ましい。ついで眼と口の局限化から、その
側縁部が眼の内側のポイントのほぼ直下にあり、下縁部
および上縁部が眼および口に関するウインドウのそれら
と接する鼻を見出すためのウインドウを確定（deduce；
演繹）することができ、その後、任意の妨害を与える影
を生ずることのない照明のもとで人の顔がカメラに向い
ているとの仮定のもとで、このウインドウの水平走査に
よるこの鼻ウインドウのセグメント化により鼻孔の位置
を推定することが可能となる。
【００３８】最後に、あごの部分を見出すためのウイン
ドウを口のウインドウのトランスレーションを介して発
見することができる。この場合にも、あごのまわりのコ
ントラストが弱い可能性があり、したがって、セグメン
テーション法または輪郭検出法の代わりに、シーケンス
のいくつかの画像をベースにして、差動イメージを得る
ことにより作動する始めに使用したシルエット決定のた
めの方法と同じ方法を使用することが望ましく、さらに
雑音抑圧および水平走査を行ってあごの下側端部に対応
する最小限度の弧（アーク）を決定する。
ドウを口のウインドウのトランスレーションを介して発
見することができる。この場合にも、あごのまわりのコ
ントラストが弱い可能性があり、したがって、セグメン
テーション法または輪郭検出法の代わりに、シーケンス
のいくつかの画像をベースにして、差動イメージを得る
ことにより作動する始めに使用したシルエット決定のた
めの方法と同じ方法を使用することが望ましく、さらに
雑音抑圧および水平走査を行ってあごの下側端部に対応
する最小限度の弧（アーク）を決定する。
【００３９】基準ポイントを抽出する回路201 の後段に
は、3 次元のベース モデルを適応させるための手段20
2 を配置する。このモデルは、前述の論文“SignalProc
essing；Image Communication ”に指摘されているよう
に複数の三角形小面格子により形成される。これらの小
面（facet ）の各々は三角形の３つの端部に位置するナ
ンバーV1, V2, V3を有する３つのノードおよび小面体ナ
ンバーFNにより他から区別するよう限定される。これら
のノードに関連する座標 xV , yv ,zv はモデルの部分
を形成する基準フレーム内で限定される。図5Aはこのよ
うなベーシック モデルの一例を示し、図5Bは正しく決
定された実際の顔への適応が行われた後の同じモデルを
示す。
は、3 次元のベース モデルを適応させるための手段20
2 を配置する。このモデルは、前述の論文“SignalProc
essing；Image Communication ”に指摘されているよう
に複数の三角形小面格子により形成される。これらの小
面（facet ）の各々は三角形の３つの端部に位置するナ
ンバーV1, V2, V3を有する３つのノードおよび小面体ナ
ンバーFNにより他から区別するよう限定される。これら
のノードに関連する座標 xV , yv ,zv はモデルの部分
を形成する基準フレーム内で限定される。図5Aはこのよ
うなベーシック モデルの一例を示し、図5Bは正しく決
定された実際の顔への適応が行われた後の同じモデルを
示す。
【００４０】このモデルは、横軸が水平、縦軸が垂直、
ｚ軸がスクリーンに対して垂直（座標 xs , ys , zs
は古典形式のマトリックス変換により座標 xv , yv ,
zvから抽出される）であるようなスクリーン座標 xs ,
ys , zs のシステム内のスクリーン上に描写するよ
うにし、イメージのシーケンスに適応させる必要があ
る。すなわち、該座標は前に決められた特性ポイントに
もとづいて修正される。与えられる適応手段はまず始め
に原イメージと整列させ、正しいスケールを得るための
回路202 を含む。この整列（alignment ）に対する基準
マークは水平方向では、２つの側頭部を含むセグメント
の中心であり、垂直方向では頭の頂部である。したがっ
て、モデルを原イメージと整列させるための変位（disp
lacement）は、 (a) 横座標に対しては、 dx＝1/2 〔(xv (RT)-xv (LT))-(x c (RT)-x c (LT)) 〕 (b) 縦座標に対しては、 dy＝ yv (HT)- y c (HT) ここで、- xv および yv は既に限定された値、- RTお
よびLTはそれぞれ右の側頭部および左の側頭部であり、
またHTは頭の頂部、- xc および yc は前に限定された
それらの間から考えられた特性ポイントの座標である。
ｚ軸がスクリーンに対して垂直（座標 xs , ys , zs
は古典形式のマトリックス変換により座標 xv , yv ,
zvから抽出される）であるようなスクリーン座標 xs ,
ys , zs のシステム内のスクリーン上に描写するよ
うにし、イメージのシーケンスに適応させる必要があ
る。すなわち、該座標は前に決められた特性ポイントに
もとづいて修正される。与えられる適応手段はまず始め
に原イメージと整列させ、正しいスケールを得るための
回路202 を含む。この整列（alignment ）に対する基準
マークは水平方向では、２つの側頭部を含むセグメント
の中心であり、垂直方向では頭の頂部である。したがっ
て、モデルを原イメージと整列させるための変位（disp
lacement）は、 (a) 横座標に対しては、 dx＝1/2 〔(xv (RT)-xv (LT))-(x c (RT)-x c (LT)) 〕 (b) 縦座標に対しては、 dy＝ yv (HT)- y c (HT) ここで、- xv および yv は既に限定された値、- RTお
よびLTはそれぞれ右の側頭部および左の側頭部であり、
またHTは頭の頂部、- xc および yc は前に限定された
それらの間から考えられた特性ポイントの座標である。
【００４１】モデルは整列後人物と同じスケールで表示
されるよう膨張させる。それに対しては、次式にしたが
って、こめかみ（側頭部）、眼およびあごの特性ポイン
トが使用される。 DIL(X)＝(xc (RT)-xc (LT))/(xv (RT)-xv (LT)) DIL(Y)＝(yc (CH)-yc (EY))/(yv (CH)-yv (EY)) ここで、DIL(X)およびDIL(Y)はモデルの座標に供給すべ
き倍増率、CHおよびEYはそれぞれあごおよび眼を表す。
また、所望に応じて、 yc (EY)は眼のまわりで選定した
種々の特性ポイントに対して座標 yc (EY)の平均値を表
す値 ycm(EY)に置き換えることができる。実際には、単
一ポイントの座標の代わりに平均値をとることによりア
イソレーション（isolation ；隔離）において考慮され
るこれらの特性ポイントの１つの縦座標上の可能なエラ
ーを最小にすることができる。
されるよう膨張させる。それに対しては、次式にしたが
って、こめかみ（側頭部）、眼およびあごの特性ポイン
トが使用される。 DIL(X)＝(xc (RT)-xc (LT))/(xv (RT)-xv (LT)) DIL(Y)＝(yc (CH)-yc (EY))/(yv (CH)-yv (EY)) ここで、DIL(X)およびDIL(Y)はモデルの座標に供給すべ
き倍増率、CHおよびEYはそれぞれあごおよび眼を表す。
また、所望に応じて、 yc (EY)は眼のまわりで選定した
種々の特性ポイントに対して座標 yc (EY)の平均値を表
す値 ycm(EY)に置き換えることができる。実際には、単
一ポイントの座標の代わりに平均値をとることによりア
イソレーション（isolation ；隔離）において考慮され
るこれらの特性ポイントの１つの縦座標上の可能なエラ
ーを最小にすることができる。
【００４２】次に、回路202 の後段には表現ゾーンおよ
びプロフィールを調整するための回路203 を配置する。
実際には、いくつかのポイントの位置のみしか決められ
ていないので、整列ならびに正しいスケーリングを達成
した後は、かなり粗雑なままのイメージとモデル間には
なにがしかの一致が設定されるが、顔の表現ゾーンおよ
びプロフィールをも再現するためには、原イメージの最
適表現に対して３次元モデルのすべてのノードを調整す
る必要がある。各ノード vi に対して、３次元モデルは
座標 xvi , yvi, zviだけでなく、該ノードが顔または
胸のどのゾーン（頭の側部、頬、眉、鼻、眼、口、その
他）に属するかを示すナンバーまたはラベルをも含む。
実際上、これらの各ノードに対しては、そのゾーンに応
じて特定の処理を行うことができる。 (a) 外面プロフィール、顔の側部、頬および眉；これ
らのノードは前に決められた背景のないイメージの外側
の輪郭に対して調整される。したがって、Ｘ軸に沿う変
位DEPL(X) は、ノード Vi に対する新しい座標 xv がそ
れから推定されるよう３次元モデルの外側の輪郭の各ノ
ードに対応するものでなければならない。頭の側部にお
けるノードに関しては、頭のカーブならびに耳の近似形
状を考慮し、各ノードに適する僅かな横方向調整SMSH(v
i ) を付加した上で外側のプロフィールに接する画素の
レンジにわたって同じ形式の整列を行い、かくして懸案
のノード vi の新しい座標 xv をこれから抽出する。変
位DEPL(.) は次式で与えられる。 DEPL(x(vi ))＝ xCTR (ys (vi ))−x s (vi ) ＋SMSH(vi ) ここで、 xctr (.) は、ノード vi に対応する縦座標に
対する背景のないイメージの輪郭の横座標、 xs (vi )
は はノード vi に対する横座標である。頬および肩の
ノードに対しても同じ手順が使用される。 (b) 鼻、眼および口：これらのノードは関連の特性ポ
イントにかんするそれらの近似整列が次式により得られ
るよう調整する。 DEPL(y(NN)) ＝ ycl(NN)− ys (NN) DEPL(y(BM)) ＝ ycl(BM)− ys (BM) DEPL(y(YE)) ＝ ycl(YE)− ys (YE) ここで、DEPL(.) は鼻(NN)、口(BM)または眼(YE)に対応
するノードの変位、 ycl(.) はこのように考えたときの
特性ポイントの縦座標、 ys (.) は鼻、口または眼に対
する３次元モデル用の特性ポイントのスクリーン座標を
示す。その後、対応する該変位により限定される鼻、口
または眼に対して近似的翻訳（approximate translatio
n ）を行い、これから懸案のノード vi の新しい座標y
v を抽出する。
びプロフィールを調整するための回路203 を配置する。
実際には、いくつかのポイントの位置のみしか決められ
ていないので、整列ならびに正しいスケーリングを達成
した後は、かなり粗雑なままのイメージとモデル間には
なにがしかの一致が設定されるが、顔の表現ゾーンおよ
びプロフィールをも再現するためには、原イメージの最
適表現に対して３次元モデルのすべてのノードを調整す
る必要がある。各ノード vi に対して、３次元モデルは
座標 xvi , yvi, zviだけでなく、該ノードが顔または
胸のどのゾーン（頭の側部、頬、眉、鼻、眼、口、その
他）に属するかを示すナンバーまたはラベルをも含む。
実際上、これらの各ノードに対しては、そのゾーンに応
じて特定の処理を行うことができる。 (a) 外面プロフィール、顔の側部、頬および眉；これ
らのノードは前に決められた背景のないイメージの外側
の輪郭に対して調整される。したがって、Ｘ軸に沿う変
位DEPL(X) は、ノード Vi に対する新しい座標 xv がそ
れから推定されるよう３次元モデルの外側の輪郭の各ノ
ードに対応するものでなければならない。頭の側部にお
けるノードに関しては、頭のカーブならびに耳の近似形
状を考慮し、各ノードに適する僅かな横方向調整SMSH(v
i ) を付加した上で外側のプロフィールに接する画素の
レンジにわたって同じ形式の整列を行い、かくして懸案
のノード vi の新しい座標 xv をこれから抽出する。変
位DEPL(.) は次式で与えられる。 DEPL(x(vi ))＝ xCTR (ys (vi ))−x s (vi ) ＋SMSH(vi ) ここで、 xctr (.) は、ノード vi に対応する縦座標に
対する背景のないイメージの輪郭の横座標、 xs (vi )
は はノード vi に対する横座標である。頬および肩の
ノードに対しても同じ手順が使用される。 (b) 鼻、眼および口：これらのノードは関連の特性ポ
イントにかんするそれらの近似整列が次式により得られ
るよう調整する。 DEPL(y(NN)) ＝ ycl(NN)− ys (NN) DEPL(y(BM)) ＝ ycl(BM)− ys (BM) DEPL(y(YE)) ＝ ycl(YE)− ys (YE) ここで、DEPL(.) は鼻(NN)、口(BM)または眼(YE)に対応
するノードの変位、 ycl(.) はこのように考えたときの
特性ポイントの縦座標、 ys (.) は鼻、口または眼に対
する３次元モデル用の特性ポイントのスクリーン座標を
示す。その後、対応する該変位により限定される鼻、口
または眼に対して近似的翻訳（approximate translatio
n ）を行い、これから懸案のノード vi の新しい座標y
v を抽出する。
【００４３】３次元モデルのこの調整はシャドウ効果を
付加することによりさらに完全となる。これがため、例
えば、照明は、影をつけることを所望する小面（ファジ
ット）Ｆ（頂点v1, v2, v3を有する）から距離ｒの所に
位置する点光源Ｓ（図６参照）により与えられるものと
し、またこの照明は光源の方向に対する小面のオリエン
テーションにより変わりうるものと考える。いま、Ｉ(A
MB) をシーン（scene）の周囲の照度値、Ｉ（OMB ）を
光源から直接到来する照度値とした場合は、懸案の小面
Ｆの座標（ｘ，ｙ）を有する任意の点Ｐにおける輝度値
（luminancevalue ）は次式で与えられる。 Ｉ(OMB)(x,y)＝Ｉ(AMB) ＋ (I(INC)/r).cos θ ここで、角θは図６に示すように、セグメントPSと小面
への垂線ANとの間になす角である。小面( ファシット)
の間における照度の連続性を保証するため、この座標Ｎ
を次のような方法で人為的に限定することもできる。す
なわち、その方法では、まず懸案の小面Ｆの角頂点v1,
v2, v3 において、Ｆに隣接する小面に対するこれらの
頂点における垂線の平均である垂線を限定し、次いで、
各頂点においてこのように限定された３つの垂線N1,
N2, N3の補間によってＦの任意のポイントにおけるＦへ
の垂線を計算する。
付加することによりさらに完全となる。これがため、例
えば、照明は、影をつけることを所望する小面（ファジ
ット）Ｆ（頂点v1, v2, v3を有する）から距離ｒの所に
位置する点光源Ｓ（図６参照）により与えられるものと
し、またこの照明は光源の方向に対する小面のオリエン
テーションにより変わりうるものと考える。いま、Ｉ(A
MB) をシーン（scene）の周囲の照度値、Ｉ（OMB ）を
光源から直接到来する照度値とした場合は、懸案の小面
Ｆの座標（ｘ，ｙ）を有する任意の点Ｐにおける輝度値
（luminancevalue ）は次式で与えられる。 Ｉ(OMB)(x,y)＝Ｉ(AMB) ＋ (I(INC)/r).cos θ ここで、角θは図６に示すように、セグメントPSと小面
への垂線ANとの間になす角である。小面( ファシット)
の間における照度の連続性を保証するため、この座標Ｎ
を次のような方法で人為的に限定することもできる。す
なわち、その方法では、まず懸案の小面Ｆの角頂点v1,
v2, v3 において、Ｆに隣接する小面に対するこれらの
頂点における垂線の平均である垂線を限定し、次いで、
各頂点においてこのように限定された３つの垂線N1,
N2, N3の補間によってＦの任意のポイントにおけるＦへ
の垂線を計算する。
【００４４】装置200 および300 の出力に配置したコー
ディング装置400 は図１から明らかなように、調整回路
203 の出力に導出される種々の情報アイテム、すなわ
ち、３次元モデルのノードの新しい座標ならびに各小面
Ｆに関連するテクスチュア係数（texture coefficient
）と呼ばれる量をコード化する回路420 を始めとする
種々のコーディング サブアセンブリを含む。得ること
を目的とする合成イメージがシャドウ効果を考慮に入れ
る場合、このイメージは次式、すなわち、 Ｉ（SYNTH)F ＝ＩOMB (F) ×CT(F) で与えられるように、関連のテクスチュア係数と該小面
に関連するシャドウ係数の積をベースにして各小面ごと
に限定され、小面Ｆに対するテキスチュア係数CT(F) そ
れ自体は、顔（face）に関して見られる原イメージＩ
（SOURCE) F をベースにして初期校正の間に決められ
る。 CT(F) ＝Ｉ(SOURCE)F ／ＩOMB (F) これは、コーディング サブアセンブリをそれがすべて
の小面に対して上述のようにして計算したすべてのテク
スチュア係数をグループ分けしたテーブルをデコーディ
ング サブアセンブリに伝送するよう校正し、それに応
じて該デコーディング サブアセンブリにより、各ポイ
ントの輝度を絶えず考慮しながら上式にしたがって完全
なイメージを再構成するよう形成した場合、真実であ
る。かくして、いくつかのイメージのシーケンスをコー
ド化しようとする場合は最初のイメージに対応するテク
スチュア係数のテーブルを一度伝送するだけで充分であ
る。この場合、人物が動くにつれて、モデルの変位によ
り、このモデルを形成する小面の変形をもたらすことに
なるが、これらのテクスチュアは、最初のテクチュア係
数値の補間により計算することができる。
ディング装置400 は図１から明らかなように、調整回路
203 の出力に導出される種々の情報アイテム、すなわ
ち、３次元モデルのノードの新しい座標ならびに各小面
Ｆに関連するテクスチュア係数（texture coefficient
）と呼ばれる量をコード化する回路420 を始めとする
種々のコーディング サブアセンブリを含む。得ること
を目的とする合成イメージがシャドウ効果を考慮に入れ
る場合、このイメージは次式、すなわち、 Ｉ（SYNTH)F ＝ＩOMB (F) ×CT(F) で与えられるように、関連のテクスチュア係数と該小面
に関連するシャドウ係数の積をベースにして各小面ごと
に限定され、小面Ｆに対するテキスチュア係数CT(F) そ
れ自体は、顔（face）に関して見られる原イメージＩ
（SOURCE) F をベースにして初期校正の間に決められ
る。 CT(F) ＝Ｉ(SOURCE)F ／ＩOMB (F) これは、コーディング サブアセンブリをそれがすべて
の小面に対して上述のようにして計算したすべてのテク
スチュア係数をグループ分けしたテーブルをデコーディ
ング サブアセンブリに伝送するよう校正し、それに応
じて該デコーディング サブアセンブリにより、各ポイ
ントの輝度を絶えず考慮しながら上式にしたがって完全
なイメージを再構成するよう形成した場合、真実であ
る。かくして、いくつかのイメージのシーケンスをコー
ド化しようとする場合は最初のイメージに対応するテク
スチュア係数のテーブルを一度伝送するだけで充分であ
る。この場合、人物が動くにつれて、モデルの変位によ
り、このモデルを形成する小面の変形をもたらすことに
なるが、これらのテクスチュアは、最初のテクチュア係
数値の補間により計算することができる。
【００４５】また、テクスチュア係数のテーブルを伝送
するのでなく、原イメージの対応する部分を、例えば静
止画像に属するデータのコーディングおよび圧縮に適応
させたJPEG形−Joint Photographic Experts Group−の
ディジタル ビデオ標準にしたがってコード化するよう
にした他のコーディング サブアセンブリの実施例も可
能である。多くの論文、例えば、Journal IEEE Spectru
m, 1991 年10月, vol.28, no.10, 16 -19ページに掲載
の論文“Video compression makes big gains”に記載
されているこの標準は、イメージの各ビデオ成分をブロ
ックに分割した後、DCT 形（Discrete Cosine Transfor
m ）の直交交換（orthogonaltransformation）を用いて
これらのブロックの周波数における内容を表す係数に変
換し、かつそれらを量子化しコード化することを含む。
この実施例の場合は、デコーディング端において分離さ
れているだけのテクスチュア係数を計算するに必要な情
報は明らかに常にイメージの背景に対応する部分と同時
に伝送される。この場合のコーディング コストは0.5
ビット／画素のオーダーである。この場合にも、前の実
施例の場合と同じく、いくつかのイメージのシーケンス
のコード化にあたっては、人物の動いている間に一度だ
けJPEG形のコーディングを行うことで充分である。さら
に、この方法は、初期設定フェーズの間、すべてのイメ
ージ、すなわちテクスチュア情報と同時に背景のイメー
ジを伝送することを可能にする。
するのでなく、原イメージの対応する部分を、例えば静
止画像に属するデータのコーディングおよび圧縮に適応
させたJPEG形−Joint Photographic Experts Group−の
ディジタル ビデオ標準にしたがってコード化するよう
にした他のコーディング サブアセンブリの実施例も可
能である。多くの論文、例えば、Journal IEEE Spectru
m, 1991 年10月, vol.28, no.10, 16 -19ページに掲載
の論文“Video compression makes big gains”に記載
されているこの標準は、イメージの各ビデオ成分をブロ
ックに分割した後、DCT 形（Discrete Cosine Transfor
m ）の直交交換（orthogonaltransformation）を用いて
これらのブロックの周波数における内容を表す係数に変
換し、かつそれらを量子化しコード化することを含む。
この実施例の場合は、デコーディング端において分離さ
れているだけのテクスチュア係数を計算するに必要な情
報は明らかに常にイメージの背景に対応する部分と同時
に伝送される。この場合のコーディング コストは0.5
ビット／画素のオーダーである。この場合にも、前の実
施例の場合と同じく、いくつかのイメージのシーケンス
のコード化にあたっては、人物の動いている間に一度だ
けJPEG形のコーディングを行うことで充分である。さら
に、この方法は、初期設定フェーズの間、すべてのイメ
ージ、すなわちテクスチュア情報と同時に背景のイメー
ジを伝送することを可能にする。
【００４６】モデルのノードの新しい座標に関しては、
それらをデコードする目的でこれらの座標自体を伝送も
しくは記憶させることができるが、伝送レートに対して
は３次元モデルのノードの原座標は既知であり、デコー
ディング端に記憶されており、伝送もしくは記憶のため
には、これらの原座標と新しく計算された値との差の値
のみを提供すればよいと考えることが有効である。これ
らの差を充分なビット数、例えば６ビットでコード化す
る場合は、高いノード変位（６ビットの64画素) を取扱
うことができる。構成は例えば所定数のシーケンスのイ
メージに対応する限定周期の間に行われるようにする。
この周期は、この周期の経過後、装置200 から装置300
にスイッチさせる図１に示す転換器250 により決定され
る。モード信号は転換器250 の各位置と関連させるよう
にする。この信号はデコーディング システムが究極的
に受信した信号の特性を認識しうるよう他の符号化デー
タと同時に伝送されなければならない。この初期構成お
よび構成情報のコーディングが終わったときは前述のよ
うに、装置300 により３次元モデルに関する該情報の更
新が可能となる。
それらをデコードする目的でこれらの座標自体を伝送も
しくは記憶させることができるが、伝送レートに対して
は３次元モデルのノードの原座標は既知であり、デコー
ディング端に記憶されており、伝送もしくは記憶のため
には、これらの原座標と新しく計算された値との差の値
のみを提供すればよいと考えることが有効である。これ
らの差を充分なビット数、例えば６ビットでコード化す
る場合は、高いノード変位（６ビットの64画素) を取扱
うことができる。構成は例えば所定数のシーケンスのイ
メージに対応する限定周期の間に行われるようにする。
この周期は、この周期の経過後、装置200 から装置300
にスイッチさせる図１に示す転換器250 により決定され
る。モード信号は転換器250 の各位置と関連させるよう
にする。この信号はデコーディング システムが究極的
に受信した信号の特性を認識しうるよう他の符号化デー
タと同時に伝送されなければならない。この初期構成お
よび構成情報のコーディングが終わったときは前述のよ
うに、装置300 により３次元モデルに関する該情報の更
新が可能となる。
【００４７】また、転換器250 を介してイメージのシー
ケンスの可動部分に対応し、かつセグメント化により選
択されたディジタル信号を受信するこの装置300 は第１
に前に構成される３次元モデルの特性ポイントの動きを
決定するための回路301 を含む。前記回路は、デコーデ
ィングに際して３次元モデルの正しい位置を見出すこと
を可能にするそれらのパラメータのみを究極的に符号化
しうるようにするため、このモデル情報からスタートし
て顔の回転（ローテーション）および変形（トランスレ
ーション）を決定するものでなければならない。３次元
の動きに関するこの記述はモデルの回転および変形運動
が図７に示すような６つの自由度にしたがって決めら
れ、変形（トランスレーション）運動は軸 Tx , Ty ,
Tz に沿うものであり、回転運動はこれらの関連の軸に
関して各φ，θ，Ψによりなされるものであることを意
味する。
ケンスの可動部分に対応し、かつセグメント化により選
択されたディジタル信号を受信するこの装置300 は第１
に前に構成される３次元モデルの特性ポイントの動きを
決定するための回路301 を含む。前記回路は、デコーデ
ィングに際して３次元モデルの正しい位置を見出すこと
を可能にするそれらのパラメータのみを究極的に符号化
しうるようにするため、このモデル情報からスタートし
て顔の回転（ローテーション）および変形（トランスレ
ーション）を決定するものでなければならない。３次元
の動きに関するこの記述はモデルの回転および変形運動
が図７に示すような６つの自由度にしたがって決めら
れ、変形（トランスレーション）運動は軸 Tx , Ty ,
Tz に沿うものであり、回転運動はこれらの関連の軸に
関して各φ，θ，Ψによりなされるものであることを意
味する。
【００４８】前期トランスレーション（変形）および回
転による種々の特性ポイントｉの変位dxi , dyi を決定
するため図８に示すような顔の特性ゾーン内で限定され
るウインドウの変位が与えられる。深みの方向の動きを
考慮しないで済むようにするため、シーケンスを通して
人は同一面内にあるものとした場合、その目的は図８に
示すように、所定イメージの各ウインドウに対して例え
ば最小の絶対誤差を見出すための類似基準（resemblanc
e criterion ）により所定の該イメージに後続するイメ
ージ内に位置する探索ゾーン内で最もそれに類似する１
つを該ウインドウの間から見つけ出すことである。最終
的に、各特性ポイントｉに対して変位dx i , dyi は次式
により与えられる。 dxi ＝r(y i ) ・cos θ・d θ+r(zi )cosΨ・d Ψ+dT x dyi ＝r(x i ) ・cos φ・d φ+r(zi )cosΨ・d Ψ+dT y ここで、 r(xi ), r(yi ), r(zi ) は決められた特
性ポイントｉに対する回転軸である。種々の特性ポイン
トｉに対してこの式を解くときはパラメータ dφ(.), d
θ(.) , dΨ(.) およびdT(.) が得られ、絶対角は前の
イメージから既知である。このパラメータの抽出（extr
action）は有用ゾーンの形状の任意の変形を考慮するよ
うな３次元モデルの更新を可能にする。
転による種々の特性ポイントｉの変位dxi , dyi を決定
するため図８に示すような顔の特性ゾーン内で限定され
るウインドウの変位が与えられる。深みの方向の動きを
考慮しないで済むようにするため、シーケンスを通して
人は同一面内にあるものとした場合、その目的は図８に
示すように、所定イメージの各ウインドウに対して例え
ば最小の絶対誤差を見出すための類似基準（resemblanc
e criterion ）により所定の該イメージに後続するイメ
ージ内に位置する探索ゾーン内で最もそれに類似する１
つを該ウインドウの間から見つけ出すことである。最終
的に、各特性ポイントｉに対して変位dx i , dyi は次式
により与えられる。 dxi ＝r(y i ) ・cos θ・d θ+r(zi )cosΨ・d Ψ+dT x dyi ＝r(x i ) ・cos φ・d φ+r(zi )cosΨ・d Ψ+dT y ここで、 r(xi ), r(yi ), r(zi ) は決められた特
性ポイントｉに対する回転軸である。種々の特性ポイン
トｉに対してこの式を解くときはパラメータ dφ(.), d
θ(.) , dΨ(.) およびdT(.) が得られ、絶対角は前の
イメージから既知である。このパラメータの抽出（extr
action）は有用ゾーンの形状の任意の変形を考慮するよ
うな３次元モデルの更新を可能にする。
【００４９】しかしながら、周知のように、顔の中のこ
の有用ゾーンには、その表現ができるだけ現実的なもの
でなければならないような強力な顔の表示ゾーン、例え
ば、口のゾーンおよび各々の眼のゾーンが存在する。最
終的コーディングは独立して、もしくは単一ウインドウ
内で取扱うことが可能な特別の関心のあるこれらのゾー
ンを考慮に入れる。３つの個別のウインドウの区分は、
ここでは図９に示すように、各々の眼に対する１つのウ
インドウおよび口に対する１つのウインドウまたおそら
く鼻と頬の一部を含むものとが選択されているが、最高
に眼と口に限定された最も簡単な単一ウインドウの選択
も可能である。以下、特別の関心のあるゾーンを選定
し、それらの動きを決定する回路302 により実行される
これら2 つの選択につき説明する。
の有用ゾーンには、その表現ができるだけ現実的なもの
でなければならないような強力な顔の表示ゾーン、例え
ば、口のゾーンおよび各々の眼のゾーンが存在する。最
終的コーディングは独立して、もしくは単一ウインドウ
内で取扱うことが可能な特別の関心のあるこれらのゾー
ンを考慮に入れる。３つの個別のウインドウの区分は、
ここでは図９に示すように、各々の眼に対する１つのウ
インドウおよび口に対する１つのウインドウまたおそら
く鼻と頬の一部を含むものとが選択されているが、最高
に眼と口に限定された最も簡単な単一ウインドウの選択
も可能である。以下、特別の関心のあるゾーンを選定
し、それらの動きを決定する回路302 により実行される
これら2 つの選択につき説明する。
【００５０】単一ウインドウの場合には、書かれた左上
隅の座標（ xG , yG ）およびウインドウの右下隅（ x
D , yD ）の座標は、引用された３つのフォーマット
（CIF,QCIF またはフォーマット4/3 ）の１つにしたが
って保持される。これは例えば次のように与えられる。 (a) フォーマット 4/3： xG ＝ xc (left temple) ＋dist x yG ＝ yc (left eye)−dist y1 xD ＝ xc (right temple)−dist x yD ＝ yc (mouth) ＋dist y2 ここで、 xc (.) および yc (.) は特性ポイントの座標
を表し、dist x, dist y 1, dist y2はウインドウの幅を
調整することを可能にする値（このフォーマットに対し
てはdist x＝０ないし40画素、dist y1 ＝45、dist y2
＝40に選定される）である。 (b) CIF およびQCIFフォーマット：３つの個別のウイン
ドウに対して論議しようとしていることに関する場合と
同じ方法で決められる。
隅の座標（ xG , yG ）およびウインドウの右下隅（ x
D , yD ）の座標は、引用された３つのフォーマット
（CIF,QCIF またはフォーマット4/3 ）の１つにしたが
って保持される。これは例えば次のように与えられる。 (a) フォーマット 4/3： xG ＝ xc (left temple) ＋dist x yG ＝ yc (left eye)−dist y1 xD ＝ xc (right temple)−dist x yD ＝ yc (mouth) ＋dist y2 ここで、 xc (.) および yc (.) は特性ポイントの座標
を表し、dist x, dist y 1, dist y2はウインドウの幅を
調整することを可能にする値（このフォーマットに対し
てはdist x＝０ないし40画素、dist y1 ＝45、dist y2
＝40に選定される）である。 (b) CIF およびQCIFフォーマット：３つの個別のウイン
ドウに対して論議しようとしていることに関する場合と
同じ方法で決められる。
【００５１】３つのウインドウの場合には、３つのフォ
ーマットの各々に対する座標は次のように決められる。 (a) フォーマット 4/3 ： (a1) 口（BO) に対しては、口および眼のコーナー
（隅）の特性ポイントをベースにしてウインドウが限定
され，20, 40などのような以下に与えられるすべての値
にテストされ、検証された例に対応する。 xG (BO)＝ xc (left eye , left corner ） yG (BO)＝ yc (bottom of nose)＋20 xD (BO)＝ xc (right eye , right corner ） yD (BO)＝ yc (mouth, bottom point) ＋40 (a2) 左眼（OG) に対しては、こめかみ（側頭部）およ
び眼の特性ポイントをベースにしてウインドウが限定さ
れる。 xG (OG)＝ xc (left temple) ＋40 yG (OG)＝ yc (left eye, left corner) −35 xD (OG)＝ ( xc (left temple) ＋ xc (right temple))/2 yD (OG)＝ yc (left eye, left corner) ＋35 (a3) 右眼（OD) に対しては、こめかみ（側頭部）およ
び眼の特性ポイントをベースにしてウインドウが限定さ
れる。 xG (OD)＝(xc (left temple) ＋ xc (right temple))/2 yG (OD)＝ xc (right eye, right corner) −35 xD (OD)＝ xC (right temple)−40 yD (OD)＝ yc (right eye, right corner) ＋35 (b) CIF フォーマットにおいては、ウインドウ座標は 4
/3フォーマットに関して上述したように、次式により与
えられる（ただし、“rel,window”は口のウインドウ、
左眼のウインドウまたは右眼のウインドウを示す）。 xG (CIF) ＝(xG (rel.window)＋19)/2 yG (CIF) ＝(yG (rel.window)+32)/2 xD (CIF) ＝(xD (rel.window)＋19)/2 yD (CIF) ＝(yD (rel.window)+32)/2 (c) QCIFフォーマットにおいては、ウインドウは同じよ
うに次式により与えられる。 xG (QCIF)＝(xG (rel.window)＋19)/4 yG (QCIF)＝(yG (rel.window)＋32)/4 xD (QCIF)＝(xD (rel.window)＋19)/4 yD (QCIF)＝(yD (rel.window)＋32)/4
ーマットの各々に対する座標は次のように決められる。 (a) フォーマット 4/3 ： (a1) 口（BO) に対しては、口および眼のコーナー
（隅）の特性ポイントをベースにしてウインドウが限定
され，20, 40などのような以下に与えられるすべての値
にテストされ、検証された例に対応する。 xG (BO)＝ xc (left eye , left corner ） yG (BO)＝ yc (bottom of nose)＋20 xD (BO)＝ xc (right eye , right corner ） yD (BO)＝ yc (mouth, bottom point) ＋40 (a2) 左眼（OG) に対しては、こめかみ（側頭部）およ
び眼の特性ポイントをベースにしてウインドウが限定さ
れる。 xG (OG)＝ xc (left temple) ＋40 yG (OG)＝ yc (left eye, left corner) −35 xD (OG)＝ ( xc (left temple) ＋ xc (right temple))/2 yD (OG)＝ yc (left eye, left corner) ＋35 (a3) 右眼（OD) に対しては、こめかみ（側頭部）およ
び眼の特性ポイントをベースにしてウインドウが限定さ
れる。 xG (OD)＝(xc (left temple) ＋ xc (right temple))/2 yG (OD)＝ xc (right eye, right corner) −35 xD (OD)＝ xC (right temple)−40 yD (OD)＝ yc (right eye, right corner) ＋35 (b) CIF フォーマットにおいては、ウインドウ座標は 4
/3フォーマットに関して上述したように、次式により与
えられる（ただし、“rel,window”は口のウインドウ、
左眼のウインドウまたは右眼のウインドウを示す）。 xG (CIF) ＝(xG (rel.window)＋19)/2 yG (CIF) ＝(yG (rel.window)+32)/2 xD (CIF) ＝(xD (rel.window)＋19)/2 yD (CIF) ＝(yD (rel.window)+32)/2 (c) QCIFフォーマットにおいては、ウインドウは同じよ
うに次式により与えられる。 xG (QCIF)＝(xG (rel.window)＋19)/4 yG (QCIF)＝(yG (rel.window)＋32)/4 xD (QCIF)＝(xD (rel.window)＋19)/4 yD (QCIF)＝(yD (rel.window)＋32)/4
【００５２】次に、このように決められたウインドウの
幅はブロックの幅のマルチブルMULまで丸める（roundin
g）ことに適応させる。これは例えばブロックの最も近
い高い整数にコーディングするのに使用される。このよ
うにして、ウインドウの真の幅に付加される値Δｘおよ
びΔｙは０と精々１ブロックまたはマクロブロックの幅
との間にあり、新しい座標 XG , YG ， XD , YD に通
じる関連ウインドウのいずれかの側に平等に分布され
る。 XG (win) ＝ xC (win) −Δx(win) YG (win) ＝ yG (win) ＋Δy(win) XD (win) ＝ xD (win) ＋Δx(win) YD (win) ＝ yD (win) −Δy(win)
幅はブロックの幅のマルチブルMULまで丸める（roundin
g）ことに適応させる。これは例えばブロックの最も近
い高い整数にコーディングするのに使用される。このよ
うにして、ウインドウの真の幅に付加される値Δｘおよ
びΔｙは０と精々１ブロックまたはマクロブロックの幅
との間にあり、新しい座標 XG , YG ， XD , YD に通
じる関連ウインドウのいずれかの側に平等に分布され
る。 XG (win) ＝ xC (win) −Δx(win) YG (win) ＝ yG (win) ＋Δy(win) XD (win) ＝ xD (win) ＋Δx(win) YD (win) ＝ yD (win) −Δy(win)
【００５３】最後に、これらのウインドウがイメージの
シーケンスの動きの過程内にあるときは、次式によりナ
ンバー（Ｎ−１）を有するフレーム内で限定されたウイ
ンドウの座標からナンバーＮを有するフレームのウイン
ドウの座標が抽出される。 XG (winN ) ＝ XG (winN-1)−DEPL(X) N-1 YG (winN ) ＝ YG (winN-1)−DEPL(Y) N-1 XD (winN ) ＝ XD (winN-1)−DEPL(X) N-1 YD (winN ) ＝ YD (winN-1)−DEPL(y) N-1 ここで、DEPL(x) N-1, DEPL(y)N-1 はフレーム（Ｎ−
１）に関するフレームＮの変位のｘ−成分およびｙ−成
分である。
シーケンスの動きの過程内にあるときは、次式によりナ
ンバー（Ｎ−１）を有するフレーム内で限定されたウイ
ンドウの座標からナンバーＮを有するフレームのウイン
ドウの座標が抽出される。 XG (winN ) ＝ XG (winN-1)−DEPL(X) N-1 YG (winN ) ＝ YG (winN-1)−DEPL(Y) N-1 XD (winN ) ＝ XD (winN-1)−DEPL(X) N-1 YD (winN ) ＝ YD (winN-1)−DEPL(y) N-1 ここで、DEPL(x) N-1, DEPL(y)N-1 はフレーム（Ｎ−
１）に関するフレームＮの変位のｘ−成分およびｙ−成
分である。
【００５４】このように有用情報の更新は上述のような
方法で初期校正後に得られる。コーディング ステッ
プ、この場合、更新情報のコーディングは該校正の場合
と同様になお実行されなければならない。このステップ
はコーディング装置400 内において、特性ポイントの動
きを決定する回路301 の出力情報をコード化するための
回路431 ならびに特別の関心のあるゾーンを製造するた
めの回路302 の出力情報をコード化するための回路432
により達成される。
方法で初期校正後に得られる。コーディング ステッ
プ、この場合、更新情報のコーディングは該校正の場合
と同様になお実行されなければならない。このステップ
はコーディング装置400 内において、特性ポイントの動
きを決定する回路301 の出力情報をコード化するための
回路431 ならびに特別の関心のあるゾーンを製造するた
めの回路302 の出力情報をコード化するための回路432
により達成される。
【００５５】回路431 は各特性ポイントに対して前に計
算したパラメータ、すなわち dθ,dφ, d Ψ, dTx , dT
y , DEPL(X), DEPL(Y)のコーディングを行う。これらの
パラメータは、それらを常に同じオーダーで検索できる
よう、所定シーケンスにおいて例えば５ビットでコード
化する。特性ポイントが上述のように左および右の側頭
部、左および右の眼、鼻および口の下方ポイントである
ときは、伝送されるビット ナンバーの大きさのオーダ
ーは本実施例の場合、イメージあたり約95ビットであ
る。
算したパラメータ、すなわち dθ,dφ, d Ψ, dTx , dT
y , DEPL(X), DEPL(Y)のコーディングを行う。これらの
パラメータは、それらを常に同じオーダーで検索できる
よう、所定シーケンスにおいて例えば５ビットでコード
化する。特性ポイントが上述のように左および右の側頭
部、左および右の眼、鼻および口の下方ポイントである
ときは、伝送されるビット ナンバーの大きさのオーダ
ーは本実施例の場合、イメージあたり約95ビットであ
る。
【００５６】回路432 は特別の関心を有するゾーンをと
りまくウインドウ内に存在する情報をコード化する機能
を有する（以下の回路432 に関する記述では、１つのウ
インドウの場合への利用を取扱っているが、数個のウイ
ンドウの前述の実施例の場合は３つの個別ウインドウの
場合への一般的利用も可能なこと明らかである）。ウイ
ンドウの位置および幅が正確に限定された後は、これら
のウインドウ内に銘記された原イメージの部分はメモリ
内に記憶される。この場合、ｉ個のラインとｊ個のカラ
ムにより校正される各イメージ部分はWIN(i, j) と呼ば
れ、“ソースイメージ（source image）”なる語句はウ
インドウ内に包含され、いまコーディングを受けようと
している原イメージのその部分を表す。
りまくウインドウ内に存在する情報をコード化する機能
を有する（以下の回路432 に関する記述では、１つのウ
インドウの場合への利用を取扱っているが、数個のウイ
ンドウの前述の実施例の場合は３つの個別ウインドウの
場合への一般的利用も可能なこと明らかである）。ウイ
ンドウの位置および幅が正確に限定された後は、これら
のウインドウ内に銘記された原イメージの部分はメモリ
内に記憶される。この場合、ｉ個のラインとｊ個のカラ
ムにより校正される各イメージ部分はWIN(i, j) と呼ば
れ、“ソースイメージ（source image）”なる語句はウ
インドウ内に包含され、いまコーディングを受けようと
している原イメージのその部分を表す。
【００５７】この場合、このソース イメージのコーデ
ィングは、同じ空間的原点（spatial origin）を有する
情報のコーディング（intra coding；イントラ コーデ
ィング）と同じ空間的原点をもたない情報のコーディン
グ（予言によるコーディング）が組合されるよう、標準
MPEGおよびH261（CCITT により勧告されたH261標準およ
びMPEG標準−Moving Pictures Expert Group−について
は、journalIEEE spectrum から引用された論文に述べ
られている）による形式の混成コーディング モードに
より実現されるようにする。いわゆるイントラ コーデ
ィング（intra-coding）においては、コード化された情
報は１つの同じイメージに属するが、予見によるコーデ
ィング（coding by prediction）においては、コーディ
ングがコード化されているものより前のイメージからス
タートして単方向移動の補償を与えるときは（これは標
準H261およびMPEGの場合である）。予言はシンプル（si
mple）と呼ばれ、コーディングがコード化されているも
のより前および後のイメージからスタートして双方向移
動の補償を与えるときは（これはMPEG標準の場合のみで
ある）。予言は双方向であると呼ばれる。ソース イメ
ージに対するこのコーディング原理は、最も関心のある
顔のゾーンであるが、最も強い変位を受けるような強力
な顔表現ゾーンのコーディングに対し良好な適応を示
す。
ィングは、同じ空間的原点（spatial origin）を有する
情報のコーディング（intra coding；イントラ コーデ
ィング）と同じ空間的原点をもたない情報のコーディン
グ（予言によるコーディング）が組合されるよう、標準
MPEGおよびH261（CCITT により勧告されたH261標準およ
びMPEG標準−Moving Pictures Expert Group−について
は、journalIEEE spectrum から引用された論文に述べ
られている）による形式の混成コーディング モードに
より実現されるようにする。いわゆるイントラ コーデ
ィング（intra-coding）においては、コード化された情
報は１つの同じイメージに属するが、予見によるコーデ
ィング（coding by prediction）においては、コーディ
ングがコード化されているものより前のイメージからス
タートして単方向移動の補償を与えるときは（これは標
準H261およびMPEGの場合である）。予言はシンプル（si
mple）と呼ばれ、コーディングがコード化されているも
のより前および後のイメージからスタートして双方向移
動の補償を与えるときは（これはMPEG標準の場合のみで
ある）。予言は双方向であると呼ばれる。ソース イメ
ージに対するこのコーディング原理は、最も関心のある
顔のゾーンであるが、最も強い変位を受けるような強力
な顔表現ゾーンのコーディングに対し良好な適応を示
す。
【００５８】かくして、このアニメート イメージのコ
ーディングにあたっては、H261形コーディングの場合に
は、ナンバーｎおよびｎ−１を有する原イメージを永久
に記憶させる必要があり、MPEG形コーディングの場合に
は、ナンバーｎ（＝現在のイメージ）、ｎ−１， ｎ−
２およびｎ−３を有する原イメージを永久に記憶させる
必要がある（これは回路432 において実現される）。さ
らに、コーディングはイメージのグループに対して実行
され、連続するグループはオリジナル テーク（origin
al takes）に起因するイメージのシーケンスを形成する
ことに留意すべきである。各グループのイメージは例え
ば、８と16の間にあり、常にイントラコード イメージ
（intra-coded image ）で始まるイメージのナンバーＮ
により形成される。図10はＮ＝10の場合のこのようなグ
ループの一例を示すもので、イメージP3, P2, P1はシン
プルな予言（simple prediction ）によりそれぞれイメ
ージP2, P1およびＩ（イントラ コードされた最初のイ
メージ）から抽出され、イメージB1ないしB6はそれぞれ
早いイメージおよび遅いイメージから双方向予言（bidi
rectional prediction）により抽出される（すなわち、
B1およびB2はＩおよびP2から抽出され、B3およびB4はP1
およびP2から、またB5およびB6はP2およびP3から抽出さ
れる）。図10の矢印はこのシンプルまたは双方向の予言
方法を示す働きをする。これらの詳細については、前述
の論文“Video compression makesbig gain”（IEEE Sp
ectrum, 1991 年10月, vol. 28, no.10, 16 - 19 ペー
ジ参照）を始めとする種々の論文に記載されているの
で、アニメート イメージのコーディングに関する記述
は省略することにする。
ーディングにあたっては、H261形コーディングの場合に
は、ナンバーｎおよびｎ−１を有する原イメージを永久
に記憶させる必要があり、MPEG形コーディングの場合に
は、ナンバーｎ（＝現在のイメージ）、ｎ−１， ｎ−
２およびｎ−３を有する原イメージを永久に記憶させる
必要がある（これは回路432 において実現される）。さ
らに、コーディングはイメージのグループに対して実行
され、連続するグループはオリジナル テーク（origin
al takes）に起因するイメージのシーケンスを形成する
ことに留意すべきである。各グループのイメージは例え
ば、８と16の間にあり、常にイントラコード イメージ
（intra-coded image ）で始まるイメージのナンバーＮ
により形成される。図10はＮ＝10の場合のこのようなグ
ループの一例を示すもので、イメージP3, P2, P1はシン
プルな予言（simple prediction ）によりそれぞれイメ
ージP2, P1およびＩ（イントラ コードされた最初のイ
メージ）から抽出され、イメージB1ないしB6はそれぞれ
早いイメージおよび遅いイメージから双方向予言（bidi
rectional prediction）により抽出される（すなわち、
B1およびB2はＩおよびP2から抽出され、B3およびB4はP1
およびP2から、またB5およびB6はP2およびP3から抽出さ
れる）。図10の矢印はこのシンプルまたは双方向の予言
方法を示す働きをする。これらの詳細については、前述
の論文“Video compression makesbig gain”（IEEE Sp
ectrum, 1991 年10月, vol. 28, no.10, 16 - 19 ペー
ジ参照）を始めとする種々の論文に記載されているの
で、アニメート イメージのコーディングに関する記述
は省略することにする。
【００５９】このように、特定の関心のあるウインドウ
および可動３次元モデルのこれらの特定コーディングは
回路431 および回路432 によりあたえられるが、コード
化される特定の情報は種々の原点（origin）のものであ
ることに留意すべきである。すなわち、回路431 により
コード化されたものは、所定の瞬間においては、同じ空
間的原点の情報（モデルの特性ポイントの座標の周期的
出力）であるが、回路432 によりコード化されたものは
さらに複雑な原点のもの（イントラ コード化イメー
ジ、シンプルな予言により得られるイメージ、双方向の
予言により得られる補間イメージ）である。さらに、ウ
インドウの内側および外側の輝度値は、３次元モデルの
シャドウ効果を決定するためになされる輝度値Ｉ(AMB)
およびＩ(INC) の選択のため必ずしも一致させるを要し
ないことにも留意すべきである。実際上、この選択は、
必ずしも記録がなされる間に得られる輝度特性を反映す
るものである必要はなく、３次元モデルの特性ポイント
の適応から得られる合成イメージ上への任意のコード化
ウインドウの重畳は、この輝度の差の故に２つの領域間
の境界線を明らかにする。
および可動３次元モデルのこれらの特定コーディングは
回路431 および回路432 によりあたえられるが、コード
化される特定の情報は種々の原点（origin）のものであ
ることに留意すべきである。すなわち、回路431 により
コード化されたものは、所定の瞬間においては、同じ空
間的原点の情報（モデルの特性ポイントの座標の周期的
出力）であるが、回路432 によりコード化されたものは
さらに複雑な原点のもの（イントラ コード化イメー
ジ、シンプルな予言により得られるイメージ、双方向の
予言により得られる補間イメージ）である。さらに、ウ
インドウの内側および外側の輝度値は、３次元モデルの
シャドウ効果を決定するためになされる輝度値Ｉ(AMB)
およびＩ(INC) の選択のため必ずしも一致させるを要し
ないことにも留意すべきである。実際上、この選択は、
必ずしも記録がなされる間に得られる輝度特性を反映す
るものである必要はなく、３次元モデルの特性ポイント
の適応から得られる合成イメージ上への任意のコード化
ウインドウの重畳は、この輝度の差の故に２つの領域間
の境界線を明らかにする。
【００６０】このウインドウ内のイメージと合成イメー
ジとの間のこの輝度の偏移（luminance shift ）を回避
するため、本記述の関係するコーディング アセンブリ
およびデコーディングはこれに対する補正を与え、関連
のウインドウにおけるこの補正はビデオフォーン イメ
ージ デコーディング システムもしくはコーディング
システムのいずれかにおいて実行される。前者の場合
にはコーディング装置400 は前記補正を与えるを要しな
い。また、後者の場合、コーディング装置400は以下の
ように作動する輝度偏移補正回路433 を含む。
ジとの間のこの輝度の偏移（luminance shift ）を回避
するため、本記述の関係するコーディング アセンブリ
およびデコーディングはこれに対する補正を与え、関連
のウインドウにおけるこの補正はビデオフォーン イメ
ージ デコーディング システムもしくはコーディング
システムのいずれかにおいて実行される。前者の場合
にはコーディング装置400 は前記補正を与えるを要しな
い。また、後者の場合、コーディング装置400は以下の
ように作動する輝度偏移補正回路433 を含む。
【００６１】この回路433 はまず、顔それ自体の外側に
あるウインドウの部分（口のいずれかの側上のこのよう
な外側領域の例を図９に示す。）を除外するため、実際
の合成イメージを含み、各ウインドウ内に銘記されるい
わゆる有効ゾーンを決定する。このことにより、その照
度（顔の画素の明るさと大幅に異なる）が究極的な計算
を誤らせるかもしれない顔に属さないゾーンを考慮する
ことを回避することができる。この有効ゾーンはｘ−方
向およびｙ−方向において次のような方法で限定され
る。 (a) ｘ−方向の場合：左側上では、考慮中のウインド
ウの最も左端の横座標に等しいが、あるいはウインドウ
が顔の外側を伸長する場合は、このウインドウの左側の
縁部からスタートする合成イメージのゼロでない最初の
画素の横座標に等しいｘ(MIN) で示す横座標により限定
され、また右側上では、同じように、考慮中のウインド
ウの最も右端の横座標に等しいか、あるいはウインドウ
が顔の外側を伸長する場合はこのウインドウの右側の縁
部からスタートする合成イメージのゼロでない最初の画
素の横座標に等しいｘ(MAX) で示す横座標により限定さ
れる。 (b) ｙ−方向の場合：上側では、考慮中のウインドウ
の上縁の縦座標であるｙ(MAX) で示す縦座標により限定
され、下側ではウインドウの下縁の縦座標であるｙ(MI
N) で示す縦座標により限定される。
あるウインドウの部分（口のいずれかの側上のこのよう
な外側領域の例を図９に示す。）を除外するため、実際
の合成イメージを含み、各ウインドウ内に銘記されるい
わゆる有効ゾーンを決定する。このことにより、その照
度（顔の画素の明るさと大幅に異なる）が究極的な計算
を誤らせるかもしれない顔に属さないゾーンを考慮する
ことを回避することができる。この有効ゾーンはｘ−方
向およびｙ−方向において次のような方法で限定され
る。 (a) ｘ−方向の場合：左側上では、考慮中のウインド
ウの最も左端の横座標に等しいが、あるいはウインドウ
が顔の外側を伸長する場合は、このウインドウの左側の
縁部からスタートする合成イメージのゼロでない最初の
画素の横座標に等しいｘ(MIN) で示す横座標により限定
され、また右側上では、同じように、考慮中のウインド
ウの最も右端の横座標に等しいか、あるいはウインドウ
が顔の外側を伸長する場合はこのウインドウの右側の縁
部からスタートする合成イメージのゼロでない最初の画
素の横座標に等しいｘ(MAX) で示す横座標により限定さ
れる。 (b) ｙ−方向の場合：上側では、考慮中のウインドウ
の上縁の縦座標であるｙ(MAX) で示す縦座標により限定
され、下側ではウインドウの下縁の縦座標であるｙ(MI
N) で示す縦座標により限定される。
【００６２】この有効ゾーンの限定後、回路433 は考慮
中のウインドウ内のイメージ ソースと合成イメージ間
の平均輝度偏移を計算する。この計算は合成イメージと
ウインドウ内のイメージの双方の場合、各ウインドウに
対してかなり一様な明るさのゾーン間に位置する通常方
形の小ゾーン内で行うようにし、かくして眼および口に
近接する周辺のように輪郭またはコントラストに富んだ
ゾーンを避けるようにする（このようなゾーンにおいて
は、ソース イメージと合成イメージは大幅に異なり、
考慮中の全ウインドウに対する総体的な輝度偏移の評価
はもはや重要ではない。）。
中のウインドウ内のイメージ ソースと合成イメージ間
の平均輝度偏移を計算する。この計算は合成イメージと
ウインドウ内のイメージの双方の場合、各ウインドウに
対してかなり一様な明るさのゾーン間に位置する通常方
形の小ゾーン内で行うようにし、かくして眼および口に
近接する周辺のように輪郭またはコントラストに富んだ
ゾーンを避けるようにする（このようなゾーンにおいて
は、ソース イメージと合成イメージは大幅に異なり、
考慮中の全ウインドウに対する総体的な輝度偏移の評価
はもはや重要ではない。）。
【００６３】ここにいう、小ゾーンはウインドウの中心
の下方に位置するいくつかの画素の平方（CIF またはQC
IFフォーマットにおいては２つの画素、4/3 フォーマッ
トにおいては５つの画素）であり、実際上輝度がかなり
一様な位置にある（図11ないし13参照）。この方形のソ
ース イメージにおける平均輝度をＩ(SOURCE)で表し、
同じ方形内であるが合成イメージにおいて検出される平
均輝度をＩ(SYNTH) で表すものとすれば、次式によりOF
FSET(f) で表すようなこれらの輝度値の差は考慮中のウ
インドウに対する２つのイメージ間の平均偏移を示す。
の下方に位置するいくつかの画素の平方（CIF またはQC
IFフォーマットにおいては２つの画素、4/3 フォーマッ
トにおいては５つの画素）であり、実際上輝度がかなり
一様な位置にある（図11ないし13参照）。この方形のソ
ース イメージにおける平均輝度をＩ(SOURCE)で表し、
同じ方形内であるが合成イメージにおいて検出される平
均輝度をＩ(SYNTH) で表すものとすれば、次式によりOF
FSET(f) で表すようなこれらの輝度値の差は考慮中のウ
インドウに対する２つのイメージ間の平均偏移を示す。
【００６４】
【数１】 ここで、ｎは考慮中の小ゾーン（ここでは方形）内の画
素の数、ｆは論議中のウインドウに関する値である。か
くして計算された平均偏移はすべてのウインドウ用とし
て採用される。
素の数、ｆは論議中のウインドウに関する値である。か
くして計算された平均偏移はすべてのウインドウ用とし
て採用される。
【００６５】回路433 により行われるべき輝度偏移の補
正は、次のように実現される（図11ないし13および関連
する以下の記述参照）。まず始めに、すべて各ウインド
ウの縁部に沿って伸長し、この場合は線形様式で輝度が
変化し、したがって一種の傾度を生ずるような転移ゾー
ンを形成するような数個の画素の幅（CIF, QCIF または
4/3フォーマットのいずれが含まれるかにより、５，３
あるいは10の画素の幅）を有するフリンジ領域RBを限定
する。本実施例の場合、この転移ゾーンは図11に示すよ
うに、その縁部がウインドウの境界に平行であり、かつ
すべてが関連ウインドウの内側に位置するを可とするよ
うな船形領域（ship）であるが、この船形ゾーンは図12
に示すように完全にウインドウの外側に位置するもので
もよく、また図13に示すように、ウインドウの縁部をま
たぐようなものでもよい。
正は、次のように実現される（図11ないし13および関連
する以下の記述参照）。まず始めに、すべて各ウインド
ウの縁部に沿って伸長し、この場合は線形様式で輝度が
変化し、したがって一種の傾度を生ずるような転移ゾー
ンを形成するような数個の画素の幅（CIF, QCIF または
4/3フォーマットのいずれが含まれるかにより、５，３
あるいは10の画素の幅）を有するフリンジ領域RBを限定
する。本実施例の場合、この転移ゾーンは図11に示すよ
うに、その縁部がウインドウの境界に平行であり、かつ
すべてが関連ウインドウの内側に位置するを可とするよ
うな船形領域（ship）であるが、この船形ゾーンは図12
に示すように完全にウインドウの外側に位置するもので
もよく、また図13に示すように、ウインドウの縁部をま
たぐようなものでもよい。
【００６６】最初の場合には補正後のウインドウ内の輝
度は次式により与えられる。 I1(WIN/CORR)＝I(SOURCE) i,j ＋VALCOR ここで、 −I1(WIN/CORR)は補正された輝度値； −I(SOURCE) i,j は該転移ゾーンにおいて考慮中の座標
点（ｉ，ｊ）におけるソース イメージの輝度の値； −VALCORは、そのサイン(sign)により考慮することを要
し、（ウインドウの外側の合成イメージはソース イメ
ージより多少は明るい）かつ考慮中の座標ポイント
（ｉ，ｊ）により異なる値VALCOR1, VALCOR2, VALCOR3
をとる偏移補正値で、(a) 顔のゾーンの外側（図11の
ゾーンＡ）では、この値は各ポイントごとに次式、すな
わち、 VALCOR1 ＝I(SYNTH)i,j − I(SOURCE)i,j で与えられ、(b) 転移ゾーンの内部境界の内側にある
ウインドウのすべてのゾーン（ゾーンＢ）（すでに顔の
ゾーンの外側にあり、上記の(a) により処理されるであ
ろうポイントを除く）では、この値は一定で、次式、す
なわち、 VALCOR2 ＝ OFFSET(f) で与えられ、(c) 転移ゾーンの該内部境界とウインド
ウの縁部の間（ゾーンＣ）では、値VALCOR3 はこれらの
２つの値VALCOR2 とVALCOR1 の間を直線的に変化する。
度は次式により与えられる。 I1(WIN/CORR)＝I(SOURCE) i,j ＋VALCOR ここで、 −I1(WIN/CORR)は補正された輝度値； −I(SOURCE) i,j は該転移ゾーンにおいて考慮中の座標
点（ｉ，ｊ）におけるソース イメージの輝度の値； −VALCORは、そのサイン(sign)により考慮することを要
し、（ウインドウの外側の合成イメージはソース イメ
ージより多少は明るい）かつ考慮中の座標ポイント
（ｉ，ｊ）により異なる値VALCOR1, VALCOR2, VALCOR3
をとる偏移補正値で、(a) 顔のゾーンの外側（図11の
ゾーンＡ）では、この値は各ポイントごとに次式、すな
わち、 VALCOR1 ＝I(SYNTH)i,j − I(SOURCE)i,j で与えられ、(b) 転移ゾーンの内部境界の内側にある
ウインドウのすべてのゾーン（ゾーンＢ）（すでに顔の
ゾーンの外側にあり、上記の(a) により処理されるであ
ろうポイントを除く）では、この値は一定で、次式、す
なわち、 VALCOR2 ＝ OFFSET(f) で与えられ、(c) 転移ゾーンの該内部境界とウインド
ウの縁部の間（ゾーンＣ）では、値VALCOR3 はこれらの
２つの値VALCOR2 とVALCOR1 の間を直線的に変化する。
【００６７】実際にウインドウの縁部は、ここでは限定
されたｘ−軸およびｙ−軸に平行であり、この場合にお
ける該変化はそれがウインドウの左および右の側縁部に
沿って起こる場合は単一水平座標ｘに関する線形変化で
あり、ウインドウの下縁および上縁に沿って起こる場合
は、単一垂直座標ｙに関する線形変化である。第２の場
合（図12）または第３の場合（図13）には輝度（lumina
nce ）に適用すべき補正値を決定することを可能にする
ようなほぼ同じ計算が行われ（ゾーンＡ，Ｂ，Ｃは同じ
ようにして限定される）。最終的に、平均偏移OFFSET
(f) は全体としてウインドウごとにかなり僅かしか変化
しないことが要求（仮定）される。しかし、この差は最
後に再構成された際、イメージ内で眼に見え、審美的で
はないため、例えば、それらの平均をとり、この平均の
計算から大幅に他と異なる平均偏移値の任意の１つを捨
てることにより、ウインドウの各々に対して同じ平均オ
フセット値を選定することが望ましい。
されたｘ−軸およびｙ−軸に平行であり、この場合にお
ける該変化はそれがウインドウの左および右の側縁部に
沿って起こる場合は単一水平座標ｘに関する線形変化で
あり、ウインドウの下縁および上縁に沿って起こる場合
は、単一垂直座標ｙに関する線形変化である。第２の場
合（図12）または第３の場合（図13）には輝度（lumina
nce ）に適用すべき補正値を決定することを可能にする
ようなほぼ同じ計算が行われ（ゾーンＡ，Ｂ，Ｃは同じ
ようにして限定される）。最終的に、平均偏移OFFSET
(f) は全体としてウインドウごとにかなり僅かしか変化
しないことが要求（仮定）される。しかし、この差は最
後に再構成された際、イメージ内で眼に見え、審美的で
はないため、例えば、それらの平均をとり、この平均の
計算から大幅に他と異なる平均偏移値の任意の１つを捨
てることにより、ウインドウの各々に対して同じ平均オ
フセット値を選定することが望ましい。
【００６８】このようにして輝度補正が行われた後、コ
ーディング装置400 の回路432 は、ウインドウ内にソー
ス イメージの輝度値のコーディングの代わりに上述の
ようなこれらの補正値のコーディングを与え、次いで、
コーディング装置400 の出力から図１に示す伝送・記憶
チャネルCLに向かって例えは校正フェーズまたは更新フ
ェーズが３次元モデル用の特性コーディング パラメー
タ ウインドウ用の特定コーディング パラメータを得
ることを示す信号、イメージの終わりを示す信号、…の
ような符号化情報がこの順序で適当に供給されるよう形
成する。フォーマッティング（formatting）と呼ばれる
このような順序的供給作動については公知のものでその
詳細については説明を省略するが、符号化データの提供
の変化が上述の作動原理になんらかの影響を与えること
はない。
ーディング装置400 の回路432 は、ウインドウ内にソー
ス イメージの輝度値のコーディングの代わりに上述の
ようなこれらの補正値のコーディングを与え、次いで、
コーディング装置400 の出力から図１に示す伝送・記憶
チャネルCLに向かって例えは校正フェーズまたは更新フ
ェーズが３次元モデル用の特性コーディング パラメー
タ ウインドウ用の特定コーディング パラメータを得
ることを示す信号、イメージの終わりを示す信号、…の
ような符号化情報がこの順序で適当に供給されるよう形
成する。フォーマッティング（formatting）と呼ばれる
このような順序的供給作動については公知のものでその
詳細については説明を省略するが、符号化データの提供
の変化が上述の作動原理になんらかの影響を与えること
はない。
【００６９】これまで記述してきたコーディング手段
は、イメージ シーケンス内の小物を顔または小アング
ルで見る限り、デコーディング端において究極的に満足
な質のイメージ再校正を与えるのに充分である。実際
上、イメージの有用部分の２つのゾーンの間の境界にお
ける輝度偏移の補正は１つの同じイメージの範囲におけ
る２つの別個のコーディング原理の組合せに起因する再
現イメージの任意の不均等性を一掃させる。
は、イメージ シーケンス内の小物を顔または小アング
ルで見る限り、デコーディング端において究極的に満足
な質のイメージ再校正を与えるのに充分である。実際
上、イメージの有用部分の２つのゾーンの間の境界にお
ける輝度偏移の補正は１つの同じイメージの範囲におけ
る２つの別個のコーディング原理の組合せに起因する再
現イメージの任意の不均等性を一掃させる。
【００７０】他方において、ある環境のもとではイメー
ジの他の部分の劣化が勘案される。すなわち、最初に校
正された３次元モデルは、動く人物とイメージの固定背
景との間の移り変わりにおいては、例えば人物が15°以
上の左または右への垂直軸のまわりの回転のよう頭部の
大きな回転を行うときこの人物の動きにそれ自体を適応
させるのに充分な程正確とはいえず、実際には耳や頭の
背部を含む側方小面（lateral facet ）があらわれ、当
初の校正ではこれらのアイテムに関する情報は考慮され
ておらず、さらに頬の部分の上に位置するいくつかの小
面に新しい情報の伝送を必要とする。図14は特に、プロ
フィールで見た３次元モデル内のこれらの２つのゾー
ン、すなわち耳および頭髪を含むゾーンARおよび頬を含
むゾーンJOを示す。
ジの他の部分の劣化が勘案される。すなわち、最初に校
正された３次元モデルは、動く人物とイメージの固定背
景との間の移り変わりにおいては、例えば人物が15°以
上の左または右への垂直軸のまわりの回転のよう頭部の
大きな回転を行うときこの人物の動きにそれ自体を適応
させるのに充分な程正確とはいえず、実際には耳や頭の
背部を含む側方小面（lateral facet ）があらわれ、当
初の校正ではこれらのアイテムに関する情報は考慮され
ておらず、さらに頬の部分の上に位置するいくつかの小
面に新しい情報の伝送を必要とする。図14は特に、プロ
フィールで見た３次元モデル内のこれらの２つのゾー
ン、すなわち耳および頭髪を含むゾーンARおよび頬を含
むゾーンJOを示す。
【００７１】このイメージ品質の局部的劣化を回復させ
るためには、リフレッシュ操作を提案することが好まし
い。ただし、イメージ品質（頻繁なリフレッシュが必
要）と伝送すべきデータ量（最も少ない値に減少させ、
リフレッシュの感覚をできるだけ広くすることが必要）
との間に妥協が得られるような頻度でこのリフレッシュ
が行われなければならないことに留意する必要がある。
上述の説明から分かるように、３次元モデルの校正はシ
ーケンスのスタート時に原イメージに対する調整を得る
ことで、シャドウ効果の利用により完成されるこのベー
ス モデルのノードと小面とをベースにしており、ま
た、最終的に得られる合成イメージは各モデル小面ごと
に、この小面Ｆに属する頻度値 LOMB (F) とテクスチュ
ア係数（texture coefficient ；組織係数）CTとの積に
より限定される。この場合、テクスチュア係数それ自体
は顔で見たオリジナル イメージをベースにして定めら
れる。小面Ｆに対するこの合成イメージは次式、すなわ
ち、 I(SYNTH) F ＝ IOMB (F)x CT(F) で表され、CT(F) は次式、すなわち、 CT(F)＝ I(SOURCE)F ／ IOMB (F) で表される。
るためには、リフレッシュ操作を提案することが好まし
い。ただし、イメージ品質（頻繁なリフレッシュが必
要）と伝送すべきデータ量（最も少ない値に減少させ、
リフレッシュの感覚をできるだけ広くすることが必要）
との間に妥協が得られるような頻度でこのリフレッシュ
が行われなければならないことに留意する必要がある。
上述の説明から分かるように、３次元モデルの校正はシ
ーケンスのスタート時に原イメージに対する調整を得る
ことで、シャドウ効果の利用により完成されるこのベー
ス モデルのノードと小面とをベースにしており、ま
た、最終的に得られる合成イメージは各モデル小面ごと
に、この小面Ｆに属する頻度値 LOMB (F) とテクスチュ
ア係数（texture coefficient ；組織係数）CTとの積に
より限定される。この場合、テクスチュア係数それ自体
は顔で見たオリジナル イメージをベースにして定めら
れる。小面Ｆに対するこの合成イメージは次式、すなわ
ち、 I(SYNTH) F ＝ IOMB (F)x CT(F) で表され、CT(F) は次式、すなわち、 CT(F)＝ I(SOURCE)F ／ IOMB (F) で表される。
【００７２】頭部の大きな回転の間に強力に変化するい
くつかの側部小面（lateral facet）あるいは隠された
小面（hidden facet）に対応するテクスチュア係数（te
xture coefficient ）については未知である。これらを
決定するため、初期校正の周期的繰返しを実行すること
は可能であるが、その場合には隣接する小面間の輝度の
累進的不連続が明らかとなることが観察される。
くつかの側部小面（lateral facet）あるいは隠された
小面（hidden facet）に対応するテクスチュア係数（te
xture coefficient ）については未知である。これらを
決定するため、初期校正の周期的繰返しを実行すること
は可能であるが、その場合には隣接する小面間の輝度の
累進的不連続が明らかとなることが観察される。
【００７３】次に、この問題を解決するため、コーディ
ング サブアセンブリは図１に示すような校正補正装置
500 を含む。前記装置500 は一方では合成イメージとオ
リジナル イメージ間の輝度差（または色度差）を検出
する手段510 、他方では該検出の結果にしたがってデー
タをリフレッシュする手段520 を含み、さらにコーディ
ング装置400 内に配置したかくして得られる新しい情報
をコード化する手段530 を具える。これらの手段510 な
いし530 は必ずしもすべての環境下に与えられるのでな
く、この利用において観察可能なイメージ品質の劣化を
救済する前述の特定利用のみにおいて与えられるような
独自のブロックを構成する。
ング サブアセンブリは図１に示すような校正補正装置
500 を含む。前記装置500 は一方では合成イメージとオ
リジナル イメージ間の輝度差（または色度差）を検出
する手段510 、他方では該検出の結果にしたがってデー
タをリフレッシュする手段520 を含み、さらにコーディ
ング装置400 内に配置したかくして得られる新しい情報
をコード化する手段530 を具える。これらの手段510 な
いし530 は必ずしもすべての環境下に与えられるのでな
く、この利用において観察可能なイメージ品質の劣化を
救済する前述の特定利用のみにおいて与えられるような
独自のブロックを構成する。
【００７４】第１実施例の場合、前記検出手段510 は合
成イメージとオリジナル イメージ間の平均エラーを計
算する回路を含む。この平均エラー ERRM (.) は各イメ
ージに対して次式により評価される。
成イメージとオリジナル イメージ間の平均エラーを計
算する回路を含む。この平均エラー ERRM (.) は各イメ
ージに対して次式により評価される。
【００７５】
【数２】 ここで、ZCは関連のゾーン（この場合はゾーンARまたは
ゾーンIO）、 NF はこのゾーンにおける小面の数、また
NP はF(i)に関係する小面の画素の数である。リフレッ
シュが与えられない場合は、平均エラーは側部小面の出
現に比例して増加し、これらの小面が最大の表面積を示
すときその最大値を呈する。このようなリフレッシュ操
作を実行するかどうかの欠点はこの平均エラーをスレシ
ュールドTHRES と比較することにより行われる。すなわ
ち、平均エラー ERRM (ZC)がスレショールドより大きい
場合はテクスチュア パラメータの新しい伝送によりこ
のゾーンに対してリフレッシュが起こり、この伝送が終
了すると、平均エラーは減少し、きわめて大きい回転が
関与する以外は、後続の新しいテクスチュア パラメー
タの伝送を必要としない。スレショールドTHRES は所望
のイメージ品質と伝送しようとするデータ量との間の所
望の妥協に適合するよう調整する。
ゾーンIO）、 NF はこのゾーンにおける小面の数、また
NP はF(i)に関係する小面の画素の数である。リフレッ
シュが与えられない場合は、平均エラーは側部小面の出
現に比例して増加し、これらの小面が最大の表面積を示
すときその最大値を呈する。このようなリフレッシュ操
作を実行するかどうかの欠点はこの平均エラーをスレシ
ュールドTHRES と比較することにより行われる。すなわ
ち、平均エラー ERRM (ZC)がスレショールドより大きい
場合はテクスチュア パラメータの新しい伝送によりこ
のゾーンに対してリフレッシュが起こり、この伝送が終
了すると、平均エラーは減少し、きわめて大きい回転が
関与する以外は、後続の新しいテクスチュア パラメー
タの伝送を必要としない。スレショールドTHRES は所望
のイメージ品質と伝送しようとするデータ量との間の所
望の妥協に適合するよう調整する。
【００７６】第２実施例の場合、検出手段510 は角検出
回路を含む。すなわち、垂直軸のまわりの回転（角θに
よる）の結果としてのモデルの小面のオリエンテーショ
ンによって、リフレッシュ操作が起こったり、起こらな
かったりする。頭および耳の側部（ゾーンAR）における
小面に対しては通常、少なくとも２つのリフレッシュ操
作、すなわち、１つは例えば20°のオーダーの適度の角
に対するもの、他は顔の場合に耳の形を満足に描写しよ
うとするときの約35°の角に対するものが必要であるこ
とが分かっている。これに対して、ゾーンJOにおける情
報は輪郭およびテクスチュア（組織）に富んでおらず、
約35°に対する単一リフレッシュで充分である。
回路を含む。すなわち、垂直軸のまわりの回転（角θに
よる）の結果としてのモデルの小面のオリエンテーショ
ンによって、リフレッシュ操作が起こったり、起こらな
かったりする。頭および耳の側部（ゾーンAR）における
小面に対しては通常、少なくとも２つのリフレッシュ操
作、すなわち、１つは例えば20°のオーダーの適度の角
に対するもの、他は顔の場合に耳の形を満足に描写しよ
うとするときの約35°の角に対するものが必要であるこ
とが分かっている。これに対して、ゾーンJOにおける情
報は輪郭およびテクスチュア（組織）に富んでおらず、
約35°に対する単一リフレッシュで充分である。
【００７７】第３実施例の場合、前記検出手段510 は、
所定の小面に対して、これらのテクスチュア係数の初期
値の補間により決められたテクスチュア係数の数とこれ
ら初期のテクスチュア係数の数との比を計算し、もしく
は考慮中のゾーン（ゾーンARまたはゾーンJO）内の全体
の小面に対してこのように設定された平均レシオを計算
する回路を含む。
所定の小面に対して、これらのテクスチュア係数の初期
値の補間により決められたテクスチュア係数の数とこれ
ら初期のテクスチュア係数の数との比を計算し、もしく
は考慮中のゾーン（ゾーンARまたはゾーンJO）内の全体
の小面に対してこのように設定された平均レシオを計算
する回路を含む。
【００７８】リフレッシュ決定とも呼ばれる校正補正の
決定を行うには、このリフレッシュ情報がある場合は、
そのコーディングを確保することが必要である。以下、
例えばコーディング サブアセンブリにおいてはテクス
チュア係数はコード化されず、オリジナル（またはソー
ス）イメージの一部のコーディングにもとづいてデコー
ディング サブアセンブリにおいて限定される場合に関
しこのコーディングを説明することにする。この場合に
も、例えば、ゾーンAR（頭の後部の頭髪プラス耳）の場
合とゾーンJO（頬）の場合を区別することが可能であ
る。
決定を行うには、このリフレッシュ情報がある場合は、
そのコーディングを確保することが必要である。以下、
例えばコーディング サブアセンブリにおいてはテクス
チュア係数はコード化されず、オリジナル（またはソー
ス）イメージの一部のコーディングにもとづいてデコー
ディング サブアセンブリにおいて限定される場合に関
しこのコーディングを説明することにする。この場合に
も、例えば、ゾーンAR（頭の後部の頭髪プラス耳）の場
合とゾーンJO（頬）の場合を区別することが可能であ
る。
【００７９】ゾーンAR内でリフレッシュされるべきゾー
ンは、その中でDCT 形コーディングが行われるほぼ方形
のウインドウにより限定（delimit ）される。ウンドウ
用に選定される座標は、例えば、図14に示すように、リ
フレッシュしようとするゾーンの一番はしのポイント、
すなわちこの場合は次のポイントにより定められる。 −一番左はしのポイント PEG： xEG＝X(88) −一番上のポイント PES： yES＝y(120) −一番右はしのポイント PED： xED＝x(231) −一番下のポイント PEL： yEL＝y(231) ここで、x(.), y(.)はこのようにナンバー付けしたモデ
ルのすべてのノードの間で括弧間に示したナンバーを有
する図14内のポイントの横座標および縦座標である（た
だし、他のノードのナンバーは図を混乱させないように
するため図示を省略してある）。
ンは、その中でDCT 形コーディングが行われるほぼ方形
のウインドウにより限定（delimit ）される。ウンドウ
用に選定される座標は、例えば、図14に示すように、リ
フレッシュしようとするゾーンの一番はしのポイント、
すなわちこの場合は次のポイントにより定められる。 −一番左はしのポイント PEG： xEG＝X(88) −一番上のポイント PES： yES＝y(120) −一番右はしのポイント PED： xED＝x(231) −一番下のポイント PEL： yEL＝y(231) ここで、x(.), y(.)はこのようにナンバー付けしたモデ
ルのすべてのノードの間で括弧間に示したナンバーを有
する図14内のポイントの横座標および縦座標である（た
だし、他のノードのナンバーは図を混乱させないように
するため図示を省略してある）。
【００８０】次に、このようにして限定されたウインド
ウの幅を、ブロックの整数、ここでは次に上位の整数に
ラウンド アップ（round up）することにより、DCT コ
ーディング用として使用するブロック（ここでは８×８
画素のブロック）の幅の倍数に適応させ、ついでコーデ
ィング（DCT 変換によるJPEG形コーディング）を実施さ
せる。この場合、コーディングのコストの大きさのオー
ダーは考慮中の種々のフォーマットに対して次表により
与えられる。 θ＝ 15° 30° コーディング前： CIF （バイト） 4500 7400 コーディング前： QCIF（バイト） 1150 1800 コーディング後： CIF （ビット） 1916 4400 コーディング後： QCIF（ビット） 1500 2340 伝送時間 ： CIF （秒） 0.3 0.6 伝送時間 ： QCIF（秒） 0.2 0.3
ウの幅を、ブロックの整数、ここでは次に上位の整数に
ラウンド アップ（round up）することにより、DCT コ
ーディング用として使用するブロック（ここでは８×８
画素のブロック）の幅の倍数に適応させ、ついでコーデ
ィング（DCT 変換によるJPEG形コーディング）を実施さ
せる。この場合、コーディングのコストの大きさのオー
ダーは考慮中の種々のフォーマットに対して次表により
与えられる。 θ＝ 15° 30° コーディング前： CIF （バイト） 4500 7400 コーディング前： QCIF（バイト） 1150 1800 コーディング後： CIF （ビット） 1916 4400 コーディング後： QCIF（ビット） 1500 2340 伝送時間 ： CIF （秒） 0.3 0.6 伝送時間 ： QCIF（秒） 0.2 0.3
【００８１】上表の値は明らかに実行されるテストに対
する表示を与えるのみであり、CIFウンドウに対するコ
ーディング トール（coding toll ）は約0.6 ビット／
画素において評価され、QCIFウインドウに対するそれは
約1.3 ビット／画素において評価される。また、伝送時
間の値は１つのイメージに対して７キロビット／秒の伝
送速度をベースにして決められる。この伝送の迅速性を
確保するため、リフレッシュ データは、このリフレッ
シュ操作が起こる限りコーディング ビットの伝送がス
トップされ、その後再選定されるよう一時的に優先権が
与えられるようにする。この伝送の中断は、例えば0.6
秒のオーダーの中断に対応する６つのイメージのような
所定の限定イメージ数に影響を与える。明らかに、どの
フェーズが行われるかを示すことは必要であり、データ
の始めに置かれたモード インジケータ パラメータが
この情報を与え、例えば、リフレッシュが進行している
ときは値１をとり、リフレッシュがないか、それが終了
したときは値０をとる。
する表示を与えるのみであり、CIFウンドウに対するコ
ーディング トール（coding toll ）は約0.6 ビット／
画素において評価され、QCIFウインドウに対するそれは
約1.3 ビット／画素において評価される。また、伝送時
間の値は１つのイメージに対して７キロビット／秒の伝
送速度をベースにして決められる。この伝送の迅速性を
確保するため、リフレッシュ データは、このリフレッ
シュ操作が起こる限りコーディング ビットの伝送がス
トップされ、その後再選定されるよう一時的に優先権が
与えられるようにする。この伝送の中断は、例えば0.6
秒のオーダーの中断に対応する６つのイメージのような
所定の限定イメージ数に影響を与える。明らかに、どの
フェーズが行われるかを示すことは必要であり、データ
の始めに置かれたモード インジケータ パラメータが
この情報を与え、例えば、リフレッシュが進行している
ときは値１をとり、リフレッシュがないか、それが終了
したときは値０をとる。
【００８２】ゾーンJOの場合も、その手順は同様でほぼ
方形のウインドウは上述のように決められた例えば次に
示すような一番はしのポイントの座標により図14のよう
に限定される。 −一番左はしのポイント PEG： xEG＝x(125) −一番上のポイント PES： yES＝y(72) −一番右はしのポイント PED： xED＝x(30) −一番下のポイント PEL： yEL＝y(13) ついで、前述のようにして、ウインドウの幅の適応化お
よびそのコーディングが行われる。この場合、コーディ
ング トール（coding toll ）の評価は次のように与え
られる。 θ＝ 15° 30° コーディング前 CIF （バイト） 3200 3800 コーディング前 QCIF（バイト） 800 950 コーディング後 CIF（ビット） 1920 2270 コーディング後 QCIF（ビット） 1040 1230 伝送時間 CIF（秒） 0.27 0.3 伝送時間 QCIF（秒） 0.15 0.17
方形のウインドウは上述のように決められた例えば次に
示すような一番はしのポイントの座標により図14のよう
に限定される。 −一番左はしのポイント PEG： xEG＝x(125) −一番上のポイント PES： yES＝y(72) −一番右はしのポイント PED： xED＝x(30) −一番下のポイント PEL： yEL＝y(13) ついで、前述のようにして、ウインドウの幅の適応化お
よびそのコーディングが行われる。この場合、コーディ
ング トール（coding toll ）の評価は次のように与え
られる。 θ＝ 15° 30° コーディング前 CIF （バイト） 3200 3800 コーディング前 QCIF（バイト） 800 950 コーディング後 CIF（ビット） 1920 2270 コーディング後 QCIF（ビット） 1040 1230 伝送時間 CIF（秒） 0.27 0.3 伝送時間 QCIF（秒） 0.15 0.17
【００８３】伝送時間はゾーンARの場合と比較すると低
くなっているが、頬の部分の輝度(または色度) が比較
的一様な場合はまだかなりの大きさと考えられる。した
がって、考慮中の小面の３つの頂点における強度間の線
形補間によって各小面上の強度を描写することができ
る。かくして、小面の内側の任意のポイントにおける輝
度I(PIXEL)は次のような形式により小面の左端部および
右端部に関するその位置の関数として表される。 I(PIXEL) ＝aL＋bR ここで、ａおよびｂは係数、ＬおよびＲはそれぞれ左縁
部および右縁部において補間された強度で、該強度は両
縁部の端部における３つの強度と関係する。この補間の
可能性は縁部の該端部の強度のみをコード化し、伝送す
ることを可能にし、かくしてコーディング トール（コ
ーディング料金）のかなりの低減をもたらす（例えば、
15の小面上の強度が13の縁端における強度をベースにし
て補間された場合は、コーディング トールは補間が起
こらない場合の2000ビットに対して13×８＝104 ビット
となり、約20分の１、すなわちファクタ20で減少する。
くなっているが、頬の部分の輝度(または色度) が比較
的一様な場合はまだかなりの大きさと考えられる。した
がって、考慮中の小面の３つの頂点における強度間の線
形補間によって各小面上の強度を描写することができ
る。かくして、小面の内側の任意のポイントにおける輝
度I(PIXEL)は次のような形式により小面の左端部および
右端部に関するその位置の関数として表される。 I(PIXEL) ＝aL＋bR ここで、ａおよびｂは係数、ＬおよびＲはそれぞれ左縁
部および右縁部において補間された強度で、該強度は両
縁部の端部における３つの強度と関係する。この補間の
可能性は縁部の該端部の強度のみをコード化し、伝送す
ることを可能にし、かくしてコーディング トール（コ
ーディング料金）のかなりの低減をもたらす（例えば、
15の小面上の強度が13の縁端における強度をベースにし
て補間された場合は、コーディング トールは補間が起
こらない場合の2000ビットに対して13×８＝104 ビット
となり、約20分の１、すなわちファクタ20で減少する。
【００８４】ビデオ電話画像用の符号化サブアセンブリ
の実施例は、このシステムのあるエレメントに対し起こ
り得る変形の指示を適用可能であれば伴って、図１ない
し図14を引用して既に説明した。逆に、極めて遅い伝送
レートの伝送及び高いデータ圧縮レートの記憶のいずれ
か一方又は双方の目的で、このタイプの符号化サブアセ
ンブリにより画像が処理されたときには、そのような原
始信号に対応する符号化された信号は、その概略図を図
15に示す信号復号サブアセンブリによって受信される。
この復号サブアセンブリは、一方では演算モードを検出
するための回路550 を有すると共に、他方では該回路の
出力すなわちそれぞれ初期較正<initialcalibration>
情報の復号のため及び情報更新のための段階600 及び段
階700 を有し、これらの段階は互いに並列に接続されて
いる。
の実施例は、このシステムのあるエレメントに対し起こ
り得る変形の指示を適用可能であれば伴って、図１ない
し図14を引用して既に説明した。逆に、極めて遅い伝送
レートの伝送及び高いデータ圧縮レートの記憶のいずれ
か一方又は双方の目的で、このタイプの符号化サブアセ
ンブリにより画像が処理されたときには、そのような原
始信号に対応する符号化された信号は、その概略図を図
15に示す信号復号サブアセンブリによって受信される。
この復号サブアセンブリは、一方では演算モードを検出
するための回路550 を有すると共に、他方では該回路の
出力すなわちそれぞれ初期較正<initialcalibration>
情報の復号のため及び情報更新のための段階600 及び段
階700 を有し、これらの段階は互いに並列に接続されて
いる。
【００８５】茲のモード検出回路550 は、交換子<commu
tator>であって、これは送られたデータの頭初にある信
号をその入力で受信するように設計され、また、この入
力信号により指示される符号化サブアセンブリの演算モ
ードに依存して、初期較正情報の復号用の段階600 の入
力か情報更新用の段階700 の入力かのどちらかに接続さ
れる出力を持つている。以下に示されるように、交換子
の入力信号はまた、符号化サブアセンブリ中にリフレッ
シュが起きたか否かをも指示する：それからこの交換子
の出力は、これもやはり並列に接続されているリフレッ
シュ情報復号用の段階800 に接続（図15ではこれを破線
で示す）される。以下、段階600,段階700,段階800 をこ
の順序で説明する。
tator>であって、これは送られたデータの頭初にある信
号をその入力で受信するように設計され、また、この入
力信号により指示される符号化サブアセンブリの演算モ
ードに依存して、初期較正情報の復号用の段階600 の入
力か情報更新用の段階700 の入力かのどちらかに接続さ
れる出力を持つている。以下に示されるように、交換子
の入力信号はまた、符号化サブアセンブリ中にリフレッ
シュが起きたか否かをも指示する：それからこの交換子
の出力は、これもやはり並列に接続されているリフレッ
シュ情報復号用の段階800 に接続（図15ではこれを破線
で示す）される。以下、段階600,段階700,段階800 をこ
の順序で説明する。
【００８６】図16に示す初期較正情報の復号段階600
は、先ず最初に回路550 の出力に回路601 を有し、これ
は３次元ベース・モデルに正しいスケールを与えるよう
に初期パラメタを記憶するためのものである。次にこの
回路601 の実行する演算を説明する。先ず、伝送の開始
に１があるか否かが試験される：もしその答がYES なら
ば、デバイス600 はモデルの各ノードに対しθi,φ, ψ
i,Txi,Tyi と書かれる初期位置<initial positions> を
受信し、続いてこれらのノードの（典型的には茲に示す
実施例では 500のノードがある）座標変換に対するパラ
メタ dｘi, dｙi,dｚi を受信する、この座標変換はモ
デルに正しいスケールを与えることを可能とする。もし
伝送の開始に１がなかったら（試験の答がNOだった
ら）、回路601は恒久的に符号「新画像<new image> 」
の存在の可能性を検索し、これを見出したら「初期画像
<initial image> 」と符号化された情報の受信を中断し
てパラメタθ，φ，ψ，Tx，Tyの変形 dθ,dφ,dψ,dT
x,dTyを受信するようになる。これらの位置及び方向の
変更は更新情報の復号を開始する瞬間のモデルの現在位
置を確定するのに役立つであろう。
は、先ず最初に回路550 の出力に回路601 を有し、これ
は３次元ベース・モデルに正しいスケールを与えるよう
に初期パラメタを記憶するためのものである。次にこの
回路601 の実行する演算を説明する。先ず、伝送の開始
に１があるか否かが試験される：もしその答がYES なら
ば、デバイス600 はモデルの各ノードに対しθi,φ, ψ
i,Txi,Tyi と書かれる初期位置<initial positions> を
受信し、続いてこれらのノードの（典型的には茲に示す
実施例では 500のノードがある）座標変換に対するパラ
メタ dｘi, dｙi,dｚi を受信する、この座標変換はモ
デルに正しいスケールを与えることを可能とする。もし
伝送の開始に１がなかったら（試験の答がNOだった
ら）、回路601は恒久的に符号「新画像<new image> 」
の存在の可能性を検索し、これを見出したら「初期画像
<initial image> 」と符号化された情報の受信を中断し
てパラメタθ，φ，ψ，Tx，Tyの変形 dθ,dφ,dψ,dT
x,dTyを受信するようになる。これらの位置及び方向の
変更は更新情報の復号を開始する瞬間のモデルの現在位
置を確定するのに役立つであろう。
【００８７】上記初期パラメタを受信し、処理したとき
透明<transparent> になる回路601の次に、モデルの改
定についつの情報を計算し、記憶する回路602 がある。
この回路602 は、これらのノードの座標中の伝送された
変動に基礎をおくノードの座標で特徴付けられる初期３
次元モデルの改定を可能にする。新しい値は、すべての
合成画像の生成される間には使われるために、この回路
602 内のメモリに記憶される。回路602 の次には回路60
3 があり、これは原始方向に対応する（すなわち３次元
モデルに任意の初期回転を与える目的で伝送された初期
画像の回転に対応する）初期座標を計算するためのもの
である。こうしてこれら（もしあれば）の初期回転は３
次元モデルに与えられ、得られた新しい値ｘ',ｙ',ｚ'
は新しい３次元モデルとして記憶される。観測者に結合
する座標ｘ0,ｙ0,ｚ0 はそれから単純な翻訳によって導
かれ、引き続きスクリーン座標ｘe,ｙe,ｚe はこれらの
座標ｘ0,ｙ0,ｚ0 の単純な相似拡大<homothesis>によっ
て導かれる。合成画像はスクリーン座標のこのシステム
中で計算され、それから段階600 の出力、段階700の出
力、及び恐らくは段階800 の出力に設けられたビデオ表
示段階900 を用いて画像化されよう。
透明<transparent> になる回路601の次に、モデルの改
定についつの情報を計算し、記憶する回路602 がある。
この回路602 は、これらのノードの座標中の伝送された
変動に基礎をおくノードの座標で特徴付けられる初期３
次元モデルの改定を可能にする。新しい値は、すべての
合成画像の生成される間には使われるために、この回路
602 内のメモリに記憶される。回路602 の次には回路60
3 があり、これは原始方向に対応する（すなわち３次元
モデルに任意の初期回転を与える目的で伝送された初期
画像の回転に対応する）初期座標を計算するためのもの
である。こうしてこれら（もしあれば）の初期回転は３
次元モデルに与えられ、得られた新しい値ｘ',ｙ',ｚ'
は新しい３次元モデルとして記憶される。観測者に結合
する座標ｘ0,ｙ0,ｚ0 はそれから単純な翻訳によって導
かれ、引き続きスクリーン座標ｘe,ｙe,ｚe はこれらの
座標ｘ0,ｙ0,ｚ0 の単純な相似拡大<homothesis>によっ
て導かれる。合成画像はスクリーン座標のこのシステム
中で計算され、それから段階600 の出力、段階700の出
力、及び恐らくは段階800 の出力に設けられたビデオ表
示段階900 を用いて画像化されよう。
【００８８】更にこの他に、段階600 は、伝送された画
像のシーケンスの（単数又は複数の）初期ウィンドウを
受信し復号するための回路604 を、回路550 の出力に持
っている。対応する符号語の受信は明らかに実行された
符号化のやり方に依存する。もしこの符号化が（離散余
弦変換<discrete cosinus transform -DCT> 型の）直交
変換及びこれに続く可変長符号化を用いるならば、例え
ば上述のJPEG標準のような標準に従うならば、復号化も
明らかに対応するやり方でなされるであろう、すなわち
この場合は同じJPEG標準によるであろう。
像のシーケンスの（単数又は複数の）初期ウィンドウを
受信し復号するための回路604 を、回路550 の出力に持
っている。対応する符号語の受信は明らかに実行された
符号化のやり方に依存する。もしこの符号化が（離散余
弦変換<discrete cosinus transform -DCT> 型の）直交
変換及びこれに続く可変長符号化を用いるならば、例え
ば上述のJPEG標準のような標準に従うならば、復号化も
明らかに対応するやり方でなされるであろう、すなわち
この場合は同じJPEG標準によるであろう。
【００８９】回路604 の次にはテクスチュア係数CTを計
算するための回路605 がある。この計算は、初期画像I
(SOURCE) （この場合は初期復号画像）及び各ファセッ
トＦの各チップに対し計算されたシェーディング・モデ
ルのルミナンス Iomb (F) から始めて、実行されること
は既に述べた。各ファセットを走査するために、スクリ
ーンの各ラインは上から始めて順次走査され（図17に示
す「ライン走査」方法）、それにより（茲でLC(r) と書
かれた）現在の<current> ライン上で遭遇したファセッ
トがその順序で処理される。各ファセットの内部では、
左端の縁AGから右端の縁ADへと、先ず最初に、図６につ
いて上述したように問題の点Ｘに対するルミナンス I
OMB (F) の計算を通して、それから各ファセットに対す
る係数CT(F)の計算を通して、計算が実行される。次い
でこれらの係数CT(F) は後に合成画像を定めるのに使う
ためにメモリ中に記憶される。
算するための回路605 がある。この計算は、初期画像I
(SOURCE) （この場合は初期復号画像）及び各ファセッ
トＦの各チップに対し計算されたシェーディング・モデ
ルのルミナンス Iomb (F) から始めて、実行されること
は既に述べた。各ファセットを走査するために、スクリ
ーンの各ラインは上から始めて順次走査され（図17に示
す「ライン走査」方法）、それにより（茲でLC(r) と書
かれた）現在の<current> ライン上で遭遇したファセッ
トがその順序で処理される。各ファセットの内部では、
左端の縁AGから右端の縁ADへと、先ず最初に、図６につ
いて上述したように問題の点Ｘに対するルミナンス I
OMB (F) の計算を通して、それから各ファセットに対す
る係数CT(F)の計算を通して、計算が実行される。次い
でこれらの係数CT(F) は後に合成画像を定めるのに使う
ためにメモリ中に記憶される。
【００９０】最後に段階600 は、回路603 及び回路605
の出力における合成画像を計算する回路606 を有する。
回路603 及び回路605 の出力信号は、回路606 により並
列に受信され、その出力が今度は在来型のビデオ表示段
階900 に与えられる。合成画像を計算するために、各フ
ァセットは同じ「ライン走査」方法によって１ライン毎
に充たされて、それにより各ファセットに対し計算され
た合成画像のルミナンスは上述の次式： I(SYNTH)F ＝ IOMB (F) × CT(F) により与えられる。隠されたファセットは現在の点の深
さｚの計算を利用した方法を用いて合成画像の表示から
消去される。観測者に（ｚに関して）最も近い点のみが
表示用に考慮され、合成画像はこうしてｚの最少値に対
するI(SYNTH)F の値により与えられる。
の出力における合成画像を計算する回路606 を有する。
回路603 及び回路605 の出力信号は、回路606 により並
列に受信され、その出力が今度は在来型のビデオ表示段
階900 に与えられる。合成画像を計算するために、各フ
ァセットは同じ「ライン走査」方法によって１ライン毎
に充たされて、それにより各ファセットに対し計算され
た合成画像のルミナンスは上述の次式： I(SYNTH)F ＝ IOMB (F) × CT(F) により与えられる。隠されたファセットは現在の点の深
さｚの計算を利用した方法を用いて合成画像の表示から
消去される。観測者に（ｚに関して）最も近い点のみが
表示用に考慮され、合成画像はこうしてｚの最少値に対
するI(SYNTH)F の値により与えられる。
【００９１】段階600 と並列に配置され、その詳細が図
18に示されている情報更新用の復号段階700 は先ず最初
に、３次元モデルの位置の変動及び種々の制御点の変位
を指示する符号化されたパラメタを受信する回路701 を
有する。これらの、位置の変動について先に dθ,dφ,d
ψ,dTx,dTyと書かれたパラメタ、及び制御点の変位につ
いてのパラメタDEPL(x), DEPL(y)は、上述のように回路
431 により茲では５ビットですでに符号化されており、
所与のシーケンスに従い、従って同じ順序で復号化する
ためそれらを検索することが可能になっている。
18に示されている情報更新用の復号段階700 は先ず最初
に、３次元モデルの位置の変動及び種々の制御点の変位
を指示する符号化されたパラメタを受信する回路701 を
有する。これらの、位置の変動について先に dθ,dφ,d
ψ,dTx,dTyと書かれたパラメタ、及び制御点の変位につ
いてのパラメタDEPL(x), DEPL(y)は、上述のように回路
431 により茲では５ビットですでに符号化されており、
所与のシーケンスに従い、従って同じ順序で復号化する
ためそれらを検索することが可能になっている。
【００９２】回路701 の出力はスクリーン座標を計算す
るための回路702 に接続され、初期にはパラメタθ，
φ，ψ，Tx，Tyで定義された３次元モデルの現在の位置
が上記パラメタ変動を用いて再定義され、θはθ＋ dθ
になり、φはφ＋ dφになり、等々である。スクリーン
座標を計算するためには、３次元モデルは回路603 の時
と同様、現在位置に関して回転 dθ,dφ,dψ及び変換 d
Tx,dTyの対象となる。回路702 の次には合成された画像
を計算する回路703 があり、回路606 の説明と同じ演算
を行う。ルミナンスI(SYNTH)F は実際には上記と同じ式
で与えられる。一般的に問題のファセットＦは、テクス
チュア係数のプログラミングがそれに対して生じた初期
画像におけると同じやり方で最終画像を指向していない
から、スクリーンの平面内のこのファセットのピクセル
の数(i,j) は最早この初期画像に対するそれとは同一で
はない、そして係数CT(F) は伝送されたテクスチュア係
数（符号化サブアセンブリから復号サブアセンブリへ伝
送された）に基づいてメモリ中に記憶されたテーブルの
形で内挿される。
るための回路702 に接続され、初期にはパラメタθ，
φ，ψ，Tx，Tyで定義された３次元モデルの現在の位置
が上記パラメタ変動を用いて再定義され、θはθ＋ dθ
になり、φはφ＋ dφになり、等々である。スクリーン
座標を計算するためには、３次元モデルは回路603 の時
と同様、現在位置に関して回転 dθ,dφ,dψ及び変換 d
Tx,dTyの対象となる。回路702 の次には合成された画像
を計算する回路703 があり、回路606 の説明と同じ演算
を行う。ルミナンスI(SYNTH)F は実際には上記と同じ式
で与えられる。一般的に問題のファセットＦは、テクス
チュア係数のプログラミングがそれに対して生じた初期
画像におけると同じやり方で最終画像を指向していない
から、スクリーンの平面内のこのファセットのピクセル
の数(i,j) は最早この初期画像に対するそれとは同一で
はない、そして係数CT(F) は伝送されたテクスチュア係
数（符号化サブアセンブリから復号サブアセンブリへ伝
送された）に基づいてメモリ中に記憶されたテーブルの
形で内挿される。
【００９３】この内挿の手順は図19を用いて説明され
る。この図では、あるフレーム（その数は例えばｎであ
る、従ってフレームはＴn と書かれる）の点(i,j) は、
画像平面中で４個の係数α，β，ａ，ｂを用いて同定さ
れる。問題のファセットＦの縁に関するこの識別では、
α及びβは、ラインｉが対応するファセットと交差する
点の上及び下の縁の長さをそれぞれ表す（図19ではα及
びβは１つの縁に対してのみ与えられいる）、またａ及
びｂは、問題の２つの縁に関しピクセル(i,j) の位置極
めを保証することを可能ならしめる２つのセグメントの
長さである。従って、（初期フレームＴinit中の）初期
ファセット中で同じ相対座標を持つ点が見出され、この
点はメモリに記憶されたテクスチュア係数の上記テーブ
ルの１つのエレメントに対応する。それから、この点に
対応する内挿値がテクスチュア係数として選定される。
る。この図では、あるフレーム（その数は例えばｎであ
る、従ってフレームはＴn と書かれる）の点(i,j) は、
画像平面中で４個の係数α，β，ａ，ｂを用いて同定さ
れる。問題のファセットＦの縁に関するこの識別では、
α及びβは、ラインｉが対応するファセットと交差する
点の上及び下の縁の長さをそれぞれ表す（図19ではα及
びβは１つの縁に対してのみ与えられいる）、またａ及
びｂは、問題の２つの縁に関しピクセル(i,j) の位置極
めを保証することを可能ならしめる２つのセグメントの
長さである。従って、（初期フレームＴinit中の）初期
ファセット中で同じ相対座標を持つ点が見出され、この
点はメモリに記憶されたテクスチュア係数の上記テーブ
ルの１つのエレメントに対応する。それから、この点に
対応する内挿値がテクスチュア係数として選定される。
【００９４】回路701 の出力はウィンドウに関する情報
を決定するための回路704 にも接続される。回路704
は、一方では所謂特定の関心のある（すなわち強い顔の
領域に対応する）ゾーンに関し画像の有用なゾーンに付
随するウィンドウの位置及び規模の計算を行い、もう一
方ではこれらのウィンドウに関する情報を受信し、復号
する。これらの位置及び規模は、符号化部中のこれらの
ウィンドウを定義する特性点についての初期データか
ら、及び変位コンポネントDEPL(x), DEPL(y)から計算さ
れる。これらのウィンドウの内容に対応する符号化され
た値の受信は、信号「ウィンドウ終了<end of window>
」が到来したとき終了する。正しい復号は明らかに符
号化サブアセンブリに対して選ばれた符号化のタイプに
依存し、それは例えばMPEGタイプ又はH261タイプの復号
であろう。
を決定するための回路704 にも接続される。回路704
は、一方では所謂特定の関心のある（すなわち強い顔の
領域に対応する）ゾーンに関し画像の有用なゾーンに付
随するウィンドウの位置及び規模の計算を行い、もう一
方ではこれらのウィンドウに関する情報を受信し、復号
する。これらの位置及び規模は、符号化部中のこれらの
ウィンドウを定義する特性点についての初期データか
ら、及び変位コンポネントDEPL(x), DEPL(y)から計算さ
れる。これらのウィンドウの内容に対応する符号化され
た値の受信は、信号「ウィンドウ終了<end of window>
」が到来したとき終了する。正しい復号は明らかに符
号化サブアセンブリに対して選ばれた符号化のタイプに
依存し、それは例えばMPEGタイプ又はH261タイプの復号
であろう。
【００９５】段階700 では最後に、回路703 及び回路70
4 の出力に装置705 が設けられ、この装置がウィンドウ
を合成画像に適合させる。図18の実施例中のこの装置70
5 は、単一回路705aとして構成され、あるやり方で（単
数又は複数の）ウィンドウと合成画像との再組合せを可
能なものとする。従って、最終合成画像は、ウィンドウ
に属さない各点(i,j) に対して I(SYNTH)(i,j)であるか
又はウィンドウの内部に位置する各点(i,j) に対してI
(WIN/CORR)(i,j)であるかのどちらかである。こうして
可能となった最終合成画像は受信されビデオ表示段階90
0 により画像化される。
4 の出力に装置705 が設けられ、この装置がウィンドウ
を合成画像に適合させる。図18の実施例中のこの装置70
5 は、単一回路705aとして構成され、あるやり方で（単
数又は複数の）ウィンドウと合成画像との再組合せを可
能なものとする。従って、最終合成画像は、ウィンドウ
に属さない各点(i,j) に対して I(SYNTH)(i,j)であるか
又はウィンドウの内部に位置する各点(i,j) に対してI
(WIN/CORR)(i,j)であるかのどちらかである。こうして
可能となった最終合成画像は受信されビデオ表示段階90
0 により画像化される。
【００９６】もし以前に述べた符号化サブアセンブリが
リフレッシュ演算を行うように設計された較正訂正装置
を有するなら、その入力接続及び出力接続が図15中に破
線で示されるリフレッシュ情報用の復号段階800 が良い
効果のために設けられ、図20はその実施例を示す。段階
800 により実行されるリフレッシュ情報用のこの復号演
算は初期較正情報用の復号演算と類似であることに注意
されたい。更に、符号化されたリフレッシュ情報の受信
は、リフレッシュ符号化の場合のように数画像サイクル
に亙っているかも知れない。
リフレッシュ演算を行うように設計された較正訂正装置
を有するなら、その入力接続及び出力接続が図15中に破
線で示されるリフレッシュ情報用の復号段階800 が良い
効果のために設けられ、図20はその実施例を示す。段階
800 により実行されるリフレッシュ情報用のこの復号演
算は初期較正情報用の復号演算と類似であることに注意
されたい。更に、符号化されたリフレッシュ情報の受信
は、リフレッシュ符号化の場合のように数画像サイクル
に亙っているかも知れない。
【００９７】回路550(演算モード交換子) の出力に接続
された段階800 は先ず最初に、符号「新画像<new image
> 」及び３次元パラメタに対応する符号語を含む。この
３次元パラメタとはすなわち、位置変動を示す dθ,d
φ,dψ,dTx,dTyと、符号化ウィンドウの特性点の変位を
表す変位コンポネントDEPL(x), DEPL(y)とである。回路
801 は、回路601 と同様に、上記符号語を受信し処理し
たときに透明になる、すなわちウィンドウに対応する符
号化された情報が通過するのを許容する。
された段階800 は先ず最初に、符号「新画像<new image
> 」及び３次元パラメタに対応する符号語を含む。この
３次元パラメタとはすなわち、位置変動を示す dθ,d
φ,dψ,dTx,dTyと、符号化ウィンドウの特性点の変位を
表す変位コンポネントDEPL(x), DEPL(y)とである。回路
801 は、回路601 と同様に、上記符号語を受信し処理し
たときに透明になる、すなわちウィンドウに対応する符
号化された情報が通過するのを許容する。
【００９８】回路801 の次には、スクリーン座標及び
（単数又は複数の）リフレッシュ・ウィンドウ（茲では
ゾーンAR及びJOにそれぞれ対応する２つのウィンドウ）
の座標を計算する回路802 が来る。スクリーン座標は、
回路603 に対し上述したやり方（任意の回転、続いて変
換及び相似拡大）で計算される。回路802 はまた、リフ
レッシュの瞬間（更に精密に云えばリフレッシュシーケ
ンスの開始及び終了時）の画像の位置に対応する情報の
読み出し及び記憶を見ており、該情報は合成画像を計算
するのに必要なものである。最後に回路802 は、図９に
関して既に説明した方法によりリフレッシュ・ウィンド
ウの座標の計算、及び特定の関心のあるゾーンに対応す
る３つのウィンドウの座標の決定を行う。
（単数又は複数の）リフレッシュ・ウィンドウ（茲では
ゾーンAR及びJOにそれぞれ対応する２つのウィンドウ）
の座標を計算する回路802 が来る。スクリーン座標は、
回路603 に対し上述したやり方（任意の回転、続いて変
換及び相似拡大）で計算される。回路802 はまた、リフ
レッシュの瞬間（更に精密に云えばリフレッシュシーケ
ンスの開始及び終了時）の画像の位置に対応する情報の
読み出し及び記憶を見ており、該情報は合成画像を計算
するのに必要なものである。最後に回路802 は、図９に
関して既に説明した方法によりリフレッシュ・ウィンド
ウの座標の計算、及び特定の関心のあるゾーンに対応す
る３つのウィンドウの座標の決定を行う。
【００９９】回路801 の後には、回路802 と並列に接続
された回路803 もあって、リフレッシュ情報を復号する
のに使われる。この回路803 は回路801 から（単数又は
複数の）リフレッシュ・ウィンドウ（この場合は２つ）
用の符号語を受信し、該符号語は明らかに初期に採用さ
れた符号化過程（例えばJPEG型標準に従う符号化）に依
存するものであり、また回路802 からウィンドウ座標を
受信し、同じ標準に従って復号化それ自体が実行され
る。こうしてリフレッシュ・ウィンドウの画像が得られ
る。回路803 の次にはテクスチュア係数計算用の回路80
4 が来る、これは回路605 と全く同一である。この計算
については前に述べた処だから茲には繰り返さないが、
伝送された画像（すなわちリフレッシュ・サイクルの最
初の画像）に対応する３次元モデルの座標及び方向が用
いられている。
された回路803 もあって、リフレッシュ情報を復号する
のに使われる。この回路803 は回路801 から（単数又は
複数の）リフレッシュ・ウィンドウ（この場合は２つ）
用の符号語を受信し、該符号語は明らかに初期に採用さ
れた符号化過程（例えばJPEG型標準に従う符号化）に依
存するものであり、また回路802 からウィンドウ座標を
受信し、同じ標準に従って復号化それ自体が実行され
る。こうしてリフレッシュ・ウィンドウの画像が得られ
る。回路803 の次にはテクスチュア係数計算用の回路80
4 が来る、これは回路605 と全く同一である。この計算
については前に述べた処だから茲には繰り返さないが、
伝送された画像（すなわちリフレッシュ・サイクルの最
初の画像）に対応する３次元モデルの座標及び方向が用
いられている。
【０１００】最後に、回路606 及び回路703 と類似の演
算を行う合成画像計算用の回路805が回路802 及び回路8
04 の出力に設けられる。そうするとビデオ表示段階900
は合成画像を計算する回路606 及び回路805 の出力信
号と、ウィンドウを合成画像に適合させる回路605 の出
力信号とをそれぞれ受信する。この段階900 は在来形の
ものであり、茲には説明しない。
算を行う合成画像計算用の回路805が回路802 及び回路8
04 の出力に設けられる。そうするとビデオ表示段階900
は合成画像を計算する回路606 及び回路805 の出力信
号と、ウィンドウを合成画像に適合させる回路605 の出
力信号とをそれぞれ受信する。この段階900 は在来形の
ものであり、茲には説明しない。
【０１０１】明らかに本発明は上記及び図面に示された
実施例に限定されるものではなく、本発明の範囲を離れ
ることなくその変形を提案することは完全に可能であ
る。
実施例に限定されるものではなく、本発明の範囲を離れ
ることなくその変形を提案することは完全に可能であ
る。
【０１０２】特に、符号化サブアセンブリの符号化装置
400 は合成画像とウィンドウ中の画像との間のすべての
ルミナンス・シフトを訂正するために特別に設計された
回路433 を含んでいることは既に理解されている。この
訂正を後に復号サブアセンブリ中で実行することも可能
である。後者の場合には回路433 及び対応の接続は符号
化サブアセンブリでは省略され、図18に示すものとは異
なる装置705 が復号サブアセンブリに設けられる。
400 は合成画像とウィンドウ中の画像との間のすべての
ルミナンス・シフトを訂正するために特別に設計された
回路433 を含んでいることは既に理解されている。この
訂正を後に復号サブアセンブリ中で実行することも可能
である。後者の場合には回路433 及び対応の接続は符号
化サブアセンブリでは省略され、図18に示すものとは異
なる装置705 が復号サブアセンブリに設けられる。
【０１０３】ウィンドウを合成画像に適合させるための
図21に示すこの変形された装置は最早、前のように単一
回路としては構成されないで、今度は回路703 及び回路
704からの出力信号を受信してルミナンス・シフトを訂
正するための回路705bを含み、これはウィンドウを合成
画像に適合させる回路705cと直列に置かれて回路705cは
回路705bの出力信号を受信し、その出力信号は図18の回
路705aの出力信号と同じやり方でビデオ表示段階900 に
送られる。茲でウィンドウに関する情報を決定する回路
704 の出力信号は、信号 I(SOURCE)i,j に対応するが、
図18のときのように信号I(WIN/CORR)(i,j)には最早対応
しない伝送され復号された信号であって、回路704 が受
信するのは、回路433 により符号化中に伝送及び記憶の
いずれか一方又は双方の前に設けられたルミナンス訂正
の対象となっていたその情報信号としてである。この訂
正は復号段階中までは実行されないから、符号化回路43
2は未訂正のルミナンス値を符号化し、回路433 により
訂正された値を符号化するのではない。
図21に示すこの変形された装置は最早、前のように単一
回路としては構成されないで、今度は回路703 及び回路
704からの出力信号を受信してルミナンス・シフトを訂
正するための回路705bを含み、これはウィンドウを合成
画像に適合させる回路705cと直列に置かれて回路705cは
回路705bの出力信号を受信し、その出力信号は図18の回
路705aの出力信号と同じやり方でビデオ表示段階900 に
送られる。茲でウィンドウに関する情報を決定する回路
704 の出力信号は、信号 I(SOURCE)i,j に対応するが、
図18のときのように信号I(WIN/CORR)(i,j)には最早対応
しない伝送され復号された信号であって、回路704 が受
信するのは、回路433 により符号化中に伝送及び記憶の
いずれか一方又は双方の前に設けられたルミナンス訂正
の対象となっていたその情報信号としてである。この訂
正は復号段階中までは実行されないから、符号化回路43
2は未訂正のルミナンス値を符号化し、回路433 により
訂正された値を符号化するのではない。
【０１０４】上記の回路433 によってりなされたよう
に、今度は回路705bが最初に各ウィンドウに記載された
有効ゾーンを決定し、実際には合成された画像を含んで
いる（図９は口に対応するウィンドウについてのこの決
定の関心を示した、すなわち顔に属さないゾーンが考慮
されるべきであるということを避けるべきであったとい
うことをを示した）。それから回路705bは、原始画像
と、図11ないし図13に示した小さい四角のような小さい
ゾーンで考慮されたウィンドウ中の合成画像との間の平
均ルミナンス・シフトを計算する。最後に回路705bは、
３つの明確な変形中に回路433 について記述した訂正と
全く同様なすべての点における訂正の後に考慮される上
記ウィンドウ中の訂正されたルミナンスを得る（これら
３つの変形は此処にも適用できる）。この訂正された値
は今度は回路705cに与えられ、この回路705cが（単数又
は複数の）ウィンドウと合成された画像との再組合せ
を、図18に示す実施例の単一回路705aにおける場合と同
様に、実現する。
に、今度は回路705bが最初に各ウィンドウに記載された
有効ゾーンを決定し、実際には合成された画像を含んで
いる（図９は口に対応するウィンドウについてのこの決
定の関心を示した、すなわち顔に属さないゾーンが考慮
されるべきであるということを避けるべきであったとい
うことをを示した）。それから回路705bは、原始画像
と、図11ないし図13に示した小さい四角のような小さい
ゾーンで考慮されたウィンドウ中の合成画像との間の平
均ルミナンス・シフトを計算する。最後に回路705bは、
３つの明確な変形中に回路433 について記述した訂正と
全く同様なすべての点における訂正の後に考慮される上
記ウィンドウ中の訂正されたルミナンスを得る（これら
３つの変形は此処にも適用できる）。この訂正された値
は今度は回路705cに与えられ、この回路705cが（単数又
は複数の）ウィンドウと合成された画像との再組合せ
を、図18に示す実施例の単一回路705aにおける場合と同
様に、実現する。
【図１】本発明によるイメージ セグメント化装置を含
むテレビジョン電話（ビデオフォン）画像符号化サブア
センブリの一実施例を示すブロック図である。
むテレビジョン電話（ビデオフォン）画像符号化サブア
センブリの一実施例を示すブロック図である。
【図２】本発明イメージ セグメント化装置の一実施例
を示すブロック図である。
を示すブロック図である。
【図３】セグメント化を与えるため画像の処理段階にお
いて実行される種々の操作の要約を示すフローチャート
である。
いて実行される種々の操作の要約を示すフローチャート
である。
【図４】モデル校正操作および変位トラッキングの観点
で、人物の顔の特徴を限定する基準点が局限される主ゾ
ーンを示す図である。
で、人物の顔の特徴を限定する基準点が局限される主ゾ
ーンを示す図である。
【図５】Ａは原イメージに対する適応をベースにした小
面を有する３次元モデルの実施例を示す図であり、Ｂは
実際に決定された本当の顔の実施例に対して上記の適応
を実施した後における同じモデルを示す図である。
面を有する３次元モデルの実施例を示す図であり、Ｂは
実際に決定された本当の顔の実施例に対して上記の適応
を実施した後における同じモデルを示す図である。
【図６】３次元モデルの各小面がポイント発光源から受
光した光により影をつける状態を示す図である。
光した光により影をつける状態を示す図である。
【図７】それによりこの顔の動きが描写される顔上の６
つの自由度を示す図である。
つの自由度を示す図である。
【図８】顔の特性ゾーン内に位置するウインドウの変位
を追跡する方法を示す図である。
を追跡する方法を示す図である。
【図９】３つの個別ウインドウを特定コーディングに従
うよう保持させた特別の場合の顔を示す図である。
うよう保持させた特別の場合の顔を示す図である。
【図１０】コード化しようとする原イメージのシーケン
ス内のイメージ グループを示す図である。
ス内のイメージ グループを示す図である。
【図１１】該ウインドウとコード化しようとするイメー
ジの残りの部分との間の転移ゾーンの１つの例を示す図
である。
ジの残りの部分との間の転移ゾーンの１つの例を示す図
である。
【図１２】該ウインドウとコード化しようとするイメー
ジの残りの部分との間の転移ゾーンの他の例を示す図で
ある。
ジの残りの部分との間の転移ゾーンの他の例を示す図で
ある。
【図１３】該ウインドウとコード化しようとするイメー
ジの残りの部分との間の転移ゾーンの別の例を示す図で
ある。
ジの残りの部分との間の転移ゾーンの別の例を示す図で
ある。
【図１４】プロフィールで見た３次元モデルを示す図で
ある。
ある。
【図１５】図15は、本発明による画像に対する復号サブ
アセンブリの一般的構造を示す図である。
アセンブリの一般的構造を示す図である。
【図１６】図16は、該復号サブアセンブリ中で、３次元
モデル上での初期較正情報の復号化の段階の実施例を示
す図である。
モデル上での初期較正情報の復号化の段階の実施例を示
す図である。
【図１７】図17は、テクスチュア係数の計算用に各ライ
ン上で順次遭遇するファセットを走査する方法を説明す
る図である。
ン上で順次遭遇するファセットを走査する方法を説明す
る図である。
【図１８】図18は、図15の復号サブアセンブリ中で、情
報更新用の復号段階の実施例を示す図である。
報更新用の復号段階の実施例を示す図である。
【図１９】図19は、符号化サブアセンブリの出力で伝送
されたテクスチュア係数の内挿を通して伝送されたので
はないこれらテクスチュア係数を決定する原理を説明す
る図である。
されたテクスチュア係数の内挿を通して伝送されたので
はないこれらテクスチュア係数を決定する原理を説明す
る図である。
【図２０】図20は、図15の復号サブアセンブリ中で、リ
フレッシュ情報に対する復号段階の実施例を示す図であ
る。
フレッシュ情報に対する復号段階の実施例を示す図であ
る。
【図２１】図21は、図18に示す情報更新用の復号段階の
回路の一つの代替実施例を示す図である。
回路の一つの代替実施例を示す図である。
100 セグメント化装置 101 シルエット決定回路 102 雑音抑圧回路 103 不連続性抑圧回路 104 不規則性抑圧回路 105 イメージ置換回路 106 モーション効果抑圧回路 200 ３次元モデル構成装置 201 基準ポイント抽出回路 202 整列回路 203 調整回路 250 転換器 300 主パラメータ更新回路 301, 302 回路 400 コーディング装置 420, 431, 432 コーディング回路 433 輝度偏移補正回路 500 校正補正装置 510 検出手段 520 リフレッシュ手段 530 コード化手段
フロントページの続き (72)発明者 リオネル ボウシヤ フランス国 06200 ニース リュ オー ガスト ペグリエル 34 (72)発明者 ジャック アリエル シラ フランス国 94450 リメイル ブレバン ヌ アブニュ デスカルテ 22
Claims (12)
- 【請求項１】 一定の背景、またはほぼ一定の背景に、
少なくとも１つの移動パターンを有するイメージ（映
像）を、極めて低い伝送速度で伝送するか、あるいは高
データ圧縮率で記憶するため、該イメージの画素または
ピクセルの輝度情報または色情報に対応するディジタル
信号としてを符号化するサブアッセンブリであり、最終
的に合成イメージを回復するため、一方において、原イ
メージのいわゆる有用ゾーンを表すフアセット（小面）
を有する基本モデルを形成する基本モデル形成手段と、
他方において、伝送あるいは記憶蓄積すべきデータを符
号化する符号化手段とを具えてなるサブアッセンブリに
おいて、 （Ａ）前記基本モデル形成手段は、所定期間内に、イメ
ージの有用ゾーン内の基本モデルに、有用ゾーン内で得
られる特性参照点を適合させる基本モデル初期校正手段
と、この校正されたモデルを表す重要情報のアップデー
ト手段とを具え、さらにこれら手段は、前記有用ゾーン
よりとった特性点の移動を定める回路と、該有用ゾーン
内で特に興味ある少なくとも１つのゾーンを選択し、こ
のゾーンの移動を決定する回路とを具えてなり、 （Ｂ）前記符号化手段は、 （１）前記初期校正手段の出力信号を符号化する回路
と、 （２）前記移動決定手段の出力信号を符号化する回路
と、 （３）前記興味ゾーンの出力信号を符号化する回路と、 （４）前記（各）興味ゾーンの境界に沿って位置する転
移ゾーン内で、これらの１つ以上の境界の両側に観察さ
れる輝度のシフトの初期校正を行う回路とを具えてなる
映像符号化サブアッセンブリ。 - 【請求項２】 前記基本モデル形成手段の初期校正手段
は、前記有用ゾーンの前記特性点を抽出する回路を具え
ること、ならびに前記適合手段は、原（オリジナル）イ
メージに対し整列させ正しいスケールを得る回路と、も
っとも表現性ある領域に調整する回路とを含んでなるこ
とを特徴とする請求項１記載の符号化サブアッセンブ
リ。 - 【請求項３】輝度シフトの校正のための各転移ゾーン
は、数個の画素の幅を有するストリップであり、その端
縁を前記境界にほぼ平行とする請求項１または２記載の
符号化サブアッセンブリ。 - 【請求項４】 請求項１ないし３の何れか１つに記載の
符号化サブアッセンブリにおいて、 さらに校正修正装置を有し、本装置は、前記合成イメー
ジと対応する原イメージとの間の輝度差または色度差を
検出する手段を有し、 該手段の検出結果にもとづいて局部的にデータをリフレ
ッシュする手段と、このリフレッシュ動作に続いて得ら
れる補間または新規の情報を符号化する手段とを有し、
かく符号化した補間または新規な情報は伝送または記憶
すべき他の符号化データに対し優先順位をもって記憶す
るかあるいは伝送することを特徴とする請求項１または
２記載の符号化サブアッセンブリ。 - 【請求項５】 前記検出手段は、合成イメージと、これ
に対応する原イメージ間の平均誤差を計算する回路を具
える請求項４記載の符号化サブアッセンブリ。 - 【請求項６】 前記検出手段は、初期校正された前記モ
デルの方向を検出する角検出回路を具える請求項４記載
の符号化サブアッセンブリ。 - 【請求項７】 基本モデルの各ファセットにテクスチュ
ア係数と称される量を付属させ、さらに前記検出手段
は、所定ゾーンの特定のファセット、数個のファセット
又はすべてのファセットに対し、当該ファセットのテク
スチュア係数の初期値を補間することにより決定される
テクスチュア係数値と、同じファセットの初期テクスチ
ュア係数との比を計算する回路を有する請求項４記載の
符号化サブアッセンブリ。 - 【請求項８】 一連のイメージを表す信号をデコード
（復号）するサブアッセンブリであり、この信号は、極
めて低い伝送速度でチャネルを通じて伝送するか、ある
いは極めて大なるデータ圧縮率で記憶蓄積するため予
め、一方において、有用ゾーン内の前記モデルに初期校
正を加えて有用ゾーンの該イメージのファセット付ベー
スモデル構成手段によってこのモデルを符号化し、これ
に続いて、イメージの前記有用ゾーンの特に興味ある特
性ゾーン内に初めに規定される１以上のウインドウの移
動を追跡（トラック）することにより構成されたモデル
を表す情報をアップデートし、他方において、前記初期
校正とアップデートにより得られる重要情報の特別の符
号化手段によって符号化されている信号のデコードを行
うサブアッセンブリにおいて、 （１）初期校正、あるいはアップデートか何れの動作モ
ードであるかを検出する回路と、 （２）出力側に互いに並列に設けた、 （ａ）初期校正情報のデコード段と、 （ｂ）アップデート情報のデコード段と、 （３）上記両デコード段よりの並列出力信号を受信する
ために設けたビデオ ディスプレイ段とを有しているこ
とを特徴とするデコード（復号）サブアッセンブリ。 - 【請求項９】 請求項８記載のデコード サブアッセン
ブリにおいて、 （Ａ）初期校正情報デコード段は、 （ａ）順次直列に、基本モデルに修正スケールを与える
初期パラメータ記憶回路と、該モデルのファセットのノ
ードの座標の変化をベースとして当該モデルの適合情報
を計算記憶する回路と、伝送される初期イメージの方位
に対応する初期座標を計算する回路とを具えている第１
通路と、 （ｂ）該第１通路に平行な第２通路で、順次直列に、一
連のイメージの初期ウインドウを受信し、デコードする
回路と、前記モデルの対応のファセットに付されたテク
スチュア係数を計算する回路と、合成イメージの計算回
路を具えてなる第２通路とを有し、ここで最後にのべた
計算回路は、前記初期座標計算回路よりの出力も受信
し、その出力信号を前記ビデオ ディスプレイ段に供給
する如く構成されており、 （Ｂ）情報のアップデートを行うデコード段は、 （ａ）モデルの特性点の移動を表す符号化パラメータの
受信回路と、 （ｂ）上記回路の出力に、互いに直列に、前記符号化パ
ラメータの助けによりモデルのその時点における位置を
決定するスクリーン座標を計算する回路と、合成イメー
ジの計算回路を有する第１ブランチと、イメージの特別
に興味あるゾーンに付属するウインドウの情報を決定
し、かつこれらのウインドウの位置及び大きさを計算
し、さらにこれらウインドウの符号化情報を受信し、デ
コードする回路を有する第２ブランチと、これら２つの
ブランチの出力において、ウインドウに合成イメージを
適合させて供給する回路とを有してなるデコード サブ
アッセンブリ。 - 【請求項１０】 請求項９記載のデコード サブアッセ
ンブリにおいて、 コーディング手段が、前記有用ゾーンにおいて特定のコ
ーティング ゾーンを互いに分離する境界の両側で観測
される輝度のシフトの初期校正を行う特定の手段を含む
ときは、前記適合（アダプテーション）装置は、ウイン
ドウに各合成イメージを再結合させる単一の回路とする
デコード サブアッセンブリ。 - 【請求項１１】 請求項９記載のデコード サブアッセ
ンブリにおいて、 前記適合回路は、前記ウインドウの情報決定及び合成イ
メージ計算回路よりの出力信号を受信する輝度シフト修
正回路と、ウインドウに合成イメージを割当て供給する
回路の直列接続を含んでいるデコード サブアッセンブ
リ。 - 【請求項１２】 請求項１０または１１記載のデコード
サブアッセンブリにおいて、 動作モード検出回路は、校正情報のリフレッシュ モー
ドの存在の検出回路を有し、さらにこのデコード サブ
アッセンブリは、前記検出回路の出力において、情報の
校正及びアップデートを行うデコード段と並列に情報の
リフレッシュを行うデコード段を有し、このデコード段
の出力信号は前記ビデオ表示段によって受信される如く
し、この後者のデコード段は、 （ａ）モデルの特性点の移動を表す符号化パラメータを
受信する回路と、 （ｂ）該回路の出力に接続され、かつ互いに並列に接続
されている第１ブランチと第２ブランチとを有し、 第１ブランチは、リフレッシュ動作により得られるウイ
ンドウの座標及びスクリーンの座標の計算回路を有し、 第２ブランチは、同じくリフレッシュ動作により得られ
る前記ウインドウの座標を受信するリフレッシュ情報デ
コード回路と、前記リフレッシュ動作による関連モデル
のファセットに付されるテクスチュア係数を計算する回
路との直列接続を有し、さらにこれら２つのブランチの
出力に接続された合成イメージの計算回路を具えてなる
デコード サブアッセンブリ。
Applications Claiming Priority (6)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| FR9204583A FR2689994A1 (fr) | 1992-04-14 | 1992-04-14 | Dispositif de codage d'images avec rafraîchissement des données à coder. |
| FR9204582A FR2689993A1 (fr) | 1992-04-14 | 1992-04-14 | Dispositif de codage d'images avec correction des données à coder. |
| FR9208102A FR2693291A1 (fr) | 1992-07-01 | 1992-07-01 | Sous-ensemble de décodage d'images codées transmises dans un canal à très bas débit et/ou stockées avec un taux de compression de données élevé. |
| FR9204582 | 1992-07-01 | ||
| FR9204583 | 1992-07-01 | ||
| FR9208102 | 1992-07-01 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH0662385A true JPH0662385A (ja) | 1994-03-04 |
Family
ID=27252597
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP5087548A Pending JPH0662385A (ja) | 1992-04-14 | 1993-04-14 | 符号化すべきデータのリフレッシュ修正付映像符号化サブアッセンブリ、及び該サブアッセンブリによって符号化された映像のデコードサブアッセンブリ |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US5420638A (ja) |
| EP (1) | EP0566185B1 (ja) |
| JP (1) | JPH0662385A (ja) |
| DE (1) | DE69313703T2 (ja) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2418236A1 (en) | 2010-08-11 | 2012-02-15 | Shin-Etsu Chemical Co., Ltd. | Novel organopolysiloxane and cosmetic containing the same |
| JP2012185624A (ja) * | 2011-03-04 | 2012-09-27 | Nippon Telegr & Teleph Corp <Ntt> | 三次元顔モデルデータ生成装置 |
| JP2013526097A (ja) * | 2010-03-03 | 2013-06-20 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | カラーレジームを定義する装置及び方法 |
| US9754629B2 (en) | 2010-03-03 | 2017-09-05 | Koninklijke Philips N.V. | Methods and apparatuses for processing or defining luminance/color regimes |
| KR20180127635A (ko) | 2016-03-28 | 2018-11-29 | 신에쓰 가가꾸 고교 가부시끼가이샤 | 오가노폴리실록산, 화장료, 및 오가노폴리실록산의 제조방법 |
Families Citing this family (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE4311972A1 (de) * | 1993-04-10 | 1994-10-13 | Bosch Gmbh Robert | Verfahren zur Detektion von Änderungen in Bewegtbildern |
| GB9308952D0 (en) * | 1993-04-30 | 1993-06-16 | Philips Electronics Uk Ltd | Tracking objects in video sequences |
| KR970003799B1 (ko) * | 1993-12-29 | 1997-03-21 | 양승택 | 영상 프레임차를 이용한 영상신호 전송장치 |
| GB2299233A (en) * | 1995-03-21 | 1996-09-25 | Ibm | Video compression method involving conditional replenishment |
| US5654771A (en) * | 1995-05-23 | 1997-08-05 | The University Of Rochester | Video compression system using a dense motion vector field and a triangular patch mesh overlay model |
| JP3316725B2 (ja) * | 1995-07-06 | 2002-08-19 | 三菱電機株式会社 | 顔画像撮像装置 |
| KR100304660B1 (ko) * | 1995-09-22 | 2001-11-22 | 윤종용 | 누적에러처리를통한비디오신호부호화방법및부호화기 |
| JP3788823B2 (ja) | 1995-10-27 | 2006-06-21 | 株式会社東芝 | 動画像符号化装置および動画像復号化装置 |
| EP0788282B1 (en) * | 1996-02-05 | 2010-01-20 | Panasonic Corporation | Quantization method |
| US5778100A (en) * | 1996-03-08 | 1998-07-07 | Lucent Technologies Inc. | Method and apparatus for reducing the bit rate in a video object planes sequence coder |
| US5778098A (en) * | 1996-03-22 | 1998-07-07 | Microsoft Corporation | Sprite coding |
| CN1217852A (zh) * | 1997-02-13 | 1999-05-26 | 三菱电机株式会社 | 动态图象预测方式 |
| TW413795B (en) * | 1999-02-26 | 2000-12-01 | Cyberlink Corp | An image processing method of 3-D head motion with three face feature points |
| US7599576B2 (en) * | 2004-01-23 | 2009-10-06 | Electro Scientific Industries, Inc. | Image subtraction of illumination artifacts |
| JP4964057B2 (ja) * | 2007-08-08 | 2012-06-27 | 株式会社コナミデジタルエンタテインメント | ゲーム装置、ゲーム装置の制御方法及びプログラム |
| US9369742B2 (en) | 2012-12-06 | 2016-06-14 | Avaya Inc. | System and method to estimate end-to-end video frame delays |
| KR102256110B1 (ko) * | 2017-05-26 | 2021-05-26 | 라인 가부시키가이샤 | 영상 압축 방법 및 영상 복원 방법 |
| CN115909013B (zh) * | 2023-01-10 | 2023-07-25 | 深圳精智达技术股份有限公司 | 一种图像的卷积方法、装置、电子设备和存储介质 |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| FI70662C (fi) * | 1984-12-14 | 1986-09-24 | Valtion Teknillinen | Videokomprimeringsfoerfarande |
| US4717956A (en) * | 1985-08-20 | 1988-01-05 | North Carolina State University | Image-sequence compression using a motion-compensation technique |
| GB8528143D0 (en) * | 1985-11-14 | 1985-12-18 | British Telecomm | Image encoding & synthesis |
| GB8710737D0 (en) * | 1987-05-06 | 1987-06-10 | British Telecomm | Video image encoding |
| JPH0220185A (ja) * | 1988-07-08 | 1990-01-23 | Ricoh Co Ltd | 動画像伝送方式 |
| IT1232109B (it) * | 1989-06-21 | 1992-01-23 | Cselt Centro Studi Lab Telecom | Procedimento e dispositivo di riconoscimento del contorno di immagini in movimento |
| JPH082107B2 (ja) * | 1990-03-02 | 1996-01-10 | 国際電信電話株式会社 | 動画像のハイブリッド符号化方法及びその装置 |
| DE4028191A1 (de) * | 1990-09-05 | 1992-03-12 | Philips Patentverwaltung | Schaltungsanordnung zum erkennen eines menschlichen gesichtes |
-
1993
- 1993-04-01 US US08/041,632 patent/US5420638A/en not_active Expired - Fee Related
- 1993-04-06 DE DE69313703T patent/DE69313703T2/de not_active Expired - Fee Related
- 1993-04-06 EP EP93201000A patent/EP0566185B1/fr not_active Expired - Lifetime
- 1993-04-14 JP JP5087548A patent/JPH0662385A/ja active Pending
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2013526097A (ja) * | 2010-03-03 | 2013-06-20 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | カラーレジームを定義する装置及び方法 |
| US9595297B2 (en) | 2010-03-03 | 2017-03-14 | Koninklijke Philips N.V. | Apparatuses and methods for defining color regimes |
| US9754629B2 (en) | 2010-03-03 | 2017-09-05 | Koninklijke Philips N.V. | Methods and apparatuses for processing or defining luminance/color regimes |
| US10134444B2 (en) | 2010-03-03 | 2018-11-20 | Koninklijke Philips N.V. | Methods and apparatuses for processing or defining luminance/color regimes |
| US10134443B2 (en) | 2010-03-03 | 2018-11-20 | Koninklijke Philips N.V. | Methods and apparatuses for processing or defining luminance/color regimes |
| EP2418236A1 (en) | 2010-08-11 | 2012-02-15 | Shin-Etsu Chemical Co., Ltd. | Novel organopolysiloxane and cosmetic containing the same |
| US8912354B2 (en) | 2010-08-11 | 2014-12-16 | Shin-Etsu Chemical Co., Ltd. | Organopolysiloxane and cosmetic containing the same |
| JP2012185624A (ja) * | 2011-03-04 | 2012-09-27 | Nippon Telegr & Teleph Corp <Ntt> | 三次元顔モデルデータ生成装置 |
| KR20180127635A (ko) | 2016-03-28 | 2018-11-29 | 신에쓰 가가꾸 고교 가부시끼가이샤 | 오가노폴리실록산, 화장료, 및 오가노폴리실록산의 제조방법 |
Also Published As
| Publication number | Publication date |
|---|---|
| DE69313703D1 (de) | 1997-10-16 |
| US5420638A (en) | 1995-05-30 |
| EP0566185A1 (fr) | 1993-10-20 |
| DE69313703T2 (de) | 1998-03-19 |
| EP0566185B1 (fr) | 1997-09-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JPH0670301A (ja) | 画像セグメント化装置 | |
| JPH0662385A (ja) | 符号化すべきデータのリフレッシュ修正付映像符号化サブアッセンブリ、及び該サブアッセンブリによって符号化された映像のデコードサブアッセンブリ | |
| US10977809B2 (en) | Detecting motion dragging artifacts for dynamic adjustment of frame rate conversion settings | |
| US8983175B2 (en) | Video processing method and device for depth extraction | |
| US6192079B1 (en) | Method and apparatus for increasing video frame rate | |
| EP0731608B1 (en) | Image encoder and decoder with area selection | |
| Li et al. | Image sequence coding at very low bit rates: a review | |
| CN100527842C (zh) | 基于背景的运动估计编码方法 | |
| US6343141B1 (en) | Skin area detection for video image systems | |
| US20180098090A1 (en) | Method and Apparatus for Rearranging VR Video Format and Constrained Encoding Parameters | |
| EP0863671A1 (en) | Object-oriented adaptive prefilter for low bit-rate video systems | |
| US6597736B1 (en) | Throughput enhanced video communication | |
| CN108337465B (zh) | 视频处理方法和装置 | |
| CN112655210A (zh) | 使用多区段重采样的快速目标区域编码 | |
| US6052414A (en) | Moving picture coding method and apparatus for low bit rate systems using dynamic motion estimation | |
| JPH09214963A (ja) | イメージ信号を符号化するための方法およびエンコーダ | |
| Stoffels et al. | Object‐oriented image analysis for very‐low‐bitrate video‐coding systems using the CNN universal machine | |
| Schreer et al. | Lessons learned during one year of commercial volumetric video production | |
| Hartung et al. | Object-oriented H. 263 compatible video coding platform for conferencing applications | |
| JP3794749B2 (ja) | 映像信号符号化装置 | |
| Adolph et al. | 1.15 Mbit/s coding of video signals including global motion compensation | |
| CN112887587B (zh) | 一种可进行无线连接的自适应图像数据快速传输方法 | |
| Ku et al. | Bit allocation based on visual saliency in HEVC | |
| EP0871332B1 (en) | Method and apparatus for coding a contour of an object employing temporal correlation thereof | |
| JPH10336673A (ja) | 映像信号符号化システムにおける縁部検出方法及びその装置 |