JPH0946704A - 画像符号化方式 - Google Patents

Abstract

(57)【要約】 【課題】 低ビットレートで符号化でき、様々な画像利
用アプリケーションに対する有効利用が可能なマルチメ
ディア環境に適した画像符号化方式を提供することにあ
る。 【解決手段】 入力画像の特徴分析を行って、入力画像
を構成する複数のセル画を抽出し、領域分割を行う分析
インタフェ−スと複数のセル画の各々を、特徴情報とと
もに蓄積する構造化画像データベースと、セル画の任意
のものを対話形式で修正加工し、符号化に適した符号化
画像データを作成する編集インタフェ−スと、符号化画
像データを対象に符号化を行う符号化部とを備え、分析
インタフェ−スは、入力画像の特徴分析及びセル画の抽
出を自動的に行う機能と、自動的に抽出されたセル画を
対話形式で修正する機能とを有し、利用者は自動的に抽
出されたセル画を画面上で確認し、必要に応じて対話形
式でセル画の修正を行ってその結果を符号化させること
を特徴とする。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、画像情報を効率的
に伝送あるいは蓄積するための画像符号化方式に関す
る。

【０００２】近年、米の情報スーパーハイウェイ構想や
インターネットの浸透によって、「音声・画像・文字・
データなどをデジタル化により統合された情報として一
体的に扱い、ネットワークを介して受発信することを可
能とするコミュニケーション手段」というマルチメディ
ア情報通信に関する技術開発が盛んに行われている。特
に、画像データに関しては、その容量が極めて多いた
め、いかに圧縮するかが重要であり、様々な研究が行わ
れている。

【０００３】現在、高圧縮率（Improved Coding Effici
ency）、ビットストリーム上での編集（Content Based
Manipulation and Bitstream Editing）、ＣＧ画像と自
然画像の合成画像に対する符号化（Hybrid Natural and
Synthetic Dats Coding）、などを目標として、ＭＰＥ
Ｇ４の標準化作業が進められている。

【０００４】本発明は、マルチメディアシステム上で動
作し、かつ超低ビットレート符号化（Very Low Bitrate
Video Coding:数十kbps程度）を目指した画像符号化技
術を実現しようとするものであり、具体的には、画像中
に存在する輪郭情報や領域情報などの画像の構造情報や
特徴情報を抽出し、これを符号化（２次元的）したり、
本来画像は実３次元空間の２次元平面への投影であると
考え、符号化対象の３次元構造情報を画像モデルとして
利用する有用な構造利用符号化技術を提供する。

【０００５】

〔文献(1):「構造モデルを用いた画像の分析合成符号化方式」、信学論B-I,Vol.J72-B-I,No.3,pp200-207, 1989.3月〕

符号化対象が限定されている場合には、対象に関する先
験的な知識を利用することができる。文献(1) では、画
像通信において人物顔画像の伝送が重要であるとの認識
から、顔の３次元構造モデル（ワイヤーフレームモデ
ル）を先験的知識として受信側と送信側で共有する符号
化技術が述べられている。

【０００６】送信側では、画像の特徴抽出を行い、ワイ
ヤーフレームモデルを構成する各特徴点が画像のどこに
あるかを検出し、検出結果のみを伝送する。受信側で
は、伝送された認識結果と、送信側と共有しているワイ
ヤーフレームモデルから画像合成を行い、再生画像を得
る。 (2) Object-Oriented Analysis-Synthesis Coding 〔文献(2):“Object-Oriented Analysis-Synthesis Cod
ing Based on MovingTwo-Dimensional Objects",Signal
Processing:Image Communication 2 Vol.2,No.4, Dec
1990〕 図５に、本符号化方式のアルゴリズムを示す。この符号
化ではまず、現在のフレームと１つ前（過去）のフレー
ムの濃度値の差分をとり、輝度変化のある領域を検出す
る。この領域に動物体が存在すると仮定する。画像特徴
の位置変化からこの領域を物体そのものの領域Ａと、物
体が動いたために今まで隠れていて新たに見えた領域Ｂ
に分類する。この際、領域Ａが１フレームの間にどの程
度動いたか（動き情報）を抽出する。

【０００７】被写体としては、剛体ではなく柔軟な２次
元の平面を仮定しており、物体が動く場合には、完全な
平行移動のみということはありえない。よって、領域Ａ
の内部においても、前フレームと現フレームで形状が多
少変化している部分が存在する。そこで、領域Ａについ
ては、前フレームの画像と動き情報から現画像における
予測画像を作成する。そして、予測画像との濃度差を計
算する。濃度差が小さい部分に関しては前フレームにお
ける形状情報と動き情報のみを伝送する。濃度差が大き
い部分については、現画像から形状情報と色情報を符号
化する。また、領域Ｂについては、色情報のみを符号化
する。

【０００８】

【発明が解決しようとする課題】従来例(1) においては
画像と知識（ワイヤーフレームモデル）との対応をとる
ために、あるいは従来例(2) においては前フレームと現
フレームでの動物体の位置の対応をとるために、画像内
の特徴検出を行っている。特徴検出を行うためには、画
像の特徴であるエッジ・色などの特徴検出を行う必要が
ある。しかし、実環境においては、照明条件の微妙な変
化など様々な外乱が発生する。例え撮像時間が１／３０
秒（１フレーム間）ずれただけであっても、照明が変化
し、同一物体であっても同じ画像特徴を常に安定して抽
出することは困難である。このため、安定して物体の特
徴検出を行うことができにくいという問題があった。

【０００９】また、物体の移動に伴って、対象物体が別
の物体の陰に隠れる（オクルージョン）ことによって、
対象物体の特徴検出を行うことができず、誤認識を起こ
すことも有り得た。

【００１０】さらに、マルチメディア環境で使用される
画像符号化方式としては、低ビットレートであることは
勿論、符号化以外の画像利用アプリケーション、例え
ば、 キーワードのみならずキー画像あるいは、部分画像を
用いた画像検索（例：画像データベースから、川が写っ
ている画像のみを検索する） 画像編集 フレーム単位の挿入／削除のみならず、画像中の物体単
位の挿入／削除／変形など 画像合成 ＣＧ画像との合成など に利用できるような画像符号化方式が望まれるが、従来
例ではこのような画像利用アプリケーションは不可能で
あった。

【００１１】本発明の目的は、超低ビットレートで符号
化でき、様々な画像利用アプリケーションに対する有効
利用が可能なマルチメディア環境に適した画像符号化方
式を提供することにある。

【００１２】本発明の他の目的は、安定して物体の特徴
抽出を行うことができ、またオクルージョンに対しても
有効な画像符号化方式を提供することにある。

【００１３】

【課題を解決するための手段】超低ビットレート（数＋
ｋｂｐｓ）符号化による画像伝送では、一般に復号画像
の各画素は、原画像の画素の値を忠実に再現することが
困難になる。そこで本願発明では、画質よりも情報内容
を優先し、送信者が画像を利用して送りたい内容、つま
り原画中で送信者にとり情報価値の高い部分を優先させ
て符号化する符号化機構を提供することにより、前記課
題の解決を図るものである。またそのため、本発明では
以下のような具体化手段が採用される。

【００１４】本発明は，画像を構成する各物体を単純な
形状を指定して切り出し、送信者が重要であると判断し
た物体に対してはビット量を多く割り当てて詳細情報ま
で復元できるようにし、あまり重要でないと判断した物
体に対しては少ないビット量しか与えず、粗い復元しか
できないような符号化画像を構成して画像符号化を行う
ようにするものである。

【００１５】本発明はまた、インタラクティブ操作によ
って、意味のある一まとまりの領域（セル画）を画像か
ら抽出して画面を複数の小領域に分割し（セル画化）、
セル画単位に画像の変形や単純化などの処理を行って伝
送を必要とする情報量を削減し、効率的な符号化データ
を作成するものである。

【００１６】本発明はまた、画像符号化の特徴抽出に際
して、利用者（送信者）のインタラクティブ（対話）操
作を導入することで、従来の計算機による自動処理では
安定した結果を得ることができなかった動画における領
域の分割や特徴抽出処理を安定して行うことができるよ
うにするものである。

【００１７】本発明はまた、利用者のインタラクティブ
操作を導入することで、デフォルメや逆説的な表現な
ど、人間に本質的な創造的編集・感情・感性を利用して
情報効率の高い符号化画像を生成することを可能にする
ものである。

【００１８】本発明はまた、利用者のインタラクティブ
操作により、人間に本質的な創造的編集・感情・感性を
利用して利用者の意図を考慮した符号化を行うことによ
って、復号画像／原画像のＳＮ比は低い（復号画像の各
画素は原画像の各画素の値を忠実に再現していない）
が、原画が伝えたい内容は忠実に伝えることができるよ
うにするものである。

【００１９】本発明はまた、セル画化において遠方に配
置するセルの一部が手前に配置するセルによって隠され
てしまった（オクルージョン）場合、インタラクティブ
操作によって遠方に配置するセルの形状を正しく指定す
ることによって、オクルージョンによる影響を排除する
ものである。

【００２０】本発明はまた、抽出されたセル画の位置や
その前後関係（遠近関係）など、各セル画の状態を表す
コマンドをインタラクティブに次々に発行するような形
式で符号化データを作成するものである。

【００２１】本発明は、セル画として意味のある一まと
まりの領域を画像から抽出し、それらを画像特徴と共に
蓄積し、マルチメディア環境で使用される画像検索や編
集などの他のアプリケーションにおいても利用可能な形
式で保存することによって、他のアプリケーションにも
そのデータを応用できるようにするものである。

【００２２】図１は、このような本発明の画像符号化方
式の原理図である。図１において、１は、利用者のイン
タラクティブ操作を利用して入力画像の画像特徴を抽出
し、送信者が意図した通りに領域（セル画）分割を行う
ことができる分析インタフェ−スである。

【００２３】２は、分析インタフェ−スで抽出され領域
を、様々な特徴量と共に蓄積する構造化画像データベー
スである。３は、人間の創造的思考を利用して、分析イ
ンタフェ−スで抽出された領域を変形し、デフォルメを
加えたり、メタファー、逆説的表現などを付加して符号
化画像を作成する編集インタフェ−スである。

【００２４】４は、実際に符号化データを生成する符号
化部である。分析インタフェ−ス１では、入力画像に対
してエッジなどの画像の特徴抽出を行い、画像を何らか
の意味的にまとまった領域（セル画）に分類する。この
時、外乱のために画像特徴が安定して抽出できなかった
り、誤って抽出されるなどして送信者の意図通りにセル
画化できない場合には、インタラクティブ操作によって
修正を加える。また動画についてはセル画内の物体の動
きを抽出する。

【００２５】構造化画像データベース２は、分析インタ
フェ−ス１で抽出されたセル画を蓄積する。各セル画は
送信者の意図によって領域分割・特徴抽出が行われ、様
々な特徴量と共に構造化画像データベース２に登録され
る。

【００２６】編集インタフェ−ス３では、分析された各
セルを基に、インタラクティブ操作により人間の創造性
を利用して符号化画像を作成する。各セルを対話操作に
よって重ね合わせ、変形・デフォルメなどを加え、簡単
な形状、単純な色にし、あるいは動きを低レートで符号
化できるような画像（符号化画像）を生成する。

【００２７】符号化部４では、編集インタフェ−ス３で
生成された符号化画像を対象にインタラクティブ操作に
よりセル画単位にコマンドを指定し、符号化する。ここ
で、分析インタフェ−ス１、編集インタフェ−ス３で
は、インタラクティブ操作や、特徴抽出などの処理結果
を送信者がチェックできるように、モニタリング機能が
付加されている。

【００２８】図１の本発明方式では、分析インタフェ−
ス１で入力画像に対してエッジなどの画像の特徴抽出を
行い、画像を何らかの意味的にまとまった領域に分割す
る。この分割された領域（セル画）は、送信者にとって
意味を持つものであれば良い。また、セル画の境界は、
実際に画像上にあるエッジと正確に一致するものでなく
て構わない。システムが画像特徴を抽出できなかった
り、誤って抽出されたりした場合には、送信者がインタ
ラクティブ操作によって修正を加える。さらに、送信者
が意図的に本来の境界ではない部分を境界として指定
し、セル画を構成しても構わない。分割されたセル画
は、様々な特徴量と共に構造化画像データベース２に登
録されると共に、編集インタフェ−ス３へ送られる。

【００２９】編集インタフェ−ス３では、分割された各
セル画を基に、インタラクティブ操作により人間の創造
性を利用して符号化画像を作成する。例えば変形・デフ
ォルメを加えたり、逆説的な表現や哲学的表現（cf. ピ
カソの絵画のように人の横顔の画像に対して、向こう側
の見えていない目を付加する etc）を用いたり、感情・
感性を用いる（ex擬人化）などして形状・色などは単純
だが、原画像を用いて伝えたい（と送信者が思ってい
る）内容を保持している画像を符号化画像として作成す
る。こうする事によって、送信者の意図を積極的に反映
した符号化を実現することができる。さらに、手前にあ
る物体によってある領域の一部が隠され、奥の領域の物
体の形状を正しく抽出することが出来ない場合でも、送
信者は隠された領域の境界や物体を指定する。また、送
信者は各セル画間の前後関係を指定する。

【００３０】符号化画像は符号化部４において、実際の
符号データに変換される。本発明方式における符号化デ
ータの作成は、最も遠方に位置するレイヤーのセル画か
ら最も手前に位置するレイヤーのセル画に対して、各セ
ルの状態を指定するコマンドを次々に発行するような形
式で作成する。即ち、符号化データは、コマンド列とな
る。

【００３１】また、セル画を画像特徴と共に構造化画像
データベースに蓄えることによって、部分画像をキーと
して利用する画像検索へ利用したり、物体単位で編集を
行うような画像編集など、他のマルチメディアアプリケ
ーションにも利用できるような画像符号化方式になって
いる。

【００３２】

【発明の実施の形態】図２は、本発明の１実施例システ
ムの構成図である。図２において、１は分析インタフェ
−ス、２は構造化画像データベース、３は編集インタフ
ェ−ス、４は符号化部、５は入力画像ファイル、６はデ
ィスプレイ、７はキーボード、８はマウス、９は対話処
理部、１０は特徴抽出部、１１は特徴修正部、１２は符
号化画像生成部、１３は符号化画像ファイルである。

【００３３】入力画像ファイル５には、予めイメージス
キャナやＴＶカメラで取り込まれた原画像、あるいはＣ
Ｄ−ＲＯＭや他システムからの伝送によって供給された
原画像が格納されている。原画像は静止画あるいは動画
であることができ、動画の場合は連続する複数フレーム
の画面で構成される。画像データとしては、例えば画面
サイズが３５２×２４０画素で形式がＲＧＢ各８ｂｉｔ
のもの、あるいは画面サイズが７２０×４８６画素で形
式が４：２：２輝度、色差各８ｂｉｔのものなどが用い
られる。

【００３４】対話処理部９は、ディスプレイ６への画面
出力処理、キーボード７やマウス８からのコマンド、デ
ータの入力処理を行って、システムと利用者との対話を
仲介し、ウインドウ画面制御によりメニュー画面を表示
したり、各種機能部の起動などを実行する。

【００３５】利用者は、原画像を伝送する際、まず入力
画像ファイル５から目的とする原画像データを選択し、
分析インタフェ−ス１を起動する。分析インタフェ−ス
１では、特徴抽出部１０が原画像データから自動的に画
像のエッジ（輪郭線）を検出し、また各部の濃度変化分
布を調べるなどして、単位となる小画像領域（セル画）
を可能なだけ切り出し、エッジ画像と重ねて画面に表示
する。画面を複数のセル画に領域分割するアルゴリズム
としては、例えば空間微分を行って画像のエッジ部分を
抽出した後、色・位置特徴空間でｋ平均クラスタリング

【００３６】

【数１】

【００３７】によりクラスタリングを行い、隣り合うク
ラスタ同士が同じ色を有する場合にそれらのクラスタ同
士を統合する処理を行う色情報に基づくセグメンテーシ
ョン方法などが使用できる。

【００３８】また特徴抽出部１０は、入力画像が動画の
場合、各フレームの画面で画像各部の動きを検出する機
能を備えている。画像の動きを検出するには、オプティ
カルフロー抽出アルゴリズムやブロックマッチングなど
の手法が用いられる。

【００３９】利用者は、画面に表示されたエッジ画像や
セル画の適否を判断し、不適当なものがあった場合にコ
マンド指示を行い、特徴修正部１１を機能化する。特徴
修正部１１が機能化されると、画面上でインタラクティ
ブにセル画の設定、削除、修正を行うことが可能とな
る。利用者は、新たなセル画の設定が必要な画像領域に
ついて、それを囲む多角形の各頂点を入力する方法でセ
ル画を指定する。また隣接するセル画の境界部分で両側
のセル画の物体の色が似ているために境界を示す筈のエ
ッジが途切れて見えるなど、セグメンテーションに失敗
しているような場合にはエッジを補う指定を行い、また
オクルージョンにより一部が欠落しているセル画につい
ては、セル画の境界を物体本来の形に沿って指定し、さ
らにセル画内の隠れている部分を周りの色から推測して
指定する。

【００４０】このようにして、適切な形でセル画による
画面分割を行った後、原画と、各セル画の頂点位置や、
文字、図形、写真などの種別を示す情報あるいは後で検
索利用を容易にするための種々のキーや原画のエッジお
よび色を簡略化した抽象化画像（サンプル画）などの種
々の特徴情報を付加して、構造化画像データベース２に
格納し、編集インタフェ−ス３を起動する。

【００４１】編集インタフェ−ス３は、構造化画像デー
タベース２に格納されている各セル画について、利用者
の情報伝達の意図に応じて、画像を情報伝達に一層適し
た形に変形、加工し、あるいは符号化効率を高めるため
に、画像の重要性に応じて簡略化による情報圧縮を行う
ことを可能にするインタラクティブな操作手段である。
例えばセル画間の前後関係を指定したり、不鮮明な画像
の場合、線画で輪郭を強調したり、説明語句やメタファ
ー、逆説的表現を付加したり、重要でない画像は輪郭や
色を単純化することができる。また動画では動き情報を
簡略化し、時刻別の複数の画面を用いる代わりに１枚の
画面に動き情報を付加したものにすることができる。メ
タファーの例としては、画像の背景の空の色が灰色や白
色の混じったものである場合、受信者には分かりにくい
ことがあり、その場合青一色に塗り潰して空と認識しや
すくすることが挙げられている。また逆説的表現として
は、原画を忠実に伝送しても認識しにくい物体の場合、
送信者と受信者との間に共通の認識が成り立つ範囲でそ
の物体を他の物体で代替してもよい。

【００４２】編集インタフェース３の符号化画像生成部
１２は、このためセル画間の前後関係を指定するツー
ル、セル画の色彩を簡略化するツール（原テクスチャ保
持／一色塗り潰し／高周波分カット／エッジ＋閉領域の
一色化／……を選択できる）、異なる時刻のフレーム画
像間でセル画の動きを抽出するツール（平行移動／拡大
／縮小／回転／変形の操作をマウスで指定し、セル画の
変化を検出する）等を備えている。このようにして符号
化に適した形に編集された各セル画は、符号化画像デー
タとして符号化画像ファイル１３に格納される。

【００４３】符号化部４は、この符号化画像ファイル１
３の符号化画像データを対象に所定の符号化を実行し、
相手先システムへ伝送する。符号化部４は、各セル画に
付加されている原画像上でのセル画の遠近位置（奥行き
方向の位置）情報にしたがい、遠い位置のセル画から手
前に向かって順に符号化する。符号化は利用者がセル画
ごとに必要な描画を行うコマンドをインタラクティブに
指定することにより行われる。

【００４４】一例として、形状の単純な矩形で画像から
セル画を切り出し、遠景にあるセル画から最も近景にあ
るセル画をコマンドシーケンスとして符号化および伝送
する場合について説明する。

【００４５】原画像において、利用者が一つの意味的
にまとまったセル画だと判断した領域に対して、その領
域に外接するような多角形を構成できるように、数点の
頂点を指定する。

【００４６】で指定したセル画に対して、あるセル
画が画像において重要な意味を持つものであり、利用者
ができる限り詳細に情報を伝送したいと判断した場合に
は、原画像の色情報をそのまま各画素に割り当てる。

【００４７】で指定したセル画に対して、あるセル
画があまり重要な領域ではないと利用者が判断した場合
には、そのセル画を表すのに代表的だと判断した色の位
置を利用者が指定する。符号化画像は、利用者が指定し
た位置の色のみで全領域が塗り潰される。

【００４８】各セル画のデータは、そのセル画を構成
する外接矩形の頂点の座標値と、に述べたセル画につ
いてはセル画内の各画素値を、に述べたセル画につい
てはセル画内の代表的な一点の画素値のみとなる。

【００４９】符号化データは、以上のデータを利用者が
最も遠方に位置すると指定したセル画から順に、最も手
前に位置するセル画まで、コマンド列として並べたもの
となる。

【００５０】オクルージョンが起きている場合でも、
利用者はセル画本来の形状に近い形状を抽出できるよう
に多角形を指定する。のコマンド発行の順序によっ
て、オクルージョンが発生している部分は手前のセル画
によって上書きされる。

【００５１】本発明の符号化では、利用者が重要でな
いと判断した領域については、形状が表す数点の座標と
領域を代表する色（一色）の情報しか必要としない。ま
た、重要と判断された領域においても、その形状は簡素
化されている。

【００５２】一方、この符号化画像を受信した利用者に
おいても、重要な領域に関してはほぼ原画の色情報が伝
送されているので、大体どのような画像であるかを理解
することができる。

【００５３】図３に原画像を、図４に本実施例に示した
手順で作成した符号化画像の例を示す。図４の画像は、
以下に示す５つのセル画に分割されている。 ここでセル画Ｅは、利用者が点１〜７までの７点を指定
して外接矩形を構成し、形状を単純にしている。他のセ
ル画についても、同様である。また、セル画Ａとセル画
Ｅはあまり重要でない領域として、領域内にある一点の
画素値で全画素値を塗り潰している。

【００５４】セル画Ａ，Ｂ，Ｄはセル画Ｅによってオク
ルージョンを起こしているが、それぞれセル画Ｅの左側
の領域と右側の領域に分けて指定するのではなく、セル
画Ｅの両側にまたがった領域を一つのセル画として指定
している。符号化データでは、最遠方に位置しているセ
ル画Ａから描くようになっており、各セルでセル画Ｅに
隠れて見えない部分（画素値不明の部分）は、最終的に
セル画Ｅによって上書きされる。

【００５５】この実施例においては、各セル画内部の画
素を塗り潰す方法は二通りしかないが、中間的な情報量
を持つセルとして、セル画内のエッジのみを表示した画
像を作成するなど、セル画をどのように作成するかにつ
いては、他に様々な態様が考えられる。

【００５６】

【発明の効果】以上に説明した様に、本発明の画像符号
化方式によれば、人間のインタラクティブ操作を符号化
に導入することによって、 従来のモデルベース符号化やオブジェクトベース符号
化方式で問題となっていた「画像特徴を安定して抽出で
きない」という欠点を回避することができる。

【００５７】オクルージョンが発生している場合で
も、送信者が対話操作によって意味的にまとまっている
物体を一つの領域（セル画）として指定することがで
き、画像を構造化する場合に誤った構造化を避けること
ができる。

【００５８】画像検索や映像生成など、画像を利用す
る符号化以外のアプリケーションでも利用できるような
データを抽出することが可能である。 対話操作によって、送信者が創造的編集・感情・感性
を用いてセル画を変形・デフォルメするため、符号化画
像を作成する時に利用者（送信者）の意図を積極的に反
映し、符号化画像の作成を行うことができる。等の効果
を有する。

【図面の簡単な説明】

【図１】本発明の原理図である。

【図２】本発明の１実施例システムの構成図である。

【図３】原画像の例を示す説明図である。

【図４】符号化画像の例を示す説明図である。

【図５】従来例(2) の符号化方式の説明図である。

【符号の説明】

１：分析インタフェ−ス ２：構造化画像データベース ３：編集インタフェ−ス ４：符号化部

───────────────────────────────────────────────────── フロントページの続き (72)発明者 原島 博 東京都港区芝二丁目31番19号 バンザイビ ル６Ｆ 通信・放送機構内 (72)発明者 金子 正秀 東京都港区芝二丁目31番19号 バンザイビ ル６Ｆ 通信・放送機構内 (72)発明者 斎藤 隆弘 東京都港区芝二丁目31番19号 バンザイビ ル６Ｆ 通信・放送機構内

Claims (5)

【特許請求の範囲】
1. 【請求項１】 入力画像の特徴分析を行って、入力画像
   を構成する複数のセル画を抽出し、それら複数のセル画
   により入力画像の領域分割を行うとともに、それぞれの
   セル画に特徴情報を付加する分析インタフェ−スと、 分析インタフェ−スが抽出した複数のセル画の各々を、
   それに付加されている特徴情報とともに蓄積する構造化
   画像データベースと、 構造化画像データベースに蓄積されているセル画の任意
   のものを対話形式で修正加工し、符号化に適した符号化
   画像データを作成する編集インタフェ−スと、編集イン
   タフェ−スで作成された符号化画像データを対象に符号
   化を行う符号化部とを備え、 上記分析インタフェ−スは、入力画像の特徴分析及びセ
   ル画の抽出を自動的に行う機能と、自動的に抽出された
   セル画を対話形式で修正する機能とを有し、利用者は自
   動的に抽出されたセル画を画面上で確認し、必要に応じ
   て対話形式でセル画の修正を行ってその結果を符号化さ
   せることを特徴とする画像符号化方式。
2. 【請求項２】 請求項１において、編集インタフェ−ス
   は、構造化画像データベース内の指定されたセル画の画
   像を、対話形式による指示にしたがって変形し、あるい
   はその色情報を単純化する機能を有し、利用者の指示に
   応じてセル画の画像情報の補足や圧縮を行うことを特徴
   とする画像符号化方式。
3. 【請求項３】 請求項１及び２において、構造化画像デ
   ータベースに蓄積されるセル画に付加されている特徴情
   報には、入力画像の画面での当該セル画の遠近上の位置
   を示す情報が含まれ、符号化部は、入力画像の画面で最
   も遠くに位置するセル画から手前のセル画に向かって、
   セル画単位に順に符号化を行うことを特徴とする画像符
   号化方式。
4. 【請求項４】 請求項１乃至請求項３において、入力画
   像が動画の場合、分析インタフェースはセル画ごとに物
   体の動き情報を抽出し、編集インタフェースはセル画ご
   とに前記抽出された物体の動き情報を補足あるいは簡略
   化する機能を有することを特徴とする画像符号化方式。
5. 【請求項５】 人間に本質的な感情、感性に基づく創造
   的編集能力を利用して、送信者との対話により原画像中
   の物体の情報伝達価値に応じた符号化を行い、原画像に
   対する復号画像のＳＮ比は低いが送信者の意図する情報
   を超低ビットレートで効率的に伝送可能にすることを特
   徴とする画像符号化方式。