JP3772185B2

JP3772185B2 - 画像符号化方式

Info

Publication number: JP3772185B2
Application number: JP19318295A
Authority: JP
Inventors: 善之太田; 博原島; 正秀金子; 隆弘斎藤
Original assignee: Fujitsu Ltd; National Institute of Information and Communications Technology
Current assignee: Fujitsu Ltd; National Institute of Information and Communications Technology
Priority date: 1995-07-28
Filing date: 1995-07-28
Publication date: 2006-05-10
Anticipated expiration: 2015-07-28
Also published as: JPH0946704A

Description

【０００１】
【発明の属する技術分野】
本発明は、画像情報を効率的に伝送あるいは蓄積するための画像符号化方式に関する。
【０００２】
近年、米の情報スーパーハイウェイ構想やインターネットの浸透によって、「音声・画像・文字・データなどをデジタル化により統合された情報として一体的に扱い、ネットワークを介して受発信することを可能とするコミュニケーション手段」というマルチメディア情報通信に関する技術開発が盛んに行われている。特に、画像データに関しては、その容量が極めて多いため、いかに圧縮するかが重要であり、様々な研究が行われている。
【０００３】
現在、高圧縮率（Improved Coding Efficiency）、ビットストリーム上での編集（Content Based Manipulation and Bitstream Editing）、ＣＧ画像と自然画像の合成画像に対する符号化（Hybrid Natural and Synthetic Dats Coding）、などを目標として、ＭＰＥＧ４の標準化作業が進められている。
【０００４】
本発明は、マルチメディアシステム上で動作し、かつ超低ビットレート符号化（Very Low Bitrate Video Coding:数十kbps程度）を目指した画像符号化技術を実現しようとするものであり、具体的には、画像中に存在する輪郭情報や領域情報などの画像の構造情報や特徴情報を抽出し、これを符号化（２次元的）したり、本来画像は実３次元空間の２次元平面への投影であると考え、符号化対象の３次元構造情報を画像モデルとして利用する有用な構造利用符号化技術を提供する。
【０００５】
【従来の技術】
従来、画像の構造を利用する符号化技術には大きく分けて以下の２つがあった。
(1) モデルベース符号化
〔文献(1):「構造モデルを用いた画像の分析合成符号化方式」、信学論B-I,Vol.J72-B-I,No.3,pp200-207, 1989.3月〕
符号化対象が限定されている場合には、対象に関する先験的な知識を利用することができる。文献(1) では、画像通信において人物顔画像の伝送が重要であるとの認識から、顔の３次元構造モデル（ワイヤーフレームモデル）を先験的知識として受信側と送信側で共有する符号化技術が述べられている。
【０００６】
送信側では、画像の特徴抽出を行い、ワイヤーフレームモデルを構成する各特徴点が画像のどこにあるかを検出し、検出結果のみを伝送する。受信側では、伝送された認識結果と、送信側と共有しているワイヤーフレームモデルから画像合成を行い、再生画像を得る。
(2) Object-Oriented Analysis-Synthesis Coding
〔文献(2):“Object-Oriented Analysis-Synthesis Coding Based on Moving Two-Dimensional Objects",Signal Processing:Image Communication 2 Vol.2, No.4, Dec 1990〕
図５に、本符号化方式のアルゴリズムを示す。この符号化ではまず、現在のフレームと１つ前（過去）のフレームの濃度値の差分をとり、輝度変化のある領域を検出する。この領域に動物体が存在すると仮定する。画像特徴の位置変化からこの領域を物体そのものの領域Ａと、物体が動いたために今まで隠れていて新たに見えた領域Ｂに分類する。この際、領域Ａが１フレームの間にどの程度動いたか（動き情報）を抽出する。
【０００７】
被写体としては、剛体ではなく柔軟な２次元の平面を仮定しており、物体が動く場合には、完全な平行移動のみということはありえない。よって、領域Ａの内部においても、前フレームと現フレームで形状が多少変化している部分が存在する。そこで、領域Ａについては、前フレームの画像と動き情報から現画像における予測画像を作成する。そして、予測画像との濃度差を計算する。濃度差が小さい部分に関しては前フレームにおける形状情報と動き情報のみを伝送する。濃度差が大きい部分については、現画像から形状情報と色情報を符号化する。また、領域Ｂについては、色情報のみを符号化する。
【０００８】
【発明が解決しようとする課題】
従来例(1) においては画像と知識（ワイヤーフレームモデル）との対応をとるために、あるいは従来例(2) においては前フレームと現フレームでの動物体の位置の対応をとるために、画像内の特徴検出を行っている。特徴検出を行うためには、画像の特徴であるエッジ・色などの特徴検出を行う必要がある。しかし、実環境においては、照明条件の微妙な変化など様々な外乱が発生する。例え撮像時間が１／３０秒（１フレーム間）ずれただけであっても、照明が変化し、同一物体であっても同じ画像特徴を常に安定して抽出することは困難である。このため、安定して物体の特徴検出を行うことができにくいという問題があった。
【０００９】
また、物体の移動に伴って、対象物体が別の物体の陰に隠れる（オクルージョン）ことによって、対象物体の特徴検出を行うことができず、誤認識を起こすことも有り得た。
【００１０】
さらに、マルチメディア環境で使用される画像符号化方式としては、低ビットレートであることは勿論、符号化以外の画像利用アプリケーション、例えば、
（１）キーワードのみならずキー画像あるいは、部分画像を用いた画像検索（例：画像データベースから、川が写っている画像のみを検索する）
（２）画像編集
フレーム単位の挿入／削除のみならず、画像中の物体単位の挿入／削除／変形など
（３）画像合成
ＣＧ画像との合成など
に利用できるような画像符号化方式が望まれるが、従来例ではこのような画像利用アプリケーションは不可能であった。
【００１１】
本発明の目的は、超低ビットレートで符号化でき、様々な画像利用アプリケーションに対する有効利用が可能なマルチメディア環境に適した画像符号化方式を提供することにある。
【００１２】
本発明の他の目的は、安定して物体の特徴抽出を行うことができ、またオクルージョンに対しても有効な画像符号化方式を提供することにある。
【００１３】
【課題を解決するための手段】
超低ビットレート（数十ｋｂｐｓ）符号化による画像伝送では、一般に復号画像の各画素は、原画像の画素の値を忠実に再現することが困難になる。そこで本願発明では、画質よりも情報内容を優先し、送信者が画像を利用して送りたい内容、つまり原画中で送信者にとり情報価値の高い部分を優先させて符号化する符号化機構を提供することにより、前記課題の解決を図るものである。またそのため、本発明では以下のような具体化手段が採用される。
【００１４】
本発明は，画像を構成する各物体を単純な形状を指定して切り出し、送信者が重要であると判断した物体に対してはビット量を多く割り当てて詳細情報まで復元できるようにし、あまり重要でないと判断した物体に対しては少ないビット量しか与えず、粗い復元しかできないような加工画像を作成して画像符号化を行うようにするものである。
【００１５】
本発明はまた、インタラクティブ操作によって、意味のある一まとまりの領域（セル画）を画像から抽出して画面を複数の小領域に分割し（セル画化）、セル画単位に画像の変形や単純化などの処理を行って伝送を必要とする情報量を削減し、効率的な符号化データを作成するものである。
【００１６】
本発明はまた、画像符号化の特徴抽出に際して、利用者（送信者）のインタラクティブ（対話）操作を導入することで、従来の計算機による自動処理では安定した結果を得ることができなかった動画における領域の分割や特徴抽出処理を安定して行うことができるようにするものである。
【００１７】
本発明はまた、利用者のインタラクティブ操作を導入することで、デフォルメや逆説的な表現など、人間に本質的な創造的編集・感情・感性を利用して情報効率の高い加工画像を生成することを可能にするものである。
【００１８】
本発明はまた、利用者のインタラクティブ操作により、人間に本質的な創造的編集・感情・感性を利用して利用者の意図を考慮した符号化を行うことによって、復号画像／原画像のＳＮ比は低い（復号画像の各画素は原画像の各画素の値を忠実に再現していない）が、原画が伝えたい内容は忠実に伝えることができるようにするものである。
【００１９】
本発明はまた、セル画化において遠方に配置するセルの一部が手前に配置するセルによって隠されてしまった（オクルージョン）場合、インタラクティブ操作によって遠方に配置するセルの形状を正しく指定することによって、オクルージョンによる影響を排除するものである。
【００２０】
本発明はまた、抽出されたセル画の位置やその前後関係（遠近関係）など、各セル画の状態を表すコマンドをインタラクティブに次々に発行するような形式で符号化データを作成するものである。
【００２１】
本発明は、セル画として意味のある一まとまりの領域を画像から抽出し、それらを画像特徴と共に蓄積し、マルチメディア環境で使用される画像検索や編集などの他のアプリケーションにおいても利用可能な形式で保存することによって、他のアプリケーションにもそのデータを応用できるようにするものである。
【００２２】
図１は、このような本発明の画像符号化方式の原理図である。
図１において、
１は、利用者のインタラクティブ操作を利用して入力画像の画像特徴を抽出し、送信者が意図した通りに領域（セル画）分割を行うことができる分析インタフェースである。
【００２３】
２は、分析インタフェースで抽出され領域を、様々な特徴量と共に蓄積する構造化画像データベースである。
３は、人間の創造的思考を利用して、分析インタフェースで抽出された領域を変形し、デフォルメを加えたり、メタファー、逆説的表現などを付加して符号化画像を作成する編集インタフェースである。
【００２４】
４は、実際に符号化データを生成する符号化部である。
分析インタフェース１では、入力画像に対してエッジなどの画像の特徴抽出を行い、画像を何らかの意味的にまとまった領域（セル画）に分類する。この時、外乱のために画像特徴が安定して抽出できなかったり、誤って抽出されるなどして送信者の意図通りにセル画化できない場合には、インタラクティブ操作によって修正を加える。また動画についてはセル画内の物体の動きを抽出する。
【００２５】
構造化画像データベース２は、分析インタフェース１で抽出されたセル画を蓄積する。各セル画は送信者の意図によって領域分割・特徴抽出が行われ、様々な特徴量と共に構造化画像データベース２に登録される。
【００２６】
編集インタフェース３では、分析された各セルを基に、インタラクティブ操作により人間の創造性を利用して加工画像を作成する。各セルを対話操作によって重ね合わせ、変形・デフォルメなどを加え、簡単な形状、単純な色にし、あるいは動きを低レートで符号化できるような画像（加工画像）を生成する。
【００２７】
符号化部４では、編集インタフェース３で生成された加工画像を対象にインタラクティブ操作によりセル画単位にコマンドを指定し、符号化する。
ここで、分析インタフェース１、編集インタフェース３では、インタラクティブ操作や、特徴抽出などの処理結果を送信者がチェックできるように、モニタリング機能が付加されている。
【００２８】
図１の本発明方式では、分析インタフェース１で入力画像に対してエッジなどの画像の特徴抽出を行い、画像を何らかの意味的にまとまった領域に分割する。この分割された領域（セル画）は、送信者にとって意味を持つものであれば良い。また、セル画の境界は、実際に画像上にあるエッジと正確に一致するものでなくて構わない。システムが画像特徴を抽出できなかったり、誤って抽出されたりした場合には、送信者がインタラクティブ操作によって修正を加える。さらに、送信者が意図的に本来の境界ではない部分を境界として指定し、セル画を構成しても構わない。分割されたセル画は、様々な特徴量と共に構造化画像データベース２に登録されると共に、編集インタフェース３へ送られる。
【００２９】
編集インタフェース３では、分割された各セル画を基に、インタラクティブ操作により人間の創造性を利用して加工画像を作成する。例えば変形・デフォルメを加えたり、逆説的な表現や哲学的表現（cf. ピカソの絵画のように人の横顔の画像に対して、向こう側の見えていない目を付加する etc）を用いたり、感情・感性を用いる（ex擬人化）などして形状・色などは単純だが、原画像を用いて伝えたい（と送信者が思っている）内容を保持している画像を加工画像として作成する。こうする事によって、送信者の意図を積極的に反映した符号化を実現することができる。さらに、手前にある物体によってある領域の一部が隠され、奥の領域の物体の形状を正しく抽出することが出来ない場合でも、送信者は隠された領域の境界や物体を指定する。また、送信者は各セル画間の前後関係を指定する。
【００３０】
加工画像は符号化部４において、実際の符号データに変換される。本発明方式における符号化データの作成は、最も遠方に位置するレイヤーのセル画から最も手前に位置するレイヤーのセル画に対して、各セルの状態を指定するコマンドを次々に発行するような形式で作成する。即ち、符号化データは、コマンド列となる。
【００３１】
また、セル画を画像特徴と共に構造化画像データベースに蓄えることによって、部分画像をキーとして利用する画像検索へ利用したり、物体単位で編集を行うような画像編集など、他のマルチメディアアプリケーションにも利用できるような画像符号化方式になっている。
【００３２】
【発明の実施の形態】
図２は、本発明の１実施例システムの構成図である。
図２において、１は分析インタフェース、２は構造化画像データベース、３は編集インタフェース、４は符号化部、５は入力画像ファイル、６はディスプレイ、７はキーボード、８はマウス、９は対話処理部、１０は特徴抽出部、１１は特徴修正部、１２は加工画像生成部、１３は加工画像ファイルである。
【００３３】
入力画像ファイル５には、予めイメージスキャナやＴＶカメラで取り込まれた原画像、あるいはＣＤ−ＲＯＭや他システムからの伝送によって供給された原画像が格納されている。原画像は静止画あるいは動画であることができ、動画の場合は連続する複数フレームの画面で構成される。画像データとしては、例えば画面サイズが３５２×２４０画素で形式がＲＧＢ各８ｂｉｔのもの、あるいは画面サイズが７２０×４８６画素で形式が４：２：２輝度、色差各８ｂｉｔのものなどが用いられる。
【００３４】
対話処理部９は、ディスプレイ６への画面出力処理、キーボード７やマウス８からのコマンド、データの入力処理を行って、システムと利用者との対話を仲介し、ウインドウ画面制御によりメニュー画面を表示したり、各種機能部の起動などを実行する。
【００３５】
利用者は、原画像を伝送する際、まず入力画像ファイル５から目的とする原画像データを選択し、分析インタフェース１を起動する。分析インタフェース１では、特徴抽出部１０が原画像データから自動的に画像のエッジ（輪郭線）を検出し、また各部の濃度変化分布を調べるなどして、単位となる小画像領域（セル画）を可能なだけ切り出し、エッジ画像と重ねて画面に表示する。画面を複数のセル画に領域分割するアルゴリズムとしては、例えば空間微分を行って画像のエッジ部分を抽出した後、色・位置特徴空間でｋ平均クラスタリング
【００３６】
【数１】

【００３７】
によりクラスタリングを行い、隣り合うクラスタ同士が同じ色を有する場合にそれらのクラスタ同士を統合する処理を行う色情報に基づくセグメンテーション方法などが使用できる。
【００３８】
また特徴抽出部１０は、入力画像が動画の場合、各フレームの画面で画像各部の動きを検出する機能を備えている。画像の動きを検出するには、オプティカルフロー抽出アルゴリズムやブロックマッチングなどの手法が用いられる。
【００３９】
利用者は、画面に表示されたエッジ画像やセル画の適否を判断し、不適当なものがあった場合にコマンド指示を行い、特徴修正部１１を機能化する。特徴修正部１１が機能化されると、画面上でインタラクティブにセル画の設定、削除、修正を行うことが可能となる。利用者は、新たなセル画の設定が必要な画像領域について、それを囲む多角形の各頂点を入力する方法でセル画を指定する。また隣接するセル画の境界部分で両側のセル画の物体の色が似ているために境界を示す筈のエッジが途切れて見えるなど、セグメンテーションに失敗しているような場合にはエッジを補う指定を行い、またオクルージョンにより一部が欠落しているセル画については、セル画の境界を物体本来の形に沿って指定し、さらにセル画内の隠れている部分を周りの色から推測して指定する。
【００４０】
このようにして、適切な形でセル画による画面分割を行った後、原画と、各セル画の頂点位置や、文字、図形、写真などの種別を示す情報あるいは後で検索利用を容易にするための種々のキーや原画のエッジおよび色を簡略化した抽象化画像（サンプル画）などの種々の特徴情報を付加して、構造化画像データベース２に格納し、編集インタフェース３を起動する。
【００４１】
編集インタフェース３は、構造化画像データベース２に格納されている各セル画について、利用者の情報伝達の意図に応じて、画像を情報伝達に一層適した形に変形、加工し、あるいは符号化効率を高めるために、画像の重要性に応じて簡略化による情報圧縮を行うことを可能にするインタラクティブな操作手段である。例えばセル画間の前後関係を指定したり、不鮮明な画像の場合、線画で輪郭を強調したり、説明語句やメタファー、逆説的表現を付加したり、重要でない画像は輪郭や色を単純化することができる。また動画では動き情報を簡略化し、時刻別の複数の画面を用いる代わりに１枚の画面に動き情報を付加したものにすることができる。メタファーの例としては、画像の背景の空の色が灰色や白色の混じったものである場合、受信者には分かりにくいことがあり、その場合青一色に塗り潰して空と認識しやすくすることが挙げられている。また逆説的表現としては、原画を忠実に伝送しても認識しにくい物体の場合、送信者と受信者との間に共通の認識が成り立つ範囲でその物体を他の物体で代替してもよい。
【００４２】
編集インタフェース３の加工画像生成部１２は、このためセル画間の前後関係を指定するツール、セル画の色彩を簡略化するツール（原テクスチャ保持／一色塗り潰し／高周波分カット／エッジ＋閉領域の一色化／……を選択できる）、異なる時刻のフレーム画像間でセル画の動きを抽出するツール（平行移動／拡大／縮小／回転／変形の操作をマウスで指定し、セル画の変化を検出する）等を備えている。このようにして符号化に適した形に編集された各セル画は、加工画像データとして加工画像ファイル１３に格納される。
【００４３】
符号化部４は、この加工画像ファイル１３の加工画像データを対象に所定の符号化を実行し、相手先システムへ伝送する。符号化部４は、各セル画に付加されている原画像上でのセル画の遠近位置（奥行き方向の位置）情報にしたがい、遠い位置のセル画から手前に向かって順に符号化する。符号化は利用者がセル画ごとに必要な描画を行うコマンドをインタラクティブに指定することにより行われる。
【００４４】
一例として、形状の単純な矩形で画像からセル画を切り出し、遠景にあるセル画から最も近景にあるセル画をコマンドシーケンスとして符号化および伝送する場合について説明する。
【００４５】
（１）原画像において、利用者が一つの意味的にまとまったセル画だと判断した領域に対して、その領域に外接するような多角形を構成できるように、数点の頂点を指定する。
【００４６】
（２）（１）で指定したセル画に対して、あるセル画が画像において重要な意味を持つものであり、利用者ができる限り詳細に情報を伝送したいと判断した場合には、原画像の色情報をそのまま各画素に割り当てる。
【００４７】
（３）（１）で指定したセル画に対して、あるセル画があまり重要な領域ではないと利用者が判断した場合には、そのセル画を表すのに代表的だと判断した色の位置を利用者が指定する。加工画像は、利用者が指定した位置の色のみで全領域が塗り潰される。
【００４８】
（４）各セル画のデータは、そのセル画を構成する外接矩形の頂点の座標値と、（２）に述べたセル画についてはセル画内の各画素値を、（３）に述べたセル画についてはセル画内の代表的な一点の画素値のみとなる。
【００４９】
符号化データは、以上のデータを利用者が最も遠方に位置すると指定したセル画から順に、最も手前に位置するセル画まで、コマンド列として並べたものとなる。
【００５０】
（５）オクルージョンが起きている場合でも、利用者はセル画本来の形状に近い形状を抽出できるように多角形を指定する。（４）のコマンド発行の順序によって、オクルージョンが発生している部分は手前のセル画によって上書きされる。
【００５１】
（６）本発明の符号化では、利用者が重要でないと判断した領域については、形状が表す数点の座標と領域を代表する色（一色）の情報しか必要としない。また、重要と判断された領域においても、その形状は簡素化されている。
【００５２】
一方、この加工画像を受信した利用者においても、重要な領域に関してはほぼ原画の色情報が伝送されているので、大体どのような画像であるかを理解することができる。
【００５３】
図３に原画像を、図４に本実施例に示した手順で作成した加工画像の例を示す。図４の画像は、以下に示す５つのセル画に分割されている。
【００５４】
セル画Ａ：空（背景）（最遠方）
セル画Ｂ：家 ↑
セル画Ｃ：家の左隣にある木
セル画Ｄ：花壇 ↓
セル画Ｅ：手前にある木（最手前）
ここでセル画Ｅは、利用者が点１〜７までの７点を指定して外接矩形を構成し、形状を単純にしている。他のセル画についても、同様である。また、セル画Ａとセル画Ｅはあまり重要でない領域として、領域内にある一点の画素値で全画素値を塗り潰している。
【００５５】
セル画Ａ，Ｂ，Ｄはセル画Ｅによってオクルージョンを起こしているが、それぞれセル画Ｅの左側の領域と右側の領域に分けて指定するのではなく、セル画Ｅの両側にまたがった領域を一つのセル画として指定している。符号化データでは、最遠方に位置しているセル画Ａから描くようになっており、各セルでセル画Ｅに隠れて見えない部分（画素値不明の部分）は、最終的にセル画Ｅによって上書きされる。
【００５６】
この実施例においては、各セル画内部の画素を塗り潰す方法は二通りしかないが、中間的な情報量を持つセルとして、セル画内のエッジのみを表示した画像を作成するなど、セル画をどのように作成するかについては、他に様々な態様が考えられる。
【００５７】
【発明の効果】
以上に説明した様に、本発明の画像符号化方式によれば、人間のインタラクティブ操作を符号化に導入することによって、
（１）従来のモデルベース符号化やオブジェクトベース符号化方式で問題となっていた「画像特徴を安定して抽出できない」という欠点を回避することができる。
（２）オクルージョンが発生している場合でも、送信者が対話操作によって意味的にまとまっている物体を一つの領域（セル画）として指定することができ、画像を構造化する場合に誤った構造化を避けることができる。
（３）画像検索や映像生成など、画像を利用する符号化以外のアプリケーションでも利用できるようなデータを抽出することが可能である。
（４）対話操作によって、送信者が創造的編集・感情・感性を用いてセル画を変形・デフォルメするため、加工画像を作成する時に利用者（送信者）の意図を積極的に反映し、加工画像の作成を行うことができる。
等の効果を有する。
【図面の簡単な説明】
【図１】本発明の原理図である。
【図２】本発明の１実施例システムの構成図である。
【図３】原画像の例を示す説明図である。
【図４】加工画像の例を示す説明図である。
【図５】従来例(2) の符号化方式の説明図である。
【符号の説明】
１：分析インタフェース
２：構造化画像データベース
３：編集インタフェース
４：符号化部

Claims

入力画像の特徴分析を行って、入力画像を構成する複数のセル画を抽出し、それら複数のセル画により入力画像の領域分割を行うとともに、それぞれのセル画に特徴情報を付加する分析インタフェースと、
分析インタフェースが抽出した複数のセル画の各々を、それに付加されている特徴情報とともに蓄積する構造化画像データベースと、
構造化画像データベースに蓄積されているセル画とそれに付加されている特徴情報について変形、デフォルメ加工して、加工画像を作成する編集インタフェースと、
編集インタフェースで作成された加工画像のデータを対象に符号化を行う符号化部とを備え、
上記分析インタフェースにより、入力画像の特徴分析及びセル画の抽出を自動的に行い、抽出されたセル画と特徴情報から上記編集インタフェースにより加工画像データを作成し、得られた加工画像データについて上記符号化部に符号化させることを特徴とする画像符号化方式。
請求項１において、編集インタフェースは、さらに指定されたセル画の画像を、対話形式により、画像の重要性に応じて簡単な形状や単純な色にし、あるいは動きを低レートで符号化できるような加工画像に簡略化して情報圧縮を行う機能を有することを特徴とする画像符号化方式。
請求項１または請求項２において、構造化画像データベースに蓄積されるセル画に付加されている特徴情報には、入力画像の画面での当該セル画の遠近上の位置を示す情報が含まれ、符号化部は、入力画像の画面で最も遠くに位置するセル画から手前のセル画に向かって、セル画単位に順に符号化を行うことを特徴とする画像符号化方式。
請求項１ないし請求項３のいずれか１項において、入力画像が動画の場合、分析インタフェースはセル画ごとに物体の動き情報を抽出し、編集インタフェースはセル画ごとに前記抽出された物体の動き情報を補足あるいは簡略化する機能を有することを特徴とする画像符号化方式。
請求項１ないし請求項４のいずれか１項において、上記符号化部により符号化された結果の符号データは、数十ｋｂｐｓ程度の超低ビットレートで伝送されることを特徴とする画像符号化方式。