JP3260094B2 - 画像処理システム - Google Patents

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、ディジタル画像デ
ータの圧縮、伸長処理を行う画像処理システムに関す
る。

【０００２】

【従来の技術】従来の画像処理システムとしては、ディ
ジタル画像データを所定の画素マトリクスよりなるブロ
ックに分割し、ブロック毎に所定の基準画像パターンと
の類似度（相関関係）を調べ、この類似度に基づいて画
像データの圧縮処理を行う方式を採用するものが知られ
ている。このような圧縮処理方法としては、米国特許第
5,347,600号公報に開示されるフラクタル変換が知られ
ている。このフラクタル変換では、まず、処理対象とな
る画像を格子状に分割してなる複数のドメインブロック
と、ドメインブロックよりもサイズの大きな複数のレン
ジブロックを用意する。各レンジブロックに所定の識別
子を割り当てる。各ドメインブロックについて、最も類
似するレンジブロックを選択する。この選択を行う際、
レンジブロックの他、各レンジブロックを反転又は回転
させたものを比較用のブロックとして用いる。ドメイン
ブロックのデータを、上記選択したレンジブロックに割
り当てられている識別子のデータに置き換え、置き換え
たデータを圧縮後のデータとする。通常の画像の場合、
画素密度は均一である。このため、上記フラクタル変換
では、単純にレンジブロックを反転又は回転したものを
比較用のブロックとして使用しても、適切な類似度の判
断を行うことができる。

【０００３】

【発明が解決しようとする課題】しかし、画角１８０度
以上の魚眼レンズ等を介して得られる円形の全方位画像
は、円周部分の画像が拡大され、中心部に進むにつれて
画像が縮小されるといった特有の歪み構造を有するた
め、当該全方位画像を格子状に分割した各ブロック内の
画素密度には偏りがある。このため、所定の画素マトリ
クスよりなる上記のレンジブロックを単純に反転又は９
０度単位で回転させてなるブロックを、比較用のブロッ
クとして用いても適切な類似度の判断を行うことができ
ない。また、適切な類似度の判断に基づく圧縮処理が行
われないため、圧縮画像データに基づいて再現される画
像の質も悪くなる。

【０００４】本発明の目的は、画角１８０度以上の魚眼
レンズ等を介して得られる円形の全方位画像に適した圧
縮処理を行う画像処理システムを提供することである。

【０００５】

【課題を解決するための手段】本発明の第１の画像処理
システムでは、中心からの距離に比例して画素密度が粗
くなる円形の全方位画像を入力する画像入力手段と、画
像入力手段より入力される円形の全方位画像の環状領域
を、中心より放射状に伸びる複数の直線及び複数の同心
円により区画して、互いに相似な複数のドメインブロッ
クを生成するドメインブロック生成手段と、上記全方位
画像を、ドメインブロックに相似し、かつ、ドメインブ
ロックより大きなサイズの複数のブロックに分割し、分
割して得られるブロック、及び、分割して得られるブロ
ックを反転又は９０度単位で回転してなるブロックを、
比較用のレンジブロックとして生成するレンジブロック
生成手段と、各ドメインブロック及び比較用のレンジブ
ロックの類似度に基づいて、各ドメインブロックのデー
タを圧縮する圧縮処理部と、圧縮処理部により圧縮され
たデータを記憶する記憶手段とを備える。

【０００６】本発明の第２の画像処理システムでは、上
記第１の画像処理システムにおいて、上記圧縮処理部
は、各レンジブロックに識別子を割り当てる手段と、各
ドメインブロック及び比較用のレンジブロックを所定の
基準形状に変換した後に、各ドメインブロックについ
て、最も類似するレンジブロックを選択する選択手段
と、各ドメインブロックのデータを、選択手段により選
択されたレンジブロックに割り当てられている識別子の
データに置き換えるデータ変換手段とからなり、上記記
憶手段は、データ変換手段により識別子のデータに変換
された各ドメインブロックのデータを記憶することを特
徴とする。

【０００７】本発明の第３の画像処理システムでは、上
記第１又は第２の画像処理システムにおいて、更に、上
記記憶手段に記憶されている各ドメインブロックに割り
当てられている識別子のデータより特定される基準画像
のデータを、再生画像の該当するドメインブロックの画
像データとし、全てのドメインブロックについての画像
データの再生後、当該再生画像が所定の基準を満たすま
での間、基準画像のデータを再生画像のデータと置き換
えて、上記再生処理を繰り返し実行する画像再生手段と
を備えることを特徴とする。

【０００８】本発明の第４の画像処理システムでは、複
数のフレーム画像で構成される動画像のデータを圧縮伸
長する画像処理システムにおいて、中心からの距離に比
例して画素密度が粗くなる円形の全方位画像を入力する
画像入力部と、画像入力部より入力される円形の全方位
画像の環状領域を、中心より放射状に伸びる複数の直線
及び複数の同心円により区画して、互いに相似な複数の
ドメインブロックを生成するドメインブロック生成手段
と、上記全方位画像を、ドメインブロックに相似し、か
つ、ドメインブロックより大きなサイズの複数のブロッ
クに分割し、分割して得られるブロック、及び、分割し
て得られるブロックを反転又は９０度単位で回転してな
るブロックを比較用のレンジブロックとして生成するレ
ンジブロック生成手段と、各レンジブロックに識別子を
割り当てる手段と、各ドメインブロック及び比較用のレ
ンジブロックを所定の基準形状に変換した後に、各ドメ
インブロックについて、最も類似するレンジブロックを
選択する選択手段と、各ドメインブロックのデータを、
選択手段により選択されたレンジブロックに割り当てら
れている識別子のデータに置き換えるフラクタル変換処
理手段と、第ｎ番目（但し、ｎは２以上である）のフレ
ームのデータを、第ｎ−１番目に読み込んだフレームの
データとの差異を表すデータに変換する差分圧縮処理手
段と、第１のフレームのデータに対して上記フラクタル
変換処理手段による変換を行った後、第ｎ番目のフレー
ムのデータと、第ｎ−１番目のフレームのデータとの差
異が所定の範囲内にある場合には、上記差分圧縮処理手
段によるデータ変換を行い、上記差異が所定の範囲外に
ある場合には、上記フラクタル変換処理手段によるデー
タ変換を行わせる制御手段と、フラクタル変換処理手段
及び差分圧縮処理手段によりデータ変換されたデータを
記憶する記憶手段とを備えることを特徴とする。

【０００９】本発明の第５の画像処理システムでは、上
記第４の画像処理システムにおいて、更に、上記記憶手
段により記憶されるデータを読み出し、読み出したデー
タがフラクタル変換処理手段によるデータの場合には、
記憶手段に記憶されている各ドメインブロックに割り当
てられている識別子のデータより特定される基準画像の
データを、再生画像の該当するドメインブロックの画像
データとし、全てのドメインブロックについての画像デ
ータの再生後、当該再生画像が所定の基準を満たすまで
の間、基準画像のデータを再生画像のデータと置き換え
て、上記再生処理を繰り返し実行し、他方、読み出した
データが差分圧縮処理手段によるデータである場合に
は、当該データに基づいて、前に再生した画像データを
書き換える画像再生手段とを備えることを特徴とする。

【００１０】

【発明の実施の形態】本発明の画像処理装置では、画角
１８０度以上の魚眼レンズ等を介して得られる円形の全
方位画像の画像特性（歪構造）を反映し、当該全方位画
像を極座標形式で表される扇形のブロック（ドメインブ
ロック、レンジブロック）に分割してフラクタル変換を
行うことを特徴とする。上記のように分割することで、
各ブロック内における画素密度の偏り方が均一になり、
各ブロックについて、適切な類似度の判断を行うことが
できる。即ち、より適切な画像圧縮処理を実行すること
ができる。以下、添付の図面を用いて、上記特徴を具備
する画像処理システムの実施の形態について説明する。

【００１１】（１）画像処理システムの説明 図１は、画像処理システム１００の全体構成を示す図で
ある。画像処理システム１００は、ＣＰＵ１０を備える
コンピュータ本体である制御装置１を中心として構成さ
れる。制御装置１に接続されるカメラ２は、画角１８０
度以上の魚眼レンズ３を装着しており、当該レンズ３よ
り得られる均一な画素密度を有する全方位画像のデータ
を制御装置１に入力する。カメラ２は、会議室に備えら
れる机７の中央部分にレンズ３を突出した状態で埋め込
まれている。画角１８０度以上の魚眼レンズ３を使用す
ることで列席する人物の画像を１つの画像でとらえるこ
とができるため、画像処理システム１００は、ＴＶ会議
システムに適用することができる。制御装置１には、カ
メラ２により取り込んだ画像を表示するディスプレイ
４、及び、所定のコマンドの入力やメニューの選択を行
う入力手段であるキーボード５及びマウス６が接続され
ている。以下に説明するように、制御装置１は、カメラ
２により入力される円形の全方位画像のデータをフラク
タル変換を用いて圧縮／伸長処理する。

【００１２】図２は、制御装置１の各機能ブロックを示
す図である。カメラ２により入力される画角１８０度以
上の円形の全方位画像は、均一な画素密度を有するが、
中央演算処理装置であるＣＰＵ１０は、後の処理を簡単
にするため、中心からの距離に比例して画素密度が粗く
なるようにデータ変換処理を行う。また、後に説明する
ように、ＣＰＵ１０は、円形の全方位画像の環状領域
を、中心より放射状に伸びる複数の直線及び複数の同心
円により区画して、扇型のドメインブロック及びレンジ
ブロックに分割し、それぞれ第１バッファ１１及び第２
バッファ１２に格納する。ブロック比較器１３は、ＣＰ
Ｕ１０により生成されるドメインブロックとレンジブロ
ックとを用いて所定の類似判断を行い、各ドメインブロ
ックについて、最も類似するレンジブロックを検出す
る。なお、ドメインブロックの生成、レンジブロックの
生成、及びこれら２つのブロックを用いた類似度の判断
の内容については後に詳しく説明する。マッピングプロ
セッサ１４は、各レンジブロックに対して所定の識別子
を割り当てる。ＲＡＭ１５は、カメラ２より取り込まれ
た全方位画像のデータを記憶する。ＲＯＭ１６は、本画
像処理システムの制御プログラムを記憶している。ハー
ドディスク１７は、全方位画像の各ドメインブロックの
データを、最も類似するレンジブロックに割り当てられ
た識別子のデータに置き換えてなるフラクタル変換後の
データを格納する。パターン発生器１８は、ハードディ
スク１７に格納されているフラクタル変換後のデータよ
り元の画像データを再生する際に用いる初期画像データ
を生成する。カウンタ１９は、フラクタル変換後の識別
子のデータに基づいて、元の画像データを再生する際に
用いられる。第３バッファ２０は、動画像のデータを処
理する際に用いられる。

【００１３】図３は、ＲＯＭ１６に記憶する画像処理シ
ステムの制御プログラムの起動時にディスプレイ４に表
示される操作画面３０を示す図である。操作画面３０に
は、カメラ２より静止画像を取り込むための入力ボタン
３１、既にハードディスク１７に取り込まれている静止
画像を読み出すための再生ボタン３２、動画像を取り込
むための入力ボタン３３、既にハードディスク１７に取
り込まれている動画像を読み出すための再生ボタン３４
を備える。画像３５は、操作者により静止画像の入力ボ
タン３１が押下された場合に、カメラ２により取り込ま
れる全方位画像の一例を示す図である。以下、操作者に
より静止画像の入力ボタン３１が押された場合、再生ボ
タン３２が押下された場合、動画像の入力ボタン３３が
押下された場合、及び、再生ボタン３４が押下された場
合にＣＰＵ１０の実行する処理内容について、順に説明
する。

【００１４】（２）静止画像の取り込み 図４は、カメラ２の備える魚眼レンズ３により得られる
全方位画像の一例を示す図である。このような全方位画
像では画像の中心部分のデータが意味を持たない場合が
多いため、この部分を省略した環状領域の画像データを
処理対象とする。図中、使用しない画像領域を斜線で示
す。この全方位画像は、多くの画素より構成される。カ
メラ２の備える均一な受光素子を並べてなるＣＣＤセン
サにより得られる円形の全方位画像のデータは、均一な
画素密度を有するが、ＣＰＵ１０により、中心からの距
離に比例して画素密度が粗くなるようにデータ変換が行
われる。即ち、各画素密度は中心部に行くほど密にな
る。また、同一円周上の画素密度は同じである。例え
ば、中心からの距離に比例して多くの画素を間引いて同
一円周上に並ぶ各画素間の距離を次第に延ばす。各画素
は、ディジタル化された数ビットの情報で表現されてい
る。典型的な例では、１ビットでは白又は黒の２色を表
現し、３ビットでは、赤、緑、青の３原色の各々に１ビ
ットづつ対応して８色を表現する。更に、３原色のビッ
ト数を増やす毎に、全体で６ビットの場合には６４色、
９ビットでは５１２色、１２ビットでは４０９６色と表
現できる色数が増加する。

【００１５】図５は、処理対象の全方位画像を、中心角
２２．５度の扇型に１６等分し、さらに、半径方向の長
さを扇型の円弧部分の長さに比例して４つに分割するこ
とで区画される各々相似なドメインブロックＤＢ_α,_β
（但し、１≦α≦４、１≦β≦１６）を示す図である。
αは、外周部からみたブロックの位置（１〜４）を表
し、βは、同一円周上に並ぶブロックの位置（１〜１
６）を表す。生成された１６×４＝６４個の相似なドメ
インブロックＤＢ_α,_βは、第１バッファ１１に格納す
る。なお、これらのドメインブロックＤＢ_α,_βのサイ
ズは異なるが、ブロック内の画素の数は同じである。

【００１６】図６は、処理対象の全方位画像を中心角４
５度の扇形に８等分し、さらに、直径方向の長さを扇型
の円弧部分の長さに比例して２つに分割することで区画
される各々相似なレンジブロックＲＢ_γ,_δを示す図で
ある。このレンジブロックＲＢは、ドメインブロックＢ
Ｄよりも大きなサイズである。ここで、γは、外周部か
らみたブロックの位置（１又は２）を表し、δは、同一
円周上に並ぶブロックの位置（１〜８）を表す。更に、
これらのレンジブロックＲＢ_γ,_δを円周方向に反転し
たレンジブロックｒＲＢ_γ,_δを生成する。これらのレ
ンジブロックＲＢ_γ,_δ及びｒＲＢ_γ,_δは、上記のドメ
インブロックＤＢ_α,_βと相似するが、より多くの画素
を有する。これらのレンジブロックＲＢ_γ,_δ及びｒＲ
Ｂ_γ,_δに所定の縮小処理を施すことにより、ドメイン
ブロックＤＢと同じ画素数からなる所定の基準サイズの
レンジブロックＲＢ'_γ,_δ及びｒＲＢ'_γ,_δを生成す
る。これら３２個のレンジブロックＲＢ_γ,_δ，ｒＲＢ
_γ,_δ，ＲＢ'_γ,_δ及びｒＲＢ'_γ,_δは、第２バッファ
１２に格納する。

【００１７】図７は、キーボード５及びマウス６等の入
力手段により、ディスプレイ４に表示される操作画面３
０の入力キー３１が押下された場合に、ＣＰＵ１０の実
行するフラクタル変換処理のフローチャートである。ま
ず、カメラ２により得られる円形の全方位画像のデータ
をＲＡＭ１５に書き込む（ステップＳ１）。図５を用い
て説明したように、ＲＡＭ１５に取り込んだ全方位画像
のデータから、ドメインブロックＤＢ_α,_β（但し、１
≦α≦４、１≦β≦１６）を生成し、これを第１バッフ
ァ１１に格納する（ステップＳ２）。次に、図６を用い
て説明したように、ＲＡＭ１５に取り込んだ画像データ
１０から、ドメインブロックＤＢと同じ画素数からなる
所定の基準サイズのレンジブロックＲＢ'_γ,_δ及びｒＲ
Ｂ'_γ,_δを生成し、これを第２バッファ１２に格納する
（ステップＳ３）。マッピングプロセッサ１４により各
レンジブロックＲＢ'_γ,_δ及びｒＲＢ'_γ,_δに識別子を
割り当てる（ステップＳ４）。図８は、各レンジブロッ
クＲＢ'_γ,_δに割り当てる識別子を示す図である。図示
するように、扇形の１点の右下の点の極座標（ｒ，θ）
（但し、ｒは中心からの距離ｒ１又はｒ２、θは基準線
Ｌからの角度である）を、そのレンジブロックの識別子
とする。例えば、斜線で示すレンジブロックＲＢ₁,₁の
識別子は、（０，ｒ１）である。また、円周方向に反転
したレンジブロックｒＲＢ'_γ,_δの識別子は、ｒ（ｒ，
θ）と表現する。上記ステップＳ４に続き、各ドメイン
ブロックＤＢ_α,_βについて、レンジブロックＲＢ'_γ,
_δ及びｒＲＢ'_γ,_δから、それぞれ最も類似するレンジ
ブロックを選択する（ステップＳ５）。なお、上記ステ
ップＳ５では、全て白画素からなるエスケープブロック
を選択しても良い。このエスケープブロックには、
（０，０）の識別子を割り当てる。この処理の内容につ
いては、後に説明する。全方位画像の各ドメインブロッ
クＤＢ_α,_βのデータを、上記選択したレンジブロック
に割り当てられている識別子のデータに変換する（ステ
ップＳ６）。変換後のデータをハードディスク１７に記
憶する（ステップＳ７）。

【００１８】図９は、レンジブロックの選択処理（図
７、ステップＳ５）のフローチャートである。まず、初
期設定として、変数βの値を１に設定し（ステップＳ１
０）、変数αの値を１に設定する（ステップＳ１１）。
処理対象のドメインブロックＤＢ_α,_β（上記ステップ
Ｓ１０及びＳ１１により初期値はα＝１、β＝１であ
る）を特定し（ステップＳ１２）、当該ドメインブロッ
クＤＢ_α,_βのサイズを、レンジブロックＲＢ'_γ,_δ及
びｒＲＢ'_γ,_δと同じ所定の基準サイズに変換する（ス
テップＳ１３）。この基準サイズのドメインブロックＤ
Ｂ_α,_βと、各レンジブロックＲＢ'_γ,_δ及びｒＲ
Ｂ'_γ,_δとの類似判断を行う（ステップＳ１４）。ここ
で、最も類似するレンジブロックを１つ選択する（ステ
ップＳ１５）。変数αの値に１を加算し（ステップＳ１
６）、変数αの値が４を越えていない場合には（ステッ
プＳ１７でＮＯ）、ステップＳ１２に戻る。また、変数
αの値が４を越えた場合には（ステップＳ１７でＹＥ
Ｓ）、変数βの値に１を加算する（ステップＳ１８）。
ここで、変数βの値が１６を越えていない場合には（ス
テップＳ１９でＮＯ）、ステップＳ１０に戻る。なお、
変数βの値が１６を越えた場合には（ステップＳ１９で
ＹＥＳ）、全てのドメインブロックについての処理が終
了したと判断して、リターンする。

【００１９】上記ステップＳ１４における類似度の判断
方法には、種々の方法が考えられる。本システムでは、
図１０に示すように、所定の基準サイズに変換した後の
ドメインブロックＤＢ_α,_β、レンジブロックＲＢ'_γ,
_δ及びｒＲＢ'_γ,_δの画像データに対して所定のアフィ
ン変換を施し、各ブロックの形状を、扇形から四角形に
変換した後に、類似度の判断を行う。これにより、ブロ
ック内における画素密度の偏りが修正されるため、より
適切な類似度の判断を行うことができる。また、各ブロ
ックの形状を正方形に変換すれば、レンジブロックを反
転又は９０度単位で回転させたブロックを比較用のブロ
ックとして用いることができる。なお、これらの類似度
の判断は、ブロック比較器１３においてハードウェア的
に、又は、ソフトウェア的に処理される。ここで、図１
１の（ａ）に示すように、図１に示した机７の形状が円
形であり、カメラ２がその中心に配設されており、被写
体である人物が当該机７の回りに用意された８つの椅子
に座り、会議を行う場合を想定する。この場合、魚眼レ
ンズ３を介して得られる全方位画像は、図１１の（ｂ）
のようになる。レンズ３から被写体である人物までの距
離は、全て同じであり、各人物の大きさは同じに写る。
このような場合には、図１２に示すように全方位画像と
同じ径を有する円筒を想定し、全方位画像の各ドメイン
ブロックＤＢ_α,_β、レンジブロックＲＢ'_γ,_δ及びｒ
ＲＢ'_γ,_δを、好ましくは縦横比が１：１の矩形になる
ように円筒面に引き起こすようなイメージに相当するア
フィン変換を行うことが望ましい。また、図１３の
（ａ）に示すように、図１に示した机７の形状が正方形
であり、カメラ２がその中心に配設されており、被写体
である人物が当該机７の回りに用意された９つの椅子に
座り会議を行う場合を想定する。人物Ａ，Ｂ，Ｃに注目
した場合、魚眼レンズ３からの距離は人物Ａが一番近
く、次に人物Ｂ及びＣが同じ距離にいる。このため、当
該レンズ３を介して得られる全方位画像は、図１３の
（ｂ）に示すようにレンズ３に近い人物Ａに比べ、その
両側に座る人物Ｂ，Ｃは小さく写る。このような場合、
図１４に示すように各辺が全方位画像の径と同じ値に設
定されている立方体を想定し、全方位画像の各ドメイン
ブロックＤＢ_α,_β、レンジブロックＲＢ'_γ,_δ及びｒ
ＲＢ'_γ,_δを、好ましくは縦横比が１：１の矩形になる
ように側面に引き起こすようなイメージに相当するアフ
ィン変換を行うことが望ましい。この場合、人物Ｂ及び
Ｃのサイズを人物Ａと同じに補正することができる。な
お、操作画面３０に所定の切り換えボタンを設け、キー
ボード５又はマウス６により選択されたボタンの種類に
応じて、アフィン変換の内容を切り換えるようにしても
良い。

【００２０】（３）静止画像の再生 操作者によりキーボード５又はマウス６を介して操作画
面３０に設ける静止画像の再生ボタン３２が選択された
場合、ＣＰＵ１０は、ハードディスク１７に記憶する静
止画像を再生する。図１５は、ＣＰＵ１０の実行する画
像再生処理の流れを説明するための図である。また、図
１６は、画像再生処理のフローチャートである。以下、
図１６のフローチャートの流れに従って、図１５を参照
しつつ画像再生処理の内容について説明する。まず、ハ
ードディスク１７に書き込まれているフラクタル変換後
のデータ（識別子のデータ）をＲＡＭ１５に読み出す
（ステップＳ５０、図１５（ａ）を参照）。パターン発
生器１８により生成される初期画像のデータを基準画像
のデータとして第１バッファ１１に格納する（ステップ
Ｓ５１、図１５（ｂ）を参照）。カウンタ１９のカウン
ト値Ｃを１にセットする（ステップＳ５２）。変数βの
値を１にセットすると共に（ステップＳ５３）、変数α
の値を１にセットする（ステップＳ５４）。ドメインブ
ロックＤＢ_α,_βに割り当てられている識別子のデータ
により特定される基準画像のレンジブロックのデータを
ドメインブロックＤＢ_α,_βの画像データとして第２バ
ッファ１２に格納する。例えば、図１５の（ａ）に斜線
で示すドメインブロックＤＢ₂,₄に割り当てられている
識別子がｒ（０，ｒ２）の場合、（ｂ）に斜線で示す位
置のレンジブロックの画像データに反転及び所定の変倍
処理を施した後に、処理後の画像データを、第２バッフ
ァ１２のドメインブロックＤＢ₂,₄に相当する位置に格
納する（ステップＳ５５、図１５（ｃ）を参照）。変数
αの値に１を加算した後（ステップＳ５６）、変数αが
４を越えていない場合には（ステップＳ５７でＮＯ）、
ステップＳ５４に戻る。また、変数αの値が４を越えて
いる場合には（ステップＳ５７でＹＥＳ）、変数βに１
を加算する（ステップＳ５８）。ここで、変数βの値が
１６を越えていない場合には（ステップＳ５９でＮ
Ｏ）、ステップＳ５４に戻る。また、変数βの値が１６
を越えている場合には（ステップＳ５９でＹＥＳ）、全
てのドメインブロックＤＢについての処理が終了したと
判断し、カウント値Ｃの値に１を加算する（ステップＳ
６０）。カウント値Ｃが予め定めた回数、本例では１０
０を越えていない場合には（ステップＳ６１でＮＯ）、
第２バッファ１２に格納されるデータを第１バッファ１
１に転送した後に（ステップＳ６２、図１５（ｄ）から
（ｂ）へのデータ転送処理に相当する）、ステップＳ５
３に戻る。即ち、更新された基準画像のデータに基づい
て、上記ステップＳ５３〜Ｓ５９による画像の再生処理
を繰り返す。カウント値Ｃが１００を越えた場合には
（ステップＳ６１でＹＥＳ）、第２バッファ１２に格納
されるデータを再生画像の画像データであるとしてディ
スプレイ４に出力する（ステップＳ６３）。なお、全て
のドメインブロックＤＢについての処理が終了したと判
断した場合に（ステップＳ５９でＹＥＳ）、上記ステッ
プＳ６０〜Ｓ６２を実行するかわりに、第２バッファ１
２のデータと第１バッファ１１のデータとの類似度を判
断し、当該類似度が所定の基準を満足する場合に、画像
の再生が完了したと判断して、上記ステップＳ６３の処
理を実行しても良い。

【００２１】（４）動画像の取り込み 動画像データは、ディジタル化された画像データが１秒
間に数枚の割合で連続的に構成されている。各画像デー
タは、「フレーム」と呼ばれ、多くの画素から構成され
る。画像処理システム１００では、魚眼レンズ３を介し
て入力される全方位画像を処理の対象とする。各画素の
位置は、中心からの距離ｒと、基準線からの角度θを用
いる極座標形式で表される。各画素は、ディジタル化さ
れた数ビットの情報として、画素の濃淡あるいは色を表
現する。例えば、ある動画像データでは、１秒間に３０
枚のフレームで構成され、各フレームの画像データは、
半径方向に２４０、円周方向に３６０の解像度を持ち、
全体で２４０×３６０＝８６４００個の画素から構成さ
れる。各画素は１バイト（８ビット）で構成され２５６
色を表す。画像処理システム１００では、連続したシー
ンを入力している動画像の場合、前のフレームと次のフ
レームの画像データの違いは大きくないという特性を利
用し、前フレームとの差異情報に基づいて、画像データ
の書き換えを行う。

【００２２】図１７は、操作者によりディスプレイ４に
表示される操作画面３０内の動画像入力ボタン３３が選
択された際に、ＣＰＵ１０の実行する動画像圧縮処理の
フローチャートである。まず、カメラ２から入力される
最初のフレームの画像データを第１バッファ１１に入力
する。第１バッファ１１に格納された画像データを用い
て、先に静止画像の欄で説明したフラクタル変換処理
（図７を参照）を実行する（ステップＳ８１）。次に、
第１バッファ１１のデータを第２バッファ１２に転送す
る（ステップＳ８２）次のフレームの画像データを第１
バッファ１１に格納する（ステップＳ８３）。第２バッ
ファ１２に格納されている画像データと第１バッファ１
１に格納されている画像データとの差異に基づいて、書
き換え用のデータを生成する差分圧縮処理を実行する
（ステップＳ８４）。ここで、差分圧縮処理が異常終了
した場合（ステップＳ８５でＮＯ）、フラクタル変換処
理を実行する（ステップＳ８６）。一方、差分圧縮処理
が成功した場合（ステップＳ８５でＹＥＳ）、上記ステ
ップＳ８６をスキップする。未処理のフレームが残って
いる場合には（ステップＳ８７でＮＯ）、ステップＳ８
２に戻る。一方、全てのフレームについての処理が終了
した場合には（ステップＳ８７でＹＥＳ）、処理を終了
する。

【００２３】図１８は、差分圧縮処理（図１７、ステッ
プＳ８４）のフローチャートである。まず、第１バッフ
ァ１１及び第２バッファ１２に格納されている円形の全
方位画像の環状領域を、中心より放射状に伸びる複数の
直線、及び複数の同心円により区画して、既に説明した
ドメインブロックＤＢと相似な所定サイズのブロックを
生成する（ステップＳ９０）。例えば、全方位画像のデ
ータを、半径方向に４分割、円周方向に８分割する。引
き続き、第１バッファ１１のブロックと対応する第２バ
ッファ１２のブロック及び当該ブロックの近傍のブロッ
クについての類似度を調べる（ステップＳ９１）。ここ
で、近傍のブロックとは、図１９に示すように、対応す
るブロックから、円周方向、半径方向に数画素ずれたブ
ロックのことである。円周方向、半径方向に１画素ずれ
た場合は、合計で８個の近傍ブロック、それぞれ２画素
ずれた場合は、２４個の近傍ブロックになる。各々の近
傍ブロックには、レンジブロックに割り当てるのとは異
なる形式の識別子を割り当てておく。上記ステップＳ９
１により調べた類似度の値に基づいて、最も類似度の高
いブロックを選択する（ステップＳ９２）。この類似度
が許容範囲内にある場合には（ステップＳ９３でＹＥ
Ｓ）、選択したブロックの識別子のデータを第３バッフ
ァ２０に格納する（ステップＳ９４）。全てのブロック
についての処理が終了していない場合には（ステップＳ
９５でＮＯ）、ステップＳ９１に戻る。全てのブロック
についての処理が終了した場合には（ステップＳ９５で
ＹＥＳ）、正常終了として第３バッファ２０内の画像デ
ータをディスプレイ４に出力する（ステップＳ９７）。
一方、上記ステップＳ９３において、類似度が許容範囲
外の場合には（ステップＳ９３でＮＯ）、対応するブロ
ックが著しく変化していることを意味しているので、当
該差分圧縮処理を異常終了として中断し（ステップＳ９
６）、メインルーチンへリターンする。

【００２４】（５）動画像の再生 操作者により操作画面３０の動画像再生ボタン３４が選
択された場合、ＣＰＵ１０は、ハードディスク１７に記
憶されている動画像を再生する。図２０は、動画像を再
生する際にＣＰＵ１０の実行する画像伸長処理のフロー
チャートである。まず、ハードディスク１７に記憶され
る動画像の最初のフレームの識別子のデータを第１バッ
ファ１１に格納する（ステップＳ１００）。第１バッフ
ァ１１に格納されている識別子の形式に基づいて、当該
データがフラクタル変換処理によるものか、又は、差分
圧縮処理によるものかを判定する（ステップＳ１０
１）。ここで、第１バッファ１１に格納されているデー
タがフラクタル変換によるものと判定された場合（最初
のデータは当然フラクタル変換によるものである）（ス
テップＳ１０２でＹＥＳ）、先に静止画像の欄で説明し
た画像再生処理を実行し、再生された画像データを第３
バッファ２０に格納する（ステップＳ１０３）。一方、
第１バッファ１１に格納されているデータが差分圧縮処
理によるものである場合（ステップＳ１０２でＮＯ）、
差分伸長処理（ステップＳ１０４）を実行する。なお、
この処理の内容については後に説明する。画像再生処
理、又は、差分伸長処理により第３バッファ２０に格納
されるデータをディスプレイ４に出力する（ステップＳ
１０５）。第３バッファ２０に書き込まれているデータ
を第２バッファ１２へ転送する（ステップＳ１０６）。
再生する全てのフレームの処理がまだ終了していない場
合には（ステップＳ１０７でＮＯ）、ステップＳ１００
に戻る。また、全てのフレームの処理が終了した場合に
は（ステップＳ１０７でＹＥＳ）、処理を終了する。

【００２５】図２１は、差分伸長処理（図２０、ステッ
プＳ１０４）のフローチャートである。まず、第２バッ
ファ１２に格納されている全方位画像のデータを、圧縮
時と同様の方法で所定のブロックに分割する。第１バッ
ファ１１から１個の識別子のデータを取り出す（ステッ
プＳ１１１）。前記取り出した識別子に対応する第２バ
ッファ１２のブロックのデータを取り出す（ステップＳ
１１２）。第３バッファ３０の対応するブロックの位置
に、上記取り出したデータを格納する（ステップＳ１１
３）。全てのブロックの処理が未だ終了していない場合
には（ステップＳ１１４でＮＯ）、ステップＳ１１１に
戻り、次のブロックについての処理を行う。全てのブロ
ックの処理が終了した場合には（ステップＳ１１４でＹ
ＥＳ）、第３バッファの内容をディスプレイに出力する
（ステップＳ１１５）。

【００２６】

【発明の効果】本発明の第１の画像処理システムでは、
画角１８０度以上の魚眼レンズ等を介して得られる円形
の全方位画像であって、中心からの距離に比例して画素
密度が粗くなる画像に対して、ドメインブロック生成手
段により、全方位画像の環状領域を、中心より放射状に
伸びる複数の直線及び複数の同心円により区画して、複
数のドメインブロックを生成する。また、レンジブロッ
ク生成手段により、ドメインブロックに相似し、かつ、
ドメインブロックより大きなサイズの複数のブロックに
分割し、各ブロックを反転又は９０度単位で回転してな
る比較用のレンジブロックを生成する。圧縮処理部は、
このようにして生成された各ドメインブロックとレンジ
ブロックの類似度に基づいて、ドメインブロックのデー
タを圧縮する。このような構成を採用することで、円周
部分の画像が拡大され、中心部に進むにつれて画像が縮
小されるといった特有の歪み構造を有する円形の全方位
画像のより適切かつ迅速な圧縮処理を実行することがで
きる。

【００２７】本発明の第２の画像処理システムでは、上
記第１の画像処理システムにおいて、上記圧縮処理部
を、各レンジブロックに識別子を割り当てる手段と、各
ドメインブロック及び比較用のレンジブロックを所定の
基準形状に変換した後に、各ドメインブロックについ
て、最も類似するレンジブロックを選択する選択手段
と、各ドメインブロックのデータを、選択手段により選
択されたレンジブロックに割り当てられている識別子の
データに置き換えるデータ変換手段により構成する。こ
れにより、円周部分の画像が拡大され、中心部に進むに
つれて画像が縮小されるといった特有の歪み構造を有す
る円形の全方位画像に対してより適切かつ迅速なフラク
タル変換による圧縮処理を実行することができる。

【００２８】本発明の第３の画像処理システムでは、上
記第１又は第２の画像処理システムにおいて、更に、記
憶手段に記憶されている各ドメインブロックに割り当て
られている識別子のデータより特定される基準画像のデ
ータを、再生画像の該当するドメインブロックの画像デ
ータとし、全てのドメインブロックについての画像デー
タの再生後、当該再生画像が所定の基準を満たすまでの
間、基準画像のデータを再生画像のデータと置き換え
て、上記再生処理を繰り返し実行する画像再生手段とを
備えることで、適切な圧縮処理により得られたデータに
基づいて、高画質な画像を再生することが可能となる。

【００２９】本発明の第４の画像処理システムでは、円
周部分の画像が拡大され、中心部に進むにつれて画像が
縮小されるといった特有の歪み構造を有し、中心からの
距離に比例して画素密度が粗くなる円形の全方位画像の
環状領域を、中心より放射状に伸びる複数の直線及び複
数の同心円により区画してなる、互いに相似な複数のド
メインブロックと、ドメインブロックに相似し、かつ、
ドメインブロックより大きなサイズのブロック、及び、
当該ブロックを反転又は９０度単位で回転してなるブロ
ックを比較用のレンジブロックを用いることで、より適
切、かつ迅速な動画像の各フレームの圧縮処理を実行す
ることができる。

【００３０】本発明の第５の画像処理システムでは、上
記第４の画像処理システムにおいて、記憶手段により記
憶されるデータを読み出し、読み出したデータがフラク
タル変換処理手段によるデータの場合には、記憶手段に
記憶されている各ドメインブロックに割り当てられてい
る識別子のデータより特定される基準画像のデータを、
再生画像の該当するドメインブロックの画像データと
し、全てのドメインブロックについての画像データの再
生後、当該再生画像が所定の基準を満たすまでの間、基
準画像のデータを再生画像のデータと置き換えて、上記
再生処理を繰り返し実行し、読み出したデータが差分圧
縮処理手段によるデータである場合には、当該データに
基づいて、前に再生した画像データを書き換える画像再
生手段とを備えることで、適切な圧縮処理により得られ
たデータに基づいて、高画質な画像を再生することが可
能となる。

【図面の簡単な説明】

【図１】 画像処理システムの全体構成を示す図であ
る。

【図２】 制御装置を中心とする各制御ブロックを示す
図である。

【図３】 ＲＯＭに記憶する画像処理システムの制御プ
ログラムの起動時にディスプレイに表示される操作画面
を示す図である。

【図４】 カメラの備える魚眼レンズにより得られる全
方位画像の一例を示す図である。

【図５】 処理対象の全方位画像を、所定のドメインブ
ロックに分割した状態を示す図である。

【図６】 処理対象の全方位画像を、所定のレンジブロ
ックに分割した状態を示す図である。

【図７】 フラクタル変換処理のフローチャートであ
る。

【図８】 各レンジブロックに割り当てる識別子を示す
図である。

【図９】 レンジブロックの選択処理のフローチャート
である。

【図１０】 ドメインブロック及びレンジブロックの形
状を扇形から四角形にアフィン変換する場合の図であ
る。

【図１１】 （ａ）は、円形の机の回りに人が座って会
議をする場合の図であり、（ｂ）は、机中心にカメラを
設けた場合に得られる全方位画像を示す。

【図１２】 図１１に示すような条件下において得られ
る全方位画像のドメインブロック及びレンジブロックを
四角形にアフィン変換する場合のイメージを示す図であ
る。

【図１３】 （ａ）は、正方形の机の回りに人が座って
会議をする場合の図であり、（ｂ）は、机中心にカメラ
を設けた場合に得られる全方位画像を示す。

【図１４】 図１３に示すような条件下において得られ
る全方位画像のドメインブロック及びレンジブロックを
四角形にアフィン変換する場合のイメージを示す図であ
る。

【図１５】 ＣＰＵの実行する画像再生処理の流れの説
明するための図である。

【図１６】 画像再生処理のフローチャートである。

【図１７】 動画像圧縮処理のフローチャートである。

【図１８】 差分圧縮処理のフローチャートである。

【図１９】 近傍ブロックを示す図である。

【図２０】 画像伸長処理のフローチャートである。

【図２１】 差分伸長処理のフローチャートである。

【符号の説明】

１ 制御装置、２ カメラ、３ 魚眼レンズ、４ ディ
スプレイ、５ キーボード、６ マウス、７ 机、１０
ＣＰＵ、１１ 第１バッファ、１２ 第２バッファ、
１３ ブロック比較器、１４ マッピングプロセッサ、
１５ ＲＡＭ、１６ ＲＯＭ、１７ ハードディスク、
１８ パターン発生器、１９ カウンタ、２０ 第３バ
ッファ、３０ 操作画面、３１ 静止画像入力ボタン、
３２ 静止画像再生ボタン、３３ 動画像入力ボタン、
３４ 動画像再生ボタン、３５ 入力画像、１００ 画
像処理システム

───────────────────────────────────────────────────── フロントページの続き (56)参考文献 特開 平８−279999（ＪＰ，Ａ) (58)調査した分野(Int.Cl.⁷，ＤＢ名) H04N 1/41 - 1/419 H04N 7/32

Claims (5)

(57)【特許請求の範囲】
1. 【請求項１】 中心からの距離に比例して画素密度が粗
   くなる円形の全方位画像を入力する画像入力手段と、 画像入力手段より入力される円形の全方位画像の環状領
   域を、中心より放射状に伸びる複数の直線及び複数の同
   心円により区画して、互いに相似な複数のドメインブロ
   ックを生成するドメインブロック生成手段と、 上記全方位画像を、ドメインブロックに相似し、かつ、
   ドメインブロックより大きなサイズの複数のブロックに
   分割し、分割して得られるブロック、及び、分割して得
   られるブロックを反転又は９０度単位で回転してなるブ
   ロックを、比較用のレンジブロックとして生成するレン
   ジブロック生成手段と、 各ドメインブロック及び比較用のレンジブロックの類似
   度に基づいて、各ドメインブロックのデータを圧縮する
   圧縮処理部と、 圧縮処理部により圧縮されたデータを記憶する記憶手段
   とを備えることを特徴とする画像処理システム。
2. 【請求項２】 請求項１に記載の画像処理システムにお
   いて、 上記圧縮処理部は、各レンジブロックに識別子を割り当
   てる手段と、各ドメインブロック及び比較用のレンジブ
   ロックを所定の基準形状に変換した後に、各ドメインブ
   ロックについて、最も類似するレンジブロックを選択す
   る選択手段と、各ドメインブロックのデータを、選択手
   段により選択されたレンジブロックに割り当てられてい
   る識別子のデータに置き換えるデータ変換手段とからな
   り、 上記記憶手段は、データ変換手段により識別子のデータ
   に変換された各ドメインブロックのデータを記憶するこ
   とを特徴とする画像処理システム。
3. 【請求項３】 請求項１又は請求項２に記載する画像処
   理システムにおいて、 更に、上記記憶手段に記憶されている各ドメインブロッ
   クに割り当てられている識別子のデータより特定される
   基準画像のデータを、再生画像の該当するドメインブロ
   ックの画像データとし、全てのドメインブロックについ
   ての画像データの再生後、当該再生画像が所定の基準を
   満たすまでの間、基準画像のデータを再生画像のデータ
   と置き換えて、上記再生処理を繰り返し実行する画像再
   生手段とを備えることを特徴とする画像処理システム。
4. 【請求項４】 複数のフレーム画像で構成される動画像
   のデータを圧縮伸長する画像処理システムにおいて、 中心からの距離に比例して画素密度が粗くなる円形の全
   方位画像を入力する画像入力部と、 画像入力部より入力される円形の全方位画像の環状領域
   を、中心より放射状に伸びる複数の直線及び複数の同心
   円により区画して、互いに相似な複数のドメインブロッ
   クを生成するドメインブロック生成手段と、 上記全方位画像を、ドメインブロックに相似し、かつ、
   ドメインブロックより大きなサイズの複数のブロックに
   分割し、分割して得られるブロック、及び、分割して得
   られるブロックを反転又は９０度単位で回転してなるブ
   ロックを比較用のレンジブロックとして生成するレンジ
   ブロック生成手段と、 各レンジブロックに識別子を割り当てる手段と、 各ドメインブロック及び比較用のレンジブロックを所定
   の基準形状に変換した後に、各ドメインブロックについ
   て、最も類似するレンジブロックを選択する選択手段
   と、 各ドメインブロックのデータを、選択手段により選択さ
   れたレンジブロックに割り当てられている識別子のデー
   タに置き換えるフラクタル変換処理手段と、 第ｎ番目（但し、ｎは２以上である）のフレームのデー
   タを、第ｎ−１番目に読み込んだフレームのデータとの
   差異を表すデータに変換する差分圧縮処理手段と、 第１のフレームのデータに対して上記フラクタル変換処
   理手段による変換を行った後、第ｎ番目のフレームのデ
   ータと、第ｎ−１番目のフレームのデータとの差異が所
   定の範囲内にある場合には、上記差分圧縮処理手段によ
   るデータ変換を行い、上記差異が所定の範囲外にある場
   合には、上記フラクタル変換処理手段によるデータ変換
   を行わせる制御手段と、 フラクタル変換処理手段及び差分圧縮処理手段によりデ
   ータ変換されたデータを記憶する記憶手段とを備えるこ
   とを特徴とする画像処理システム。
5. 【請求項５】 請求項４に記載する画像処理システムに
   おいて、 更に、上記記憶手段により記憶されるデータを読み出
   し、読み出したデータがフラクタル変換処理手段による
   データの場合には、記憶手段に記憶されている各ドメイ
   ンブロックに割り当てられている識別子のデータより特
   定される基準画像のデータを、再生画像の該当するドメ
   インブロックの画像データとし、全てのドメインブロッ
   クについての画像データの再生後、当該再生画像が所定
   の基準を満たすまでの間、基準画像のデータを再生画像
   のデータと置き換えて、上記再生処理を繰り返し実行
   し、他方、読み出したデータが差分圧縮処理手段による
   データである場合には、当該データに基づいて、前に再
   生した画像データを書き換える画像再生手段とを備える
   ことを特徴とする画像処理システム。