JP2827791B2 - 多次元圧縮画像の伸張方法 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は多次元圧縮画像の伸張方
法、特に、異機種間における画像伝送のように圧縮側と
伸張側での画素対応、または時間軸上でのフレーム対応
が保証されない系で、高能率な画像伸張を行なうことが
できる多次元圧縮画像の伸張方法に関する。

【０００２】

【従来の技術】画像情報の圧縮については従来から各種
の画像情報の圧縮方式［各種の画像情報の圧縮装置、ま
たは各種の画像情報の圧縮方法（なお、本明細書中にお
いて、「方式」の用語は、「装置」，「方法」の何れか
一方に解することができる場合に使用されている）］が
提案されて来ている。例えばデジタル信号化した画像信
号の各サンプル値に対して信号レベルを均等に分割し
て、それぞれの範囲に含まれる値を一つの代表値で置き
換える直線量子化(均等量子化)手段を採用した場合に、
代表点と本来の値との差が判らないようにする場合に一
般に自然画像については６ビット(６４階調)から８ビッ
ト(２５６階調)が必要であるとされているから、画像信
号を前記したような均等量子化によりデジタル化した信
号をそのまま記録しようとすると、各サンプル値に対し
て前記のような多くの情報量を扱うことが必要とされ
る。

【０００３】それで、より少ない情報量で信号を符号化
するのに、信号の変化の少ない部分では変化に対して敏
感であり、信号の変化の激しい部分においてはある程度
の誤差があっても、それを検知し難いという人間の視覚
や聴覚の性質を利用したり、あるいは記録の対象にされ
ている情報信号における時空間軸上での相関を利用し
て、例えば画像を画素に分解した後に各画素の輝度値の
隣接相関の高さを利用して原情報の近似値の少数を伝送
したり、あるいは画素間差分あるいはフレーム間差分を
伝送したり、または高周波数成分が少ないということを
利用して周波数要素の削減を行なったりして、各サンプ
ルあたりの情報量を少なくするようにした各種の高能率
符号化方式を適用してデータ量の圧縮を行なったデジタ
ル・データを記録，伝送,送信し、また、前記のようにデ
ータ量の圧縮されたデジタル・データを再生,受信した後
にデータの伸張を行なって画像の復元をすることが従来
から行なわれていることは周知のとおりである。

【０００４】

【発明が解決しようとする課題】前記した従来の一般的
な画像情報の圧縮方式では、分解された画素の復元が良
好に行なわれることを重要視していることから、原画像
と復元された画像（伸張画像）間での画素数が一致して
いることを条件としている場合が多く、したがって異な
る画素数の画像間で圧縮伸張動作が行なわれる場合に
は、別途に伸張後における画素の補間や間引きなどを行
なうことが必要とされるが、これは従来の画像情報の圧
縮方式においては真の有効情報のみが抽出され、それが
復元されているわけではなく、ある程度物理的な画像構
成要素に依存している方式になっていることを意味して
いる。

【０００５】ところで、前記のように異なる画素数の２
つの画像における画素密度が極端に異なる場合の例とし
て、例えば撮像装置によって撮像された画像を印刷版下
に利用しようとする場合を考えると、撮像装置による撮
像によって得られる画像の画素密度は１画面当りに高々
（５００×５００）程度であるのに対して、電子製版機
における画像の画素密度は１画面当りに（数千×数千）
というように、前記した撮像装置による撮像によって得
られる画像に比べて桁違いに大きいために、既述のよう
な画素対応の画像情報の圧縮伸張方式が全く実施されな
いとしても画素拡大によってエイリアスが発生するし、
また、前記のような画素拡大を行なわないで補間を行な
うようにした場合には、広大な補間エリアを既知のデー
タの重み付け平均値で充当することになるために補間歪
によって画質劣化を避けることができない。前記とは逆
に、原画像の画素密度が１画面当りに（数千×数千）と
いうような場合には、隣接画素間の相関が極端に高いの
で、原理的には高度の画像情報の圧縮も可能なのである
が、既述のように原画像と復元された画像（伸張画像）
間での画素数が一致していることを条件としている従来
の画像情報圧縮方式では圧縮率を高くできないという欠
点が生じる。

【０００６】

【課題を解決するための手段】本発明は、静止画像にお
ける２次元的に分布する輝度情報、または静止画像にお
ける２次元的に分布する輝度情報に時間軸をも含めた３
次元的に分布する輝度情報について、輝度情報の極大点
と、輝度情報の極小点及び輝度情報の急変点とを、前記
した画像の特徴点とし、前記した画像の特徴点の位置と
輝度情報とを用いて得た多次元圧縮画像の伸張に際し
て、近傍の複数の特徴点によって決定される補間面、ま
たは近傍の複数の特徴点によって決定される補間立体に
より、特徴点以外の画素の輝度情報を決定する場合に、
前記した近傍の特徴点の発見に２次元的に配列されてい
る特徴点を連結させて１次元化するＰｅａｎｏ ｓｃａ
ｎ、または３次元的に配列されている特徴点を連結させ
て１次元化するＰｅａｎｏｓｃａｎを用いる多次元圧縮
画像の伸張方法、及び静止画像における２次元的に分布
する輝度情報、または静止画像における２次元的に分布
する輝度情報に時間軸をも含めた３次元的に分布する輝
度情報について、輝度情報の極大点と、輝度情報の極小
点及び輝度情報の急変点とを、前記した画像の特徴点と
し、前記した画像の特徴点の位置と輝度情報とを用いて
得た多次元圧縮画像の伸張に際して、近傍の複数の特徴
点によって決定される補間面、または近傍の複数の特徴
点によって決定される補間立体により、特徴点以外の画
素の輝度情報を決定する場合に、任意の画素から渦巻状
に走査して最初に到達した特徴点を近傍特徴点とする関
数、または任意の画素から立体的な渦巻状に走査して最
初に到達した特徴点を近傍特徴点とする関数を用いるよ
うにした多次元圧縮画像の伸張方法、ならびに静止画像
における２次元的に分布する３原色情報、または、静止
画像における２次元的に分布する３原色情報に時間軸を
も含めた３次元的に分布する３原色情報について、３原
色情報の極大点と、３原色情報の極小点及び３原色情報
の急変点とを用いて得た多次元圧縮画像の伸張に際し
て、近傍の複数の特徴点によって決定される補間面、ま
たは近傍の複数の特徴点によって決定される補間立体に
より特徴点以外の画素の３原色情報を決定する場合に、
前記した近傍の特徴点の発見に２次元的に配列されてい
る特徴点を連結させて１次元化するＰｅａｎｏ ｓｃａ
ｎ、または３次元的に配列されている特徴点を連結させ
て１次元化するＰｅａｎｏ ｓｃａｎを用いるようにし
た多次元圧縮画像の伸張方法、及び静止画像における２
次元的に分布する３原色情報、または、静止画像におけ
る２次元的に分布する３原色情報に時間軸をも含めた３
次元的に分布する３原色情報について、３原色情報の極
大点と、３原色情報の極小点及び３原色情報の急変点と
を用いて得た多次元圧縮画像の伸張に際して、近傍の複
数の特徴点によって決定される補間面、または近傍の複
数の特徴点によって決定される補間立体により特徴点以
外の画素の３原色情報を決定する場合に、前記した近傍
点の発見に任意の画素から渦巻状に走査して最初に到達
した特徴点を近傍特徴点とする関数、または任意の画素
から立体的な渦巻状に走査して最初に到達した特徴点を
近傍特徴点とする関数を用いるようにした多次元圧縮画
像の伸張方法を提供する。

【０００７】

【作用】画像情報処理の対象にされている画像における
画素密度の高低に拘らずに画像の持つ特徴点のみを抽出
して画像情報の圧縮された画像データを得て、伸張に際
しては前記した画像データから画素復元を行なうのでは
なく別の画素密度面に新画像が描画できるように、２次
元的に分布する輝度情報または３原色情報などの画像情
報や、２次元的に分布する輝度情報または３原色情報な
どの画像情報に時間軸をも含む３次元的に分布する画像
情報について、前記した画像情報の極大点と画像情報の
極小点及び画像情報の急変点とを前記した画像の特徴点
とし、前記した画像の特徴点の位置と画像情報とを用い
て圧縮して得た多次元圧縮画像の伸張に当って、近傍の
複数の特徴点によって決定される補間面により特徴点以
外の画素の輝度情報を決定する場合に、前記した近傍の
特徴点の発見に２次元的に配列されている特徴点を連結
させて１次元化するＰｅａｎｏ ｓｃａｎ、または３次
元的に配列されている特徴点を連結させて１次元化する
Ｐｅａｎｏ ｓｃａｎを用いたり、あるいは前記した近
傍の特徴点の発見に任意の画素から渦巻状に走査して最
初に到達した特徴点を近傍特徴点とする関数、または任
意の画素から立体的な渦巻状に走査して最初に到達した
特徴点を近傍特徴点とする関数を用いる。

【０００８】

【実施例】以下、添付図面を参照して本発明の多次元圧
縮画像の伸張方法の具体的な内容を詳細に説明する。図
１は本発明の多次元画像の圧縮伸張方法に使用される輝
度関数再生装置及び時系列化装置の構成例を示すブロッ
ク図、図２は本発明の多次元画像の圧縮伸張方法に使用
される面補間器の構成例を示すブロック図、図３乃至図
７は本発明の多次元圧縮画像の伸張方法の構成原理を説
明するための画像の輝度分布関数例を示す図、図８は本
発明の多次元画像の圧縮伸張方法に使用される輝度関数
再生装置の構成例を示すブロック図、図９は多次元画像
の圧縮伸張方法のブロック図、図１０はピーク点検出回
路の構成例を示すブロック図、図１１は急変点検出回路
の構成例を示すブロック図である。

【０００９】さて、本発明の多次元圧縮画像の伸張方法
は、画像情報処理の対象にされている画像における画素
密度の高低に拘らずに画像の持つ特徴点のみを抽出して
画像情報の圧縮された画像データを得て、伸張に際して
は前記した画像データから画素復元を行なうのではなく
別の画素密度面に新画像が描画できるように、２次元的
に分布する輝度情報または３原色情報などの画像情報
や、２次元的に分布する輝度情報または３原色情報など
の画像情報に時間軸をも含む３次元的に分布する画像情
報について、前記した画像情報の極大点と画像情報の極
小点及び画像情報の急変点とを前記した画像の特徴点と
し、前記した画像の特徴点の位置と画像情報とを用いて
圧縮して得た多次元圧縮画像に対して、簡単な構成によ
って伸張動作を行なうことができるようにしたものであ
るが、ここで、まず、２次元的に分布する画像情報や２
次元的に分布する画像情報に時間軸をも含めた３次元的
に分布する画像情報｛輝度情報だけの画像(所謂、白黒
画像)の画像情報、あるいは明度と色度［色相と彩度(飽
和度)］とを有するカラー画像の画像情報｝を対象とし
て行なわれる多次元画像圧縮伸張方法の概略について説
明することにする。なお、以下の説明では輝度情報だけ
の画像（所謂、白黒画像）の画像情報（輝度情報）に対
して多次元画像圧縮を行なう場合について述べる。

【００１０】今、白黒静止画像内の輝度をｚとし、ま
た、画面の水平方向をｘ，垂直方向をｙとすると、画像
は一般に次の（１）式のような方程式で表現できる。 ｚ＝ｆ（ｘ，ｙ） …（１） また、動画像については、時間軸をｔとすれば、次の
（２）式のような方程式で表現できる。 ｚ＝ｆ
（ｘ，ｙ，ｔ） …（２） ここで、ｆを多次関数
とすれば、画像内の輝度ｚは次の（３）式によって示さ
れる。

【００１１】

【数１】

【００１２】さて、画像を伝送するということは、送像
側で決定された前記のような輝度関数を受像側で再現す
ることといえるが、一般のデジタル画像伝送においては
輝度関数を解析的に取扱うことなく、それを所謂テーブ
ル関数として、そのテーブル値の全てを伝送するように
している。これに対して従来の一般的な圧縮伝送におい
ては、前記のテーブル値そのものの隣接相関を利用した
高能率符号化を行なったり、あるいは直交変換後のテー
ブル値に同様の措置を施こすなどの手段を講じている
が、従来は輝度関数に関わる解析的処理から直接に関数
の特徴値を抽出するようにした圧縮伝送方式は少ない。
ところで、前記のようにテーブル値を高能率符号化する
のではなく、輝度関数そのものを近似関数で表現するこ
とにより画像情報の圧縮を行なうようにした方式を実施
するためには、多次元輝度関数が視覚的に訴える特徴を
検討しなければならない。そして、人間が画像から意味
のある情報を抽出する際には、まず画像の輪郭を抽出す
るのであるが、前記した輪郭の抽出は輝度の正負の極点
(ピーク点と呼ばれることもある)や、輝度の急変点をト
レースすることにより得るようにしている。したがっ
て、周波数軸上では高周波領域を重点的に検証している
ことになるために、近似関数による表現においても高周
波領域の再現を妨げることのない方式が重視されなけれ
ばならない。

【００１３】本出願人会社では、先に特開平４ー２４９
４９１号公報に開示されたような多次元画像圧縮伸張方
式、すなわち、静止画像における２次元的に分布する輝
度情報、または２次元的に分布する輝度情報に時間軸を
も含む３次元的に分布する輝度情報について、輝度の極
大点と輝度の極小点及び輝度の急変点とを前記した画像
の特徴点として、前記した画像の特徴点の位置及び輝度
値を伝送，記録，画像の復元に用いて、対象とする輝度
関数の視覚的特徴を保存する一方、前記の保存されるべ
き輝度関数の視覚的特徴に関与しない画素の輝度情報を
棄却することにより大巾な情報圧縮を実現できるように
し、また画像の伸張に当っては伝送された前記の特徴点
による輝度関数の再描画を行なうことで未伝送情報を補
間再現するようにした多次元画像圧縮伸張方式を提案し
た。前記した多次元画像圧縮伸張方式を示す図９におい
て、１は画像信号を発生する撮像装置(ＴＶカメラ)、２
はアナログデジタル変換器、３はピーク点検出回路（詳
細な構成例が図１０に示されている）、４は急変点検出
回路(詳細な構成例が図１１に示されている)、５は符号
化送出回路、６は伝送回線(または記録媒体）、７は受
信復号回路（または再生復号回路）、８は輝度関数再生
装置、９は時系列化装置、１０は駆動回路、１１はモニ
タ受像機である。ここで前記の多次元画像圧縮伸張方式
における画像情報圧縮の原理と復元（伸張）の原理とに
ついて説明すると次のとおりである。

【００１４】まず、静止画像について画像情報圧縮が行
なわれる際に画像から抽出される特徴点について、静止
画像における２次元的に分布する輝度情報に着目して画
像情報の圧縮が行なわれる場合に用いられる特徴点を代
表例に挙げて説明すると、前記の特徴点は、輝度の極大
点と輝度の極小点（ピーク点）と輝度の急変点とであ
り、前記の特徴点とされる輝度の極大点と輝度の極小点
(ピーク点)及び輝度の急変点等は、 １．検討対象にさ
れている画素ａの周囲のｍ個の画素のそれぞれの輝度ｚ
ｉの全てのものよりも、検討対象にされている画素ａの
輝度ｚａが大、または小である場合{ｚａ＞ｍａｘ（ｚ
ｉ）またはｚａ＜ｍｉｎ（ｚｉ)}に、検討対象にされて
いる画素ａは、輝度の正負の極点(ピーク点）であると
判定する。２．検討対象にされている画素ａの周囲のｎ
個の画素の輝度ｚｉと、検討対象にされている画素ａの
輝度ｚａの２次微分値の絶対値が閾値Ｔを超えている場
合｛｜Σｚｉ−ｎｚａ｜＞Ｔ}に、画素ａは輝度の急変
点であると判定する。という判定基準によって判定され
る。

【００１５】ここで、前記した判定基準を採用して、任
意の静止画像における２次元画面内の輝度分布関数を例
示している図３の（ａ）を例にとり、前記のような画像
情報圧縮のための画像の特徴点、すなわち、輝度の極大
点と輝度の極小点（ピーク点）及び輝度の急変点とを抽
出する場合についての具体例を述べると次のとおりであ
る。２次元画面内の輝度分布関数が図３の（ａ）によっ
て例示されている画像情報圧縮の対象画像において、ま
ず、画像の四隅の画素ＰＥ1〜ＰＥ4の輝度値について
は、２次元画像情報に対する特徴点抽出のための判定基
準として示した前記の１．２．の判定基準を適用して判
定を行なうことができないので、画像の四隅の画素ＰＥ
1〜ＰＥ4の輝度値については特徴点の判定動作を行なう
ことなく、画像の四隅の画素ＰＥ1〜ＰＥ4は最初から特
徴点として扱い、また２次元画像情報に対する特徴点抽
出のための判定基準として示した前記の１．２．の判定
基準は、画像の四辺の画素列の輝度値についての判定動
作にも適用することができないので、画像の四辺の画素
列の輝度値についての判定は、画面の各辺毎の画素列に
ついて１次元的な輝度の極大点と輝度の極小点（ピーク
点）及び輝度の急変点との抽出を行なうことにより、例
えば画像の画素ＰＥ1と画素ＰＥ2とを含む辺におけるピ
ーク点は画素ＰＥ5として判定されるが、前記した辺上
において輝度は全体に滑らかに変化しているから急変点
は抽出されない。

【００１６】また、画像の画素ＰＥ3と画素ＰＥ4とを含
む辺におけるピーク点は画素ＰＥ6として判定される
が、前記した辺上において輝度は全体に滑らかに変化し
ているから急変点は抽出されない。さらに、画像の画素
ＰＥ2と画素ＰＥ4とを含む辺についてはピーク点と急変
点との双方が抽出されず、さらにまた画像の画素ＰＥ1
と画素ＰＥ3とを含む辺についてもピーク点と急変点と
の双方が抽出されない。次に画像の中央部の山形の高輝
度部では画素ＰＥ7がピーク点であると同時に急変点で
あると判定され、また、画素ＰＥ8〜ＰＥ16が平面と斜
面との接点のために急変点であると判定される。このよ
うに、２次元画面内の輝度分布関数が図３の（ａ）によ
って例示されている画像情報圧縮の対象にされている画
像における２次元輝度関数例は、合計１６個の特徴点の
位置と輝度の情報とに置換えられて伝送，記録されるの
で、前記した多次元画像圧縮伸張方式では画像情報が高
度に圧縮された状態で伝送(記録)されるのである。

【００１７】前述のように画像情報圧縮の対象にされて
いる画像における２次元輝度関数が少数の特徴点の位置
と輝度の情報とに置換えられて高度に圧縮された状態で
伝送(記録)された画像情報を伸張(復元)して再生画像を
得るのには、前記した特徴点が伸張画面(復元画面)内の
対応点(原画像と画素対応であるという意味での対応の
必要性はない)の輝度を決定し、かつ、特徴点からの距
離に比例して周辺画素への影響力を失なって行くような
伸張(復元)法が採用される。そして前記のような伸張
(復元)法による伸張(復元)は、１次元上では特徴点間で
の直線補間によって行なわれることになるが、多次元空
間内では複雑な補完線によって画像の復元が行なわれる
ことになる。

【００１８】図３の（ｂ）は図３の（ａ）を参照して説
明した画像情報圧縮動作により、２次元画面内の輝度分
布関数が既述のようにして合計１６個の特徴点の位置と
輝度の情報とに置換えられて伝送，記録された場合に、
前記の合計１６個の特徴点の位置と輝度の情報とに基づ
いて２次元補間により伸張(復元)された輝度関数例を示
している。ところで、任意の画素における輝度の補間値
を決定するのには、全特徴点から当該画素への距離と、
各特徴点の輝度値とを用い、所定の条件に則った補間値
を算出する必要がある。そして、前記した補間値の算出
動作は画像の周辺から実行されるのであり、まず、画面
の４隅の輝度値（１）〜（４）が決定され、次に、画面
の各辺上の特徴点が直線補完されることにより、画面周
辺の全輝度値、すなわち、辺（１）→（５）、辺（５）
→（２）、辺（２）→（４）、辺（４）→（６）、辺
（６）→（３）、辺（３）→（１）における全輝度値が
決定されると同時に、輝度値が決定された画素のすべて
が特徴点として扱われて、画面内部の輝度値を決定する
際の要素として用いられ、次に、特徴点（７）〜（１
６）の輝度値が決定され、決定された前記した特徴点
（７）〜（１６）の輝度値も画面内部の輝度値を決定す
る際の要素にとして用いられる。

【００１９】今、伸張画面内に特定な画素ａを考え、前
記の特定な画素ａから各特徴点の画素までの距離をｒｉ
とし、また各特徴点の画素の輝度をｚｉとし、さらにα
を比例定数として、前記した特徴点の内の１つの特徴点
ｋの輝度値ｚｋと、前記した画素ａの輝度値ｚａとの関
係は、次の（４）式の補間式によって示される。 ｚａ＝ｚｋ＋αｋ・ｒｋ …（４） （４）式における右辺第２項のαｋ・ｒｋは、画素ａの
輝度値と特徴点ｋの輝度値ｚｋとの輝度値のずれを示し
ており、このαｋ・ｒｋの値は距離ｒに比例している。
前記した画素ａの輝度値と特徴点ｋの輝度値ｚｋとの輝
度値のずれαｋ・ｒｋには正負があり、それは比例定数
αに反映されるが、補間空間全体でのαの総和は零であ
る。それで、 Σαｋ＝０ …（５） （５）式の
条件を加味して前記した（４）式からαの項を消去する
ことにより、画素ａの輝度値ｚａの一般的な補間式を求
めると、次の（６）式が得られる。 ｚａ＝Σ（ｚｉ／ｒｉ）／Σ（１／ｒｉ） …（６）

【００２０】そして、前記の（６）式は、既述のように
１次元補間で得た画面周辺の画素をも含めた全特徴点の
輝度値ｚｉと、補間の対象にされた画素ａとの距離ｒが
判かれば、画面内部の未補間全画素（原画との画素対応
はなくてもよい）の輝度値は補間によって求めることが
可能であることを示している。ところで、前記した圧縮
及び伸張動作時に行なわれるべき演算は、圧縮伸張の対
象にされている画像の輝度値のデータをフレームメモリ
に収納して、前記したフレームメモリ内の画素の輝度値
のデータを順次にコンピュータに読込んで、ソフトウエ
アで演算を実行させることもできるが、現在のワークス
テーションなどが備えている演算性能では、実用的とい
える演算時間内に演算を完了することができない点が問
題になるのであり、このことは特に、伸張動作時の演算
時間についていうことができる。

【００２１】今、例えば特徴点の個数を５０００個と
し、また、１画素の輝度補間演算に１万回の除算が必要
であるとして、画素数が５００×５００程度の静止画を
対象として伸張動作時の演算が行なわれる場合を考える
と、この場合の概略の補間画素数は、（５００×５０
０）−５０００＝２４５０００ となるから全演算回数
は２４５０００×１００００＝２４億回強となる。した
がって前記した２４億回の演算を、例えば略々１秒間で
完了させるようにするためには、２.４Ｇｆｌｏｐｓの
演算能力を有するコンピュータの使用が要求されること
になるが、現在においてそれを実現することは経済的に
みても困難である。対象にされる画像が動画の場合に
は、前記した静止画の場合に比べて３０倍の演算速度が
必要とされるために、前記した静止画の場合に比べて一
段と実現が困難である。

【００２２】そこで、本発明の多次元圧縮画像の伸張方
法では、画像の復元に際して適用される前記の（６）式
に示されている伸張補間式、 に従って行なわれる演算において、それに影響を与える
特徴点のすべてを演算要素とするのではなく、補間すべ
き画素の近傍の３個の特徴点で構成される輝度平面を近
似関数として、それから補間値を算出することにより計
算量を実用的な範囲に限定できるようにしたのである。

【００２３】一般に、平面や空間の任意の１点から、ラ
ンダムに存在する他の複数点をとらえる場合に、前記の
任意の１点の近傍の３個の点を選び出すためには、前記
の任意の１点と全点との距離を計算しなければならない
が、それでは計算量の経済化に寄与しないと考えられ
る。それで、本発明の多次元圧縮画像の伸張方法の一実
施例においては、Ｐｅａｎｏ ｓｃａｎと呼ばれるフラ
クタル関数を利用することにより、平面や空間の任意の
１点から、近傍の３個の３特徴点を少ない計算量で算出
できるようにしたのである。

【００２４】さて、１次元の数直線上に配列されている
任意の１点から、前記の１次元の数直線上にランダムに
存在している他の複数点の中から、当該点の大小両側に
隣接する２点を選び出すには、１次元値をインデックス
とする点リストを作り、当該点の表中の大小両側の隣接
欄をアクセスすれば良いことは容易に判かる。しかしな
がら、前記の点群が平面や３次元空間中に分布している
場合には、前記のような簡単な処理では済まず、距離イ
ンデックスを作るだけでも、各点に対する自乗を含むピ
タゴラス演算を行なうことが必要とされるから、平面や
空間の任意の１点から、近傍の３個の３特徴点を選び出
すのには、煩雑な多量の演算処理が必要とされることに
なる。

【００２５】したがって、何等かの方法によって、２次
元内、あるいは３次元内に存在している全点列を「一筆
書き」によって１次元化することができれば、２次元
内、あるいは３次元内に存在している特徴点も、前記の
１次元化された数直線上にあることになり、その１次元
の数直線上に配列されている任意の１点から近傍の３個
の特徴点を選び出すことは容易となる。図５は、２次元
的に配列されているすべての点を、Ｐｅａｎｏ ｓｃａ
ｎと呼ばれる「一筆書き」の手法によって、１次元的に
追跡（トレース）する場合の説明図であり、図５の
（ａ）は２次元的に配列されている点の配列（点列）に
おける最小の単位（２×２）をなす４個の点を、３個の
連結によって１次元化した状態を示している図であっ
て、図中のＡ→Ｂの方向が前記した１次元化のためのト
レースの方向である。

【００２６】また図５の（ｂ）は、前記した２次元的に
配列された図５の（ａ）に示されている最小の単位(２
×２）の点列を(２×２）に２次元的に配列してなる１
６個の点列を、図中のＡ→Ｂの方向にトレースして、順
次に３個の連結によって１次元化した状態を示してお
り、この図５の（ｂ）に示されている１６個の点列を１
次元化するために必要とされた連結の個数の合計は(３
×４＋３＝１５)個である。さらに図５の（ｃ）は、
（６４×６４＝４０９６）個の点列を図中のＡ→Ｂの方
向にトレースすることにより、合計４０９５個の連結に
よって１次元化した状態を示している。前記した図５の
（ａ）〜（ｃ）をみると、２次元的に配列された点にお
ける近傍の点は、概ね１次元的にも近傍に位置している
ことが判かるから、２次元的に配列された点における任
意の点に関する近傍の３つの特徴点は、既述のような距
離計算を行なわずに選定することができるということに
なる。

【００２７】図５の（ａ）〜（ｃ）は２次元的に配列さ
れた点列を、Ｐｅａｎｏ ｓｃａｎと呼ばれる「一筆書
き」の手法によって１次元化する場合の説明図であった
が、図６は点が３次元空間内に配列されている場合につ
いても、図５を参照して既述したと同様なＰｅａｎｏ
ｓｃａｎと呼ばれる「１筆書き」の手法によって１次元
化できることを説明している図である。図６の（ａ）は
３次元的に配列されている点の配列（点列）における最
小の単位（２×４）をなす８個の点を、７個の連結によ
って１次元化した状態を示している図であって、図中の
Ａ→Ｂの方向が前記した１次元化のためのトレースの方
向である。また図６の（ｂ）は、前記した３次元的に配
列された図６の（ａ）に示されている最小の単位(２×
４）の点列を(２×２×２）に３次元的に配列してなる
６４個の点列を、図中のＡ→Ｂの方向にトレースして、
順次に７個の連結によって１次元化した状態を示してお
り、この図６の（ｂ）に示されている６４個の点列を１
次元化するために必要とされた連結の個数の合計は(７
×８＋７＝６３)個である。前記した図６に示されてい
る例をみれば、Ｐｅａｎｏ ｓｃａｎと呼ばれる「一筆
書き」の手法は、２次元画像（静止画像）のみならず、
３次元画像（動画）の画像処理にも適用できることが理
解できる。

【００２８】次に、図３の（ｃ）は２次元Ｐｅａｎｏ
ｓｃａｎの配列の一部を示している図であって、この図
におけるトレースの順序は点Ｐi+1→Ｐi+2→Ｐi+3→…
である。図中で斜線を施してある点(画素)、すなわち、
Ｐi+1,Ｐi+6,Ｐi+8,Ｐi+10，Ｐi+16を特徴点であるとす
ると、隣接する３つの特徴点によって形成される点線図
示の３角形の内部に含まれる白い点(斜線を施していな
い点…画素)の輝度は、前記した隣接する３つの特徴点
によって形成される点線図示の３角形で示される輝度平
面により補間される。また、前記した３角形が形成され
ない領域内の白い点(斜線を施していない点…画素)、例
えば同図中の点Ｐi+3の輝度は、前記した点Ｐi+3を含む
Ｘ方向の走査線と、前記した点線（前記した各３角形の
辺にあたる画素のために、当然に補間値を持つ）との交
点を端点値とする直線補間値で充当することができる。

【００２９】図４は、前記のようにして得られる補間平
面を示したものであり、図においてｘ方向は画像の水平
方向であり、また、ｙ方向は画像の垂直方向であり、さ
らにｚ方向は輝度方向（輝度値の大きさを示す方向）で
ある。また、図４中のα，β，γは、特徴点画素を示し
ている。図３の（ｃ）中の点線と対応している線分α
β，βγ，γα上の画素の輝度値は直線補間により決定
され、また、前記した線分αβ，βγ，γαによって形
成される３角形の内部の一般画素の輝度値は、点α，
β，γで示されている特徴点画素によって決定される輝
度平面による補間によって決定される。

【００３０】さて、多次元画像圧縮伸張方法を示してい
る図９において、撮像装置（ＴＶカメラ）１は所定の標
準方式のテレビジョン☆方法に従った映像信号を発生し
てアナログデジタル変換器２に供給する。前記した撮像
装置１としては本発明の多次元画像圧縮伸張方法によっ
て圧縮伸張されるべき画像情報を発生させることができ
る映像信号発生装置であればどのような構成態様のもの
であっても使用できるが、以下の説明例では撮像装置１
として動画像の白黒の映像信号を発生できる構成態様の
ものが使用されるとしており、前記した撮像装置１から
発生された映像信号は、アナログデジタル変換器２によ
りデジタル信号に変換される。前記のアナログデジタル
変換器２では１画像分毎の映像信号について、画像の
横，縦方向毎にそれぞれ所定の画素数（例えば画像の横
方向に５１２画素、画像の縦方向に４８０画素）に分解
した状態の１画素毎に所定のビット数（例えば８ビッ
ト）のデジタル信号として、それをピーク点検出回路３
（詳細な構成例が図１０に示されている）の入力端子３
ａと急変点検出回路４（詳細な構成例が図１１に示され
ている）の入力端子４ａとに供給する。

【００３１】前記したピーク点検出回路３では画像情報
圧縮の対象にされている画像の特徴点となされるべきピ
ーク点の検出を行なって、検出した画像情報におけるピ
ーク点の情報を出力端子３ｂから符号化送出回路５に与
え、また、急変点検出回路４では画像情報圧縮の対象に
されている画像の特徴点となされるべき急変点の検出を
行なって、検出した画像情報における急変点の情報を出
力端子４ｂから符号化送出回路５に与える。前記した符
号化送出回路５では、情報を能率良く伝送できる符号、
例えばハフマンコード等の公知の符号に変換して伝送回
線６を介して受信復号回路７に伝送する。受信復号回路
７では、それに伝送されて来た符号化された信号を復号
して輝度関数再生装置８（詳細な構成例が図１，または
図８に示されている）に与える。前記した伝送回線６の
部分が記録媒体となされた場合には、前記した符号化送
出回路５や受信復号回路７等としては、それぞれ記録回
路や再生回路が用いられることはいうまでもない。

【００３２】前記の輝度関数再生装置８では、それに供
給された特徴点の情報を用いて圧縮前の２次元輝度関数
を復元する。そして、復元された２次元輝度関数関数を
構成する各画素の輝度値は時系列化装置９によりアナロ
グ信号形態の時系列信号となされて駆動回路１０に供給
される。前記の駆動回路１０ではモニタ受像機１１によ
って映出させるべき画像の映像信号を発生して、それを
モニタ受像機１１に与える。

【００３３】図９中でブロック３により示してあるピー
ク点検出回路３の詳細な構成例を示している図１０にお
いて３ａは入力端子であって、この入力端子３ａには画
像情報の圧縮の対象にされている画像を走査して発生さ
せた映像信号をアナログデジタル変換器２によって標本
化符号化して得た時系列的な画素のデジタル輝度信号列
（デジタル輝度信号列を構成している各１画素当りのデ
ジタル輝度信号は、例えば１バイトで２５６階調を表現
できるものとされている）が入力されている。入力端子
３ａに入力された時系列的な画素のデジタル輝度信号列
は、シフトレジスタＳＲ1p及び信号に対して１水平走査
期間（１Ｈ）の時間遅延を与える１Ｈ遅延回路１ＨＤＬ
1pに供給される。前記した１Ｈ遅延回路１ＨＤＬ1pから
の出力信号はシフトレジスタＳＲ2pと１Ｈ遅延回路１Ｈ
ＤＬ2pとに供給され、また、前記した１Ｈ遅延回路１Ｈ
ＤＬ2pからの出力信号はシフトレジスタＳＲ3pと１Ｈ遅
延回路１ＨＤＬ3pとに供給され、さらに前記した１Ｈ遅
延回路１ＨＤＬ3pからの出力信号はシフトレジスタＳＲ
4pと１Ｈ遅延回路１ＨＤＬ4pとに供給され、さらにま
た、前記した１Ｈ遅延回路１ＨＤＬ4pからの出力信号は
シフトレジスタＳＲ5pに供給されている。それで前記し
た５個のシフトレジスタＳＲ1p〜ＳＲ5pには、時間軸上
で引続く５本の水平走査期間における対応する画素部分
（画面において縦方向に並んでいる画素部分）のデジタ
ル輝度信号が同時的に入力される。

【００３４】前記した５個のシフトレジスタＳＲ1p〜Ｓ
Ｒ5pは直列入力・並列出力（シリアル入力・パラレル出
力）型のものであり、５個のシフトレジスタＳＲ1p〜Ｓ
Ｒ5pにおける全部で２５個の蓄積区分からは、２５個の
画素と対応するデジタル輝度信号が同時に出力されうる
のである。図１０に示されている５個のシフトレジスタ
ＳＲ1p〜ＳＲ5pにおける２５個の蓄積区分の内で、図中
で斜線を引いて図示してある蓄積区分を除く１３個の蓄
積区分から同時に出力される１３個の画素と対応するデ
ジタル輝度信号は、図１０中に示されているコンパレー
タＣＸ1〜ＣＸ6、ＣＮ1〜ＣＮ6に対して図１０に示され
ているような供給態様で供給されていて、前記した各コ
ンパレータＣＸ1〜ＣＸ6、ＣＮ1〜ＣＮ6は、それぞれに
供給された２入力の比較結果をそれぞれ出力する。

【００３５】図１０に例示してあるピーク点検出回路３
の構成例において、５個のシフトレジスタＳＲ1p〜ＳＲ
5pにおける１３個の蓄積区分から同時に出力される１３
個の画素と対応するデジタル輝度信号は、既述した検討
対象にされている画素ａの輝度値の情報と、前記した画
素ａの周囲のｍ個の画素の輝度値の情報とに対応してい
るものであって図１０中のシフトレジスタＳＲ3pにおけ
る中央部の蓄積区分から出力されたデジタル輝度信号
は、検討対象にされている画素ａの輝度値の情報に対応
しており、また前記したシフトレジスタＳＲ3pにおける
中央部の蓄積区分から出力されたデジタル輝度信号を除
く１２個のデジタル輝度信号は前記した画素ａの周囲の
ｍ個の画素の輝度値の情報にそれぞれ対応しているもの
である。

【００３６】そして、前記したコンパレータＣＸ1〜Ｃ
Ｘ6からの比較出力は、前記したコンパレータＣＸ1〜Ｃ
Ｘ6を含めて階層構造状に設けられたコンパレータＣＸ7
〜ＣＸ12によって行なわれる比較動作の結果として、前
記の階層構造状に設けられたコンパレータ群ＣＸ1〜Ｃ
Ｘ12における最終段のコンパレータＣＸ12から、コンパ
レータ群ＣＸ1〜ＣＸ12に供給された１３個の画素と対
応するデジタル輝度信号の輝度値の内の最大値の輝度値
がピーク値として出力され、また、前記したコンパレー
タＣＮ1〜ＣＮ6からの比較出力は、前記したコンパレー
タＣＮ1〜ＣＮ6を含めて階層構造状に設けられたコンパ
レータＣＮ7〜ＣＮ12によって行なわれる比較動作の結
果として、前記の階層構造状に設けられたコンパレータ
群ＣＮ1〜ＣＮ12における最終段のコンパレータＣＮ12
から、コンパレータ群ＣＮ1〜ＣＮ12に供給された１３
個の画素と対応するデジタル輝度信号の輝度値の内の最
小値の輝度値がピーク値として出力される。

【００３７】そして、前記したコンパレータ群ＣＸ1〜
ＣＸ12における最終段のコンパレータＣＸ12から出力さ
れた輝度値の情報は、図１０中のシフトレジスタＳＲ3p
における中央部の蓄積区分から出力されたデジタル輝度
信号、すなわち検討対象にされている画素ａの輝度値の
情報と比較器Ｅｘで比較され、また、前記したコンパレ
ータ群ＣＮ1〜ＣＮ12における最終段のコンパレータＣ
Ｎ12から出力された輝度値の情報は、図１０中のシフト
レジスタＳＲ3pにおける中央部の蓄積区分から出力され
たデジタル輝度信号、すなわち、検討対象にされている
画素ａの輝度値の情報と比較器Ｅｎで比較される。前記
した比較器Ｅｘ，Ｅｎはそれらに入力された２入力が等
しい場合だけに論理値「１」を出力するものとして構成
されている。

【００３８】それで、前記した比較器Ｅｘ，Ｅｎの出力
信号が入力されているオア回路ＯＲからの出力信号Ｅｑ
は、シフトレジスタＳＲ3pにおける中央部の蓄積区分か
ら出力されたデジタル輝度信号が正のピーク値または負
のピーク値となされた状態のときだけに論理値「１」が
出力されることになる。なお、シフトレジスタＳＲ3pに
おける中央部の蓄積区分から出力されたデジタル輝度信
号のアドレス値は、入力端子３ａに供給されている時系
列的な画素のデジタル輝度信号の瞬時アドレスを検証す
ることにより知ることができるし、また、前記したピー
ク輝度値はシフトレジスタＳＲ3pにおける中央部の蓄積
区分から出力されたデジタル輝度信号、すなわち検討対
象にされている画素ａの輝度値の情報によって知ること
ができることはいうまでもない。このように、図１０に
示されている輝度のピーク点検出回路３では、入力端子
３ａに供給されている時系列的な画素のデジタル輝度信
号列における局所エリア（図１０の例では５行５列菱
型）内における正，負のピーク値と、その画素アドレス
とを抽出できるのである。

【００３９】次に、図１１は図９中でブロック４として
示されている輝度の急変点検出回路４の詳細な構成例を
示している図であり、この図１１に例示している急変点
検出回路４は略々一定の輝度傾斜の面の複数のものが接
触した場合に、その接点が特徴点として抽出されるよう
なものとして構成した急変点検出回路４である。ところ
で輝度傾斜は一般に１次微分で表わされるが、輝度傾斜
同士の傾斜は２次微分値を計測することによって表わさ
れる。そして、急変点検出の対象にされている画像のデ
ータが２次元輝度関数であれば、輝度傾斜は２次元２次
微分（ラプラシアン）値の算出によって求められる。そ
してラプラシアンの算出を離散系で行なう場合には、算
出対象画素アドレスをｉｊとし、また算出対象画素の輝
度値をＢｉｊとすれば、ラプラシアンの算出は、前記し
た算出対象画素アドレスｉｊの周囲の８画素の輝度値の
和から８Ｂｉｊを引くことにより求めることができる。

【００４０】さて、図１１中の４ａは入力端子であっ
て、この入力端子４ａには図１０を参照して既述したピ
ーク点検出回路３の場合と同様に、画像情報の圧縮の対
象にされている画像を走査して発生させた映像信号をア
ナログデジタル変換器２によって標本化符号化して得た
時系列的な画素のデジタル輝度信号列（デジタル輝度信
号列を構成している各１画素当りのデジタル輝度信号
は、例えば１バイトで２５６階調を表現できるものとさ
れている）が入力されている。前記した入力端子４ａに
入力された時系列的な画素のデジタル輝度信号列は、シ
フトレジスタＳＲ1と信号を１水平走査期間（１Ｈ）だ
け遅延させる１Ｈ遅延回路１ＨＤＬ1とに供給される。
そして、前記した１Ｈ遅延回路１ＨＤＬ1からの出力信
号はシフトレジスタＳＲ2と１Ｈ遅延回路１ＨＤＬ2とに
供給され、また前記した１Ｈ遅延回路１ＨＤＬ2からの
出力信号はシフトレジスタＳＲ3と１Ｈ遅延回路１ＨＤ
Ｌ3とに供給され、さらに前記した１Ｈ遅延回路１ＨＤ
Ｌ3からの出力信号はシフトレジスタＳＲ4と１Ｈ遅延回
路１ＨＤＬ4とに供給され、さらにまた前記した１Ｈ遅
延回路１ＨＤＬ4からの出力信号はシフトレジスタＳＲ5
に供給されている。前記した５個のシフトレジスタＳＲ
1〜ＳＲ5には、時間軸上で引続く５本の水平走査期間に
おける対応する画素部分（画面において縦方向に並んで
いる画素部分）のデジタル輝度信号が同時的に入力され
る。

【００４１】前記した５個のシフトレジスタＳＲ1〜Ｓ
Ｒ5は直列入力・並列出力（シリアル入力・パラレル出
力）型のものであり、５個のシフトレジスタＳＲ1〜Ｓ
Ｒ5における全部で２５個の蓄積区分からは２５個の画
素と対応するデジタル輝度信号が同時に出力されうるよ
うになされているが、図１１に示されている５個のシフ
トレジスタＳＲ1p〜ＳＲ5pにおける２５個の蓄積区分の
内で、図中で斜線を引いて示してある蓄積区分を除く９
個の蓄積区分から同時に出力される９個の画素と対応す
るデジタル輝度信号の内で、シフトレジスタＳＲ3にお
ける中央部の蓄積区分から出力されたデジタル輝度信号
（中央画素のデジタル輝度信号…算出対象画素のデジタ
ル輝度信号）は輝度値の情報ｚｓとして出力端子４ｂに
送出されるとともに、乗算器１２によって−８倍された
後に加算器１３に供給されており、また、前記した図中
で斜線を引いて示してある蓄積区分を除く９個の蓄積区
分から同時に出力される９個の画素と対応するデジタル
輝度信号の内で、シフトレジスタＳＲ3における中央部
の蓄積区分から出力されたデジタル輝度信号（中央画素
のデジタル輝度信号…算出対象画素のデジタル輝度信
号）を除く８個のデジタル輝度信号は前記した加算器１
３に供給されている。

【００４２】それで前記した加算器１３の出力側には、
急変点検出の対象にされている画像の２次元輝度関数に
おける輝度傾斜の算出結果、すなわち、算出対象画素ア
ドレスをｉｊとし、算出対象画素の輝度値をＢｉｊとし
て、前記した算出対象画素アドレスｉｊの周囲の８画素
の輝度値の和から８Ｂｉｊを引くことにより求められる
ラプラシアン値の算出結果が得られるのである。なお、
図１１に示されている構成例においては、算出対象画素
と周囲画素とが密接状態に配置されていないが、これは
検出帯域を狭めてノイズによる誤検出を防ぐようにする
ための配慮を行なっている構成例を示しているのであ
る。

【００４３】前記した加算器１３からの出力は輝度の急
変の情報であるが、輝度の急変の状態には輝度の急増と
輝度の急減との２つがあり、前記した加算器１３からの
出力には正負の出力が現われる。そして特徴点としては
輝度の急増の場合と輝度の急減の場合との双方を採用す
ることが必要とされるので、前記した加算器１３からの
出力信号は絶対値回路１５によって絶対値化してから比
較器１６に供給するようにしている。前記した比較器１
６では閾値発生回路１４から比較器１６に供給されてい
る閾値と比較して、ラプラシアンの絶対値が前記した閾
値よりも大きな場合に、出力端子４ｂに対して特徴点を
示す信号ＧＴを送出する。なお、急変点の輝度値として
は算出対象画素の輝度値ｚｓが採用される。

【００４４】１画面（飛越走査方式が適用されている場
合に１フィールド期間）分の走査が終了した時点で、そ
の画面に対する特徴点の抽出動作が終了することにな
る。そして、前記のようにして抽出された特徴点の情報
は、既述のように符号化送出回路５に送られる。前記の
符号化送出回路５では、情報を能率良く伝送させること
ができる符号、例えばハフマンコード等の公知の符号に
変換して伝送回線６を介して受信復号回路７に伝送す
る。前記したピーク点検出回路３と急変点検出回路４と
における次の画面の特徴点の抽出動作の実行は、前記し
た例えばハフマンコードでの符号化のために要する符号
化時間と伝送に必要とされる時間中に行なわれる。な
お、例えば、特徴点の検出数が多い等の理由により、前
記した符号化時間と伝送時間とが１画面の走査期間を超
えるおそれがあるような場合には、急変点の検出動作に
用いられる前記の閾値を自動調整して、検出される特徴
点数が制御されるようにすることは望ましい実施の態様
である。

【００４５】受信復号回路７では、それに伝送されて来
た符号化された信号を復号して輝度関数再生回路８に与
える。前記の輝度関数再生装置８では、それに供給され
た特徴点の情報を用いて圧縮前の２次元輝度関数を復元
する。輝度関数再生装置８の具体的な構成例は、図１中
及び図８中に図面符号８を付してある一点鎖線枠８の部
分によつて示してある。まず、図１に示されている輝度
関数再生装置８及び時系列化装置９について説明する。
図１に例示されている輝度関数再生装置８において、８
ｐｉは特徴点の位置情報、すなわちアドレス情報（ｘ
ｉ，ｙｉ）｝の入力端子であり、また８ｚｉは輝度情報
（輝度値）ｚの入力端子である。受信回路７から輝度関
数再生装置８に供給される特徴点の位置情報｛アドレス
情報（ｘｉ，ｙｉ）｝は、前記の入力端子８ｐｉを介し
て配列変換器１７に供給され、また、受信回路７から輝
度関数再生装置８に供給される輝度情報（輝度値）ｚ
は、前記の入力端子８ｚｉを介して配列変換器１７に供
給される。

【００４６】前記した配列変換器１７では、それに供給
された入力情報を入力順序とは異なる順序となるように
配列の状態を変換する。すなわち既述した送信側（記録
側）において画像情報の圧縮のために行なわれた輝度値
のピーク点や輝度値の急変点などの特徴点の検出の順序
は、画像走査線の走査順序に依存しているものになって
いるが、特徴点の面補間によって未伝送画素の輝度値を
決定しようとしている本発明方法においては、前記のよ
うに画像走査線の走査順序に依存した検出順序で検出さ
れている特徴点から面補間のための３個の特徴点を採用
したところで、採用された特徴点が必らずしも２次元的
な近傍点とはならないからであり、それで、配列変換器
１７では画像走査線の走査順序に依存した検出順序で検
出された状態で受信回路７から輝度関数再生装置８に供
給された特徴点の情報を、２次元的近傍特徴点が隣接し
ている配列の状態となるように、既述したＰｅａｎｏ
ｓｃａｎ等の手法を採用する等により、１次元的な再配
置を行なうのである。そして、前記した配列変換器１７
としては、画像走査線の走査順序に依存した検出順序に
よる特徴点情報の順序配列を、特徴点情報が２次元的近
傍特徴点が隣接している状態になっている所望の順序配
列の状態に変換できるような変換テーブルを記憶させた
リードオンリーメモリを備えた構成のものとすることに
より、前記した配列変換動作を実時間で実行することが
できる。

【００４７】ところで、前記した配列変換器１７から出
力される特徴点の位置情報（アドレス情報）と輝度値と
の対のデータは不等間隔で発生しているために、そのま
までは隣接する３個の特徴点の情報によって面補間動作
を行なう面補間器２０に対する入力情報として供給する
ことができない。それで、前記した配列変換器１７から
出力される特徴点の位置情報と輝度値との対のデータ
は、それぞれ先入れ先出しレジスタ（ＦＩＦＯ）１８，
１９を介して面補間器２０に供給するようにしている。
すなわち前記した配列変換器１７から出力された特徴点
の位置情報のデータが入力される先入れ先出しレジスタ
１８と、前記した配列変換器１７から出力された特徴点
の輝度情報のデータが入力される先入れ先出しレジスタ
１９とを、輝度関数再生装置８の各構成部分の動作のタ
イミングの制御を行なうシーケンサ２１によって動作を
制御して、配列変換器１７から出力される順次の特徴点
の位置情報と輝度値との対のデータにおける３個の隣接
特徴点の位置情報と輝度値との対のデータが常に面補間
器２０に供給されるようにしている。

【００４８】次に、図２を参照して面補間器２０の具体
的な内容について説明する。面補間器２０の入力端子２
０ｓには、シーケンサ２１からシーケンス制御信号が供
給され、また、入力端子２０ｐα〜２０ｐγには、前記
した先入れ先出しレジスタ１８から出力された隣接３特
徴点の位置情報におけるそれぞれ特定な特徴点の位置情
報が供給され、さらに入力端子２０ｚα〜２０ｚγには
前記した先入れ先出しレジスタ１９から出力された隣接
３特徴点の輝度情報におけるそれぞれ特定な特徴点の輝
度情報が供給されていて、前記の各入力端子２０ｐα〜
２０ｐγ,２０ｚα〜２０ｚγには、前記の隣接３特徴
点の位置情報と輝度情報とが、３個の直線補間器２２〜
２４におけるそれぞれ定められたものに与えられる。

【００４９】すなわち、前記した３個の直線補間器２２
〜２４の内の直線補間器２２には、前記した入力端子２
０ｐαを介して画素αの位置情報（ｘpi，ｙpi）と、入
力端子２０ｐβを介して画素βの位置情報（ｘpi+1，ｙ
pi+1）と、入力端子２０ｚαを介して画素αの輝度情報
（ｚpi）と、入力端子２０ｚβを介して画素βの輝度情
報（ｚpi+1）とが供給されており、また、直線補間器２
３には、入力端子２０ｐβを介して画素βの位置情報
（ｘpi+1，ｙpi+1）と、前記した入力端子２０ｐγを介
して画素γの位置情報（ｘpi+2，ｙpi+2）と、入力端子
２０ｚβを介して画素βの輝度情報（ｚpi+1）と、入力
端子２０ｚγを介して画素γの輝度情報（ｚpi+2）とが
供給されており、さらに直線補間器２４には、画素αの
位置情報（ｘpi，ｙpi）と、前記した入力端子２０ｐγ
を介して画素γの位置情報（ｘpi+2，ｙpi+2）と、入力
端子２０ｚαを介して画素αの輝度情報（ｚpi）と、入
力端子２０ｚγを介して画素γの輝度情報（ｚpi+2）と
が供給されている。前記のように、３個の直線補間器２
２〜２４には、それぞれ各２特徴点対を端点とするよう
な態様で特徴点の位置情報と輝度情報とが供給されてい
ることにより、前記の３個の直線補間器２２〜２４から
は、それぞれ２特徴点間の中間画素の位置情報（アドレ
ス情報）の補間値と輝度情報の補間値とを出力して、そ
れが書込制御器２５に供給される。

【００５０】前記の３個の直線補間器２２〜２４におけ
る補間動作について図４を参照して説明すると次のとお
りである。図４において、画素のアドレスは２次元ｘ，
ｙ面中に示されており、また、輝度値は高さｚ方向で示
されている。画素αはアドレスがｘpi,ｙpi、輝度値が
ｚpiであって、既述した端点の１つである。同様に画素
βはアドレスがｘpi+1,ｙpi+1、輝度値がｚpi+1、画素
γはアドレスがｘpi+2,ｙpi+2、輝度値がｚpi+2であっ
て、前記の画素β，画素γも前記した端点の各１つにな
っている。図４中において、画素αから画素βの間には
階段状の画素（図中で白丸印をつけてある）群が存在し
ているが、これは輝度関数空間内の画素α{アドレス(ｘ
pi,ｙpi),輝度値ｚpi}から画素β{アドレス(ｘpi+1,ｙp
i+1),輝度値ｚpi+1}までの補間直線に沿って、前記した
直線補間器２２によって輝度値が決定された画素群であ
る。直線補間器２３による画素βと画素γとの間の画素
の輝度値の補間、直線補間器２４による画素γと画素α
との間の画素の輝度値の補間も、前記と同様にして行な
われることはいうまでもない。なお、直線補間器２２〜
２４において行なわれる補間値の決定方法は、例えば１
次方程式演算や、ブレゼンハム法、その他の公知の方法
を使用して容易に実施できる。

【００５１】さて３個の直線補間器２２〜２４から書込
制御器２５に供給された入力情報、すなわち、それぞれ
２特徴点間の中間画素の位置情報（アドレス情報）の補
間値と輝度情報の補間値とからなる各補間画素群は、書
込制御器２５において、例えば前記した各ｘ方向（既述
した走査方向）について等しいｙアドレス値を有する各
複数画素が選択され、そのアドレスＡＤｗと輝度値Ｚｗ
とがｘ端点メモリ２８に記憶される。前記したｘ端点メ
モリ２８からは、例えば走査方向の始点側の１端点のア
ドレス（位置情報）と終点側の１端点のアドレス（位置
情報）とが、前記の各端点における輝度値とともに直線
補間器２９に供給される。直線補間器２９では、それに
入力された始点側の１端点と終点側の１端点をｘ軸上で
輝度補間し、それを図１中に示されている時系列化装置
９におけるのフィールドメモリ３０，３１に供給するた
めに、出力端子２０ａｄｏ，２０ｚｏを介して送出す
る。

【００５２】前記の点を図４を参照して説明する。特徴
点の画素αと特徴点の画素βとの間の補間画素は、図４
中の白丸印の画素のように決定されているが、ここでｙ
アドレスがｙkである始点側のｘ端端点は、補間線（前
記した白丸印の画素列）上の画素Ｓである。また、特徴
点の画素αと特徴点の画素γとの間においてｙアドレス
がｙkである終点側のｘ端点は、前記した特徴点の画素
αと特徴点の画素γとの補間線上の画素Ｅである。前記
した直線補間器２９では前記した画素Ｓと画素Ｅとの間
の画素の輝度値を補間して、瞬時補間値Δ（図４中でハ
ッチングを施してある画素群中の１つの代表画素だけに
Δの記号を付してある）のアドレス（位置情報）と輝度
値とを出力端子２０ａｄｏ，２０ｚｏを介して送出す
る。

【００５３】前記したｘ端点メモリ２８には、それぞれ
異なるｙアドレス毎に、等しいｙアドレス値を有する補
間線上の補間値群があるために、前記のｘ端点メモリ２
８から所定のｙアドレス値と対応する補間線上の補間値
の書き込み読出しが選択的に行なわれ得るようには、ｙ
スイッチャ２６からｙアドレス指定値ｙkが供給されて
いる。また、前記のｙスイッチャ２６から出力されたｙ
アドレス指定値ｙkは、前記した直線補間器２９にも供
給されている。直線補間器２９ではｘ軸上の補間値も選
択的に出力できるように、ｘスイッチャ２７からｘアド
レス指定値ｘjも与えられている。そして、前記のｙス
イッチャ２６やｘスイッチャ２７などの制御のシーケン
スは、既述した入力端子２０に供給されているシーケン
ス制御信号によって行なわれる。

【００５４】図１中に示されている時系列化装置９は、
前記した輝度関数再生装置８から入力端子９ｐｉに供給
された位置情報(アドレス情報)と、入力端子９ｚｉに供
給された輝度情報とが、２個のフィールドメモリ３０，
３１に供給されている。前記の２個のフィールドメモリ
３０，３１は、それの一方のものが書込み動作を行なっ
ている状態においては、他方のものが復原画像情報の読
出し動作を行なうというような態様を以って、２個のフ
ィールドメモリ３０，３１が順次交互に書込み動作と読
出し動作とをリアルタイムで行なっている。前記した２
個のフィールドメモリ３０，３１の書込み動作と読出し
動作との切換え制御は、同期信号発生器３３で発生され
た制御信号によって動作が制御されているＴＶ読出しマ
ルチプレクサ３２によって行なわれる。前記したフィー
ルドメモリ３０，３１から順次交互に読出されてＴＶ読
出しマルチプレクサ３２からビデオドライバ３４に供給
される復原画像信号は、時系列化された画像信号になっ
ており、それがビデオドライバ３４において、必要に応
じてデジタルアナログ変換が行なわれたり、所定の同期
信号の付加などが行なわれて、所定の走査標準に従った
画像信号とされて出力端子３５に送出される。

【００５５】これまでの説明は、近傍に位置する３個の
特徴点の検出にＰｅａｎｏ ｓｃａｎを用いた輝度関数
再生装置８を使用した場合の実施例であったが、近傍に
位置する３個の特徴点の検出を行なうのに、１特徴点の
影響の及ぶ画素領域を拡張面（３次元対象の場合には拡
張立体）によって探索して、前記の１特徴点の影響の及
ぶ画素領域の境界から、近傍３特徴点（３次元対象の場
合には４特徴点）を検出するようにして本発明が実施さ
れてもよいのであり、まず、その原理を図７を参照して
説明する。まず、図７の（ｃ）において、画素ｉ，ｊ，
ｋ，ｌは、既述した特徴点の画素群であるとして、前記
した特徴点の画素以外の任意の画素について、前記の任
意の画素が、前記した特徴点の画素ｉ，ｊ，ｋ，ｌのど
れに近いのかを探索する場合に、図７の（ａ）に示され
ているような方法で行なうのである。

【００５６】すなわち図７の（ａ）において、任意の画
素Ｐの近傍に特徴点の画素Ｍ，Ｎが存在していたとした
場合に、前記した任意の画素Ｐから図中の点線矢印の経
路に従って渦巻状に隣接画素を検査して行くと、特徴点
の画素Ｎよりも先に特徴点の画素Ｍに到達する。このこ
とにより、前記した任意の画素Ｐは特徴点の画素Ｎでは
なく、特徴点の画素Ｍの近傍にあるものとして検出され
る。そこで、前記の画素Ｐには特徴点の画素Ｍの領域に
あることを示す印を記入する。図７の（ｂ）は前記の手
順による特徴点の画素の検出方法を、時間軸を含む３次
元画素群に適用した場合を示したものであり、図７の
（ｂ）においてｘ，ｙ，ｚは３次元軸であって、任意の
画素をＰ，特徴点の画素をＭとして、画素Ｐから矢印の
経路にしたがって、隣接画素を立体的な渦巻状にＰの近
傍画素から、略々、順次に遠方の画素へ拡張的に検査し
て行くと、特徴点の画素Ｍに到達する。これにより前記
した任意の画素Ｐは特徴点の画素Ｍの近傍にあるものと
して検出される。そこで、前記の画素Ｐには特徴点の画
素Ｍの領域にあることを示す印を記入する。

【００５７】図７の（ｃ）に示されている２次元例は、
特徴点の画素以外の複数の任意画素に、それが属してい
る特徴点記号が、前記したような手順に従って記入され
た場合の例であり、前記した特徴点記号を結ぶ点線が、
前記した特徴点の影響領域の境界である。今、例えば３
領域の境界であるΔ１に着目すると、このΔ１には画素
ｉ，ｊ，ｋが隣接している。従って、画素ｉ，ｊ，ｋが
近傍の３個の特徴点とみなされ、三角形ｉｊｋが補間平
面として決定される。それにより、前記した三角形ｉｊ
ｋの内部に存在する画素の輝度値は、前記した輝度平面
の値により充当される。同様にして領域境界Δ２から三
角形ｊｋｌが補間平面として決定され、それにより、前
記した三角形ｊｋｌの内部に存在する画素の輝度値は、
前記した輝度平面の値により充当される。

【００５８】前記のような手順によって、１特徴点の影
響の及ぶ画素領域を拡張面（３次元対象の場合には拡張
立体）によって探索して、前記の１特徴点の影響の及ぶ
画素領域の境界から、近傍３特徴点（３次元対象の場合
には４特徴点）を検出するようにすることにより、少数
の特徴点情報から伸張側の輝度関数が決定され、未伝送
画像情報の各輝度値は、前記の補間値によって充当され
て画像全体の内容が再現されるのである。なお、２次元
対象の場合の拡張面としては、円、正方形、直方形、菱
形等が用いられるとよく、また、３次元対象の場合の拡
張立体としては、球、回転楕円体、底面を対称面として
連結された２個の円錐体、底面を対称面として連結され
た２個の角錐体等が用いられてもよい。

【００５９】図８は前記のような原理に基づいて行なわ
れる特徴点の画素の検出方法を実施した輝度関数再生装
置８である。図８に例示されている輝度関数再生装置８
において、８ｐｉは特徴点の位置情報、すなわち特徴点
の位置情報｛アドレス情報（ｘｉ，ｙｉ）｝の入力端子
であり、また、８ｚｉは輝度情報（輝度値）ｚの入力端
子である。受信回路７から輝度関数再生装置８に供給さ
れる特徴点の位置情報｛アドレス情報（ｘｉ，ｙｉ）｝
と、受信回路７から輝度関数再生装置８に供給される輝
度情報（輝度値）ｚとは切換器３６を介して２個のフィ
ールドメモリ３７，３８の何れかのものに供給されて、
それに記憶される。前記の２個のフィールドメモリ３
７，３８が切換えられるようにして用いられるようにし
た理由は、近傍の特徴点を探索して補間面（または補間
立体）を決定して記入する作業を行なう一方のメモリ
と、前記の一方のメモリに記憶された内容を読出して、
未伝送輝度画素の輝度値を補間演算処理によって得て出
力させる作業を行なう他方のメモリとを別に設けること
によって、同時動作を可能として伸張作業の全体を高速
化するためである。

【００６０】サーチアドレス発生器３９は、フィールド
メモリ３７（または３８）に記入される前記した特徴点
の画素以外の画素のアドレスを発生するとともに、前記
した画素に最も近い特徴点の画素を、図７の（ａ）につ
いて既述したような方法で探索し、前記した画素に対し
て図７の（ｃ）のように最も近い特徴点の画素の領域
（特徴点の画素の属性領域）にあることを示す印を記入
（加印）する。また、補間面判定回路４０は、前記した
フィールドメモリ３７（または３８）における属性領域
を読み出すことにより領域境界を探索して、隣接領域の
各加印特徴点名から補間決定のための３個の特徴点を抽
出する。さらに、面補間器４１は前記したフィールドメ
モリ３７（または３８）内に決定された補間３角面の内
部領域の補間値を算出と、これらのアドレス群と輝度値
群とを出力端子８ｐｏと出力端子８zoとを介して、それ
らを時系列化化装置９に供給する。シーケンサ４２は輝
度関数再生装置の各構成部分の動作の制御用の信号を発
生して、それを輝度関数再生装置の各構成部分に供給す
る。

【００６１】本発明は複数画面にわたって特徴点の画素
を検出して３次元圧縮像を伸張する場合にも良好に実施
でき、また、輝度信号でなく、３原色信号についても良
好に実施できることはいうまでもない。さらに輝度信号
と色差信号とによるカラー方式等のように、複数の信号
を有する方式にも適用することができ、その場合には各
信号における特徴点のアドレスを複数の要素間で共用す
ることもできる。さらにまた、既述もしたように、本発
明は画像をベクトル要素に分解して圧縮しているため
に、画像情報圧縮系と伸張系で等しい画素数である必要
はない。また、これを時間軸を含む３次元輝度関数の抽
出，再生に拡張して、前記の両系をリアルタイムで同時
に動作させる場合にも、前記の両系で時間軸上の画面枚
数が等しい必要はない。

【００６２】

【発明の効果】以上、詳細に説明したところから明らか
なように本発明の多次元圧縮画像の伸張方法は、画像情
報処理の対象にされている画像における画素密度の高低
に拘らずに画像の持つ特徴点のみを抽出して画像情報の
圧縮された画像データを得て、伸張に際しては前記した
画像データから画素復元を行なうのではなく、別の画素
密度面に新画像が描画できるように、２次元的な輝度情
報や時間軸をも含む３次元的な輝度情報等の画像情報に
ついて輝度の極大点と輝度の極小点及び輝度の急変点と
を前記した画像の特徴点とし、前記した画像の特徴点の
位置及び輝度値を用いて得た画像の復元に際して、 （Ａ）式の近似演算を行なう装置として、近傍の複数の
特徴点によって決定される補間面により特徴点以外の画
素の輝度情報を決定する場合に、前記した近傍の特徴点
の発見にＰｅａｎｏ ｓｃａｎを用いたり、あるいは前
記した近傍の特徴点の発見に拡張面または拡張立体を用
いたりして、容易に多次元画像の伸張を行なうことがで
きるような構成としたので、本発明方法では画像情報の
圧縮が行なわれるべき原画像と伸張によって得られる再
生画像との両画像間の構成画素数差などの物理的条件に
関わることなく、画像の情報量に応じて高圧縮を容易に
実現することができる。

【図面の簡単な説明】

【図１】本発明の多次元圧縮画像の伸張方法に使用され
る輝度関数再生装置及び時系列化装置のブロック図であ
る。

【図２】本発明の多次元圧縮画像の伸張方法に使用され
る面補間器のブロック図である。

【図３】多次元圧縮画像の伸張方法の構成原理等の説明
に使用される図である。

【図４】多次元圧縮画像の伸張方法の構成原理等の説明
に使用される図である。

【図５】多次元圧縮画像の伸張方法の構成原理等の説明
に使用される図である。

【図６】多次元圧縮画像の伸張方法の構成原理等の説明
に使用される図である。

【図７】多次元圧縮画像の伸張方法の構成原理等の説明
に使用される図である。

【図８】本発明の多次元圧縮画像の伸張方法に使用され
る輝度関数再生装置の構成例を示す平面図である。

【図９】多次元画像の圧縮伸張方法のブロック図であ
る。

【図１０】ピーク点検出回路の構成例を示すブロック図
である。

【図１１】急変点検出回路の構成例を示すブロック図で
ある。

【符号の説明】

１…画像信号を発生する撮像装置(ＴＶカメラ)、２…ア
ナログデジタル変換器、３…ピーク点検出回路、４…急
変点検出回路、５…符号化送出回路、６…伝送回線、７
…受信復号回路、８…輝度関数再生装置、９…時系列化
装置、１２…乗算器、１３…加算器、１４…閾値発生回
路、１５…絶対値回路、１６…比較器、１７…配列変換
器、１８，１９…先入れ先出しレジスタ（ＦＩＦＯ）、
２０…面補間器、２１，４２…シーケンサ、２２〜２
４，２９…直線補間器、２５…書込制御器、２６…ｙス
イッチャ、２７…ｘスイッチャ、２８…ｘ端点メモリ、
３０，３１，３７，３８…フィールドメモリ、３６…切
換器、３８…サーチアドレス発生器、４０…補間面判定
回路、４１…面補間器、

フロントページの続き (58)調査した分野(Int.Cl.⁶，ＤＢ名) H04N 7/24 - 7/68 H04N 1/41 - 1/419

Claims (8)

(57)【特許請求の範囲】
1. 【請求項１】静止画像における２次元的に分布する輝度
   情報による画像情報について、輝度値の極大点と輝度値
   の極小点及び輝度値の急変点とを前記した画像の特徴点
   とし、前記した画像の特徴点の位置と輝度値とを用いて
   得た多次元圧縮画像を伸張する多次元圧縮画像の伸張方
   法において、近傍の複数の特徴点によって決定される補
   間面により特徴点以外の画素の輝度情報を決定する場合
   に、前記した近傍の特徴点の発見に２次元的に配列され
   ている特徴点を連結させて１次元化するＰｅａｎｏ ｓ
   ｃａｎを用いる多次元圧縮画像の伸張方法。
2. 【請求項２】静止画像における２次元的に分布する輝度
   情報に時間軸をも含む３次元的に分布する輝度情報の画
   像情報について、輝度値の極大点と輝度値の極小点及び
   輝度値の急変点とを前記した画像の特徴点とし、前記し
   た画像の特徴点の位置と輝度値とを用いて得た多次元圧
   縮画像を伸張する多次元圧縮画像の伸張方法において、
   近傍の複数の特徴点によって決定される補間立体により
   特徴点以外の画素の輝度情報を決定する場合に、前記し
   た近傍の特徴点の発見に３次元的に配列されている特徴
   点を連結させて１次元化するＰｅａｎｏ ｓｃａｎを用
   いる多次元圧縮画像の伸張方法。
3. 【請求項３】静止画像における２次元的に分布する３原
   色情報による画像情報について、３原色情報の極大点と
   ３原色情報の極小点及び３原色情報の急変点とを前記し
   た画像の特徴点とし、前記した画像の特徴点の位置と３
   原色情報とを用いて得た多次元圧縮画像を伸張する多次
   元圧縮画像の伸張方法において、近傍の複数の特徴点に
   よって決定される補間面により特徴点以外の画素の３原
   色情報を決定する場合に、前記した近傍の特徴点の発見
   に２次元的に配列されている特徴点を連結させて１次元
   化するＰｅａｎｏ ｓｃａｎを用いる多次元圧縮画像の
   伸張方法。
4. 【請求項４】静止画像における２次元的に分布する３原
   色情報に時間軸をも含む３次元的に分布する３原色情報
   の画像情報について、３原色情報の極大点と３原色情報
   の極小点及び３原色情報の急変点とを前記した画像の特
   徴点とし、前記した画像の特徴点の位置及び３原色情報
   とを用いて得た多次元圧縮画像を伸張する多次元圧縮画
   像の伸張方法において、近傍の複数の特徴点によって決
   定される補間立体により特徴点以外の画素の３原色情報
   を決定する場合に、前記した近傍の特徴点の発見に３次
   元的に配列されている特徴点を連結させて１次元化する
   Ｐｅａｎｏ ｓｃａｎを用いる多次元圧縮画像の伸張方
   法。
5. 【請求項５】 静止画像における２次元的に分布する輝
   度情報による画像情報について、輝度値の極大点と輝度
   値の極小点及び輝度値の急変点とを前記した画像の特徴
   点とし、前記した画像の特徴点の位置と輝度値とを用い
   て得た多次元圧縮画像を伸張する多次元圧縮画像の伸張
   方法において、近傍の複数の特徴点によって決定される
   補間面により特徴点以外の画素の輝度情報を決定する場
   合に、任意の画素から渦巻状に走査して最初に到達した
   特徴点を近傍特徴点とする関数を用いる多次元圧縮画像
   の伸張方法。
6. 【請求項６】静止画像における２次元的に分布する輝度
   情報に時間軸をも含む３次元的に分布する輝度情報の画
   像情報について、輝度値の極大点と輝度値の極小点及び
   輝度値の急変点とを前記した画像の特徴点とし、前記し
   た画像の特徴点の位置及び輝度値とを用いて得た多次元
   圧縮画像を伸張する多次元圧縮画像の伸張方法におい
   て、近傍の複数の特徴点によって決定される補間立体に
   より特徴点以外の画素の輝度情報を決定する場合に、任
   意の画素から立体的な渦巻状に走査して最初に到達した
   特徴点を近傍特徴点とする関数を用いる多次元圧縮画像
   の伸張方法。
7. 【請求項７】静止画像における２次元的に分布する３原
   色情報による画像情報について、３原色情報の極大点と
   ３原色情報の極小点及び３原色情報の急変点とを前記し
   た画像の特徴点とし、前記した画像の特徴点の位置及び
   ３原色情報とを用いて得た多次元圧縮画像を伸張する多
   次元圧縮画像の伸張方法において、近傍の複数の特徴点
   によって決定される補間面により特徴点以外の画素の３
   原色情報を決定する場合に、任意の画素から渦巻状に走
   査して最初に到達した特徴点を近傍特徴点とする関数を
   用いる多次元圧縮画像の伸張方法。
8. 【請求項８】静止画像における２次元的に分布する３原
   色情報に時間軸をも含む３次元的に分布する３原色情報
   の画像情報について、３原色情報の極大点と３原色情報
   の極小点及び３原色情報の急変点とを前記した画像の特
   徴点とし、前記した画像の特徴点の位置及び３原色情報
   とを用いて得た多次元圧縮画像を伸張する多次元圧縮画
   像の伸張方法において、近傍の複数の特徴点によって決
   定される補間立体により特徴点以外の画素の３原色情報
   を決定する場合に、任意の画素から立体的な渦巻状に走
   査して最初に到達した特徴点を近傍特徴点とする関数を
   用いる多次元圧縮画像の伸張方法。