JP3889178B2

JP3889178B2 - 解像度変換画像圧縮復号装置

Info

Publication number: JP3889178B2
Application number: JP8191599A
Authority: JP
Inventors: 誠後藤
Original assignee: Fujitsu Ltd
Current assignee: Fujitsu Ltd
Priority date: 1999-03-25
Filing date: 1999-03-25
Publication date: 2007-03-07
Anticipated expiration: 2019-03-25
Also published as: JP2000278683A

Description

【０００１】
【発明の属する技術分野】
本発明は、領域ごとに解像度を設定して重要な情報を含む領域の解像度を高く維持し、その他の領域の解像度を低くし、全体の画像データ量を低減し、かつ、画像としての特徴部分の劣化を抑制できる画像圧縮装置に関する。典型的には、インターネットの画像検索システムに用いられるブラウジング検索用索引画像を作成する画像圧縮装置に関する。
【０００２】
【従来の技術】
近年のインターネットの普及に伴ってネットワークを介した情報検索システムの開発が進んでいる。検索対象となるデータもテキストのみならず、音声、画像など多様なメディアに広がりつつある。ネットワーク上で多数の画像から所望の画像を検索する手法の1つとして、画像のブラウジングを用いた検索手法がある。これは、原画像を縮小解像度変換し、解像度が粗くデータ量の小さな多数の索引画像を用意し、利用者は画像本体のデータに代えてこの索引画像をダウンロードし、その一覧表示から所望の画像を選択する手法である。
【０００３】
しかし、複雑な内容をもつ画像や画像中のある特定の領域に重要な情報のある画像を検索する場合には、この従来のブラウジング手法では細かな点の画像確認、重要な点の画像確認が困難となる。索引画像を大きくしたり、解像度を上げたりした場合には、画像データ量が膨大となり転送時間が長くなってしまう。また、標準的な画像圧縮手段で圧縮率を高くし、大きな索引画像、または、解像度を上げた索引画像を圧縮した画像を用いる手法でも、高周波成分の欠けた索引画像となり検索に適切な索引画像とはならない。
【０００４】
そこで、従来技術では、画像のブラウジング検索技術の改良が試みられている。
【０００５】
第１の改良技術は、原画像内の特徴的な部分を注目領域として指定し、原画像からその領域のみを取り出し、部分画像をもって索引画像として表示する手法が考案された。この第１の改良技術によれば、原画像内の特徴的な部分のみを抽出した部分画像を用いるので、生成される索引画像のデータ量は小さく、また、特徴的な部分が含まれているので重要な情報を手掛かりとした検索が実行できることとなる。
【０００６】
第２の改良技術は、画像を領域分割し、分割した領域毎に圧縮率を変更することのできる画像圧縮手法も考案された。この第２の改良技術によれば、重要と思われる部分の画像領域に対しては圧縮率を下げてデータを多く割り当て、重要でないと思われる画像領域に対しては圧縮率を上げてデータ量の間引きを多くすることができる。この処理により生成される索引画像のデータ量は小さく、また、特徴的な部分が含まれているので重要な情報を手掛かりとした検索が実行できることとなる。
【０００７】
第３の改良技術は、芸術的な画像処理手法を応用して「ぼかしフィルタ」を用いて注目領域を強調する手法がある。具体的には、「ぼかしフィルタ」を原画像に対して部分的に適用することにより、注目領域にはぼかし処理を行わず、他の画像領域にはぼかし処理を施すことによって注目領域のみを目立たせる手法である。この第３の技術によれば、重要な画像部分の視認性が高くなり、検索の手掛かりとするには利便性が高いと言える。
【０００８】
【発明が解決しようとする課題】
しかし、上記従来の改良技術には以下の問題点があった。
【０００９】
上記第１の改良技術によれば、注目領域だけを取り出した索引画像であるため、原画像の全体構成が見えないという問題がある。全体構成が見えないとかえって画像の確認が難しい場合があり、さらに、原画像中に重要な部分が複数ある場合には検索画像が個別の部分画像に細切れとなり、部分画像同士の関係が分からなくなってしまう。特に、複数の重要部分の関係自体が検索のポイントとなる場合には使うことができない。全体の縮小画像を合わせて転送しても、部分画像と全体画像の対応づけが取りにくいためブラウジング用途の画像検索技術としては不適当である。
【００１０】
次に、第２の改良技術によれば、画像を領域分割して、領域毎に圧縮率を変更するため、適切な領域分割が必要となる。つまり、原画像中の物体などのエッジをもって綺麗に領域分割できれば解像度が境界で変化しても目立ちにくいと言えるが、原画像中の物体のエッジなどではなく、単に画面を複数の領域に分割した場合には、解像度分布の不連続性に起因して、領域間の境界において不自然な線が生じてしまう。この不自然な線が検索者にとって目立つものとなれば、かえって検索性能を下げてしまうこととなる。原画像中の物体のエッジなど画像を認識して分割するためには、高度な自動領域分割アルゴリズムが必要となってしまい、処理工数増大、機器コストの上昇を招いてしまう。
【００１１】
次に、第３の改良技術によれば、「ぼかしフィルタ」を用いるため、ぼかす部分の高周波成分が失われるので、生成された画像に対してDCTなどの周波数分布を考慮した画像圧縮手法を施せば、原画像を直接圧縮した圧縮画像よりデータ量の少ない圧縮画像を結果的に得ることができるが、ぼかし方と画像圧縮手段が直結していないため、効果的な圧縮は期待できない。また、ぼかし方は画像提供者の感性に依存せざるを得ない。
【００１２】
本発明は、上記問題点に鑑みてなされたものであり、画像を特徴づける領域の解像度を高く保ち、かつ、画像に対する全体的な印象を維持できるように解像度を変換し、画像全体のデータ量を縮小することにより、ブラウジングによる画像検索が効率的に行なうことのできる索引画像を生成できる解像度変換画像圧縮装置を提供することを目的とする。
【００１３】
また、本発明の解像度変換画像圧縮装置により生成した索引画像をネットワークを介した検索に適用するため、これら索引画像を配信できるネットワーク上のサーバコンピュータ、これら索引画像を受信して表示できるクライアントコンピュータを提供することを目的とする。
【００１４】
また、本発明は、本発明の解像度変換画像圧縮装置をコンピュータを用いて構成するための処理ステップをコンピュータ読み取り可能な記録媒体により提供することを目的とする。
【００１５】
【課題を解決するための手段】
この目的を達成するために本発明の解像度変換画像圧縮装置は、入力された画像に解像度を変換する圧縮処理を施して出力画像を生成する解像度変換画像圧縮装置であって、圧縮する画像を入力する画像入力手段と、前記入力された画像から領域を指定する領域指定手段と、前記指定された各領域にそれぞれ割り当てる解像度を決定する解像度決定手段と、解像度分布が画像全体にわたって滑らかに変化するように調整する解像度分布調整手段と、前記調整された解像度分布に応じて前記入力画像の解像度を変換する画像解像度変換手段を備え、入力画像を画像全体にわたり滑らかに変化する不均一連続解像度画像データに変換することを特徴とする。
【００１６】
上記構成により、本発明の解像度変換画像圧縮装置は、領域ごとに解像度を設定でき、画像を特徴づける領域の解像度を高く設定でき、かつ画像全体を含んだ形で全体的な印象を維持した圧縮画像を作成できる。また、解像度分布を滑らかに分布したものとすることができ、領域境界部分での違和感のない圧縮画像を作成できる。画像検索の索引画像に適用すれば効率的なブラウジング検索が実行できる索引画像を得ることができる。
【００１７】
次に、前記解像度変換画像圧縮装置において、前記領域指定手段が、外部入力手段を備え、利用者により前記領域の指定が可能であることが好ましい。
【００１８】
上記構成により、利用者が特定の情報を把握できる一まとまりの領域を指定することができる。例えば、利用者が主観的に重要であると判断したオブジェクトを一の領域として指定することができる。
【００１９】
次に、前記解像度変換画像圧縮装置において、前記解像度決定手段が、外部入力手段を備え、利用者により前記領域に割り当てる解像度の指定が可能であることが好ましい。
【００２０】
上記構成により、利用者が領域に割り当てる解像度を指定することができる。例えば、利用者が主観的に重要であると判断した領域に対してその重要度に応じた高さの解像度を割り付けることができる。
【００２１】
次に、前記解像度変換画像圧縮装置において、前記解像度決定手段が、前記領域の特徴量に応じて解像度を決定することが好ましい。
【００２２】
上記構成により、領域の特徴量をもって割り付ける解像度を決定することができる。ここで、領域の特徴量としては、例えば、領域内に写っている人物、建物などのオブジェクトの属性情報、領域の画像全体における位置などである。
【００２３】
次に、前記解像度変換画像圧縮装置は、生成した解像度変換圧縮画像を復号化する画像復号処理部を備えることが好ましい。
【００２４】
上記構成により、解像度変換画像圧縮装置により作成した索引画像において、注目領域の設定、注目領域の解像度の設定が検索に妥当なものであるか否かを実際に復号化して目視することができ、被験者を使ったチューニングなどが可能となる。
【００２５】
次に、前記領域指定手段が設定した領域が円形領域であり、前記円形領域に対して２次元正規分布を算出する２次元正規分布決定部を備え、前記解像度分布調整手段が、前記２次元正規分布決定部が各領域ごとに生成した２次元正規分布を重ね合わせて画像全体の解像度分布を調整することが好ましい。
【００２６】
上記構成により、２次元正規分布を用いた不均一連続解像度分布を利用することができる。
【００２７】
次に、前記解像度変換画像圧縮装置において、前記入力画像をポリゴンに分割するポリゴン分割手段と、前記各ポリゴンの各頂点に対応づけられる頂点解像度を決定する頂点解像度決定手段と、前記各ポリゴン内の画素値を配列として記憶する画素値配列記憶手段と、前記画素値配列の各画素の位置と解像度を前記ポリゴン面と前記頂点解像度と前記画素値配列内の順番とによって算出する画素位置・解像度算出手段を備えることが好ましい。
【００２８】
上記構成により、不均一連続解像度分布をポリゴン面による多面体により近似することができ、データ量を削減することができる。この手法により、あたかも不均一な解像度で標本化したように不均一解像度画像データを表現することができる。
【００２９】
次に、上記目的を達成するため、本発明の解像度変換画像復号装置は、不均一連続解像度画像データを入力する入力部と、前記入力された不均一連続解像度画像データを復号して復号画像を得る復号処理部と、前記復号画像を表示する表示部を備えたことを特徴とする。
【００３０】
上記構成により、本発明の解像度変換画像圧縮装置により圧縮・作成した不均一連続解像度画像データを解像度変換画像復号装置を用いて復号し、当該復号画像を表示して利用することができる。
【００３１】
次に、本発明の記録媒体は、入力された画像に解像度変換による圧縮処理を施して出力画像を生成する解像度変換画像圧縮装置を実現する処理プログラムを記録したコンピュータ読み取り可能な記録媒体であって、圧縮する画像を入力する画像入力処理ステップと、前記入力画像において検索者が特定の情報を認識しうる領域を決定する領域決定処理ステップと、前記決定された各領域に割り当てる解像度を決定する解像度決定処理ステップと、解像度分布が画像全体にわたって滑らかに変化するように調整する解像度分布調整処理ステップと、前記調整された解像度分布に応じて前記入力画像の解像度を変換する画像解像度変換処理ステップを備えた処理プログラムを記録したことを特徴とする。
【００３２】
上記処理プログラムをコンピュータ装置に読み取らせることにより、パーソナルコンピュータなどを用いて本発明の解像度変換画像圧縮装置を実現することができる。
【００３３】
次に、本発明の記録媒体は、入力された不均一連続解像度画像データを復号して復号画像を表示する解像度変換画像復号装置を実現する処理プログラムを記録したコンピュータ読み取り可能な記録媒体であって、不均一連続解像度画像データを入力する入力処理ステップと、前記入力された不均一連続解像度画像データを復号して復号画像を得る復号処理ステップと、前記得られた復号画像を表示する表示処理ステップとを備えた処理プログラムを記録したことを特徴とする。
【００３４】
上記処理プログラムをコンピュータ装置に読み取らせることにより、パーソナルコンピュータなどを用いて本発明の解像度変換画像復号装置を実現することができる。
【００３５】
【発明の実施の形態】
以下、本発明の解像度変換画像圧縮装置の実施形態について、図面を参照しつつ説明する。まず、本発明の基本原理を説明し、次に装置構成例を示す。
【００３６】
まず、本発明の基本原理を説明する。
【００３７】
本発明の第１の基本原理は、画像全体の解像度を不均一化し、画像の重要度に応じてデータ割り付け量を調整することである。原画像を領域分割し、高周波成分を除去しない領域と除去しても良い領域に区別し、後者のみ高周波成分をカットするものである。
【００３８】
ブラウジング検索システムに用いる索引画像の作成において、原画像全体に対して圧縮率を一律に上げた画像圧縮処理を施して索引画像を作成した場合は、原画像全体から一律に高周波成分を除去することとなるため、重要な画像部分についても一律に画質が劣化してしまう。そこで、原画像を領域分割し、高周波成分を除去しない領域と除去しても良い領域に区別し、後者のみ高周波成分をカットすれば、重要領域の画像の特徴を失わず、全体としてはデータ量が削減できることとなる。たとえば、有名な建物が撮影された風景写真においては、建物の細部は重要な情報であるが、背景の木々の葉の細部はぼやけて見えなくなっても問題にはならない。
【００３９】
以下に、原画像を領域に分割し、それぞれの領域に解像度を割り付ける例を示す。領域の分割、高周波成分を削減しない領域、削除する領域の区別、割り付ける解像度は、索引画像作成者が自由裁量により決定することができるが、ここでは作成する索引画像に、検索用途として一定の品質を確保させるために、一定の作成基準が導入できるかという点も併せて検討してみる。
【００４０】
心理学において「人がシーンを知覚するときには、眼球運動や視空間的注意の移動を行ないながら、能動的に視覚情報を獲得する」という知見がある。この法則に沿って原画像を領域分割し、重要部分か否か区別する一定の基準とすることが可能である。この「能動的情報獲得過程」は画像観察の目的によって異なるはずである。例えば、鑑賞のための画像観察ならば微妙な要素にも注意が払われるが、検索のための画像観察ならばその絵を特徴づける情報のみに注意が払われると思われる。また、一般に画像を観察する際には、見始めの数秒間は、観察者に依存せず特定の領域を見る傾向があるといわれる。画像検索において索引画像の一覧表示から目的の絵を捜すときには、短時間で多くの絵を見比べているはずなので、画像固有の注目パターンを仮定することができるものと思われる。そのパターンに対応して、空間的に不均一かつ連続的に高周波成分をカットすれば画像の特徴的な情報を失わず、かつ、違和感のない索引画像を生成することが可能となる。
【００４１】
例えば、入力画像の例を示した図１において、図１（ａ）の絵を特徴づけているのは、山、家、三日月である。この絵を見る人は、まず絵全体を眺め(領域Ａ０)、それから、山(領域Ａ１)、家(領域Ａ２)、三日月(領域Ａ３)へと注意を移していくと想定できる。したがって、領域Ａ１、領域Ａ２、領域Ａ３の３つの領域を、画像の特徴をよく表現していると思われる領域、すなわち、「注目領域」に決定する。また、画像全体Ａ０も注目領域の1つとして取り扱う。この例のように、複数の注目領域を互いに重なり合わせて用いることも可能である。
【００４２】
つぎに、それぞれの注目領域に対して、その領域を認知するのに適当な注目領域解像度を決定する。認知心理学の知見として、広い範囲に注意を広げるときは低解像度で、狭い範囲に注意を絞るときは高解像度で、視覚情報が取り込まれることが知られている。したがって各注目領域の大きさを表現する特徴量に応じて注目領域解像度を設定することが有効である。
【００４３】
なお、特徴量としては各注目領域の面積、横幅、高さなどが考えられる。図１の例では、Ａ０＞Ａ１＞Ａ２＞Ａ３の順に注意領域の広がりが小さくなっているので、各領域において必要な解像度はこの順に大きくなると思われる。
【００４４】
また、画像内の注目領域を見回すことは、心理学的には視空間的注意を移動させることに対応する。したがって、視空間的注意の領域の形を円や長方形などの単純な図形とみなし、それを拡大/縮小して設定された注目領域に外接させ、その外接図形の相似比を注目領域の大きさを表現する特徴量とすることが妥当性をもつ。
【００４５】
さらに、垂直方向と水平方向とでは視覚情報を取り込む解像度が異なっていることが視覚心理学的に知られている。例えば、視野の中心から離れるにつれて視力、すなわち、空間解像度が減少していくが、水平方向よりも垂直方向の方がより速く減少する。従って、水平方向に広がらている領域の方が垂直に広がっている領域より、高解像度に視覚情報を取り入れやすいと思われる。よって、注目領域に外接させる図形は横長の楕円が好ましいと思われる。
【００４６】
上記のように、原画像を領域分割し、領域ごとに解像度を設定する。全体画像の中のどの部分も各注目領域に対応する注目領域解像度に不足しないように画像全体の解像度分布を決め、解像度に応じて高周波成分をカットすれば良い。
【００４７】
次に、本発明の第２の基本原理は、画像全体の解像度を連続的に滑らかに変化させ、画像全体の解像度分布を決定することである。解像度の違いによる画像変化の境界が視認できない程度の自然さを保持させるものである。
【００４８】
本発明の第１の基本原理から導かれた、解像度が不均一な画像全体において解像度が連続的に滑らかに変化するように解像度分布を決定する（図２）。ここで、連続という表現を用いたが、画像全体にわたり解像度の違いによる画像変化の境界が視認できない程度の自然さを保てれば十分なので、解像度の変化は一定範囲のきざみなら許される。このきざみをチューニングすることにより、どの程度の解像度変化を許すか調整することができる。
【００４９】
上記第１の基本原理および第２の基本原理を適用することにより、本発明の解像度変換画像圧縮装置は、原画像を不均一連続解像度分布をもつ画像に解像度圧縮変換でき、データ量が少なく、検索性能を決める画像の特徴を十分に維持し、画像全体が把握でき、かつ、見た目の違和感のない自然な索引画像を作成することができる。
【００５０】
以下、上記本発明の基本原理を適用した本発明の解像度変換画像圧縮装置の装置構成例を示す。
【００５１】
（実施形態１）
図３は、本発明の実施形態１の解像度変換画像圧縮装置の装置構成概略を示すブロック図である。
【００５２】
図３において、１０は画像入力部、２０は領域指定部、３０は解像度決定部、４０は解像度分布調整部、５０は画像解像度変換部、６０は索引画像出力部、７０は装置利用者とのインタフェースである。
【００５３】
画像入力部１０は、圧縮する原画像を外部から入力する画像入力手段である。画像ファイルからの読み込み、付属カメラにより撮影した画像データの取り込みなど画像データが入力できる手段であれば良い。
【００５４】
領域指定部２０は、入力画像から領域を指定する領域指定手段である。領域指定外部入力手段２１を備えている。領域指定部２０は、本発明の基本原理１で述べた方法を用いて領域を指定・分割することができる。索引画像作成者が領域指定外部入力手段２１を介して自由裁量により領域を指定・分割しても良いことは言うまでもない。
【００５５】
解像度決定部３０は、領域指定部２０が指定した各領域にそれぞれ割り当てる解像度を決定する解像度決定手段である。解像度外部入力手段３１、特徴量抽出部３２を備えている。この特徴量抽出部３２により各領域の特徴量を抽出し、本発明の基本原理１で述べた方法を用いて特徴量に応じて解像度を決定することができる。もちろん索引画像作成者が解像度外部入力手段３１を介して自由裁量により解像度を決定しても良いことは言うまでもない。
【００５６】
解像度分布調整部４０は、解像度決定部３０が領域ごとに決定した解像度を領域周縁部において調整する手段であって、領域の境界をまたいだ領域周縁部とそれに接する隣接領域の領域周縁部の解像度分布において解像度の変化のきざみが所定範囲以下となるように、領域内と境界と隣接する領域内の解像度の変化のきざみを調整する解像度分布調整手段である。この解像度分布調整部４０により不均一連続解像度分布を作成することができる。４１は解像度きざみ調整部を備えており、解像度の変化のきざみを調整できる。この解像度きざみを細かく設定すればより滑らかな連続解像度分布とすることができる。
【００５７】
画像解像度変換部５０は、解像度分布調整部４０により調整された不均一連続解像度分布に応じて入力画像の解像度を変換する画像解像度変換手段である。この解像度変換により、データ量を画像全体として低減・圧縮し、かつ、注目領域の画質は高く維持した画像圧縮が実現できる。
【００５８】
索引画像出力部６０は、画像解像度変換部５０が解像度変換による画像圧縮を施して作成した索引画像を受け取り、出力する。なお、作成した索引画像を格納するための索引画像格納部６１を備えている。
【００５９】
利用者インタフェース７０は、ディスプレイなどの表示装置７１、キーボードマウスなどの入力装置７２を備えている。索引画像作成者に対して対話的な処理インタフェースを提供し、表示装置７１には例えば入力画像、作成した索引画像が表示でき、入力装置７２は数値、各種命令などを入力でき、利用者は領域指定外部入力手段２１、解像度外部入力手段３１などに対してデータが入力できる。
【００６０】
なお、装置全体の制御に必要な、コントローラ、メモリ、デバイス装置は説明の便宜上、図示を省略している。
【００６１】
以上が、本実施形態１の解像度変換画像圧縮装置の基本装置構成例である。
【００６２】
図４は処理フローの概略を表わした流れ図である。
【００６３】
まずは画像入力部１０からブラウジング検索に供される原画像を入力する。この原画像から索引画像を作成する（ステップＳ４０１）。
【００６４】
次に、領域指定部２０より、入力画像中から写っている物体ごとの領域を指定する（ステップＳ４０２）。検索利用者にとってひとかたまりと認識可能な領域を指定することが好ましい。ここで、画面全体も一つの領域と捉えて指定しておくことが好ましい。領域指定は、利用者インタフェース７０、領域指定外部入力手段２１を介して検索画像作成者が指定することができる。
【００６５】
次に、解像度決定部３０によりステップＳ４０２で指定した各領域にそれぞれ割り当てる解像度を決定する（ステップＳ４０３）。ここで利用者インタフェース７０、解像度外部入力手段３１を介して、検索画像作成者が解像度を指定することができる。また、特徴量抽出部３２により抽出した特徴量に応じて解像度を決定する。
【００６６】
次に、解像度分布調整部４０により不均一連続解像度分布を作成する（ステップＳ４０４）。必要に応じて解像度きざみ調整部４１により解像度変化のきざみを調整して所定の範囲で滑らかな連続解像度分布とする。
【００６７】
次に、画像解像度変換部５０よりステップＳ４０４において調整された不均一連続解像度分布に応じて入力画像の解像度を変換する（ステップＳ４０５）。
【００６８】
最後に、ステップＳ４０５において、画像解像度変換による画像圧縮により作成された索引画像を出力し、索引画像格納部６１に蓄積する（ステップＳ４０６）。
【００６９】
上記装置の構成部分のうち、処理が自動化できる部分については当該部分について自動処理アルゴリズムを作り、処理プログラムを記述することは可能であることは言うまでもない。
【００７０】
本実施形態１の解像度変換画像圧縮装置によれば、原画像を不均一連続解像度分布をもつ画像に解像度圧縮変換でき、データ量が少なく、検索性能を決める画像の特徴を十分に維持し、画像全体が把握でき、かつ、見た目の違和感のない自然な索引画像を作成することができる。
【００７１】
（実施形態２）
本実施形態２では、利用者インタフェースを用いて索引画像作成者に対して対話的なインタフェースを提供し、被験者による試行実験を通じて注目領域と注目領域解像度をチューニングする方式の例を示す。
【００７２】
図５が本実施形態２の解像度変換画像圧縮装置の構成例である。図３と同じ要素には同じ番号を付している。
【００７３】
図５において、１０は画像入力部、２０は領域指定部、３０は解像度決定部、４０は解像度分布調整部、５０は画像解像度変換部、６０は索引画像出力部、７０は装置利用者とのインタフェース、８０は画像復号処理部である。
【００７４】
画像復号処理部８０は、作成された解像度変換圧縮画像を一度再生するために復号する部分である。
【００７５】
試行実験による注目領域と注目領域解像度の設定手順を示す。まず、画像入力部１０により高解像度の画像データを表示装置７１上に表示する。索引画像作成者は、マウスなどの入力装置７２によって、検索者が注意を向ける単位となりそうな領域を注目領域として設定する。図１の例では、山、家、三日月などである。次に、指定した各注目領域に設定する解像度を対話的に設定する。設定の具合を索引画像作成者に確認させるため、表示装置７１の画面上に作成した索引画像を表示する。つまり、設定解像度に従って解像度変換圧縮符合化された不均一連続の解像度画像を一度復号化した再生画像を表示する。索引画像作成者は、入力画像と索引画像（再生画像）を見比べながら、試行錯誤によって注目領域や注目領域解像度を対話的にチューニングして決定する。決定の判断基準としては、オペレータの美的感覚の他に、「この絵は、この建物が描かれていることで有名である」といった画像に関する知識も利用することができる。
【００７６】
次に、他の試行実験による注目領域と注目領域解像度の設定手順を示す。
【００７７】
まず、被験者を使った実験により注目領域を決定するための方法を示す。
【００７８】
最初に、原画像全体を一律に高圧縮率で圧縮した劣化画像を生成して用意する。表示装置７１に画像全体がほんやりした当該劣化画像を表示する。検索被験者に「この辺はより詳しく見てみたい」と思う領域を、マウスなどの入力装置７２で対話的に指定させる。この指定された領域を領域指定部２０が検知し、解像度決定部３０は当該領域の解像度のみを少しずつ向上させ、画像復号部８０は更新された解像度分布を持つ画像の復号画像を作成し、表示装置７１に表示する。この操作を何度か繰り返し、被験者が当該画像がどういう画像であるかが認識できればその旨を答えさせる。この実験により、検索者が画像を認識しうる限度近くまで効率的に画像圧縮できる不均一解像度分布を確かめることができる。
【００７９】
この手順を同一被験者で何度も繰り返したり、複数の被験者で行なうことにより、その画像固有の注目領域を決定することができる。
【００８０】
次に、被験者を使った実験により注目領域の解像度を決定するための他の方法を示す。
【００８１】
まず、原画像を表示装置７１に表示し、索引画像作成者が、入力装置７２より領域指定外部入力部２１を介して注目領域となりそうな領域を対話的に設定し、それらを候補領域とする。次に、入力装置７２より解像度外部入力部３１を介してそれぞれの候補領域がさまざまな解像度を持つよう、いろいろ組み合わせて、画像全体を不均一連続解像度画像に符合化したものを複数パターン用意する。次に、各画像を画像復号化部８０により一度復号化して表示装置７１に表示し、被験者となる者（複数人用意することが好ましい）に検索行為を行なわせ、検索行為をモニターする。得られた結果をもとに、各領域の解像度と被験者の反応のスピードや正確さとの相関を調べ、許容されるデータ量、許容される検索性能から、解像度の設定を決定する。決定された解像度に基づいて解像度分布を不均一連続とした解像度変換を実行する。
【００８２】
上記に示したように、対話的に設定された注目領域、設定した注目領域の解像度が妥当なものか否かを被験者を使った実験により評価することが可能となる。これによって、実際の検索性能評価を織り込んだ注目領域、解像度の決定ができる。
【００８３】
（実施形態３）
実施形態３として、原画像の領域の指定・分割において、外接円による領域分割を実行し、解像度分布の構成として、２次元正規分布の組み合わせによる解像度分布の決定方法を用いたものを示す。
【００８４】
図６は、本実施形態３の解像度変換画像圧縮装置の装置構成概略を示すブロック図である。図３と同じ要素には同じ番号を付してあり、ここでの説明は省略する。
【００８５】
図６において、１０は画像入力部、２０ａは領域指定部、９０は２次元正規分布決定部、４０ａは解像度分布調整部、５０は画像解像度変換部、６０は索引画像出力部、７０は装置利用者とのインタフェースである。
【００８６】
領域指定部２０ａは、実施形態１に示した領域指定部２０と同様の機能を有するが、ここでは、指定された領域を円形の領域とする。
【００８７】
２次元正規分布決定部９０は、領域指定部２０ａが設定した外接円の各注目領域に対して２次元正規分布を算出する部分である。
【００８８】
解像度分布調整部４０ａは、実施形態１に示した解像度分布調整部４０と同様の機能を有するが、ここでは、２次元正規分布決定部９０が各領域ごとに生成した２次元正規分布を重ね合わせ、画像全体の不均一連続解像度分布を得る。
【００８９】
本実施形態３の処理の概略は以下のとおりである。まず、画像入力部１０から入力された図７（ａ）の原画像において、索引画像作成者の指定に従って領域指定部２０ａは円形の領域を設定する。図７（ａ）の例では画像全体、家、星のそれぞれに、外接円の注目領域Ａ１０,Ａ１１,Ａ１２が設定される（図７（ｂ））。
【００９０】
２次元正規分布決定部９０は、設定された外接円の各注目領域に対して２次元正規分布を算出する。このとき円の半径が正規分布の標準偏差となるようにし、さらに、正規分布で囲まれる体積が一定値となるように正規化する。そうすることにより、円が狭いときには一箇所に集中し、円が広いときには全体的に分散した２次元正規分布が得られる。
【００９１】
解像度分布調整部４０ａは、各注目領域ごとに生成された正規分布を重ね合わせ、画像中の各点で各正規分布のうち、もっとも大きな値をつなげることにより、図７（ｃ）および図７（ｄ）のような不均一連続解像度分布を生成する。図７（ｃ）は不均一連続解像度分布を上から見た図であり、図７（ｄ）は図７（ｃ）に示した直線で切断した断面を横から見た図である。
【００９２】
この不均一連続解像度分布を基に画像解像度変換部５０により解像度変換圧縮処理を実行し、索引画像を生成する。
【００９３】
（実施形態４）
次に、実施形態４として、ＤＣＴ（離散コサイン変換）を用いた画像圧縮手法によって解像度変換を行う例を示す。
【００９４】
図８は、本実施形態４の解像度変換画像圧縮装置の装置構成概略を示すブロック図である。図３と同じ要素には同じ番号を付してあり、ここでの説明は省略する。図９は、本実施形態３の解像度変換画像圧縮装置のＤＣＴ変換処理部１００の処理動作概略を示したフローチャートである。
【００９５】
図８において、１０は画像入力部、２０は領域指定部、３０は解像度決定部、４０は解像度分布調整部、６０は索引画像出力部、７０は装置利用者とのインタフェース、１００はＤＣＴ・エントロピー符号化処理部である。
【００９６】
ＤＣＴ・エントロピー符号化処理部１００の処理動作は以下の通りである。
【００９７】
ＤＣＴ・エントロピー符号化処理部１００は、まず、入力画像を８×８のブロックに分割し、各ブロックに一対一に対応する値を格納できるように構成された配列を用意する（ステップＳ９０１）。以下では、この配列を解像度分布配列と呼ぶ。そして、実施形態１で示した方法により作成された不均一連続解像度分布から、画像の各ブロックに相当する解像度を決定し、解像度分布配列に格納する（ステップＳ９０２）。
【００９８】
次に、画像の各ブロックに対してＤＣＴ演算を行ない（ステップＳ９０３）、得られたＤＣＴ係数を量子化テーブルに基づいて量子化する（ステップＳ９０４）。量子化された係数のうちＡＣ成分を、低周波成分から高周波成分の順に、すなわち、いわゆる「ジグザグスキャン順」に並べ替え、高周波成分側から順に零値を代入していく（ステップＳ９０６）。ただし、このとき、そのブロックに対応する解像度を解像度分布配列から呼びだし、その値に応じて、解像度が低いほどより多くの係数に零値が代入されるようにする（ステップＳ９０５）。そして、得られた係数に対してエントロピー符合化を行なう（ステップＳ９０７）。
【００９９】
以上の方式は、ＪＰＥＧの基本方式による圧縮方式に、各ブロック毎に閾値の違うローパスフィルタ機能を追加したものといえる。また、ＤＣＴ係数中の零ラン長（零値の続く長さ）が長くなることにより、エントロピー符合化を行なうときのデータ量削減効果が期待できる。
【０１００】
（実施形態５）
次に、実施形態５として、あたかも不均一な解像度で標本化されたように表現することによって解像度変換を行う例を示す。
【０１０１】
図１０は、本実施形態５の解像度変換画像圧縮装置の装置構成概略を示すブロック図である。図３と同じ要素には同じ番号を付してあり、ここでの説明は省略する。図１１は、本実施形態５の解像度変換画像圧縮装置の標本化処理部１１０の処理動作概略を示したフローチャートである。
【０１０２】
図１０において、１０は画像入力部、２０は領域指定部、３０は解像度決定部、４０は解像度分布調整部、６０は索引画像出力部、７０は装置利用者とのインタフェース、１１０は標本化処理部である。標本化処理部１１０は、入力画像をポリゴンに分割するポリゴン分割部１１１、ポリゴンの各頂点に対応づけられる頂点解像度を決定する頂点解像度決定部１１２、各ポリゴン内の画素値を配列として記憶する画素値配列記憶部１１３、画素値配列の各画素の位置と解像度を前記ポリゴン面と前記頂点解像度と前記画素値配列内の順番とによって算出する画素位置・解像度算出部１１４を備えている。
【０１０３】
標本化処理部１１０の処理動作は以下の通りである。
【０１０４】
まず、標本化処理部１１０は、解像度分布を表現するため「実効標本化間隔関数」P(x,y)を設定する（ステップＳ１１０１）。実効標本化間隔関数ｐ(x,y)とは、シーン中の各点(x,y)においてその近傍においてどのぐらいの標本化間隔で標本化するべきかを示す正の実数値をとる２次元関数である。標本化間隔は解像度の逆数なので、P(x,y)が大きいときは低い解像度を、p(x,y)が小さいときは高い解像度を表現することになる。図１２（ａ）は、中央部のみ高解像度となる実効標本化間隔関数を三次元空間にプロットした例を示す図である。
【０１０５】
次に、ポリゴン分割部１１１を用いて、図１２（ａ）に示した関数で表される面を近似するようにポリゴンで覆う（ステップＳ１１０２）。以下、このポリゴンを関数ポリゴンと呼ぶ。図１２（ｂ）に示すように、図１２（ａ）の関数から作成した関数ポリゴンが三次元空間(x,y,ｐ)上に生成される。また、図１２（ｂ）に示すように生成された関数ポリゴンに対応してｘｙ平面上に投影されるシーン(x,y)もポリゴン分割されたものが得られる。以下、これをシーンポリゴンと呼ぶ。頂点解像度決定部１１２は、関数ポリゴンの各頂点のＰ値を、対応するシーンポリゴンの各頂点の解像度として設定する。
【０１０６】
画素値配列記憶部１１３に記憶されるべき各画素の画素値は、画素位置・解像度算出部１１４を用いて以下のように算出される各画素の位置と解像度に従って、原画像から各画素を再標本化することによって得られる。まず、すべてのシーンポリゴンの1つ1つにおいて、もっとも小さい標本化間隔が設定されている頂点から順に、関数ポリゴンの等高線として仮想的走査線を引いていく（ステップＳ１１０３）。ただし、すべての頂点に設定されている標本化間隔が等しければ、その面は均一解像度なので、通常の均一解像度画像の標本化手法に従う。図１３に一つのポリゴンだけ抜き出して例示する。この場合、手前の頂点に最も小さい標本化関数が設定されているので、ここを基準として、関数ポリゴンの斜面を上がる方向に、順に仮想的走査線を引いていく。次に、図１４に示されるように、該当仮想的走査線上に、もしその等高線で示される標本化間隔の均一解像度画像の走査線が存在するとすれば各画素にどういう値が格納されるかを求め、その値を各標本点の画素値とする（ステップＳ１１０４）。また、仮想的走査線の間隔もこの考え方に基づいて決められるものとする。たとえば、実効標本化間隔がｄ_nとｄ_n+1の仮想的走査線の間隔は、(ｄ_n+ｄ_n+1)／２となる。
【０１０７】
具体的に仮想的走査線がどの位置に走るかをグラフで示す(図１５)。横軸（Ｚ軸）は、各走査線に垂直な向き(図１４のＺと同じ向き)で、縦軸（P軸）は実効標本化間隔である。グラフは、関数ポリゴンの断面であり、Ｐ＝０となるところをＺ＝０となるように原点を選び、Ｚ＞０でグラフが正となるようにする（すなわち、Ｐ＝ａＺにおいてａ＞０となる）。
【０１０８】
ここで、
【０１０９】
【数１】

【０１１０】
となるので、
【０１１１】
【数２】

【０１１２】
が成り立ち、ａが定数なのでＺを順に決定していくことができる。なお、この式はａ＜２でなけれは、Ｚがつねに正とはならないので、ａ＜２となるように関数ポリゴンを作るときに予め制約を設けておく。
【０１１３】
以上の手続きにより、通常用いられるポリゴン(シーンポリゴン)情報に加えてポリゴンの各頂点の解像度が分かれば、そのポリゴン内に何本の仮想的走査線がどのように走っていて、その上に何個の仮想的標本点があるかを一意に決定することができるので、不均一解像度画像データは、「ポリゴン情報＋ポリゴンの各頂点の解像度＋画素値の配列」として表現することが出来る（ステップＳ１１０５）。
【０１１４】
ある程度ポリゴン数を少なく抑えれば、ポリゴン情報やポリゴンの各頂点の解像度に要するデータ量は少なくなり、したがって不均一解像度画像のデータ量も少なく抑えることができる。また、仮想的走査線を８本ずつまとめて、ポリゴンの画素値の配列を８×８のブロックの集まりとして扱うことにより、ＤＣＴを併用することも可能である。
【０１１５】
（実施形態６）
次に、実施形態６として、本発明の解像度変換画像圧縮装置を用いて作成した不均一連続解像度分布を持つ索引画像を用いた画像検索システムをネットワーク上においてクライアントサーバシステムとして構築する例を示す。
【０１１６】
図１６は、システムの全体概略構成を示している。
【０１１７】
図１６に示すように、ネットワーク２２０上には、画像検索サーバ２００、画像検索クライアント２１０が配置されている。画像検索サーバ２００には、検索対象となる画像を格納した画像データベース（以下、画像ＤＢと略記する）２０２に加え、本発明の解像度変換画像圧縮装置を用いて作成した不均一連続解像度分布を持つ索引画像が格納された索引画像データベース（以下、索引画像ＤＢと略記する）２０１を備えている。また、図示していないが、画像検索サーバ２００、画像検索クライアント２１０ともに、ネットワーク接続のための通信インタフェースを備えている。ネットワーク２２０は、データを通信できるものであれば良く、ローカルエリアネットワーク、インターネットなどのネットワーク網であり、専用線、公衆回線、有線、無線を問わない。
【０１１８】
画像検索サーバ２００は、画像検索クライアント２１０の要求により索引画像ＤＢ２０１から本発明にかかる索引画像を提供する。画像検索システムクライアント２１０には、図示していないが、構成に応じて、表示部、入力部を備えた利用者インタフェースが提供されており、索引画像を表示することによりブラウジング検索を実行する。利用者が見たい画像の索引画像を指定することにより画像ＤＢ２０２から画像本体をダウンロードする。
【０１１９】
以上のように構成することにより、本発明の解像度変換画像圧縮装置を用いて作成した不均一連続解像度分布を持つ索引画像を用いた画像検索システムをネットワーク上においてクライアントサーバシステムとして構築することができ、効率の良く、かつ、通信データ量の小さく高速検索が可能なブラウジング画像検索システムを提供することができる。
【０１２０】
（実施形態７）
本発明にかかる解像度変換画像圧縮装置は、上記に説明した構成を実現する処理を記述したプログラムをコンピュータ読み取り可能な記録媒体に記録して提供することにより、各種コンピュータを用いて構築することができる。本発明にかかる解像度変換画像圧縮装置を実現する処理ステップを備えたプログラムを記録した記録媒体は、図１７に図示した記録媒体の例に示すように、ＣＤ−ＲＯＭ３０２やフレキシブルディスク３０３等の可搬型記録媒体３０１だけでなく、ネットワーク上にある記録装置内の記録媒体３００や、コンピュータのハードディスクやＲＡＭ等の記録媒体３０５のいずれであっても良く、プログラム実行時には、プログラムはコンピュータ３０４上にローディングされ、主メモリ上で実行される。
【０１２１】
本実施形態７の処理ステップを記録した記録媒体を用いれば、コンピュータを用いて、本発明の解像度変換画像圧縮装置を構成することができ、原画像を不均一連続解像度分布をもつ画像に解像度圧縮変換でき、データ量が少なく、検索性能を決める画像の特徴を十分に維持し、画像全体が把握でき、かつ、見た目の違和感のない自然な索引画像を作成することができる。
【０１２２】
【発明の効果】
以上に説明したように、本発明の請求項１〜６に記載の解像度変換画像圧縮装置によれば、原画像を不均一連続解像度分布をもつ画像に解像度圧縮変換でき、データ量が少なく、検索性能を決める画像の特徴を十分に維持し、画像全体が把握でき、かつ、見た目の違和感のない自然な索引画像を作成することができる。
【０１２３】
本発明の請求項５に記載の解像度画像圧縮装置によれば、作成した索引画像を復号化して被験者を使って検索性能を確認し、解像度のチューニングなどが可能となる。
【０１２４】
本発明の請求項７に記載の解像度画像圧縮装置によれば、不均一連続解像度画像分布をポリゴン面による多面体により近似することができ、データ量を削減することができる。
【０１２５】
本発明の解像度画像圧縮装置を用いたネットワーク画像検索システムによれば、インターネットなどのブラウジング画像検索システムにおいて、本発明の解像度画像圧縮装置により作成した索引画像を用いて、特徴を良く捉え、かつ、通信データ量を低減した検索処理が可能となる。
【０１２６】
本発明の請求項９〜１０に記載の記録媒体によれば、処理プログラムをコンピュータ装置に読み取らせることにより、パーソナルコンピュータなどを用いて本発明の解像度変換画像圧縮装置、解像度変換画像復号装置を実現することができる。
【図面の簡単な説明】
【図１】本発明の基本原理を説明するための入力画像の例を示した図
【図２】本発明の基本原理を説明するための不均一連続解像度分布の例を示す図
【図３】本発明の実施形態１の解像度変換画像圧縮装置の装置構成概略を示すブロック図
【図４】本発明の実施形態１の解像度変換画像圧縮装置の処理動作の概略を示すフローチャート
【図５】本発明の実施形態２の解像度変換画像圧縮装置の装置構成概略を示すブロック図
【図６】本発明の実施形態３の解像度変換画像圧縮装置の装置構成概略を示すブロック図
【図７】本発明の実施形態３の解像度変換画像圧縮装置に用いられる入力画像の例および作成された不均一連続解像度分布の例を示す図
【図８】本発明の実施形態４の解像度変換画像圧縮装置の装置構成概略を示すブロック図
【図９】本実施形態４の解像度変換画像圧縮装置のＤＣＴ変換処理部１００の処理動作概略を示したフローチャート
【図１０】本発明の実施形態５の解像度変換画像圧縮装置の装置構成概略を示すブロック図
【図１１】本実施形態５の解像度変換画像圧縮装置の標本化処理部１１０の処理動作概略を示したフローチャート
【図１２】本発明の実施形態６で用いる不均一連続解像度分布の例と適用するポリゴンの例を示す図
【図１３】図１２に示したポリゴンから１つのポリゴンのみを抜き出した図
【図１４】図１３のポリゴン面上に仮想走査線を引いた図
【図１５】仮想的走査線が走る位置をグラフで示した図
【図１６】本発明の不均一連続画像分布を持つ索引画像を用いたネットワーク上に構築された画像検索クライアントサーバシステムの概略構成図
【図１７】本発明の実施形態７の記録媒体の例を示す図
【符号の説明】
１０画像入力部
２０，２０ａ領域指定部
２１領域指定外部入力手段
３０解像度決定部
３１解像度外部入力手段
３２特徴量抽出部
４０，４０ａ解像度分布調整部
４１解像度きざみ調整部
５０画像解像度変換部
６０索引画像出力部
６１索引画像格納部
７０装置利用者とのインタフェース
７１表示装置
７２入力装置
８０画像復号処理部
９０２次元正規分布決定部
１００ＤＣＴ・エントロピー符号化処理部
１１０標本化処理部
２００サーバコンピュータ
２０１索引画像ＤＢ
２０２画像ＤＢ
２１０クライアントコンピュータ
２２０ネットワーク
３００回線先のハードディスク等の記録媒体
３０１ＣＤ−ＲＯＭやフレキシブルディスク等の可搬型記録媒体
３０２ＣＤ−ＲＯＭ
３０３フレキシブルディスク
３０４コンピュータ
３０５コンピュータ上のＲＡＭ／ハードディスク等の記録媒体

Claims

入力された画像に解像度を変換する圧縮処理を施して出力画像を生成する解像度変換画像圧縮装置であって、
圧縮する画像を入力する画像入力手段と、
前記入力された画像から領域を指定する領域指定手段と、
前記指定された各領域にそれぞれ割り当てる解像度を決定する解像度決定手段と、
領域の境界をまたいだ領域周縁部とそれに接する隣接領域の領域周縁部において、解像度の変化のきざみが所定範囲以下となるように、解像度分布を調整する解像度分布調整手段と、
前記解像度分布調整手段により調整された解像度分布に応じて前記入力画像の解像度を変換することによって、不均一連続解像度画像データを生成する画像解像度変換手段を備える解像度変換画像圧縮装置。
前記領域指定手段が、外部入力手段を備え、利用者により前記領域の指定が可能な請求項１に記載の解像度変換画像圧縮装置。
前記解像度決定手段が、外部入力手段を備え、利用者により前記領域に割り当てる解像度の指定が可能な請求項１に記載の解像度変換画像圧縮装置。
前記解像度決定手段が、前記領域の特徴量に応じて解像度を決定する請求項１に記載の解像度変換画像圧縮装置。
前記不均一連続解像度画像データを復号化する画像復号処理部を備えた請求項１に記載の解像度変換画像圧縮装置。
前記領域指定手段が設定した領域が円形領域であり、前記円形領域に対して２次元正規分布を算出する２次元正規分布決定部を備え、前記解像度分布調整手段が、前記２次元正規分布決定部が各領域ごとに生成した２次元正規分布を重ね合わせて画像全体の解像度分布を調整する請求項１に記載の解像度変換画像圧縮装置。
前記画像解像度変換手段は、
前記解像度分布調整手段で調整された解像度分布を表現する実行標本化間隔関数を設定し、該実行標本化間隔関数で表される３次元空間の面を近似するように覆う関数ポリゴンを生成し、該関数ポリゴンを２次元平面に投影して入力画像をポリゴンに分割するポリゴン分割手段と、
前記各ポリゴンの各頂点に対応づけられる頂点解像度を決定する頂点解像度決定手段と、
前記各ポリゴン内の画素値を配列として記憶する画素値配列記憶手段と、
前記画素値配列の各画素の位置と解像度を前記ポリゴン面と前記頂点解像度と前記画素値配列内の順番とによって算出する画素位置・解像度算出手段を備え、
前記ポリゴン分割手段で分割された各ポリゴンを表すポリゴン情報、各ポリゴンの頂点解像度、および各ポリゴン内の画素値配列によって表される不均一連続解像度画像データを生成する、請求項１に記載の解像度変換画像圧縮装置。
請求項７に記載の解像度変換画像圧縮装置によって生成された前記不均一連続解像度画像データを復号して表示する解像度変換画像復号装置であって、
前記解像度変換画像圧縮装置の前記画素位置・解像度算出手段が生成した不均一連続解像度データを入力する入力部と、
前記入力された不均一連続解像度画像データのポリゴン情報、ポリゴンの各頂点の解像度、各ポリゴン内の画素値の配列に基づいて、前記不均一連続解像度画像データを復号して復号画像を得る復号処理部と、
前記復号画像を表示する表示部を備えたことを特徴とする解像度変換画像復号装置。
入力された画像に解像度変換による圧縮処理を施して出力画像を生成する解像度変換画像圧縮装置を実現する処理プログラムを記録したコンピュータ読み取り可能な記録媒体であって、
圧縮する画像を入力する画像入力処理と、
前記入力画像において検索者が特定の情報を認識しうる領域を決定する領域決定処理と、
前記決定された各領域に割り当てる解像度を決定する解像度決定処理と、
領域の境界をまたいだ領域周縁部とそれに接する隣接領域の領域周縁部において、解像度の変化のきざみが所定範囲以下となるように、解像度分布を調整する解像度分布調整処理と、
前記解像度分布調整処理により調整された解像度分布に応じて前記入力画像の解像度を変換することによって、不均一連続解像度画像データを生成する画像解像度変換処理とをコンピュータに実行させる処理プログラムを記録したことを特徴とする記録媒体。
請求項７に記載の解像度変換画像圧縮装置によって生成された前記不均一連続解像度画像データを復号して表示する解像度変換画像復号装置を実現する処理プログラムを記録したコンピュータ読み取り可能な記録媒体であって、
前記解像度変換画像圧縮装置の前記画素位置・解像度算出手段が生成した不均一連続解像度画像データを入力する入力処理と、
前記入力された不均一連続解像度画像データのポリゴン情報、ポリゴンの各頂点の解像度、各ポリゴン内の画素値の配列に基づいて、前記不均一連続解像度画像データを復号して復号画像を得る復号処理と、
前記得られた復号画像を表示する表示処理とをコンピュータに実行させる処理プログラムを記録したことを特徴とする記録媒体。