JPH10187929A - 画像処理装置 - Google Patents

Abstract

(57)【要約】 【課題】従来の技術では、歪曲収差補正に必要な撮影条
件や光学系のパラメータを予め知らなければ設定できな
いため、ユーザが所有する任意の撮影機材を用いて簡単
に高解像・広画角画像・パノラマ画像を作成することは
難しい。 【解決手段】本発明は、デジタルカメラ３１等の撮影機
材で撮影した画像や撮影条件等の画像データを画像表示
部４４で補正前の画像と補正後の画像として表示し、以
前に未使用のカメラからの画像に対しては、補正前後の
画像を見ながら収差や色調等を補正を施し画像合成し
て、補正に用いたパラメータを撮影機材と関連付けて記
憶し、以前に使用したことがあるカメラからの画像につ
いては、記憶されたパラメータを読み出して補正を施
し、画像合成する画像処理部３４と合成された画像及び
画像データを表示するモニタ７、印刷出力するプリンタ
８及び記録媒体９に出力する画処理装置である。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、被写体を複数に分
割して撮影した複数の画像または、異なる露出で撮影し
た複数の画像を合成する画像処理装置に係り、特に合成
による広角画像及び明るさを変化させて画像合成する画
像処理装置に関する。

【０００２】

【従来の技術】近年、パーソナルコンピュータ（以下、
ＰＣと称する）は、製造技術の向上に伴い、高性能化及
び低価格化が進み、企業、教育、家庭などで広く普及し
つつある。

【０００３】このようなＰＣへの画像取り込み装置とし
ては、従来のカメラにより撮影された銀塩フィルムから
光学的に画像を取り出し、画像信号に変換して取り込ん
でいる。

【０００４】また、カメラの他に、ビデオ信号として画
像を撮影するビデオカメラ等の映像情報機器がいろいろ
な場面で利用されている。特に、デジタルスチルカメラ
（以下、デジタルカメラと称する）は、銀塩フィルムを
使用せず、デジタル信号により画像を撮影・記録し、そ
のデジタル信号で直接画像として取り込み装置に入力で
き、ディスプレイやプリンタに出力するため、現像処理
が不必要であり、且つ消去や編集が容易である。これら
の理由に加え、インターネットユーザの増加、及びデジ
タルカメラ自体の低価格が進んだことから、ＰＣユーザ
を中心にデジタルカメラの需要が急速に拡がっている。

【０００５】しかし、このデジタルカメラは、光電変換
を利用したＣＣＤ等の固体撮像素子によって光電変換に
より被写体像を画像信号として撮像するが、銀塩フィル
ムに比較して、解像度やダイナミックレンジが劣るた
め、高解像度化・広ダイナミックレンジ化の技術が強く
望まれている。

【０００６】この高解像度化する方法の１つとして、撮
像素子の画素数を増やす方法が考えられる。しかし、一
般に固体撮像素子のコストは、画素数の増大に従って急
速に上昇することが知られている。

【０００７】そこで、本出願人は、例えば、特開平６−
１４１２４６号公報に記載されるような複数の撮像素子
で撮影した画像を合成する技術や、特開平６−１４１２
２８号公報に記載されるようなカメラの移動等で被写体
を分割撮影し、１つの撮像素子により得られた複数の画
像を合成する技術を提案している。

【０００８】ところが、通常、撮影した画像は、光学系
による歪曲収差の影響を受けて、像が歪んでしまってい
るため、前述した公報に記載されるような技術で合成し
た場合、重複部分が左右で異なり、合成された被写体が
二重になる問題が生じる。また、重ね合わせの基準とな
る幾つかの点の位置の移動が原因になって、実際には画
像が回転していないにも係わらず、回転したものとして
検出されてしまい、合成が上手くいかなくなるといった
問題が生じる。

【０００９】そのため、本出願人は、例えば特開平８−
１１６４９０号公報において、処理装置内に幾何学的補
正を施す画像補正手段を設けることで収差の影響を補償
する画像処理装置を提案した。この画像処理装置の構成
例を図１８に示す。

【００１０】この画像処理装置の画像入力部１ａ〜１ｃ
は、光学系２、ＣＣＤ等の撮像部３、Ａ／Ｄ 変換部４
とで構成され、それぞれ被写体５の異なる部分（位置）
を重複領域を持たせて、撮像するように配置されてい
る。

【００１１】この撮像部３の出力信号は、Ａ／Ｄ変換部
４によりデジタル化され、画像補正部１７ａ〜１７ｃに
入力される。前記画像補正部１７ａ〜１７ｃは、さらに
撮影時に記録したフォーカス位置等の撮影条件や光学系
の特性パラメータを読み込んで、画像入力部 １ａ〜１
ｃで撮影された画像の歪曲収差等を補正する。

【００１２】次に、画像合成部６においては、画像補正
部１７ａ〜１７ｃで補正された画像を入力信号として、
後述する技術で、図２０に示すような広角画像に合成さ
れ、モニタ７、プリンタ８、記憶媒体９等に出力され
る。

【００１３】前記画像合成部６は、図１９に示すような
構成により実現される。この構成において、各画像ａ、
ｂ、ｃは、フレームメモリ１０にそれぞれ一時的に記憶
され、隣り合う画像（例えば、画像ａと画像ｂ）間の平
行移動量Ｓ１、回転量Ｒ１がずれ検出器１１ａで求めら
れる。同様に、画像ｂと画像ｃ間の平行移動量Ｓ２、回
転量Ｒ２がずれ検出器１１ｂで求められる。

【００１４】これらの平行移動量Ｓ１、Ｓ２、回転量Ｒ
１、Ｒ２は、フレームメモリ１０ｂ、１０ｃから読み出
された画像と共に、補間演算器１２ａ、１２ｂにそれぞ
れ入力され、位置関係を補正した画像が作成される。

【００１５】また、係数設定器１３では、隣接する画像
が滑らかに接続されるように、図２０に示すような各画
像の係数Ｃａ、Ｃｂ、Ｃｃを設定する。各画像の画素値
には係数Ｃａ、Ｃｂ、Ｃｃが乗算部１４で乗じられ、重
複する部分は加算部１５で加算される。

【００１６】図２０は、合成される画像の重なり部分の
処理を説明するための図である。画像ａに対して画像ｂ
は、反時計回りに回転している。この回転とオーバーラ
ップ量（平行移動量）をずれ検出器１１で算出する。ま
た、画像ａ、ｂがオーバーラップする部分は、滑らかに
結合されるように図２０に示すような係数Ｃａ、Ｃｂ、
Ｃｃを乗算して加え合わせる。このようにして、複数の
画像を合成した高解像度・広画角な画像が画像合成部６
から出力される。

【００１７】また、撮像素子の広ダイナミックレンジ化
に関しては、本出願人は、特開昭６３−２３２５９１号
公報により、露出を変えて撮影した複数の画像を合成し
て、銀塩フィルム並みのダイナミックレンジを持つ画像
を生成する技術を開示している。

【００１８】この技術は、画像合成部６を図２２に示す
ように構成することで実現できる。図２２では、簡単の
ため２枚の画像を合成する例について概念的に説明する
が、３枚以上の合成であっても同様な処理により合成が
可能である。

【００１９】２枚の画像ａ、ｂは加算器２１で加算さ
れ、フレームメモリ１０に格納される。線形変換部２２
は、フレームメモリ１０のデータを読み出し、変換テー
ブルを元に撮影時の入射光のＲ、Ｇ、Ｂ値に対応する値
を算出して、マトリクス回路２３に入力する。この時の
Ｒ、Ｇ、Ｂ値は、デジタルカメラ等の入力機器のダイ
ナッミクレンジを超えた画像になっている。

【００２０】また、変換テーブルは、変換テーブル作成
部２７で、２枚の画像の露出時間比Ｒexp から決められ
る。マトリクス回路２３では、Ｒ、Ｇ、Ｂ値から輝度信
号値Ｙを求める。輝度信号圧縮部２４からは、出力装置
に合わせて階調を圧縮した輝度値Ｙ’が出力され、除算
器２５で元の輝度値Ｙとの比Ｙ’／Ｙが求められる。こ
の比Ｙ’／Ｙは、線形変換部２２の出力 Ｒ、Ｇ、Ｂと
乗算器２５で乗算され、合成画像結果として、フレーム
メモリ１６に格納される。

【００２１】ところで、一般に撮像素子の出力する信号
は、図２１に示すような長時間露出の例とすると、露出
によっては、ある入射光量以上で飽和して一定になる。
そこで、長時間露出と短時間露出の信号を加算した信号
は、図２１で加算信号と示した折れ線のように入射光量
に対して変化する。そこで、変換テーブル作成部２７で
は、ある加算信号値Ｓから入射光量Ｉを推定するような
テーブルを作成する。

【００２２】また、一般に画像値は、０ 〜２５５の２
５６階調で表現するため、輝度圧縮部２４では、各画素
の輝度Ｙを、例えば（１）式で圧縮する。 Ｙ’＝ｂ・Ｙ^a （１） ここで、ａは圧縮の形状を決める係数で、ｂは画像全体
のゲインを決定する係数である。

【００２３】露出時間の違う２枚の画像を上記のような
方法で合成すると、銀塩フィルム並みのダイナミックレ
ンジを持ち、暗いところから明るいところまで良好な露
出を持った画像を得ることができる。

【００２４】

【発明が解決しようとする課題】しかし前述した特開平
８−１１６４９０号公報に記載される従来の技術では、
歪曲収差補正に必要な撮影条件や光学系のパラメータを
予め知らなければ設定できないため、ユーザが所有する
任意の撮影機材を用いて簡単に高解像・広画角画像・パ
ノラマ画像を作成することは難しい。

【００２５】図２３には、歪曲収差の例を示す。歪曲収
差は、一般にレンズの中心からの距離に応じて生じる幾
何学変形である。歪曲収差が無い光学系を通して、例え
ば、格子状の被写体を撮影すると、図２３（ａ）に示す
ようになる。しかし光学系が歪曲収差を有していると、
例えば、図２３（ｂ）に示すように、本来直線で写るべ
き部分が曲がって写ってしまう。このように光学系に歪
曲収差がある場合、図２３（ｃ）に示すように、直線Ｌ
は、曲線Ｌ’のように歪んで結像するため、直線Ｌ上の
点Ｙは、曲線Ｌ’上の点Ｙ’に移動する。ここで画像上
のある１点における収差量ＤＲは、 ΔＲ＝Ａ₁ ・Ｒ³ ＋Ａ₂ ・Ｒ⁵ ＋… （２） のような多項式で表される。

【００２６】ここで、Ｒは画像中心から点Ｙまでの距離
である。収差を補正させた画像を作成するには、点Ｙ’
を画像中心Ｃと点Ｙ’を結ぶ直線上を収差量ΔＲだけ移
動すればよい。ところが、係数Ａ₁ ，Ａ₂ ，…は光学系
の焦点位置によって異なり、係数Ａ₁ ，Ａ₂ ，…を正確
に知ることは、通常のユーザには困難である。

【００２７】また、使用する機材によっても係数Ａ₁ ，
Ａ₂ ，…は異なるため、違う機材を使用する場合は、補
正係数を改めて調整しなくてはならない。さらに、ズー
ム比を変えて撮影すると、隣り合った画像間で大きさが
異なり、互いに重複して撮影しているにも係わらず、正
確に貼合せることができない。

【００２８】また、室内など近くの被写体を撮影する場
合には、撮影者が数歩動いた場合でも大きさが変わって
しまう。また、自動的にホワイトバランスが調整される
ような機材の場合には、例えば、 太陽に近い方向を撮影
した場合と、太陽から離れた方向を撮影した場合に、色
合いが大きく異なる場合が考えられる。そのため、前記
の技術で画像を合成した場合、滑らかに色合いが変化す
るものの、全体として不自然な画像になってしまう。
また広ダイナミック化の技術においては、従来技術で説
明したように、加算信号から入射光量を推定するテーブ
ルを作成する必要があるが、図２１に示すように、加算
信号の傾きが変化する点Ｎは、露出時間比Ｒexp によっ
て変化する。そのため、合成対象の複数の画像の露出時
間比Ｒexp を予め知っていることが必要とされる。とこ
ろが、市販されているデジタルカメラでは、露出調整は
できても、 その比をユーザが知ることのできない構成に
なっていることが多い。

【００２９】そこで本発明では、カメラの収差等の係数
を知らなくても撮影した画像に基づき簡単な操作により
補正して合成できる画像処理装置を提供すること、及
び、撮影した画像のみから効果的に広ダイナミックレン
ジ化画像を作成することが可能な画像処理装置を提供す
ることを目的とする。

【００３０】

【課題を解決するための手段】本発明は上記目的を達成
するために、１つの構図を分割し、隣接する箇所に互い
に同じ被写体像が存在するオーバーラップ領域を有す
る、複数の画像として入力する画像入力手段と、前記複
数の画像の少なくとも各オーバーラップ領域内に生じた
画像の歪みまたは画像の差異を補正するのに必要な補正
パラメータを設定する補正パラメータ設定手段と、前記
設定された補正パラメータに従って、前記複数の画像の
少なくともオーバーラップ領域内に生じた画像歪みまた
は画像の差異が無くなるように、前記複数の画像のう
ち、少なくとも１枚の画像に対して補正を行う画像補正
手段と、前記画像補正手段で補正された複数の画像を、
前記オーバーラップ領域上で重ねて、順次繋ぎ合わせる
ことで、前記１つの構図を復元する画像合成手段と、前
記画像入力手段により入力された複数の画像、または、
前記画像補正手段により補正された画像のうち少なくと
も１枚の画像を表示する画像表示手段とを備えた画像処
理装置を提供する。

【００３１】以上のような構成の画像処理装置は、画像
補正手段で補正された画像を画像表示手段に表示して確
認できるため、必要な補正パラメータを知らなくても効
果的に画像を補正可能であり、画像合成手段により正確
に繋ぎ合わせた画像が得られる。

【００３２】また、１つの構図を異なる露出で撮影した
複数の画像として入力する画像入力手段と、前記露出が
異なる複数の画像のうち、少なくとも１枚の画像の明る
さを補正するのに必要な補正パラメータを設定する補正
パラメータ設定手段と、前記設定された補正パラメータ
に従って、前記複数の画像のうち、少なくとも１枚の画
像に対して明るさを補正する画像補正手段と、前記画像
補正手段により補正された画像のうち少なくとも１枚の
画像を表示する画像補正手段と、前記複数の入力画像と
前記設定された補正パラメータに基づいて、前記１つの
構図が前記画像入力手段で入力されたときの入射光量を
推定し、前記画像補正手段で明るさが補正された複数の
画像を、前記画像表示手段の表示可能範囲内に収まるよ
うに変換して合成する画像合成手段とを備えた画像処理
装置を提供する。

【００３３】このような画像処理装置では、画像補正手
段で補正された画像を画像表示手段に表示して補正パラ
メータを設定し、この補正パラメータに基づいて画像表
示手段の表示可能範囲に収まるように画像合成手段によ
り明るさが補正された画像が得られる。

【００３４】前記画像処理装置は、前記補正された画像
における前記補正パラメータと、その補正画像若しくは
その画像を撮影した撮影手段の識別名とを関連づけて記
憶する補正パラメータ記憶手段を有し、前記補正パラメ
ータ設定手段は、前記補正パラメータ記憶手段に記憶さ
れた補正パラメータより所望の補正パラメータを選択し
て設定する画像処理装置を提供する。

【００３５】さらに、画像処理装置は、一度補正に用い
たパラメータ値を補正パラメータ記憶手段に保存してお
き、必要な値を補正パラメータ記憶手段から選択して利
用することで、各画像毎に改めて初めから補正する必要
がない。

【００３６】

【発明の実施の形態】以下、図面を参照して本発明の実
施形態について詳細に説明する。図１には、本発明によ
る第１の実施形態としての画像処理装置の概略的な構成
を示し説明する。本実施形態は、ディスプレイ等の表示
を見ながら簡便に収差を補正し、補正した画像を合成し
て高解像度・広画角の画像を得る装置である。

【００３７】この画像処理装置は、デジタルスチルカメ
ラ（以下、デジタルカメラと称する）３１で撮影した画
像や撮影時の撮影条件等の撮影情報からなる画像データ
を記録するメモリカード３２と、メモリカード３２から
画像データを読み取るカードリーダ３３と、読み取られ
た画像データから画像を再生し、それらの画像に収差や
色調等の補正を施し、合成する画像処理部３４と、合成
された画像及び画像データを表示するモニタ７、印刷出
力するプリンタ８及び画像等を記憶する光ディスクやメ
モリカード等の記録媒体９からなる。

【００３８】前記画像処理部３４は、カードリーダ３３
で読み取られた画像データから伸長等の処理を行い画像
及び撮影情報を再生する画像データ再生部３５と、画像
に収差や色調等の補正を行う画像補正処理部３６と、画
像合成のための画像切り替えを行う信号切り替え部３７
と、画像を合成する画像合成部６で構成される。

【００３９】このような構成により、ユーザがデジタル
カメラ３１を使って、被写体像の一部分が互いに重複す
るように分割した画像を撮影する。撮影されたこれらの
画像（画像ａ，画像ｂ，…）は、圧縮・ヘッダ情報の付
加などの処理がデジタルカメラ３１内で施された後、メ
モリカード３２に画像データとして記録される。このメ
モリカード３２は、カードリーダ３３に挿入され、記録
された画像データがメモリカード３２から読み出され、
画像処理部３４に取り込まれる。取り込まれた画像デー
タは、まず、画像データ再生部３５に入力され、伸長等
の処理が行われて画像データとして再生される。

【００４０】そして、再生された画像データは、画像補
正処理部３６で補正処理が行われ、信号切替部３７を通
って、画像合成部６に入力される。画像合成部６は、図
１９に示した構成を備えているものとする。この画像合
成部６は、例えば、特開平６−１４１２２８号公報と同
様の処理を施して合成し、その合成画像をモニタ７、プ
リンタ８、記憶媒体９等に出力する。

【００４１】次に図２には、前述した画像補正処理部３
６の詳細な構成を示し説明する。この画像補正処理部３
６は、原画像・補正画像を表示する画像表示部４４と、
入力された画像に対する収差補正を行う収差補正処理部
４１と、該収差補正処理部４１で補正に用いるパラメー
タを記憶する補正パラメータ記憶部４２と、ユーザの操
作により補正パラメータを調整して設定、または、補正
パラメータ記憶部４２から読み出された補正パラメータ
を選択して設定する補正パラメータ設定部４３とで構成
される。

【００４２】前記画像補正処理部３６は、撮影を行うカ
メラにおいて、撮影した画像に対し１度も収差補正を施
したことがなく、そのカメラで撮影した画像に対して初
めて収差補正を施す場合と、以前に撮影画像を補正した
ことがあり、収差補正歴が残っているカメラで撮影した
画像を補正する場合とでは異なった働きをする。

【００４３】まず、初めて使用したカメラで撮影した画
像に対して、収差補正をする場合について説明する。前
記収差補正処理部４１では、図２３（ｂ）に示したよう
な歪曲収差のある画像（例えば、画像ａ）が入力され、
あらかじめ設定された（２）式における係数Ａ₁ ，Ａ
₂ ，…の初期値を用いて、（２）式に従って補正した画
像を画像表示部４４に出力する。この画像表示部４４
は、補正画像と同時に原画像ａを表示する。

【００４４】そして補正パラメータ設定部４３では、係
数Ａ₁ ，Ａ₂ ，…を調整する機構を備え、ユーザの操作
により所望の係数を設定すると、直ちに係数を更新する
ように、収差補正処理部４１に新たな係数Ａ₁ ，Ａ₂ ，
…をフィードバックする。収差補正処理部４１は、新た
に設定した後の係数で補正した画像を出力し、画像表示
部４４の表示は、新たに補正された画像に更新される。

【００４５】ユーザは、２枚若しくは少なくとも１枚の
画像を見ながら、補正パラメータ設定部４３を操作し
て、撮影に用いたカメラからの画像に対して最適な補正
を行う係数Ａ₁ ，Ａ₂ ，…を決定する。この時、補正パ
ラメータ設定部４３は、図３（ａ）に示したように、画
像表示部４４上に表示した仮想的な調整つまみをマウス
やキーボード等で操作するように構成すると、操作が簡
便で好ましい。このつまみを操作して、係数（図３で
は、Ａ₁ ，Ａ₂ ）を変更すると、画面上の「補正後画
像」が新たな係数値に応じて補正され、更新される。勿
論、表示画面に２枚以上の表示が必要な場合には、任意
の枚数の画像を表示してもよい。

【００４６】そして、ユーザは、補正が十分だと判断し
た場合には、「ＯＫ」キーを押して（マウスの場合には
クリックして）、係数Ａ₁ ，Ａ₂ ，…を決定する。この
ように決定された係数は、それぞれカメラの機種名等ユ
ーザが任意に付けた名前と共に、補正パラメータ記憶部
４２に記憶される。これは例えば、図４に示すような形
式のファイルとして、補正パラメータ記憶部４２に記憶
させればよい。

【００４７】前述した係数調整に用いる画像は、任意の
もので構わないが、ビル、本棚、窓枠や方眼紙のよう
に、直交する直線が多く含まれる被写体を撮影した画像
の方がより調整がしやすい。

【００４８】次に過去に撮影画像を補正したことがあ
り、その時の係数Ａ₁ ，Ａ₂ ，…が補正パラメータ記憶
部４２にファイルとして保存されているカメラにより撮
影された画像を補正する場合について説明する。

【００４９】このような場合には、補正パラメータが撮
影機材を示す名前と関連づけられて記憶されているた
め、画像処理装置を起動させる際に、そのデータを読み
込み、図３（ｂ）に示すように画像表示部４４にメニュ
ー形式で表示する。そしてユーザが、そのメニュー画面
から使用機材名を選択すると、対応する係数Ａ₁ ，
Ａ₂，…が補正パラメータ記憶部４２から補正パラメー
タ設定部４３を介して収差補正処理部４１へ読み出さ
れ、入力画像に収差補正処理を施した画像が収差補正処
理部４１から出力される。

【００５０】以上説明したように、本実施形態では、あ
らかじめ撮影機材の光学系の収差情報を知る必要はな
く、ユーザが撮影した画像のみを見ながら補正係数を決
定するため、今まで使用していなかったカメラであって
も、使用するに際して、その光学系の特性を事前に知る
必要がない。

【００５１】また、一旦、撮影した画像に収差補正を行
ったことのあるカメラに対しては、収差の補正係数がデ
ータとして記録されているため、メニューから選択する
だけで補正処理を実施できるので、画像合成に用いる全
ての画像に対して、毎回パラメータを設定して補正しな
ければならない、といった操作の煩雑さを回避すること
ができる。

【００５２】なお、本実施形態では、メモリカードに画
像を記憶するデジタルカメラを利用しているが、これに
限定されず、直接、画像再生部に入力するような機材で
も画像処理が可能である。また、一台の入力装置で複数
の画像を撮影する場合について説明しているが、複数の
入力装置を同時に用いて入力する構成においても可能で
ある。また、本実施形態では、補正パラメータ設定部４
３は、画像表示部４４上に示した仮想的な調整つまみと
して説明したが、回転式やスライド式の別体のスイッチ
としても構わない。

【００５３】さらに、本実施形態では原画像と処理結果
を見比べながら補正するような構成であるが、ビル・本
棚等直線部分が多く含まれるな収差による画像であれ
ば、補正処理後の画像のみを画像表示部４４に表示し
て、直線部分がまっすぐになるように調整することで、
係数Ａ₁ ，Ａ₂ ，…を決定することができる。

【００５４】次に、第２の実施形態としての画像処理装
置について説明する。本実施形態は、前述した第１の実
施形態の変形であり、図５乃至図８を参照して説明す
る。本実施形態の構成部位で、前述した図１及び図２に
示す構成部位と同等の部位には、同じ参照符号を付し
て、その説明を省略する。

【００５５】図６は、本実施形態の構成例を示す図であ
り、第１の実施形態とは、画像合成部６から出力された
合成画像を画像補正処理部３６に入力している点が異な
っている。図７は、画像補正処理部３６の構成例を示
す。図８は、画像補正処理部３６の画像表示部４４に表
示される画面の一例を示す。

【００５６】この構成において、画像データ再生部３５
で伸長等が施された画像データ（ここでは画像ａ）は、
収差補正処理部４１に入力され、予め設定された補正パ
ラメータ値Ａ₁ ，Ａ₂ ，…を用いて補正されたデータが
画像合成部６に出力される。同様に、補正処理された画
像に隣接する画像においても、収差補正処理部４１で補
正された後に出力され、画像合成部６で画像合成を行
い、繋ぎ合わされた画像を生成する。そして、合成され
た結果画像は、画像補正処理部３６に入力され、画像表
示部４４で表示される。

【００５７】次に図５を参照して、ユーザの操作による
実際の処理例について説明する。図５（ａ）は、撮影対
象となる被写体である。これを歪曲収差のある光学系を
通し分割して取り込むと、図５（ｂ）に示すように、画
像の周辺で被写体が歪んでしまう。

【００５８】例えば、画像上に複数の特徴点の組（図５
ではＰ１とＰ１’、Ｐ２とＰ２’、Ｐ３とＰ３’との３
組）を設定する。この設定は、予め定めたプログラムに
よる制御により画像合成部６で自動的に行っても良い
し、ユーザの操作により指定しても構わない。これらの
組の中から２点を選択する。ここでは、Ｐ１とＰ２を選
択した例について説明する。

【００５９】このとき、収差補正係数Ａ₁ ，Ａ₂ ，…が
正確でないまま画像合成部６で、Ｐ１とＰ２を基準に平
行移動量、回転量を求めて合成すると、図５（ｃ）に示
すように Ｐ１とＰ１’、Ｐ２とＰ２’は正確に一致す
るが、Ｐ３とＰ３’は一致しない。当然、周囲の他の各
点も一致しない。

【００６０】そこで、図６に示す装置構成により、実施
された合成結果を画像表示部４４に表示し、ユーザは、
それらの表示を見ながら基準点Ｐ１とＰ２以外が一致す
るように係数 Ａ₁ ，Ａ₂ ，…を調整する。調整された
係数Ａ₁ ，Ａ₂ ，…は、収差補正処理部４１に直ちに入
力され、新たに補正した画像が画像合成部６により繋ぎ
合わされて、画像表示部４４に再表示される。

【００６１】この時、係数 Ａ₁ ，Ａ₂ ，…が正しく設
定されるならば、Ｐ１とＰ１’、Ｐ２とＰ２’だけでな
く、Ｐ３とＰ３’も同時に一致する。このような方法に
より、風景画像・人物画像など一見収差の分かりにくい
画像についても容易に補正することができる。

【００６２】本実施形態では、画像表示部４４上に表示
される画像を見て、係数 Ａ₁ ，Ａ₂ ，…を調整するよ
うにしているが、Ｐ３とＰ３’のズレを自動的に検出し
て、そのズレが０若しくは最小になるように係数Ａ₁ ，
Ａ₂ ，…を自動的に補正しても構わない。

【００６３】次に図９には、第３の実施形態としての画
像処理装置の画像補正処理部の構成例を示し説明する。
本実施形態の構成部位で、前述した第１、第２の実施形
態と同等の構成部位には、同じ参照符号を付して、その
説明を省略する。 一般に、カメラ等の光学系における
周辺減光の影響で、撮影された画像は、周辺に行くほど
入射光量が落ちてしまっている。そのため、周辺減光の
大きな画像を、前述した画像合成装置で繋ぎ合わせる
と、オーバーラップ領域の部分で画像が暗くなってしま
い、不自然な合成画像が生成される。

【００６４】この周辺減光は、図１０に示すように、画
像中心からの距離Ｒが大きくなるにつれて、画像の明る
さが暗くなってしまう現象であり、理想的な信号値Ｓに
対して、周辺減光のある場合の信号値Ｓ’は、近似的に
は、次の（３）式のように多項式で与えられる。

【００６５】 Ｓ’／Ｓ＝Ｂ₀ ＋Ｂ₁ ・Ｒ＋Ｂ₂ ・Ｒ² ＋… （３） そこで、図９に示すように画像補正処理部３６を、画像
表示部４４と、周辺減光補正処理部４６と、周辺減光補
正パラメータ記憶部４７と、周辺減光補正パラメータ設
定選択部４８とで構成する。

【００６６】この周辺減光補正パラメータ設定選択部４
８では、係数Ｂ₀ ，Ｂ₁ ，Ｂ₂ ，…を画像表示部４４上
に表示する仮想的なつまみを動かして調整し、画像の中
心と周囲で明るさが同一になるように設定する。

【００６７】このような構成で、係数 Ｂ₀ ，Ｂ₁ ，Ｂ
₂ ，…を設定するように構成すれば、撮影に使用するカ
メラ等の光学系の諸パラメータを知らなくても、撮影し
た画像に基づき簡単に補正することができ、画像合成部
６で繋ぎ合わされた画像は、オーバーラップ部でも不自
然に暗くならず、画面全体として自然な画像を得ること
ができる。

【００６８】また、周辺減光も歪曲収差と同様に、撮影
機材の光学系に固有の現象であるので、第１の実施形態
で説明したように、一旦補正して設定した係数の値を撮
影機材の名称等と関連づけて保存しておき、２回目以降
はメニューからその名称を選ぶだけで補正することが可
能である。

【００６９】さらに、本実施形態では、原画像と処理結
果を見比べながら補正すると説明したが、画像全体の明
るさが一様になればいいので、補正処理後の画像のみを
画像表示部４４に表示して係数Ｂ₀ ，Ｂ₁ ，Ｂ₂ ，…
を設定・選択するようにしてもよい。

【００７０】次に図１１及び図１２を参照して、第４の
実施形態としての画像処理装置の色調補正を行う構成に
ついて説明する。図１１に示す構成の画像補正処理部３
６は、画像表示部４４と、原画像をＨＳＩ変換と称する
変換により、色相（Hue ；Ｈ）、彩度（Saturation；
Ｓ）、明度（Intensity ；Ｉ）にそれぞれ変換する色調
補正部５１と、Ｈ、Ｓ、Ｉの変換を行う補正パラメータ
を調整して色調を補正する補正パラメータ設定選択部４
３とで構成される。

【００７１】このような画像補正処理部３６により、原
画像はそれぞれ色調補正部５１に入力され、 ＨＳＩ変
換で色相Ｈ、彩度Ｓ、明度Ｉに変換される。さらに、色
調補正部５１では、補正パラメータ設定部４３で設定し
た色相Ｈ 、色彩Ｓ、明度Ｉに基づき、入力画像を補正
し、画像表示部４４に出力する。ユーザは画像表示部４
４に表示される画像を比較しながら、図１２に示すよう
な画面上の色相Ｈ 、色彩Ｓ、明度Ｉの調整用つまみを
操作して、両者が同じような色調になるように調整す
る。そして色調が調整されたデータは、画像合成部６で
合成され、繋ぎ合わされる。

【００７２】このように構成された画像補正処理部３６
により、画像合成の際に隣り合う複数の画像を合成した
画像のオーバーラップ領域だけでなく、画面全体の色調
が自然なものとなるようにすることができる。勿論、本
実施形態では、色相・色彩・明度に変換して調整するよ
うに説明したが、ホワイトバランスを合わせるのと同様
に、Ｒ、Ｇ、Ｂそれぞれの信号レベルを合わせるように
しても良い。

【００７３】さらに図１３に示すように、画像補正処理
部３６に画像拡大縮小部５２と補正パラメータ設定選択
部４３を備えることにより、ズーム比の違い、撮影者の
撮影位置による被写体の大きさ変化にも対応して、良好
な合成画像を得ることができる。

【００７４】次に、図１４乃至図１７を参照して、第５
の実施形態としての画像処理装置による広ダイナミック
化処理を行う構成例を示し説明する。この画像処理装置
は、広ダイナミック化技術において、既に撮影された画
像から露出時間比Ｒexp を算出し、この露出時間比を用
いて画像を合成する装置である。本実施形態の構成部位
で前述した第１の実施形態の構成部位と同等の部位には
同じ参照符号を付してその説明を省略する。

【００７５】本実施形態の画像処理装置は、画像処理部
３４に露出時間比算出部６１を備えた構成である。この
画像処理部３４において、再生された画像ａ、ｂは、ま
ず信号切替部３７を経由して、露出時間比算出部６１に
入力され、結果として、露出時間比Ｒｅｘｐが画像合成
部６に入力される。この画像合成部６で、算出された露
出時間比Ｒｅｘｐ を用いて画像ａ、ｂを合成し、入力
機器のダイナミックレンジを超えた画像が出力される。
なお、画像合成部６の構成は、図２２と同様の構成を用
いているため、ここでは説明を省略する。

【００７６】図１５には、前記露出時間比算出部６１の
構成例を示し説明する。この露出時間比算出部６１は、
画像表示部４４と、ユーザにより露出時間比Ｒexp を調
整するための露出時間比設定部６３と、この露出時間比
設定部６３で設定された露出時間比Ｒexp を基に、入力
画像に対して、明るさを調整する明るさ補正部６２とで
構成される。

【００７７】このように構成された露出時間比算出部６
１は、入力画像ａ、ｂのうちの１枚（ここでは画像ａと
する）を、基準画像として、そのまま画像表示部４４に
表示する。また画像ｂは、明るさ補正部６２で明るさを
補正し、画像表示部４４に出力して表示される。

【００７８】前記露出時間比設定部６３は、ユーザが露
出時間比Ｒexp を調整できるように、例えば、後述する
画像表示部４４の表示画面上に仮想的な調整つまみを表
示する機構を備えている。ユーザが露出時間比Ｒexp を
調整した結果は、直ちに明るさ補正部６２にフィードバ
ックされ、調整後の露出時間比Ｒexp で補正した画像が
画像表示部４４で表示される。

【００７９】図１６は、明るさ補正部６２での処理を示
した図である。補正前の入力画像信号Ｓin に対して補
正後信号Ｓout は、 Ｓout ＝Ｒexp ・Ｓin （４） と変換される。このとき、Ｒexp ＞１．０ならば画像は
明るくなり、 Ｒexp ＜１．０ならば、画像は暗くな
る。

【００８０】図１７は、画像表示部４４の表示例であ
る。この図１７に示す基準画像の画像ａにおいては、室
内（テーブルや花等が有るところ）は適正な露出であ
り、窓の外（木や山が見えるところ）はオーバーな露出
である状態を表している。また、調整画像の画像ｂにお
いては、前記窓の外は、適正な露出であり、前記室内
は、アンダーな露出である状態を表している。

【００８１】画像ａは、基準画像として表示され、画面
上に表示されるつまみを調整して、画像ｂの明るさを補
正する。そして、ユーザは、画像ｂ全体の明るさが基準
画像（画像ａ）と同じくらいになった時点で、「ＯＫ」
キーで、調整終了を指示する。このように設定された露
出時間比Ｒexp が画像合成部６に出力され、広ダイナミ
ックレンジ化処理が行われる。

【００８２】本実施形態によれば、画像を見て確認しつ
つ、露出時間比Ｒexp を求めることができるため、画像
を入力するための入力機器に所望する機器を使用するこ
とができ、また、撮影したときに露出時間を記録する必
要が無くなり、容易に広ダイナミックレンジ化処理を行
うことができる。

【００８３】また、本実施形態では、２枚の画像による
露出時間比を補正するパラメータとして調整した例で説
明したが、これに限定されるものではなく、３枚以上の
画像の露出時間比を補正パラメータとした場合にも勿論
可能である。さらに、画像のうちの１つの画像を基準と
して、他方の画像のみを明るさ補正するように説明した
が、勿論、双方の画像の明るさを補正して、中間的な明
るさの画像を生成しても構わない。この時の露出時間比
は、それぞれの画像において、図１６に示した傾きの比
となる。

【００８４】さらに、露出の異なる複数の明暗画像を撮
影する方法として、絞りを変えて撮影してもよいし、減
光フィルタの透過率によって制御することも可能であ
る。つまり、広ダイナミックレンジ化処理に必要な補正
パラメータとしては、複数の画像間の露出比を示すもの
であればよく、このような露出比を示すものとして、上
述の実施形態に示した露出時間比や、絞り比、減光フィ
ルタの透過率比を補正パラメータとして利用することが
可能である。

【００８５】また、全実施形態において、デジタルカメ
ラで撮影をするように記述しているが、従来の銀塩カメ
ラで撮影したフィルムをスキャナでデジタル化した画像
や、ビデオカメラやデジタルビデオカメラで撮影した画
像から、画像取込ボード等を介して取り込んだ画像にお
いても、同様の処理が可能である。各実施形態における
画像表示装置４４においても、繋ぎ合わされた後の画像
を出力するモニタ７とを兼用させることができる。

【００８６】さらに、前述した各実施形態を、それぞれ
組み合わせて構成することも可能である。特に補正パラ
メータ記憶部４２は、上記第１〜第３の実施形態に記載
される構成においては、光学系の特性を知っていれば、
記憶することもできるし、第４、第５の実施形態に組み
入れて、パラメータを記憶することで調整のデフォルト
値とし、ユーザが調整をする際の参考にすることもでき
る。

【００８７】以上の実施形態について説明したが、本明
細書には以下のような発明も含まれている。 １．１つの構図を分割し、隣接する箇所に互いに同じ被
写体像が存在するオーバーラップ領域を有する、複数の
画像として入力する画像入力手段と、前記複数の画像の
少なくとも各オーバーラップ領域内に生じた画像の歪み
または画像の差異を補正するのに必要な補正パラメータ
を設定する補正パラメータ設定手段と、前記設定された
補正パラメータに従って、前記複数の画像の少なくとも
オーバーラップ領域内に生じた画像歪みまたは画像の差
異が無くなるように、前記複数の画像のうち、少なくと
も１枚の画像に対して補正を行う画像補正手段と、前記
画像補正手段で補正された複数の画像を、前記オーバー
ラップ領域上で重ねて、順次繋ぎ合わせることで、前記
１つの構図を復元する画像合成手段と、前記画像入力手
段により入力された複数の画像、または、前記画像補正
手段により補正された画像のうち少なくとも１枚の画像
を表示する画像表示手段と、を具備することを特徴とす
る画像処理装置。

【００８８】第１、２実施形態に対応する。この画像処
理装置により、画像補正手段で補正された画像を画像表
示手段に表示して確認できるため、必要な補正パラメー
タを知らなくても効果的に画像を補正することができ、
画像合成手段により正確に繋ぎ合わせた画像を得ること
ができる。

【００８９】２．１つの構図を異なる露出で撮影した複
数の画像として入力する画像入力手段と、前記露出が異
なる複数の画像のうち、少なくとも１枚の画像の明るさ
を補正するのに必要な補正パラメータを設定する補正パ
ラメータ設定手段と、前記設定された補正パラメータに
従って、前記複数の画像のうち、少なくとも１枚の画像
に対して明るさを補正する画像補正手段と、前記画像補
正手段により補正された画像のうち少なくとも１枚の画
像を表示する画像補正手段と、前記複数の入力画像と前
記設定された補正パラメータに基づいて、前記１つの構
図が前記画像入力手段で入力されたときの入射光量を推
定し、前記画像補正手段で明るさが補正された複数の画
像を、前記画像表示手段の表示可能範囲内に収まるよう
に変換して合成する画像合成手段と、を備することを特
徴とする画像処理装置。

【００９０】第５実施形態に対応する。この画像処理装
置では、画像補正手段で補正された画像を画像表示手段
に表示して補正パラメータを設定し、この補正パラメー
タに基づいて画像表示手段の表示可能範囲に収まるよう
に画像合成手段により明るさが補正された画像が得られ
る。

【００９１】３．前記画像補正手段は、前記画像表示手
段に表示される複数の画像間における画像の明るさの違
いに応じて、前記補正パラメータを変化させることによ
り画像を補正するものであることを特徴とする前記
（１）項または（２）項に記載の画像処理装置。

【００９２】第５実施形態に対応する。この画像処理装
置では、画像表示手段上で補正結果を確認しながら明る
さを補正することにより、予め露出時間比・絞り比等を
記録することなく画像から広ダイナミックレンジ化処理
に必要なパラメータを得ることができる。

【００９３】４．前記画像補正手段は、前記画像表示手
段に表示される１枚の画像の歪曲収差または複数の画像
間における歪曲収差の違いに応じて、前記補正パラメー
タを変化させることにより画像を補正するものであるこ
とを特徴とする前記（１）項、（３）項のいずれかに記
載の画像処理装置。

【００９４】第１、２実施形態に対応する。この画像処
理装置では、画像表示手段上で補正結果を確認をしなが
ら歪曲収差を補正するため、隣接画像間のズレ、回転を
正確に求めることができる。

【００９５】５．前記画像補正手段は、前記画像表示手
段に表示される複数の画像間における画像の倍率の違い
に応じて、前記補正パラメータを変化させることによ
り、画像を補正するものであることを特徴とする前記
（１）項に記載の画像処理装置。

【００９６】第４実施形態に対応する。この画像処理装
置では、画像表示手段上で補正結果を確認をしながら倍
率の違いを補正することで、正確な画像の繋ぎ合わせが
可能になる。

【００９７】６．前記画像補正手段は、前記画像表示手
段に表示される複数の画像間における画像の色情報の違
いに応じて、前記補正パラメータを変化させることによ
り画像を補正するものであることを特徴とする前記
（１）項に記載の画像処理装置。

【００９８】第４実施形態に対応する。この画像処理装
置では、画像表示手段上で補正結果を確認をしながら隣
接する画像間の色の違いを補正することで、繋ぎ合わせ
た画像は非常に自然な画像になる。

【００９９】７．前記色情報は、色相、彩度、明度の少
なくとも１つであることを特徴とする前記（６）項に記
載の画像処理装置。第４実施形態に対応する。この画像
処理装置では、画像表示手段上で補正結果を確認をしな
がら隣接する画像間の色の違いを補正することで、繋ぎ
合わせた画像は非常に自然な画像になる。

【０１００】８．前記色情報は、ホワイトバランスを調
整するためのＲ、Ｇ、Ｂ値の少なくとも一つであること
を特徴とする前記（６）項に記載の画像処理装置。第４
実施形態に対応する。この画像処理装置では、画像表示
手段上で補正結果を確認をしながら隣接する画像間の色
の違いを補正することで、繋ぎ合わせた画像は非常に自
然な画像になる。

【０１０１】９．前記画像補正手段は、前記画像表示手
段に表示される一枚の画像における画像の周辺減光また
は複数の画像間における画像の周辺減光の違いに応じ
て、前記補正パラメータを変化させることにより画像を
補正するものであることを特徴とする前記（１）項、
（３）項のいずれかに記載の画像処理装置。

【０１０２】第３実施形態に対応する。この画像処理装
置では、画像表示手段上で補正結果を確認をしながら周
辺減光を補正するため、繋ぎ合わせた画像は非常に自然
な画像になる。

【０１０３】１０．前記画像補正手段は、前記画像表示
手段に表示される複数の画像間における画像の明るさの
違いに応じて、前記補正パラメータとして前記複数の画
像間における露出比を変化させることにより画像を補正
するものであることを特徴とする前記（３）記載の画像
処理装置。

【０１０４】第５実施形態に対応する。この画像処理装
置では、画像表示手段上で補正結果を確認しながら、広
ダイナミックレンジ化処理に必要なパラメータとしての
複数の画像間における露出比（露出時間比・絞り比・透
過率比等）を変化させることにより、画像の明るさを補
正し、広ダイナミックレンジ化された合成画像を得るこ
とができる。

【０１０５】１１．前記補正された画像における前記補
正パラメータと、その補正画像若しくは、その画像を撮
影した撮影手段の識別名とを関連づけて記憶する補正パ
ラメータ記憶手段を有し、前記補正パラメータ設定手段
は、前記補正パラメータ記憶手段に記憶された補正パラ
メータより所望の補正パラメータを選択して設定するこ
とを特徴とする前記（１）、（３）項のいずれかに記載
の画像処理装置。

【０１０６】第１、２、３実施形態に対応する。この画
像処理装置では、一度補正に用いたパラメータ値を補正
パラメータ記憶手段に保存しておき、必要な値を補正パ
ラメータ記憶手段から選択して利用することで、各画像
ごとに改めて初めから補正する必要がない。

【０１０７】

【発明の効果】以上詳述したように本発明によれば、収
差・周辺減光等光学系の特性を予め知る必要がなく、ま
た、露出時間・ホワイトバランス等撮影条件が、制御且
つ記録できるような高価な撮影機材を用いる必要がな
く、ユーザが所有する任意の撮影機材や安価な撮影機材
で撮影した画像のみから補正し、繋ぎ合わせた広画角の
画像や広ダイナッミクレンジ化した画像を得ることがで
きる画像処理装置を提供することができる。

【図面の簡単な説明】

【図１】本発明による第１の実施形態としての画像処理
装置の概略的な構成を示す図である。

【図２】図１に示した画像補正処理部の詳細な構成を示
す図である。

【図３】画像表示部上に表示される画像への処理指示及
び画像の補正状態を示す図である。

【図４】補正パラメータ記憶部に記憶されるファイルの
形式の一例を示す図である。

【図５】歪曲収差のある光学系により撮影された画像の
合成について説明するための図である。

【図６】本発明による第２の実施形態としての画像処理
装置の概略的な構成を示す図である。

【図７】図６に示した画像補正処理部の構成例を示す図
である。

【図８】画像補正処理部の画像表示部に表示される合成
結果の一例を示す図である。

【図９】第３の実施形態としての画像処理装置における
画像補正処理部の構成例を示す図である。

【図１０】周辺減光について説明するための画像中心か
らの距離と信号値の関係を示す図である。

【図１１】第４の実施形態としての画像処理装置におけ
る画像補正処理部の構成例を示す図である。

【図１２】画像補正処理部の画像表示部に表示される色
調補を行うための表示例を示す図である。

【図１３】画像拡大縮小部と補正パラメータ設定部を備
える画像補正処理部の構成例を示す図である。

【図１４】本発明による第５の実施形態としての画像処
理装置の概略的な構成を示す図である。

【図１５】図１４に示した露出時間比算出部の構成例を
示す図である。

【図１６】明るさ補正部における補正前の入力画像信号
と補正後信号との関係を示す図である。

【図１７】明るさ補正に関する画像表示部の表示例を示
す図である。

【図１８】従来の画像処理装置の一構成例を示す図であ
る。

【図１９】図１８に示した画像合成部の一構成例を示す
図である。

【図２０】画像を繋ぎ合わせた広角画像合成における画
像の重なり具合について説明するための図である。

【図２１】長時間露出と短時間露出の信号を加算した信
号の特性を示す図である。

【図２２】図１８に示した画像合成部の一構成例を示す
図である。

【図２３】歪曲収差の特性の一例を示す図である。

【符号の説明】

６…画像合成部 ７…モニタ ８…プリンタ ９…記録媒体 ３１…デジタルスチルカメラ ３２…メモリカード ３３…カードリーダ ３４…画像処理部 ３５…画像データ再生部 ３６…画像補正部 ３７…信号切り替え部 ４１…収差補正処理部 ４２…補正パラメータ記憶部 ４３…補正パラメータ設定部 ４４…画像表示部

Claims (3)

【特許請求の範囲】
1. 【請求項１】 １つの構図を分割し、隣接する箇所に互
   いに同じ被写体像が存在するオーバーラップ領域を有す
   る、複数の画像として入力する画像入力手段と、 前記複数の画像の少なくとも各オーバーラップ領域内に
   生じた画像の歪みまたは画像の差異を補正するのに必要
   な補正パラメータを設定する補正パラメータ設定手段
   と、 前記設定された補正パラメータに従って、前記複数の画
   像の少なくともオーバーラップ領域内に生じた画像歪み
   または画像の差異が無くなるように、前記複数の画像の
   うち、少なくとも１枚の画像に対して補正を行う画像補
   正手段と、 前記画像補正手段で補正された複数の画像を、前記オー
   バーラップ領域上で重ねて、順次繋ぎ合わせることで、
   前記１つの構図を復元する画像合成手段と、 前記画像入力手段により入力された複数の画像、また
   は、前記画像補正手段により補正された画像のうち少な
   くとも１枚の画像を表示する画像表示手段と、を具備す
   ることを特徴とする画像処理装置。
2. 【請求項２】 １つの構図を異なる露出で撮影した複数
   の画像として入力する画像入力手段と、 前記露出が異なる複数の画像のうち、少なくとも１枚の
   画像の明るさを補正するのに必要な補正パラメータを設
   定する補正パラメータ設定手段と、 前記設定された補正パラメータに従って、前記複数の画
   像のうち、少なくとも１枚の画像に対して明るさを補正
   する画像補正手段と、 前記画像補正手段により補正された画像のうち少なくと
   も１枚の画像を表示する画像補正手段と、 前記複数の入力画像と前記設定された補正パラメータに
   基づいて、前記１つの構図が前記画像入力手段で入力さ
   れたときの入射光量を推定し、前記画像補正手段で明る
   さが補正された複数の画像を、前記画像表示手段の表示
   可能範囲内に収まるように変換して合成する画像合成手
   段と、 を具備することを特徴とする画像処理装置。
3. 【請求項３】 前記補正された画像における前記補正パ
   ラメータと、その補正画像若しくはその画像を撮影した
   撮影手段の識別名とを関連づけて記憶する補正パラメー
   タ記憶手段を有し、 前記補正パラメータ設定手段は、前記補正パラメータ記
   憶手段に記憶された補正パラメータより所望の補正パラ
   メータを選択して設定することを特徴とする請求項１若
   しくは請求項２のいずれかに記載の画像処理装置。