JP5025574B2 - 画像処理装置及びその制御方法 - Google Patents

Description

本発明は、複数の画像を合成して高解像度化する超解像処理の機能を有する画像処理装置及びその制御方法に関するものである。

近年、ＣＣＤやＣＭＯＳセンサプロセスの細密化が進み、デジタルカメラの解像度は飛躍的に向上した。しかし、さらなる高解像度化の要求はますます高まっており、各社メーカーはより高密度なセンサを作製することを競い合っている。その一方で、より安価な撮像系を用いてデジタル画像処理により高解像度化を図る、いわゆる超解像技術が注目を集めている。

超解像技術は、非同一且つ類似の画像を複数用いてサブピクセルレベルでの位置合わせ及び合成処理を施すことにより、１枚の写真からでは判断できない、より細密な部分の画素値を推定する技術である。これにより、更なる高解像度化が図られる。

この超解像処理を行う方法は、例えば、特許文献１や特許文献２に開示されている。特許文献１には、露出値の差が小さい複数枚の画像を類似画像と判断し、それらの画像を用いて超解像処理を施す技術が開示されている。特許文献２には、撮像時に超解像処理に係る所定の撮像条件（ホワイトバランスの変化量や露出の変化量など）が適切か否かを判断し、その判断結果に基づいて画像に超解像処理を施すか否かを判断する技術が開示されている。

特開２００６−３３２３２号公報 特開２００７−１５１０８０号公報

しかしながら、上述した従来の技術では、ディスプレイ（表示部）の表示領域の画素数に応じた超解像処理の制御を行っていなかった。そのため、例えば、表示部の画素数以上の画素数を有するような画像、すなわち超解像処理を施す必要がない画像に対しても超解像処理を施していた。

本発明は、上記課題を解決するためになされたものであり、その目的とするところは、表示対象の画像に対し超解像処理を施す必要があるか否かを判定することにより、超解像処理を施すか否かを適切に制御可能な画像処理装置を提供することにある。また、そのような画像処理装置の制御方法を提供することにある。

本発明の第１の画像処理装置は、
複数の類似する画像を合成することにより高解像度化する超解像処理の機能を有する画像処理装置であって、
表示対象の画像の画素数と、画像を表示する表示部の表示領域の画素数と、表示対象の画像の圧縮率とに基づいて、前記表示対象の画像に対して超解像処理を施す必要があるか否か判定する判定手段と、
前記判定手段で超解像処理を施す必要があると判定された場合に、前記表示対象の画像に対して超解像処理を施す超解像処理手段と、
を有し、
前記判定手段は、
前記表示対象の画像の圧縮率が所定値以上である場合に、前記表示対象の画像に対して超解像処理を施す必要があると判定し、
前記表示対象の画像の圧縮率が所定値未満である場合に、前記表示対象の画像に対して超解像処理を施す必要がないと判定する
ことを特徴とする。
本発明の第２の画像処理装置は、
複数の類似する画像を合成することにより高解像度化する超解像処理の機能を有する画像処理装置であって、
表示対象の画像の画素数と、画像を表示する表示部の表示領域の画素数と、表示対象の画像の拡大率とに基づいて、前記表示対象の画像に対して超解像処理を施す必要があるか否か判定する判定手段と、
前記判定手段で超解像処理を施す必要があると判定された場合に、前記表示対象の画像に対して超解像処理を施す超解像処理手段と、
を有し、
前記判定手段は、前記表示対象の画像の画素数と前記拡大率とを用いて拡大前の画素数を算出し、当該算出された画素数と、前記表示部の表示領域の画素数とを比較することにより、前記表示対象の画像に対して超解像処理を施す必要があるか否か判定する
ことを特徴とする。

本発明の第１の画像処理装置の制御方法は、
複数の類似する画像を合成することにより高解像度化する超解像処理の機能を有する画像処理装置の制御方法であって、
表示対象の画像の画素数と、画像を表示する表示部の表示領域の画素数と、表示対象の画像の圧縮率とに基づいて、前記表示対象の画像に対して超解像処理を施す必要があるか否か判定する判定ステップと、
超解像処理を施す必要があると判定された場合に、前記表示対象の画像に対して超解像処理を施す超解像処理ステップと、
を有し、
前記判定ステップでは、
前記表示対象の画像の圧縮率が所定値以上である場合に、前記表示対象の画像に対して超解像処理を施す必要があると判定し、
前記表示対象の画像の圧縮率が所定値未満である場合に、前記表示対象の画像に対して超解像処理を施す必要がないと判定する
ことを特徴とする。
本発明の第２の画像処理装置の制御方法は、
複数の類似する画像を合成することにより高解像度化する超解像処理の機能を有する画像処理装置の制御方法であって、
表示対象の画像の画素数と、画像を表示する表示部の表示領域の画素数と、表示対象の画像の拡大率とに基づいて、前記表示対象の画像に対して超解像処理を施す必要があるか否か判定する判定ステップと、
超解像処理を施す必要があると判定された場合に、前記表示対象の画像に対して超解像処理を施す超解像処理ステップと、
を有し、
前記判定ステップでは、前記表示対象の画像の画素数と前記拡大率とを用いて拡大前の画素数を算出し、当該算出された画素数と、前記表示部の表示領域の画素数とを比較することにより、前記表示対象の画像に対して超解像処理を施す必要があるか否か判定する
ことを特徴とする。

本発明によれば、表示対象の画像に対し超解像処理を施す必要があるか否かを判定することにより、超解像処理を施すか否かを適切に制御可能な画像処理装置及びその制御方法を提供することができる。

＜第１の実施形態＞
本発明は、複数の類似する画像を合成することにより高解像度化する超解像処理の機能を有する画像処理装置及びその制御方法に関するものである。本実施形態に係る画像処理装置は、表示対象の画像の画素数と、画像を表示する表示部の表示領域の画素数（表示画素数）とに基づいて、表示対象の画像に対して超解像処理を施す必要があるか否かを判定する。本実施形態に係る画像処理装置は、例えば、超解像処理の機能を有するデジタルテレビなどに適用可能である。なお、本実施形態では、表示対象の画像は外部の記録媒体から画像処理装置に入力（取得）されるものとする。具体的には、表示対象の画像を表すデータ（対象画像データ）が取得される。

以下、本実施形態に係る画像処理装置が、対象画像データを取得し、表示部に表示するまでの処理について説明する。

まず、本実施形態に係る画像処理装置の内部構成及び動作の概略について、図１に示す機能ブロック図を用いて説明する。

図１において、入力ＩＦ部１０１は、メモリカードや着脱式ハードディスクドライブなどの外部記録媒体から、対象画像データを取得するためのインターフェースである。本実施形態では、外部記録媒体は、デジタルカメラのような撮像装置が有するものとする。即ち、本実施形態に係る画像処理装置は、撮像装置で撮影された画像のデータを取得するものとする。また、外部記録媒体に記録されている画像データは、Ｅｘｉｆ（Ｅｘｃｈａｎｇｅａｂｌｅ Ｉｍａｇｅ Ｆｉｌｅ Ｆｏｒｍａｔ）ファイルフォーマットを有するものとする。図２はＥｘｉｆファイル（画像データ）の構成を示す図である。図２に示すように、Ｅｘｉｆファイルは、ヘッダ情報、画像情報、サムネイル情報を含む。

ヘッダ情報とは、例えば、撮像装置で撮影したときの環境やユーザ設定条件等のタグ情報などである。画像情報とは、撮像装置が撮影時に取得した、画像を表す情報である。サムネイル情報は、その画像を縮小した、見出し用小画像を表す情報である。

制御部１０２は、画像処理装置１００の有する各機能を制御する制御部である。具体的には、制御部１０２は、対象画像データを取得し、表示部１１６に表示するまで処理において各機能を制御する。例えば、制御部１０２は、外部記録媒体から対象画像データを次々に取得するための制御、取得した対象画像データからヘッダ情報や画像情報を抽出するための制御を行う。また、各構成部にヘッダ情報や画像情報を転送するための制御、画像を表示するタイミングを調整するための制御なども行う。

類似画像判定部１０３は、対象画像データのファイル名やヘッダ情報をデータベースとして保持し、外部記録媒体に、取得された画像（表示対象の画像）と類似する画像（類似画像）が存在するか否か、存在する場合には何枚存在するかを判定する。なお、類似画像のデータ（類似画像データ）は、対象画像データと同様に入力ＩＦ部１０１で取得されるものとする。

画素数判定部１０４は、対象画像画素数取得部１０５、表示画素数取得部１０６、及び画素数比較部１０８を有する。

対象画像画素数取得部１０５は、入力ＩＦ部１０１で取得した対象画像データのヘッダ情報から、表示対象の画像の画素数（対象画像画素数）を取得する。

表示画素数取得部１０６は、表示情報記憶部１１４から表示画素数を取得する。

画素数比較部１０８は、表示画素数と対象画像画素数とに基づいて、表示対象の画像に超解像処理を施す必要があるか否かを判定する。本実施形態では、画素数比較部１０８は、対象画像画素数が表示部１１６に表示するのに十分な画素数か否かを判定する。判定方法の詳細については後述する。

デコード処理部１０９は、対象画像データの画像情報を展開するためのデコード処理を行う。

画像記録部１１０は、入力ＩＦ部１０１で取得した対象画像データ、類似画像データ、デコード処理部１０９によって展開された画像情報、超解像処理後の画像情報などを一時的に記録するためのバッファメモリである。

超解像処理部１１１は、位置合わせ処理部１１２及び画像合成処理部１１３を有する。

位置合わせ処理部１１２は、画素数判定部１０４において超解像処理を施す必要があると判定された表示対象の画像に対して、その画像の類似画像とサブピクセル単位で正確に位置合わせを行う。具体的には、位置合わせ処理部１１２は、画像間で撮影対象物の移動量や変化量が最小となるように、表示対象の画像を基準画像として、類似画像に対して拡大、縮小、移動、回転などの処理を施す。なお、類似画像は、上述した類似画像判定部１０３において表示対象の画像と類似すると判定された画像である。

画像合成処理部１１３は、位置合わせを行った画像群（表示対象の画像とその類似画像）に対して、合成処理を行い、サブピクセル単位で画素値の読み出しを行う。これにより、より多い画素数の合成画像が得られる。得られた合成画像は、画像記録部１１０に記録される。

表示情報記憶部１１４は、表示画素数を記憶する。表示情報記憶部１１４としては、不揮発性メモリやハードディスクなどの記録媒体を適用すればよい。

画像処理部１１５は画像記録部１１０に記録されている画像（表示対象の画像または超解像処理後の画像）に対し、表示画素数に合わせるよう、拡大や縮小、トリミングなどの処理を行う。画像処理部１１５で処理された画像は、表示部１１６に出力される。

表示部１１６は画像を実際に閲覧できるように表示するものである。表示部１１６としては、例えば、電子放出素子を有する表示パネルやＬＣＤ（ｌｉｑｕｉｄ ｃｒｙｓｔａ
ｌ ｍｏｎｉｔｏｒ）、ＰＤＰ（Ｐｌａｓｍａ Ｄｉｓｐｌａｙ Ｐａｎｅｌ）、ＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）などを適用すればよい。

次に、本実施形態に係る画像処理装置における画像処理の流れを、図３のフローチャートを用いて説明する。ここで、外部記録媒体に記録されている画像データのファイル名には、ＤＣＦ（Ｄｅｓｉｇｎ ｒｕｌｅ ｆｏｒ Ｃａｍｅｒａ Ｆｉｌｅ ｓｙｓｔｅｍ）規格に基づいて、撮影順に昇順で連続する番号が付されるものとする。また、入力ＩＦ部１０１は、対象画像データとして撮影順に画像データを取得するものとする。なお、以下に説明する画像処理は、外部記録媒体への画像（表示対象の画像）の読み込みが指示された際に行われるものとする。画像の読み込みの指示は、例えば、外部記録媒体が画像処理装置に接続された際に行われるものであってもよいし、ユーザがリモコンなどを用いて表示部１１６に外部記録媒体に記録されている画像を表示する際に行われるものであってもよい。画像の読み込みの指示は、例えば、制御部１０２が入力ＩＦ部１０１に対して行う。

本実施形態に係る画像処理装置において、外部記録媒体への画像の読み込みが指示されると、制御部１０２が対象画像データを取得する順番のカウンタ（以下、取得カウンタ）を、初期値（Ｎ＝１）にセットする（ステップＳ１０１）。

次に、入力ＩＦ部１０１が、外部記録媒体に記録している画像群の中から、対象画像データとして、Ｎ番目に撮影した画像データを取得する。取得された対象画像データは、制御部１０２の指示により画像記録部１１０に記録される（ステップＳ１０２）。

そして、取得した対象画像データに含まれるヘッダ情報の一部が、制御部１０２の指示により、類似画像判定部１０３に送られる。ヘッダ情報の一部が類似画像判定部１０３に送られると、類似画像判定部１０３は、Ｎ番目の画像（表示対象の画像）に類似する画像（類似画像）が外部記録媒体に存在するか否か、存在する場合には何枚存在するかを判定する（ステップＳ１０３）。ステップＳ１０３において、類似画像が存在すると判定された場合（ステップＳ１０３：ＹＥＳ）、ステップＳ１０６へ進み、類似画像が存在しないと判定された場合（ステップＳ１０３：ＮＯ）、ステップＳ１０４へ進む。

まず、類似画像が存在しないと判定された場合（ステップＳ１０３の次にステップＳ１０４へ進んだ場合）の処理の流れについて説明する。

ステップＳ１０４では、取得したＮ番目の画像（表示対象の画像）を表示部１１６に表示する。具体的には、制御部１０２が、画像記録部に記録されている対象画像データから画像情報を取得する。取得された画像情報は、デコード処理部１０９に送られ、デコードされる。デコードされた画像情報は画像記録部１１０に記録される。デコード後の画像は表示情報記憶部１１４から得られる表示画素数に基づいて、画像処理部１１５によって適切な大きさに変換される。変換後の画像は、表示部１１６に転送され、適切な位置に表示される。

そして、制御部１０２が、取得カウンタを１つ進める（ステップＳ１０５）。具体的には、制御部１０２は、取得カウンタＮに１を加算する（Ｎ＝Ｎ＋１）。ステップＳ１０５の次に、ステップＳ１１３の処理が行われる。ステップＳ１１３の処理については後述する。

次に、類似画像が存在すると判定された場合（ステップＳ１０３の次にステップＳ１０６へ進んだ場合）の処理の流れについて説明する。

ステップＳ１０６では、表示画素数取得部１０６が表示情報記憶部１１４から表示画素数を取得し、対象画像画素数取得部１０５が画像記録部１１０から、表示対象の画像の画素数（対象画像画素数）を取得する。対象画像画素数は、具体的には、ステップＳ１０２で記録された対象画像データのヘッダ情報から取得される。表示画素数取得部１０６で取得された表示画素数と対象画像画素数取得部１０５で取得された対象画像画素数は、画素数比較部１０８に送られる。

そして、画素数比較部１０８は、ステップＳ１０６で取得された表示画素数と対象画像画素数とを比較し、対象画像画素数が表示部１１６に表示するのに十分な画素数か否かを判定する（ステップＳ１０７）。対象画像画素数が表示部１１６に表示するのに十分な画素数であると判定された場合（ステップＳ１０７：ＹＥＳ）、ステップＳ１１１へ進む。対象画像画素数が表示部１１６に表示するのに十分な画素数でないと判定された場合（ステップＳ１０７：ＮＯ）、ステップＳ１０８へ進む。ステップＳ１０７の処理の詳細については後述する。

まず、ステップＳ１０７で、対象画像画素数が表示部１１６に表示するのに十分な画素数でないと判定された場合（ステップＳ１０７の次にステップＳ１０８へ進んだ場合）の処理の流れについて説明する。

ステップＳ１０８では、入力ＩＦ部１０１が、ステップＳ１０３で類似画像であると判定されたＭ枚の画像（類似画像）のデータ（類似画像データ）を取得する。取得された類似画像データは、画像記録部１１０に記録される。

次に、ステップＳ１０１で取得されたＮ番目の画像データ（対象画像データ）、及び、Ｍ枚の類似画像データがデコード処理部１０９に送られ、デコードされる。そして、超解像処理部１１１が、それらのデコードされた画像を用いて、ステップＳ１０１で取得されたＮ番目の画像（表示対象の画像）に超解像処理を施す（ステップＳ１０９）。具体的には、デコード処理部１０９は、それら画像データの画像情報をデコードする。超解像処理としては、位置合わせ処理部１１２がデコードした画像群の位置合わせを行い、画像合成処理部１１３が位置合わせされた画像群の合成処理を行う。超解像処理後の画像は画像記録部１１０に記録される。

そして、ステップＳ１０９で生成された画像（超解像処理後の画像）が表示部１１６に表示される（ステップＳ１１０）。超解像処理後の画像は、画像処理部１１５によって適切な大きさに変換される。具体的には、画像処理部１１５は、表示情報記憶部１１４から得られる表示画素数に基づいて、超解像処理後の画像の大きさを変換する。例えば、超解像処理後の画像は、その画素数が表示画素数になるように変換される。変換後の画像は、表示部１１６に転送され、適切な位置に表示される。ステップＳ１１０の次に、ステップＳ１１２の処理が行われる。ステップＳ１１２の処理については後述する。

次に、ステップＳ１０７で、対象画像画素数が表示部１１６に表示するのに十分な画素数であると判定された場合（ステップＳ１０７の次にステップＳ１１１へ進んだ場合）の処理の流れについて説明する。

ステップＳ１１１では、ステップＳ１０２で取得したＮ番目の画像（表示対象の画像）を表示部１１６に表示し、ステップＳ１１２へ進む。具体的には、制御部１０２が、画像記録部に記録されている対象画像データから画像情報を取得する。取得された画像情報は、デコード処理部１０９に転送され、デコードされる。デコードされた画像情報は画像記録部１１０に記録される。デコード後の画像は表示情報記憶部１１４から得られる表示画素数に基づいて、画像処理部１１５によって適切な大きさに変換される。変換後の画像は
、表示部１１６に転送され、適切な位置に表示される。

ステップＳ１１２では、制御部１０２が、取得カウンタを類似画像の枚数（Ｍ）と１つ分進め、ステップＳ１１３へ進む。具体的には、制御部１０２は、取得カウンタＮにＭ＋１を加算する（Ｎ＝Ｎ＋Ｍ＋１）。

ステップＳ１１３では、制御部１０２が、未取得画像、すなわちＮ以上の番号が付された画像データが外部記録媒体に存在するか否かを判定する。未取得画像が存在する場合、ステップＳ１０２へ戻り、未取得画像が存在しない場合、処理を終了する。

以上述べたように、本実施形態に係る画像処理装置では、ステップＳ１０１〜ステップＳ１１３の処理を行うことにより、超解像処理を適切に制御することができる。具体的には、表示対象の画像は、画素数比較部１０８で超解像処理を施す必要があると判定された場合にのみ（類似画像が存在し、かつ、表示画素数に比べて少ないと判定された場合にのみ）、超解像処理が施される。超解像処理は、サブピクセルレベルの位置合わせや、画素推定など、複雑な処理を必要とするため、長い処理時間を要する。本実施形態に係る画像処置装置では、表示対象の画像の画素数が表示画素数以上である場合には、類似画像が存在する／しないに関わらず、超解像処理を省略する。そのため、処理時間を大幅に短縮することができる。

次に、ステップＳ１０３の処理方法（類似画像が存在するか否かの判定方法）について、図４を用いて詳細に説明する。

まず、制御部１０２が類似画像の枚数を０（Ｍ＝０）にセットする（ステップＳ１２１）。

そして、類似画像判定部１０３が、Ｎ番目の画像データ（対象画像データ）のファイル名に付されている番号と外部記録媒体に記録されているＮ＋Ｍ＋１番目の画像データのファイル名に付されている番号の差を算出する（ステップＳ１２２）。なお、本実施形態では、Ｎ＋Ｍ＋１番目の画像データのファイル名に付されている番号から対象画像データのファイル名に付されている番号を減算するものとする。例えば、対象画像データのファイル名がＩＭＧ＿０００１であり、Ｎ＋Ｍ＋１番目の画像データのファイル名がＩＭＧ＿０００３であったとき、番号の差は３−１＝２となる。

次に、対象画像データのヘッダ情報に含まれる連写番号（連写撮影された際にヘッダ情報内に記録される番号）と外部記録媒体に記録されているＮ＋Ｍ＋１番目の画像データのヘッダ情報に含まれる連写番号の差を算出する（ステップＳ１２３）。なお、本実施形態では、ファイル名に付されている番号の差と同様に、Ｎ＋Ｍ＋１番目の画像データのヘッダ情報に含まれる連写番号から対象画像データのヘッダ情報に含まれる連写番号を減算するものとする。例えば、対象画像データの連写番号が１であり、Ｎ＋Ｍ＋１番目の画像データの連写番号が３であるとき、連写番号の差が３−１＝２となる。

そして、類似画像判定部１０３が、ファイル名に付される番号の差と、連写番号の差に基づいて、それらの画像が同一シーンを連写撮影することによって得られたものか否か（それらの画像が互いに類似するか否か）を判定する（ステップＳ１２４）。

ステップＳ１２４における具体的な判定方法を、図５、図６、及び、図７を用いて詳細に説明する。

１回の連写撮影で撮影された画像データ群において、ファイル名に付される番号とヘッ
ダ情報に含まれる連写番号は、それぞれ、撮影順に昇順で連続する番号となる。そのため、２つの画像が１回の連写撮影で得られた画像である場合、撮影順で間に存在すべき画像データを削除したとしても、ファイル名に付される番号の差とヘッダ情報に含まれる連写番号の差は互いに等しくなる（図５）。

また、２つの画像が１回の連写撮影で得られた画像でない場合、ファイル名に付される番号の差とヘッダ情報に含まれる連写番号の差は互いに異なる値となる。具体的には、異なる連写撮影で得られた２つの画像である場合、ヘッダ情報に含まれる連写番号の差はファイル名に付される番号の差よりも小さくなる（図６）。異なる連写撮影で得られた２つの画像であれば、撮影順で間に存在すべき画像データを削除したとしても同様となる（図７）。

ステップＳ１２４では、類似画像判定部１０３は、ファイル名に付される番号の差とヘッダ情報に含まれる連写番号の差が等しい場合、表示対象の画像とＮ＋Ｍ＋１番目の画像とが、同一場面を撮影した連写画像と判定する。すなわち、類似画像判定部１０３は、Ｎ＋Ｍ＋１番目の画像は表示対象の画像の類似画像であると判定する。ファイル名に付される番号の差とヘッダ情報に含まれる連写番号の差が異なる場合、類似画像判定部１０３は、Ｎ＋Ｍ＋１番目の画像は表示対象の画像と非類似の画像であると判定する。

Ｎ＋Ｍ＋１番目の画像が表示対象の画像の類似画像であると判定された場合（ステップＳ１２４：ＹＥＳ）、画像処理装置はＮ＋Ｍ＋１番目の画像が類似画像であることを記憶する（ステップＳ１２５）。Ｎ＋Ｍ＋１番目の画像が類似画像であることは、例えば、画像記録部１１０のようなバッファメモリに記録される。

そして、制御部１０２がＭにＭ＋１をセットし（ステップＳ１２６：Ｍ＝Ｍ＋１）、ステップＳ１２２へ進む。

一方、Ｎ＋Ｍ＋１番目の画像が表示対象の画像と非類似の画像であると判定された場合（ステップＳ１２４：ＮＯ）、制御部１０２がＭ≠０か否かを判定する（ステップＳ１２７）。Ｍ≠０である場合（ステップＳ１２７：ＹＥＳ）、類似画像が存在すると判定し、図３のステップＳ１０６へ進む。Ｍ＝０である場合（ステップＳ１２７：ＮＯ）、類似画像が存在しないと判定し、図３のステップＳ１０４へ進む。

なお、類似画像が存在するか否かの判定方法は上記方法に限らない。例えば、対象画像データの撮影時刻と、Ｎ＋Ｍ＋１番目の画像データの撮影時刻の差（Δｔ）が所定の範囲であれば類似画像とみなすような構成でもあっても良い（図８）。具体的には、上述した撮影時刻の差（Δｔ）が０秒以上０．１秒未満の範囲（Δｔ１）である場合、画像間の位置ずれが少ない場合が多いため、超解像処理に適切な位置ずれが起きないものとみなす。撮影時刻の差が０．５秒以上の範囲（Δｔ３）である場合、画像間の位置ずれが大きいため、超解像処理に適切な位置ずれが起きないものとみなす。したがって、撮影時刻の差がΔｔ１やΔｔ３の範囲となる場合に、それらの画像（Ｎ＋Ｍ番目の画像とＮ＋Ｍ＋１番目の画像）は互いに非類似であると判定すればよい。一方、撮影時刻の差が０．１秒以上０．５秒未満の範囲（Δｔ２）である場合、適切な位置ずれが起きるものとみなす。したがって、撮影時刻の差がΔｔ２の範囲となる場合に、それらの画像は互いに類似すると判定すればよい。なお、上述したΔｔ１〜Δｔ３の具体的な数値はあくまで例示であり、適宜設定可能である。例えば、速い速度で動く被写体を撮影することを目的とする場合には、各数値はより小さい場合のほうが適切であることが予想される。

また、上記方法以外の方法として、画像解析を行うことによって、表示対象の画像とＮ＋Ｍ＋１番目の画像の構図や図柄を判断し、それらの構図や図柄を比較することによって
、互いに類似するか否かを判定してもよい。

次に、ステップＳ１０７の処理の方法（対象画像画素数が表示部１１６に表示するのに十分な画素数であるか否かの判定方法）について図９のフローチャートを用いて詳細に説明する。

まず、画素数比較部１０８が、表示画素数取得部１０６から取得された表示領域の縦方向の画素数と、対象画像画素数取得部１０５から取得された表示対象の画像の縦方向の画素数とを比較する（ステップＳ１３１）。表示領域の縦方向の画素数が表示対象の画像の縦方向の画素数よりも大きいと判定された場合（ステップＳ１３１：ＹＥＳ）、表示対象の画像の画素数が表示部１１６に表示するのに十分な画素数でないと判定し、ステップＳ１０８へ進む。一方、表示領域の縦方向の画素数が表示対象の画像の縦方向の画素数以下であると判定された場合（ステップＳ１３１：ＮＯ）、ステップＳ１３２へ進む。

ステップＳ１３２では、画素数比較部１０８が、表示領域の横方向の画素数と、表示対象の画像の横方向の画素数とを比較する。表示領域の横方向の画素数が表示対象の画像の横方向の画素数よりも大きいと判定された場合（ステップＳ１３２：ＹＥＳ）、表示対象の画像の画素数が表示部１１６に表示するのに十分な画素数でないと判定し、ステップＳ１０８へ進む。一方、表示領域の横方向の画素数が表示対象の画像の横方向の画素数以下であると判定された場合（ステップＳ１３２：ＮＯ）、表示対象の画像の画素数が表示部１１６に表示するのに十分な画素数であると判定し、ステップＳ１１１へ進む。

以下、上記判定方法（対象画像画素数が表示部１１６に表示するのに十分な画素数であるか否かの判定方法）の根拠について、図１０、図１１、及び、図１２を用いて詳しく説明する。

まず、対象画像画素数が表示画素数に比べて縦横共に小さい場合について説明する（図１０）。このような場合、表示領域に表示対象の画像を表示しようとすると、拡大してから表示しなければならないため、密度の低い（粗い）画像が表示されることとなる。そのため、このような画像に対しては、超解像処理を施す必要があると判断するのである。

また、表示対象の画像の縦または横のいずれか一方の画素数が表示画素数に比べて小さい場合について説明する（図１１）。このような場合、表示領域全体に表示対象の画像を表示しようとすると、図１０の場合と同様に、画像を拡大してから表示しなければならない。そのため、このような画像に対しても、超解像処理を施す必要があると判断するのである。

一方、対象画像画素数が表示画素数に比べて縦横共に大きい場合について説明する（図１２）。このような場合、拡大処理無しに表示領域全体に入力された画像を表示することができる。そのため、このような画像に対しては、超解像処理を行う必要がないと判断するのである。

以上に述べたように、本実施形態では、対象画像画素数と表示画素数とに基づいて、表示対象の画像に対して超解像処理が有効か否か（超解像処理を施す必要があるか否か）をユーザが意識することなく自動的に判定することができる。具体的には、対象画像画素数が、表示画素数未満である場合に、表示対象の画像に対して超解像処理を施す必要があると判定し、対象画像画素数が、表示画素数以上である場合に、表示対象の画像に対して超解像処理を施す必要がないと判定する。そして、超解像処理が有効である（超解像処理を施す必要がある）と判定された場合にのみ、表示対象の画像に対して超解像処理を施す。それにより、超解像処理が有効でない画像に対して超解像処理を施すといった余分な処理
を省略することができる。即ち、画像処理装置を上述したような構成とすることにより、超解像処理を行うか否かを適切に制御することができる。

＜第２の実施形態＞
以下、本発明の第２の実施形態について説明する。本実施形態に係る画像処理装置は、外部記録媒体側（撮像装置）で擬似的に高画素化された画像データに対しても、適切な超解像処理を行う機能を有する。具体的には、本実施形態では、表示対象の画像は、拡大率（例えば、拡大処理されていない場合には１）を表す情報を含むものとする。そして、拡大率、対象画像画素数、及び、表示画素数に基づいて、表示対象の画像に超解像処理を施す。以下、本実施形態に係る画像処理装置が、対象画像データを取得し、表示部に表示するまでの処理について説明する。

まず、本実施形態に係る画像処理装置の内部構成及び動作の概略について、図１３の機能ブロック図を用いて説明する。本実施形態に係る画像処理装置２００の画素数判定部２０１は、第１の実施形態に係る画像処理装置１００の画素数判定部１０４に比べ、拡大情報取得部２０２を更に有する。また、本実施形態に係る画像処理装置２００の画素数比較部２０３と第１の実施形態に係る画像処理装置１００の画素数比較部１０８とでは、行う処理が互いに異なる（詳細については後述する）。

拡大情報取得部２０２は、入力ＩＦ部１０１から対象画像データのヘッダ情報を取得し、拡大率を表す情報を取得する。拡大率を表す情報は、例えば、図２のヘッダ情報における、デジタルズーム倍率などである。

画素数比較部２０３は、拡大率、対象画像画素数、及び、表示画素数に基づいて、表示対象の画像に超解像処理を施す必要があるか否かを判定する。

次に、本実施形態に係る画像処理装置における画像処理の流れを、図１４のフローチャートを用いて説明する。図１４のフローチャートに示すように、本実施形態に係る画像処理装置は、図３のフローチャートに比べ、ステップＳ２００とステップＳ２０２の処理を更に行う。また、上述したように、本実施形態に係る画像処理装置２００の画素数比較部２０３で行われる処理は、第１の実施形態に係る画像処理装置１００の画素数比較部１０８で行われる処理と異なる。そのため、本実施形態に係る画像処理装置は、図３におけるステップＳ１０７の処理として、ステップＳ２０１の処理を行う。なお、図１４において、他の処理（図３に示される処理と同じ番号が付されている処理）は、図３における処理と同様であるため、その説明は省略する。

ステップＳ２００は、拡大情報取得部２０２が対象画像データのヘッダ情報から拡大率を表す情報（拡大情報）を取得する処理である。

ステップＳ２０１は、画素数比較部２０３が、拡大率、対象画像画素数、及び、表示画素数に基づいて、対象画像画素数が表示部１１６に表示するのに十分な画素数であるか否かを判定する。十分な画素数でないと判定された場合、ステップＳ１０８に進み、十分な画素数ではあると判定された場合、ステップＳ１１１へ進む。

ステップＳ２０２は、画像合成処理部１１３が、表示対象の画像及びＭ枚の類似画像に対して、拡大前の画素数（実画素数）に戻す処理を行う。

ステップＳ２０１の処理の詳細について、以下、図１５のフローチャートを用いて説明する。

まず、画素数比較部２０３が、対象画像データのヘッダ情報から得られた拡大率を表す情報と対象画像画素数とを用いて、表示対象の画像の縦方向の実画素数を算出する（ステップＳ２３１）。そして、同様に、表示対象の画像の横方向の実画素数を算出する（ステップＳ２３２）。具体的には、対象画像画素数をデジタルズーム倍率の値（拡大率）で除算する。例えば、表示対象の画像の縦方向の画素数が１２００ドット、横方向の画素数が１６００ドットであり、対象画像データのヘッダ情報のデジタルズーム倍率の値が２であったとする。デジタルズーム処理は撮像装置で得られた画像を指定サイズまで拡大する処理であるため、２倍にデジタルズームされた画像は、元の画像を縦横に２倍に引き伸ばした画像となる。つまり、表示対象の画像の実画素数（拡大前の画素数）は、縦方向が（１２００÷２＝）６００ドット、横方向が（１６００÷２＝）８００ドットとなる。

次に、画素数比較部２０３が、表示領域の縦方向の画素数と表示対象の画像の縦方向の実画素数とを比較する（ステップＳ２３３）。表示対象の画像の縦方向の実画素数が表示領域の縦方向の画素数未満である場合（ステップＳ２３３：ＹＥＳ）、表示対象の画像に対して超解像処理を行う必要があると判断し、ステップＳ１０８へ進む。一方、表示対象の画像の縦方向の実画素数が表示領域の縦方向の画素数以上である場合（ステップＳ２３３：ＮＯ）、表示対象の画像に対して超解像処理を行う必要がないと判断し、ステップＳ２３４へ進む。

ステップＳ２３４では、画素数比較部２０３が、表示領域の横方向の画素数と表示対象の画像の横方向の実画素数とを比較する。入力画像の横方向の画素数が表示領域の横方向の画素数未満である場合（ステップＳ２３４：ＹＥＳ）、表示対象の画像に対して超解像処理を行う必要があると判断し、ステップＳ１０８へ進む。一方、表示対象の画像の横方向の画素数が表示領域の横方向の画素数以上である場合（ステップＳ２３４：ＮＯ）、表示対象の画像に対して超解像処理を行う必要がないと判断し、ステップＳ１１１へ進む。

以上述べたように、本実施形態に係る画像処理装置では、対象画像画素数とその画像の拡大率とを用いて算出された表示対象の画像の実画素数と、表示画素数と比較することにより、表示対象の画像に対して超解像処理を施すか否かを判定する。具体的には、表示対象の画像の実画素数が、表示画素数未満である場合に、表示対象の画像に対して超解像処理を施す必要があると判定し、表示対象の画像の実画素数が、表示画素数以上である場合に、表示対象の画像に対して超解像処理を施す必要がないと判定する。それにより、対象画像画素数が表示画素数以上であったとしても、表示対象の画像に対し超解像処理を施す必要があるか否かを的確に判定することができる。

なお、本実施形態では、表示対象の画像が撮像装置側でデジタルズーム処理（拡大処理）された画像の場合について説明したが、対象画像データのヘッダ情報から他の補間情報を得られるのであれば、その情報を用いて超解像処理を行うか否かを判断しても良い。

＜第３の実施形態＞
以下、本発明の第３の実施形態について説明する。本実施形態に係る画像処理装置は、表示対象の画像が、圧縮率が高く、劣化が大きい場合にも、適切な超解像処理を行うことができるものである。具体的には、本実施形態では、表示対象の画像は、その画像の圧縮率を表す情報を含むものとする。そして、圧縮率、対象画像画素数、及び、表示画素数に応じて、表示対象の画像に超解像処理を施す。以下、本実施形態に係る画像処理装置が、対象画像データを取得し、表示部に表示するまでの処理について説明する。

まず、本実施形態に係る画像処理装置の内部構成及び動作の概略について、図１６の機能ブロック図を用いて説明する。本実施形態に係る画像処理装置３００の画素数判定部３０１は、第１の実施形態に係る画像処理装置１００の画素数判定部１０４に比べ、圧縮情
報取得部３０２を更に有する。また、本実施形態に係る画像処理装置３００の画素数比較部３０３と第１の実施形態に係る画像処理装置１００の画素数比較部１０８とでは、行う処理が互いに異なる（詳細については後述する）。

圧縮情報取得部３０２は、入力ＩＦ部１０１から対象画像データのヘッダ情報を取得し、撮像装置側で記録された際の画像の圧縮方法に関する情報（圧縮率を表す情報；圧縮情報）を取得する。圧縮情報は、例えば、図２のヘッダ情報における、画像圧縮モードなどである。

画素数比較部３０３は、圧縮率、対象画像画素数、及び、表示画素数に応じて、表示対象の画像に超解像処理を施す必要があるか否かを判定する。

次に、本実施形態に係る画像処理装置における画像処理の流れを、図１７のフローチャートを用いて説明する。図１７のフローチャートに示すように、本実施形態に係る画像処理装置は、図３のフローチャートに比べ、ステップＳ３００の処理を更に行う。また、上述したように、本実施形態に係る画像処理装置３００の画素数比較部３０３で行われる処理は、第１の実施形態に係る画像処理装置１００の画素数比較部１０８で行われる処理と異なる。そのため、本実施形態に係る画像処理装置は、図３におけるステップＳ１０７の処理として、ステップＳ３０１の処理を行う。なお、図１７において、他の処理（図３に示される処理と同じ番号が付されている処理）は、図３における処理と同様であるため、その説明は省略する。

ステップＳ３００は、圧縮情報取得部３０２が対象画像データのヘッダ情報から圧縮情報を取得する処理である。

ステップＳ３０１は、画素数比較部３０３が、圧縮率、対象画像画素数、及び、表示画素数に応じて、対象画像画素数が表示部１１６に表示するのに十分な画素数であるか否かを判定する。十分な画素数でないと判定された場合、ステップＳ１０８へ進み、十分な画素数ではあると判定された場合、ステップＳ１１１へ進む。

ステップＳ３０１の処理の詳細について、以下、図１８のフローチャートを用いて説明する。

まず、画素数比較部３０３が、表示領域の縦方向の画素数と、表示対象の画像の縦方向の画素数とを比較する（ステップ３３１）。表示対象の画像の縦方向の画素数が表示領域の縦方向の画素数未満である場合（ステップＳ３３１：ＹＥＳ）、表示対象の画像に対して超解像処理を行う必要があると判断し、ステップＳ１０８へ進む。一方、表示対象の画像の縦方向の画素数が表示領域の縦方向の画素数以上である場合（ステップＳ３３１：ＮＯ）、表示対象の画像に対して超解像処理を行う必要がないと判断し、ステップＳ３３２へ進む。

ステップＳ３３２では、画素数比較部３０３が、表示領域の横方向の画素数と、表示対象の画像の横方向の画素数とを比較する。表示対象の画像の横方向の画素数が表示領域の横方向の画素数未満である場合（ステップＳ３３２：ＹＥＳ）、表示対象の画像に対して超解像処理を行う必要があると判断し、ステップＳ１０８へ進む。一方、表示対象の画像の横方向の画素数が表示領域の横方向の画素数以上である場合（ステップＳ３３２：ＮＯ）、表示対象の画像に対して超解像処理を行う必要がないと判断し、ステップＳ３３３へ進む。

ステップＳ３３３では、画素数比較部３０３が、圧縮情報に応じて、表示対象の画像に
対して超解像処理を行う必要があるか否かを判定する。超解像処理を行う必要があるか否かは、例えば、ヘッダ情報に記されている圧縮情報と、対象画像画素数が表示画素数に比べて十分多いか否かといった情報などから判定すればよい。具体的には、縦１２００ドット、横９００ドットという表示解像度に対して、図１９に示すような超解像処理判定テーブルを用いればよい。ステップＳ３３３において、表示対象の画像に対して超解像処理を行う必要があると判定された場合（ステップＳ３３３：ＹＥＳ）、ステップＳ１０８へ進む。一方、表示対象の画像に対して超解像処理を行う必要がないと判定された場合（ステップＳ３３３：ＮＯ）、ステップＳ１１１へ進む。

以上述べたように、本実施形態に係る画像処理装置では、圧縮率、対象画像画素数、及び、表示画素数に応じて、表示対象の画像に超解像処理を施す必要があるか否かを判定する。対象画像画素数が表示画素数以上であっても、圧縮率が高い場合、画像の損失が大きく、ブロックノイズなどの画像の劣化が起きている可能性が高い（特にデジタルテレビなど、大画面で閲覧した際に、そのような現象は判別しやすい）。本実施形態では、上記構成により、そのような現象を考慮して適切に超解像処理を行うことができる。即ち、表示対象の画像が、圧縮率が高く、劣化が大きい場合にも、適切な超解像処理を行うことができる。

以上述べたように、上記第１〜第３の実施形態に係る画像処理装置では、対象画像画素数と表示画素数とに基づいて、表示対象の画像に対して超解像処理を施す必要があるか否かを判定する。それにより、超解像処理を施すか否かを適切に制御することができる。

なお、上記実施形態では、十分な画素数の画像を得るために、対象画像画素数が表示画素数に比べて小さい場合は、外部記録媒体に記録されている全ての類似画像と合成し、高解像度化している。しかし、類似画像を１枚ずつ用いて合成し、合成した画像の画素数が表示画素数以上になった時点で画像の合成を中断してもよい。それにより、外部記録媒体に記録されている全ての類似画像と合成するよりも少ない画像の合成で済むため、合成の処理を軽減することが可能となる。

なお、上記実施形態では、表示部の表示領域について詳しく定義していないが、表示領域は表示部の表示可能な領域全体であってもよいし、表示部の表示可能な一部の領域であってもよい。例えば、２画面表示の一方にのみ外部記録媒体からの画像（表示対象の画像）を表示する場合には、表示領域は、全表示領域の１／２とすればよい。

なお、本実施形態では、画像処理装置がデジタルテレビの場合（画像処理装置が表示部を備えている場合）について説明したが、画像処理装置とデジタルテレビ（表示部）とは互いに独立した装置であってもよい。

図１は、本発明の第１の実施形態に係る画像処理装置の構成を示す機能ブロック図である。 図２は、画像データの構成を示す図である。 図３は、本発明の第１の実施形態に係る画像処理装置における画像処理の流れを示すフローチャートである。 図４は、図３のステップＳ１０３の処理方法の詳細を示すフローチャートである。 図５は、図４のステップＳ１２４における具体的な判定方法を説明するための図である。 図６は、図４のステップＳ１２４における具体的な判定方法を説明するための図である。 図７は、図４のステップＳ１２４における具体的な判定方法を説明するための図である。 図８は、類似画像が存在するか否かの判定方法の一例を示す図である。 図９は、図３のステップＳ１０７の処理の方法の詳細を示すフローチャートである。 図１０は、対象画像画素数が表示部に表示するのに十分な画素数であるか否かの判定方法の根拠を詳細に説明するための図である。 図１１は、対象画像画素数が表示部に表示するのに十分な画素数であるか否かの判定方法の根拠を詳細に説明するための図である。 図１２は、対象画像画素数が表示部に表示するのに十分な画素数であるか否かの判定方法の根拠を詳細に説明するための図である。 図１３は、本発明の第２の実施形態に係る画像処理装置の構成を示す機能ブロック図である。 図１４は、本発明の第２の実施形態に係る画像処理装置における画像処理の流れを示すフローチャートである。 図１５は、ステップＳ２０１の処理の詳細を示すフローチャートである。 図１６は、本発明の第３の実施形態に係る画像処理装置の構成を示す機能ブロック図である。 図１７は、本発明の第３の実施形態に係る画像処理装置における画像処理の流れを示すフローチャートである。 図１８は、ステップＳ３０１の処理の詳細を示すフローチャートである。 図１９は、本発明の第３の実施形態に係る画像処理装置において、表示対象の画像に対して超解像処理を行う必要があるか否かを判定するために用いる超解像処理判定テーブルの一例を示す図である。

符号の説明

１００，２００，３００ 画像処理装置
１０１ 入力ＩＦ部
１０２ 制御部
１０３ 類似画像判定部
１０４，２０１ 画素数判定部
１０５ 対象画像画素数取得部
１０６ 表示画素数取得部
１０８，２０３，３０３ 画素数比較部
１０９ デコード処理部
１１０ 画像記録部
１１１ 超解像処理部
１１２ 位置合わせ処理部
１１３ 画像合成処理部
１１４ 表示情報記憶部
１１５ 画像処理部
１１６ 表示部
２０２ 拡大情報取得部
３０２ 圧縮情報取得部

Claims (10)

1. 複数の類似する画像を合成することにより高解像度化する超解像処理の機能を有する画像処理装置であって、
   表示対象の画像の画素数と、画像を表示する表示部の表示領域の画素数と、表示対象の画像の圧縮率とに基づいて、前記表示対象の画像に対して超解像処理を施す必要があるか否か判定する判定手段と、
   前記判定手段で超解像処理を施す必要があると判定された場合に、前記表示対象の画像に対して超解像処理を施す超解像処理手段と、
   を有し、
   前記判定手段は、
   前記表示対象の画像の圧縮率が所定値以上である場合に、前記表示対象の画像に対して超解像処理を施す必要があると判定し、
   前記表示対象の画像の圧縮率が所定値未満である場合に、前記表示対象の画像に対して超解像処理を施す必要がないと判定する
   ことを特徴とする画像処理装置。
2. 前記判定手段は、
   前記表示対象の画像の画素数が、前記表示領域の画素数未満である場合に、前記表示対象の画像の圧縮率に拘わらず、前記表示対象の画像に対して超解像処理を施す必要があると判定する
   ことを特徴とする請求項１に記載の画像処理装置。
3. 複数の類似する画像を合成することにより高解像度化する超解像処理の機能を有する画像処理装置であって、
   表示対象の画像の画素数と、画像を表示する表示部の表示領域の画素数と、表示対象の画像の拡大率とに基づいて、前記表示対象の画像に対して超解像処理を施す必要があるか否か判定する判定手段と、
   前記判定手段で超解像処理を施す必要があると判定された場合に、前記表示対象の画像に対して超解像処理を施す超解像処理手段と、
   を有し、
   前記判定手段は、前記表示対象の画像の画素数と前記拡大率とを用いて拡大前の画素数を算出し、当該算出された画素数と、前記表示部の表示領域の画素数とを比較することにより、前記表示対象の画像に対して超解像処理を施す必要があるか否か判定する
   ことを特徴とする画像処理装置。
4. 前記判定手段は、
   前記表示対象の画像の拡大前の画素数が、前記表示領域の画素数未満である場合に、前記表示対象の画像に対して超解像処理を施す必要があると判定し、
   前記表示対象の画像の拡大前の画素数が、前記表示領域の画素数以上である場合に、前記表示対象の画像に対して超解像処理を施す必要がないと判定する
   ことを特徴とする請求項３に記載の画像処理装置。
5. 前記表示対象の画像は外部に接続された撮像装置から取得された画像であり、
   前記表示対象の画像及びその画像に類似する画像は、１回の連写撮影によって得られた画像である
   ことを特徴とする請求項１〜４のいずれか１項に記載の画像処理装置。
6. 複数の類似する画像を合成することにより高解像度化する超解像処理の機能を有する画像処理装置の制御方法であって、
   表示対象の画像の画素数と、画像を表示する表示部の表示領域の画素数と、表示対象の画像の圧縮率とに基づいて、前記表示対象の画像に対して超解像処理を施す必要があるか否か判定する判定ステップと、
   超解像処理を施す必要があると判定された場合に、前記表示対象の画像に対して超解像処理を施す超解像処理ステップと、
   を有し、
   前記判定ステップでは、
   前記表示対象の画像の圧縮率が所定値以上である場合に、前記表示対象の画像に対して超解像処理を施す必要があると判定し、
   前記表示対象の画像の圧縮率が所定値未満である場合に、前記表示対象の画像に対して超解像処理を施す必要がないと判定する
   ことを特徴とする画像処理装置の制御方法。
7. 前記判定ステップでは、
   前記表示対象の画像の画素数が、前記表示領域の画素数未満である場合に、前記表示対象の画像の圧縮率に拘わらず、前記表示対象の画像に対して超解像処理を施す必要があると判定する
   ことを特徴とする請求項６に記載の画像処理装置の制御方法。
8. 複数の類似する画像を合成することにより高解像度化する超解像処理の機能を有する画像処理装置の制御方法であって、
   表示対象の画像の画素数と、画像を表示する表示部の表示領域の画素数と、表示対象の画像の拡大率とに基づいて、前記表示対象の画像に対して超解像処理を施す必要があるか否か判定する判定ステップと、
   超解像処理を施す必要があると判定された場合に、前記表示対象の画像に対して超解像処理を施す超解像処理ステップと、
   を有し、
   前記判定ステップでは、前記表示対象の画像の画素数と前記拡大率とを用いて拡大前の画素数を算出し、当該算出された画素数と、前記表示部の表示領域の画素数とを比較することにより、前記表示対象の画像に対して超解像処理を施す必要があるか否か判定する
   ことを特徴とする画像処理装置の制御方法。
9. 前記判定ステップでは、
   前記表示対象の画像の拡大前の画素数が、前記表示領域の画素数未満である場合に、前記表示対象の画像に対して超解像処理を施す必要があると判定し、
   前記表示対象の画像の拡大前の画素数が、前記表示領域の画素数以上である場合に、前記表示対象の画像に対して超解像処理を施す必要がないと判定する
   ことを特徴とする請求項８に記載の画像処理装置の制御方法。
10. 前記表示対象の画像は外部に接続された撮像装置から取得された画像であり、
    前記表示対象の画像及びその画像に類似する画像は、１回の連写撮影によって得られた画像である
    ことを特徴とする請求項６〜９のいずれか１項に記載の画像処理装置の制御方法。

Images