JP4977243B2 - 画像処理装置、方法、及びプログラム - Google Patents

Description

本発明の実施形態は、画像処理装置、方法、及びプログラムに関する。

写真や動画等のコンテンツのサムネイル画像を生成する際に、当該サムネイル画像において特徴的な領域である特徴領域を拡大するとともに他の領域を歪ませるように、当該サムネイル画像を作成する画像処理装置がある。

このような画像処理装置では、ユーザがコンテンツの内容を認識しやすいサムネイル画像を作成することが可能なものが望まれている。

特開２００６−３１３５１１号公報 特許第３４８２９２３号公報

中村 徳裕、阿部 英彦、西尾 孝治、小堀 研一、"Delaunay三角形分割を用いた解像度変換に関する一手法"、画像電子学会誌、Vol.35、No.5、2005. M. Kass, A. Witkin, and D. Terzopoulos, "Snakes: Active Contour Models." International Journal of Computer Vision, Vol.1, No.4, pp. 321-331, 1988.

本発明が解決しようとする課題は、ユーザがコンテンツの内容を認識しやすいサムネイル画像を作成することが可能な画像処理装置、方法、及びプログラムを提供することである。

上記課題を解決するために、本発明の実施形態に係る画像処理装置は、入力部と、第１領域算出部と、第２領域算出部と、変形情報算出部と、画像変形部とを備える。

入力部は、処理対象となる画像を入力し、第１領域算出部が、前記画像内において、特定の領域である第１領域を算出する。第２領域算出部は、前記画像内において、前記第１領域を取り囲む領域である第２領域を算出する。変形情報算出部は、前記第１領域の形状及び大きさと、前記第２領域の形状及び大きさとに基づいて、前記第２領域内において、前記第１領域に含まれる画像を拡大する際の中心となる拡大中心と、前記第１領域に含まれる画像を拡大する倍率である拡大倍率とを算出する。画像変形部は、前記拡大中心と前記拡大倍率とに基づいて、前記第２領域に含まれる画像を歪ませながら、前記第１領域に含まれる画像を拡大することを特徴とする。

第１の実施の形態に係る画像処理装置１による画像処理の説明図。 第１の実施の形態における入力画像５０の形式の説明図。 画像処理装置１の構成を表すブロック図。 画像処理装置１の処理を表すフローチャート。 第２領域算出部１３の処理を説明するための図。 変形情報算出部１４の処理を表すフローチャート。 候補点Ｐｎを示す一例図。 半直線ＯＷと交点Ｄ１、及び半直線ＯＷと交点Ｄ２を表す概念図。 変形例における画像変形部１５の処理を表すフローチャート。 第２の実施の形態に係る画像処理装置２の構成を表すブロック図。

（第１の実施の形態）
第１の実施の形態に係る画像処理装置１は、入力画像を加工処理して、サムネイル画像を生成するものである。画像処理装置１は、例えば、ＰＣ（パーソナルコンピュータ）、携帯電話、デジタルカメラ等、画像を表示することが可能な情報端末等に用いられる。

図１は、画像処理装置１による画像処理の説明図である。画像処理装置１は、処理対象となる入力画像５０（後述する）の中で、ユーザに注目されやすい領域である第１領域５０１を算出する。画像処理装置１は、第１領域５０１を取り囲む領域である第２領域５０２を算出する。画像処理装置１は、第２領域５０２に含まれる画像を歪ませながら、第１領域５０１に含まれる画像を拡大する。画像処理装置１は、第１領域５０１に含まれる画像を第２領域５０２内で拡大する。これにより、画像処理装置１は、入力画像５０を加工したサムネイル画像６０を生成する。

すなわち、入力画像５０において（図１（ａ））、第１領域５０１内にある物体６０１が拡大され、第２領域５０２内にある物体６０２が圧縮されたものが、サムネイル画像６０となる（図１（ｂ））。

ここで、本実施形態における入力画像５０について説明する。図２は、本実施形態における入力画像５０を説明するための図である。図２に示すように、入力画像５０は、位置（ｘ，ｙ）及び輝度Ｉで定義される座標空間において、複数のパッチを含むメッシュにより表現される。

メッシュは、各頂点の座標情報（ｘ，ｙ，Ｉ）及び、一の頂点がどの頂点とエッジで接続されているかを示す接続情報（例えば、図２右下において、「頂点Ｐ１は頂点Ｐ２〜Ｐ８と接続される」といった情報）により表わされてよい。パッチとは、頂点どうしを接続するエッジにより囲まれた一の面をいう。図２において、一のパッチは三角形の形状をした三角形パッチであるが、他の形状をしたパッチあっても構わない。

また、入力画像５０がカラー画像である場合、各頂点は、輝度Ｉの他に、色情報（例えば、ＲＧＢ）を含んでいてもよい。また、各パッチには、各パッチを識別するためのパッチＩＤが付されていてよい。メッシュにおける各頂点には、各頂点を識別するための頂点ＩＤが付されていてよい。

図３は、画像処理装置１の構成を表すブロック図である。画像処理装置１は、入力部１１と、処理部５と、提示部１６と、記憶部３０を備える。処理部５は、第１領域算出部１２と、第２領域算出部１３と、変形情報算出部１４と、画像変形部１５とを含む。

入力部１１は、処理対象となる入力画像５０を入力する。入力画像５０は、非特許文献１記載の手法により、例えば、ＪＰＥＧやビットマップ等の元画像を上記メッシュに変換したものであってよい。

第１領域算出部１２は、入力画像５０において、輝度の変化の激しさを表す注目度に基づいて、第１領域５０１を算出する。すなわち、注目度は、ユーザからの注目されやすさを表す。例えば、注目度は、入力画像５０内における輝度の変化の激しさに基づいて求められ得る。例えば、特許文献２の手法を用いてもよい。

第２領域算出部１３は、第１領域５０１に基づいて、第１領域５０１を取り囲む第２領域５０２を算出する。

変形情報算出部１４は、第１領域５０１の大きさ及び形状と、第２領域５０２の大きさ及び形状とに基づいて、第１領域５０１を拡大する倍率である拡大倍率Ｒと、第１領域５０１を拡大する際の中心となる拡大中心Ｏとを算出する。

画像変形部１５は、拡大倍率と、拡大中心とに基づいて、第２領域５０２に含まれる画像を歪ませながら、第１領域５０１に含まれる画像を拡大することにより入力画像５０を加工し、サムネイル画像６０を生成する。提示部１６は、サムネイル画像６０を提示する。

処理部５は、中央演算処理装置（ＣＰＵ）及びＣＰＵが用いるメモリにより実現されてよい。記憶部３０は、ＣＰＵが用いるメモリにより実現されてよい。

以上、画像処理装置１の構成について説明した。

図４は、画像処理装置１の処理を表すフローチャートである。入力部１１は、処理対象となる入力画像５０を入力する（Ｓ３０１）。第１領域算出部１２は、入力画像５０の中で、第１領域５０１を算出する（Ｓ３０２）。第２領域算出部１３は、第２領域５０２を算出する（Ｓ３０３）。変形情報算出部１４は、第１領域５０１の大きさ及び形状と、第２領域５０２の大きさ及び形状とに基づいて、拡大倍率と、拡大中心とを算出する（Ｓ３０４）。

画像変形部１５は、拡大倍率と、拡大中心とに基づいて、第１領域５０１に含まれる画像を拡大しながら、第２領域５０２に含まれる画像を圧縮することにより、入力画像５０を変形し、サムネイル画像６０を生成する（Ｓ３０５）。提示部１６は、サムネイル画像６０を提示する。

以上、画像処理装置１の処理について説明した。

以下、各部について詳述する。

入力部１１は、入力した入力画像５０を第１領域算出部１２と第２領域算出部１３とに供給する。また、入力部１１は、入力画像５０を記憶部３０に書き込む。

第１領域算出部１２は、入力部１１から供給された入力画像５０の中で、注目度に基づき、第１領域５０１を算出する。第１領域算出部１２は、メッシュにおける複数（ｋ個とする）の頂点を連結することにより取り囲まれる領域（パッチの集合）を第１領域５０１にしてよい。第１領域算出部１２は、例えば、特許文献２記載の手法により、注目度を算出してよい。第１領域算出部１２は、第１領域５０１を第２領域算出部１３と変形情報算出部１４とに通知する。例えば、第１領域算出部１２は、第１領域５０１に含まれるパッチのパッチＩＤを第２領域算出部１３と変形情報算出部１４とに通知してよい。

第２領域算出部１３は、第１領域５０１に基づいて、第２領域５０２を算出する。図５は、第２領域算出部１３の処理を説明するための図である。例えば、第２領域算出部１３は、第１領域５０１の大きさに基づき、第１領域５０１を予め定められた倍率で拡大した領域（例えば、第１領域５０１の重心を中心として拡大した領域）である一時領域５１１を設定する。

第２領域算出部１３は、一時領域５１１において、第１領域５０１の輪郭に含まれる各頂点に対応する頂点を、調整点Ｃｎ（ｎ＝１〜ｋ）として設定する。ただし、このとき第２領域算出部１３は、調整点Ｃｎのｘｙ座標を含むパッチの面上に、各調整点Ｃｎを設定する。

第２領域算出部１３は、一時領域５１１内に含まれる複数のパッチの輝度の勾配（輝度変化）に基づいて、一時領域５１１の輪郭が短く、かつ滑らかな形状となるように、調整点Ｃｎを移動させ、一時領域５１１を変形することにより、第２領域５０２を算出する。例えば、第２領域算出部１３は、非特許文献２記載の動的輪郭モデル（Ｓｎａｋｅ法）を用いることにより、第２領域５０２を算出してよい。また、例えば、第２領域算出部１３は、第１領域５０１を拡大した状態の一時領域５１１を第２領域５０２としても構わない。

第２領域算出部１３は、第２領域５０２を変形情報算出部１４に通知する。例えば、第２領域算出部１３は、第２領域５０２に含まれるパッチのパッチＩＤを変形情報算出部１４に通知してよい。

変形情報算出部１４は、第１領域５０１と第２領域５０２とに基づいて、第１領域５０１を拡大する際の中心となる拡大中心Ｏと、第１領域５０１を拡大する倍率である拡大倍率Ｒとを算出する。

図６は、変形情報算出部１４の処理を表すフローチャートである。変形情報算出部１４は、第１領域５０１において、拡大中心の候補となる複数の候補点Ｑｍ（ｍ＝１〜ｓ）（ｓは、候補点の個数である）を設定する（Ｓ６０１）。図７は、候補点Ｑｍを示す一例図である。例えば、変形情報算出部１４は、第１領域５０１内において、第１領域５０１の重心を求め、当該重心から、予め定められた間隔で格子状に候補点Ｑｍを設定してもよい。

変形情報算出部１４は、ｍ＝１に設定し（Ｓ６０２）、候補点Ｑｍを拡大中心Ｏとして選択する（Ｓ６０３）。変形情報算出部１４は、第１領域５０１の拡大倍率ｒを初期値としてｒ＝１．０に設定する（Ｓ６０４）。変形情報算出部１４は、候補点Ｑｍを拡大中心Ｏとして、第１領域５０１を拡大倍率ｒだけ拡大する（Ｓ６０５）。具体的には、拡大中心Ｏから第１領域５０１内のメッシュの頂点（Ｖとする）までを結ぶ半直線ＯＶがｒ倍になる点Ｖ’（ＯＶ’＝ｒ×ＯＶ）にメッシュの頂点Ｖを移動する。これを第１領域５０１内の全てのメッシュの頂点について行なうことにより、第１領域５０１が拡大される。

変形情報算出部１４は、拡大した第１領域５０１が第２領域５０２の中に含まれているか否かを判定する（Ｓ６０６）。ステップＳ６０６における判定がＹＥＳの場合、変形情報算出部１４は、拡大倍率ｒに、所定の定数Δｒ（例えば、Δｒ＝０．１）を加えたもの（ｒ+Δｒ）を新たな拡大倍率ｒとして（Ｓ６０７）、ステップＳ６０５に遷移する。

ステップＳ６０６における判定がＮＯの場合、変形情報算出部１４は、拡大倍率Ｒを決定する。例えば、変形情報算出部１４は、Ｒ＝ｒ−Δｒを拡大倍率Ｒとして決定してよい。

変形情報算出部１４は、更新前の拡大倍率Ｒ（後述する）よりも拡大倍率ｒの方が大きいか否かを判定する（Ｓ６０９）。ステップＳ６０９における判定がＮＯの場合、変形情報算出部１４は、ｍ＝ｓであるか否かを判定する（Ｓ６１１）。すなわち、変形情報算出部１４は、全てのＱｍを選択したか否かを判定する。ステップＳ６１１における判定がＮＯの場合、ｍに１を加えたもの（ｍ＋１）を新たなｍとして、ステップＳ６０３に遷移する。

ステップＳ６０９における判定がＹＥＳの場合、変形情報算出部１４は、拡大倍率ｒを新たな拡大倍率Ｒとして記憶部３０に書き込み、拡大倍率Ｒを更新する。また、そのときのＱｍを拡大中心Ｏとして記憶部３０に書き込み、拡大中心Ｏを更新する（Ｓ６１０）。そして、ステップＳ６１１に遷移する。

ステップＳ６１１における判定がＹＥＳの場合、変形情報算出部１４は、拡大倍率Ｒと、拡大中心Ｏとを画像変形部１５に通知し、処理を終了する。

なお、変形情報算出部１４は、図６のフローチャートにおける例ではなく、全ての候補点Ｑｍ毎に拡大倍率ｒを算出して、記憶部３０に記憶させておいてもよい。その際、変形情報算出部１４は、大きさが最大である拡大倍率ｒを拡大倍率Ｒとして決定し、当該拡大倍率ｒを持つ候補点Ｑｍを拡大中心Ｏとしてもよい。

画像変形部１５は、拡大倍率Ｒと、拡大中心Ｏとに基づいて、第２領域５０２を歪ませながら、第１領域５０１を拡大する。すなわち、画像変形部１５は、入力画像５０におけるメッシュの各頂点のうち、第１領域５０１内及び第２領域５０２内の頂点を拡大倍率Ｒと、拡大中心Ｏとに基づいて移動させることにより、入力画像５０を加工したサムネイル画像６０を生成する。

図８は、画像変形部１５の処理を表すフローチャートである。図８のフローチャートは、画像変形部１５が入力画像５０を記憶部３０から読み出した状態から開始する。画像変形部１５は、入力画像５０のメッシュの各頂点において、移動が完了していない一の頂点を処理対象の頂点（処理対象頂点Ｗ）として選択する（Ｓ８０１）。

画像変形部１５は、拡大中心Oから処理対象頂点Ｗに半直線ＯＷを引き、半直線ＯＷと第１領域５０１の輪郭との交点Ｄ１、及び半直線ＯＷと第２領域５０２の輪郭との交点Ｄ２を求める（Ｓ８０２）。図９は、半直線ＯＷと交点Ｄ１、及び半直線ＯＷと交点Ｄ２を表す概念図である。半直線ＯＷと交点Ｄ１、及び半直線ＯＷと交点Ｄ２は、図９に示すような関係となる。

画像変形部１５は、選択した移動対象頂点Ｗが、第１領域５０１内にあるか否かを判定する（Ｓ８０３）。ステップＳ８０３における判定がＹＥＳの場合、画像変形部１５は、「ＯＷ’（ベクトル）＝拡大倍率Ｒ×ＯＷ（ベクトル）」となる点Ｗ’の位置に、選択した移動対象頂点Ｗを移動させる（Ｓ８０４）。そして、画像変形部１５は、入力画像５０のメッシュにおける全ての頂点を選択したか否かを判定する（Ｓ８０７）。例えば、画像変形部１５は、移動対象頂点Ｗとして選択した頂点の頂点ＩＤを記憶部３０に記憶させておくことにより、ステップＳ８０７における判定を行なってもよい。

ステップＳ８０７における判定がＹＥＳの場合、画像変形部１５は、画像の変形が終了したことを提示部１６に通知し、処理を終了する。ステップＳ８０７における判定がＮＯの場合、ステップＳ８０１に遷移する。

ステップＳ８０３における判定がＮＯの場合、画像変形部１５は、選択した移動対象頂点Ｗが、第２領域５０２内かつ第１領域５０１外にあるか否かを判定する（Ｓ８０５）。ステップＳ８０５における判定がＮＯの場合、ステップＳ８０７に遷移する。ステップＳ８０５における判定がＹＥＳの場合、「Ｄ１’Ｗ’：Ｗ’Ｄ２＝Ｄ１Ｗ：ＷＤ２」となる点Ｗ’の位置に移動対象頂点Ｗを移動させる（Ｓ８０６）。ここでＤ１’とは、拡大倍率Ｒで拡大した第１領域５０１の輪郭と、半直線ＯＷ’との交点である。そして、ステップＳ８０７に遷移する。図８のフローチャートに示した処理により、入力画像５０はサムネイル画像６０になる。

提示部１６は、サムネイル画像６０を提示する。例えば、提示部１６は、サムネイル画像６０をレンダリングして表示するディスプレイであってよい。この場合、提示部１６は、メッシュの各頂点が持つ色情報を用いて、パッチ内を補間することにより、レンダリングしてよい（非特許文献１参照）。

（変形例）
なお、本実施の形態において、入力画像５０は、メッシュで表現されるものであるとしたが、ピクセル画像であっても構わない。この場合、第1領域算出部１２と、第２領域算出部１３と、変形情報算出部１４とは、上述のメッシュの頂点を、各ピクセルの中心点として同様の処理を行なえばよい。

また、画像変形部１５は、記憶部３０に記憶された各ピクセルの輝度及び色情報を書き換えることによって画像変形を行なう。すなわち、上述のメッシュの頂点の移動先を決定する方法と同様に、各ピクセルの中央点の移動先を仮に算出する。各ピクセルの中央点の移動先として算出された座標にピクセルの輝度及び色情報を持たせたものを参照点とし、その参照点を補間することで各ピクセルの輝度及び色情報を書き換え、変形後の画像を生成する。

（第２の実施の形態）
第２の実施の形態に係る画像処理装置２は、第１領域５０１をユーザにより指定させるものである。図１０は、画像処理装置２の構成を表すブロック図である。画像処理装置１０は、画像処理装置１に対して、指定部１７をさらに備える。指定部１７は、ユーザによる操作により第１領域５０１を指定する。指定部１７とは、例えば、マウスやキーボード、タッチペン等であってよい。

以上、上述した実施の形態により、ユーザがコンテンツの内容を認識しやすいサムネイル画像を作成することが可能な画像処理装置、方法、及びプログラムを提供するこができる。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１、２ 画像処理装置
５ 処理部
１１ 入力部
１２ 第１領域算出部
１３ 第２領域算出部
１４ 変形情報算出部
１５ 画像変形部
１６ 提示部
１７ 指定部
３０ 記憶部

Claims (6)

1. 処理対象となる画像を入力する入力部と、
   前記画像内において、特定の領域である第１領域を算出する第１領域算出部と、
   前記画像内において、前記第１領域を取り囲む領域である第２領域を算出する第２領域算出部と、
   前記第１領域の形状及び大きさと、前記第２領域の形状及び大きさとに基づいて、前記第２領域内において、前記第１領域に含まれる画像を拡大する際の中心となる拡大中心と、前記第１領域に含まれる画像を拡大する倍率である拡大倍率とを算出する変形情報算出部と、
   前記拡大中心と前記拡大倍率とに基づいて、前記第２領域に含まれる画像を歪ませながら、前記第１領域に含まれる画像を拡大する画像変形部とを
   備える画像処理装置。
2. 前記第１領域算出部は、
   前記画像内において、輝度の変化の激しさの程度を表す注目度に基づいて、前記第１領域を算出し、
   前記第２領域算出部は、
   前記画像の輝度変化に応じて、前記第２領域を算出する、
   請求項１記載の画像処理装置。
3. 前記画像は、
   位置および輝度で定義される座標空間において、幾何学平面であるパッチの集合であるメッシュにより表現される画像であり、
   前記第２領域算出部は、
   前記メッシュにおける前記パッチの起伏の変化に応じて、前記第２領域を算出し、
   前記画像変形部は、
   前記第１領域内における前記メッシュの頂点について、前記拡大中心から前記頂点までの距離を前記拡大倍率だけ拡大した位置に、前記頂点を移動することにより、前記第２領域に含まれる画像を歪ませながら、前記第１領域に含まれる画像を拡大する、
   請求項１又は２記載の画像処理装置。
4. 前記画像は、
   位置及び輝度で表わされるピクセル画像であり、
   前記画像変形部は、
   前記第１領域内におけるピクセルについて、前記拡大中心から前記ピクセルの中心点までの距離を前記拡大倍率だけ拡大した位置にある前記ピクセルの輝度を、拡大前の前記ピクセルの輝度及び前記ピクセルと隣接するピクセルの輝度とに基づいて決定することにより、前記第２領域に含まれる画像を歪ませながら、前記第１領域に含まれる画像を拡大する、
   請求項１又は２記載の画像処理装置。
5. 入力部が、処理対象となる画像を入力し、
   第１領域算出部が、前記画像内において、特定の領域である第１領域を算出し、
   第２領域算出部が、前記画像内において、前記第１領域を取り囲む領域である第２領域を算出し、
   変形情報算出部が、前記第１領域の形状及び大きさと、前記第２領域の形状及び大きさとに基づいて、前記第２領域内において、前記第１領域に含まれる画像を拡大する際の中心となる拡大中心と、前記第１領域に含まれる画像を拡大する倍率である拡大倍率とを算出し、
   画像変形部が、前記拡大中心と前記拡大倍率とに基づいて、前記第２領域に含まれる画像を歪ませながら、前記第１領域に含まれる画像を拡大する
   画像処理方法。
6. 画像を処理するためにコンピュータを、
   処理対象となる画像を入力する手段と、
   前記画像内において、特定の領域である第１領域を算出する手段と、
   前記画像内において、前記第１領域を取り囲む領域である第２領域を算出する手段と、
   前記第１領域の形状及び大きさと、前記第２領域の形状及び大きさとに基づいて、前記第２領域内において、前記第１領域に含まれる画像を拡大する際の中心となる拡大中心と、前記第１領域に含まれる画像を拡大する倍率である拡大倍率とを算出する手段と、
   前記拡大中心と前記拡大倍率とに基づいて、前記第２領域に含まれる画像を歪ませながら、前記第１領域に含まれる画像を拡大する手段と
   して機能させるための画像処理プログラム。

Images