JPWO2007001026A1

JPWO2007001026A1 - 画像処理装置及び画像処理方法

Info

Publication number: JPWO2007001026A1
Application number: JP2007509260A
Authority: JP
Inventors: 健二平岡
Original assignee: Panasonic Corp; Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Corp; Panasonic Holdings Corp
Priority date: 2005-06-28
Filing date: 2006-06-28
Publication date: 2009-01-22
Also published as: WO2007001026A1

Abstract

携帯端末等の表示領域に一覧表示される複数の部分画像の差違を明確にし、元画像を容易に判別し得る画像処理装置及び方法を提供する。主要領域抽出部１２１は、複数のパラメータを用いて画像出力部１１より出力された元画像の中から主要領域を抽出する。主要流域修正部１３及び画像拡縮部１４は、主要領域抽出部１２１により抽出された主要領域の画像の大きさを修正して、部分画像一覧に表示させる部分画像を生成する。配置決定部１５は、部分画像一覧に対し、主要流域修正部１３及び画像拡縮部１４により生成された部分画像の配置箇所を決定する。画像合成部１６は、配置決定部１５により決定された配置箇所に基づき、生成された部分画像を合成して部分画像一覧を生成する。画像表示部１７は、画像合成部１６により生成された部分画像一覧を表示する。

Description

本発明は、携帯端末等の表示領域が小さいデバイスに一覧表示される部分画像を生成する画像処理装置及び画像処理方法に関する。

従来、画像処理装置において部分画像を生成する方法として、１）元画像を均等に縮小し（間引いて）部分画像を生成する方法、２）元画像の中から主要領域のみを切り出して部分画像を生成する方法が採用されていた。

しかしながら、１）元画像を均等に縮小し（間引いて）部分画像を生成する方法では、画像によっては縮小されることにより画像の相違が認識しずらいという事情があった。特に、近年、撮像素子の画素数の増加に伴い元画像の画面も広くなり、部分画像を生成するに際してデータの間引き量が多くなり画像の相違が認識しづらくなっている。また、２）元画像の中から主要領域のみを縮小して部分画像を生成する方法では、生成された部分画像がどの元画像から生成されたかを認識しずらいという事情があった。

このような事情を解決する方法として、元画像の中の主要領域を大きくとりその他の部分を小さく縮小して部分画像を生成する技術が開示されている（例えば、特許文献１参照）。この開示されている技術は、映像入力装置から出力される元画像から所定の条件、例えば予め用意した画像形状パターンがどの程度出現しているかを重みとして算出している。重みは、パターン面積と出現回数で決定されている。次に、この技術は、重みピークが元画像においてどの部分に存在するかを調べ、重みピークが存在する領域を主代表領域として選定する。その後、この技術は、選定した主代表領域に大きな代表評価値を設定し、それ以外の領域には小さな代表評価値を設定する。その後、この技術は、主代表領域以外の領域についての重みを検討して、主代表領域及びそれ以外の領域の代表評価値を修正し、最終的に、元画像を構成する複数の領域（主代表領域を含む）の代表評価値を決定する。次に、この技術は、複数の領域が有する代表評価値を元にして各領域を縮小した画像を生成し、生成した縮小画像を合成して部分画像を生成する。生成した部分画像のうち、主代表領域の部分は大きな画面領域を有している。
特開２００２−１６５０９１号公報

上述した技術を有する画像処理方法では、元画像から主代表領域を検出する仕方が単一である。従って、様々な被写体が撮影されている複数の画像を一覧表示させようとした場合には、同じような被写体のみが表示されてしまい、結局それぞれの元画像を判別することが困難になるという問題点があった。

本発明は、携帯端末等の表示領域に一覧表示される複数の部分画像を、元画像から互いに異なる手法によって抽出し、表示することにより、元画像を判別しやすくする画像処理装置及び画像処理方法を提供する。

上記課題を解決するため、本発明は、部分画像を複数有する部分画像一覧を表示する画像処理装置であって、前記部分画像を生成するための元画像を出力する元画像出力部と、複数のパラメータを用いて、前記元画像出力部により出力された元画像の中から主要領域を抽出する主要領域抽出部と、前記主要領域抽出部により抽出された前記主要領域の画像を部分画像とし、当該部分画像を合成して部分画像一覧を生成する画像合成部とを備える。

本発明によれば、主要領域が複数のパラメータを用いて元画像の中から抽出されるので、各種の映像内容を有する主要領域が抽出される。そして、このような各種の映像内容を有する部分画像一覧により、各元画像の差異を明確にすることができる。従って、部分画像一覧から、元画像を容易に判別することができる。

前記主要領域抽出部により抽出された主要領域から、必要とされる主要領域を選択する基準を示す重要度を算出する重要度算出部を更に設け、前記主要領域抽出部が、前記重要度算出部により算出された前記主要領域の重要度が高い順に、前記元画像出力部により出力された元画像の中から所定数の主要領域を抽出するという構成にすることができる。

本発明によれば、重要度が高い順に、元画像の中から所定数の主要領域を抽出するので、必要とされる映像を有する部分画像を得ることができる。

また、前記主要領域抽出部により抽出された主要領域から、必要とされる主要領域を選択する基準を示す重要度を算出する重要度算出部を更に設け、前記主要領域抽出部が、前記重要度算出部により算出された前記重要度が所定の閾値以上で、かつ、所定数以下の前記主要領域を抽出するという構成にすることができる。

本発明によれば、重要度が所定の閾値以上で、かつ、所定数以下の主要領域を抽出するので、一層必要とされる映像を有する部分画像を得ることができる。

また、前記主要領域抽出部により抽出された前記主要領域の画像の大きさを修正して、前記部分画像一覧に表示させる部分画像を生成する修正部と、前記部分画像一覧に対し、前記修正部により生成された前記部分画像の配置箇所を決定する配置決定部とを画像処理装置に更に設けることができる。この場合、前記画像合成部は、前記配置決定部により決定された前記配置箇所に基づき、前記修正部により生成された部分画像を合成して部分画像一覧を生成する。

本発明によれば、部分画像の大きさを適宜修正し、部分画像の部分画像一覧内の配置箇所を適宜決定することができる。

また、前記修正部を、前記主要領域抽出部により抽出された前記主要領域の画像のアスペクト比を所定の比率に修正する画像比率修正部と、前記画像比率修正部により所定のアスペクト比に修正した前記主要領域の画像を拡大しまたは縮小して前記部分画像を生成する画像拡縮部とから構成することができる。

前記画像拡縮部が、前記画像比率修正部により所定のアスペクト比に修正した前記主要領域の画像を、前記重要度算出部により算出された重要度に応じて拡大または縮小して前記部分画像を生成するという構成にすることができる。

また、前記主要領域抽出部により抽出された元画像に対する前記主要領域の中心位置を算出する中心位置算出部を更に設け、前記配置決定部が、前記中心位置算出部により算出された前記中心位置と、前記元画像の頂点との距離を算出し、最も近い頂点の箇所に前記修正部により生成された前記部分画像を配置するものと決定するという構成にすることもできる。

本発明によれば、主要領域の中心位置と元画像の頂点との距離を算出し、最も近い頂点の箇所に修正された主要領域の画像を配置するので、一覧表示された部分画像が的確に配置することができる。

また、前記配置決定部が、前記重要度算出部により算出された重要度の高い順に前記修正部により生成された前記部分画像の配置箇所を決定するという構成にすることができる。

また、前記配置決定部が、前記修正部により生成された前記部分画像が同じ重要度を有し、かつ、同じ箇所に配置が決定された場合には、前記元画像の頂点と最も中心位置が近い該部分画像を選択するという構成にすることができる。

また、前記主要領域抽出部により抽出された元画像に対する前記主要領域の中心位置を算出し、算出した該中心位置に基づき、該主要領域が部分画像一覧に示す位置を示す中心位置を算出する中心位置算出部を更に設け、配置決定部が、前記修正部により生成された部分画像を配置するための基準となる配置頂点を複数求め、配置する部分画像を生成するもとになった主要領域の中心位置と各配置頂点との距離を算出し、複数の配置頂点の中から一番距離が最も近い配置頂点を該部分画像に使用する配置頂点と決定し、該配置頂点中心にして該部分画像の同じ面積を有する１または複数の配置候補を形成し、部分画像一覧の空き部分に収まるようにすべての配置候補を、配置頂点を基準に縮小し、縮小した複数の配置候補の中の最も面積が大きい配置候補を部分画像の配置箇所と決定するという構成にすることもできる。

本発明によれば、部分画像の同じ面積を有する１または複数の配置候補を配置頂点を中心にして形成し、部分画像一覧の空き部分に収まるようにすべての配置候補を、配置頂点を基準に縮小し、縮小した複数の配置候補の中の最も面積が大きい配置候補を部分画像の配置箇所と決定するので、一覧表示された部分画像が的確に配置することができる。

また、前記配置決定部が、前記重要度算出部により算出された重要度の高い順に前記修正部により生成された前記部分画像の配置箇所を決定するという構成にすることもできる。

また、前記配置決定部が、重要度が同じ部分画像の場合には、前記中心位置と配置頂点との間の距離を算出し、最も短い距離を示す部分画像の配置箇所を選択するという構成にすることができる。

上述の画像処理装置と、前記画像合成部により生成された前記部分画像一覧を表示する表示部とを組み合わせて画像表示装置が構成される。このような画像表示は、特に携帯電話等の携帯端末に好ましく使用される。

更に本発明は、部分画像を複数有する部分画像一覧を表示する画像処理方法であって、前記部分画像を生成するための元画像を出力し、複数のパラメータを用いて、出力した元画像の中から主要領域を抽出し、抽出した前記主要領域の画像の大きさを修正して、前記部分画像一覧に表示させる部分画像を生成し、前記部分画像一覧に対し、生成した前記部分画像の配置箇所を決定し、決定した前記配置箇所に基づき、生成した部分画像を合成して部分画像一覧を生成する。

更に本発明は、プログラムの発明であって、前記部分画像を生成するための元画像を出力する手順と、複数のパラメータを用いて、出力した元画像の中から主要領域を抽出する手順と、抽出した前記主要領域の画像の大きさを修正して、部分画像を複数有する部分画像一覧に表示させる部分画像を生成する手順と、前記部分画像一覧に対し、生成した前記部分画像の配置箇所を決定する手順と、決定した前記配置箇所に基づき、生成した部分画像を合成して部分画像一覧を生成する手順とをコンピュータに実行させる。このようなプログラムは、画像処理装置の内外に設けられたメモリ、記憶装置等に記録され、ＣＰＵのごときコンピュータ、演算装置により実行される。

本発明によれば、画像の表示領域に一覧表示される複数の部分画像の差違が明確にされ、部分画像に対応した元画像が容易に判別される。

本発明の第１の実施形態に係る画像処理装置の構成を示すブロック図元画像及び抽出される主要領域の例を示す図抽出された主要領域の例を示す図主要領域の中心位置を算出方法を説明する図主要領域の画像を所定のアスペスト比に拡張または縮小した画像が有する修正領域の例を示す図元画像からはみ出した修正領域を元画像内に修正した例を示す図修正領域画像の配置決定の方法を説明する図修正領域画像の配置決定の方法を説明する図実施形態の画像処理装置の動作を示すフローチャート一覧中心位置を算出する方法を説明する図部分画像の配置決定の方法を説明する図部分画像の配置決定の方法を説明する図部分画像の配置決定の方法を説明する図本発明の第２の実施形態に係る画像処理装置の動作を示すフローチャート

符号の説明

１１画像出力部
１２主要領域検出部
１２１主要領域抽出部
１２２重要度算出部
１２３中心位置算出部
１３主要領域修正部
１４画像拡縮部
１５配置決定部
１６画像合成部
１７画像表示部
１８画像記憶部

以下、本発明の実施するための最良の形態に係る画像処理装置について、図面を参照して説明する。

＜第１の実施形態＞
図１は本発明の第１の実施形態に係る画像処理装置の構成を示すブロック図である。この実施形態の画像処理装置は、撮像された画像から複数の部分画像を有する部分画像の一覧（以下、部分画像一覧という）を表示する装置であって、図１に示すように、画像出力部１１と、主要領域検出部１２と、主要領域修正部１３と、配置決定部１５と、画像合成部１６と、画像記憶部１８とを備える。

「部分画像」とは、元画像の一部が、後述する画像表示部１７の一部領域に表示される画像をいう。一般的に、元画像の一部が表示される場合は、下記で述べるように元画像の少なくとも主要領域が、当該一部に含められる。また、一般的に「部分画像」、「部分画像一覧」は「サムネイル画像」と呼ばれることがある。

画像出力部１１は、ＣＣＤカメラ等の撮像素子（図示せず）により撮影した画像、または、予め記憶されている画像を、部分画像を生成する際に必要となる、例えば図２に示す元画像１００を主要領域検出部１２に出力する。

主要領域検出部１２は、主要領域抽出部１２１と、重要度算出部１２２と、中心位置算出部１２３とから構成されている。主要領域抽出部１２１は、複数のパラメータを用いて画像出力部１１から入力された、例えば図２に示す元画像１００の中から、特定の形状を認識する際に用いられるパラメータを用いて主要領域１０１を抽出する。ここで、主要領域１０１は、後述する部分画像を生成する際に用いられる領域を示している。また、主要領域１０１は、大きさが問題とされないし、また、それぞれの大きさが異なっていてもよい。パラメータには、１）元画像中に特定の形状、例えば、人の顔を比較するテンプレート、２）元画像１００中の色相分布、すなわち元画像１００中の特定の形状のエッジ（輪郭）を特定する基各画素のＲＧＢ値、３）元画像１００中の輝度分布、すなわち色相分布と同様であるが画素のＲＧＢ値でなくＹＵＶ値、４）元画像１００に付随している音声、５）元画像１００の入力条件等がある。

また、主要領域抽出部１２１は、抽出した主要領域１０１の中から、重要度算出部１２１により算出された重要度のうち最も高いものから低いものの順に、例えば図３に示すように、符号Ａ，Ｂ，Ｃ，Ｄが示す４つの主要領域１０１について、その画像、重要度及び中心位置を組にした主要領域画像データを生成し、このデータを主要領域修正部１３に出力する。なお、重要度及び中心位置の算出方法は、それぞれ後述する重要度算出部、中心位置算出部において説明する。

重要度算出部１２２は、主要領域抽出部１２１により抽出された主要領域１０１から、必要とされる主要領域１０１を選択する基準を示す重要度を算出する。ここで、重要度は、パラメータに割り当てられたスコアの値を基にして算出される。算出の方法として、例えば、人の顔のテンプレートを用いた場合のスコアを″５０″と、ＲＧＢ値を用いた場合のスコアを″６０″とし、また、ＹＵＶ値を用いた場合のスコアを″４０″として重要度を算出する。なお、主要領域１０１を抽出する際にこれらのパラメータが重複して採用された場合にはそれぞれのスコアを加算した値を重要度として算出してもよい。

中心位置算出部１２３は、主要領域抽出部１２１により抽出された元画像１００に対する主要領域１０１の中心位置を算出する。ここで、図３中の符号Ａが示す主要領域１０１の中心位置の算出方法を説明する。図４中の符号Ｐに示す元画像１００の画素の位置を（１、１）とし、符号Ｐの位置から右方向にα番目で、かつ、下方向にβ番目の画素の位置Ｑを（α、β）とする。この位置特定のもと、符号Ａが示す主要領域１０１の範囲が（αＡ１、βＡ１）〜（αＡ２、βＡ２）とした場合には、中心位置算出部１２３は、この範囲（αＡ１、βＡ１）〜（αＡ２、βＡ２）から、その中心位置１０４を（（αＡ１＋αＡ２）／２、（βＡ１＋βＡ２）／２）と算出する。なお、小数点が出た場合には、小数点は無視する。

図３に示す例では、元画像１００中の符号Ａにより示された主要領域１０１がエッジ（輪郭）を特定する各画素のＲＧＢ値をパラメータにして抽出され、その重要度が″８０″であり、その中心位置１０４が（（αＡ１＋αＡ２）／２、（βＡ１＋βＡ２）／２）である。元画像１００中の符号Ｂにより示された主要領域１０１が人の顔を認識するテンプレートをパラメータにして抽出され、その重要度が″６０″であり、その中心位置１０４が（（αＢ１＋αＢ２）／２、（βＢ１＋βＢ２）／２）である。元画像１００中の符号Ｃにより示された主要領域１０１が人の顔を認識するテンプレートをパラメータにして抽出され、その重要度が″５５″であり、その中心位置１０４が（（αＣ１＋αＣ２）／２、（βＣ１＋βＣ２）／２）である。元画像１００中の符号Ｄにより示された主要領域１０１が人の顔を認識するテンプレートをパラメータにして抽出され、その重要度が″６０″であり、その中心位置１０４が（（αＤ１＋αＤ２）／２、（βＤ１＋βＤ２）／２）である。

主要領域修正部１３は、主要領域抽出部１２１から入力された４つの主要領域画像データを構成する主要領域１０１の主要領域画像について、アスペスト比（縦横比）が４：３になるように修正した画像（以下、修正領域画像という）を生成し、これらの修正領域画像について、その修正領域画像、重要度、及び主要領域１０１の中心位置を組した修正領域画像データを生成し、このデータを画像拡縮部１４に出力する。なお、主要領域修正部１３は、修正領域画像が元画像１００の外にはずれた場合には、その部分を単一色、例えば黒色で表現するか、または、修正領域画像が元画像の外にでない方向にその中心位置をずらす。

図５に示す例では、符号Ａが示す主要領域１０１を修正した主要領域（以下修正主要領域という）１０２が符号ａにより示された領域であり、符号Ｂが示す主要領域１０１を修正した修正主要領域１０２が符号ｂにより示された領域であり、符号Ｃが示す主要領域１０１を修正した修正主要領域１０１が符号ｃにより示された領域であり、符号Ｄが示す主要領域１０１を修正した修正主要領域１０１が符号ｄにより示された領域である。なお、符号ｄにより示された修正主要領域１０２は、元画像１００の外にはみ出すので、図６に示すように、左側に移動させられて元画像１００のはみ出しをなくすようになされている。なお、この場合には、該当する修正領域画像データを構成する中心位置を更新する。

画像拡縮部１４は、主要領域修正部１３から入力された４つの修正領域画像データを構成する修正領域画像について、８０×６０の大きさに拡大または縮小し、部分画像一覧を生成するための部分画像を生成する。部分画像の大きさを８０×６０にする理由は、ＤＣＦ（ＤｅｓｉｇｎｒｕｌｅｆｏｒＣａｍｅｒａＦｉｌｅｓｙｓｔｅｍ）では、Ｅｘｉｆ（ＥｘｃｈａｎｇｅａｂｌｅＩｍａｇｅＦｉｌｅＦｏｒｍａｔ）ファイル内の部分画像の大きさが１６０（幅）×１２０（高さ）と規定されており、８０×６０の大きさを持つ部分画像を４つ合成して部分画像とするためである。また、画像拡縮部１４は、部分画像、重要度、及び主要領域１０１の中心位置を組にした部分画像データを生成し、このデータを配置決定部１５に出力する。

配置決定部１５は、画像拡縮部１４から入力された４つの部分画像データを構成する部分画像について重要度が高いものから順に、図７に示すように、該当する部分画像の基になった主要領域１０１の中心位置１０４と元画像１００の４頂点Ａ，Ｂ，Ｃ，Ｄとの間の距離を算出し、一番近い元画像１００の頂点Ａがある左上半分を部分画像一覧に部分画像を配置することを決定する。また、配置決定部１５は、すでに配置が決定されている箇所には画像を配置できないようになっているとともに、重要度が同じ場合にはより近い頂点の方向の箇所に配置するように決定する。更に、配置決定部は、各部分画像の配置箇所を決定すると、部分画像、重要度、及び配置箇所を組にした配置決定データを生成し、このデータを画像合成部１６に出力する。なお、配置決定部１５は、上記以外の配置箇所の決定方法として、重要度の高い順に予め指定された箇所、例えば、左上半分、右上半分、左下半分、右下半分の順に決定してもよい。

図６に示す場合では、図８（ａ）（ｂ）に示すように、重要度（８０）が一番高い符号ａにより示された修正領域１０２から生成された部分画像１０３の部分画像一覧１０５に配置する箇所が、一番初めに決定され、その配置箇所は、主要領域１０１の中心位置１０４が頂点Ａと一番近いので左上半分に決定される。次に、重要度（６０）を有する符号ｂ及びｄに示された修正領域１０２から生成されたそれぞれの部分画像１０３の配置箇所が決定される。この場合、図８（ｃ）（ｄ）に示すように、符号ｄに示された修正領域１０２の中心位置１０４の方が符号ｂの修正領域１０２の中心位置１０４より頂点Ｄより近い距離にあるので、符号ｄに示された修正領域１０２から生成された部分画像１０３の部分画像一覧１０５に配置する箇所は、右下半分に決定される。一方、符号ｂにより示された修正領域１０２から生成された部分画像１０３の部分画像一覧に対する配置箇所については、図８（ｅ）（ｆ）に示すように、左上半分及び右下半分以外の箇所で、中心位置１０４と頂点Ｂとの距離が中心位置１０４と頂点Ｃとの距離より近いので、右上半分に決定される。符号ｃに示された修正領域１０２から生成された部分画像の配置箇所は、最後に残った左下半分に自動的に決定される。

画像合成部１６は、４つの配置決定データを基にして、このデータを構成する配置箇所に従い、重要度が高い順に、図８に示すように、各部分画像１０３を合成して部分画像一覧１０５を生成する。

上述の画像処理装置は、液晶表示装置等から構成された画像表示部１７と組み合わされ、画像表示装置を構成する。画像表示部１７は、画像合成部１６から入力された部分画像を液晶表示装置に表示する。画像表示装置は、携帯電話、ＰＤＡ等の各種携帯端末に好ましくは搭載されるが、特に適用される製品は限定されない。

画像記憶部１８は、映像出力装置１１から入力された元画像と、画像合成部により入力された元画像の部分画像を関連づけてまたは１ファイルとして異なるまたは同じ記録媒体に記憶する。例えば、動画の場合には、入力映像をビデオテープに記憶し、そのインデックスとしての部分画像を半導体メモリに記憶する。部分画像とともに対応する動画のビデオテープ上の記憶位置（トラック番号またはタイムコード）等も記憶しておき、検索に使用する。ビデオデータをファイル化して記憶する場合には、部分画像をその同じファイル内に埋め込むこともある。

次に、この実施形態の画像処理装置、画像表示装置の動作を説明する。

図９は実施形態の画像処理装置、画像表示装置の動作を示すフローチャートである。主要領域検出部１２は、画像出力部１１から図２に示す元画像１００が入力されると、主要領域抽出部１２１が特定の形状を比較するテンプレート、エッジ（輪郭）を特定する基各画素のＲＧＢ値、及びＹＵＶ値からなるパラメータを用い、入力された元画像１００の中から主要領域１０１を抽出する（ステップＳ１００）。次に、重要度算出部１２２は、抽出した主要領域１０１のそれぞれの重要度を算出する（ステップＳ１０１）。その後、中心位置算出部１２３は、主要領域１０１の中心位置１０４を、この実施形態に係る画像処理装置の構成において説明したようにして算出する（ステップＳ１０２）。同様にして、主要領域抽出１２１は、元画像１００の中から主要領域１０１を抽出していき、最終的に重要度が高い符号Ａ、符号Ｂ、Ｃ、Ｄが示す図３に示す主要領域１０１を抽出する（ステップＳ１０３）。次に、主要領域抽出部１２１は、符号Ａ，Ｂ，Ｃ，Ｄに示す４つの主要領域１０１のそれぞれの主要領域画像、重要度及び中心位置を組にした主要領域画像データを生成し、このデータを主要領域修正部１３に出力する（ステップＳ１０４）。

その後、主要領域修正部１３は、主要領域検出部１２から入力された符号Ａ，Ｂ，Ｃ，Ｄに示す４つの主要領域１０１の主要領域画像データを基にして、それぞれの主要領域画像について、アスペスト比が４：３になるように修正した、修正領域画像を生成する（ステップＳ１０５）。次に、主要領域修正部１３は、これらの修正領域画像、重要度、及び主要領域の中心位置を組にした修正領域画像データを生成し、これらのデータを画像拡縮部１４に出力する（ステップＳ１０６）。

ここで、図５に示すように、符号Ａに示す主要領域１０１の修正領域画像が示す修正主要領域１０２は符号ａに示す領域であり、符号Ｂに示す主要領域１０１の修正領域画像が示す修正主要領１０２は符号ｂに示す領域であり、符号Ｃに示す主要領域１０１の修正領域画像が示す修正主要領１０２は符号ｃ示す領域であり、符号Ｄに示す主要領域１０１の修正領域画像が示す修正主要領１０２は符号ｄに示す領域である。主要領域修正部１３は、符号ｄに示す修正主要領域１０２が元画像１００からはみ出しているので、図６に示すように、元画像１００の外にでない方向にその中心位置を左側に移動させ、修正領域画像データの中心位置を更新する。

次に、画像拡縮部１４は、主要領域修正部１３から入力された修正領域画像データを基にして、４つの修正領域画像を８０×６０の大きさに拡大または縮小して部分画像を生成する（ステップＳ１０７）。次に、画像拡縮部１４は、部分画像１０３、重要度、及び主要領域の中心位置を組にした部分画像データを生成し、これらのデータを配置決定部１５に出力する（ステップＳ１０８）。

次に、配置決定部１５は、画像拡縮部１４から入力された部分画像データの中から未だ読み出されていない部分画像データが有るか否かを判定する（ステップＳ１０９）。配置決定部１５は、未だ読み出されていない部分画像データがあると判定したならば（ステップＳ１０９；ＹＥＳ）、引き続き部分画像データを読み出し続ける。そして、配置決定部１５は、未だ読み出されていない部分画像データがないと判定した場合には（ステップＳ１０９；ＮＯ）、格差部分画像１０３の中心位置１０４と元画像１００の４頂点との間の距離を、この実施形態に係る画像処理装置の構成において説明したようにして算出し（ステップＳ１１０）、元画像１００の４つの頂点のうち一番距離が近い頂点を特定し、特定した頂点を占める部分を部分画像一覧における配置箇所と決定する（ステップＳ１１１）。その後、配置決定部１５は、この部分画像１０３、重要度、及び配置箇所とを組にした配置決定データを生成し、生成した配置決定データを画像合成部１６に出力する（ステップＳ１１２）。

画像合成部１６は、配置箇所決定部１５から入力された配置決定データが入力されると、一番重要度が高い順に、すなわち、図８（ｂ）（ｄ）（ｆ）（ｇ）に示すように、部分画像１０３を、順次合成して部分画像の一覧１０５を生成し（ステップＳ１１３）、生成した部分画像を画像表示部１７に出力する。画像表示部１７は、画像合成部１６から入力された部分画像の一覧１０５を液晶表示装置に表示し（ステップＳ１１４）、処理を終了する。

なお、画像記憶部１８は、映像出力装置１１から入力された元画像と、画像合成部１６により入力された元画像の部分画像を関連づけてまたは１ファイルとして異なるまたは同じ記録媒体に記憶する。

実施形態の画像処理装置、画像表示装置では、主要領域抽出部１２１により、主要領域１０１が複数のパラメータを用いて元画像１００の中から抽出されるので、各種の映像内容を有する主要領域１０１を抽出する。そして、このような各種の映像内容を有する部分画像一覧により、各元画像の差異を明確にすることができる。従って、画像表示部１７に表示される部分画像一覧に含まれる複数の部分画像１０３から、元画像を容易に判別することができる。

また、実施形態の画像処理装置、画像表示装置では、重要度が高い順に、主要領域抽出部１２１が元画像１００の中から４つの主要領域１０１を抽出するので、必要とされる映像を有する部分画像１０３を得ることができる。

また、実施形態の画像処理装置、画像表示装置では、配置決定部１５により、主要領域１０１の中心位置１０４と元画像１００の頂点Ａ，Ｂ，Ｃ，Ｄとの距離を算出し、最も近い頂点の箇所に該当する部分画像を配置することを決定するので、部分画像１０３を部分画像一覧１０５に的確に配置することができる。

＜第２の実施形態＞
第２の実施形態の画像処理装置は、第１の実施形態の画像処理装置と同様な構成を有するので、第１の実施形態の画像処理装置に付した参照符号と同一の符号を付す。すなわち、この実施形態の画像処理装置は、図１に示すように、画像出力部１１と、主要領域検出部１２と、主要領域修正部１３と、画像拡縮部１４と、配置決定部１５と、画像合成部１６と、画像記憶部１８とを備える。そして、画像処理装置と画像表示部１７が組み合わされ、画像表示装置が構成される。以下、これらの構成部分を説明するに際して、第１の実施形態の画像処理装置の構成部分と同一の構成をなす画像出力部１１、画像修正部１３、画像合成部１６、画像表示部１７、及び画像記憶部１８の説明は省略する。

主要領域検出部１２は、主要領域抽出部１２１と、重要度算出部１２２と、中心位置算出部１２３とから構成されている。主要領域抽出部１２１は、抽出した主要領域１０１の中から、重要度算出部１２１により算出された重要度のうち、予め決められた閾値、例えば″５８″以上を有し、最も高いものから低いものの順に予め規定された最大数、例えば５つ″の主要領域１０１を抽出する。すなわち、主要領域抽出部１２１は、重要度の高いものから選択していき、最大数を超えるか、重要度が閾値を下回ったら主要領域１０１の抽出を終了する。また、主要領域抽出部１２１は、抽出した主要領域１０１の画像、重要度及び後述する一覧中心位置を組にした主要領域画像データを生成し、このデータを主要領域修正部１３に出力する。重要度算出部１２２及び中心位置算出部１２３は、第１の実施形態のものと同様な構成を有する。図３に示す例では、符号Ａ，Ｂ，Ｄに示された主要領域１０１の重要度が閾値″５８″以上であるので、これらの主要領域１０１は抽出され、一方、符号Ｃに示された主要領域１０１の閾値が″５８″未満であるので、この主要領域１０１は抽出されない。

中心位置算出部１２３は、第１の実施形態に係る画像処理装置と同様、主要領域抽出部１２１により抽出された元画像１００に対する主要領域１０１の中心位置を算出する。また、中心位置算出部１２３は、算出した主要領域１０１の中心位置を部分画像一覧における中心位置（以下、一覧中心位置という）に変換する。すなわち、図１０（ａ）に示すように、元画像１００の横の長さをＧ１、縦の長さをＨ１とし、また、図１０（ｂ）に示すように、部分画像一覧１０５の横の長さをＧ２、縦の長さをＨ２とすると、中心位置算出部１２３は、元画像１００に対する符号Ａに示された主要領域の中心位置１０４の値（（αＡ１＋αＡ２）／２、（βＡ１＋βＡ２）／２）から、（（Ｇ２／Ｇ１）×（αＡ１＋αＡ２）／２、（Ｈ２／Ｈ１）×（βＡ１＋βＡ２）／２）に示す一覧中心位置１０７を算出する。

画像拡縮部１４は、抽出された主要領域１０１の重要度に応じて、主要領域修正部１３により生成された修正領域１０２の修正領域画像を拡大または縮小した部分画像１０３を生成する。例えば、図６に示すように、符号ａが示す修正領域１０２の重要度が″８０″、符号ｂが示す修正領域１０２の重要度が″６０″、及び符号ｄが示す修正領域１０２の重要度が″６０″とし、元画像１００の面積を縦２４０、横３２０とし、部分画像の面積を縦１２０、横１６０とし、かつ、これらの修正領域１０２から生成された部分画像１０３の合計面積を部分画像一覧１０５の面積の８０％とした場合には、画像拡縮部１４は、符号ａが示す修正領域１０２から生成された部分画像１０３の面積を、６１４４＝１２０×１６０×０．８×８０／（８０＋６０＋６０）と算出し、符号ｂが示す修正領域１０２から生成された部分画像１０３の面積を、４６０８＝１２０×１６０×０．８×６０／（８０＋６０＋６０）と算出し、符号ｄが示す修正領域１０２から生成された部分画像１０３の面積を、４６０８＝１２０×１６０×０．８×８０／（８０＋６０＋６０）と算出する。なお、合計した部分画像１０３の面積が部分画像一覧１０５の面積と等しくなくてもよい。また、画像拡縮部１４は、合計した部分画像１０３の面積が部分画像一覧１０５の面積より大きくなった場合には、部分画像一覧１０５の面積に入るように、各部分画像１０３の面積を均等に小さくする。

また、画像拡縮部１４は、部分画像１０３、重要度、及び一覧中心位置を組にした部分画像データを生成し、このデータを配置決定部１４に出力する。

配置決定部１５は、画像拡縮部１４から入力された４つの部分画像データを構成する部分画像１０３について重要度が高いものから順に生成された部分画像１０３の配置箇所を次のようにして決定する。すなわち、配置決定部１５は、部分画像１０３を配置するための基準となる複数の配置頂点を部分画像一覧１０５の中に求める。次に、配置決定部１５は、複数の配置頂点を求めると、配置する部分画像１０３の一覧中心位置と各配置頂点との距離を算出し、一番距離が最も近い配置頂点を部分画像１０３に使用する配置頂点と決定する。その後、配置決定部１５は、配置する部分画像１０３の同じ面積を有する複数の配置候補を決定した配置頂点を中心にして部分画像一覧１０５の中に形成する。配置決定部１５は、すべての配置候補が部分画像一覧１０５の空き部分に収まるように配置頂点を基準に縮小し、縮小した複数の配置候補の中の最も面積が大きい配置候補を部分画像の配置箇所と決定する。

配置決定部１５は、重要度が同じ部分画像の場合には、当該部分画像１０３を生成するもとになった修正領域１０２の一覧中心位置１０７と配置頂点との間の距離を算出し、一番近い距離の修正領域１０２から生成された部分画像を優先して配置する。

上述したことを更に図を用いて説明する。配置決定部１５は、未だ、部分画像１０３の配置箇所が１つも決定されていないので、まず初めに、重要度″８０″が一番高い符号ａにより示された修正領域１０２から生成された部分画像１０３の配置箇所を決定するため、配置頂点が、図１１（ａ）に示すように、部分画像一覧の１０５の頂点Ａ、Ｂ、Ｃ、Ｄであることを決定する。配置決定部１５は、配置頂点Ａ、Ｂ、Ｃ、Ｄを決定すると、符号ａにより示された修正領域１０２の一覧中心位置１０７と配置頂点Ａ、Ｂ、Ｃ、Ｄとの距離を算出し、中心位置１０４が一番近い配置頂点Ａを占める図１１（ｂ）に示す左上半分を、部分画像一覧１０５に対するこの部分画像１０３の配置箇所に決定する。

次に、配置決定部１５は、重要度″６０″を有する符号ｂ及びｄに示された修正領域１０２から生成される部分画像１０３の配置箇所を決定することになるが、まず、これらの部分画像１０３が配置するための基準となる配置頂点を決定する。すなわち、配置決定部１５は、図１２（ａ）に示すように、符号Ａ，Ｂ，Ｃ，Ｄ，Ｅ，Ｆ，Ｇに示す箇所を配置頂点と決定する。配置決定部１５は、符号ｂ及びｄに示された修正領域１０２の一覧中心位置１０７と配置頂点Ａ，Ｂ，Ｃ，Ｄ，Ｅ，Ｆ，Ｇとの距離を算出し、符号ｂに示された修正領域１０２の一覧中心位置１０４が配置頂点Ｇと最も距離が近いので、この修正領域１０２から生成された部分画像１０３を先に部分画像一覧に配置するものと決定する。

配置決定部１５は、次に、図１２（ｂ）に示すように、符号ｂに示された修正領域１０２から生成された部分画像１０３の面積を有する符号Ｉ，ＩＩ，ＩＩＩに示された３つの配置候補１０６が部分画像一覧１０５の空き部分１０６に収まるか否かを判定する。配置決定部１５は、３つの配置候補１０６のすべてについて配置が可能でないため、すべての配置候補１０６を配置頂点Ｇを基準に縮小する。その結果、配置決定部１５は、図１２（ｃ）に示すように、最も面積が大きい符号ＩＩに示された配置候補１０６を配置箇所と決定する。

最後に、符号ｄに示された修正領域の部分画像について、配置決定部１５は、図１３（ａ）に示すように、符号Ａ，Ｂ，Ｃ，Ｄ，Ｅ，Ｆ，Ｇ、Ｈ、Ｉ、Ｊに示す箇所を配置頂点と決定する。配置決定部１５は、符号ｄに示された修正領域１０２の一覧中心位置１０７と配置頂点Ａ，Ｂ，Ｃ，Ｄ，Ｅ，Ｆ，Ｇ、Ｈ、Ｉ、Ｊとの距離を算出し、図１３（ｂ）に示すように符号ｄに示された修正領域１０２から生成された部分画像１０３の面積を有する符号Ｉ，ＩＩに示された２つの配置候補１０６が部分画像一覧１０５の空き部分に収まるか否かを判定する。配置決定部１５は、２つの配置候補１０６のすべてについて配置が可能でないため、２つの配置候補１０６を配置頂点Ｇを基準に縮小する。その結果、配置決定部１５は、図１３（ｃ）に示すように、最も面積が大きい符号ＩＩに示された配置候補１０６を配置箇所と決定する。

また、配置決定部は、各部分画像の配置箇所を決定すると、部分画像、重要度、及び配置箇所を組にした配置決定データを生成し、このデータを画像合成部１６に出力する。

画像合成部１６は、画像拡縮部１５において生成された部分画像をその配置箇所に配置して部分画像一覧を生成する。すなわち、画像合成部１６は、画像拡縮部１５により生成された部分画像がその配置箇所の面積に拡大または縮小する。

図１４はこの実施形態の画像処理装置、画像表示装置の動作を示すフローチャートである。主要領域検出部１２は、画像出力部１１から図２に示す元画像１００が入力されると、主要領域抽出部１２１が特定の形状を比較するテンプレート、エッジ（輪郭）を特定する基各画素のＲＧＢ値、及びＹＵＶ値からなるパラメータを用い、入力された元画像１００の中から主要領域１０１を抽出する（ステップＳ２００）。次に、重要度算出部１２２は、抽出した主要領域１０１のそれぞれの重要度を算出する（ステップＳ２０１）。その後、中心位置算出部１２３は、主要領域１０１の一覧中心位置１０７を、この実施形態に係る画像処理装置の構成において説明したようにして算出する（ステップＳ２０２）。同様にして、主要領域抽出１２１は、元画像１００の中から主要領域１０１を抽出していき、抽出した主要領域１０１の中から、重要度算出部１２１により算出された重要度のうち、予め決められた閾値、例えば″５８″以上を有し、最も高いものから低いものの順に予め規定された最大数５つの主要領域１０１を抽出する。すなわち、主要領域抽出部１２１は、符号Ａ，Ｂ，Ｄに示された主要領域１０１を抽出する（ステップＳ２０３）。次に、主要領域抽出部１２１は、抽出した主要領域１０１の画像、重要度及び一覧中心位置を組にした主要領域画像データを生成し、このデータを主要領域修正部１３に出力する。（ステップＳ２０４）。

その後、主要領域修正部１３は、主要領域検出部１２から入力された符号Ａ，Ｂ，Ｄに示す４つの主要領域１０１の主要領域画像データを基にして、それぞれの主要領域画像について、アスペスト比が４：３になるように修正した、修正領域画像を生成する（ステップＳ２０５）。次に、主要領域修正部１３は、これらの修正領域画像、重要度、及び一覧中心位置を組にした修正領域画像データを生成し、これらのデータを画像拡縮部１４に出力する（ステップＳ２０６）。

次に、画像拡縮部１４は、抽出されたＡ，Ｂ，Ｄに示された修正領域１０２の重要度に応じ、この実施形態に係る画像処理装置の構成において説明したようにして、これらの修正領域の部分画像１０３の大きさを拡大または縮小した部分画像１０３を生成する（ステップＳ２０７）。すなわち、画像拡縮部１４は、符号ａに示された修正領域１０２の部分画像１０３の面積を″６１４４″とし、符号ｂに示された修正領域１０２の部分画像１０３の面積を″４６０８″とし、符号ｄに示された修正領域１０２の部分画像１０３の面積を″４６０８″とする。その後、画像拡縮部１４は、部分画像１０３、重要度、及び一覧中心位置を組にした部分画像データを生成し、このデータを配置決定部１４に出力する（ステップＳ２０８）。

次に、配置決定部１５は、画像拡縮部１４から入力された部分画像データの中から未だ読み出されていない部分画像データが有るか否かを判定する（ステップＳ２０９）。配置決定部１５は、未だ読み出されていない部分画像データがあると判定したならば（ステップＳ２０９；ＹＥＳ）、引き続き部分画像データを読み出し続ける。そして、配置決定部１５は、未だ読み出されていない部分画像データがないと判定した場合には（ステップＳ２０９；ＮＯ）、この実施形態に係る画像処理装置の構成において説明したようにして、符号ａ，ｂ，ｄに示された修正領域１０２から生成された部分画像１０３の配置箇所を決定する（ステップＳ２１０）。すなわち、配置決定部１５は、符号ａにより示された修正領域１０２から生成された部分画像の配置箇所を、図１１（ｂ）に示す左上半分を配置箇所に決定し、符号ｂにより示された修正領域１０２の部分画像の配置箇所を、図１２（ｃ）に示す、最も面積が大きい縮小した符号ＩＩに示された配置候補１０６を配置箇所と決定し、符号ｄに示された修正領域から生成された部分画像の配置箇所を、図１３（ｃ）に示すように、最も面積が大きい縮小した符号ＩＩに示された配置候補１０６を配置箇所と決定する。その後、配置決定部１５は、部分画像１０３、重要度、及び配置箇所を組にした配置決定データを生成し、このデータを画像合成部１６に出力する（ステップＳ２１２）。配置決定部１５は、未だ読み出されていない部分画像データがないと判定したならば（ステップＳ２０９；ＮＯ）、ステップＳ２１２に処理を移行する。

画像合成部１６は、配置箇所決定部１５から入力された配置決定データが入力されると、一番重要度が高い順に、部分画像１０３を順次合成して部分画像一覧１０５を生成し（ステップＳ２１２）、生成した部分画像一覧１０５を画像表示部１７に出力する。画像表示部１７は、画像合成部１６から入力された部分画像一覧１０５を液晶表示装置に表示し（ステップＳ１１４）、処理を終了する。

実施形態の画像処理装置、画像表示装置では、主要領域抽出部１２１が、重要度が所定の閾値以上で、かつ、所定数以下の主要領域を抽出するので、第１の実施形態の画像処理装置より一層必要とされる映像を有する部分画像を得ることができる。

また、実施形態の画像処理装置、画像表示装置では、配置決定部１５が、部分画像の同じ面積を有する１または複数の配置候補を配置頂点を中心にして形成し、部分画像一覧の空き部分に収まるようにすべての配置候補を、配置頂点を基準に縮小し、縮小した複数の配置候補の中の最も面積が大きい配置候補を部分画像の配置箇所と決定するので、一覧表示された部分画像を的確に配置することができる。

以上、本発明の各種実施形態を説明したが、本発明は前記実施形態において示された事項に限定されず、明細書の記載、並びに周知の技術に基づいて、当業者がその変更・応用することも本発明の予定するところであり、保護を求める範囲に含まれる。

本出願は、２００５年６月２８日出願の日本特許出願（特願２００５−１８８２６６）に基づくものであり、その内容はここに参照として取り込まれる。

本発明の画像処理装置及び方法によれば、複数のパラメータを用いて各種の映像内容を有する主要領域が抽出される。このような各種の映像内容を有する部分画像一覧により各元画像の差異を明確にすることができ、表示される部分画像一覧に含まれる複数の部分画像から、元画像を容易に判別することができる。

主要領域検出部１２は、主要領域抽出部１２１と、重要度算出部１２２と、中心位置算出部１２３とから構成されている。主要領域抽出部１２１は、複数のパラメータを用いて画像出力部１１から入力された、例えば図２に示す元画像１００の中から、特定の形状を認識する際に用いられるパラメータを用いて主要領域１０１を抽出する。ここで、主要領域１０１は、後述する部分画像を生成する際に用いられる領域を示している。また、主要領域１０１は、大きさが問題とされないし、また、それぞれの大きさが異なっていてもよい。パラメータには、１）元画像中に特定の形状、例えば、人の顔を比較するテンプレート、２）元画像１００中の色相分布、すなわち元画像１００中の特定の形状のエッジ（輪郭）を特定する基各画素のＲＧＢ値、３）元画像１００中の輝度分布、すなわち色相分布
と同様であるが画素のＲＧＢ値でなくＹＵＶ値、４）元画像１００に付随している音声、５）元画像１００の入力条件等がある。

重要度算出部１２２は、主要領域抽出部１２１により抽出された主要領域１０１から、必要とされる主要領域１０１を選択する基準を示す重要度を算出する。ここで、重要度は、パラメータに割り当てられたスコアの値を基にして算出される。算出の方法として、例えば、人の顔のテンプレートを用いた場合のスコアを"５０"と、ＲＧＢ値を用いた場合のスコアを"６０"とし、また、ＹＵＶ値を用いた場合のスコアを"４０"として重要度を算出する。なお、主要領域１０１を抽出する際にこれらのパラメータが重複して採用された場合にはそれぞれのスコアを加算した値を重要度として算出してもよい。

中心位置算出部１２３は、主要領域抽出部１２１により抽出された元画像１００に対する主要領域１０１の中心位置を算出する。ここで、図３中の符号Ａが示す主要領域１０１の中心位置の算出方法を説明する。図４中の符号Ｐに示す元画像１００の画素の位置を（１、１）とし、符号Ｐの位置から右方向にα番目で、かつ、下方向にβ番目の画素の位置Ｑを（α、β）とする。この位置特定のもと、符号Ａが示す主要領域１０１の範囲が（αＡ１、βＡ１）〜（αＡ２、βＡ２）とした場合には、中心位置算出部１２３は、この範囲（αＡ１、βＡ１）〜（αＡ２、βＡ２）から、その中心位置１０４を（（αＡ１＋αＡ２）/２、（βＡ１＋βＡ２）/２）と算出する。なお、小数点が出た場合には、小数点は無視する。

図３に示す例では、元画像１００中の符号Ａにより示された主要領域１０１がエッジ（輪郭）を特定する各画素のＲＧＢ値をパラメータにして抽出され、その重要度が"８０"であり、その中心位置１０４が（（αＡ１＋αＡ２）／２、（βＡ１＋βＡ２）／２）である。元画像１００中の符号Ｂにより示された主要領域１０１が人の顔を認識するテンプレートをパラメータにして抽出され、その重要度が"６０"であり、その中心位置１０４が（（αＢ１＋αＢ２）／２、（βＢ１＋βＢ２）／２）である。元画像１００中の符号Ｃにより示された主要領域１０１が人の顔を認識するテンプレートをパラメータにして抽出され、その重要度が"５５"であり、その中心位置１０４が（（αＣ１＋αＣ２）／２、（βＣ１＋βＣ２）／２）である。元画像１００中の符号Ｄにより示された主要領域１０１が人の顔を認識するテンプレートをパラメータにして抽出され、その重要度が"６０"であり、その中心位置１０４が（（αＤ１＋αＤ２）／２、（βＤ１＋βＤ２）／２）である。

画像拡縮部１４は、主要領域修正部１３から入力された４つの修正領域画像データを構成する修正領域画像について、８０×６０の大きさに拡大または縮小し、部分画像一覧を生成するための部分画像を生成する。部分画像の大きさを８０×６０にする理由は、ＤＣＦ（Design rule for Camera File system）では、Ｅｘｉｆ（Exchangeable Image File Format）ファイル内の部分画像の大きさが１６０（幅）×１２０（高さ）と規定されており、８０×６０の大きさを持つ部分画像を４つ合成して部分画像とするためである。また、画像拡縮部１４は、部分画像、重要度、及び主要領域１０１の中心位置を組にした部分画像データを生成し、このデータを配置決定部１５に出力する。

主要領域検出部１２は、主要領域抽出部１２１と、重要度算出部１２２と、中心位置算出部１２３とから構成されている。主要領域抽出部１２１は、抽出した主要領域１０１の中から、重要度算出部１２１により算出された重要度のうち、予め決められた閾値、例えば"５８"以上を有し、最も高いものから低いものの順に予め規定された最大数、例えば５つ"の主要領域１０１を抽出する。すなわち、主要領域抽出部１２１は、重要度の高いものから選択していき、最大数を超えるか、重要度が閾値を下回ったら主要領域１０１の抽出を終了する。また、主要領域抽出部１２１は、抽出した主要領域１０１の画像、重要度及び後述する一覧中心位置を組にした主要領域画像データを生成し、このデータを主要領域修正部１３に出力する。重要度算出部１２２及び中心位置算出部１２３は、第１の実施形態のものと同様な構成を有する。図３に示す例では、符号Ａ，Ｂ，Ｄに示された主要領域１０１の重要度が閾値"５８"以上であるので、これらの主要領域１０１は抽出され、一方、符号Ｃに示された主要領域１０１の閾値が"５８"未満であるので、この主要領域１０１は抽出されない。

画像拡縮部１４は、抽出された主要領域１０１の重要度に応じて、主要領域修正部１３により生成された修正領域１０２の修正領域画像を拡大または縮小した部分画像１０３を生成する。例えば、図６に示すように、符号ａが示す修正領域１０２の重要度が"８０"、符号ｂが示す修正領域１０２の重要度が"６０"、及び符号ｄが示す修正領域１０２の重要度が"６０"とし、元画像１００の面積を縦２４０、横３２０とし、部分画像の面積を縦１２０、横１６０とし、かつ、これらの修正領域１０２から生成された部分画像１０３の合計面積を部分画像一覧１０５の面積の８０％とした場合には、画像拡縮部１４は、符号ａが示す修正領域１０２から生成された部分画像１０３の面積を、６１４４＝１２０×１６０×０．８×８０／（８０＋６０＋６０）と算出し、符号ｂが示す修正領域１０２から生成された部分画像１０３の面積を、４６０８＝１２０×１６０×０．８×６０／（８０＋６０＋６０）と算出し、符号ｄが示す修正領域１０２から生成された部分画像１０３の面積を、４６０８＝１２０×１６０×０．８×８０／（８０＋６０＋６０）と算出する。なお、合計した部分画像１０３の面積が部分画像一覧１０５の面積と等しくなくてもよい。また、画像拡縮部１４は、合計した部分画像１０３の面積が部分画像一覧１０５の面積より大きくなった場合には、部分画像一覧１０５の面積に入るように、各部分画像１０３の面積を均等に小さくする。

上述したことを更に図を用いて説明する。配置決定部１５は、未だ、部分画像１０３の配置箇所が１つも決定されていないので、まず初めに、重要度"８０"が一番高い符号ａにより示された修正領域１０２から生成された部分画像１０３の配置箇所を決定するため、配置頂点が、図１１（ａ）に示すように、部分画像一覧の１０５の頂点Ａ、Ｂ、Ｃ、Ｄであることを決定する。配置決定部１５は、配置頂点Ａ、Ｂ、Ｃ、Ｄを決定すると、符号ａにより示された修正領域１０２の一覧中心位置１０７と配置頂点Ａ、Ｂ、Ｃ、Ｄとの距離を算出し、中心位置１０４が一番近い配置頂点Ａを占める図１１（ｂ）に示す左上半分を、部分画像一覧１０５に対するこの部分画像１０３の配置箇所に決定する。

次に、配置決定部１５は、重要度"６０"を有する符号ｂ及びｄに示された修正領域１０２から生成される部分画像１０３の配置箇所を決定することになるが、まず、これらの部分画像１０３が配置するための基準となる配置頂点を決定する。すなわち、配置決定部１５は、図１２（ａ）に示すように、符号Ａ，Ｂ，Ｃ，Ｄ，Ｅ，Ｆ，Ｇに示す箇所を配置頂点と決定する。配置決定部１５は、符号ｂ及びｄに示された修正領域１０２の一覧中心位置１０７と配置頂点Ａ，Ｂ，Ｃ，Ｄ，Ｅ，Ｆ，Ｇとの距離を算出し、符号ｂに示された修正領域１０２の一覧中心位置１０４が配置頂点Ｇと最も距離が近いので、この修正領域１０２から生成された部分画像１０３を先に部分画像一覧に配置するものと決定する。

最後に、符号ｄに示された修正領域の部分画像について、配置決定部１５は、図１３（ａ）に示すように、符号Ａ，Ｂ，Ｃ，Ｄ，Ｅ，Ｆ，Ｇ、Ｈ、Ｉ、Ｊに示す箇所を配置頂点と決定する。配置決定部１５は、符号ｄに示された修正領域１０２の一覧中心位置１０７と配置頂点Ａ，Ｂ，Ｃ，Ｄ，Ｅ，Ｆ，Ｇ、Ｈ、Ｉ、Ｊとの距離を算出し、図１３（ｂ）に示すように符号ｄに示された修正領域１０２から生成された部分画像１０３の面積を有する符号Ｉ，ＩＩに示された２つの配置候補１０６が部分画像一覧１０５の空き部分に収まるか否かを判定する。配置決定部１５は、２つの配置候補１０６のすべてについて配置が可能でないため、２つの配置候補１０６を配置頂点Ｇを基準に縮小する。その結果、配置決定部１５は、図１３（ｃ）に示すように、最も面積が大きい符号ＩＩに示された配置候
補１０６を配置箇所と決定する。

図１４はこの実施形態の画像処理装置、画像表示装置の動作を示すフローチャートである。主要領域検出部１２は、画像出力部１１から図２に示す元画像１００が入力されると、主要領域抽出部１２１が特定の形状を比較するテンプレート、エッジ（輪郭）を特定する基各画素のＲＧＢ値、及びＹＵＶ値からなるパラメータを用い、入力された元画像１００の中から主要領域１０１を抽出する（ステップＳ２００）。次に、重要度算出部１２２は、抽出した主要領域１０１のそれぞれの重要度を算出する（ステップＳ２０１）。その後、中心位置算出部１２３は、主要領域１０１の一覧中心位置１０７を、この実施形態に係る画像処理装置の構成において説明したようにして算出する（ステップＳ２０２）。同様にして、主要領域抽出１２１は、元画像１００の中から主要領域１０１を抽出していき、抽出した主要領域１０１の中から、重要度算出部１２１により算出された重要度のうち、予め決められた閾値、例えば"５８"以上を有し、最も高いものから低いものの順に予め規定された最大数５つの主要領域１０１を抽出する。すなわち、主要領域抽出部１２１は、符号Ａ，Ｂ，Ｄに示された主要領域１０１を抽出する（ステップＳ２０３）。次に、主要領域抽出部１２１は、抽出した主要領域１０１の画像、重要度及び一覧中心位置を組にした主要領域画像データを生成し、このデータを主要領域修正部１３に出力する。（ステップＳ２０４）。

次に、画像拡縮部１４は、抽出されたＡ，Ｂ，Ｄに示された修正領域１０２の重要度に応じ、この実施形態に係る画像処理装置の構成において説明したようにして、これらの修正領域の部分画像１０３の大きさを拡大または縮小した部分画像１０３を生成する（ステップＳ２０７）。すなわち、画像拡縮部１４は、符号ａに示された修正領域１０２の部分画像１０３の面積を"６１４４"とし、符号ｂに示された修正領域１０２の部分画像１０３の面積を"４６０８"とし、符号ｄに示された修正領域１０２の部分画像１０３の面積を"４６０８"とする。その後、画像拡縮部１４は、部分画像１０３、重要度、及び一覧中心位置を組にした部分画像データを生成し、このデータを配置決定部１４に出力する（ステップＳ２０８）。

符号の説明

Claims

部分画像を複数有する部分画像一覧を生成する画像処理装置であって、
前記部分画像を生成するための元画像を出力する元画像出力部と、
複数のパラメータを用いて、前記元画像出力部により出力された元画像の中から主要領域を抽出する主要領域抽出部と、
前記主要領域抽出部により抽出された前記主要領域の画像を部分画像とし、当該部分画像を合成して部分画像一覧を生成する画像合成部と、
を備える画像処理装置。
請求項１記載の画像処理装置であって、
前記主要領域抽出部により抽出された主要領域から、必要とされる主要領域を選択する基準を示す重要度を算出する重要度算出部を更に備え、
前記主要領域抽出部は、前記重要度算出部により算出された前記主要領域の重要度が高い順に、前記元画像出力部により出力された元画像の中から所定数の主要領域を抽出する画像処理装置。
請求項１記載の画像処理装置であって、
前記主要領域抽出部により抽出された主要領域から、必要とされる主要領域を選択する基準を示す重要度を算出する重要度算出部を更に備え、
前記主要領域抽出部は、前記重要度算出部により算出された前記重要度が所定の閾値以上で、かつ、所定数以下の前記主要領域を抽出する画像処理装置。
請求項１記載の画像処理装置であって、
前記主要領域抽出部により抽出された前記主要領域の画像の大きさを修正して、前記部分画像一覧に表示させる部分画像を生成する修正部と、
前記部分画像一覧に対し、前記修正部により生成された前記部分画像の配置箇所を決定する配置決定部と、を更に備え、
前記画像合成部は、前記配置決定部により決定された前記配置箇所に基づき、前記修正部により生成された部分画像を合成して部分画像一覧を生成する画像処理装置。
請求項４に記載の画像処理装置であって、
前記修正部は、
前記主要領域抽出部により抽出された前記主要領域の画像のアスペクト比を所定の比率に修正する画像比率修正部と、
前記画像比率修正部により所定のアスペクト比に修正した前記主要領域の画像を拡大しまたは縮小して前記部分画像を生成する画像拡縮部と、
を備える画像処理装置。
請求項５記載の画像処理装置であって、
前記画像拡縮部は、前記画像比率修正部により所定のアスペクト比に修正した前記主要領域の画像を、前記重要度算出部により算出された重要度に応じて拡大または縮小して前記部分画像を生成する画像処理装置。
請求項４記載の画像処理装置であって、
前記主要領域抽出部により抽出された元画像に対する前記主要領域の中心位置を算出する中心位置算出部を更に備え、
前記配置決定部は、前記中心位置算出部により算出された前記中心位置と、前記元画像の頂点との距離を算出し、最も近い頂点の箇所に前記修正部により生成された前記部分画像を配置するものと決定する画像処理装置。
請求項７記載の画像処理装置であって、
前記配置決定部は、前記重要度算出部により算出された重要度の高い順に前記修正部により生成された前記部分画像の配置箇所を決定する画像処理装置。
請求項７記載の画像処理装置であって、
前記配置決定部は、前記修正部により生成された前記部分画像が同じ重要度を有し、かつ、同じ箇所に配置が決定された場合には、前記元画像の頂点と最も中心位置が近い該部分画像を選択する画像処理装置。
請求項４記載の画像処理装置であって、
前記主要領域抽出部により抽出された元画像に対する前記主要領域の中心位置を算出し、算出した該中心位置に基づき、該主要領域が部分画像一覧に示す位置を示す中心位置を算出する中心位置算出部を更に備え、
前記配置決定部は、前記修正部により生成された部分画像を配置するための基準となる配置頂点を複数求め、配置する部分画像を生成するもとになった主要領域の前記中心位置と各配置頂点との距離を算出し、複数の配置頂点の中から一番距離が最も近い配置頂点を該部分画像に使用する配置頂点と決定し、該配置頂点中心にして該部分画像の同じ面積を有する１または複数の配置候補を形成し、部分画像一覧の空き部分に収まるようにすべての配置候補を、配置頂点を基準に縮小し、縮小した複数の配置候補の中の最も面積が大きい配置候補を部分画像の配置箇所と決定する画像処理装置。
請求項１０記載の画像処理装置であって、
前記配置決定部は、前記重要度算出部により算出された重要度の高い順に前記修正部により生成された前記部分画像の配置箇所を決定する画像処理装置。
請求項１０記載の画像処理装置であって、
前記配置決定部は、重要度が同じ部分画像の場合には、前記中心位置と配置頂点との間の距離を算出し、最も短い距離を示す部分画像の配置箇所を選択する画像処理装置。
請求項１記載の画像処理装置と、
前記画像合成部により生成された前記部分画像一覧を表示する表示部と、を備える画像表示装置。
請求項１３の画像表示装置を含む携帯端末。
部分画像を複数有する部分画像一覧を表示する画像処理方法であって、
前記部分画像を生成するための元画像を出力し、
複数のパラメータを用いて、出力した元画像の中から主要領域を抽出し、
抽出した前記主要領域に基づき部分画像を生成し、
生成した部分画像を合成して部分画像一覧を生成する、画像処理方法。
部分画像を生成するための元画像を出力する手順と、
複数のパラメータを用いて、出力した元画像の中から主要領域を抽出する手順と、
抽出した前記主要領域に基づき部分画像を生成する手順と、
生成した部分画像を合成して部分画像一覧を生成する手順と、
をコンピュータに実行させるプログラム。