JP4774816B2 - 画像処理装置，画像処理方法，およびコンピュータプログラム。 - Google Patents

Description

本発明は画像処理装置，画像処理方法，およびコンピュータプログラムに関する。

現在では，情報技術の発展に伴い，ＰＣ（パーソナルコンピュータ），ディジタルカメラ，ディジタルカメラ付き携帯電話などが一般ユーザに普及し，様々な場面で普通に使用されている。

上記に伴い，静止画又は動画を問わず，Ｗｅｂページに掲載されているディジタル画像（又は，単に画像）や，旅行先で撮影した画像など，ユーザ自ら使用する装置又はネット上には膨大な量のディジタル画像等のコンテンツが存在している。

かかる膨大なコンテンツの中からユーザが所望のものを効率的に探し出すために，特に静止画像では，コンテンツのサムネイルを表示し，画面上に表示又は印画紙等の印刷媒体に出力するシステムが一般的に存在している。

かかるシステムによって，コンテンツ自体を出力しなくとも，上記サムネイル表示から，ユーザはコンテンツの概略等について把握することができ，さらに複数のサムネイルをユーザが視認することができれば，一度に複数のコンテンツの概略等について把握することができる。

したがって，画面上に又は印刷媒体等にできるだけ多くのサムネイルを一度に表示するため，コンテンツのサムネイルをどのような態様で表示すれば，ユーザの視認性に影響を及ぼさずにサムネイルの１フレーム当たりのサイズを小さくできるのかについて開発が注力されている。

上記サムネイルの表示態様の一つとして，撮影したディジタル画像等の画像について不要な部分を切り落として所定の画像領域（注目領域又は特徴領域）だけを残すトリミング作業を，自動で行うシステムが存在する（例えば，特許文献１参照）。

一方，映像の分野では，膨大なコンテンツの中からユーザが所望のものを効率的に探し出すために，コンテンツの音量やテロップ映像による特徴部分（映像特徴）を基にしてダイジェスト映像を作成するシステムが存在している（例えば，特許文献２参照）。

特開２００４−２２８９９４号公報 特開２０００−２２３０６２号公報

しかしながら，かかるトリミングでは，特徴領域の画像についてユーザは目に付くようになるが，上記注目領域以外の部分が切除され，その部分の画像の情報が失われてしまうことで逆にサムネイルが示すコンテンツの概略が何であるかユーザは認識することができない場合が多い。

また，ダイジェスト映像では，例えば観衆の声により音量が大きい場面や，注目すべきテロップ映像が流れる場面の映像が断片的につなぎ合わされているため，それ以外の映像については切り捨てられ，視聴者はコンテンツの内容全体を概略的に把握することが難しかった。

なお，特徴的な場面以外の部分は，特徴部分の内容を理解する上でも，特徴部分への導入等として，何らかの関係があることが多く，その特徴部分の前後を利用者が視聴することで，視聴者はより的確に内容を理解できると期待されている。

本発明は，上記問題点に鑑みてなされたものであり，本発明の目的は，画像の情報量をそのままに，特徴領域に該当する画像に対して変形処理を施すことが可能な，新規かつ改良された画像処理装置，画像処理方法，コンピュータプログラムを提供することである。

また，本発明は，上記問題点に鑑みてなされたものであり，本発明の目的は，映像の特徴部分以外の映像の再生速度は，映像特徴部分からの距離が遠くなるに従い，次第に速く，映像特徴部分からの距離が短くなるに従い，次第に遅くすることが可能な，新規かつ改良された画像処理装置，画像処理方法，およびコンピュータプログラム。

上記課題を解決するため，本発明の第１の観点によれば，画像処理方法が提供される。上記画像処理方法は，１又は２フレーム以上の原画像の画像領域から特徴領域を抽出する抽出処理と；上記特徴領域を基にして原画像に対して変形処理を施し，特徴変形画像に変形する画像変形処理とを含むことを特徴としている。

本発明によれば，原画像の画像領域から特徴領域を抽出し，その特徴領域を基にして特徴変形画像に変形している。かかる構成によれば，特徴変形画像の情報量は原画像の情報量と変わらないため，特徴変形画像は，原画像が出力されることによって，その原画像が伝える情報と同じ内容の情報をそのまま伝えることができる。

なお，上記複数の特徴変形画像は，一画面内に又は一印刷媒体内に配置されるように構成してもよい。

上記画像変形処理では，原画像の画像領域のうち特徴領域を除いた画像領域に該当する部分の原画像について歪み処理が行われ，さらに上記特徴領域に該当する部分の原画像に対してズーム処理が行われるようにしてもよい。かかる構成によれば，特徴変形画像の情報量と原画像の情報量は変わらず同じであるため，特徴変形画像は，原画像が表示されることで，その原画像が伝える情報と同じ内容のものを伝えることができ，かつ，特徴領域となる部分の画像にズーム処理が施されているため，ユーザに対しより認知度を高められるように，特徴変形画像を表示することができ，ユーザに対する視認性が向上し，的確にユーザに情報を伝えることができる。なお，上記原画像の情報量は，例えば，原画像が画面上又は印刷媒体上等に表示され，表像され，その画面又は印刷媒体等を通じて原画像が伝える情報の量等を示している。

上記ズーム処理における拡大／縮小率は，上記特徴領域のサイズに応じて変動するように構成してもよく，上記ズーム処理は，膨張しながらズームする膨張ズーム処理であるように構成してもよい。

上記画像変形処理では，上記原画像を基にしてメッシュデータが生成されて，そのメッシュデータに対して画像変形処理が行われるように構成してもよい。

上記複数フレームの原画像からなる原画像群であって，各原画像について特徴領域を抽出し，その抽出された各特徴領域のサイズに応じて，各原画像のフレームのサイズを変更し，その変更後の各原画像の画像領域に対して上記抽出処理と，上記画像変形処理とが行われるように構成してもよい。

上記ズーム処理における拡大／縮小率は，上記特徴領域のサイズに応じて変動するように構成してもよい。

上記画像処理方法は，さらにユーザから抽出処理と画像変形処理とを自動的に実行開始する指示を受付ける指示受付け処理と，上記実行開始の指示が受付けられ，上記抽出処理と画像変形処理とが終了した後，上記特徴変形画像を出力する出力処理とを含むように構成してもよい。

上記特徴領域は，被写体の顔領域又は文字領域を含むように構成してもよい。

上記課題を解決するために，本発明の別の観点によれば，画像処理装置が提供され，その画像処理装置は，１又は２フレーム以上の原画像の画像領域から特徴領域を抽出する抽出部と；上記特徴領域を基にして原画像に対して変形処理を施し，特徴変形画像に変形する画像変形部とを備えることを特徴としている。

上記画像変形部は，上記原画像の画像領域のうち特徴領域を除いた画像領域に該当する部分の原画像を歪めて，さらに特徴領域に該当する部分の原画像をズームするように構成してもよい。

上記原画像をズームする拡大／縮小率は，特徴領域のサイズに応じて変動するように構成してもよい。

上記画像変形部は，上記原画像を基にしてメッシュデータを生成し，原画像の画像領域のうち特徴領域を除いた画像領域に該当する部分のメッシュデータを歪めて，さらに上記特徴領域に該当する部分のメッシュデータをズームするように構成してもよい。

上記画像処理装置は，複数フレームの各原画像について抽出された特徴領域のサイズに応じて，各原画像のフレームのサイズを変更するサイズ変更部をさらに備えるようにしてもよい。

上記画像処理装置は，さらにユーザから抽出部と画像変形部とに対する実行開始の指示を受付ける入力部と；上記特徴変形画像を出力する出力部と備えるように構成してもよい。

上記課題を解決するために，本発明の別の観点によれば，コンピュータをして，画像処理装置として機能させるコンピュータプログラムが提供される。上記コンピュータプログラムは，１又は２フレーム以上の原画像の画像領域から特徴領域を抽出する抽出手段と；上記特徴領域を基にして原画像に対して変形処理を施し，特徴変形画像に変形する画像変形手段とを含むことを特徴としている。

上記画像変形手段は，原画像の画像領域のうち特徴領域を除いた画像領域に該当する部分の原画像を歪めて，さらに特徴領域に該当する部分の原画像をズームするようにしてもよい。

また，上記課題を解決するために，本発明の別の観点によれば，１又は２フレーム以上の原画像が並べられた映像ストリームを再生する画像処理装置が提供される。上記画像処理装置は，映像ストリームに構成される原画像の画像領域から特徴領域を抽出する抽出部と；上記映像ストリームのうち上記抽出された特徴領域の大きさが所定の閾値を超える部分を特徴映像として特定する特徴映像特定部と；上記特徴映像の個所を起点とし上記原画像のフレーム位置までの距離を少なくともパラメータとし，そのパラメータを基に上記映像ストリームに対し変形処理を施し，該変形後の映像ストリームを基に重み付け値を求める変形部と；上記変形部により求められた重み付け値を基にして再生速度を算出する再生速度算出部とを備えることを特徴としている。

上記画像処理装置は，上記再生速度算出部により求められた上記再生速度に従って，上記映像ストリームを再生する再生部をさらに備えるように構成してもよい。

上記再生速度は，上記特徴映像の再生速度を基準とすると，その特徴映像以外の部分が再生される場合，その部分が該特徴映像から離れるに従って速度が上がるように構成してもよい。

上記抽出部は，上記映像ストリームに構成されるフレームのうち全部又は一部のフレームを基に生成される平均画像と上記原画像との差分をとることで，上記原画像の画像領域から特徴領域を抽出するように構成してもよい。

上記平均画像は，上記全部又は一部のフレームの原画像に構成される各画素の輝度及び／又は彩度についての平均を基に作成される画像であるようにしてもよい。

上記特徴映像以外の部分が再生される場合，該特徴映像が再生される際の音量を基準とすると，その部分が該特徴映像から離れるに従い上記部分の再生時の音量が下がるように構成してもよい。

上記抽出部は，上記映像ストリームに構成される各フレームに対応する音情報を，特徴領域として抽出し，上記特徴映像特定部は，上記抽出された各フレームの音情報のうち所定の閾値を超える部分を特徴映像として特定するようにしてもよい。

また，上記課題を解決するために，本発明の別の観点によれば，１又は２フレーム以上の原画像が並べられた映像ストリームを再生する再生方法が提供される。上記再生方法は，上記映像ストリームに構成される原画像の画像領域から特徴領域を抽出する抽出工程と；上記映像ストリームのうち上記抽出された特徴領域の大きさが所定の閾値を超える部分を特徴映像として特定する特徴映像特定工程と；上記特徴映像の個所を起点とし上記原画像のフレーム位置までの距離を少なくともパラメータとし，そのパラメータを基に上記映像ストリームに対し変形処理を施し，該変形後の映像ストリームを基に重み付け値を求める変形工程と；上記変形工程により求められた重み付け値を基にして再生速度を算出する再生速度算出工程とを含むことを特徴としている。

また，上記課題を解決するために，本発明の別の観点によれば，コンピュータをして，１又は２フレーム以上の原画像が並べられた映像ストリームを再生する画像処理装置として機能させるコンピュータプログラムが提供される。上記コンピュータプログラムは，上記映像ストリームに構成される原画像の画像領域から特徴領域を抽出する抽出手段と；上記映像ストリームのうち上記抽出された特徴領域の大きさが所定の閾値を超える部分を特徴映像として特定する特徴映像特定手段と；上記特徴映像の個所を起点とし上記原画像のフレーム位置までの距離を少なくともパラメータとし，そのパラメータを基に上記映像ストリームに対し変形処理を施し，該変形後の映像ストリームを基に重み付け値を求める変形手段と；上記変形ステップで求めた重み付け値を基にして再生速度を算出する再生速度算出手段とを含むことを特徴としている。

以上説明したように，本発明によれば，サムネイル等の原画像の情報量をそのままにして，原画像の画像領域に存在するユーザが注目する特徴領域をズーム（拡大／縮小）することができるため，原画像のサイズが小さく，複数の原画像が一度に表示されてもユーザは原画像を容易に視認することができ，ユーザが所望の原画像の探索を支援することができる。

また，映像に構成されるフレームを基に特定された特徴映像周辺部については通常の速度に近い速度で再生し，特徴映像から遠ざかるにつれて再生速度を徐々に上げることで，映像の情報量はそのままに映像全体を時間短縮してユーザは視聴することができ，さらに特徴映像部分について深く内容を把握することができるため，ユーザは短時間で所望の映像を探索することができる。

以下，本発明の好適な実施の形態について，添付図面を参照しながら詳細に説明する。なお，以下の説明及び添付図面において，略同一の機能及び構成を有する構成要素については，同一符号を付することにより，重複説明を省略する。

（第１の実施の形態）
図１，２を参照しながら，第１の実施の形態にかかる画像処理装置１０１について説明する。なお，図１は，第１の実施の形態にかかる画像処理装置の外観の概略を示した説明図であり，図２は，第１の実施の形態にかかる画像処理装置の概略的な構成を示すブロック図である。

図１に示すように，画像処理装置１０１は，小さなディスプレイ，モバイル性に優れた情報処理装置である。また，画像処理装置１０１は，インターネット等のネットワークを介してデータを送受信し，少なくとも１又は２以上の画像を表示することが可能な装置である。より具体的には，画像処理装置１０１は，例えば，携帯電話，通信機能付きディジタルカメラ等であるが，かかる例に限定されない。例えば，画像処理装置１０１は，ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ），ノート型ＰＣ（パーソナルコンピュータ）等の場合でも良い。

また，上記画像処理装置１０１の画面上に表示される画像は，例えば，静止画像又は動画像などを例示することができる。なお，動画像等の映像の場合については，第６の実施の形態で詳細に説明する。

また，本実施の形態にかかるフレームは，単に原画像の画像領域又は原画像の枠を示す場合，またフレームは，原画像の画像領域と原画像の画像を含めたものを示す場合があるが，かかる例に限定されない。

図１に示すように，画像処理装置１０１の画面上には，複数のサムネイル（又は，原画像）が表示されている。ユーザは，それらのサムネイルから例えば画面上のカーソルを十字キーなどで移動し，関心のある興味のあるサムネイルを選択すると，そのサムネイル表示の画像に関連する詳細な情報等が画面に表示される。なお，上記原画像は，例えば，画像データ等であって，原画像の画像領域は，例えば，原画像のフレーム等の所定範囲である。

なお，図１に示す画面上には，１５フレーム（３×５フレーム）分の原画像を表示可能な表示領域が割当てられているが，かかる例に限定されず，１又は２フレーム以上の原画像を表示することが可能な表示領域であれば，いかなるサイズの表示領域でも実施可能である。

なお，上記サムネイルは，例えば，コンテンツが写真などの静止画像の場合，その静止画像そのもの又は静止画像の解像度を下げることによって作成される画像であり，またコンテンツが動画などの場合，その動画の開始の部分に含まれる１フレーム分の画像そのもの又はその画像の解像度を下げることによって作成される画像である。以下，上記サムネイルまたはそのサムネイル等の源泉となる画像を総称して原画像とする。

したがって，画像処理装置１０１の特徴として，ネット上又は自装置内に存在する膨大な情報（又は，映画等のコンテンツ）を画面上にサムネイル表示することでユーザによる検索を支援する装置である。

また，本実施の形態にかかる画像処理装置１０１は，画像を表示する場合に限らず，音声や，動画等を表示することも可能な装置である。したがって，画像処理装置１０１は，スポーツ，映画等のコンテンツを再生したり，ゲームをプレイしたり等することができる。

次に，図２に示すように，画像処理装置１０１は，制御部１３０と，バス１３１と，記憶部１３３と，入出力インタフェース１３５と，入力部１３６と，表示部１３７と，画音入出力部１３８と，通信部１３９とを備える。

制御部１３０は，画像処理装置１０１に構成する各部の処理・命令等を制御する。また，原画像の画像領域から特徴領域（又は，注目領域）を抽出したり，原画像を変形したり等，画像処理に関する一連の処理を行うプログラムを起動及び実行等する。より具体的には，制御部１３０は，例えば，ＣＰＵ（中央演算処理装置），ＭＰＵ（マイクロプロセッサ）等を例示することができるが，かかる例に限定されない。

また，制御部１３０が，バス１３１を介してＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１３２に記憶されているプログラムや，記憶部１３３からＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１３４に読み出したプログラム等に従って各種の画像処理等を実行する。

記憶部１３３は，上記プログラム，画像などのデータを読書き可能な記憶装置，ストレージ装置であり，例えば，ハードディスクドライブ，ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ−Ｏｎｌｙ Ｍｅｍｏｒｙ）などを例示することができるが，かかる例に限定されない。

入力部１３６は，ユーザから操作指示を受けることが可能な１又は２以上からなるボタン，トラックボール，トラックパッド，スタイラスペン，ダイアルログ，ジョイスティックなどのポインティングデバイス，または表示部１３７に表示される原画像を直接タッチすることでその原画像の選択を受付けるタッチパネル手段などからなるが，かかる例に限定されない。

表示部１３７は，少なくとも文学，コンサート，映画，またはスポーツなどの多種のジャンルに係るテキスト，音声，動画像，もしくは静止画像又はそれら任意の組み合わせなどを出力する。

バス１３１は，内部バス，メモリバス，入出力（Ｉ／Ｏ）バスなど画像処理装置１０１に構成されるバスの総称をいう。バス１３１は，各部から送出されたデータを，上記データの宛先である各部に伝送する。

画音入出力部１３８は，外部の装置で再生した画像や音声等のデータの入力をライン接続によって受付けたり，記憶部１３３に記憶された画像や音声等のデータを外部の装置にライン接続によって出力したりする。外部から受付けた原画像などのデータは，例えば表示部１３７に出力される。

通信部１３９は，有線又は無線からなるネットワークを介して種々の情報を送信又は受信する。なお，上記ネットワークとは，画像処理装置１０１とネット上のサーバ等を相互に双方向通信可能に接続するものであり，インターネットなどの公衆回線網であるが，ＷＡＮ，ＬＡＮ，ＩＰ−ＶＰＮなどの閉鎖回線網も含む。また接続媒体は，ＦＤＤＩ（Ｆｉｂｅｒ Ｄｉｓｔｒｉｂｕｔｅｄ Ｄａｔａ Ｉｎｔｅｒｆａｃｅ）などによる光ファイバケーブル，Ｅｔｈｅｒｎｅｔ（登録商標）による同軸ケーブル又はツイストペアケーブル，もしくはＩＥＥＥ８０２．１１ｂなどによる無線など，有線無線を問わず，衛星通信網なども含む。

（画像処理装置として機能させるプログラムについて）
次に，図３を参照しながら，第１の実施の形態にかかる画像処理装置１０１として機能させるプログラムについて説明する。なお，図３は，第１の実施の形態にかかる画像処理装置１０１として機能させるコンピュータプログラムの概略的な構成を示す説明図である。

画像処理装置１０１として機能させるプログラムは，予め記憶部１３３に実行可能なようにインストールされ，記憶されている。そして，変形処理などの画像処理を実行するために画像処理装置１０１にインストールされたプログラムが起動すると，図３に示すように，ＲＡＭ１３４に読み込まれて実行される。

なお，第１の実施の形態にかかるコンピュータプログラムは，インストールされる場合を例に挙げて説明したが，かかる例に限定されず，例えば，サーバからコンピュータプログラムをダウンロードし，インタープリタして実行するＪａｖａ（登録商標）等によるプログラムの場合であっても実施可能である。

図３に示すように，画像処理装置１０１として機能させるプログラムは，複数のモジュール群から構成されている。上記プログラムには，画像選択手段２０１と，画像読取手段２０３と，画像配置手段２０５と，画素結合手段２０７と，特徴領域算出手段（又は，抽出手段など）２０９と，特徴領域変形手段（又は，画像変形手段など）２１１と，表示手段２１３と，印刷手段２１５とが含まれている。

上記画像選択手段２０１は，ユーザにより入力部１３６が操作されると，入力部１３６から出力された指示内容を受けて，その指示内容に合致する画像を選択したり，既に画面上に表示された画像の中からカーソル等を移動することで画像を選択したりするモジュールである。

なお，画像選択手段２０１は，ユーザからの指示に限定されず，自装置内又はネット上に存在する画像を例えば最新のものから順に又はランダムに選択する場合等でも実施可能である。

上記画像読取手段２０３は，上記画像選択手段２０１により選択された画像を記憶部１３３又はネット上のサーバ等から原画像として読み出すモジュールである。また，画像読取手段２０３は，読み出した原画像を，例えば原画像の解像度よりも低い画像（サムネイル）等に加工することも可能である。上記説明の通り，本明細書では，特段の記載がない場合，原画像には，サムネイルなどの画像も含まれるものとする。

上記画像配置手段２０５は，表示部１３７の画面上の所定位置に原画像を配置するモジュールである。上記説明したように，一画面内には１又は２以上の原画像が例えば所定間隔ごとに配列されるが，かかる例に限定されない。

画素結合手段２０７は，表示部１３７に表示される１又は２以上の原画像の画素を結合して画面全体を一つの表示画像のデータに加工するモジュールである。この表示画像データが表示部１３７の画面に実際に表示される際のデータである。

特徴領域算出手段２０９は，原画像の画像領域のうちで人の目をひくような注目されやすい領域（注目領域，または，特徴領域）を特定することが可能なモジュールである。

特徴領域算出手段２０９は，原画像の画像領域のうち特徴領域を特定すると，原画像を加工し，特徴領域の位置を例えば矩形などで示した特徴抽出画像を作成する。なお，特徴抽出画像については後程説明するが，特徴抽出画像は，原画像の画像領域から特徴領域が抽出された画像であって，特徴領域が特定された点を除いて基本的には原画像と同様である。

なお，本実施の形態にかかる特徴領域算出手段２０９が特定する特徴領域は，原画像の内容に応じて多様な特徴領域を特定することができる。例えば，原画像に人や動物が含まれた画像の場合，特徴領域算出手段２０９は人又は動物の顔を特徴領域として特定してもよく，また原画像に地図の地名が含まれていた場合，特徴領域算出手段２０９は地図の地名を特徴領域として特定してもよい。

また，本実施の形態にかかる特徴領域算出手段２０９は，原画像の特徴領域を特定する際に，原画像と対応するメッシュデータを生成し，メッシュデータ上で特徴領域の位置を把握するようにしてもよい。なお，上記メッシュデータについては後程詳述する。

上記特徴領域変形手段２１１は，上記特徴領域算出手段２０９により特定された特徴領域（注目領域）を基にして，特徴領域をはじめそれ以外の画像領域も含めて変形処理を原画像に施す。

なお，本実施の形態にかかる特徴領域変形手段２１１は，上記特徴領域算出手段２０９で生成されたメッシュデータに対して変形処理を施すことによって，原画像に変形処理を施している。したがって，かかる特徴領域変形手段２１１は，原画像の画像データを直接加工しないため変形処理を効率的に実行することができる。

表示手段２１３は，上記特徴領域変形手段２１１により変形処理が施された原画像（特徴変形画像）を含む表示画像データを表示部１３７に出力するモジュールである。

印刷手段２１５は，上記特徴領域変形手段２１１により変形処理が施された１又は２以上の原画像（特徴変形画像）を含む表示画像データを印刷媒体等に印刷するためのモジュールである。

（画像処理について）
次に，図４を参照しながら，第１の実施の形態にかかる一連の画像処理について説明する。なお，図４は，第１の実施の形態にかかる画像処理の概略を示すフローチャートである。

図４に示すように，第１の実施の形態にかかる画像処理装置１０１による原画像に対する画像処理は，特徴領域抽出処理（Ｓ１０１）と，特徴領域変形処理（Ｓ１０３）と，大きく２つのステージから構成されている。

また，図４に示す画像処理では，画像読取手段２０３等によって読み出された原画像が複数フレームの場合，その複数フレーム分の原画像に対して，特徴領域抽出処理（Ｓ１０１）と，特徴領域変形処理（Ｓ１０３）とが実行される。

なお，本明細書では，フレームと単に記載した場合，そのフレームである枠自体もしくはそのフレームの原画像自体又は双方を示すものとする。

上記特徴領域抽出処理（Ｓ１０１）では，原画像の画像領域のうち例えば目立つ領域などの特徴領域を抽出する処理が行われる。以下に，図面と併せて特徴領域抽出処理（Ｓ１０１）について詳細に説明する。

（特徴領域抽出処理について）
まず，図５を参照しながら，第１の実施の形態にかかる特徴領域抽出処理（Ｓ１０１）について説明する。なお，図５は，第１の実施の形態にかかる特徴領域抽出処理の概略を示すフローチャートである。

図５に示すように，まず特徴領域算出手段２０９は，読み出された原画像に対し領域分割を行う（Ｓ３０１）。ここで，図６を参照しながら，領域分割について簡単に説明する。なお，図６は，第１の実施の形態にかかる原画像の概略を示す説明図である。

図６に示すように，原画像には，画像中央左側に１本の木と，右側に１軒の家と，上側に雲が表現されている。なお，原画像のフォーマットは，ビットマップ，ＪＰＥＧなどいかなる形式でも実施可能である。

図６に示す原画像が特徴領域算出手段２０９によって，領域分割（Ｓ３０１）が行われる。例えば，領域分割（Ｓ３０１）は，縦横が所定ピクセルからなるブロックによって原画像を１又は２以上のブロックに分割することによって領域分割してもよいが，第１の実施の形態にかかる原画像に対する領域分割（イメージセグメンテーション）は，以下に示す方法が用いられている。

上記領域分割は，「Ｎｏｃｋ， Ｒ．， ａｎｄ Ｎｉｅｌｓｅｎ， Ｆ． Ｓｔａｔｉｓｔｉｃａｌ Ｒｅｇｉｏｎ Ｍｅｒｇｉｎｇ，“Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ ａｎｄ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ（ＴＰＡＭＩ）” ＩＥＥＥ ＣＳ Ｐｒｅｓｓ４，ｐｐ．５５７−５６０，２００４」の方法を用いて行われているが，かかる方法に限定されず，他の画像領域を分割する方法を用いても実施可能である。

次に，領域分割（Ｓ３０１）が終了すると，次に，分割された複数の画像領域各々に対して，特徴領域算出手段２０９によって誘目度を計算し評価する（Ｓ３０３）。上記誘目度は，人が目に留まりやすい又は人が注目しやすい度合いを示すパラメータであって，人の主観にあわせたパラメータである。

特徴領域（注目領域）の抽出は，求められた誘目度を評価した結果，最も目立つ領域を特徴領域として抽出する。つまり，特徴領域の評価の際は，物理的特徴に従って，人の主観にあうように評価がされるので，人の主観に適合する特徴領域が抽出される。

例えば，誘目度を計算し求める場合，物理的特徴が色の異質度を含む場合，また色相，彩度，明度など色の要素を基にして人の主観による目立つ色（赤色など）に近い領域等を誘目度が高いと算出する場合でもよい。

なお，第１の実施の形態にかかる誘目度の計算及び評価については，以下に示す方法が用いられている。「田中昭二, 井上征士, 岩館祐一, 中津良平,“画像領域の物理的特徴に基づく誘目度評価モデル”,電子情報通信学会論文誌 Ａ Ｖｏｌ． Ｊ８３Ａ Ｎｏ．５，ｐｐ．５７６−５８８，２０００.」の方法を用いて行われているが，かかる方法に限定されず，他の画像領域を分割する方法を用いても実施可能である。

誘目度が計算されると（Ｓ３０３），次に，特徴領域算出手段２０９は，評価した各分割後の画像領域の誘目度の数値を参照し，誘目度の高い方から順に分割後の画像領域を並べる（Ｓ３０５）。

次に，特徴領域算出手段２０９は，誘目度の高い画像領域から順に選択し，選択された分割後の画像領域の面積の総和が，原画像の面積の略半分以上に達した時点で，画像領域の選択を中止する（Ｓ３０７）。

上記ステップＳ３０７において，特徴領域算出手段２０９によって選択された分割後の画像領域全体が，特徴領域（又は，注目領域）となる。

次に，特徴領域算出手段２０９は，ステップＳ３０７で選択した画像領域が存在する位置の近傍（隣接するなど）に他の選択した画像領域が存在する場合，それらの画像領域を結合し，一つの画像領域（特徴領域）とする。

なお，上記ステップＳ３０７では，上記特徴領域算出手段２０９によって選択された分割後の画像領域全体が特徴領域とする場合を例に挙げて説明したが，かかる例に限定されず，例えば，上記特徴領域算出手段２０９によって選択された分割後の画像領域全体の外接四角形を特徴領域としてもよい。

以上，ステップＳ３０１〜ステップＳ３０９が実行されることで，特徴領域抽出処理（Ｓ１０１）が終了し，原画像の画像領域から特徴領域を抽出することができる。なお，ここで，図６に示す原画像が特徴抽出処理（Ｓ１０１）が実行されると，図７に示すような特徴領域が抽出された特徴抽出画像が作成される。

図７に示すように，特徴抽出画像には，上記図６に示す原画像に表現されていた木と家の周囲を囲むように矩形が表示されている。上記矩形内の部分が特徴領域（以下，矩形）に相当する。なお，図７に示す特徴抽出画像の特徴領域は，上記ステップＳ３０７において特徴領域算出手段２０９が選択した分割後の画像領域全体の外接四角形を特徴領域とした場合の領域であるが，かかる例に限定されない。

また，原画像について特徴領域抽出処理（Ｓ１０１）が実行されると特徴領域が抽出されるが，その特徴領域の位置を表すために，例えば図７に示す矩形の頂点の座標等が特徴領域情報としてＲＡＭ１３４又は記憶部１３３等に格納されてもよい。

（特徴領域変形処理について）
次に，図８を参照しながら，第１の実施の形態に特徴領域変形処理（Ｓ１０３）について説明する。なお，図８は，第１の実施の形態にかかる特徴領域変形処理の概略を示すフローチャートである。

図４に示すように，上記説明した特徴領域抽出処理（Ｓ１０１）が終了し，原画像の画像領域から特徴領域が抽出されると，次に，原画像の情報量をそのまま維持するように，少なくとも特徴領域を変形する特徴領域変形処理（Ｓ１０３）が実行される。

図８に示すように，特徴領域変形手段２１１は，ＲＡＭ１３４等に記憶された特徴領域情報を基にして，上記特徴領域算出手段２０９によって原画像の画像領域から抽出された特徴領域の外接四角形を設定する（Ｓ４０１）。なお，特徴領域抽出処理（Ｓ１０１）において，上記特徴領域の外接四角形が設定されていた場合，上記ステップＳ４０１を省略しても良い。

次に，特徴領域変形手段２１１は，原画像の画像領域のうち，ステップＳ４０１で設定された特徴領域の外接四角形を除いた領域に対応するメッシュデータを，フィッシュアイ（Ｆｉｓｈｅｙｅ）アルゴリズムによって変形（歪み処理）する（Ｓ４０３）。

なお，上記ステップＳ４０１で設定された特徴領域の外接四角形を除いた領域に対応するメッシュデータが変形される際に，上記特徴領域がズーム処理される拡大／縮小率に応じて変形される度合いが調整される。

（メッシュデータ）
ここで，図９，図１０を参照しながら，第１の実施の形態にかかるメッシュデータについて説明する。なお，図９は，第１の実施の形態にかかるメッシュデータの概略的な構成について示す説明図であり，図１０は，第１の実施の形態にかかる原画像にメッシュデータが付加されたメッシュ入り特徴抽出画像の概略的な構成を示す説明図である。

図９に示すように，メッシュデータは，所定面積を有するブロック（矩形など）を網の目状に配置したものである。図９に示すように，メッシュデータは，ブロックを単位としてブロックの頂点座標（図９に示す黒点“・”）を構造化したデータである。

なお，図９に示すメッシュデータには，黒点“・”が全てのブロックの頂点に図示されていないが，実際にはメッシュデータには全てのブロックの頂点に黒点“・”が存在するものとする。同様に，図１０，図１１に図示されたメッシュデータについても同様である。

上記特徴領域変形手段２１１は，読み取られた原画像のサイズに対応するように，図９に示すようなメッシュデータを生成し，そのメッシュデータを基にして，以降に示す変形処理を施している。かかるメッシュデータに対して変形処理をすることで，例えばピクセルごとに原画像を処理するよりも格段に処理効率又は処理負荷が軽減される。

また，第１の実施の形態にかかるメッシュデータに構成される黒点の個数は，メッシュデータを構成するブロックの数に比例し，画像処理装置１０１の処理能力にも依存するが，基本的に，いかなる個数の場合でも実施可能である。

上記特徴領域変形手段２１１がメッシュデータを生成し，特徴領域が抽出された特徴抽出画像にマッピングしたものが図１０に示すメッシュ入り特徴抽出画像である。図１０に示す黒点の位置を上下左右等に移動すると，それに連動して移動した黒点に対応する特徴抽出画像（原画像）のピクセル又はピクセル群も移動するように特徴領域変形手段２１１が画像処理する。なお，ピクセル群は，複数のピクセルが一つのグループとしてグループ化されたものである。

したがって，図１０に示すように，原画像の画像領域において特徴領域（図１０に示す木を囲む矩形と家を囲む矩形内）以外の領域の位置に対応するメッシュデータ側の領域に含む黒点（“・”）群に対し，フィッシュアイアルゴリズムによって変形処理を施す（Ｓ４０３）。

図８に再び戻ると，次に，フィッシュアイアルゴリズムによって変形されなかった特徴領域に対して線形に計算し，先程ステップＳ４０３で変形処理が施されて移動した特徴領域以外の領域と連動して，変形処理後の位置を計算して求める（Ｓ４０５）。

上記ステップＳ４０５では，特徴領域内については線形に計算して変更処理後の位置を求めるため，特徴領域についてはズーム効果によって拡大した表現となり，ユーザがその変形処理後の画像を見ると，特徴領域について非常に目に付きやすくなる。

なお，第１の実施の形態にかかるステップＳ４０５では，特徴領域内をズーム処理することで，線形拡大（ズーム処理）する場合を例に挙げて説明したが，かかる例に限定されず，例えば，ステップＳ４０５では，特徴領域内をズーム処理することで，線形縮小する場合，または特徴領域内を線形拡大／縮小でないズーム処理をする場合などでも実施可能である。

また，第１の実施の形態にかかるステップＳ４０５では，特徴領域内をズーム処理する拡大／縮小率は，例えば，特徴領域のサイズが１００ピクセルまでは２倍拡大又は０．５倍縮小する等，特徴領域のサイズに応じて変更されてもよい。

なお，上記ステップＳ４０５においても，図９，図１０を参照しながら説明したように，原画像の画像領域のうち特徴領域に対応するメッシュデータ側の領域内に含む黒点群に対して変形処理が施される。

また，上記ステップＳ４０３と，上記ステップＳ４０５とが，特徴領域変形手段２１１によって行われた結果，図１０に示す変形処理前のメッシュデータは，図１１に示す変形処理後のメッシュデータのようになる。

なお，図１１は，第１の実施の形態にかかる変形処理後のメッシュデータが付加された特徴変形画像であるメッシュ入り特徴変形画像の概略的な構成を示す説明図である。

特徴領域変形手段２１１によってステップＳ４０３とステップＳ４０５が実行されるとメッシュデータは，図１１に示すような結果となる。

メッシュデータの変形処理で当該メッシュデータの黒点群が移動したのと伴って，その黒点群と対応する位置に存在する原画像のピクセル群等に対しても移動させることで，特徴変形画像が作成される。

つまり，図１１に示すように，メッシュデータが変形処理（Ｓ４０３，Ｓ４０５）されると，原画像に対しても特徴領域以外の領域に存在する雲などは，原画像のフレームの枠方向又はフレームの中心方向に圧縮され，表現されるように歪み処理が行われ，歪んだ雲の表現（圧縮表現）になり，特徴領域である木を囲む矩形内と家を囲む矩形内は，上記歪み処理で圧縮された領域に対応するようにズーム処理が行われると，膨張したような木と家の表現になることで，図１２に示すような特徴変形画像が作成される。

特徴領域変形手段２１１が原画像に対応するメッシュデータを基にして特徴領域変形処理（Ｓ１０３）を実行することで，メッシュデータを変形すると，その変形に伴って原画像も図１２に示す特徴変形画像に変形される。

なお，特徴変形画像は，あくまでメッシュデータの変形に伴って変形されるため，メッシュデータが変更前の状態に戻れば特徴変形画像も原画像の状態に戻るが，かかる例に限定されず，原画像に直接変形処理を施して不可逆的な特徴変形画像が作成される場合でも実施可能である。また，図１２は，第１の実施の形態にかかる特徴変形画像の概略的な構成を示す説明図である。

さらに，図１２に示すように，特徴変形画像は，特徴領域にかかる画像は原画像の状態よりも拡大されて大きく表現され，特徴領域を除いた他の領域については，フィッシュアイ効果によって，原画像の状態よりも歪んだ表現となるが，特徴領域を含め，特徴領域を除いた他の領域についても原画像の情報量を維持している点が特徴である。

上記原画像の情報量とは，原画像が画面上又は印刷媒体上等に表示され，表像され，その画面又は印刷媒体等を通じて原画像が伝える情報の量である。なお，印刷媒体は，印刷可能なプリント紙，シール，印画紙などを例示することができる。原画像が単純にトリミングされて拡大された画像が作成された場合，上記拡大された画像の情報量は，トリミングによって一部の所定領域を除いて切除されるため，上記原画像の情報量よりも少なくなるが，本実施の形態にかかる特徴変形画像の情報量は，原画像の情報量と変わらず同じである。

なお，第１の実施の形態にかかるフィッシュアイアルゴリズムの具体的な手法については，以下に示す文献等に記載されているが，かかる手法に限定されない。
（１）Ｆｕｒｎａｓ， Ｇ． Ｗ． “Ｇｅｎｅｒａｌｉｚｅｄ
ｆｉｓｈｅｙｅ ｖｉｅｗｓ．” Ｉｎ ｐｒｏｃｅｅｄｉｎｇｓ Ｏｆ ｔｈｅ ＡＣＭ Ｔｒａｎ ｏｎ Ｃｏｍｐｕｔｅｒ−Ｈｕｍａｎ Ｉｎｔｅｒａｃｔｉｏｎ， ｐｐ．
１２６−１６０， １９９４．
以上で，第１の実施の形態にかかる一連の画像処理について説明が終了するが，かかる画像処理によって以下に示すような優れた効果がある。
（１）特徴変形画像の情報量は，原画像の情報量と同じであるため，特徴変形画像は，原画像が表示されることで，その原画像が伝える情報と何ら変更なくそのまま伝えることができる。さらに特徴変形画像は，特徴領域となる部分の画像をユーザに対しより認知度を高められるように，表示することができ，ユーザに対する視認性が向上し，的確にユーザに情報を伝えることができる。
（２）特徴変形画像の情報量と原画像の情報量と同じであるため，特徴領域画像は原画像の表像によって原画像が伝える情報（コンテンツの概略等）と同じものをユーザに伝えることができ，ユーザによる誤認を防止し，ユーザによる検索回数を減らして効率的な検索を促すことができる。
（３）特徴変形画像は，原画像の特徴領域がズームされた画像となっているため，特徴変形画像のサイズを小さくしてもユーザによる視認性は低下させず，画面上に又は印刷媒体に出力する画像のフレーム数を増やすことができる。
（４）原画像の画像処理は，メッシュデータを基にして行われるため，特に携帯性の優れる画像処理装置１０１にとっては処理負荷が軽く，効率的に特徴変形画像を表示することができる。

（第２の実施の形態）
次に，第２の実施の形態にかかる画像処理装置について説明する。なお，第２の実施の形態にかかる画像処理装置についての説明は，第１の実施の形態にかかる画像処理装置と相違する点について詳細に説明するが，その他の点については，実質的に同一であるため，詳細な説明は省略する。

図１〜３を参照しながら，第１の実施の形態にかかる画像処理装置１０１について説明したが，第２の実施の形態にかかる画像処理装置１０１と比べると，特徴領域算出手段２０９が特に相違する。

第２の実施の形態にかかる特徴領域算出手段２０９は，原画像の画像領域から特徴領域を抽出するが，その手法が第１の実施の形態にかかる特徴領域算出手段２０９と異なる。第２の実施の形態にかかる特徴領域算出手段２０９では，原画像の画像領域から顔領域を抽出する顔領域抽出処理が行われる。なお，特徴領域としての顔領域の抽出については，後程説明する。

上記第２の実施の形態にかかる特徴領域算出手段２０９は，例えば，ディジタルカメラ等で撮像された被写体が表現された原画像を用いて，顔領域を認識し，その原画像の画像領域から顔領域を抽出する。

なお，第２の実施の形態にかかる特徴領域算出手段２０９は，顔領域を適切又は効率的に認識するため，顔領域抽出する画像処理において原画像について輝度又は彩度等の色補正等も必要に応じて実行してもよい。

また，その他にも，第２の実施の形態にかかる記憶部１３３は，第１の実施の形態に係る記憶部１３３と比べて，顔領域抽出ＤＢを少なくとも格納している点で相違する。上記顔領域抽出ＤＢには，原画像から顔領域を切り出すための顔が表現された顔画像のサンプル画像データ（又は，テンプレートデータ）等が格納されている。

上記サンプル画像データは，例えば，人物の顔の場合，複数の顔から平均的な顔を求め，その顔から生成される顔画像をサンプル画像データとする。一般的な顔画像が原画像に含まれていれば，その原画像に含まれる部分を顔画像であるとを認識し，その領域を顔領域として抽出することができる。

なお，第２の実施の形態にかかるサンプル画像データは，人間の顔の場合を例に挙げて説明したが，かかる例に限定されず，例えば，犬や，猫等の動物の場合，自動車等の物品の場合でも実施可能である。

（画像処理について）
次に，図１３を参照しながら，第２の実施の形態にかかる一連の画像処理について説明する。なお，第２の実施の形態にかかる画像処理についての説明は，第１の実施の形態にかかる画像処理と相違する点について詳細に説明するが，その他の点については，実質的に同一であるため，詳細な説明は省略する。

図１３に示すように，上記図４を参照しながら説明した第１の実施の形態にかかる一連の画像処理と比較して，第２の実施の形態にかかる一連の画像処理では，顔領域抽出処理（Ｓ２０１）が実行される点で相違する。

（顔領域抽出処理について）
ここで，図１３に示す第２の形態にかかる顔領域抽出処理について説明する。なお，以下に説明する顔領域抽出処理（Ｓ２０１）は一例であって，かかる例に限定されず，原画像から顔領域を抽出可能であれば，いかなる処理でも実施可能である。

まず顔領域抽出処理（Ｓ２０１）では，原画像の画像領域をリサイズし，所定領域からなるブロック単位に切り出す。なお，上記原画像のリサイズは，原画像を記憶部１３３から読み出して，縮小率が相異なる複数のスケール画像に変換する。

例えば，第２の実施の形態にかかる原画像を，０．８倍ずつ順次縮小して５段階（１．０倍，０．８倍，０．６４倍，０．５１倍，０．４１倍）のスケール画像に変換する。なお以下，上記複数のスケール画像は，１．０倍のスケール画像を第１のスケール画像とし，順次縮小するごとに，第２〜第５のスケール画像とする。

次に，複数のスケール画像が生成されると，スケール画像に対して切り出し処理を行う。切出し処理は，まず，例えば第１のスケール画像に対して，画像左上を起点として順にスケール画像の右下まで，例えば２画素ずつなど，適当な画素ずつ右側又は下側にずらしながらスキャンするようにして，２０×２０画素の矩形領域（以下，ウィンドウ画像と呼ぶ）を順次切出す。なお，本実施の形態にかかるスケール画像データの起点は，画像左上である場合に限らず，例えば画像右上などであっても実施可能である。

次に，上記第１のスケール画像データから切り出された複数のウィンドウ画像は，各ウィンドウ画像ごとに後続のテンプレートマッチング処理が実行される。上記テンプレートマッチング処理は，スケール画像を切り出す処理で，切り出されたウィンドウ画像について，例えば正規化相関法，誤差二乗法などの演算処理を実行してピーク値をもつ関数曲線に変換した後，当該関数曲線に対して認識性能が落ちない程度に十分に低い閾値を設定し，当該閾値を基準として当該ウィンドウ画像が顔画像であるか否かを判断する。

上記テンプレートマッチング処理では，上記説明したように，例えば１００人程度の人間の顔画像の平均から生成される平均的な人間の顔画像をサンプル画像データ（又は，テンプレートデータ）として記憶部１３３の顔領域抽出ＤＢに予め登録されている。

ウィンドウ画像が顔画像であるか否かの判断は，上記サンプル画像データを基にして，かかるウィンドウ画像について顔画像であるか否かの判断基準となる閾値が設定され，サンプル画像データとの簡易なマッチング処理を実行することで判断される。

切り出されたウィンドウ画像について，顔画像データであると判断された場合には，当該ウィンドウ画像をスコア画像（顔画像と判断されたウィンドウ画像。）とみなして，後続の前処理が実行される。

一方，上記ウィンドウ画像について，顔画像でないと判断された場合には，後続の前処理，パターン識別処理等は実行されない。なお，上記スコア画像には，顔領域と判断された度合いがどの程度確からしいのかを示す信頼度情報が含まれてもよい。例えば，信頼度情報は，スコア値が“００”〜“９９”の範囲内の数値を表し，数値が高いほど，より顔領域であることが確からしいことを表す。

また，上記説明の正規化相関法，誤差二乗法などの演算処理は，後続の前処理や，パターン識別処理（ＳＶＭ（サポートベクタマシン；Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ）識別処理）等における演算処理と比較すると，演算処理量が１０分の１から１００分の１程度で済むとともに，テンプレートマッチング処理におけるマッチング処理時点で，例えば８０（％）以上の確率で顔画像であるウィンドウ画像を検出することが可能である。

次に行われる前処理は，前述のテンプレートマッチング処理から得られたスコア画像について，例えば，スコア画像から人間の顔画像の領域とは無関係な背景等に相当する４隅の領域を抽出するために，当該４隅の領域を切り取ったマスクを用いて，２０×２０画素あるスコア画像から３６０画素分を抽出する。なお本実施の形態にかかるスコア画像は４隅を切り取った３６０画素分を抽出する場合を例に挙げて説明したが，かかる例に限定されず，例えば，４隅を抽出しない場合であっても実施可能である。

さらに前処理は，撮像時の照明などにより濃淡で表される被写体の傾き条件を解消するために，例えば平均二乗誤差（ＲＳＭ：Ｒｏｏｔ Ｍｅａｎ Ｓｑｕａｒｅ）などによる算出方法を用いて当該抽出された３６０画素等のスコア画像の濃淡値に補正をかける。

続いて，前処理では，例えばスコア画像をベクトル変換し，得られたベクトル群をさらに１本のパターンベクトルに変換するため，ガボア・フィルタリング（Ｇａｂｏｒ Ｆｉｌｔｅｒｉｎｇ）処理等が行われる。なお，ガボア・フィルタリングにおけるフィルタの種類は必要に応じて変更可能である。

次に，パターン識別処理では，上述した前処理でパターンベクトルとして得られたスコア画像に対して顔画像に係る画像領域（顔領域）の抽出が行われる。

なお，パターン識別処理で原画像の画像領域から抽出された顔領域に関する情報は，ＲＡＭ１３４等に記憶される。上記顔領域に関する情報（顔領域属性情報）は，例えば，顔領域の位置（座標位置），顔領域の面積（縦×横の画素数），顔領域であることの確からしさを表す信頼度情報などが格納される。

上記記載のように，第１のスケール画像データについて，切り出し処理により順次スキャンされたウィンドウ画像について，後続のテンプレートマッチング処理，前処理，パターン識別処理等による各処理が実行され，当該第１のスケール画像から顔領域が含まれるスコア画像を複数検出することが可能となる。さらに，第２〜第５のスケール画像についても第１のスケール画像とほぼ同様に実行される。

したがって，１又は２以上の顔画像属性情報がＲＡＭ１３４等に格納されると，特徴領域算出手段２０９は，原画像の画像領域から１又は２以上の顔領域を認識し，その顔領域の部分を原画像の画像領域から特徴領域として抽出することができる。

なお，特徴領域算出手段２０９は，抽出した顔領域を必要に応じて，当該顔領域の外接四角形を設定し，その設定後の領域を特徴領域としての顔領域としても良い。以上で，顔領域抽出処理の一連の動作が終了する。

なお，第２の実施の形態にかかる顔領域抽出処理では，サンプル画像データを用いたマッチング処理によって，顔領域を抽出する場合を例に挙げて説明したが，かかる例に限定されず，顔領域を抽出することが可能であれば，いかなる手法でも実施可能である。

上記顔領域抽出処理（Ｓ２０１）が終了すると，次に，特徴領域変形手段２１１は，特徴領域変形処理（Ｓ１０３）を実行することで，原画像を特徴変形画像に変形する。かかる特徴領域変形処理（Ｓ１０３）は，第１の実施の形態にかかる特徴領域変形処理と実質的に同一であるため詳細な説明は省略する。

（顔領域が抽出された場合の特徴抽出画像，特徴変形画像について）
ここで，図１４〜図１６を参照しながら，第２の実施の形態にかかる特徴抽出画像及び特徴変形画像について説明する。なお，図１４は，第２の実施の形態にかかる原画像の概略的な構成を示す説明図であり，図１５は，第２の実施の形態にかかる特徴抽出画像の概略的な構成を示す説明図であり，図１６は，第２の実施の形態にかかる特徴変形画像の概略的な構成を示す説明図である。

図１４に示すように，ディジタルカメラ等の撮像手段によって人物を撮像した原画像が記憶部１３３等に格納される。なお，図１４に示す原画像には一人の人物が表現された場合を例に挙げて説明するが，かかる例に限定されず，例えば，３人等の複数人の人物が原画像に表現された場合等でも実施可能である。また，第２の実施の形態にかかる原画像の解像度は，撮像手段等の性能に左右されるが，いかなる解像度でも実施可能である。

次に，図１５に示すように，図１４に示す原画像に対して第２の実施の形態にかかる顔領域抽出処理（Ｓ２０１）が実行されると，原画像の画像領域のうち顔領域が抽出される。当該顔領域が抽出され，その抽出された顔領域を表現した画像を特徴抽出画像とする。なお，上記顔領域（特徴領域）の部分は，図１５に示す特徴抽出画像の四角形状の矩形で表された枠領域内である。

さらに，図１５に示す特徴抽出画像として顔領域が抽出され，原画像の画像領域のうち顔領域を除いた領域に対して，上記説明したように，フィッシュアイアルゴリズムによる変形処理が行われ，顔領域についてはズーム処理が行われると，図１４に示す原画像は，図１６に示す特徴変形画像に変形する。

なお，第２の実施の形態にかかる一連の画像処理でも，第１の実施の形態に係る画像処理と同様に，メッシュデータを用いて顔領域抽出処理（Ｓ２０１），特徴領域変形処理（Ｓ１０３）などが実行される。

（第３の実施の形態）
次に，第３の実施の形態にかかる画像処理装置について説明する。なお，第３の実施の形態にかかる画像処理装置についての説明は，第１の実施の形態にかかる画像処理装置と相違する点について詳細に説明するが，その他の点については，実質的に同一であるため，詳細な説明は省略する。

図１〜３を参照しながら，第１の実施の形態にかかる画像処理装置１０１について説明したが，第３の実施の形態にかかる画像処理装置１０１と比べると，特徴領域算出手段２０９について相違する。

第３の実施の形態にかかる特徴領域算出手段２０９は，原画像の画像領域から特徴領域を抽出するが，その手法が第１の実施の形態にかかる特徴領域算出手段２０９と異なる。第３の実施の形態にかかる特徴領域算出手段２０９では，原画像に表現された文字を認識し，その原画像の画像領域から文字領域を抽出する文字領域抽出処理が行われる。なお，特徴領域としての文字領域の抽出については，後程説明する。

上記第３の実施の形態にかかる特徴領域算出手段２０９は，例えば，ディジタルカメラ等で地図を撮像又はスキャンすることで生成する原画像を用いて，文字を認識し，その原画像の画像領域から文字領域を抽出する。

なお，第３の実施の形態にかかる特徴領域算出手段２０９は，文字を適切又は効率的に認識するため，文字領域を抽出する画像処理において原画像について輝度又は彩度等の色補正等も必要に応じて実行してもよい。

より具体的には，第３の実施の形態にかかる特徴領域算出手段２０９は，例えばＯＣＲ（Ｏｐｔｉｃａｌ Ｃｈａｒａｃｔｅｒ Ｒｅａｄｅｒ：光学式文字読み取り装置）によって，原画像のうち文字である部分を認識し，その文字の部分を文字領域として原画像の画像領域から抽出する機能を有する。

なお，第３の実施の形態に係る特徴領域算出手段２０９は，文字を認識する手法としてＯＣＲを用いる場合を例に挙げて説明したが，かかる例に限定されず，文字を認識することが可能であれば如何なる手法の場合でも実施可能である。

また，その他にも，第３の実施の形態にかかる記憶部１３３は，第１の実施の形態に係る記憶部１３３と比べて，文字領域抽出ＤＢを少なくとも格納している点で相違する。上記文字領域抽出ＤＢには，原画像から文字を認識するために標準的な文字が表現された文字画像のパターンデータ等が格納されている。

なお，第３の実施の形態にかかるパターンデータは，文字の場合を例に挙げて説明したが，かかる例に限定されず，例えば，図形，記号等の場合でも実施可能である。

（画像処理について）
次に，図１７を参照しながら，第３の実施の形態にかかる一連の画像処理について説明する。なお，第３の実施の形態にかかる画像処理についての説明は，第１の実施の形態にかかる画像処理と相違する点について詳細に説明するが，その他の点については，実質的に同一であるため，詳細な説明は省略する。

図１７に示すように，上記図４を参照しながら説明した第１の実施の形態にかかる一連の画像処理と比較して，第３の実施の形態にかかる一連の画像処理では，ＯＣＲによる文字領域抽出処理（Ｓ２０３）が実行される点で相違する。

（文字領域抽出処理について）
ここで，図１７に示す第３の形態にかかる文字領域抽出処理について簡単に説明する。なお，以下に説明するＯＣＲによる文字領域抽出処理（Ｓ２０３）は一例であって，かかる例に限定されず，原画像から文字領域を抽出可能であれば，いかなる処理でも実施可能である。

特徴領域算出手段２０９は，例えば，ＯＣＲによって，原画像の画像領域に文字が含まれているか否かを解析し，文字が含まれる場合，その文字を認識し，文字領域として原画像の画像領域から抽出する。

なお，ＯＣＲは一般的な文字認識手法であって，ＯＣＲは，通常のパターン認識システムと同様に，認識対象とする文字のパターンを標準パターン（又は，パターンデータ）として作成しておき，この標準パターンと原画像側の入力パターンとを比較して最も似ている標準パターンを選んで，文字認識結果とするパターンマッチング法あるが，かかる例に限定されない。

なお，特徴領域算出手段２０９は，原画像の画像領域から抽出した文字領域を必要に応じて，当該文字領域の外接四角形を設定し，その設定後の領域を特徴領域としての文字領域としても良い。

図１７に示すように，上記文字領域抽出処理（Ｓ２０３）が終了すると，特徴領域変形手段２１１は，抽出した文字領域を基にして，特徴領域変形処理（Ｓ１０３）を実行し，原画像を特徴変形画像に変形する。かかる特徴領域変形処理（Ｓ１０３）は，第１の実施の形態にかかる特徴領域変形処理と実質的に同一であるため詳細な説明は省略する。

（文字領域が抽出された場合の特徴抽出画像，特徴変形画像について）
ここで，図１８〜図２０を参照しながら，第３の実施の形態にかかる特徴抽出画像及び特徴変形画像について説明する。なお，図１８は，第３の実施の形態にかかる原画像の概略的な構成を示す説明図であり，図１９は，第３の実施の形態にかかる特徴抽出画像の概略的な構成を示す説明図であり，図２０は，第３の実施の形態にかかる特徴変形画像の概略的な構成を示す説明図である。

図１８に示すように，地図などをスキャニングにより生成した原画像が記憶部１３３等に格納される。なお，第３の実施の形態にかかる原画像の解像度は，スキャニングする読取手段等の性能に左右されるが，いかなる解像度でも実施可能である。

図１８に示す原画像には，文字として「東京メトロ表参道駅」と２行に渡り表記されているのが分かる。かかる文字がＯＣＲ等によって認識され，文字領域として抽出される。

次に，図１９に示すように，図１８に示す原画像に対して第３の実施の形態にかかる文字領域抽出処理（Ｓ２０３）が実行されると，原画像の画像領域のうち文字領域が抽出される。

上記文字領域が抽出され，その抽出された文字領域を追加表現した画像を特徴抽出画像とする。なお，上記文字領域（特徴領域）の部分は，図１９に示す特徴抽出画像の四角形状の矩形で表された枠領域内である。つまり，図１９に示す文字領域は「東京メトロ表参道駅」を囲む矩形内の領域である。

さらに，図１９に示す特徴抽出画像として顔領域が抽出され，原画像の画像領域のうち文字領域を除いた領域に対して，上記説明したように，フィッシュアイアルゴリズムによる変形処理が行われ，文字領域についてはズーム処理が行われると，図１８に示す原画像は，図２０に示す特徴変形画像に変形する。

なお，上記説明したように，第３の実施の形態にかかる一連の画像処理でも，第１の実施の形態に係る画像処理と同様に，メッシュデータを用いて文字領域抽出処理（Ｓ２０３），特徴領域変形処理（Ｓ１０３）が実行される。

（第４の実施の形態）
次に，第４の実施の形態にかかる一連の画像処理について説明する。なお，第４の実施の形態にかかる画像処理についての説明は，第１の実施の形態にかかる画像処理と相違する点について詳細に説明するが，その他の点については，実質的に同一であるため，詳細な説明は省略する。

また，第４の実施の形態にかかる画像処理装置は，第１の実施の形態にかかる画像処理装置の構成と実質的に同一であるため，詳細な説明は省略する。

（画像処理について）
第１〜第３の実施の形態にかかる一連の画像処理では，記憶部１３３から読み出された１フレーム分の原画像を対象としてきた。第４の実施の形態にかかる一連の画像処理では，図２１に示すように，記憶部１３３から読み出された複数フレーム分の原画像群を対象とした場合の画像処理について説明する。

図２１に示すように，上記原画像群は，画素結合手段２０７によって，記憶部１３３から読み取られた複数フレーム分の原画像から構成されている。かかる原画像群が表示画像データとして例えば画面上に表示される。

なお，図２１に示す原画像を特定するために，フレームの位置を（縦，横）に１，２，３，…でナンバリングし，（ｘ，ｙ）として仮想的に図に表記しているが，実際には表示部１３７に表示されない。

したがって，図２１に示す原画像群は，フレーム（２，４）に人物の原画像と，フレーム（３，２）に木・家の原画像と，フレーム（５，３）に地図の原画像が配置された原画像群（又は，表示画像）となっている。

なお，図２１に示すように，第４の実施の形態にかかる原画像群は３フレーム分の原画像から構成され，残りのフレームは原画像が存在しない場合を例に挙げて説明しているが，原画像群は，原画像群に構成されるフレームの総数を超えず，かつ，１又は２フレーム以上の原画像が存在する場合であれば，かかる例に限定されず，いかなるフレーム数の原画像が存在する場合でも実施可能である。

第４の実施の形態にかかる一連の画像処理では，図２１に示す原画像群に構成されるフレームを例えば左上端のフレーム（１，１）から順に，特徴領域抽出処理（Ｓ１０１），顔領域抽出処理（Ｓ２０１），または文字領域抽出処理（Ｓ２０３）が実行され，その後，特徴領域変形処理（Ｓ１０３）が実行される。

なお，第４の実施の形態にかかる画像処理では，まず顔領域抽出処理（Ｓ２０１）が行われ，その結果，当該フレームの原画像の画像領域には顔領域が存在しない場合，次に同じフレームの原画像に対して文字領域抽出処理（Ｓ２０３）が実行され，その結果，当該フレームの原画像の画像領域には文字領域が存在しない場合，さらに同じフレームの原画像に対して特徴領域抽出処理（Ｓ１０１）が実行される。

つまり，第４の実施の形態にかかる画像処理では，顔領域，文字領域等の特徴領域を抽出する抽出処理（Ｓ１０１，Ｓ２０１，Ｓ２０３）のうち，顔領域抽出処理（Ｓ２０１），文字領域抽出処理（Ｓ２０３），特徴領域抽出処理（Ｓ１０１）の順に，同じフレームの原画像について実行されるが，かかる順番に限定されない。

また，１フレーム内に顔領域，文字領域など複数の特徴領域が存在する原画像に対しても，上記抽出処理（Ｓ１０１，Ｓ２０１，Ｓ２０３）全て実行することで漏れなく特徴領域を抽出することができる。

図２１に示す原画像群について特徴領域抽出処理（Ｓ１０１）と特徴領域変形処理（Ｓ１０３）とが実行されると，図２１に示す原画像群は，図２２に示すように各フレームごとに一連の画像処理が施された特徴変形画像群に変形される。

なお，第４の実施の形態にかかる一連の画像処理でも，第１の実施の形態に係る画像処理と同様に，メッシュデータを用いて特徴領域変形処理（Ｓ１０３）等の画像処理が実行される。

以上で，第４の実施の形態にかかる一連の画像処理の説明が終了するが，かかる画像処理によって，以下に示すような優れた効果がある。
（１）画像処理装置１０１は，画面上に複数の特徴変形画像が表示されるため一度に複数の特徴変形画像をユーザに対して視認させることができる。
（２）特徴変形画像の情報量と原画像の情報量が同じであり，特徴領域画像は目に留まる蓋然性が高い特徴領域にズーム処理を施した画像であるため，画像処理装置１０１は，特徴領域画像の画像領域の大きさを小さくし，一度に複数の特徴変形画像を画面上又は印刷媒体に出力しても，ユーザに対する視認性が著しく低下するのを防ぎ，ユーザが誤認せずに画像検索を支援することができる。したがって，画像処理装置１０１は，画面上又は印刷媒体上に出力可能な原画像のフレーム数を増加させて一度に画面又は印刷媒体などに出力する情報量を増やすことができる。
（３）各フレームに表示される特徴変形画像ともに変形前の原画像の情報量と同じであって，特徴領域が拡大されて表示されるため，画像処理装置１０１は，原画像の表像によって原画像が伝える情報（コンテンツの概略）と同じ内容をユーザに対して伝えることができ，かつ，ユーザに対する視認性を向上させて，誤認を防止することができる。

（第５の実施の形態）
次に，第５の実施の形態にかかる画像処理装置について説明する。なお，第５の実施の形態にかかる画像処理装置についての説明は，第１の実施の形態にかかる画像処理装置と相違する点について詳細に説明するが，その他の点については，実質的に同一であるため，詳細な説明は省略する。

図１〜３を参照しながら，第１の実施の形態にかかる画像処理装置１０１について説明したが，第５の実施の形態にかかる画像処理装置１０１と比べると，画像配置手段２０５，特徴領域算出手段２０９について相違する。

第５の実施の形態にかかる特徴領域算出手段２０９は，原画像の画像領域から抽出した特徴領域のサイズを，画像配置手段２０５に出力する。画像配置手段２０５は，その特徴領域のサイズを受け取ると，その特徴領域のサイズに応じて，フレームの領域を拡大／縮小する。

なお，第５の実施の形態にかかる特徴領域算出手段２０９は，上記説明した特徴領域抽出処理（Ｓ１０１），顔領域抽出処理（Ｓ２０１），または文字領域抽出処理（Ｓ２０３）を選択的に実行することができる。かかる処理内容は，第４の実施の形態にかかる特徴領域算出手段２０９による処理と実質的に同一である。

（画像処理について）
次に，図２３〜図２５を参照しながら，第５の実施の形態にかかる一連の画像処理について説明する。なお，第５の実施の形態にかかる画像処理についての説明は，第１の実施の形態にかかる画像処理と相違する点について詳細に説明するが，その他の点については，実質的に同一であるため，詳細な説明は省略する。

図２３に示すように，上記図４を参照しながら説明した第１の実施の形態にかかる一連の画像処理と比較して，第５の実施の形態にかかる一連の画像処理では，まず領域抽出処理（Ｓ５００）が実行される点で相違する。なお，図２３は，第５の実施の形態にかかる画像処理の概略を示すフローチャートである。

上記領域抽出処理（Ｓ５００）では，上記第４の実施の形態にかかる画像処理で説明したように，各フレームの原画像について，顔領域抽出処理（Ｓ２０１），文字領域抽出処理（Ｓ２０３），特徴領域抽出処理（Ｓ１０１）の順に抽出処理が実行される。

したがって，上記領域抽出処理（Ｓ５００）では，まず顔領域抽出処理（Ｓ２０１）を実行し，その結果，顔領域が抽出されない場合，次に文字領域抽出処理（Ｓ２０３）を実行し，その結果，文字領域が抽出されない場合，最後に特徴領域抽出処理（Ｓ１０１）の順に行われる。

なお，上記領域抽出処理（Ｓ５００）では，例えば，各抽出処理（Ｓ１０１，Ｓ２０１，Ｓ２０３）で顔領域又は文字領域等の特徴領域が抽出されても，以降の抽出処理を実行してもよい。したがって，１フレームの原画像に複数の顔領域及び文字領域等が存在しても，それらの特徴領域を抽出することができる。

なお，第５の実施の形態にかかる領域抽出処理（Ｓ５００）では，上記顔領域抽出処理（Ｓ２０１），文字領域抽出処理（Ｓ２０３），特徴領域抽出処理（Ｓ１０１）の順に処理が実行される場合を例に挙げて説明したが，かかる処理の順番に限定されない。

また，第５の実施の形態にかかる領域抽出処理（Ｓ５００）では，上記顔領域抽出処理（Ｓ２０１），文字領域抽出処理（Ｓ２０３），特徴領域抽出処理（Ｓ１０１）の順に処理が実行される場合を例に挙げて説明したが，かかる例に限定されず，例えば，領域抽出処理（Ｓ５００）では，上記顔領域抽出処理（Ｓ２０１），文字領域抽出処理（Ｓ２０３），または特徴領域抽出処理（Ｓ１０１）のうち少なくとも一つの処理が実行される場合でも実施可能である。

図２４（ａ）に示すように，２フレーム分の原画像群の場合，領域抽出処理（Ｓ５００）が実行されると，左側のフレームの原画像については顔領域抽出処理（Ｓ２０１）によって顔領域が抽出され，右側のフレームの原画像については特徴領域抽出処理（Ｓ１０１）によって特徴領域が抽出される。

図２４（ｂ）に示すように，特徴領域算出手段２０９は，抽出した特徴領域（顔領域，文字領域，含む）のサイズを算出し，その特徴領域のサイズを画像配置手段２０５に出力する。なお，図２４（ｂ）に示す左側のフレームの特徴領域のサイズは“５０（ピクセル）”で，右側のフレームの特徴領域のサイズは“７５（ピクセル）”となっているが，数値，単位は，あくまで一例であって，かかる例に限定されない。

図２３に示すように，各フレームについて抽出処理（Ｓ５００）が終了すると，次に，領域割当処理が実行される（Ｓ５０１）。

図２５（ａ）に示すように，画像配置手段２０５は，上記特徴領域算出手段２０９から抽出した特徴領域のサイズを取得すると，各特徴領域のサイズの数値を大小比較して，その大小の程度に応じてフレームを拡大／縮小する。

図２５（ａ）に示すように，左側のフレームの特徴領域が５０で，右側のフレームの特徴領域が７５であるため，画像配置手段２０５は右側のフレームを矢印方向に拡大（移動）し，左側のフレームをその拡大した分だけ縮小（移動）する。

なお，画像配置手段２０５がフレームを拡大／縮小する量（拡大／縮小率）は，特徴領域のサイズを比較した結果，サイズの大小に応じて決定されるが，その拡大／縮小率の度合いは，原画像のフレームが原画像群のフレーム全体の範囲内に収まるような拡大／縮小率であれば，いかなる場合であっても実施可能である。

画像配置手段２０５によるフレームの拡大／縮小が終了すると，一連の領域割当処理（Ｓ５０１）が終了する。なお，拡大／縮小したフレームの原画像は，画素結合手段２０７によって，画素が結合され，複数の原画像が一つの表示画像となる。

次に，図２３に示すように，拡大／縮小された左側のフレーム，右側のフレームの各フレームの原画像について，特徴領域変形処理（Ｓ１０３）が実行されると，図２５（ｂ）に示す特徴変形画像に変形される。

なお，第５の実施の形態にかかる一連の画像処理でも，第１の実施の形態に係る画像処理と同様に，メッシュデータを用いて領域抽出処理（Ｓ５０１），特徴領域変形処理（Ｓ１０３）などが実行される。

以上で，第５の実施の形態にかかる一連の画像処理の説明が終了するが，かかる画像処理によって，以下に示すような優れた効果がある。
（１）画面上に複数の特徴変形画像が表示されるため一度に複数の特徴変形画像をユーザに視認させることができる。特に，特徴領域のサイズに応じてフレームのサイズも変動するため，特徴領域のサイズが相対的に大きい特徴変形画像をより的確に視認させることができ，画像処理装置１０１はユーザの画像誤認によって，ユーザから誤った画像の選択指示を受ける可能性を減少させることができる。

なお，第５の実施の形態にかかる画像処理では，図２４，２５に示すように２フレーム分の原画像について処理が実行されたが，かかる例に限定されず，複数フレームからなる原画像群であればフレーム数に依存せずに，いかなるフレーム数の場合でも実施可能である。

（第６の実施形態について）
次に，第６の実施の形態にかかる画像処理装置について説明する。なお，第６の実施の形態にかかる画像処理装置についての説明は，第１の実施の形態にかかる画像処理装置と相違する点について詳細に説明するが，その他の点については，実質的に同一であるため，詳細な説明は省略する。

まず，図３及び図２６を参照しながら，第１の実施の形態にかかる画像処理装置１０１と，第６の実施の形態にかかる画像処理装置１０１を比較すると，第１の実施の形態にかかる画像処理装置１０１が処理対象とするデータは静止画像データであるのに対し，第６の実施の形態にかかる画像処理装置が扱うデータは映像データ（映像ストリーム）である点で相違する。

なお，以下，第６の実施の形態において，映像は，動画像だけのもの，動画像及び音声から構成されるもののいずれかであるとするが，かかる例に限定されない。

次に，図３及び図２６を参照すると，第６の実施の形態にかかる記憶部１３３又はＲＡＭ１３４に記憶されたプログラムには，映像選択手段８０１と，映像読取手段８０３と，映像配置手段８０５と，特徴領域算出手段８０９と，特徴映像特定部８１０と，変形部８１１と，再生速度算出部８１２と，再生手段８１３とが含まれている点で，第１の実施の形態にかかるプログラムとは異なる。

なお，第６の実施の形態にかかるコンピュータプログラムは，インストールされる場合を例に挙げて説明したが，かかる例に限定されず，例えば，サーバからコンピュータプログラムをダウンロードし，インタープリタして実行するＪａｖａ（登録商標）等によるプログラムの場合であっても実施可能である。

図２６に示すように，上記映像選択手段８０１は，ユーザにより入力部１３６が操作されると，入力部１３６から出力された指示内容を受けて，その指示内容に合致する映像を選択したり，既に画面上に表示された映像の先頭部分等を表すサムネイルからカーソル等を移動することで映像を選択したりするモジュールである。

なお，映像選択手段８０１は，ユーザからの指示に限定されず，自装置内又はネット上に存在する映像を例えば記憶部１３３に記録された最新のものから順に又はランダムに選択する場合等でも実施可能である。

上記映像読取手段８０３は，上記映像選択手段８０１により選択された映像を記憶部１３３又はネット上のサーバ等から映像データ（映像ストリーム）として読み出すモジュールである。また，映像読取手段８０３は，例えば，読み出した映像の先頭部分の１フレームを，サムネイルに加工することも可能である。なお，特段の記載がない場合，第６の実施の形態では，映像にはサムネイルなどの静止画像も含まれるものとする。

上記映像配置手段８０５は，表示部１３７の画面上の所定位置に映像を表示するために配置するモジュールである。なお，一画面内には１又は２以上の映像が例えば所定間隔ごとに配列されるが，かかる例に限定されず，例えば，映像を再生する際には画面内一杯に映像が表示されるように，映像配置手段８０５は映像を適当な個所に配置しても良い。

特徴領域算出手段８０９は，プログラムモジュールであって，映像データ（映像ストリーム）に構成されるフレームの原画像から１フレーム分の平均画像を求める。さらに，特徴領域算出手段８０９は，その平均画像を基準とし各フレームの原画像との差分を算出することで，特徴領域を抽出し，当該特徴領域の大きさ（数値）を出力する。なお，平均画像については後程説明する。

また，第６の実施の形態に係る映像データに構成されるフレームの原画像について特徴領域を求める場合を例に挙げて説明するが，かかる例に限定されず，例えば，映像データに構成される音声について特徴領域（平均音声からの差分等）を求める場合等でも実施可能である。

特徴映像特定手段（特徴映像特定部）８１０は，プログラムモジュールであって，特徴領域算出手段８０９から出力される特徴領域の数値を各フレームごとに時系列にプロットし，全フレームについて特徴領域の数値をプロットすると，特徴映像特定手段８１０は，所定の閾値を設定し，その閾値よりも特徴領域の数値が高いフレームの範囲を求めることで，特徴映像を特定する。なお，特徴映像を特定する処理については，後程説明する。

また，本実施の形態にかかる特徴領域算出手段８１０は，静止画像の場合と同様に，映像ストリームのなかで特徴映像を特定する際に，映像ストリームと対応するメッシュデータを生成し，そのメッシュデータ上で特徴映像の場所を把握するようにしてもよい。

また，第６の実施の形態に係る特徴映像は画像を基に特定される場合を例に挙げて説明するが，かかる例に限定されず，例えば，映像データに構成される音声を基に特徴映像が特定される場合等でも実施可能である。

上記変形手段８１１は，上記特徴領域算出手段８１０により特定された特徴映像の場所を基にして，さらに各フレームから当該特徴映像までの距離をパラメータとして，特徴映像をはじめそれ以外の映像も含めて変形処理を映像ストリームに施す。

なお，第６の実施の形態にかかる変形手段８１１は，例えば，上記特徴領域算出手段８０９で生成されたメッシュデータに対して変形処理を施すことによって，その変形されたメッシュデータと対応するように，映像ストリームを再生するようにしてもよい。かかる場合，変形手段８１１は，映像ストリームを直接加工しないですみ，計算量も少なく変形処理を効率的に実行することができる。

再生速度算出手段８１２は，変形手段８１１により映像ストリームが変形されることで，その変形後の映像ストリームを基にして，再生速度を算出することが可能なモジュールである。なお，再生速度の算出については，後程説明する。

再生手段８１３は，上記再生速度算出手段８１２により求められた再生速度に従い，映像ストリームを再生し，表示部１３７に出力するモジュールである。なお，再生手段８１３は，必要に応じてデコード処理等を実行することも可能である。したがって，例えば，映像ストリームがＭＰＥＧ２，ＭＰＥＧ４などの形式であっても再生することが可能である。

（平均画像について）
次に，図２７及び図２８を参照しながら，第６の実施の形態にかかる平均画像について説明する。なお，図２７は，第６の実施の形態にかかる映像の概略的な構成について示す説明図であり，図２８は，第６の実施の形態にかかる平均画像の概略的な構成について示す説明図である。

図２７（ａ）に示すように，第６の実施の形態にかかる映像ストリームは，再生時間に相当する分のフレームｎ（ｎ＞１）の原画像から構成されている。なお，フレーム１〜フレームｎの並びは，再生時における原画像が再生される順番であって，符号化時のフレームの並びは異なっても良いため，ＭＰＥＧ２やＭＰＥＧ４におけるＢピクチャ等のような場合でも実施可能である。

なお，図２７（ａ）に示す各フレーム（フレーム１〜フレームｎ）には，そのフレームの原画像に対応する音声（オーディオ）データが付随し，映像ストリームに含まれている（例えば，図２７（ｃ）参照）が，かかる例に限定されず，例えば，映像ストリームには複数フレームの原画像から構成される動画像のみが含まれる場合でも実施可能であり，また映像ストリームには，音声のみが含まれる場合等でも実施可能である。

また，第６の実施の形態にかかる映像には，動画像と音声の部分が存在する。図２７（ｂ）に示すように，動画像の部分は，上記説明したように，特徴領域算出手段８０９が，平均画像を基準として，各フレームの原画像と差分をとることで特徴領域を求め，その特徴領域の大きさ（数値）を横軸を再生時間とした時系列に従って出力していくと，縦軸が特徴領域の大きさからなるグラフになる。

なお，図２７（ｂ）に示すグラフは，平均画像を基準とした動画像の特徴領域の大きさが遷移する様子を示すものであるが，かかる例に限定されず，例えば，平均音声を基準とした音声の特徴領域の大きさが遷移する様子を示すものである場合でもよい。平均音声は，例えば，映像ストリームに構成される音声の音量の平均をとったもの等を例示することができる。

図２７（ｃ）に示すグラフは，映像に構成される音声の音量が遷移する様子を示すものであり，例えば，縦軸のうち垂直上方向が右側の音声で垂直下方向が左側の音声であるが，かかる例に限定されない。

図２８の上段部に示すグラフは，上記図２７（ａ）に示すグラフと同一である。図２８に示すように，平均画像７５０は，映像に構成される一部又は全部の原画像の各画素について輝度，色彩（彩度），輝度レベル（輝度値），または彩度レベル（彩度値）等の平均を求めることで作成された画像である。

図２８に示す平均画像７５０は，映像のジャンルがサッカーであるため平均画像７５０が作成されると全体の色彩として芝生の色である緑色系となるが，かかる例に限定されず，映像の種類によっては様々な平均画像７５０が作成される。

上記平均画像７５０を基準として，後程説明するが，映像ストリームに構成される各フレームの原画像と差分をとり，特徴領域を求めて，図２７（ｂ）に示すようなグラフを作成する。

図２８に示すように，閾値ｓ_０を超える部分（特徴映像）である特徴映像７０３−１には，フレーム７０１−１〜フレーム７０１−３の原画像が含まれているが，上記原画像が示すように，平均画像７５０に多く占める芝生に類似する色彩が比較的少なく，サッカー選手が原画像に含まれているため，差分をとると特徴領域は閾値ｓ_０を多少超えているのが分かる。

一方，映像７０３−２には，図２８に示すように，フレーム７０１−４〜フレーム７０１−６の原画像が含まれているが，上記原画像が示すように，平均画像７５０が示す芝生の色彩と類似する色彩が大部分を占めているため，差分をとっても特徴領域は閾値ｓ_０を下回っているのが分かる。

また，特徴映像７０３−３には，図２８に示すように，フレーム７０１−７〜フレーム７０１−９の原画像が含まれているが，上記原画像が示すように，平均画像７５０に多く占める芝生と類似する色彩がほとんどなく，サッカー選手をクローズアップした画像が原画像に多く含まれているため，差分をとると特徴領域は閾値ｓ_０を大幅に超えているのが分かる。

なお，図２８に示す映像７０３−１〜映像７０３−３に含まれるフレームは３フレームの場合を例に挙げて説明したが，かかる例に限定されず，１または２フレーム以上の原画像が映像７０３には含まれている。

（平均画像作成処理について）
次に，図２９を参照しながら，第６の実施の形態にかかる平均画像を作成する処理について説明する。なお，図２９は，第６の実施の形態にかかる平均画像作成処理の概略を示すフローチャートである。

図２９に示すように，まず，特徴領域算出手段８０９は，動画コンテンツ（映像ストリーム）に構成される各フレームの画像（原画像）を取り出す（Ｓ２９０１）。なお，取り出された原画像は，平均画像が作成されるまで，記憶部１３３またはＲＡＭ１３４などに一時的に格納される。

次に，特徴領域算出手段８０９は，各フレームの画像（原画像）を取り出すと，それらの原画像の各画素について輝度または色彩の平均を求め，平均画像７５０を作成する（Ｓ２９０３）。以上で，平均画像７５０を作成することができる。

さらに，特徴領域算出手段８０９は，上記説明したように，映像ストリームに構成される各フレームの原画像と，先ほど生成した平均画像７５０との差分を求め，その差分を特徴領域とし，特徴領域の大きさ（数値）を出力する。

次に，特徴映像特定手段８１０は，上記特徴領域算出手段８０９により出力される特徴領域の値を各フレームごとに再生される時系列に従い取得し，プロットしていくと，上記説明したように，図２７（ｂ）に示すようなグラフ（特徴領域グラフ）を作成し，さらに所定の閾値ｓ_０を設定すると図２８に示す特徴領域グラフを作成することができる。

特徴映像特定手段８１０は，閾値ｓ_０が設定された特徴領域グラフを基にして，その閾値ｓ_０よりも高い特徴領域の値を有する範囲を，上記説明したように特徴映像と判断する（Ｓ２９０５）。

次に，図３０を参照しながら，第６の実施の形態にかかる平均画像作成処理の変形例について説明する。なお，図３０は，第６の実施の形態にかかる音情報による特徴映像を特定する概略を示すフローチャートである。

図３０に示すように，特徴領域算出手段８０９は，まず，動画コンテンツ（映像ストリーム）に構成される各フレームの音情報を取り出す（Ｓ３００１）。

次に，特徴領域算出手段８０９は，上記取り出した各フレームの音情報の値を出力する。

次に，特徴映像特定手段８１０は，上記特徴領域算出手段８０９により出力される音情報の値を各フレームごとに再生される時系列に従い取得し，プロットしていくと，上記説明したように，図２７（ｃ）に示すようなグラフ（音情報グラフ）を作成し，さらに所定の閾値ｓ_１を設定する（図示せず。）。

特徴映像特定手段８１０は，閾値ｓ_１が設定された音情報グラフを基にして，その閾値ｓ_１よりも高い音情報の値を有する範囲を，上記説明したように特徴映像と判断する（Ｓ３００３）。

なお，第６の実施の形態にかかる音情報は，例えば，音量（ボリューム）を例示することができるが，かかる例に限定されず，音の高低等の場合でもよい。

（変形処理について）
次に，図３１及び図３２を参照しながら，第６の実施の形態にかかる変形処理について説明する。なお，図３１は，第６の実施の形態にかかる変形処理の概略を示すフローチャートであり，図３２は，第６の実施の形態にかかる変形処理の概略を示す説明図である。

まず，図３１に示すように，特徴領域算出手段８０９は，動画コンテンツ（映像ストリーム）の各フレームごとの特徴領域を算出する（Ｓ３１０１）。なお，上記特徴領域算出手段８０９により算出された特徴領域の値は，特徴映像特定手段８１０に出力される。

次に，特徴映像特定手段８１０は，図３２（ａ）に示すように，特徴領域算出手段により出力された特徴領域の値をプロットしていき，特徴領域グラフを作成し，さらに所定の閾値ｓ_０を設定する。

次に，特徴映像特定手段８１０は，図３１及び図３２（ｂ）に示すように，特徴映像を特定し，再生トラック（又は，映像ストリーム，メッシュデータ）を生成する（Ｓ３１０３）。

なお，特徴映像は，図３２（ｂ）に示すように，ハッチングされた部分であり，また再生トラックは，所定時間からなる映像であって，例えば，特徴映像の部分はそのまま残し，その他の部分の再生トラックは例えば３分ごとに複数の再生トラックに分割されるが，かかる例に限定されない。

図３２（ｂ），（ｃ）に示すように，再生トラックは，特徴映像部分を含めて８個存在するが，１又は２個以上であれば，かかる例に限定されない。

図３２（ｂ）に示すように，特徴映像特定手段８１０が再生トラックを生成すると（Ｓ３１０３），変形手段８１１は，上記特定された特徴映像からの距離をパラメータにし，１次元フィッシュアイにより各再生トラックを変形する（Ｓ３１０５）。

なお，再生トラックは，映像ストリームに構成される所定時間の映像である場合を例に挙げて説明するが，かかる例に限定されず，例えば，再生トラックは，映像ストリームに対応するメッシュデータに構成されるものであっても実施可能である。

図３２（ｃ）は，１次元フィッシュアイにより変形された再生トラックであるが，特徴映像の部分（再生トラック）の縦軸の高さはそのままで，その他，再生トラックの縦軸の高さは，上記特徴映像からの距離が長くなるにつれて，低くなっているのが分かる。

なお，変形手段８１１により行われる１次元フィッシュアイ変形処理は，上記説明したフィッシュアイアルゴリズムとほぼ同様なものであるため詳細な説明は省略するが，かかるフィッシュアイアルゴリズムに限定されず，他の変形手法による場合であってもよい。

また，図３２（ａ），（ｂ），（ｃ）に示す横軸は，再生時間の場合を例に挙げて説明したが，かかる例に限定されず，例えば，動画コンテンツ（映像ストリーム）に構成され，再生される順に並べられたフレームもしくはフレーム番号等の場合でもよい。

なお，各再生トラックの特徴映像からの距離を求めるために，図３２（ｃ）に示すように，ｔ_０，ｔ_１，またはｔ_２を起点として再生トラックまでの距離を求め，その求められた距離のうち最も長いものを変形する際のパラメータとしてもよいが，かかる例に限定されない。

次に，変形手段８１１により再生トラックが変形されると（Ｓ３１０５），再生速度算出手段８１２は，上記図３２（ｃ）に示す変形後の再生トラックから重み付けの値を取得し，その逆数を求めることで，再生速度を算出する。なお，算出された各再生トラックの再生速度は，図３２（ｄ）に示す。

図３２（ｃ）に示すように，動画コンテンツ（映像ストリーム）の各再生トラックの縦軸方向の高さは，再生速度を算出するための重み付け値となっている。したがって，再生速度算出手段８１２は，それら各再生トラックの重み付け値を取得し，各再生トラックの再生速度を算出する。

再生速度算出手段８１２は，各再生トラックの縦軸方向の数値（重み付け値）を取得すると，特徴映像の部分（再生トラック）の再生速度を通常の速度（基準速度）とした上で，上記取得した重み付け値の逆数をとることで，各再生トラックの再生速度を求め，図３２（ｄ）に示すような再生速度グラフを作成する。

なお，図３２（ｃ），（ｄ）に示すように，特徴映像の再生トラックは，時間ｔ_０〜ｔ_１の部分と，時間ｔ_２〜ｔ_３の部分である。上記２つの特徴映像の部分は，通常の再生速度で再生される。

再生速度算出手段８１２により，再生速度が算出されると，再生手段８１３は，上記図３２（ｄ）に示す再生速度に従って，映像ストリームを再生する。

図３２（ｄ）に示すように，再生速度は，特徴映像に近い部分（再生トラック）ほど特徴映像の通常速度にほぼ同じ程度の速度となるが，反対に特徴映像から遠くなる部分（再生トラック）ほど特徴映像の通常速度よりも大幅に速い速度（例えば，図３２（ｄ）に示す中央部分）となる。

したがって，特徴映像の部分含めその周辺部分の再生トラック（フレーム群）では，ゆっくりと通常速度等の速度で再生され，表示部１３７に出力されるため，視聴者は特徴映像周辺部について内容をより強固に把握することができ，その他の部分については，切り取らずに（又は，スキップされずに）再生速度を速めることで，映像全体の内容を短時間で的確に把握することができる。

なお，再生手段８１３は，上記図３２（ｄ）に示す再生速度と連動して，例えば，特徴映像の部分では音量を大きくし，その他の部分については，再生速度が速くなるにしたがい，特徴映像の部分の音量から相対的に小さくするように，再生してもよい。

また，第６の実施の形態にかかる一連の映像に対する処理を，例えば，図１に示すように，画像処理装置１０１の画面上に表示される複数の映像について個別に又は並列的に処理を実行する場合でも実施可能である。

なお，上述した一連の画像処理は，上記説明したように，専用のハードウェアにより行うこともできるし，ソフトウェアにより行うこともできる。上記一連の画像処理をソフトウェアによって行う場合には，そのソフトウェアを構成するプログラムが，汎用のコンピュータやマイクロコンピュータ等の情報処理装置にインストールされ，上記情報処理装置を画像処理装置１０１として機能させる。

プログラムは，コンピュータに内蔵されている記録媒体としての記憶部１３３（ハードディスクなど）やＲＯＭ１３２に予め記録しておくことができる。

あるいはまた，プログラムは，ハードディスクドライブに限らず，フレキシブルディスク，ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ），ＭＯ（Ｍａｇｎｅｔｏ Ｏｐｔｉｃａｌ）ディスク，ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ），磁気ディスク，半導体メモリなどのリムーバブル記録媒体１１１に，一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は，いわゆるパッケージソフトウエアとして提供することができる。

なお，プログラムは，上述したようなリムーバブル記録媒体からコンピュータにインストールする他，ダウンロードサイトから，ディジタル衛星放送用の人工衛星を介して，コンピュータに無線で転送したり，ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ），インターネットといったネットワークを介して，コンピュータに有線で転送し，コンピュータでは，そのようにして転送されてくるプログラムを，通信部１３９で受信し，内蔵する記憶部１３３にインストールすることができる。

ここで，本明細書において，コンピュータに各種の処理を行わせるためのプログラムを記述する処理ステップは，必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく，並列的あるいは個別に実行される処理（例えば，並列処理あるいはオブジェクトによる処理）も含むものである。

また，プログラムは，１のコンピュータにより処理されるものであっても良いし，複数のコンピュータによって分散処理されるものであっても良い。

以上，添付図面を参照しながら本発明の好適な実施形態について説明したが，本発明はかかる例に限定されない。当業者であれば，特許請求の範囲に記載された技術的思想の範疇内において各種の変更例または修正例を想定し得ることは明らかであり，それらについても当然に本発明の技術的範囲に属するものと了解される。

また上記実施形態においては，原画像に対して変形処理を施すために，メッシュデータに対して変形処理を施すことで，原画像を変形する場合を例に挙げて説明したが，かかる例に限定されず，例えば，直接的に原画像に対して変形処理を施す場合等でも実施可能である。

上記実施形態においては，画像処理装置１０１に備わる各部はソフトウェアからなる場合を例にあげて説明したが，本発明はかかる例に限定されない。例えば，上記各部は，１又は２以上の素子又は回路から構成されるハードウェアの場合であってもよい。

第１の実施の形態にかかる画像処理装置の外観の概略を示した説明図である。 第１の実施の形態にかかる画像処理装置の概略的な構成を示すブロック図である。 第１の実施の形態にかかる画像処理装置として機能させるコンピュータプログラムの概略的な構成を示す説明図である。 第１の実施の形態にかかる画像処理の概略を示すフローチャートである。 第１の実施の形態にかかる特徴領域抽出処理の概略を示すフローチャートである。 第１の実施の形態にかかる原画像の概略を示す説明図である。 第１の実施の形態にかかる特徴抽出画像の概略を示す説明図である。 第１の実施の形態にかかる特徴領域変形処理の概略を示すフローチャートである。 第１の実施の形態にかかるメッシュデータの概略的な構成について示す説明図である。 第１の実施の形態にかかる原画像にメッシュデータが付加されたメッシュ入り特徴抽出画像の概略的な構成を示す説明図である。 第１の実施の形態にかかる変形処理後のメッシュデータが付加された特徴変形画像であるメッシュ入り特徴変形画像の概略的な構成を示す説明図である。 第１の実施の形態にかかる特徴変形画像の概略的な構成を示す説明図である。 第２の実施の形態にかかる画像処理の概略を示すフローチャートである。 第２の実施の形態にかかる原画像の概略的な構成を示す説明図である。 第２の実施の形態にかかる特徴抽出画像の概略的な構成を示す説明図である。 第２の実施の形態にかかる特徴変形画像の概略的な構成を示す説明図である。 第３の実施の形態にかかる画像処理の概略を示すフローチャートである。 第３の実施の形態にかかる原画像の概略的な構成を示す説明図である。 第３の実施の形態にかかる特徴抽出画像の概略的な構成を示す説明図であり， 第３の実施の形態にかかる特徴変形画像の概略的な構成を示す説明図である。 第４の実施の形態にかかる原画像群の概略的な構成を示す説明図である。 第４の実施の形態にかかる特徴変形画像群の概略的な構成を示す説明図である。 第５の実施の形態にかかる画像処理の概略を示すフローチャートである。 第５の実施の形態にかかる画像処理の概略を示す説明図である。 第５の実施の形態にかかる画像処理の概略を示す説明図である。 第６の実施の形態にかかる画像処理装置として機能させるコンピュータプログラムの概略的な構成を示す説明図である。 第６の実施の形態にかかる映像の概略的な構成について示す説明図である。 第６の実施の形態にかかる平均画像の概略的な構成について示す説明図である。 第６の実施の形態にかかる平均画像作成処理の概略を示すフローチャートである。 第６の実施の形態にかかる音情報による特徴映像を特定する概略を示すフローチャートである。 第６の実施の形態にかかる変形処理の概略を示すフローチャートである。 第６の実施の形態にかかる変形処理の概略を示す説明図である。

符号の説明

１０１ 画像処理装置
１３０ 制御部
１３３ 記憶部
１３４ ＲＡＭ
１３６ 入力部
１３７ 表示部
２０１ 画像選択手段
２０３ 画像読取手段
２０５ 画像配置手段
２０７ 画素結合手段
２０９ 特徴領域算出手段
２１１ 特徴領域変形手段
８０９ 特徴領域算出手段
８１０ 特徴映像特定手段
８１１ 変形手段
８１２ 再生速度算出手段
８１３ 再生手段

Claims (13)

1. 画像処理装置であって：
   ２フレーム以上の原画像の画像領域から，当該原画像に含まれる情報に基づき自動的に特徴領域を抽出する抽出部と；
   各原画像について抽出された特徴領域のサイズに応じて，前記各原画像のフレームのサイズを変更するサイズ変更部と；
   前記特徴領域を基にして，フレームのサイズを変更された前記原画像に対して変形処理を施し，特徴変形画像に変形する画像変形部と；
   ２フレーム以上の前記特徴変形画像を含む表示画像データを出力する出力部と；
   を備えることを特徴とする，画像処理装置。
2. 前記画像変形部は，前記原画像の画像領域のうち前記特徴領域を除いた画像領域に該当する部分の原画像を歪めて，さらに前記特徴領域に該当する部分の原画像をズームすることを特徴とする，請求項１に記載の画像処理装置。
3. 前記原画像をズームする拡大／縮小率は，前記特徴領域のサイズに応じて変動することを特徴とする，請求項２に記載の画像処理装置。
4. 前記画像変形部は，前記原画像を基にしてメッシュデータを生成し，前記原画像の画像領域のうち前記特徴領域を除いた画像領域に該当する部分のメッシュデータを歪めて，さらに前記特徴領域に該当する部分のメッシュデータをズームすることを特徴とする，請求項１に記載の画像処理装置。
5. 前記画像処理装置は，さらにユーザから前記抽出部と前記画像変形部とに対する実行開始の指示を受付ける入力部を備えることを特徴とする，請求項１に記載の画像処理装置。
6. 前記特徴領域は，被写体の顔領域又は文字領域を含むことを特徴とする，請求項１に記載の画像処理装置。
7. 画像処理方法であって：
   ２フレーム以上の原画像の画像領域から，当該原画像に含まれる情報に基づき自動的に特徴領域を抽出する抽出処理と；
   前記特徴領域を基にして前記原画像に対して変形処理を施し，特徴変形画像に変形する画像変形処理と；
   ２フレーム以上の前記特徴変形画像を含む表示画像データを出力する出力処理と；
   を含み、
   各原画像について前記特徴領域を抽出し，その抽出された各特徴領域のサイズに応じて，前記各原画像のフレームのサイズを変更し，その変更後の前記各原画像の画像領域に対して前記抽出処理と，前記画像変形処理とが行われる
   ことを特徴とする，画像処理方法。
8. 前記画像変形処理では，前記原画像の画像領域のうち前記特徴領域を除いた画像領域に該当する部分の原画像について歪み処理が行われ，さらに前記特徴領域に該当する部分の原画像についてズーム処理が行われることを特徴とする，請求項７に記載の画像処理方法。
9. 前記ズーム処理における拡大／縮小率は，前記特徴領域のサイズに応じて変動することを特徴とする，請求項８に記載の画像処理方法。
10. 前記画像変形処理では，前記原画像を基にしてメッシュデータが生成されて，そのメッシュデータに対して前記画像変形処理が行われることを特徴とする，請求項７に記載の画像処理方法。
11. 前記画像処理方法は，さらにユーザから前記抽出処理と前記画像変形処理とを実行開始する指示を受付ける指示受付け処理を含むことを特徴とする，請求項７に記載の画像処理方法。
12. コンピュータをして，画像処理装置として機能させるコンピュータプログラムであって：
    ２フレーム以上の原画像の画像領域から，当該原画像に含まれる情報に基づき自動的に特徴領域を抽出する抽出手段と；
    各原画像について抽出された特徴領域のサイズに応じて，前記各原画像のフレームのサイズを変更するサイズ変更手段と；
    前記特徴領域を基にして，フレームのサイズを変更された前記原画像に対して変形処理を施し，特徴変形画像に変形する画像変形手段と；
    ２フレーム以上の前記特徴変形画像を含む表示画像データを出力する出力手段と；
    を含むことを特徴とする，コンピュータプログラム。
13. 前記画像変形手段は，前記原画像の画像領域のうち前記特徴領域を除いた画像領域に該当する部分の原画像を歪めて，さらに前記特徴領域に該当する部分の原画像をズームすることを特徴とする，請求項１２に記載のコンピュータプログラム。
    
    

Images