JP5043746B2 - 画像再生装置、画像再生方法および画像再生用プログラム - Google Patents

Description

本発明は、デジタルカメラ等で撮影された画像を再生するための画像再生装置、画像再生方法および画像再生用プログラムに関する。

従来、カメラで撮影した写真はプリントし、これをアルバムに貼付して楽しんでいた。家族や友人に旅行等で撮影した静止画像を見せるような機会には、彼らに飽きられないよう面白く見せる工夫が必要である。このための代表的な工夫として、スライドショーがあり、希望する画像を連続して切り換えながら再生する方式は、広く楽しまれ、この機能は近年広く普及してきているデジタルカメラにも搭載されている。

そして、スライドショーの機能も、単に画像を切り換えて再生するだけではなく、音楽と併用したり、画像合成を利用したりして、種々改良されてきている。顔認識技術や画像処理機能の高速化等、画像処理技術は、近年飛躍的に発達してきている。スライドショーに合成機能を加えた例として、特許文献１には、スライドショーを行いながら合成する顔の表情を変える顔表情生成装置が開示されている。また、特許文献２には、画像に任意のキャプションを追加できるスライドショーを実行する電子アルバム表示システムが開示されている。さらに、特許文献３には、風景撮影時に風景と撮影者の顔を同時に撮影し、２つの画像を自動的に合成するカメラが開示されている。旅先では風景や建物は、頻繁に撮影されるのに対して、撮影者が映っている画像が少なくなるが、特許文献３に開示のカメラによれば、風景等と撮影者を同時に撮影することが可能となる。
特開２００３−２８１５６３号公報 特開２００５−３４１５１２号公報 特開２００５−２０４０１５号公報

上述の特許文献１や特許文献２は、顔表情を変えたり、キャプションを追加したりして、画像に付加価値を付することができるが、撮影したままの画像であり、ユーザーに対して新味性を提供することが困難である。また、特許文献３に開示のカメラでは、画像の中に主役が登場する画像であるが、撮影時に映しこむことが必要であり、撮影時に構図が決まってしまい、興味を引く画像とならない場合がある。

本発明は、このような事情を鑑みてなされたものであり、見るものの興味を引くようなスライドショーを行なうことが可能な画像再生装置、画像再生方法、画像再生用プログラムを提供することを目的とする。

上記目的を達成するため第１の発明に係わる画像再生装置は、対象となる静止画像を所定時間で順次切り替えながらスライドショー再生を行なう画像再生装置において、スライドショーの対象となる静止画像の中で選択された画像から主役部分を抽出する抽出部と、上記抽出した主役部分から主役画像を生成する主役生成部と、上記スライドショーの対象となる静止画像の中の個々の静止画像について、上記主役画像を合成するのに適した画像かを判断する合成適否判断部と、上記合成に適すると判断された静止画像に主役画像を合成して主役合成画像を作成する合成部と、上記合成適否判断部で合成に適すると判断された画像については上記主役合成画像を、合成に適しないと判断された画像については合成のされない画像をスライドショー再生するスライドショー制御部を備える。

第２の発明に係わる画像再生装置は、上記第１の発明において、上記合成適否判断部は、上記判断対象となる静止画像の撮影日時と上記主役画像の元となった主役部分の属する静止画像の撮影日時とを比較して、合成の適否を判断する。
また、第３の発明に係わる画像再生装置は、上記第１の発明において、上記合成適否判断部は、上記判断対象となる静止画像の撮影場所と上記主役画像の元となった主役部分の属する静止画像の撮影場所とを比較して、合成の適否を判断する。
さらに、第４の発明に係わる画像再生装置は、上記第１の発明において、上記合成適否判断部は、上記判断対象となる画像が、人物が大きな領域を占めるような画像の場合には、合成不適と判断する。
さらに、第５の発明に係わる画像再生装置は、上記第１の発明において、上記合成適否判断部は、上記判断対象となる画像がマクロモード撮影または近距離撮影による画像の場合には、合成不適と判断する。

さらに、第６の発明に係わる画像再生装置は、上記第１の発明において、上記抽出部により抽出された主役部分が複数ある場合には、上記主役生成部は、抽出された複数の主役部分から１つの主役画像を生成する。
さらに、第７の発明に係わる画像再生装置は、上記第１の発明において、上記合成部は、上記複数の主役部分に基づく主役画像を合成する際に、その合成される静止画像が上記主役部分の元の画像の１つである場合には、この合成される静止画像に属さない主役画像のみを合成する。
さらに、第８の発明に係わる画像再生装置は、上記第１の発明において、上記主役画像を合成する際の画面に対するサイズと位置を指示する操作部を備え、上記合成部は、上記操作部の指示に基づくサイズと位置で主役画像を合成する。
さらに、第９の発明に係わる画像再生装置は、上記第１の発明において、上記抽出部により抽出された主役部分が複数ある場合には、上記主役生成部は、静止画像から抽出された複数の主役部分を別々に複数の主役画像として生成し、上記合成部は、上記合成に適すると判断された静止画像について、各静止画像に対して上記複数の主役画像を順次合成する。

上記目的を達成するため第１０の発明に係わる画像再生方法は、対象となる静止画像を所定時間で順次切り替えながらスライドショー再生を行なう画像再生方法において、スライドショーの対象となる静止画像の中で選択された画像から主役部分を抽出し、上記抽出した主役部分から主役画像を生成し、上記スライドショーの対象となる静止画像の中の個々の静止画像について、上記主役画像を合成するのに適した画像かを判断し、上記合成に適すると判断された静止画像に主役画像を合成して主役合成画像を作成し、上記合成に適すると判断された画像については上記主役合成画像を、合成に適しないと判断された画像については合成のされない画像をスライドショー再生する。

上記目的を達成するため第１１の発明に係わる画像再生用プログラムは、対象となる静止画像を所定時間で順次切り替えながらスライドショー再生を行なう画像再生用プログラムにおいて、スライドショーの対象となる静止画像の中で選択された画像から主役部分を抽出し、上記抽出した主役部分から主役画像を生成し、上記スライドショーの対象となる静止画像の中の個々の静止画像について、上記主役画像を合成するのに適した画像かを判断し、上記合成に適すると判断された静止画像に主役画像を合成して主役合成画像を作成し、上記合成に適すると判断された画像については上記主役合成画像を、合成に適しないと判断された画像については合成のされない画像をスライドショー再生する。

第１２の発明に係わる画像再生用プログラムは、上記第１１の発明において、上記主役画像を合成に適するか否かの判断は、上記判断対象となる静止画像の撮影日時と上記主役画像の元となった主役部分の属する静止画像の撮影日時とを比較して、合成の適否を判断する。
第１３の発明に係わる画像再生用プログラムは、上記第１１の発明において、上記主役画像を合成に適するか否かの判断は、上記判断対象となる静止画像の撮影場所と上記主役画像の元となった人物部分の属する静止画像の撮影場所とを比較して、合成の適否を判断する。
第１４の発明に係わる画像再生用プログラムは、上記第１１の発明において、上記主役画像を合成に適するか否かの判断は、上記判断対象となる画像が、人物が大きな領域を占めるような画像の場合には、合成不適と判断する。
第１５の発明に係わる画像再生用プログラムは、上記第１１の発明において、上記主役画像を合成に適するか否かの判断は、上記判断対象となる画像がマクロモード撮影または近距離撮影による画像の場合には、合成不適と判断する。

第１６の発明に係わる画像再生用プログラムは、上記第１１の発明において、上記抽出部により抽出された主役部分が複数ある場合には、上記主役画像の生成は、抽出された複数の主役部分から１つの主役画像を生成する。
第１７の発明に係わる画像再生用プログラムは、上記第１６の発明において、上記主役画像の合成は、上記複数の主役部分に基づく主役画像を合成する際に、その合成される静止画像が上記主役部分の元の画像の１つである場合には、この合成される静止画像に属さない主役画像のみを合成する。
第１８の発明に係わる画像再生用プログラムは、上記第１１の発明において、上記主役画像の合成は、主役画像の画面に対するサイズと位置を指示し、主役画像を合成する。
第１９の発明に係わる画像再生用プログラムは、上記第１１の発明において、上記主役画像の生成は、静止画像から抽出された複数の主役部分を別々に複数の主役画像として生成し、上記主役画像の合成は、上記合成に適すると判断された静止画像について、各静止画像に対して上記複数の主役画像を順次合成する。

上記目的を達成するため第２０の発明に係わる画像再生装置は、対象となる静止画像を所定時間で順次切り替えながらスライドショー再生を行なう画像再生装置において、スライドショーの対象となる静止画像の中で選択された画像から主役部分を抽出する抽出部と、主役画像を固定して表示する主役固定モードと、上記主役画像を複数、用意し、この主役画像を順次切り換えながら表示する主役切換モードを設定するモード設定部と、上記モード設定部によって設定された上記主役固定モード若しくは上記主役切換モードに応じて、上記抽出した主役部分から主役画像を生成する主役生成部と、上記モード設定部によって設定された上記主役固定モード若しくは上記主役切換モードに応じて、上記静止画像に主役画像を合成して主役合成画像を作成する合成部と、この合成部によって合成された画像をスライドショー再生するスライドショー制御部と、を備える。
また、第２１の発明に係わる画像再生装置は、対象となる静止画像を所定時間で順次切り替えながらスライドショー再生を行なう画像再生装置において、スライドショーの対象となる静止画像の中で選択された画像から主役部分を抽出する抽出部と、上記抽出した主役部分から主役画像を生成する主役生成部と、上記静止画像に主役画像を合成して主役合成画像を作成する合成部と、この合成部によって合成された画像をスライドショー再生するスライドショー制御部と、を備え、上記主役画像を上記静止画像に合成するにあたって、不適当か否かを判定する合成適否判断部を有し、上記合成適否判断部により合成が不適当と判断された場合には、上記合成部は静止画像への主役画像の合成を行わず、かつ、上記スライドショー制御部は、この主役画像の合成されない静止画をスライドショー再生する。

本発明によれば、見るものの興味を引くようなスライドショーを行なうことが可能な画像再生装置、画像再生方法、画像再生用プログラムを提供することができる。

以下、図面に従って本発明を適用した画像再生装置を用いて好ましい実施形態について説明する。本発明の一実施形態に係わる画像再生装置は、デジタルカメラ等で撮影した静止画の画像データを記憶したパーソナルコンピューによって構成され、このパーソナルコンピュータのハードウエアと、インストールされたソフトウエアによってスライドショーの実行が可能である。

図１は、本実施形態に係わるパーソナルコンピュータ１０の構成を示すブロック図である。このパーソナルコンピュータ１０は、ＣＰＵ（Central Processing Unit）１１、ＲＯＭ（Read Only Memory）１３、ＲＡＭ（Random Access Memory）１４、画像処理部１５、抽出部１６、主役生成部１７、画像合成部１８、記憶部１９、表示制御部２０、表示部２１から構成される。パーソナルコンピュータ１０内のＣＰＵ１１、ＲＯＭ１２、ＲＡＭ１４、画像処理部１５、抽出部１６、主役生成部１７、画像合成部１８、記憶部１９および表示制御部２０は、バス２２に接続されている。

パーソナルコンピュータ１０内のＣＰＵ１１は、フラッシュメモリ等で構成されるＲＯＭ１２に記憶された制御プログラムに従ってパーソナルコンピュータ１０の全体制御を行う。ＣＰＵ１１の内部には、合成適否判断部１１ａ、スライドショー制御部１１ｂが示されるが、これらは制御プログラムによって実行される処理機能を示す。これらの機能は、専用ハードウエアによって構成してもよい。

合成適否判断部１１ａは、後述するように撮影画像に対して主役画像を合成することが適切か否かを判断する判断部である。また、スライドショー制御部１１ｂも、詳しくは後述するが、通常の画像を、順次、再生表示する通常スライドショーと、撮影画像に対して主役画像を合成した合成画像を、順次、再生する合成スライドショーの制御を行う。また、ＣＰＵ１１に接続された操作部１３は、キーボードやマウス等のユーザーインターフェースで構成され、種々の操作指令をパーソナルコンピュータに入力する。また、バス２２に接続されたＲＡＭ１４は、一時記憶領域として使用される。

画像処理部１５は、再生表示用に画像の処理を行なう。また抽出部１６は、画像データの中から顔検出等により顔部分を検出し、その人物の輪郭線から人物全体を抽出する。主役生成部１７は、抽出部１６によって抽出された主役としての人物を主役画像として生成する。画像合成部１８は、主役生成部１７によって生成された主役画像を、撮影画像に対して合成する。

記憶部１９は、デジタルカメラ等で撮影された撮影画像の画像データを記憶する記憶部であり、ハードディスク等の大容量記憶装置で構成されている。表示部２１は、液晶モニタ画面等で構成され、スライドショー制御部１１ｂによるスライドショーの再生表示も行なう。この表示部２１は、表示制御部２０に接続され、表示制御がなされる。

このように、本発明の一実施形態に係わる画像再生装置は、通常市販されているパーソナルコンピュータによって構成されている。なお、抽出部１６、主役生成部１７、画像合成部１８はハードウエアによる構成を示しているが、ＣＰＵ１１によるソフトウエア処理で構成されてもよい。この画像再生装置は、これから説明する動作を実行するプログラムをＲＯＭ１２に記憶している。このプログラムに係わるフローチャートを説明する前に、画像再生装置におけるスライドショーの再生表示動作について、図を用いて説明する。

まず、本実施形態において、例として挙げる撮影画像の情報を図２に示す。この例では、撮影者は、４月６日にＰ市とＱ市の市内観光を行い、Ｐ市では、画像番号１０１〜１５０の撮影を行い、またＱ市では、画像番号１５１〜１８０の静止画像の撮影を行なっている。さらに翌日の４月７日には、Ｐ市観光を行い、画像番号１８１〜２１０の静止画像の撮影を行なっている。なお、これらの画像データには、撮影日時情報と、ＧＰＳ等による撮影位置情報が添付されている。

次に、図３に通常のスライドショーで表示される、画像番号１０１から２１０の画像を示す。各画像の左上に示される符号３１は、画像番号である。画像番号１０１〜１０３は風景を撮影した画像、画像番号１２０はマクロ撮影、画像番号１２１は近距離で撮影された画像（具体的には、本棚の本）である。

また、画像番号１２２は、人物が大きく撮影された画像であり、画像番号１２３には、主役Ａの画像が撮影されている。また、画像番号１２４には、複数の人物像の中に、主役Ｂの画像が撮影されている。画像番号１２５は、人物が小さく映されており、また、画像番号１３０、１３２、１３３には、主役切換モードにおける主役Ａ、主役Ｂ、主役Ｃの画像が撮影されている。

本実施形態に係わる合成スライドショーにおいては、主役固定モードと主役切り換えモードの２つのモードが用意されている。主役固定モードは、抽出された固定の主役を撮影画像に合成して表示するモードであり、主役切り換えモードは、撮影画像ごとに主役を切り換えて表示するモードである。

主役固定モードにおける主役部分の抽出および主役画像の生成について、図４を用いて説明する。図４（Ａ）は、主役Ａ４１が撮影されている画像番号１２３の画像であり、この画像には、風景をバックに主役Ａ４１が撮影されている。主役選択のステップにおいて、顔認識等の技術を用いて、自動的に人物が選択され、人物が選択されるとその輪郭線３２が強調表示される。

図４（Ｂ）は、主役Ｂ４２が撮影されている画像番号１２４の画像であり、この画像には、風景と複数の人物像と共に主役Ｂ４２が撮影されている。主役Ａ４１と同様に、顔認識の技術を用いて、人物が選択され、さらに画像認識技術によって主役Ｂ４２が認識される。ここで認識された主役Ｂ４２の輪郭線３２が強調表示される。これら人物を選択して主役（Ａ４１、Ｂ４２）を抽出する処理は抽出部１６によって行われ、輪郭線３２の付与処理は画像合成部１８によって行われる。

主役Ａ４１と主役Ｂ４２の主役画像の輪郭線３２が検出されて強調されると、次のステップとして、主役部分の抽出を行なう。すなわち、図４（Ｃ）に示すように、画像番号１２３から主役部分Ａ４１を、画像番号１２４から主役部分Ｂ４２の画像を抽出し、ブルーバックとなっている仮の背景３５に、主役部分Ａ４５と主役部分Ｂ４６を貼り付ける。なお、図４（Ｃ）でカーソル３３は、特定主役を示す。なお、図４（Ｃ）で、主役が２人以上いる場合に、移動やサイズ変更対象とする方の主役部分（以降、これを特定主役と称す）にカーソル３３を付して示す。ここでは、主役部分Ａ４５が特定主役になっている。

抽出された主役部分Ａ４５、主役部分Ｂ４６は、その位置と大きさを操作部材１３の操作によって変更することができる。合成スライドショーにあたって、最終的な主役画像を決定すると、図４（Ｄ）に示すような、主役画像４７が生成される。抽出された主役部分のサイズや位置を適当に設定して主役画像を生成する処理は主役生成部１７によって行われる。

次に、図５を用いて、主役固定モードにおける合成スライドショーで表示される合成画像の生成について説明する。図４（Ｄ）のように主役画像４７が生成されると、撮影画像に対して主役画像４７の合成を行なう。このときに、主役画像の合成に適した撮影画像か否かが判断され、適合した画像であれば、画像合成が行なわれる。この適否判断処理は合成適否判断部１１ａによって行われる。

例えば、画像番号１０１〜１０３、１５０は、通常の風景写真であり、このような撮影画像に対しては画像合成が行なわれる。一方、画像番号１２０はマクロ撮影であり、画像番号１２１は近距離撮影であり、このような画像に主役画像を合成しても不自然で違和感があることから、画像合成は行なわれず、合成スライドショーとしては原画像が再生表示される。また、画像番号１２２のように人物が大きく映っている撮影画像も、画像合成しても不自然であるので、画像合成は行なわれない。

画像番号１２３や画像番号１２４のように、主役画像の内の一人が原画像に映っている場合には、主役画像４７を合成すると、同一人物が２箇所に現れることから不自然で違和感がある。このような場合には、原画像に映っている主役以外の主役のみを、画像合成する。画像番号１２５のように、画像番号１２２に比べて十分に人物が小さく映っている場合には、主役画像４７を合成しても不自然ではないので、画像合成を実行する。

主役画像４７は、４月６日のＰ市観光によって撮影した画像から抽出し生成したことから、以上の画像合成は、この条件にあてはまる画像、すなわち、画像番号１０１〜１５０に対してのみ行なっている。４月６日午後のＱ市観光、および４月７日のＰ市観光での撮影で取得した画像に対して、画像合成を行なっていない。時間および場所も異なり、同一の主役画像４７で画像合成を行なうと実態と異なる可能性があるからである。

４月６日午後のＱ市観光や４月７日のＰ市観光でも、合成スライドショーを行いたい場合には、前述したのと同様な手順で、別途、主役画像を生成すればよい。なお、各画像の右上の識別表示３４（ＭＩＸと表示）は、合成を施した合成画像であることを示し、この識別表示３４が付されていない画像は、原画像のままである。

次に、主役切換モードについて、説明する。この主役切換モードは、複数の主役画像を生成し、撮影画像ごとに、順次、主役画像を切り換えて表示するモードである。撮影画像ごとに異なる主役画像が現れるので、あたかも主役が撮影画像から撮影画像へと移動していくように見える。なお、本実施形態においては、主役画像は同一人物であるが、異なる人物であっても構わない。

この主役切換モードにおける、主役画像の設定処理について、図６を用いて説明する。まず、前述した図４（Ａ）〜（Ｃ）において説明したのと同様な手順で主役部分の抽出を行なう。図６（Ａ）の例では、画像番号１３０から主役部分Ａ、画像番号１３２から主役部分Ｂ、画像番号１３３から主役部分Ｃをそれぞれ抽出している。

続いて、図６（Ａ）に示す抽出された主役部分から、順次、主役画像を生成する。すなわち、主役画像Ａ’４５（図６（Ｂ））、主役画像Ｂ’４６（図６（Ｃ））、主役画像Ｃ’４７（図６（Ｄ））を、それぞれ生成する。

次に、主役切換モードにおける合成スライドショーで表示される合成画像について、図７を用いて説明する。まず、最初の画像番号１０１の撮影画像に対しては、主役画像Ａ’４５が合成される。次の画像番号１０２の撮影画像に対して、主役画像Ｂ’４６が合成され、その次の画像番号１０３の撮影画像に対して主役画像Ｃ’４７が合成される。

ここで主役画像は一巡するので、次の画像番号１０４の撮影画像に対して主役画像Ａ’４５、画像番号１０５の撮影画像に対して主役画像Ｂ’４６、画像番号１０６の撮影画像に対して主役画像Ｃ’４７が、それぞれ合成されて再生される。なお、画像番号１０４〜１０６の背景画像は省略している。

このあと、マクロ撮影の画像番号１２０、近距離撮影の画像番号１２１、人物像の大きい画像番号１２２については、主役固定モードの場合と同様、主役画像Ａ’４５、Ｂ’４６、Ｃ’４７との合成は行なわない。また、画像番号１２３、１２４においては、主役画像が重複しないように配慮する。４月６日午前のＰ市観光のスライドショーにおいて、主役画像Ａ’、Ｂ’、Ｃ’が、各撮影画像に対して、順次、合成され、あたかも主役が撮影画像の中を移動していく雰囲気を醸し出すことができる。

以上のように再生表示される本実施形態におけるスライドショーを実行するためのプログラムのフローチャートについて、図８乃至図１４を用いて説明する。撮影画像の再生表示を実行するためのプログラムをスタートさせると、まず、スライドショーを行なうか否かの判定を行なう（Ｓ１）。これは、パーソナルコンピュータ１０の表示部２１に表示されるスライドショーのメニュー画面等より選択されるので、操作部１３からの入力信号に基づいて判定する。

ステップＳ１における判定の結果、スライドショーの指示がなされていない場合には、通常再生を行なう（Ｓ５）。通常再生は、指定された撮影画像のみを表示するモードである。一方、スライドショーの指示がなされていた場合には、次に、合成スライドショーの指示がなされたか否かの判定を行なう（Ｓ２）。

判定の結果、合成スライドショーの指示がなされていなかった場合には、通常のスライドショー、すなわち、所定の順に所定時間間隔で表示部２１に再生表示する（Ｓ４）。一方、判定の結果、合成スライドショーの指示がなされていた場合には、合成スライドショーを実行する（Ｓ３）。

合成スライドショーのサブルーチンに入ると、図９に示すように、まず、主役部分の抽出の指示がなされているか否かの判定を行なう（Ｓ１１）。判定の結果、主役部分の抽出が指示されていなければ、ステップＳ１３にジャンプし、一方、主役部分の抽出が指示されていた場合には、主役部分の抽出処理を実行する（Ｓ１２）。主役部分の抽出は、図４（Ｃ）において説明したように、撮影画像から主役を選択する処理であり、詳しくは図１０を用いて後述する。

次に、主役合成画像の生成指示がなされているか否かの判定を行なう（Ｓ１３）。判定の結果、主役合成画像の生成指示がなされていなければ、ステップＳ１５にジャンプし、一方、主役合成画像の生成指示がなされていれば、主役合成画像の生成を行なう（Ｓ１４）。主役合成画像の生成は、図４（Ｄ）や図６において説明したように、主役部分から主役画像を生成する処理である。詳しくは、図１１を用いて後述する。

次に、合成スライドショーによる再生表示を開始するか否かの判定を行なう（Ｓ１５）。判定の結果、実行指示がなされていなかった場合にはこのサブルーチンを終了し、元のフローにリターンする。一方、指示がなされていた場合には、スライドショーの実行を開始する（Ｓ１６）。このスライドショーの詳細については、図１２を用いて後述する。

次に、ステップＳ１２の主役抽出指示のサブルーチンについて、図１０を用いて説明する。まず、画像の選択指示がなされているか否かの判定を行なう（Ｓ２１）。この画像選択は、表示部２１に順次、駒送りで撮影画像を表示させるか、またはサムネイル表示した撮影画像の中から、合成スライドショーで再生表示する画像を選択する。判定の結果、指示がなされていない場合には、ステップＳ３１にジャンプする。一方、指示がなされていた場合には、記憶部１９から選択画像の読出しを行なう（Ｓ２２）。

続いて、抽出部１６が人物の抽出を行なう（Ｓ２３）。このステップでは、前のステップで選択した画像の中から、顔認識等の技術を用いて人物の存在を検出する。この人物検出の結果を踏まえて、人物有りか否かの判定を行なう（Ｓ２４）。判定の結果、人物の存在が認められなければ、主役部分の抽出ができないので、ステップＳ３１にジャンプする。

一方、判定の結果、人物が認められた場合には、抽出部１６が人物輪郭像を作成する（Ｓ２５）。続いて、この人物輪郭像に基づいて、画像合成部１８が、図４（Ａ）（Ｂ）に示す輪郭線３２によって形成されるような人物輪郭像を合成する（Ｓ２６）。この人物輪郭像は、図４（Ａ）（Ｂ）のように、輪郭強調表示がなされて、表示部２１に表示される。

次に、人物輪郭像について、ＯＫ指示がなされているか否かの判定を行なう（Ｓ２７）。人物の形状把握にエラーする場合もあるからである。ＯＫ指示がなされていない場合には、抽出条件を変化させ（Ｓ３０）、ステップＳ２５に戻る。ステップＳ２５からＳ２７、Ｓ３０を繰り返すことにより、ユーザーの所望する主役部分の抽出を行なうことができる。

ステップＳ２７における判定の結果、ＯＫ指示が出ると、主役部分の抽出が確定し、図４（Ｃ）に示すような主役画像の表示を行なう（Ｓ２８）。続いて、合成画像として生成された人物部分の画像データを記憶する（Ｓ２９）。記憶が終わると、次に、終了か否かの判定を行なう（Ｓ３１）。主役画像の人物が複数人いる場合には、複数の撮影画像から選択する場合もあり、この場合には、ステップＳ２１に戻り、主役部分の追加を行なう。判定の結果、終了の指示がなされていた場合には、このサブルーチンを終了して、元のルーチンに戻る。

次に、ステップＳ１４の主役画像生成処理のサブルーチンについて、図１１を用いて説明する。まず、選択された全主役及び特定主役を表示する（Ｓ４１）。ここでの表示は、例えば、図４（Ｃ）のように、全ての主役画像が表示されると共に、その中の特定主役画像（カーソル３３によって指示されている主役画像）が、表示される。ステップＳ４１で主役画像が表示される際には、特定主役はユーザーによって指定されていないが、主役が複数人いる場合には、デフォルト値として一番小さい画像番号の主役が特定主役として、カーソル３３によって表示される。操作によって特定主役は変更可能である。

次に、主役固定モードと、主役切換モードの設定を行う（Ｓ４２）。ステップＳ１１において主役部分抽出がなされており、この抽出された主役を固定モードで表示するか、切換モードで表示するかの設定を行なう。設定は、表示部２１に設定されるアイコン（不図示）をクリックすることにより行なう。

次に、特定主役の切換指示がなされているか否かの判定を行なう（Ｓ４３）。特定主役は、位置やサイズの変更対象となる主役であり、この切換指示は、カーソル３３の移動により行う。判定の結果、特定主役の切換指示がなされていない場合には、ステップＳ４５にジャンプし、一方、切換指示がなされていた場合には、特定主役を表示する（Ｓ４４）。ここでの表示は、カーソル３３によって行なうが、これに加えて、主役画像の色彩を変更する等、適宜、表示方法を変更してもよい。

続いて、特定主役の位置、サイズの変更指示がなされているか否かの判定を行なう（Ｓ４５）。判定の結果、変更指示がなされていなければ、ステップＳ４８にジャンプし、一方、変更指示がなされていた場合には、指示に応じた表示を行なう（Ｓ４６）。すなわち、位置変更の指示がなされていれば、特定主役の位置を変更し、またサイズ変更の指示がなされていれば、特定主役のサイズを変更して表示する。

次に、ユーザーから変更内容に対するＯＫの指示があるか否かを判定し（Ｓ４７）、ＯＫでなければ、ステップＳ４５に戻り、前述のステップを繰り返す。一方判定の結果、ＯＫであれば、次に終了か否かの判定を行なう（Ｓ４８）。複数人の、または主役切換モードでは同一人でも複数の主役画像が選択されている場合もあるので、これらについて位置やサイズの変更の必要がある場合には、ユーザーは終了せずにステップＳ４３に戻り、前述のステップを繰り返す。一方、必要な特定主役の位置、サイズが終わった場合には、終了のアイコンをクリックする。

次に、主役固定モードか否かの判定を行なう（Ｓ４９）。ステップＳ４２において主役固定モードか主役切換モードの設定がなされているので、そこで設定されているモードの判定を行なう。判定の結果、主役固定モードであれば、指示された主役のデータ（位置とサイズ）を合成して記憶する（Ｓ５０）。

判定の結果、主役切換モードであれば、指示された主役のデータ（位置とサイズ）を別々に、すなわち主役ごとにデータを記憶する（Ｓ５１）。ステップＳ５０またはステップＳ５１における記憶が終わると、元のフローに戻る。

次に、ステップＳ１６のスライドショー実行のサブルーチンについて、図１２を用いて説明する。まず、画像の読出しを行なう（Ｓ６１）。このステップでは、記憶部１９に記憶され、スライドショーで再生表示するとして選択された画像の最初のコマの画像データの読出しを行なう。続いて、合成適否判断部１１ａにより合成適否判断を行う（Ｓ６２）。

主役画像は撮影日時と撮影場所から同一の範囲内の画像に対してのみ合成を行なうようにしているので、この合成適否判断のサブルーチンにおいて、この条件にあてはまるか否かについて判定する。また、図５および図７において説明したように、マクロ撮影や近距離撮影等で撮影した撮影画像に対しては、主役画像の合成を行なわないので、この合成適否判断も行う。この合成適否判断のサブルーチンの詳細については、図１３を用いて後述する。

合成適否判断が終わると、次に合成ＯＫか否かの判定を行なう（Ｓ６３）。ステップＳ６２の合成適否判断のサブルーチンの中で、合成ＯＫかＮＧかの判断がなされているので（Ｓ７９およびＳ８０参照）、この判断結果に従って判定する。判定の結果、合成ＯＫではなかった場合には、ステップＳ６５にジャンプし、一方、合成ＯＫの場合には、画像合成を行なう（Ｓ６４）。この画像合成のサブルーチンにおいて、図５および図７において、ＭＩＸの識別表示３４がなされているような合成画像の生成がなされる。この画像合成のサブルーチンの詳細については、図１４を用いて後述する。

次に、画像表示を行なう（Ｓ６５）。このステップでは、ステップＳ６４において画像合成がなされた場合には、合成された画像を表示し、また、ステップＳ６３において合成がＯＫでなかった場合には、ステップＳ６１で読み出された原画像（撮影画像）をそのまま表示する。続いて、ユーザーによって終了指示がなされているか否かの判定を行なう（Ｓ６６）。判定の結果、終了指示がなされていた場合には、元のフローに戻り、終了処理を行なう。

ステップＳ６６の判定の結果、終了指示がなされていない場合には、タイマの計時動作によって所定時間が経過したか否かの判定を行なう（Ｓ６７）。スライドショーにおいて再生表示される画像は所定時間ごとに切り換えがなされ、このステップではこの所定時間が経過したか否かを判定する。所定時間が経過していない場合には、ステップＳ６５に戻り、画像の再生表示を続行する。

ステップＳ６７において、所定時間が経過したと判定されると、ラスト画像か否かの判定を行なう（Ｓ６８）。このステップでは、スライドショーで再生表示するとして選択された画像の全てについて終了したか、すなわち、現在再生表示している画像が最後の画像か否かの判定を行なう。

ステップＳ６８の判定の結果、最後の画像であれば、元のフローに戻り、終了処理を行なう。一方、最後の画像でなければ、画像切換を行なう（Ｓ６９）。すなわち、現在、再生表示している画像の次の画像に切換、ステップＳ６１に戻り、その画像の画像データを読出し、前述したのと同様にして再生表示を行なう。

以上、図１２におけるスライドショーの実行のサブルーチンについて説明したが、続いて、ステップＳ６２の合成適否判断のサブルーチンについて、図１３を用いて説明する。まず、撮影日時が主役原画像と一定の範囲内か否かについて判定する（Ｓ７１）。判定の結果、一定範囲内にあれば、続いて、撮影場所が主役原画像と一定範囲内か否かの判定を行なう（Ｓ７２）。すなわち、主役画像を合成する撮影画像が、主役画像を撮影した場所や日時と異なっていると、服装や表情が異なっていて、スライドショーで鑑賞する際に不自然な場合がある。そこで、本実施形態においては、撮影日時や場所が一定の範囲に収まる場合にのみ主役画像の画像合成を行なうようにしている。

これら２つのステップでは、全ての主役原画像に対して、判定が行なわれる。すなわち、主役原画像が２つあれば、これら２つの主役原画像の撮影日時と撮影場所に対して、読み出された撮影画像の撮影日時と撮影場所が、一定範囲内にあるか否かが判断される。なお、撮影日時は撮影画像に添付されている撮影日時データに基づいて判定し、また撮影場所は、撮影画像に添付されているＧＰＳ等による位置情報に基づいて判定する。

ステップＳ７１およびＳ７２をＹｅｓで抜けると、次に、主役を全て含む画像か否かの判定を行なう（Ｓ７３）。これは、原画像に主役が映っている場合、主役画像が合成されると、主役が二重に映ってしまい不自然な画像となるのを防止するためである。主役を全て含んでいなければ、続いて、近距離撮影か否かの判定を行なう（Ｓ７４）。画像番号１２１（図３、図５参照）のように近距離撮影の画像に対して、主役画像を合成すると不自然なので、これを防止するためである。

近距離撮影でなければ、次に、マクロ撮影か否かの判定を行なう（Ｓ７５）。画像番号１２０（図３、図５参照）のようにマクロ撮影の画像に対して、主役画像を合成すると不自然なので、これを防止するためである。判定の結果、マクロ撮影でなければ、次に、人物がいるかいなか検出し（Ｓ７６）、この検出結果に基づいて、人物有りか否かの判定を行なう（Ｓ７７）。

判定の結果、人物有りの場合には、次に、人物のサイズが大きいか否かの判定を行なう（Ｓ７８）。画像番号１２２（図３、図５参照）のように人物の占める割合が大きい画像に対して、主役画像を合成すると不自然になるので、これを防止するためである。

ステップＳ７８において人物サイズの占める割合が大きくないと判定された場合、またはステップＳ７７において人物なしと判定した場合には、合成ＯＫと判断される（Ｓ７９）。これは、ステップＳ７１およびＳ７２において判断した撮影日時・場所が原画像の撮影日時・場所と一定の範囲で同一であり、またステップＳ７３からＳ７８における画像合成に適合するか否かの判定をクリアしており、主役画像を合成することが可能である。

一方、ステップＳ７１またはＳ７２においてＮｏと判定され、またステップＳ７３からＳ７５、Ｓ７８においてＹｅｓと判定された場合には、合成ＮＧと判断される（Ｓ８０）。これは、ステップＳ７１およびＳ７２において判断した撮影日時・場所が原画像の撮影日時・場所と一定の範囲で同一ではなく、またステップＳ７３からＳ７８における画像合成に適合するか否かの判定をクリアできず、主役画像を合成することに適していないからである。ステップＳ７９またはＳ８０の判断が終わると、元のルーチンに戻る。

次に、ステップＳ６４の画像合成のサブルーチンについて、図１４を用いて説明する。このサブルーチンに入ると、まず、主役固定モードか否かの判定を行なう（Ｓ９１）。前述したように、ステップＳ４２（図１１）において、主役固定モードまたは主役切換モードが設定されているので、この設定されたモードを判定する。

判定の結果、主役固定モードに設定されていた場合には、主役データの読出しを行なう（Ｓ９２）。ここでは、ステップＳ５０（図１１）において主役データを記憶しているので、このデータの読出しを行なう。次に、原画像が主役人物の一部を含む画像か否かの判定を行なう（Ｓ９３）。これは、画像番号１２３、１２４のように、原画像に主役人物が映っている場合には、画像合成した結果、同一人物が二人映っているのは、違和感を与えることから、同一人物が重複することがないようにするためである。

ステップＳ９３における判定の結果、原画像が主役人物の一部を含んでいなければ、原画像に主役データを合成する（Ｓ９４）。一方、判定の結果、原画像に主役人物の一部が含まれていれば、主役データから原画像に含まれていない主役だけの部分データを抽出し（Ｓ９５）、原画像に抽出された主役の部分データで合成する（Ｓ９６）。これによって、同一人物が二人映った合成画像を防止することができ、主役画像は一人ずつしか現れない。

ステップＳ９１において、主役固定モードでないと判定された場合、すなわち、主役切換モードである場合には、主役データ切換の読出しを行う（Ｓ９７）。ステップＳ５１（図１１）において、主役データが記憶されているので、この主役データの読出しを行なう。主役データの読出しにあたっては、主役を順繰りに切り換えて合成するので、読出しの順番に沿って読み出す主役データを切り換える。主役データの読出しが終わると、次に原画像に主役データを合成する（Ｓ９８）。

ステップＳ９８、Ｓ９６またはＳ９４が終わると、元のルーチンに戻る。以上の図８乃至図１４のフローを実行することにより、主役画像の合成を行い、主役画像が原画像（撮影画像）の中に合成され、主役画像が登場するスライドショーを実行することができる。

一般に自分の撮影であっても、単なる名所旧跡の風景や建物の画像だけのスライドショーでは、数回で飽きることも多い。本実施形態においては、選択した人物画像を景色に合成して再生表示可能としており、画面に遊びの要素を加え、また、友人に見せる場合にもそこに行った時の自分の服装や表情を強調して説明すれば、会話が一段と弾むことが期待できる。

また、本実施形態においては、人物画像を原画像（撮影画像）に重畳することが相応しい画像であるか否かを判断し、合成不適合な画像に対しては、画像合成を禁止するようにしている。このため、全ての画像に人物画像が重畳され、鑑賞にあたって煩わしく感じるようなことを防止することができる。

さらに、本実施形態においては、主役画像の撮影日時・場所によって、画像合成を行うか否か切り分けている。スライドショーを行なうにあたっては、同一のテーマの範囲の画像であることが望ましく、また、服装・表情等が、異なっていると合成画像が不自然になってしまうが、本実施形態では、このような不都合を防止することができる。

さらに、本実施形態では、人物像の合成を再生時の一時的な画像だけに留めたので、本スライドショーを気軽に利用することができる。前述した特許文献３のように、合成画像が撮影画像として記録されるようにすると、事実性が失われる虞もあるし、またうるさい画像になってしまうからである。

さらに、本実施形態はスライドショーだけの再生なので、人物と背景の境界の処理が簡易的なものであっても許容され、その分、短時間で合成処理が実現でき、スライドショーに遅れを生じさせることも少ない。また、同一の主役を表示するだけではなく、主役の変更も可能にしたので、より変化を付けたスライドショーを実現できる。

なお、本実施形態においては、主役は人物とした場合について説明したが、これに限られるものではなく、例えば、動物や物体あるいは建物でもよい。また、本実施形態においては、主役固定モードと主役切換モードのいずれかを設定するようにしていたが、いずれか一方のみのモードを有するようにしてもよい。また、本実施形態に係わる画像再生装置は、ＰＣ（パーソナルコンピュータ）で構成される例を示したが、これに限らず、例えば、デジタルカメラに内蔵されても当然構わない。

また、本発明は、上記実施形態にそのまま限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素の幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

本発明を適用した一実施形態に係わる画像再生装置の構成を示すブロック図である。 本発明の一実施形態において、例として挙げる撮影画像の情報を示す図である。 本発明の一実施形態に係わる画像再生装置において、通常のスライドショーとして再生表示される画像を示す図である。 本発明の一実施形態に係わる画像再生装置において、主役固定モードにおける主役部分の抽出および主役画像の生成処理を示す図である。 本発明の一実施形態に係わる画像再生装置において、主役固定モードにおけるスライドショーに再生表示される合成画像を示す図である。 本発明の一実施形態に係わる画像再生装置において、主役切換モードにおける主役画像の設定処理を示す図である。 本発明の一実施形態に係わる画像再生装置において、メインルーチンを示すフローチャートである。 本発明の一実施形態に係わる画像再生装置において、合成スライドショーのフローチャートである。 本発明の一実施形態に係わる画像再生装置において、合成スライドショーのフローチャートである。 本発明の一実施形態に係わる画像再生装置において、主役部分抽出のフローチャートである。 本発明の一実施形態に係わる画像再生装置において、主役画像生成処理のフローチャートである。 本発明の一実施形態に係わる画像再生装置において、スライドショー実行のフローチャートである。 本発明の一実施形態に係わる画像再生装置において、合成適否判断のフローチャートである。 本発明の一実施形態に係わる画像再生装置において、画像合成のフローチャートである。

符号の説明

１０・・・パーソナルコンピュータ、１１・・・ＣＰＵ、１１ａ・・・合成適否判断部、１１ｂ・・・スライドショー制御部、１２・・・ＲＯＭ、１３・・・操作部、１４・・・ＲＡＭ、１５・・・画像処理部、１６・・・抽出部、１７・・・主役生成部、１８・・・画像合成部、１９・・・記憶部、２０・・・表示制御部、２１・・・表示部、２２・・・バス、３１・・・符号（画像番号）、３２・・・輪郭線（輪郭強調表示）、３３・・・カーソル、３４・・・識別表示（合成画像表示）、３５・・・背景、４１・・・主役Ａ、４２・・・主役Ｂ、４５・・・主役画像Ａ’、４６・・・主役画像Ｂ’、４７・・・主役画像Ｃ’

Claims (21)

1. 対象となる静止画像を所定時間で順次切り替えながらスライドショー再生を行なう画像再生装置において、
   スライドショーの対象となる静止画像の中で選択された画像から主役部分を抽出する抽出部と、
   上記抽出した主役部分から主役画像を生成する主役生成部と、
   上記スライドショーの対象となる静止画像の中の個々の静止画像について、上記主役画像を合成するのに適した画像かを判断する合成適否判断部と、
   上記合成に適すると判断された静止画像に主役画像を合成して主役合成画像を作成する合成部と、
   上記合成適否判断部で合成に適すると判断された画像については上記主役合成画像を、合成に適しないと判断された画像については合成のされない画像をスライドショー再生するスライドショー制御部と、
   を備えることを特徴とする画像再生装置。
2. 上記合成適否判断部は、上記判断対象となる静止画像の撮影日時と上記主役画像の元となった主役部分の属する静止画像の撮影日時とを比較して、合成の適否を判断することを特徴とする請求項１に記載の画像再生装置。
3. 上記合成適否判断部は、上記判断対象となる静止画像の撮影場所と上記主役画像の元となった主役部分の属する静止画像の撮影場所とを比較して、合成の適否を判断することを特徴とする請求項１に記載の画像再生装置。
4. 上記合成適否判断部は、上記判断対象となる画像が、人物が大きな領域を占めるような画像の場合には、合成不適と判断することを特徴とする請求項１に記載の画像再生装置。
5. 上記合成適否判断部は、上記判断対象となる画像がマクロモード撮影または近距離撮影による画像の場合には、合成不適と判断することを特徴とする請求項１に記載の画像再生装置。
6. 上記抽出部により抽出された主役部分が複数ある場合には、上記主役生成部は、抽出された複数の主役部分から１つの主役画像を生成することを特徴とする請求項１に記載の画像再生装置。
7. 上記合成部は、上記複数の主役部分に基づく主役画像を合成する際に、その合成される静止画像が上記主役部分の元の画像の１つである場合には、この合成される静止画像に属さない主役画像のみを合成することを特徴とする請求項６に記載の画像再生装置。
8. 上記主役画像を合成する際の画面に対するサイズと位置を指示する操作部を備え、
   上記合成部は、上記操作部の指示に基づくサイズと位置で主役画像を合成する
   ことを特徴とする請求項１に記載の画像再生装置。
9. 上記抽出部により抽出された主役部分が複数ある場合には、上記主役生成部は、静止画像から抽出された複数の主役部分を別々に複数の主役画像として生成し、
   上記合成部は、上記合成に適すると判断された静止画像について、各静止画像に対して上記複数の主役画像を順次合成する
   ことを特徴とする請求項１に記載の画像再生装置。
10. 対象となる静止画像を所定時間で順次切り替えながらスライドショー再生を行なう画像再生方法において、
    スライドショーの対象となる静止画像の中で選択された画像から主役部分を抽出し、
    上記抽出した主役部分から主役画像を生成し、
    上記スライドショーの対象となる静止画像の中の個々の静止画像について、上記主役画像を合成するのに適した画像かを判断し、
    上記合成に適すると判断された静止画像に主役画像を合成して主役合成画像を作成し、
    上記合成に適すると判断された画像については上記主役合成画像を、合成に適しないと判断された画像については合成のされない画像をスライドショー再生する、
    ことを特徴とする画像再生方法。
11. 対象となる静止画像を所定時間で順次切り替えながらスライドショー再生を行なう画像再生用プログラムにおいて、
    スライドショーの対象となる静止画像の中で選択された画像から主役部分を抽出し、
    上記抽出した主役部分から主役画像を生成し、
    上記スライドショーの対象となる静止画像の中の個々の静止画像について、上記主役画像を合成するのに適した画像かを判断し、
    上記合成に適すると判断された静止画像に主役画像を合成して主役合成画像を作成し、
    上記合成に適すると判断された画像については上記主役合成画像を、合成に適しないと判断された画像については合成のされない画像をスライドショー再生する、
    ことを特徴とする画像再生用プログラム。
12. 上記主役画像を合成に適するか否かの判断は、上記判断対象となる静止画像の撮影日時と上記主役画像の元となった主役部分の属する静止画像の撮影日時とを比較して、合成の適否を判断することを特徴とする請求項１１に記載の画像再生用プログラム。
13. 上記主役画像を合成に適するか否かの判断は、上記判断対象となる静止画像の撮影場所と上記主役画像の元となった主役部分の属する静止画像の撮影場所とを比較して、合成の適否を判断することを特徴とする請求項１１に記載の画像再生用プログラム。
14. 上記主役画像を合成に適するか否かの判断は、上記判断対象となる画像が、人物が大きな領域を占めるような画像の場合には、合成不適と判断することを特徴とする請求項１１に記載の画像再生用プログラム。
15. 上記主役画像を合成に適するか否かの判断は、上記判断対象となる画像がマクロモード撮影または近距離撮影による画像の場合には、合成不適と判断することを特徴とする請求項１１に記載の画像再生用プログラム。
16. 上記抽出部により抽出された主役部分が複数ある場合には、上記主役画像の生成は、抽出された複数の主役部分から１つの主役画像を生成することを特徴とする請求項１１に記載の画像再生用プログラム。
17. 上記主役画像の合成は、上記複数の主役部分に基づく主役画像を合成する際に、その合成される静止画像が上記主役部分の元の画像の１つである場合には、この合成される静止画像に属さない主役画像のみを合成することを特徴とする請求項１６に記載の画像再生用プログラム。
18. 上記主役画像の合成は、主役画像の画面に対するサイズと位置を指示し、主役画像を合成することを特徴とする請求項１１に記載の画像再生用プログラム。
19. 上記主役画像の生成は、静止画像から抽出された複数の主役部分を別々に複数の主役画像として生成し、上記主役画像の合成は、上記合成に適すると判断された静止画像について、各静止画像に対して上記複数の主役画像を順次合成することを特徴とする請求項１１に記載の画像再生用プログラム。
20. 対象となる静止画像を所定時間で順次切り替えながらスライドショー再生を行なう画像再生装置において、
    スライドショーの対象となる静止画像の中で選択された画像から主役部分を抽出する抽出部と、
    主役画像を固定して表示する主役固定モードと、上記主役画像を複数、用意し、この主役画像を順次切り換えながら表示する主役切換モードを設定するモード設定部と、
    上記モード設定部によって設定された上記主役固定モード若しくは上記主役切換モードに応じて、上記抽出した主役部分から主役画像を生成する主役生成部と、
    上記モード設定部によって設定された上記主役固定モード若しくは上記主役切換モードに応じて、上記静止画像に主役画像を合成して主役合成画像を作成する合成部と、
    この合成部によって合成された画像をスライドショー再生するスライドショー制御部と、
    を備えることを特徴とする画像再生装置。
21. 対象となる静止画像を所定時間で順次切り替えながらスライドショー再生を行なう画像再生装置において、
    スライドショーの対象となる静止画像の中で選択された画像から主役部分を抽出する抽出部と、
    上記抽出した主役部分から主役画像を生成する主役生成部と、
    上記静止画像に主役画像を合成して主役合成画像を作成する合成部と、
    この合成部によって合成された画像をスライドショー再生するスライドショー制御部と、
    を備え、
    上記主役画像を上記静止画像に合成するにあたって、不適当か否かを判定する合成適否判断部を有し、上記合成適否判断部により合成が不適当と判断された場合には、上記合成部は静止画像への主役画像の合成を行わず、かつ、上記スライドショー制御部は、この主役画像の合成されない静止画をスライドショー再生することを特徴とする画像再生装置。