JP4388939B2

JP4388939B2 - 画像再生装置ならびにその制御方法およびその制御プログラム

Info

Publication number: JP4388939B2
Application number: JP2006258163A
Authority: JP
Inventors: 征和西嶋
Original assignee: Fujifilm Corp
Current assignee: Fujifilm Corp
Priority date: 2006-09-25
Filing date: 2006-09-25
Publication date: 2009-12-24
Anticipated expiration: 2026-09-25
Also published as: US20080075388A1; US7974492B2; JP2008079166A; CN100593939C; CN101197907A

Description

この発明は，画像再生装置ならびにその制御方法およびその制御プログラムに関する。

複数駒の画像を効果的に再生するものとしてスライドショーがある。スライドショーにより複数駒の画像を切り替えながら再生する場合，画像の明るさを徐々に明るくして次の駒の画像を表示して明るさを戻すといういわゆるフェードイン／フェードアウトをしたり，ある方向に画像を徐々に移動させて画像を徐々に消すというワイプをすることがある。また，画像の中の注目エリアに向かって画像全体をズームアップした後に次の画像を再生するもの（特許文献１），主要被写体に対してズームインまたはズームアウトするものがある（特許文献２）。
特開2005-354333号公報特開2006-129453号公報

また，顔の類似度を算出した結果にもとづいてスライドショーの表示対象を自動的に選択するものもある（特許文献３）。
特開2005-33276号公報

しかしながら，いずれにおいても現在表示されている画像の次の画像に表示が切り替わった場合に閲覧者が注目している画像の視点が変わってしまうことが多いため，閲覧者は注意がそがれることがある。

この発明は，画像が切り替わった場合でも閲覧者が注目している視点が変わらないようにすることを目的とする。

この発明による画像再生装置は，第１の被写体像に含まれている顔画像部分が切り取り後の画像部分に含まれるように第１の被写体像から画像を切り取る第１の切り取り手段，第１の被写体像の大きさとなるように，上記第１の切り取り手段によって切り取られた画像を拡大する第１の拡大手段，上記第１の拡大手段によって拡大された切り取り画像を表示画面に表示するように表示装置を制御する第１の表示制御手段，切り取り後の画像が前回の切り取り後の画像よりも小さくなるように上記画像切り取り処理，上記拡大処理および上記表示制御処理を，切り取り後の画像が所定の大きさとなるまで繰り返すように上記第１の切り取り手段，上記第１の拡大手段および上記第１の表示制御手段を制御する第１制御手段，上記第１の切り取り手段による切り取り後の画像が上記所定の大きさとなったことに応じて，第２の被写体像に含まれている顔画像部分が切り取り後の画像の部分に含まれるように第２の被写体像から画像を切り取る第２の切り取り手段，第２の被写体像の大きさとなるように，上記第２の切り取り手段によって切り取られた画像を拡大する第２の拡大手段，上記第２の拡大手段によって拡大された切り取り画像を上記表示画面に表示するように上記表示装置を制御する第２の表示制御手段，ならびに切り取り後の画像が前回の切り取り後の画像よりも大きくなるように上記画像切り取り処理，上記拡大処理および上記表示制御処理を繰り返すように上記第２の切り取り手段，上記第２の拡大手段および上記第２の表示制御手段を制御する第２の制御手段を備えていることを特徴とする。

この発明は，上記画像再生装置に適した制御方法も提供している。すなわち，その方法は，第１の切り取り手段が，第１の被写体像に含まれている顔画像部分が切り取り後の画像部分に含まれるように第１の被写体像から画像を切り取り，第１の拡大手段が，第１の被写体像の大きさとなるように，上記第１の切り取り手段によって切り取られた画像を拡大し，第１の表示制御手段が，上記第１の拡大手段によって拡大された切り取り画像を表示画面に表示するように表示装置を制御し，第１の制御手段が，切り取り後の画像が前回の切り取り後の画像よりも小さくなるように上記画像切り取り処理，上記拡大処理および上記表示制御処理を，切り取り後の画像が所定の大きさとなるまで繰り返すように上記第１の切り取り手段，上記第１の拡大手段および上記第１の表示制御手段を制御し，第２の切り取り手段が，上記第１の切り取り手段による切り取り後の画像が上記所定の大きさとなったことに応じて，第２の被写体像に含まれている顔画像部分が切り取り後の画像の部分に含まれるように第２の被写体像から画像を切り取り，第２の拡大手段が，第２の被写体像の大きさとなるように，上記第２の切り取り手段によって切り取られた画像を拡大し，第２の表示制御手段が，上記第２の拡大手段によって拡大された切り取り画像を上記表示画面に表示するように上記表示装置を制御し，第２の切り取り手段が，切り取り後の画像が前回の切り取り後の画像よりも大きくなるように上記画像切り取り処理，上記拡大処理および上記表示制御処理を繰り返すように上記第２の切り取り手段，上記第２の拡大手段および上記第２の表示制御手段を制御するものである。

この発明によると，第１の被写体像に含まれている顔画像部分が切り取り後の画像の部分に含まれるように第１の被写体像から画像が切り取られる。切り取られた画像の大きさが第１の被写体像の大きさとなるように拡大処理が行われる。拡大された画像が表示される。切り取り後の画像が前回の切り取り後の画像よりも小さくなるように，切り取り後の画像が所定の大きさとなるまで画像の切り取り，拡大処理および表示制御が繰り返される。切り取り後の画像が所定の大きさとなると，第２の被写体像に含まれている顔画像部分が切り取り後の画像部分に含まれるように第２の被写体像から画像が切り取られる。切り取られた画像が第２の被写体像の大きさとなるように拡大されて表示される。切り取り後の画像の大きさが前回の切り取り後の画像の大きさよりも大きくなるように，画像の切り取り，拡大処理および表示制御が繰り返される。第１の被写体像については，第１の被写体像に含まれている顔画像部分の割合が徐々に大きくなるように表示され，第２の被写体像については，第２の被写体像に含まれている顔画像部分の割合が徐々に小さくなるように表示される。第１の被写体像から第２の被写体像に表示が切り替わるときには，顔画像部分の割合が大きな画像が表示されている状態であるから，閲覧者が注目している視点（顔画像）が変わらず，閲覧者の注意がそれることが無い。

上記第１の表示制御手段および上記第２の表示制御手段は，例えば，上記第１の拡大手段によって拡大された第１の拡大画像と，上記第２の拡大手段によって拡大された第２の拡大画像とが合成されて上記表示画面に表示されるように上記表示装置を制御するものである。第１の拡大画像と第２の拡大画像とが合成されて表示されるので，第１の拡大画像（第１の被写体像）の表示から第２の拡大画像（第２の被写体像）の表示に切り替わっても違和感が少ない。

上記第１の表示制御手段は，例えば，第１の切り取り手段による切り取り画像の大きさが小さくなるにつれて，第１の拡大画像の合成の割合が少なくなり，かつ第２の拡大画像の合成の割合が多くなるように合成して表示するものであり，上記第２の表示制御手段は，例えば，第２の切り取り手段による切り取り後の画像の大きさが大きくなるにつれて，第１の拡大画像の合成の割合が少なくなり，かつ第２の拡大画像の合成の割合が多くなるように合成して表示するものである。第１の拡大画像（第１の被写体像）から第２の拡大画像（第２の被写体像）に切り替わる前に，第１の拡大画像上に第２の拡大画像が徐々に現れ，第２の拡大画像に切り替わった後には第２の拡大画像上に現れている第１の拡大画像の割合が徐々に少なくなっていくので，第１の拡大画像から第２の拡大画像に切り替わったときに違和感が少ない。

上記第２の切り取り手段は，例えば，上記第１の切り取り手段による切り取り後の画像における目の相対位置と上記第２の切り取り手段における第１回目の切り取り後の画像における目の相対位置とが一致するように切り取り処理を行い，かつ切り取り後の画像と上記第２の被写体像との位置関係が徐々に一致するように切り取り画像を決定する。第１の拡大画像の目の位置と第２の拡大画像の目の位置とが一致するので，第１の拡大画像から第２の拡大画像に表示が切り替わった場合に目の位置のずれによる違和感を防止できる。

上記第１の被写体像または上記第２の被写体像に顔画像部分が含まれていない場合に，画像再生装置の処理を停止する停止制御手段をさらに備えても良い。

第１の被写体像または第２の被写体像の少なくとも一方に複数の顔画像が含まれており，上記第１の切り取り手段および上記第２の切り取り手段は，例えば，切り取り後の顔画像の類似度が高い顔画像部分が含まれるように第１の被写体像からの画像切り取り処理および第２の被写体像からの画像切り取り処理を行うものである。第１の拡大画像から第２の拡大画像に切り替わるときに表示されている顔画像が類似しているので，表示の切り替えによる違和感を防ぐことができる。

図１は，この発明の実施例を示すもので，画像再生装置の電気的構成を示すブロック図である。

画像再生装置の全体の動作は，プロセッサ１によって統括される。このプロセッサ１によって，後述するようにハード・ディスク（図示略）に格納されている画像データにより表わされる画像の切り取り，拡大処理，顔画像の検出などが行なわれる。

画像再生装置には，プログラム，データ等があらかじめ記憶されているＲＯＭ２，データを一時的に記憶するＲＡＭ３，再生画像を表示する表示装置５を制御するグラフィック制御回路４，画像等をプリントするプリンタ６，マウス７，キーボード８，再生すべき画像を表す画像データが多数記憶されているハードディスク（図示略）にアクセスするハードディスク・ドライブ９，およびＦＤ（フレキシビリ・ディスク）11にデータを書き込み，かつＦＤ11に書き込まれているデータを読み取るＦＤドライブ10が含まれている。

さらに，画像再生装置には，CD-ROM（コンパクト・ディスク・リード−オンリ・メモリ）ドライブ12が含まれている。後述する動作プログラムが格納されているCD-ROM13がCD-ROMドライブ12に装填されることにより，CD-ROM13に格納されている動作プログラムが読み取られて，画像再生装置にインストールされる。

図２および図３は，画像再生装置において表示される画像の一例である。

この実施例の画像再生装置における画像再生は，複数駒の画像をスライドショーにより表示できるものである。とくに，この実施例においては，次の駒の画像に表示が切り替わるときに，切り替わる前の画像中の顔画像部分の割合が大きくなり，所定の割合となると次の画像に切り替わる。顔画像部分の割合が徐々に小さくなるように次の画像が表示される。このために，表示が切り替わる前の第１の被写体像Ｉ１の画像部分を示す顔枠領域Ｒ１および表示が切り替わった後の第２の被写体像Ｉ２の画像部分を示す顔枠領域Ｒ２がそれぞれ検出される。これらの顔枠領域Ｒ１およびＲ２を用いて，後述するように画像の表示切り替え処理が行われる。

図４は，画像再生装置の処理手順を示すフローチャートである。

ハードディスクに格納されている画像データによって表される多数駒の画像の中から再生すべき画像がユーザによって選択される（ステップ21）。再生駒数Ｎが設定され（ステップ22），再生順序が選択される（ステップ23）。再生駒数Ｎが２以上で無ければ（ステップ24でＮＯ），画像を切り替えて表示することができないのでこの実施例による画像再生処理は終了する。ファイル名順，撮影日順などを選択することにより再生順序が選択されることとなる。

この実施例においては２駒ごとを基準に顔枠の検出処理，画像再生などが行われる。このために，再生駒数Ｎが２以上であると（ステップ24でＹＥＳ），２駒を基準に処理するための変数Ｉが０にセットされる（ステップ25）。変数Ｉが再生駒数Ｎ未満であれば，選択された再生画像のうち顔枠を検出等する処理が終了していない画像があるので，顔枠部分の検出処理（ステップ27），画像再生処理が行われる（ステップ28）。変数Ｉに２加算され（ステップ29），変数Ｉが再生駒数Ｎ以上となるまで顔枠検出処理，画像再生処理が繰り返される。変数Ｉが再生駒数Ｎ以上となると（ステップ24でＮＯ），選択された再生画像の再生が終了するので再生処理は終了する。もっとも，選択された画像を選択された再生順序にしたがって再び，再生するようにしてもよい。

顔枠検出処理は，公知の顔画像の検出処理を利用することができる。例えば，複数駒の顔データをあらかじめ登録しておき，それらの顔データとのパターン・マッチングにより検出することができる。または，目，鼻，口などのそれぞれの顔を構成するオブジェクト・データと位置とを登録しておき，それらとのパターン・マッチングにより検出するようにしても良い。検出された顔画像部分を囲む枠（例えば，矩形の枠であるが，画像のアスペクト比と同じアスペクト比をもつ枠にしてもよい）が顔枠とされる。複数の顔画像部分が検出された場合には，例えば，顔画像部分のもっとも大きな部分を囲む枠が顔枠として検出される。

図５および図６は，画像再生処理手順（図４のステップ28の処理手順）を示すフローチャートである。図７（Ａ）は，第１の被写体像の切り取り範囲を示し，図７（Ｂ）は，表示される第１の拡大画像を示している。図８（Ａ）は，第２の被写体像の切り取り範囲を示し，図８（Ｂ）は，表示される第２の拡大画像を示している。

この実施例による画像再生は，第１の被写体像から第２の被写体像に表示を切り替える場合に，第１の被写体像に含まれている顔画像部分が切り取り後の画像部分に含まれるように第１の被写体像から画像を切り取り，第１の被写体像の大きさとなるように，切り取られた画像を拡大して表示し，切り取り後の画像が前回の切り取り後の画像よりも小さくなるように画像切り取り処理，拡大処理および表示が繰り返される。切り取り後の画像が所定の大きさ（顔枠の大きさ）となると，第２の被写体像に含まれている顔画像部分が切り取り後の画像の部分に含まれるように第２の被写体像から画像を切り取り処理が行われ，その切り取られた画像の大きさが，第２の被写体像の大きさとなるように，切り取られた画像を拡大して表示し，切り取り後の画像が前回の切り取り後の画像よりも大きくなるように画像切り取り処理，拡大処理および表示が繰り返される。

変数Ｉによって指定される画像が第１の被写体像であり，変数Ｊによって指定される画像が第２の被写体像となる。したがって，変数Ｊは変数Ｉがインクレメントされた値に設定される（ステップ31）。変数Ｊの画像が存在しなければ（ステップ32でＮＯ），変数Ｉの画像は選択された最後の駒の画像となるので，イフェクト無しで再生される（ステップ48）。

変数Ｊの画像が存在すると（ステップ32でＹＥＳ），上述したように，画像の切り出し，拡大等の処理を行う操作対象画像が変数Ｉの画像（第１の被写体像）にセットされる（ステップ33）。最初は，第１の被写体像そのものが表示されるようにするために図７（Ａ）に示すように，切り取り範囲Ｒ11は，第１の被写体像Ｉ１全体に設定される（ステップ33）。設定された切り取り範囲Ｒ11内の画像が第１の被写体像Ｉ１から切り取られる（ステップ35）。切り取られた画像の領域（切り取り領域）が顔枠領域Ｒ１以下となると，第１の被写体像を切り出して得られる第１の拡大画像の表示から第２の被写体像Ｉ２を切り出して得られる第２の拡大画像の表示に切り替わる。

切り取り領域が顔枠領域未満であれば（ステップ36でＹＥＳ），第１の被写体像Ｉ１の大きさとなるように，切り取られた画像が拡大される（ステップ37）。図７（Ｂ）に示すように，拡大された画像（第１の拡大画像）Ｉ21が表示される（ステップ38）。最初は，切り取り範囲は第１の被写体像全体に設定されているので，第１の拡大画像Ｉ21と第１の被写体像Ｉ１とは同じものであり，拡大されていない第１の被写体像Ｉ１そのものが表示されることとなる。固定されている時間ｍ秒の間，第１の拡大画像Ｉ21の表示が続けられる（ステップ39）。続いて切り取り範囲が小さくされて（ステップ40），その切り取り範囲内の画像が切り取られる（ステップ35）。切り取られた画像の大きさが第１の被写体像の大きさとなるように拡大されて表示される（ステップ37，38）。

図７（Ａ）に示すように，切り取り範囲はＲ11より一回り小さい範囲Ｒ12に設定され，その切り取り範囲Ｒ12内の画像が第１の被写体像Ｉ１の大きさとなるように拡大される。これにより図７（Ｂ）に示すように，第１の拡大画像Ｉ22が得られる。得られた拡大画像Ｉ22が表示される。同様に，図７（Ａ）に示すように，切り取り範囲Ｒ12よりさらに一回り小さい範囲Ｒ13が切り取り範囲に設定され，範囲Ｒ13内の画像が第１の被写体像Ｉ１の大きさとなるように拡大されて，図７（Ｂ）に示すように第１の拡大画像Ｉ23が得られる。得られた第１の拡大画像Ｉ23が表示される。以下同様に，切り取り範囲が顔枠領域Ｒ１以下となるまで小さくされながら，画像が切り取られ，切り取り画像が第１の被写体像Ｉ１の大きさとなるように拡大されて表示される。切り取り範囲は，徐々に小さくなり，最終的には，図７（Ａ）に示すように，顔枠領域Ｒ１（図２参照）よりも一回り大きな領域Ｒ1n内の画像が拡大された第１の拡大画像Ｉ2nが表示される（図７（Ｂ）参照）。図７（Ｂ）に示すように，第１の被写体像Ｉ１にもとづいて得られ，表示される第１の拡大画像Ｉ21〜Ｉ2nは，第１の被写体像Ｉ１に含まれる顔画像部分が徐々に大きくなる。

切り取り領域が顔枠領域Ｒ１以下となると（ステップ36でＮＯ），第１の拡大画像の表示から第２の被写体像Ｉ２にもとづいて得られる第２の拡大画像の表示に切り替わる。このために，操作対象画像が変数Ｊの第２の被写体像Ｉ２にセットされる（ステップ41）。続いて，第２の被写体像Ｉ２の顔枠Ｒ２（図３参照）を内包するような切り取り範囲であって，図８（Ａ）に示すように顔枠Ｒ２よりも一回り大きな切り取り範囲Ｒ31が設定される（ステップ42）。設定された切り取り範囲Ｒ31内の画像が切り取られる（ステップ43）。

切り取り範囲の領域が第２の被写体像Ｉ２の全体の領域未満であれば（ステップ44でＹＥＳ），切り取り範囲内の画像を拡大して得られる第２の拡大画像は第２の被写体像Ｉ２の一部分であるから拡大処理が行われ，図８（Ｂ）に示すように第２の拡大画像Ｉ41が得られる（ステップ45）。得られた第２の拡大画像Ｉ41が表示される（ステップ46）。上述したように固定のｍ秒の間表示されているのはいうまでもない。切り取り範囲が一回り大きくされて（ステップ47），切り取り処理（ステップ43），画像拡大処理（ステップ45）が繰り返される。図８（Ａ）に示すように，切り取り範囲Ｒ32，Ｒ33のように徐々に大きくなり，それらの切り取り範囲Ｒ32，Ｒ33内の画像が第２の被写体像の大きさとなるように拡大処理が行われて第２の拡大画像Ｉ42，Ｉ43が得られて表示されることとなる。図８（Ａ）に示すように切り取り範囲の領域Ｒ3nが第２の被写体像Ｉ２の全体の領域と同じとなると，図８（Ｂ）に示すように，第２の拡大画像Ｉ4nは第２の被写体像Ｉ２と同じとなる。

切り取り領域が第２の被写体像Ｉ２の全体よりも大きくなると，第２の被写体像Ｉ２についての表示処理は終了し，次の駒の被写体像の表示処理に移行する。図８（Ｂ）に示すように，第２の被写体像Ｉ２にもとづいて得られ，表示される第２の拡大画像Ｉ41〜Ｉ4nは，第２の被写体像Ｉ２に含まれる顔画像部分が徐々に小さくなる。

第１の被写体像Ｉ１から第２の被写体像Ｉ２への表示の切り替えは，第１の被写体像Ｉ１に含まれる顔画像があたかもズームインし，第２の被写体像Ｉ２に含まれる顔画像があたかもズームアウトするようにして行われる。しかも，第１の被写体像Ｉ１にもとづいて得られる第１の拡大画像から第２の被写体像Ｉ２にもとづいて得られる第２の拡大画像への表示が切り替えられる時の画像は，顔枠内の画像（顔画像部分）が占める割合が大きい状態となっている。アップにされている顔画像部分を閲覧者が注視している状態で次の被写体像に切り替わることとなるので，閲覧者の注意がそれてしまうことも無い。

図９から図14は，他の実施例を示すものである。

上述した実施例は，含まれる顔画像部分の割合が徐々に大きくなる第１の拡大画像から，含まれる顔画像部分の割合が徐々に小さくなる第２の拡大画像に表示されるものであるが，次に述べる実施例では，第１の拡大画像と第２の拡大画像とが合成されて表示されるものである。第１被写体像Ｉ１から切り取られる画像の大きさが小さくなるにつれて，第１の拡大画像の合成の割合が少なくなり，かつ第２の拡大画像の合成の割合が多くなるように合成され，第２の被写体像Ｉ２から切り取られる画像の大きさが大きくなるにつれて，第１の拡大画像の合成の割合が少なくなり，かつ第２の拡大画像の合成の割合が多くなるように合成される。

図９は第１の被写体像Ｉ１の一例であり，図10は第２の被写体像Ｉ２の一例である。

第１の拡大画像と第２の拡大画像との合成は，第１の被写体像Ｉ１の切り取り領域が合成タイミング領域未満となったことにより開始され，かつ第２の被写体像Ｉ２の切り取り領域が合成タイミング領域より大きくなったことにより終了する。このために，第１の被写体像Ｉ１および第２の被写体像Ｉ２のそれぞれに合成タイミング領域が設定される。合成タイミング領域は，矩形の顔枠の領域の1.5倍（高さの1.5倍）の矩形領域とされる。

図９を参照して，第１の被写体像Ｉ１に含まれる顔枠領域Ｒ１の高さをＨ11とすると，顔枠領域Ｒ１が中央に内包されるように合成タイミング領域Ｒ01が規定される。合成タイミング領域Ｒ01の高さをＨ12とすると，Ｈ12／Ｈ11＝1.5となる。

同様に，図10を参照して，第２の被写体像Ｉ２に含まれる顔枠領域Ｒ２の高さをＨ21とすると，顔枠領域Ｒ２が中央に内包されるように合成タイミング領域Ｒ02が規定される合成タイミング領域Ｒ02の高さをＨ22とすると，Ｈ22／Ｈ21＝1.5となる。

図11（Ａ）は第１被写体像Ｉ１の切り取り範囲を示し，図11（Ｂ）は第１拡大画像を示し，図11（Ｃ）は表示される画像を示している。図12（Ａ）は，第２被写体像の切り取り範囲を示し，図12（Ｂ）は第２拡大画像を示し，図12（Ｃ）は，表示される画像を示している。

図11（Ａ），（Ｂ）および（Ｃ）を参照して，切り取り範囲Ｒ1mが合成タイミング領域Ｒ01に対応するものとする。切り取り範囲Ｒ1mが拡大された第１の拡大画像Ｉ2mの前の駒の第１の拡大画像までは，切り取り範囲Ｒ11，Ｒ12などが切り取られて拡大された第１の拡大画像Ｉ21，Ｉ22が表示される画像そのものとなる。切り取り範囲Ｒ1mが合成タイミング領域Ｒ01となると，その切り取り範囲Ｒ1m内の画像が拡大された第１の拡大画像Ｉ2mと，図12（Ａ）に示すように，切り取り範囲Ｒ1mに対応した切り取り範囲Ｒ3m内の画像が拡大された第２の拡大画像Ｉ4mとが合成される。合成された画像Ｉ5mが表示画像となる。画像Ｉ5mの合成比率は，たとえば，第１の拡大画像Ｉ2mの比率：第２の拡大画像Ｉ4mの比率＝９：１とされる。

その後，第１の拡大画像と第２の拡大画像とが，第１の拡大画像の合成比率が低くなり，かつ第２の拡大画像の合成比率が高くなるような合成画像が生成され，図11（Ｃ）に示すように表示されていく。切り取り領域Ｒ1nが顔枠領域Ｒ１の領域より少し大きな領域となると，第１の拡大画像Ｉ2nと第２の拡大画像Ｉ41とが１：１の割合で合成された切り替え時の画像Ｉ5n（図12（Ｃ）のＩ61も同じ画像となる）が表示されることとなる。

つづいて，第１の拡大画像と第２の拡大画像とが第２の合成比率が高くなり，第１の拡大画像の合成比率が低くなるような合成画像Ｉ62〜Ｉ6mが生成され，図12（Ｃ）に示すように表示されていく。合成画像Ｉ6mが表示されたときの切り取り範囲Ｒ3mは，合成タイミング領域Ｒ02に対応することとなり，その後に表示される画像は，合成画像でなく第２の拡大画像そのものとなる。

図13および図14は，画像再生処理手順を示すフローチャートであり，図５および図６に対応するものである。図13および図14に示す処理において図５および図６に示す処理と同一の処理については同一符号を付して説明を省略する。

操作対象画像が第１の被写体像Ｉ１にセットされ（ステップ33），合成タイミング領域が設定される（ステップ51）。上述したように，第１の被写体像Ｉ１の切り取り範囲が合成タイミング領域未満であれば（ステップ52でＹＥＳ），上述した実施例と同様に第１の拡大画像そのものが表示される。第１の被写体像Ｉ１の切り取り範囲が合成タイミング領域以下となると（ステップ52でＮＯ），操作対象画像が第２の被写体像Ｉ２にセットされる（ステップ41）。

図９および図10を用いて説明したように，第１の被写体像Ｉ１の顔枠領域Ｒ１の高さＨ11と，合成タイミング領域Ｒ01の高さＨ12との比率と，第２の被写体像Ｉ２の顔枠領域Ｒ２の高さＨ21と，合成タイミング領域Ｒ02の高さＨ22との比率とが1.5となるように合成タイミング領域（切り取り範囲）が設定される（ステップ53）。設定された切り取り範囲が第２の被写体像Ｉ２の合成タイミング領域Ｒ02に設定される（ステップ54）。第２の被写体像Ｉ２にもとづいて得られる画像の表示切り替え前であるから，第１の被写体像Ｉ１の切り取り領域が小さくなるように切り取り範囲のフラグＦｄが０にセットされる（ステップ55）。

切り取り領域が全体領域未満であれば（ステップ44でＹＥＳ），上述したように画像表示が続けられるから画像拡大処理が行われる（ステップ45）。切り取り領域が合成タイミング領域以下であれば（ステップ56でＮＯ），第１の拡大画像と第２の拡大画像とが，第１の拡大画像の合成比率が第２の拡大画像の合成比率よりも高くなるようにして合成される（ステップ57）。切り取り領域が顔枠領域の一回り大きな大きさとなるまで，切り取り領域が小さくされながら，第１の拡大画像と第２の拡大画像との合成処理が続けられて合成画像が表示される（ステップ46，61，62）。これにより，図11（Ｃ）に示すように，第１の拡大画像と第２の拡大画像との画像の合成割合が９：１から１：１となるように，合成画像Ｉ5mから合成画像Ｉ5nが順に表示されるようになる。

図11（Ｃ）の画像Ｉ5nが表示されると，上述したように切り取り領域Ｒ1nは顔枠領域Ｒ１以下となる（ステップ58でＮＯ）。すると，図12に示すように第２の被写体像Ｉ２の全体が表示されるようする必要がある。このために，切り取り範囲が大きくなるように方向フラグＦｄが１にセットされる（ステップ59）。切り取り範囲が大きくされながら図12（Ｃ）に示すように第２の拡大画像の合成割合が徐々に大きくなるような合成画像Ｉ61〜Ｉ6mが表示される（ステップ46，61，63）。

合成画像Ｉ6mが表示され，切り取り領域が合成タイミング領域より大きくなると（ステップ56でＹＥＳ），第１の拡大画像と第２の拡大画像とが合成された画像は表示されなくなり，上述した実施例と同様に第２の拡大画像が順に表示されることとなる。

第１の被写体像Ｉ１から第２の被写体像Ｉ２への表示に切り替えにおいて，第１の被写体像から得られる第１の拡大画像の割合が徐々に少なくなり，第２の被写体像から得られる第２の拡大画像の割合が徐々に多くなるような合成画像が表示されるようになる。閲覧者は違和感をもつことなく，画像が切り替えられる様子を閲覧できる。

図15から図22は，さらに他の実施例を示すものである。この実施例は，第１の拡大画像から第２の拡大画像に切り替わるときに第１の拡大画像に含まれる目の位置と第２の拡大画像に含まれる目の位置とが一致させるものである。

図15および図16は，画像再生処理手順を示すフローチャートである。これらの図において，図５および図６に示す処理と同一の処理については同一符号を付して説明を省略する。図17は第１の拡大画像Ｉ2nの一例であり，図18（Ａ）は第２の拡大画像Ｉ71の一例であり，図18（Ｂ）は第２の被写体像Ｉ7nの一例である。

操作対象画像として第１の被写体像Ｉ１がセットされ（ステップ33），切り取り領域が顔枠領域以下となると，切り替え時の第１の拡大画像Ｉ2nの目の座標E1L=(Lx1,Ly1)，E1R=(Rx1,Ry1)が検出される（図17参照）（ステップ71）。

つづいて，操作対象画像として第２の被写体像Ｉ２がセットされ（ステップ41），第２の被写体像Ｉ２の目の座標E2L1=(Lx21,Ly21)，E2R1=(Rx21,Ry21)が検出される（図18（Ｂ）参照）（ステップ72）。検出された目の座標E1L，E1Rと切り替え時の第２の拡大画像Ｉ71における目の座標E2L2=(Lx22,Ly22)，E2R2=(Rx22,Ry22)とが一致するように（図18（Ａ）参照），第２の被写体像Ｉ２の目の座標E2L1，E2R1を参照して，第２の被写体像の切り取り範囲Ｒ8nが設定される（ステップ73）。切り取り範囲の設定は，次のようにして行われる。

第１の拡大画像Ｉ2nの目の高さ（図17参照）と第２の拡大画像Ｉ71の目の高さ（図18（Ａ）参照）とが一致するように，第２の被写体像Ｉ７から画像が切り出され，かつ第１の拡大画像Ｉ2nの幅と第１の拡大画像Ｉ2nの目の幅との比率と第２の拡大画像Ｉ71の幅と第２の拡大画像Ｉ71の目の幅との比率とが一致するように，第２の被写体像Ｉ7nの切り出し範囲Ｒ8nが決定される（図18（Ｂ）参照）。すなわち，第１の拡大画像Ｉ2nの幅をＷ１，第１の拡大画像Ｉ2nの目の幅をEW1とし，第２の拡大画像Ｉ71の幅をＷ２，第２の拡大画像Ｉ71の目の幅をEW2とすると，EW2／W2＝EW1／W2が成立するように切り出し範囲Ｒ8nが設定される。

その後は，切り取り範囲が徐々に大きくされながら，第２の拡大画像が表示されるのは上述した実施例と同じである。第２の被写体像の切り出し範囲と第２の被写体像とが平行でない場合には，表示される第２の拡大画像は回転処理が行われるのはいうまでもない。

上述した実施例においては，図７および図８に示すように，第１の拡大画像と第２の拡大画像とが合成されることなく，第１の被写体像から第２の被写体像に表示が切り替えられる場合に適用されているが，図11および図12に示すように，第１の拡大画像と第２の拡大画像とが合成されながら，第１の被写体像から第２の被写体像に表示が切り替えられるものに適用することもできる。

図19は，第１の拡大画像と第２の拡大画像とが合成されながら，第１の被写体像から第２の被写体像に表示が切り替えられるものに適用した場合の合成画像Ｉ91の一例である。合成画像Ｉ91では第１の拡大画像に含まれる目の位置（E1L，E1R）と第２の拡大画像に含まれる目の位置（E2L2，E2R2）とが一致しているので，目の数は２つとなり違和感が無い。

図20は，目の一致処理をしない場合に第１の拡大画像と第２の拡大画像とを合成して得られる合成画像Ｉ92の一例である。第１の拡大画像に含まれる目の位置（E1L，E1R）と第２の拡大画像に含まれる目の位置（E2L2，E2R2）とが一致していないので，目の数が４となり違和感があることとなる。図21および図23においてはいずれも分りやすくするために第２の拡大画像については目のみが図示されている。

図21は，さらに他の実施例を示すもので画像再生処理手順を示すフローチャートである。

この処理は，変数Ｉで示される第１の被写体像と変数Ｊで示される第２の被写体像との両方の被写体像に顔画像部分が含まれており，顔枠領域が規定される場合に上述した処理（新規イフェクト処理）が行われるものである。

変数Ｊが変数Ｉをインクレメントされたものに設定され（ステップ81），変数Ｊで指定される画像が存在するかどうかが確認される（ステップ82）。存在しない場合には（ステップ82でＮＯ），上述と同様にイフェクト無しの再生が行われる（ステップ86）。

変数Ｊで指定される画像が存在する場合には（ステップ82でＹＥＳ），変数ＩおよびＪで指定される連続する２駒の被写体像の両方に顔枠領域が存在するかどうかが確認される（ステップ83）。両方に顔枠領域が存在する場合には（ステップ83でＹＥＳ），上述した新規イフェクト再生が行われる（ステップ84）。いずれか一方でも顔枠領域が存在しない場合には（ステップ83でＮＯ），フェードイン／フェードアウトまたはワイプなとの従来のイフェクトの再生が行われる（ステップ85）。

図22から図25は，さらに他の実施例を示すものである。この実施例は，被写体像に複数の顔画像が含まれている場合についての処理である。

図22は，画像再生装置の処理手順を示すフローチャートである。図22は，図４に示す処理に対応するもので，図４に示す処理と同一の処理については同一符号を付して説明を省略する。

被写体像に含まれる顔画像の特徴量が検出される（ステップ91）。検出された特徴量を利用して，被写体像に複数の顔画像が含まれている場合に顔枠領域が確定される処理が行われる（ステップ92）。その後上述したように，複数駒の被写体像の画像再生処理が行われる。

図24は，特徴量検出処理手順（図23ステップ91の処理手順）を示すフローチャートである。

上述したように，第１の被写体像と第２の被写体像との２駒の被写体像を単位として処理が行われるため，特徴量検出処理においても２駒の被写体像を単位として処理が行われる。このために，変数Ｋが導入され，その変数Ｋが上述したように第１の被写体像を表す変数Ｉにセットされる（ステップ101）。変数Ｋが変数Ｉ＋２以上となると処理が終了する（ステップ102）。

変数Ｋが変数Ｉ＋２未満であると（ステップ102でＹＥＳ），被写体像の中に含まれている顔画像の数についての顔画像変数Ｌが導入され，この顔画像変数Ｌが０にセットされる（ステップ103）。第１の被写体像について顔画像検出処理が行われる（ステップ104）。

第１の被写体像から顔画像が検出されると（ステップ105でＹＥＳ），顔画像変数がインクレメントされ（ステップ106），検出された顔画像の中のいずれかの顔画像について顔の特徴量が算出される（ステップ107）。顔の特徴量は，顔画像を数値化したもので，目，鼻，口などの顔のパーツの大きさ，位置などを用いて公知の手法で得られる。特徴量が算出された顔画像については顔画像検出処理の対象外として再び顔画像の検出処理が行われる（ステップ104）。

顔の特徴量の算出処理が第１の被写体像に含まれるすべての顔画像について終了すると（ステップ105でＹＥＳ），第１の被写体像の顔数が顔画像変数Ｌの値とされる（ステップ109）。変数Ｋがインクレメントされ（ステップ110），第２の被写体像についても第１の被写体像と同様に，含まれている顔画像すべての特徴量が算出される。

図24は，顔枠領域確定処理手順（図22ステップ92の処理手順）を示すフローチャートである。第１の被写体像から第２の被写体像に切り替えられる時に表示される第１の拡大画像に含まれる顔画像と第２の拡大画像に含まれる顔画像とが類似するように処理が行われる。

第１の被写体像について顔枠領域確定処理を行うために変数Ｉが変数Ｋにセットされる（ステップ121）。被写体像Ｋ（第１の被写体像）の顔数がＬ０に，被写体像Ｋ＋１（第２の被写体像）の顔数がＬ１にそれぞれセットされる。また，被写体像Ｋに含まれるすべての顔画像を用いて顔枠を決定するための変数Ｐが導入され，この変数Ｐが０にセットされる（ステップ122）。変数Ｐの値が顔数Ｌ０以上となるまで顔枠領域確定処理が続けられる（ステップ123）。変数Ｐの値が顔数Ｌ０未満であると（ステップ123でＹＥＳ），被写体像Ｋ＋１に含まれるすべての顔画像を用いて顔枠を決定するための変数Ｑが導入され，この変数Ｑが０にセットされる（ステップ124）。変数Ｑの値が顔数Ｌ１以上となるまで顔枠領域確定処理が続けられる（ステップ125）。変数Ｑの値が顔数Ｌ１未満であると（ステップ125でＹＥＳ），

被写体像Ｋ（第１の被写体像）に含まれるすべての顔画像と被写体像Ｋ＋１（第２の被写体像）に含まれるすべての顔画像との組の顔画像の類似度のうち，もっとも類似する顔画像を囲む枠が被写体像Ｋおよび被写体像Ｋ＋１の顔枠と確定される。具体的には，次のようにして確定される。まず，変数Ｐで指定される被写体像Ｋ（第１の被写体像）に含まれる一の顔画像と変数Ｑで指定される被写体像Ｋ＋１（第２の被写体像）に含まれる一の顔画像との類似度Ｓpqが算出される（ステップ126）。算出された類似度Ｓpqが仮の最大類似度Ｓmax（初期値は０）と比較され，算出された類似度Ｓpqが仮の最大類似度Ｓmaxより大きければ（ステップ127でＹＥＳ），そのときの類似度Ｓpqが仮の最大類似度Ｓmaxとなるように，仮の最大類似度Ｓmaxが更新される。また，そのときの類似度Ｓpqが算出されたときに用いられた被写体像Ｋの変数Ｐで指定される顔画像を囲む枠が，被写体像Ｋの仮の顔枠とされ，被写体像Ｋ＋１の変数Ｑで指定される顔画像を囲む枠が，被写体像Ｋ＋１の仮の顔枠とされる（ステップ128）。算出された類似度Ｓpqが仮の最大類似度Ｓmax以下であると（ステップ127でＮＯ），ステップ128の処理はスキップされる。

変数Ｑがインクレメントされ（ステップ129），変数Ｐで指定される被写体像Ｋに含まれる一の顔画像とインクレメント変数Ｑで指定される被写体像Ｋ＋１に含まれる他の顔画像との類似度Ｓpqが算出される。このように，仮の最大類似度Ｓmaxおよび仮の顔枠が更新されていく。

被写体像Ｋに含まれる一の顔画像についてステップ124から129の処理が終了すると（ステップ125でＮＯ），被写体像Ｋについての変数Ｐがインクレメントされ（ステップ130），被写体像Ｋに含まれる他の顔画像について，被写体像Ｋ＋１に含まれる顔画像との類似度算出処理が行われる。

最終的に更新された仮の最大類似度Ｓmaxが最大類似度Ｓmaxとなり，その最大類似度Ｓmaxを与える顔画像の組み合わせを構成する被写体像Ｋに含まれる顔画像と被写体像Ｋ＋１に含まれる顔画像とのそれぞれ枠が顔枠として確定されることとなる。

図25は，上述のようにして確定された顔枠に含まれる顔画像が切り替え画像として利用される様子を示している。

第１の被写体像には，一つの顔画像が含まれており，第２の被写体像には複数の顔画像が含まれている。第２の被写体像に含まれている複数の顔画像のうち，第１の被写体像に含まれている顔画像ともっとも類似している顔画像は，顔枠Ｒ10nによって囲まれている顔画像であるとする。

まず，第１の被写体像から得られる第１の拡大画像Ｉ21〜Ｉ2nが表示されていく。切り替え時の第１の拡大画像Ｉ2nが表示されると，次に顔枠Ｒ10nによって囲まれている顔画像が拡大されている画像が切り替え時の第２の拡大画像Ｉ101として表示される。その後は，上述したように，顔枠Ｒ10nによって囲まれている顔画像が徐々にズームアウトにより得られる画像のようにして第２の拡大画像が表示される。最終的に第２の被写体像が表示されるようになる。切り替え前後に表示される顔が類似しているので，閲覧者は切り替え時に違和感を生じない。

図26は，変形例を示すもので，被写体像の切り替えの様子を示している。上述した実施例においては，切り替え前後に表示される顔画像は類似しているものが選ばれているが，この変形例では，第２の被写体像に含まれている複数の顔画像の中から最大の顔画像が切り替え時に表示されるようにするものである。

第１の被写体像Ｉ２には，１つの顔画像が含まれており，第２の被写体像には複数の顔画像が含まれている。上述したように，第１の被写体像Ｉ２から得られる第１の拡大画像が順に表示されていく。第２の被写体像に含まれている複数の顔画像のうち，顔枠Ｒ11nで囲まれている顔画像がもっとも大きなものであったとすると，その顔枠Ｒ11nで囲まれている顔画像がアップとなる第２の拡大画像Ｉ111が切り替え時の画像となる。その後は，上述したように，顔枠Ｒ11nによって囲まれている顔画像が徐々にズームアウトにより得られる画像のようにして第２の拡大画像が表示される。最終的に第２の被写体像が表示されるようになる。

画像再生装置の電気的構成を示すブロック図である。被写体像の一例である。被写体像の一例である。画像再生装置の処理手順を示すフローチャートである。画像再生処理手順を示すフローチャートである。画像再生処理手順を示すフローチャートである。（Ａ）は第１被写体像の切り取り範囲を示し，（Ｂ）は第１拡大画像を示している。（Ａ）は第２被写体像の切り取り範囲を示し，（Ｂ）は第２拡大画像を示している。被写体像の一例である。被写体像の一例である。（Ａ）は第１被写体像の切り取り範囲を，（Ｂ）は第１拡大画像を，（Ｃ）は表示される画像を示している。（Ａ）は第２被写体像の切り取り範囲を，（Ｂ）は第２拡大画像を，（Ｃ）は表示される画像を示している。画像再生処理手順を示すフローチャートである。画像再生処理手順を示すフローチャートである。画像再生処理手順を示すフローチャートである。画像再生処理手順を示すフローチャートである。被写体像の一例である。（Ａ）は被写体像の一部分の画像を示し，（Ｂ）は被写体像全体を示している。合成画像の一例である。合成画像の一例である。画像再生処理手順を示すフローチャートである。特徴量検出装置の処理手順を示すフローチャートである。画像再生処理手順を示すフローチャートである。顔枠領域確定処理手順を示すフローチャートである。被写体像が切り替わる様子を示している。被写体像が切り替わる様子を示している。

符号の説明

１プロセッサ
４グラフィック制御回路
５表示装置
９ハードディスク
12 CD-ROMドライブ
13 CD-ROM

Claims

第１の被写体像に含まれている顔画像部分が切り取り後の画像部分に含まれるように第１の被写体像から画像を切り取る第１の切り取り手段，
第１の被写体像の大きさとなるように，上記第１の切り取り手段によって切り取られた画像を拡大する第１の拡大手段，
上記第１の拡大手段によって拡大された切り取り画像を表示画面に表示するように表示装置を制御する第１の表示制御手段，
切り取り後の画像が前回の切り取り後の画像よりも小さくなるように上記画像切り取り処理，上記拡大処理および上記表示制御処理を，切り取り後の画像が所定の大きさとなるまで繰り返すように上記第１の切り取り手段，上記第１の拡大手段および上記第１の表示制御手段を制御する第１制御手段，
上記第１の切り取り手段による切り取り後の画像が上記所定の大きさとなったことに応じて，第２の被写体像に含まれている顔画像部分が切り取り後の画像の部分に含まれるように第２の被写体像から画像を切り取る第２の切り取り手段，
第２の被写体像の大きさとなるように，上記第２の切り取り手段によって切り取られた画像を拡大する第２の拡大手段，
上記第２の拡大手段によって拡大された切り取り画像を上記表示画面に表示するように上記表示装置を制御する第２の表示制御手段，ならびに
切り取り後の画像が前回の切り取り後の画像よりも大きくなるように上記画像切り取り処理，上記拡大処理および上記表示制御処理を繰り返すように上記第２の切り取り手段，上記第２の拡大手段および上記第２の表示制御手段を制御する第２の制御手段，
を備えた画像再生装置。
上記第１の表示制御手段および上記第２の表示制御手段が，
上記第１の拡大手段によって拡大された第１の拡大画像と，上記第２の拡大手段によって拡大された第２の拡大画像とが合成されて上記表示画面に表示されるように上記表示装置を制御するものである，
請求項１に記載の画像再生装置。
上記第１の表示制御手段は，第１の切り取り手段による切り取り画像の大きさが小さくなるにつれて，第１の拡大画像の合成の割合が少なくなり，かつ第２の拡大画像の合成の割合が多くなるように合成して表示するものであり，
上記第２の表示制御手段は，第２の切り取り手段による切り取り後の画像の大きさが大きくなるにつれて，第１の拡大画像の合成の割合が少なくなり，かつ第２の拡大画像の合成の割合が多くなるように合成して表示するものである，
請求項２に記載の画像合成装置。
上記第２の切り取り手段は，上記第１の切り取り手段による切り取り後の画像における目の相対位置と上記第２の切り取り手段における第１回目の切り取り後の画像における目の相対位置とが一致するように切り取り処理を行い，かつ切り取り後の画像と上記第２の被写体像との位置関係が徐々に一致するように切り取り画像を決定するものである，
請求項１に記載の画像合成装置。
上記第１の被写体像または上記第２の被写体像に顔画像部分が含まれていない場合に，画像再生装置の処理を停止する停止制御手段をさらに備えた請求項１に記載の画像合成装置。
第１の被写体像または第２の被写体像の少なくとも一方に複数の顔画像が含まれており，上記第１の切り取り手段および上記第２の切り取り手段は，切り取り後の顔画像の類似度が高い顔画像部分が含まれるように第１の被写体像からの画像切り取り処理および第２の被写体像からの画像切り取り処理を行うものである，
請求項１に記載の画像合成装置。
第１の切り取り手段が，第１の被写体像に含まれている顔画像部分が切り取り後の画像部分に含まれるように第１の被写体像から画像を切り取り，
第１の拡大手段が，第１の被写体像の大きさとなるように，上記第１の切り取り手段によって切り取られた画像を拡大し，
第１の表示制御手段が，上記第１の拡大手段によって拡大された切り取り画像を表示画面に表示するように表示装置を制御し，
第１の制御手段が，切り取り後の画像が前回の切り取り後の画像よりも小さくなるように上記画像切り取り処理，上記拡大処理および上記表示制御処理を，切り取り後の画像が所定の大きさとなるまで繰り返すように上記第１の切り取り手段，上記第１の拡大手段および上記第１の表示制御手段を制御し，
第２の切り取り手段が，上記第１の切り取り手段による切り取り後の画像が上記所定の大きさとなったことに応じて，第２の被写体像に含まれている顔画像部分が切り取り後の画像の部分に含まれるように第２の被写体像から画像を切り取り，
第２の拡大手段が，第２の被写体像の大きさとなるように，上記第２の切り取り手段によって切り取られた画像を拡大し，
第２の表示制御手段が，上記第２の拡大手段によって拡大された切り取り画像を上記表示画面に表示するように上記表示装置を制御し，
第２の切り取り手段が，切り取り後の画像が前回の切り取り後の画像よりも大きくなるように上記画像切り取り処理，上記拡大処理および上記表示制御処理を繰り返すように上記第２の切り取り手段，上記第２の拡大手段および上記第２の表示制御手段を制御する，
画像再生装置の制御方法。
第１の被写体像に含まれている顔画像部分が切り取り後の画像部分に含まれるように第１の被写体像から画像を切り取らせる第１の切り取り処理を行わせ，
第１の被写体像の大きさとなるように，上記第１の切り取り処理によって切り取られた画像を拡大する第１の拡大処理を行わせ，
上記第１の拡大処理によって拡大された切り取り画像を表示画面に表示するように表示装置を制御する第１の表示制御処理を行わせ，
切り取り後の画像が前回の切り取り後の画像よりも小さくなるように上記画像切り取り処理，上記拡大処理および上記表示制御処理を，切り取り後の画像が所定の大きさとなるまで繰り返させ，
上記第１の切り取り処理による切り取り後の画像が上記所定の大きさとなったことに応じて，第２の被写体像に含まれている顔画像部分が切り取り後の画像の部分に含まれるように第２の被写体像から画像を切り取る第２の切り取り処理を行わせ，
第２の被写体像の大きさとなるように，上記第２の切り取り処理によって切り取られた画像を拡大する第２の拡大処理を行わせ，
上記第２の拡大処理によって拡大された切り取り画像を上記表示画面に表示するように上記表示装置を制御する第２の表示制御処理を行わせ，
切り取り後の画像が前回の切り取り後の画像よりも大きくなるように上記画像切り取り処理，上記拡大処理および上記表示制御処理を繰り返させるように画像再生装置を制御するプログラム。