JP6126037B2 - 画像再生装置，画像再生方法および画像再生装置のコンピュータを制御するプログラム - Google Patents

Description

この発明は，画像再生装置，画像再生方法および画像再生装置のコンピュータを制御するプログラムに関する。

ライトフィールドカメラと呼ばれるカメラが実現されている。ライトフィールドカメラでは，撮像素子から得られる画像データに，受光面における光の強度分布に加えて，その光の進行方向の情報も含まれる。これにより，複数の視点，方向からの観察画像を再構築できる。ライトフィールドカメラでは，撮像後にリフォーカスをすることにより，所望の部分がぼけの無い画像を再構築できる。このために，撮影後にフォーカス位置を任意に変更するものがある（特許文献１）。また，マルチフォーカス連写画像を表示する際に，合焦位置の移動距離にもとづいて表示時間を決定するものもある（特許文献２）。

特開2013-255172号公報 特開2011-228814号公報

しかしながら，特許文献１に記載の発明においては，異なる画像を順次切り替えて表示することは考えられていない。このために，表示画像の切替時に画像平面上の合焦位置が変わると，観賞者は本能的に合焦位置を探そうとして視線が画面上をさまよってしまうために，観賞しづらい。特に，スライドショー再生などの際に。不要な視線移動を生じさせることで，再生効果の自然さを損ねてしまうことは特許文献１では全く想定していない。また，特許文献２では，画像切替時に視線を移動するための時間的猶予が与えられるだけであり，視線が画面上をさまようことに変わりはない。

この発明は，画像の切替時に視線がさまよってしまうことを未然に防止することを目的とする。

この発明による画像再生装置は，第１の画像を表示装置の表示画面に表示させる第１の画像表示制御手段，第１の画像が合焦している部分の表示画面における位置を検出する合焦位置検出手段，および第１の画像から，合焦部分を変更可能な第２の画像に切り替えて表示画面に表示させる場合に，合焦位置検出手段によって検出された，表示画面における位置の画像部分を合焦させて第２の画像を表示画面に表示させる第２の画像表示制御手段を備えていることを特徴とする。

この発明は，画像再生方法も提供している。すなわち，その方法は，第１の画像表示制御手段が，第１の画像を表示装置の表示画面に表示させ，合焦位置検出手段が，第１の画像が合焦している部分の表示画面における位置を検出し，第２の画像表示制御手段が，第１の画像から，合焦部分を変更可能な第２の画像に切り替えて表示画面に表示させる場合に，合焦位置検出手段によって検出された，表示画面における位置の画像部分を合焦させて第２の画像を上記表示画面に表示させるものである。

この発明は，画像再生装置のコンピュータを制御するプログラムも提供している。そのようなプログラムを格納した記録媒体を提供するようにしてもよい。

第２の画像表示制御手段は，たとえば，合焦位置検出手段によって検出された，表示画面における位置の画像部分を合焦させた後に，合焦させる画像部分を連続的または段階的に変更しながら，第２の画像を表示画面に表示させるものでもよい。

第２の画像において，合焦位置検出手段によって検出された，表示画面における位置に主要被写体像が存在するか非存在かを判定する主要被写体像判定手段をさらに備えてもよい。その場合，第２の画像表示制御手段は，主要被写体像判定手段によって主要被写体像が存在すると判定されたことにより，合焦位置検出手段によって検出された，表示画面における位置の画像部分を合焦させて第２の画像を表示画面に表示させるものとなろう。

第２の画像に含まれる主要被写体像を検出する主要被写体像検出手段をさらに備えてもよい。この場合，第２の表示制御手段は，たとえば，主要被写体像検出手段によって主要被写体像が非検出であったことにより，第２の画像全体を合焦させて上記表示画面に表示させるものとなる。

第１の画像は，合焦部分を変更可能でもよい。その場合，第１の表示制御手段は，たとえば，合焦部分を変更しながら，第１の画像を上記表示画面に表示させ，合焦位置検出手段は，第１の画像から第２の画像に切り替えて表示画面に表示させる直前の，第１の画像が合焦している部分の表示画面における位置を検出するものとなろう。

第２の画像に含まれる主要被写体像を検出する主要被写体像検出手段をさらに備えてもよい。この場合，第２の画像表示制御手段は，たとえば，合焦位置検出手段によって検出された，表示画面における位置の画像部分の合焦から，主要被写体像検出手段において検出された主要被写体像へ，合焦させる画像部分を連続的または段階的に変更しながら第２の画像を表示画面に表示させるものとなる。

第２の画像に含まれる主要被写体像を検出する主要被写体像検出手段をさらに備えてもよい。この場合，第２の画像表示制御手段は，たとえば，主要被写体像検出手段によって検出された主要被写体像のうち少なくとも一つの主要被写体像に合焦させ，かつ合焦位置検出手段によって検出された表示画面における位置に主要被写体像が表示されるように，第２の画像の表示位置と表示倍率との少なくとも一方を変更して表示画面に表示させるものである。

第２の画像表示制御手段は，合焦位置検出手段によって検出された，表示画面における位置に位置決めされた主要被写体像の合焦状態を維持しつつ，第２の画像全体を表示画面に表示するまで第２の画像の表示位置と表示倍率との少なくとも一方を連続的または段階的に変更するものでもよい。

第２の画像表示制御手段は，合焦位置検出手段によって検出された，表示画面における位置の合焦状態を維持しつつ，第２の画像全体が表示画面に表示するまで，第２の画像の表示位置と表示倍率との少なくとも一方を連続的または段階的に変更するものでもよい。

第１の画像および第２の画像の少なくとも一方を表す画像データを取得する撮像装置をさらに備えてもよい。

この発明によると，第１の画像が表示画面に表示され，その第１の画像が合焦している部分の表示画面における位置が検出される。第１の画像の表示から第２の画像の表示に切り替えられる場合には，検出された位置の画像部分を合焦させて第２の画像が表示される。第１の画像から第２の画像に切り替わる場合に，合焦している部分の位置が変わらないから，画像の切替時に視線がさまよってしまうことが防止される。

ライトフィールドカメラの電気的構成を示すブロック図である。 ライトフィールドデータが格納されているファイルのファイル構造である。 撮像装置の撮像範囲を示している。 注目画像と点光源の像との関係を示している。 ライトフィールドカメラの処理手順の一部を示すフローチャートである。 ライトフィールドカメラの処理手順の一部を示すフローチャートである。 ライトフィールドカメラの処理手順の一部を示すフローチャートである。 第１の画像の一例である。 第１の画像の一例である。 第２の画像の一例である。 第２の画像の一例である。 ライトフィールドカメラの処理手順の一部を示すフローチャートである。 第２の画像の一例である。 ライトフィールドカメラの処理手順の一部を示すフローチャートである。 第２の画像の一例である。 第２の画像の一例である。 ライトフィールドカメラの処理手順の一部を示すフローチャートである。 第２の画像の一例である。

図１は，この発明の実施例を示すもので，ライトフィールドカメラ（画像再生装置）１の電気的構成を示すブロック図である。

ライトフィールドカメラ１の全体の動作は，ＣＰＵ10によって統括される。

ライトフィールドカメラ１には，指令等を出力するスイッチ，ボタン，操作機器等のユーザインターフェイス13が設けられている。ユーザインターフェイス13から出力された指令等は，ＣＰＵ10に与えられる。

ライトフィールドカメラ１には，撮像装置４が含まれている。この撮像装置４には，多数の光電変換素子を含む撮像素子，メインレンズおよびメインレンズと撮像素子との間に設けられたマイクロレンズアレイ（いずれも図示略）が含まれている。マイクロレンズアレイには，多数のマイクロレンズが形成されており，一つのマイクロレンズに対応して複数の光電変換素子が対応付けられている。このような撮像装置４を用いて被写体を撮像することにより，複数の視点位置から被写体を撮像でき，ライトフィールドデータ（多視点画像データ）が得られる。ライトフィールドデータを用いて，リフォーカス処理が行われることにより，所望の部分が合焦した画像（所望の画像部分がぼけていないような画像）を生成できる。すなわち，撮像範囲の中に存在する所望の被写体にピントを合わせて撮像した場合に得られる画像（ピント面に相当する画像）を，ライトフィールドデータを用いて撮像後に生成できるようになる。

図３および図４を参照して，合焦の意味を説明する。図３に示すように，撮像装置４の撮影範囲内に，理想的な点光源16が被写体として含まれている状態を想定する。撮像装置４において，点光源16からの入射光は光学系（図示略）を介して結像点にて結像するが，その結像点が撮像装置４の撮像素子の撮像面上にあるとき，撮像面上における点光源16の像の直径は実質的にゼロであって撮像素子の許容錯乱円径よりも小さい。一方，その結像点が撮像素子の撮像面上にない場合，撮像面上において点光源16の光学像はぼけ，結果，撮像面上における点光源16の像の直径が許容錯乱円径よりも大きくなりうる。撮像面上における点光源16の像の直径が許容錯乱円径以下であるとき，点光源16としての被写体は撮像面上で合焦しており，撮像面上における点光源16の像の直径が許容錯乱円径よりも大きいとき，点光源16としての被写体は撮像面上で合焦していないということとなる。

同様に考えて，図４に示すように，注目画像17に点光源16の像16Ａが被写体の像として含まれている場合において，像16Ａの直径が許容錯乱円径に相当する基準径以下であるとき，注目画像17において点光源16としての被写体は合焦しており，像16Ａの直径が基準径よりも大きいとき，注目画像17において点光源16としての被写体は合焦していない。ある被写体が注目画像17の被写界深度内に位置している場合（ある被写体の被写体距離が注目画像17の被写界深度に属している場合），その被写体は注目画像17上において合焦被写体（合焦している画像部分）である。ある被写体が注目画像17の被写界深度内に位置していない場合（ある被写体の被写体距離が注目画像17の被写界深度に属していない場合），その被写体は注目画像17上において非合焦被写体（合焦しておらず，ぼけている画像部分）である。

図１に戻って，撮像装置４から出力されたライトフィールドデータは，メモリ制御装置７の制御のもとに，メモリカードのような外部メモリ（記録媒体）５に記録される。ライトフィールドデータからは，画素ごとに位相差を表すデータが得られることとなるから，その位相差を表すデータから，被写体までの距離を算出できる。

図１に示すライトフィールドカメラ１は再生機能も有している。ユーザインターフェイス13によって再生モードが指定され，かつ再生する画像が指定されると，その指定された画像に対応するライトフィールドデータが外部メモリ５から読み取られる。読み取られたライトフィールドデータは，リフォーカス演算装置11においてリフォーカス処理される。リフォーカス処理により，あらかじめ定められた距離に存在する被写体にピントを合わせた画像を表わす画像データが得られる。リフォーカス処理により得られた画像データによって表わされる画像が，グラフィックプロセッサ８により，表示装置９の表示画面に表示される。もちろん，あらかじめ定められた距離に存在する被写体にピントを表わせた画像が表示されるのではなく，その他の被写体にピントを合わせた画像が表示されるようにしてもよいのはいうまでもない。また，画像解析装置６によって，画像の中に含まれる特定の被写体（人物，顔，動物，建物など）を検出し，検出された特定の被写体にピントを合わせた画像が表示されるようにしてもよい。さらに，ライトフィールドデータは，所望の部分を合焦させることができ，合焦させる部分を変更することもできる。

また，ライトフィールドカメラ１には，インターネットなどと接続するためのネットワークインターフェイス２，データを一時的に記憶するＲＡＭ３，メモリ14，タイマ15なども含まれている。後述する動作を制御するプログラムが外部メモリ５に格納されている場合には，そのプログラムが外部メモリ５から読み出され，ライトフィールドカメラ１にインストールされるようにしてもよい。また，そのようなプログラムは，ネットワークを介してライトフィールドカメラ１において受信し，ライトフィールドカメラ１にインストールされるようにしてもよい。もっとも，カメラ機能を持たない再生装置に後述する動作を行わせるようにしてもよい。

図２は，外部メモリ５に記録されたファイルのファイル構造（データ構造）の一例である。

ファイルには，ヘッダ領域および画像データ記録領域が含まれている。ヘッダ領域には，ファイルを管理するデータが記録される。画像データ記録領域には，上述したライトフィールドデータが記録される。

図５から図７は，ライトフィールドカメラ１の再生処理手順を示すフローチャートである。

外部メモリ５には，複数の異なる被写体を表す複数のライトフィールド画像（ライトフィールドデータによって表される画像をいい，撮像後に所望の部分を合焦させることができる，ピントを合わせることができる，ぼけの無い部分を作ることができる画像である。）を表すライトフィールドデータが記憶されている。このライトフィールドデータは，撮像装置４によって取得されたものである。

ユーザインターフェイス13に含まれるモードスイッチにより再生モードが設定され，所望の再生画像が選択されると，その選択された再生画像を表すライトフィールドデータ（第１のライトフィールドデータ）がメモリ制御装置７によって外部メモリ５から読み取られる（ステップ21）。読み取られた第１のライトフィールドデータによって表される第１の画像のうち，合焦させる部分が決定される（ステップ22）。合焦させる部分は，あらかじめ定められた部分でもよいし，画像解析装置６によって第１の画像に含まれる主要被写体を検出し，検出された主要被写体に合焦させるようにしてもよい。複数の主要被写体が検出された場合には，すべての主要被写体が合焦させるようにしてもよいし，いずれかの一の主要被写体に合焦させるようにしてもよい。また，顔検出，人物検出などにより検出された顔，人物などに合焦させるようにしてもよい。

決定された部分が合焦するように，リフォーカス演算装置11によって，第１のライトフィールドデータから第１の画像が生成される（ステップ23）。生成された第１の画像が表示装置９の表示画面に表示される（ステップ24）。

図８は，表示画面40に表示された第１の画像41Ａ（第１の画像）の一例である。

第１の画像40Ａには，主要被写体像42，43および44が含まれている。第１の画像40Ａでは，主要被写体像42が合焦しており（ぼけていない），主要被写体像43および44はぼけている。合焦していることを示すために主要被写体像42は実線で示されており，ぼけていることを示すために主要被写体像43および44は波線で示されている。図８に示す第１の画像41Ａにおいては，第１の画像41Ａに含まれている主要被写体像42，43および44が検出され，検出された主要被写体像42，43および44のうち，最初に，もっとも遠方に存在する被写体像42が合焦するように定められている。もちろん，最初に，その他の主要被写体像43または44が合焦するように規定されていてもよいし，すべての主要被写体像42，43および44が最初に合焦するように定められていてもよい。また，中央または端部に存在する主要被写体像が最初に合焦するように定められていてもよい。

第１のライトフィールドデータによって表される画像は，合焦部分を変更できる。このために，例えば，タッチパネル12を用いて，所望の部分を指定することにより，合焦部分の変更指令をライトフィールドカメラ１に与えることができる。タッチパネル12以外の他の方法により合焦部分の変更指令をライトフィールドカメラ１に与えてもよい。また，時間の経過とともに合焦部分が自動的に変わってもよい。リフォーカス演算装置11により合焦部分が変えられた画像が生成されるのはいうまでもない。ここでは，図９の第１の画像41Ｂ（第１の画像）に示すように，主要被写体像43が合焦するようにユーザによって指定されたものとする。表示画面40における位置50の画像部分が合焦していることとなる。図９においても主要被写体像43が合焦していることを示すために主要被写体像43が実線で示されており，主要被写体像42および44がぼけていることを示すために主要被写体像42および44は波線で示されている。

合焦部分の変更指令があると（ステップ25でＹＥＳ），その変更指令にもとづいて指定された部分が合焦部分と決定され（ステップ22），その部分が合焦するような第１の画像41Ｂがリフォーカス演算装置11により生成される。図９に示すように，合焦部分が主要被写体像42から43に変更された第１の画像41Ｂがグラフィックプロセッサ（第１の画像表示制御手段）８の制御のもとに表示画面40に表示される（ステップ24）。上述のように時間の経過ともに合焦部分が変わる場合には，一定時間の経過により合焦部分の変更指令が，ライトフィールドカメラ１において生成され，その変更指令に応じて合焦部分が変更されたライトフィールド画像が表示画面40に表示されるようになる。

合焦部分の変更指令が無く（ステップ25でＮＯ），かつ画像の切替指令が与えられなければ（ステップ26でＮＯ），合焦部分が変更することなく，ライトフィールド画像が表示画面40に表示されつづける。

ユーザインターフェイス13から画像の切替指令が与えられると（ステップ26でＹＥＳ），外部メモリ５から第２のライトフィールドデータが読み取られる（ステップ27）。また，第１の画像41Ｂが合焦している部分（主要被写体像43）の表示画面40における位置50がＣＰＵ10（合焦位置検出手段）によって検出される（ステップ28）。位置50は，ある点の位置だけでなく，領域をもっていてもよい。また，第１の画像41Ｂにおいて合焦部分が複数存在する場合には，主要な合焦部分（最大面積の合焦部分，顔，人物などの画像を含む合焦部分）にもとづいて位置50が決定されればよい。

つづいて，上述のようにして検出された表示画面40における位置50の画像部分を合焦させた第２の画像が第２のライトフィールドデータから生成される（ステップ29）。切替前後の位置50は，完全に一致していなくとも，一部が一致していればよい。また，第１の画像41Ｂにおいて合焦部分として決定された位置50に存在する被写体までの距離と所定距離以内にある被写体を表わす画像部分を第２の画像51Ａにおける位置50としてもよい。図10に示すように，第１の画像41Ｂから切り替えられた場合に，第１の画像41Ｂにおいて合焦していた画像部分の表示画面40における位置50が合焦する第２の画像51Ａが表示画面40に表示される（ステップ30）。第２の画像51Ａには，主要被写体像52および53が含まれている。主要被写体像52は合焦しており，合焦していることを示すために実線で表されている。これに対して主要被写体像53はぼけており，ぼけていることを示すために波線で示されている。第１の画像41Ｂから，合焦部分を変更可能な第２の画像51Ａに切り替えて表示画面40に表示させる場合に，第１の画像41Ｂから第２の画像51Ａに切り替えて表示画面に表示させる直前の，第１の画像の合焦している部分の表示画面40における位置50を検出し，検出された表示画面40における位置50の画像部分52を合焦させて第２の画像51Ａが表示させられることとなる。

第２の画像51Ａも合焦部分を変更することができる。合焦部分の変更指令があると（ステップ31でＹＥＳ），変更前の合焦部分から変更後の合焦部分まで段階的または連続的に合焦部分が移動する。このために，変更前の画像部分から変更後の合焦部分までの距離が複数に分けられる（ステップ32）。

図10において，変更前の合焦部分は主要被写体像52であり，変更指令が与えられた変更後の合焦部分は主要被写体像53であるとする。すると，変更前の合焦部分52から変更後の合焦部分53までの距離が複数に分けられ，合焦位置50Ａ，50Ｂおよび50Ｃが見つけられる。合焦位置が50，50Ａ，50Ｂおよび50Ｃに連続的に（段階的に）移動する。

まず，合焦位置が位置50から位置50Ａに移動させられ（ステップ33），その位置50Ａの画像部分を合焦させた第２の画像が第２のライトフィールドデータから生成される（ステップ34）。位置50Ａの画像部分が合焦した第２の画像が表示画面40に表示される（ステップ35）。指定された部分が合焦していなければ（ステップ36でＮＯ），（合焦しているか非合焦かは，たとえば，画像部分の空間周波数にもとづいて判断することもできる。たとえば，空間周波数が高ければ合焦しており，空間周波数が低ければ非合焦である。）再びステップ33から35までの処理が繰り返される。同様に，位置50Ｂの画像部分が合焦した第２の画像が表示画面40に表示され，その後，図11に示すように，指定された部分である位置50Ｃの画像部分（主要被写体像53）が合焦した第２の画像が表示画面40に表示される。このようにして指定された部分53が合焦するようになる（ステップ36でＹＥＳ）。図11においても，主要被写体像53が合焦していることを示すために主要被写体像53は実線で示されており，主要被写体像52がぼけていることを示すために主要被写体像52は破線で示されている。

このようにして，表示画面40における位置50の画像部分52を合焦させた後に，合焦させた画像部分を連続的にまたは段階的に変更しながら第２の画像51Ａが表示画面40に表示されるようになる。

図12および図13は，変形例を示すもので，第２の画像において主要被写体像を検出するものである。図12は，ライトフィールドカメラ１に再生モードが設定された場合の処理手順の一部を示すフローチャートであり，図６の処理に対応している。図12において，図６に示す処理と同一の処理については同一符号が付されている。図13は，表示画面40に表示される第２の画像の一例である。

上述のように，第１の画像から第２の画像への切替指令があると（図５ステップ26），外部メモリ５から第２のライトフィールドデータが読み取られる（ステップ27）。また，第１の画像が合焦している41Ｂ（図９参照）の表示画面40における位置が検出される（ステップ28）。

つづいて，画像解析装置６（主要被写体像検出手段）によって，第２の画像から主要被写体像を検出する処理が行われる（ステップ61）。ＣＰＵ10によって第２の画像に主要被写体像が存在するか非存在かの判定が行われる（ステップ62）。

第２の画像から主要被写体像が検出されなかった場合（非検出の場合）には（ステップ62でＮＯ），全体を合焦させた第２の画像がリフォーカス演算装置11において生成される（ステップ64）。グラフィックプロセッサ８によって，全体が合焦している第２の画像が表示画面40に表示させられる（ステップ30）。

第２の画像から主要被写体像が検出されると（ステップ62でＹＥＳ），さらに，第１の画像が合焦している部分の表示画面40における位置50に，主要被写体像が存在するか非存在かがＣＰＵ10（主要被写体像判定手段）によって判定される（ステップ63）。図10に示したように，その位置50に主要被写体像（図10の場合，主要被写体像52）が存在する場合には（ステップ63でＹＥＳ），その位置50に存在する主要被写体像の画像部分を合焦させた第２の画像がリフォーカス演算装置11において生成される（ステップ29）。このようにして生成された第２のライトフォーカス画像51Ａ（図10参照）が表示画面40に表示される（ステップ30）。図13の第２の画像51Ｃに示すように，その位置50に主要被写体像が存在しない場合には（ステップ63でＮＯ），検出された主要被写体像53が合焦するような第２の画像がリフォーカス演算装置11によって生成される（ステップ65）。生成された第２の画像が表示画面40に表示される（ステップ30）。

上述した実施例では，検出された位置50に主要被写体像が存在しない場合には，検出された主要被写体像が合焦するような第２の画像が生成されているが，その位置に主要被写体像が存在するかどうかにかかわらず，その位置50の画像部分から，図10に示すように第２の画像に含まれる主要被写体像53のように，検出された主要被写体像まで合焦させる画像部分を連続的または段階的に変更しながら，第２の画像を表示させるようにしてもよい。連続的または段階的に変更させるには図７のステップ32から35までの処理を繰り返せばよいのはいうまでもない。

図14から図16は，さらに他の変形例を示している。図14は，ライトフィールドカメラ１の再生モードの処理手順の一部を示すフローチャートであり，図６の処理に対応している。図14において，図６の処理と同一の処理については同一符号が付されている。図15および図16は，第２の画像の一例である。

上述のように，第２のライトフィールドデータが外部メモリ５から読み取られ（ステップ27），第１の画像が合焦している部分の表示画面40における位置50が検出される（ステップ28）。第２の画像から主要被写体像が検出され（ステップ71），検出された主要被写体像が，検出された表示画面40における位置50となるように，表示画面40における第２の画像の表示位置が位置決めされる。そのようにして位置決めされた第２の画像が表示画面40に表示される（ステップ72）。図15に示すように，第２の画像51Ｅには，主要被写体像52および53が含まれており，それらの主要被写体像52および53が検出されたものとする。すると，主要被写体像53が検出された位置50に位置決めされる。表示画面40には，第２の画像51Ｅの一部が表示され（第２の画像51Ｆ），主要被写体像52が存在したとしても主要被写体像52は表示画面40に表示されない。検出された位置50に表示される被写体像は，主要被写体像53ではなく，主要被写体像52でもよい。第２の画像から検出された主要被写体像が複数存在する場合には，検出された位置50に表示される主要被写体像は，相対的に最も大きい主要被写体像，中心に近い主要被写体像，端に近い主要被写体像，顔画像または人物像の被写体像など，どの主要被写体像でもよい。

その後，主要被写体像53を合焦させつつ，第２の画像51Ｅが，表示画面40の全体に表示されるまで連続的または段階的に移動させられる（ステップ74）。図16に示すように，主要被写体像53が合焦した第２の画像51Ｅが表示画面40の全体に表示されるようになる。

図17および図18は，さらに他の変形例を示している。図17は，ライトフィールドカメラ１の再生モードの処理手順の一部を示すフローチャートであり，図６および図14に対応している。図17において，図６または図14に示す処理と同一の処理については同一符号を付して説明を省略する。図18は，第２の画像の一例である。

図14に示す処理は，上述したように検出された位置に存在する主要被写体像53が合焦している状態を維持しながら第２の画像51Ｅの全体が表示されるように第２の画像51Ｅがシフトされている。これに対して，図17に示す処理では，図15に示すように，検出された位置50に，検出された主要被写体像53が位置決めされるように第２の画像51Ｅが位置決めされ，第２の画像51Ｅ全体が表示画面40に表示されるようにシフトされる際には，その検出された位置50は動かずに，その検出された位置50にある画像部分が合焦する第２の画像の全体が表示されるように第２の画像がシフトされる（ステップ73Ａ）。図18に示すように，第２の画像51Ｅの全体が表示された場合にも，位置50の画像部分である主要被写体像52が合焦する。このように，その位置50の合焦状態を維持しつつ，第２の画像51Ｅ全体が表示画面40に表示されるまで，第２の画像の表示位置を連続的または段階的に変更するようにしてもよい。

上述した実施例では，第２の画像51Ｅの表示位置を連続的または段階的に変更しているが，第２の画像51Ｅの表示位置を変更する代わりに，第２の画像51の表示倍率を連続的または段階的に変更することにより，上述したように，検出された位置50に存在する主要被写体像53の合焦状態を維持しつつ表示画面40の全体に第２の画像51Ｅが表示されるようにしてもよい。また，位置50に存在する画像部分が合焦するように第２の画像51Ｅの表示倍率を変更するようにしてもよい。

上述した実施例においては，第２の画像の前に表示されている第１の画像は，所望の部分を合焦させることができるものであるが，第２の画像の前に表示されている画像（第１の画像）は必ずしも，所望の部分を合焦できなくともよい。そのような第１の画像であっても，画像が切り替わって第２の画像が表示される場合には，第１の画像で合焦している部分の表示画面における位置が検出され，その位置に応じて上述した処理を行うことができる。

１ ライトフィールドカメラ（画像再生装置）
４ 撮像装置
６ 画像解析装置（主要被写体像検出手段）
８ グラフィックプロセッサ（第１の画像表示制御手段，第２の画像表示制御手段）
10 ＣＰＵ（合焦位置検出手段，主要被写体像判定手段）

Claims (12)

1. 第１の画像を表示装置の表示画面に表示させる第１の画像表示制御手段，
   上記第１の画像が合焦している部分の上記表示画面における位置を検出する合焦位置検出手段，および
   上記第１の画像から，合焦部分を変更可能な第２の画像に切り替えて上記表示画面に表示させる場合に，上記合焦位置検出手段によって検出された，上記表示画面における位置の画像部分を合焦させて上記第２の画像を上記表示画面に表示させる第２の画像表示制御手段，
   を備えた画像再生装置。
2. 上記第２の画像表示制御手段は，
   上記合焦位置検出手段によって検出された，上記表示画面における位置の画像部分を合焦させた後に，合焦させる画像部分を連続的または段階的に変更しながら，上記第２の画像を上記表示画面に表示させる，
   請求項１に記載の画像再生装置。
3. 上記第２の画像において，上記合焦位置検出手段によって検出された，上記表示画面における位置に主要被写体像が存在するか非存在かを判定する主要被写体像判定手段をさらに備え，
   上記第２の画像表示制御手段は，
   上記主要被写体像判定手段によって主要被写体像が存在すると判定されたことにより，上記合焦位置検出手段によって検出された，上記表示画面における位置の画像部分を合焦させて上記第２の画像を上記表示画面に表示させる，
   請求項１または２に記載の画像再生装置。
4. 上記第２の画像に含まれる主要被写体像を検出する主要被写体像検出手段をさらに備え，
   上記第２の画像表示制御手段は，
   上記主要被写体像検出手段によって主要被写体像が非検出であったことにより，上記第２の画像全体を合焦させて上記表示画面に表示させる，
   請求項１に記載の画像再生装置。
5. 上記第１の画像は，合焦部分を変更可能であり，
   上記第１の画像表示制御手段は，
   合焦部分を変更しながら，上記第１の画像を上記表示画面に表示させ，
   上記合焦位置検出手段は，
   上記第１の画像から上記第２の画像に切り替えて上記表示画面に表示させる直前の，上記第１の画像が合焦している部分の上記表示画面における位置を検出する，
   請求項１から４のうち，いずれか一項に記載の画像再生装置。
6. 上記第２の画像に含まれる主要被写体像を検出する主要被写体像検出手段をさらに備え，
   上記第２の画像表示制御手段は，
   上記合焦位置検出手段によって検出された，上記表示画面における位置の画像部分の合焦から，上記主要被写体像検出手段において検出された主要被写体像へ，合焦させる画像部分を連続的または段階的に変更しながら上記第２の画像を上記表示画面に表示させる，
   請求項１から５のうち，いずれか一項に記載の画像再生装置。
7. 上記第２の画像に含まれる主要被写体像を検出する主要被写体像検出手段をさらに備え，
   上記第２の画像表示制御手段は，
   上記主要被写体像検出手段によって検出された主要被写体像のうち少なくとも一つの主要被写体像に合焦させ，かつ上記合焦位置検出手段によって検出された上記表示画面における位置に上記主要被写体像が表示されるように，上記第２の画像の表示位置と表示倍率との少なくとも一方を変更して上記表示画面に表示させる，
   請求項１から６のうち，いずれか一項に記載の画像再生装置。
8. 上記第２の画像表示制御手段は，
   上記合焦位置検出手段によって検出された，上記表示画面における位置に位置決めされた主要被写体像の合焦状態を維持しつつ，上記第２の画像全体を上記表示画面に表示するまで上記第２の画像の表示位置と表示倍率との少なくとも一方を連続的または段階的に変更する，
   請求項７に記載の画像再生装置。
9. 上記第２の画像表示制御手段は，
   上記合焦位置検出手段によって検出された，上記表示画面における位置の合焦状態を維持しつつ，上記第２の画像全体が上記表示画面に表示するまで，上記第２の画像の表示位置と表示倍率との少なくとも一方を連続的または段階的に変更する，
   請求項７に記載の画像再生装置。
10. 上記第１の画像および上記第２の画像の少なくとも一方を表す画像データを取得する撮像装置，
    をさらに備えた請求項１から９のうち，いずれか一項に記載の画像再生装置。
11. 第１の画像表示制御手段が，第１の画像を表示装置の表示画面に表示させ，
    合焦位置検出手段が，上記第１の画像が合焦している部分の上記表示画面における位置を検出し，
    第２の画像表示制御手段が，上記第１の画像から，合焦部分を変更可能な第２の画像に切り替えて上記表示画面に表示させる場合に，上記合焦位置検出手段によって検出された，上記表示画面における位置の画像部分を合焦させて上記第２の画像を上記表示画面に表示させる，
    画像再生方法。
12. 画像再生装置のコンピュータを制御するコンピュータ読み取り可能なプログラムであって，
    第１の画像を表示装置の表示画面に表示させ，
    上記第１の画像が合焦している部分の上記表示画面における位置を検出させ，
    上記第１の画像から，合焦部分を変更可能な第２の画像に切り替えて上記表示画面に表示させる場合に，検出された，上記表示画面における位置の画像部分を合焦させて上記第２の画像を上記表示画面に表示させるように画像再生装置のコンピュータを制御するプログラム。

Images