JP6444198B2 - 画像処理装置及び画像処理方法 - Google Patents

Description

本発明は、フォーカスが合っている位置を撮影後に変更可能な画像データを処理するための画像処理装置及び画像処理方法に関するものである。

近年、ライトフィールド（以下、「ＬＦ」と略記する）カメラと呼ばれる撮像装置が実用化されている。この撮像装置は、イメージセンサ上にマイクロレンズアレイが配置され、撮像装置に入射した光をマイクロレンズによって分割することにより、複数の方向から到来する光線の強度を示す光線情報及び入射方向を示す方向情報を含むＬＦ画像データを生成する。特許文献１には、光線情報及び方向情報に基づく演算処理をすることにより、ＬＦ画像を閲覧する人にフォーカスが合ったリフォーカス画像を表示する方法が開示されている。

特開２０１４−１３５６８０号公報

従来の方法を用いることにより、例えばＳＮＳ（Social Network Service）において表示されているＬＦ画像に、画像を閲覧するユーザが写っている場合、ユーザにフォーカスが合ったリフォーカス画像を表示することができる。しかしながら、このような場合、画像を閲覧するユーザ以外の人にフォーカスが合っていない状態になってしまう。したがって、例えば、ユーザが友達と写っている写真の場合、ユーザとしては、自分自身だけではなく、親しい友達にもフォーカスが合った状態の画像を閲覧したいにもかかわらず、友達にフォーカスが合っていない状態の画像が表示されてしまう場合があるという問題があった。

そこで、本発明は上述した点に鑑みてなされたものであり、画像を閲覧するユーザと、当該ユーザ以外の被写体とにフォーカスが合った画像を閲覧できるようにすることを目的とする。

上記の課題を解決するために、本発明の画像処理装置は、フォーカスが合った奥行き方向の位置であるフォーカス位置を撮影後に変更可能な画像を取得する画像取得手段と、前記画像を閲覧するユーザに対応する識別情報を取得する情報取得手段と、前記画像において前記識別情報に対応するユーザの画像が含まれている第１領域を特定する特定手段と、前記第１領域における前記フォーカス位置が前記ユーザの奥行き方向の位置である第１位置に設定され、かつ前記第１領域以外の第２領域におけるフォーカス位置が前記第１位置とは異なる第２位置に設定されたリフォーカス画像データを生成する生成手段と、前記生成手段により生成されたリフォーカス画像データを出力する出力手段と、を有することを特徴とする。

本発明によれば、画像を閲覧するユーザと、当該ユーザ以外の被写体とにフォーカスが合った画像を閲覧できるという効果を奏する。

ＬＦカメラとしての撮像装置１０の構成の模式図である。 マイクロレンズアレイ１２とイメージセンサ１３の各画素との位置関係を示す模式図である。 マイクロレンズアレイ１２のマイクロレンズへの入射光線の進行方向と、イメージセンサ１３の記録領域との関係を説明するための模式図である。 イメージセンサ１３に入射する光線の情報について説明するための模式図である。 リフォーカス演算処理を説明するための模式図である。 マイクロレンズへの入射角の違いと、イメージセンサ１３の記録領域との関係を説明する模式図である。 被写界深度の調整処理を説明するための模式図である。 第１の実施形態に係る情報共有システム１の構成を示す図である。 第１の実施形態に係る画像処理装置１００の構成を示す図である。 ユーザ端末３００の構成を示す図である。 ユーザ端末３００及び画像処理装置１００の動作手順を示すフローチャートである。 ユーザ端末３００において再生される画像の例を示す図である。 第２の実施形態に係るユーザ端末４００の構成を示す図である。 第２の実施形態に係るユーザ端末３００における動作手順を示すフローチャートである。

［ＬＦカメラの概要］
本実施形態に係る画像処理装置の説明に先立ち、ＬＦカメラの概要について説明する。
図１は、ＬＦカメラとしての撮像装置１０の構成の模式図である。撮像装置１０は、撮像レンズ１１と、マイクロレンズアレイ１２と、イメージセンサ１３とを有する。被写体からの光は、撮像光学系を構成する撮像レンズ１１及びマイクロレンズアレイ１２を通過した後に、イメージセンサ１３に入射する。イメージセンサ１３は、入射した光を電気信号に変換して、変換後の電気信号を出力する。撮像装置１０は、イメージセンサ１３が出力する電気信号に基づいて、フォーカスが合った位置であるフォーカス位置を変更可能なＬＦ画像データを生成する。

撮像レンズ１１は、被写体からの光をマイクロレンズアレイ１２に投射する。撮像レンズ１１は、撮像装置１０の本体部に装着して使用される、交換可能なレンズである。撮像装置１０のユーザは、撮像レンズ１１のズーム操作により撮像倍率を変更することができる。

マイクロレンズアレイ１２は、格子状に配列された複数の微小レンズ（マイクロレンズ）を有しており、撮像レンズ１１とイメージセンサ１３の間に位置する。マイクロレンズアレイ１２が有する各マイクロレンズは、撮像レンズ１１からの入射光を分割し、分割後の複数の光をイメージセンサ１３の複数の画素に入射する。

イメージセンサ１３は、複数の画素を有する撮像素子であり、各画素において光の強度を検出する。被写体からの光を受光するイメージセンサ１３の各画素には、各画素に対応するマイクロレンズによって分割された、夫々異なる方向の光が入射する。

図２は、マイクロレンズアレイ１２とイメージセンサ１３の各画素との位置関係を示す模式図である。マイクロレンズアレイ１２の各マイクロレンズは、イメージセンサ１３における複数の画素に対応するように配置される。イメージセンサ１３の各画素には、各画素に対応するマイクロレンズが分割した光が入射し、イメージセンサ１３は、画素ごとに異なる方向からの光の強度を検出する。撮像装置１０は、イメージセンサ１３の各画素において検出された光の強度を示す光線情報を生成する。

マイクロレンズを介してイメージセンサ１３の各画素に入射した光線の入射方向は、各マイクロレンズに対応する複数の画素の配置によって決まる。したがって、入射方向は、各マイクロレンズとイメージセンサ１３の各画素との位置関係に応じて特定され、撮像装置１０は、特定した入射方向を示す方向情報として、例えば、画素を特定するための座標情報を生成する。

被写体からの光は、被写体と撮像レンズ１１との間の距離に応じて定まる方向でマイクロレンズアレイ１２に入射する。そして、被写体からの光は、被写体と撮像レンズ１１との間の距離に応じて定まる複数のマイクロレンズを通過して、イメージセンサ１３に入射する。その結果、マイクロレンズアレイ１２のレンズ頂点面からの距離が異なる面にフォーカスが合った像は、各マイクロレンズの光軸からの偏心量に対応した位置にあるイメージセンサ１３の複数の画素の各出力を合成することで得られる。したがって、撮像装置１０は、光線情報と方向情報に基づいて光線の並べ替えと計算処理（以下、再構築という）を行うことにより、任意のフォーカス位置に対応する画像データを生成できる。ここで、フォーカス位置は、フォーカスが合った位置であり、ユーザは、撮影後に、ＬＦ画像データに基づいて、所望のフォーカス位置に対応するリフォーカス画像データを得ることができる。

図３は、マイクロレンズアレイ１２のマイクロレンズへの入射光線の進行方向と、イメージセンサ１３の記録領域との関係を説明するための模式図である。
撮像レンズ１１による被写体の像は、マイクロレンズアレイ１２上に結像し、マイクロレンズアレイ１２への入射光線はマイクロレンズアレイ１２を介してイメージセンサ１３で受光される。このとき、図３に示すように、マイクロレンズアレイ１２への入射光線は、フォーカス位置ごとに定まる進行方向に応じてイメージセンサ１３上の異なる位置で受光され、被写体の像がマイクロレンズごとに結像する。

図４は、イメージセンサ１３に入射する光線の情報について説明するための模式図である。
イメージセンサ１３で受光される光線について図４を用いて説明する。ここで、撮像レンズ１１のレンズ面上における直交座標系を（ｕ，ｖ）とし、イメージセンサ１３の撮像面上における直交座標系（ｘ，ｙ）とする。さらに、撮像レンズ１１のレンズ面とイメージセンサ１３の撮像面との距離をＦとする。この場合、撮像レンズ１１およびイメージセンサ１３を通る光線の強度は、図中で示す４次元関数Ｌ（ｕ，ｖ，ｘ，ｙ）で表すことができる。各マイクロレンズに入射する光線は、進行方向に応じて異なる画素に入射されることから、イメージセンサ１３では、光線の位置情報に加えて、光線の進行方向を保持する上記の４次元関数Ｌ（ｕ，ｖ，ｘ，ｙ）で表される光線の強度に対応する情報が記録される。

次に、撮像後のリフォーカス演算処理について説明する。リフォーカス演算処理は、異なるフォーカス位置に対応する画素で受光した光の強度に基づいて、画像を再構築することによりリフォーカス画像データを生成する処理である。本明細書において、リフォーカス画像においてフォーカスが合っている位置の面を、リフォーカス面という。

図５は、リフォーカス演算処理を説明するための模式図である。
図５に示すように、撮像レンズ面、撮像面、リフォーカス面の位置関係を設定した場合、リフォーカス面上の直交座標系（ｓ，ｔ）における光線の強度Ｌ’（ｕ，ｖ，ｓ，ｔ）は、以下の（１）式のように表される。
また、リフォーカス面で得られるイメージＥ’（ｓ，ｔ）は、上記強度Ｌ’（ｕ，ｖ，ｓ，ｔ）をレンズ口径に関して積分したものとなるので、以下の（２）式のように表される。
したがって、この（２）式に基づいてリフォーカス演算処理を行うことで、任意のフォーカス位置におけるリフォーカス面に対応する画像データを再構築することができる。

続いて、撮像後の被写界深度の調整処理、すなわち奥行き方向のフォーカス位置の調整処理について説明する。被写界深度を調整する場合、上記のリフォーカス演算処理の前に、各マイクロレンズに割り当てられた画像領域を形成する画像データごとに重み係数を乗じて重み付けを行う。例えば、被写界深度の深い画像を生成する場合には、イメージセンサ１３の受光面に対して相対的に小さな角度で入射する光線の情報のみを用いて積分処理を行う。言い換えると、イメージセンサ１３への入射角が相対的に大きい光線に関しては、重み係数０（ゼロ）を乗じることにより積分処理に含めない。

図６は、マイクロレンズへの入射角の違いと、イメージセンサ１３の記録領域との関係を説明する模式図であり、図７は、被写界深度の調整処理を説明するための模式図である。
図６に示すように、イメージセンサ１３への入射角が相対的に小さい光線は、より中央の領域に位置することになる。したがって、被写界深度の深い画像を生成する場合には、図７に示すように、領域の中央部（図中の斜線部）で取得された画素データのみを用いて積分処理が行われる。

このような処理を行うことで、撮像装置１０は、一般的な撮像装置などに具備される開口絞りをあたかも絞ったかのように、被写界深度の深い画像を表現することができる。撮像装置１０は、使用する中央部の画素データを更に少なくすることで、被写界深度のより深いパンフォーカス画像データの生成も可能となる。また、撮像装置１０は、ＬＦ画像データの領域ごとに、使用する画素データの位置を変えることにより、領域ごとに異なる被写界深度に調整することもできる。以上のように、撮像装置１０は、ＬＦ画像データに含まれる各画素の重み係数を含むフォーカス情報、並びに光線情報及び方向情報に基づいて、撮影後に画像の被写界深度を調整し、所望のフォーカス位置に設定することができる。
以下、ＬＦ画像データを処理する画像処理装置及び画像処理方法の実施形態について説明する。

＜第１の実施形態＞
［情報共有システム１の構成］
図８は、第１の実施形態に係る情報共有システム１の構成を示す図である。情報共有システム１は、例えばＳＮＳであり、画像処理装置１００と、データベース２００と、複数のユーザ端末３００とを含んで構成されている。画像処理装置１００は、情報共有システム１におけるクラウド上のサーバ装置として機能し、データベース２００に格納されたＬＦ画像データを、インターネット及び携帯電話網等の通信回線を介して接続されたユーザ端末３００に提供する。ＬＦ画像データには、各画素の画素値及びデフォルトのフォーカス位置に対応するデフォルトフォーカス情報が含まれている。情報共有システム１においては、画像処理装置１００を介して提供されるＬＦ画像データに基づく画像を、複数のユーザ端末３００のユーザが共有して閲覧することができる。

画像処理装置１００は、ユーザ端末３００からの要求に応じて、ＬＦ画像データのフォーカス位置を変更したリフォーカス画像データを生成することができる。リフォーカス画像データには、デフォルトフォーカス情報が示すデフォルトのフォーカス位置から他の位置にフォーカス位置を変更した後の、各画素の重み係数を示すフォーカス情報が含まれている。画像処理装置１００は、ＬＦ画像データに含まれる複数の画像領域の夫々のフォーカス位置を、奥行き方向における異なる位置に設定することができる。

画像処理装置１００は、フォーカス位置の設定方法が異なる複数のモードに対応している。画像処理装置１００は、第１モードにおいて、全領域のフォーカス位置が、ＬＦ画像データにアクセスするユーザ端末３００のユーザの位置に設定されたリフォーカス画像データを生成する。また、画像処理装置１００は、第２モードにおいて、ＬＦ画像データにアクセスするユーザ端末３００のユーザが含まれている領域のフォーカス位置が、当該ユーザの奥行き方向の位置に設定され、当該ユーザ以外の被写体が写っている領域のフォーカス位置が、当該被写体の奥行き方向の位置に設定されたリフォーカス画像データを生成する。このようにすることで、画像処理装置１００は、ユーザが、自分自身だけでなく、友達等の他の被写体にフォーカスが合ったリフォーカス画像を閲覧することが可能になる。
以下、画像処理装置１００の構成の詳細について説明する。

［画像処理装置１００の構成］
図９は、第１の実施形態に係る画像処理装置１００の構成を示す図である。画像処理装置１００は、ユーザ端末３００からの要求に応じて、データベース２００に格納されたＬＦ画像データを読み出して、読み出したＬＦ画像データをユーザ端末３００に提供する。また、画像処理装置１００は、ユーザ端末３００からの要求に応じて、ユーザ端末３００に提供するＬＦ画像データのフォーカス位置を変更する。

画像処理装置１００は、通信部１１０と、記憶部１２０と、制御部１３０とを有する。
通信部１１０は、データベース２００及びユーザ端末３００との間でＬＦ画像データ及び各種情報を送受信するための通信インターフェイスである。通信部１１０は、後述の画像生成部１３５において生成されたリフォーカス画像データを、ユーザ端末３００に出力する。

記憶部１２０は、不揮発性メモリ（例えばＲＯＭ）を含んでおり、制御部１３０が実行する画像処理用プログラムを記憶している。記憶部１２０は、揮発性メモリ（例えばＲＡＭ）を含んでおり、制御部１３０が画像処理用プログラムを実行することにより生成される各種データを一時的に記憶する。また、記憶部１２０は、ユーザ端末３００のユーザの識別情報に関連付けられた顔画像データを記憶する。

制御部１３０は、例えばＣＰＵであり、記憶部１２０に記憶された画像処理用プログラムを実行することにより、画像処理装置１００の各部を制御する。制御部１３０は、画像取得部１３１、情報取得部１３２、特定部１３３、フォーカス位置決定部１３４及び画像生成部１３５として機能する。以下、制御部１３０により提供される各機能部の構成について説明する。

画像取得部１３１は、通信部１１０を介して、フォーカス位置を撮影後に変更可能なＬＦ画像データをデータベース２００から取得する。ＬＦ画像データには、デフォルトのフォーカス位置を示すデフォルトフォーカス情報が含まれている。デフォルトフォーカス情報は、例えば、リフォーカス画像データの生成に用いられる、ＬＦ画像データを構成する各画素の重み係数である。なお、デフォルトフォーカス情報がＬＦ画像データに含まれていない場合、画像取得部１３１は、ＬＦ画像データとは別にデフォルトフォーカス情報を取得してもよい。

画像取得部１３１は、取得したＬＦ画像データを記憶部１２０に記憶させる。画像取得部１３１は、取得したＬＦ画像データを特定部１３３に出力する。また、画像取得部１３１は、ＬＦ画像データから抽出したデフォルトフォーカス情報を画像生成部１３５に出力する。

情報取得部１３２は、通信部１１０を介して、ユーザ端末３００のユーザが選択したＬＦ画像データを特定するための画像特定情報と、ＬＦ画像を閲覧するユーザに対応するユーザ識別情報とをユーザ端末３００から取得する。情報取得部１３２は、取得したユーザ識別情報を特定部１３３に出力する。ユーザ識別情報は、例えばＳＮＳのユーザＩＤのように、ユーザ端末３００を操作しているユーザを識別するための情報である。ユーザは、ＳＮＳにログインする際にユーザＩＤを入力することにより、ＬＦ画像データにアクセスできるようになる。ユーザ端末３００は、ユーザにより入力されたユーザ識別情報を画像処理装置１００に送信することにより、画像処理装置１００を介して、データベース２００に格納されているＬＦ画像データにアクセスして閲覧することができる。

情報取得部１３２は、データベース２００から、ユーザ識別情報に対応するユーザプロファイル情報を取得する。ユーザプロファイル情報には、例えばユーザの顔画像データが含まれている。情報取得部１３２は、ユーザプロファイル情報に含まれている顔画像データを抽出し、抽出した顔画像データを特定部１３３に出力する。なお、ユーザプロファイル情報が記憶部１２０に記憶されている場合、情報取得部１３２は、ユーザプロファイル情報を記憶部１２０から取得してもよい。

また、情報取得部１３２は、画像取得部１３１が取得したＬＦ画像データの全体のフォーカス位置をデフォルト位置からユーザの位置に変更するか、ユーザの画像が含まれる領域のフォーカス位置を選択的にユーザの位置に変更するかの指示を取得する。すなわち、情報取得部１３２は、第１モードでリフォーカス画像データを生成するか、第２モードでリフォーカス画像データを生成するかの指示を取得する。

特定部１３３は、情報取得部１３２から入力された顔画像データに基づいて、ＬＦ画像データにおいて、ユーザ識別情報に対応するユーザの顔画像データが含まれている領域（すなわち、ユーザが被写体として写っている領域）を特定する。具体的には、特定部１３３は、ユーザが選択したＬＦ画像データにおいて、情報取得部１３２から取得した顔画像データと類似する画像データを含む領域を特定する。特定部１３３は、特定した領域をフォーカス位置決定部１３４に通知する。なお、特定部１３３は、ＬＦ画像データにユーザの顔画像データと類似する画像データを含む領域が存在しない場合、ユーザの画像が含まれていない旨をフォーカス位置決定部１３４に通知する。

特定部１３３は、ユーザ識別情報に対応するユーザの画像が含まれている領域（以下、「第１領域」ともいう）を特定するとともに、当該ユーザと所定の関係がある被写体の画像が含まれている領域（以下、「第２領域」ともいう）をさらに特定してもよい。例えば、記憶部１２０に、ユーザの友達又は家族として登録されている人の顔画像が記憶されている場合、特定部１３３は、ユーザの友達又は家族として登録されている人の顔画像が含まれている第２領域を特定する。

フォーカス位置決定部１３４は、特定部１３３が特定した領域におけるフォーカス位置を決定する。フォーカス位置決定部１３４は、第１モードにおいて、全領域のフォーカス位置を、特定部１３３が特定した領域に含まれるユーザの奥行き方向の位置に決定する。また、フォーカス位置決定部１３４は、第２モードにおいて、特定部１３３が特定した第１領域のフォーカス位置を、第１領域に含まれるユーザの奥行き方向の位置（第１位置）に決定し、第１領域以外の第２領域におけるフォーカス位置を、所定の被写体の奥行き方向の位置（第２位置）に決定する。フォーカス位置決定部１３４は、例えば、光線情報に基づいて、フォーカス位置を決定する対象となる領域に対応する各画素における光の強度が最も強くなるように、フォーカス位置を決定する。

フォーカス位置決定部１３４は、例えばデフォルトのフォーカス位置を第２位置に決定する。フォーカス位置決定部１３４は、第１位置に写っているユーザの友達及び家族等の、ユーザと所定の関係がある人が写っている位置を第２位置に決定してもよい。

フォーカス位置決定部１３４は、決定したフォーカス位置を画像生成部１３５に通知する。フォーカス位置決定部１３４は、第２モードにおいて、夫々の領域に対応するフォーカス位置を画像生成部１３５に通知する。なお、フォーカス位置決定部１３４は、特定部１３３から、ＬＦ画像データにユーザの画像に対応する画像データが含まれていない旨を通知された場合、デフォルトフォーカス情報が示すデフォルトフォーカス位置を画像生成部１３５に通知する。

画像生成部１３５は、フォーカス位置決定部１３４が決定したフォーカス位置に対応するリフォーカス画像データを生成する。具体的には、画像生成部１３５は、フォーカス位置決定部１３４が決定したフォーカス位置に対応する被写界深度の画像を再構築するために必要な、各画素の重み係数、並びに各画素の光線情報及び方向情報を含むフォーカス情報を生成する。画像生成部１３５は、デフォルトフォーカス情報の代わりに、生成したフォーカス情報を含むリフォーカス画像データを生成する。

例えば、ＬＦ画像データのデフォルトのフォーカス位置が、画像を閲覧するユーザ以外の被写体にフォーカスが合った第２位置であることを示しており、フォーカス位置が第２位置の状態では画像を閲覧するユーザの顔にフォーカスが合っていないものとする。画像生成部１３５は、情報取得部１３２が取得した指示が第１モードでの動作を示している場合、デフォルトのフォーカス位置から、フォーカス位置決定部１３４が決定した、ユーザの顔にフォーカスが合う第１位置にフォーカス位置を変更し、変更後のフォーカス位置に対応するフォーカス情報を含むリフォーカス画像データを生成する。

画像生成部１３５は、情報取得部１３２が取得した指示が第２モードでの動作を示している場合、ユーザの顔が含まれている第１領域におけるフォーカス位置が、ユーザの顔にフォーカスが合う第１位置に設定され、かつ、第２領域におけるフォーカス位置が第２位置に設定されたリフォーカス画像データを生成する。例えば、画像生成部１３５は、第１領域におけるフォーカス位置が、デフォルト位置からユーザの奥行き方向の位置に変更され、かつ第２領域におけるフォーカス位置が、デフォルト位置に維持された状態に対応するフォーカス情報を含むリフォーカス画像データを生成する。

第２モードにおいて画像生成部１３５が生成するリフォーカス画像データの第２領域におけるフォーカス位置が、どの被写体の位置に設定されるかは任意である。画像生成部１３５は、例えば、画像を閲覧するユーザと所定の関係がある被写体が含まれる第２領域において、当該被写体の奥行き方向の位置にフォーカス位置が設定されたリフォーカス画像データを生成する。画像生成部１３５は、例えば、ユーザにフォーカスが合っているとともに、画像を閲覧するユーザの友達として登録され、記憶部１２０に顔画像データが登録されている人の位置にもフォーカスが合ったリフォーカス画像データを生成する。

画像生成部１３５は、特定部１３３が、ユーザの画像が含まれている領域を特定できず、ＬＦ画像データにユーザの画像に対応する画像データが含まれていないと判定し、フォーカス位置決定部１３４が、デフォルトフォーカス位置をフォーカス位置に決定した場合、デフォルト位置をフォーカス位置とするリフォーカス画像データを生成する。すなわち、この場合、画像生成部１３５は、ユーザ端末３００のユーザにフォーカスが合っていない、デフォルト状態のＬＦ画像データと同一のリフォーカス画像データを生成する。

画像生成部１３５は、生成したリフォーカス画像データを、通信部１１０を介してユーザ端末３００に送信する。画像生成部１３５は、生成したリフォーカス画像データにおけるフォーカス位置がデフォルト位置に維持されている場合、画像ファイルを送信することなく、フォーカス位置を変更しなかった旨の情報をユーザ端末３００に送信してもよい。

［ユーザ端末３００の構成］
続いて、ユーザ端末３００の構成について説明する。
図１０は、ユーザ端末３００の構成を示す図である。ユーザ端末３００は、通信部３１０と、操作部３２０と、表示部３３０と、記憶部３４０と、制御部３５０とを有する。

通信部３１０は、画像処理装置１００にユーザ識別情報を送信したり、画像処理装置１００からＬＦ画像データを受信したりするための通信インターフェイスである。
操作部３２０は、ユーザがユーザ識別情報を入力したり、再生するＬＦ画像データを指定するための情報を入力したりするためのユーザインターフェイスであり、例えば、表示部３３０に重ねて設けられたタッチパネルである。

表示部３３０は、画像処理装置１００から送信されたＬＦ画像データ又はリフォーカス画像データに基づく画像を表示するためのディスプレイである。
記憶部３４０は、ＲＯＭ及びＲＡＭを含んでおり、制御部３５０が実行するプログラムを記憶している。また、記憶部３４０は、ユーザ端末３００のユーザのユーザ識別情報を記憶している。制御部３５０は、記憶部３４０に記憶されたプログラムを実行することにより、ユーザ端末３００の各部を制御し、再生制御部３５１、画像取得部３５２、現像部３５３及び表示制御部３５４として機能する。

再生制御部３５１は、操作部３２０を介してユーザが入力した、再生を希望するＬＦ画像データを選択するための再生画像選択情報を、操作部３２０から取得する。再生制御部３５１は、例えば、ユーザ識別情報の入力エリア、再生画像選択ボタン及び再生開始ボタンを含む操作画面を、後述の表示制御部３５４を介して表示部３３０に表示する。

再生制御部３５１は、再生画像選択ボタンを押したユーザにより入力された、ＬＦ画像データを特定するための画像特定情報（例えば、画像ファイル番号）、及びユーザが再生開始指示ボタンを押したことを示す再生開始指示情報を取得する。再生制御部３５１は、再生開始指示情報を取得したことに応じて、記憶部３４０に記憶されているユーザ識別情報を読み出し、読み出したユーザ識別情報と画像特定情報とを、通信部３１０を介して画像処理装置１００に送信する。なお、ユーザ識別情報が記憶部３４０に記憶されていない場合、再生制御部３５１は、操作部３２０において入力されたユーザ識別情報を画像処理装置１００に送信してもよい。

画像取得部３５２は、通信部３１０を介して、画像処理装置１００から送信されるＬＦ画像データ又はリフォーカス画像データを受信する。画像取得部３５２は、受信したＬＦ画像データ又はリフォーカス画像データを現像部３５３に出力する。

現像部３５３は、画像取得部３５２から入力されたＬＦ画像データ又はリフォーカス画像データとフォーカス情報とに基づいて、画像を再構築する現像処理を行う。具体的には、現像部３５３は、フォーカス情報が示すフォーカス位置にフォーカスが合った画像を生成する。現像部３５３は、生成した画像を表示制御部３５４に出力する。
表示制御部３５４は、現像部３５３により生成された現像後の画像を表示部３３０に表示させる。

［情報共有システム１における動作手順を示すフローチャート］
図１１は、ユーザ端末３００及び画像処理装置１００の動作手順を示すフローチャートである。図１１は、第２モードにおける動作手順を示している。
まず、ユーザ端末３００においては、再生制御部３５１が、ユーザが再生開始ボタンを押したことを検出すると、ユーザにより選択されたＬＦ画像データを特定するための画像特定情報を含む、ＬＦ画像再生指示を画像処理装置１００に送信する（Ｓ１０１）。画像処理装置１００においては、情報取得部１３２が、ユーザ端末３００から画像特定情報を含むＬＦ画像再生指示を受信すると、画像取得部１３１が、受信された画像特定情報に対応するＬＦ画像データをデータベース２００から取得する（Ｓ１０２）。

続いて、ユーザ端末３００においては、再生制御部３５１が、記憶部３４０から読み出したユーザ識別情報を画像処理装置１００に送信する（Ｓ１０３）。画像処理装置１００においては、情報取得部１３２が、ユーザ識別情報を受信し（Ｓ１０４）、ユーザ識別情報に対応するユーザプロファイル情報をデータベース２００から取得する（Ｓ１０５）。続いて、情報取得部１３２は、ユーザプロファイル情報から、ユーザの顔画像データを抽出する（Ｓ１０６）。

続いて、特定部１３３は、Ｓ１０２において取得されたＬＦ画像データに、Ｓ１０６において抽出された顔画像データと類似する画像データを含む領域が存在するか否かを判定する（Ｓ１０７）。特定部１３３が、顔画像データと類似する画像データを含む領域が存在すると判定した場合（Ｓ１０７においてＹｅｓ）、フォーカス位置決定部１３４は、顔画像データと類似する画像データを含む領域のフォーカス位置を、顔画像データに対応するユーザの奥行き方向の位置に変更し、その他の領域のフォーカス位置を変更しないで維持する（Ｓ１０８）。Ｓ１０７において、特定部１３３が、顔画像データと類似するデータを含む領域が存在しないと判定した場合（Ｓ１０７においてＮｏ）、フォーカス位置決定部１３４は、デフォルトフォーカス位置を変更しない状態で維持する（Ｓ１０９）。

続いて、画像生成部１３５は、Ｓ１０８又はＳ１０９において決定されたフォーカス位置に対応するフォーカス情報を含むリフォーカス画像データを生成し（Ｓ１１０）、通信部１１０を介してユーザ端末３００に送信する（Ｓ１１１）。

ユーザ端末３００は、画像処理装置１００から送信されたリフォーカス画像データを受信すると（Ｓ１１２）、現像部３５３において、受信したリフォーカス画像データを現像する（Ｓ１１３）。続いて、表示制御部３５４が、現像部３５３が現像したリフォーカス画像データに基づく画像を表示部３３０に表示させる（Ｓ１１４）。以上の手順により、ユーザ端末３００のユーザは、ユーザ自身とその他の被写体とにフォーカスが合った画像を閲覧することができる。

図１２は、ユーザ端末３００において再生される画像の例を示す図である。図１２（ａ）は、データベース２００に格納されているＬＦ画像データが、初期のデフォルトフォーカス情報に基づいて再生された場合の画像を示している。図１２（ａ）に示す画像においては、「Ｂ氏」にフォーカスが合っておらず、隣に写っている「Ａ氏」にフォーカスが合っている。

図１２（ｂ）は、「Ｂ氏」のユーザ端末３００において第１モードで再生されたリフォーカス画像を示している。図１２（ｂ）に示す画像においては、デフォルトフォーカス情報が示す初期のフォーカス位置から、「Ｂ氏」にフォーカスが合う位置にフォーカス位置が変更されており、「Ｂ氏」にフォーカスが合っている。図１２（ｃ）は、「Ｂ氏」のユーザ端末３００において第２モードで再生されたリフォーカス画像を示している。図１２（ｃ）に示す画像においては、「Ａ氏」が写っている領域においては「Ａ氏」にフォーカスが合った状態になっており、「Ｂ氏」が写っている領域においては「Ｂ氏」にフォーカスが合った状態になっている。

図１２（ｄ）は、「Ａ氏」のユーザ端末３００において再生された場合のリフォーカス画像を示している。図１２（ｄ）に示す画像においては、デフォルトフォーカス情報が示すフォーカス位置が初期の状態から変更されておらず、「Ａ氏」にフォーカスが合っている。

図１２（ｅ）は、「Ａ氏」及び「Ｂ氏」と異なる「Ｃ氏」のユーザ端末３００において再生された場合のＬＦ画像を示している。図１２（ａ）に示すＬＦ画像にはユーザ端末３００のユーザである「Ｃ氏」の画像が含まれていないので、「Ｃ氏」のユーザ端末３００でリフォーカス画像を再生する場合には、デフォルトフォーカス情報が変更されない。その結果、図１２（ｅ）に示す画像においては、「Ａ氏」にフォーカスが合ったデフォルト状態が維持されている。

（変形例）
上記の説明においては、ユーザがＬＦ画像データの再生を指示したことに応じて、画像処理装置１００が、ユーザにフォーカスが合ったリフォーカス画像データを自動的に生成し、ユーザ端末３００には、ユーザにフォーカスが合ったリフォーカス画像が表示される場合について説明した。画像処理装置１００は、ユーザ端末３００からＬＦ画像の再生指示を受けると、ユーザにフォーカスが合ったリフォーカス画像データを生成する前に、ユーザの確認用として、データベース２００から取得したＬＦ画像データに含まれるデフォルトフォーカス情報が示すデフォルトのフォーカス位置を維持した状態のＬＦ画像データをユーザ端末３００に送信してもよい。

この場合、ユーザ端末３００は、デフォルトのフォーカス位置に設定されたＬＦ画像データに基づく画像と、フォーカス位置の変更をする指示を取得するための画像とを表示する。ユーザ端末３００は、ユーザ端末３００のユーザから、フォーカス位置を変更する指示を取得したことに応じて、フォーカス位置を変更する指示を画像処理装置１００に送信する。情報取得部１３２が、フォーカス位置を変更する指示を取得すると、図１１に示したフローチャートのＳ１０３以降の処理を実行することにより、ユーザは、自身にフォーカスが合ったＬＦ画像を閲覧することが可能になる。このような処理手順にすることにより、ユーザが、自身にフォーカスが合った画像を閲覧したいと思った場合にのみフォーカス位置を変更する処理を実行することができる。したがって、ユーザ端末３００に画像が表示されるまでの時間を短縮できるので、大量のＬＦ画像データがある場合に好適である。

また、ユーザ端末３００においては、ユーザの指示に応じて、ユーザにフォーカスが合ったＬＦ画像を再生するモードと、ユーザにフォーカスが合ったＬＦ画像を自動的に再生するモードとを選択できるようにしてもよい。このようにすることで、オリジナルの画像を見たいという嗜好を持つユーザにも、自分自身にフォーカスが合った画像を見たいという嗜好を持つユーザにも好適なシステムを提供することが可能になる。

［第１の実施形態における効果］
以上説明したように、第１の実施形態に係る情報共有システム１においては、ＬＦ画像の再生の指示が行われたユーザ端末３００のユーザの識別情報が画像処理装置１００に送信されると、画像処理装置１００が、ユーザ端末３００のユーザの画像が含まれる第１領域のフォーカス位置がユーザの位置に設定され、第２領域のフォーカス位置が他の被写体の位置に設定されたリフォーカス画像データを生成する。このようにすることで、ユーザがユーザ端末３００においてＬＦ画像を閲覧する際に、ユーザ自身だけでなく他の被写体にもフォーカスが合った画像を閲覧することが可能になる。

＜第２の実施形態＞
第１の実施形態においては、画像処理装置１００がフォーカス位置を決定したが、第２の実施形態においては、ユーザ端末４００がフォーカス位置を決定する点で第１の実施形態と異なる。ユーザ端末４００は、画像処理装置１００と通信することなく動作可能な画像処理装置として機能する。

図１３は、第２の実施形態に係るユーザ端末４００の構成を示す図である。ユーザ端末４００は、メモリカード等の記録メディアに格納されたＬＦ画像データを読み込んで、読み込んだＬＦ画像データのフォーカス位置を、ユーザ端末４００のユーザにフォーカスが合った位置に変更することができる。ユーザ端末４００は、ユーザ端末３００と同様に、データベース２００に格納されたＬＦ画像データを、通信回線を介して画像処理装置１００から取得して、取得したＬＦ画像データのフォーカス位置を、ユーザ端末４００のユーザにフォーカスが合った位置に変更してもよい。

ユーザ端末４００は、画像入力部４１０と、操作部４２０と、ユーザ検知部４３０と、表示部４４０と、記憶部４５０と、制御部４６０とを有する。
画像入力部４１０は、再生対象となるＬＦ画像データを記憶している記憶メディアを接続するためのインターフェイスである。画像入力部４１０は、例えば、メモリカードインターフェイス又はＵＳＢ(Universal Serial Bus)インターフェイスである。

ユーザ検知部４３０は、例えばカメラを含んで構成されており、ユーザ端末４００を使用しているユーザの顔画像を撮像することにより、ユーザを検知する。ユーザ検知部４３０は、撮像により得られた顔画像データをユーザ認識部４６３に出力する。ユーザ検知部４３０は、ユーザ識別情報の入力を受けることにより、ユーザを検知してもよい。この場合、ユーザ検知部４３０は、ユーザ識別情報をユーザ認識部４６３に出力する。
操作部４２０、表示部４４０及び記憶部４５０は、図１０に示したユーザ端末３００における操作部３２０、表示部３３０及び記憶部３４０の夫々に対応する。

制御部４６０は、図１０に示したユーザ端末３００における制御部３５０に対応し、再生制御部４６１、画像取得部４６２、ユーザ認識部４６３、特定部４６４、フォーカス位置決定部４６５、現像部４６６及び表示制御部４６７として機能する。

再生制御部４６１は、操作部４２０を介してユーザが入力した、再生を希望するＬＦ画像データを選択するための再生画像選択情報を、操作部４２０から取得する。
画像取得部４６２は、画像入力部４１０を介して入力されたＬＦ画像データを取得する。

ユーザ認識部４６３は、ユーザ検知部４３０から入力された情報に基づいて、ユーザを認識する。ユーザ認識部４６３は、ユーザ検知部４３０から顔画像データが入力された場合、入力された顔画像データが予め登録された顔画像データと一致するか否かを判定し、予め登録された顔画像データと一致する場合、顔画像データを特定部４６４に出力する。ユーザ認識部４６３は、ユーザ検知部４３０からユーザ識別情報が入力された場合、ユーザ識別情報に対応する顔画像データを記憶部４５０又は外部装置から取得し、取得した顔画像データを特定部４６４に出力する。ユーザ認識部４６３は、ユーザ検知部４３０から入力された顔画像データ又はユーザ識別情報が、予め登録された顔画像データ又はユーザ識別情報に一致しない場合、表示制御部４６７を介して表示部４４０にエラーメッセージを表示してもよい。

特定部４６４は、ユーザ認識部４６３から入力された顔画像データが、画像取得部４６２が取得したＬＦ画像データに含まれる第１領域を特定する。
フォーカス位置決定部４６５は、特定部４６４が特定した第１領域におけるフォーカス位置を決定する。具体的には、フォーカス位置決定部４６５は、第１モードにおいて、全領域のフォーカス位置を、特定部４６４が特定した領域に含まれるユーザの位置に決定する。また、フォーカス位置決定部４６５は、第２モードにおいて、特定部４６４が特定した第１領域のフォーカス位置を、第１領域に含まれるユーザの位置に決定し、第１領域以外の第２領域におけるフォーカス位置を、第２領域に含まれる所定の被写体の位置に決定する。

現像部４６６は、フォーカス位置決定部４６５が決定したフォーカス位置に基づいて、ＬＦ画像データを再構築する現像処理を行う。表示制御部４６７は、現像部４６６が現像処理をすることにより得られたリフォーカス画像を表示部４４０に表示させる。

図１４は、第２の実施形態に係るユーザ端末３００における動作手順を示すフローチャートである。
まず、再生制御部４６１は、操作部４２０を介してユーザが入力した、ＬＦ画像データに基づく画像を表示する指示を取得する（Ｓ２０１）。再生制御部４６１は、指示を取得したことに応じて、画像取得部４６２に対して、記録メディアからＬＦ画像データを取得するように指示する。画像取得部４６２は、画像入力部４１０を介してＬＦ画像データを取得する（Ｓ２０２）。画像取得部４６２は、取得したＬＦ画像データを特定部４６４に出力する。

続いて、ユーザ認識部４６３は、ユーザ検知部４３０から入力されたユーザプロファイル情報を解析し、ユーザの顔画像データを取得する（Ｓ２０３）。ユーザ認識部４６３は、取得した顔画像データを特定部４６４に出力する。

特定部４６４は、ユーザ認識部４６３から取得した顔画像データと類似するデータを含む領域が、画像取得部４６２から入力されたＬＦ画像データに含まれているかどうかを判定する（Ｓ２０４）。特定部４６４が、ＬＦ画像データにユーザ画像データと類似するデータを含む領域が存在すると判定した場合（Ｓ２０４においてＹｅｓ）、フォーカス位置決定部４６５は、ユーザ画像データと類似するデータを含む領域のフォーカス位置を、ユーザの奥行き方向の位置に変更し、その他の領域のフォーカス位置を変更しないで維持する（Ｓ２０５）。特定部４６４が、ＬＦ画像データにユーザ画像データと類似するデータを含む領域が存在しないと判定した場合（Ｓ２０４においてＮｏ）、フォーカス位置決定部４６５は、画像取得部４６２から取得したＬＦ画像データのデフォルトフォーカス位置を変更しない状態で維持する（Ｓ２０６）。

続いて、現像部４６６は、Ｓ２０５又はＳ２０６でフォーカス位置決定部４６５が変更又は維持したフォーカス位置に基づいて、ＬＦ画像データを再構築することにより現像する（Ｓ２０７）。表示制御部４６７は、現像されたＬＦ画像データに基づく画像を表示部４４０に表示させる。

［第２の実施形態における効果］
以上説明したように、第２の実施形態に係るユーザ端末４００は、通信回線を介してＳＮＳ等の提供者が管理する画像処理装置１００に接続されていない状態においても、スタンドアローンの端末としてＬＦ画像データを取得し、取得したＬＦ画像データにユーザが写っている場合、ユーザが写っている領域のフォーカス位置を変更する。このようにすることで、ユーザが、ユーザ端末４００にＬＦ画像データを取り込んだ後にネットワークからユーザ端末４００を切り離した場合であっても、ユーザは、自分自身にフォーカスが合った画像を閲覧することができる。

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

１００・・・画像処理装置
１１０・・・通信部
１３１・・・画像取得部
１３３・・・特定部
１３５・・・画像生成部

Claims (15)

1. フォーカスが合った奥行き方向の位置であるフォーカス位置を撮影後に変更可能な画像を取得する画像取得手段と、
   前記画像を閲覧するユーザに対応する識別情報を取得する情報取得手段と、
   前記画像において前記識別情報に対応するユーザの画像が含まれている第１領域を特定する特定手段と、
   前記第１領域における前記フォーカス位置が前記ユーザの奥行き方向の位置である第１位置に設定され、かつ前記第１領域以外の第２領域におけるフォーカス位置が前記第１位置とは異なる第２位置に設定されたリフォーカス画像データを生成する生成手段と、
   前記生成手段により生成された前記リフォーカス画像データを出力する出力手段と、
   を有することを特徴とする画像処理装置。
2. 前記画像取得手段は、前記フォーカス位置のデフォルト位置を示すデフォルト位置情報をさらに取得し、
   前記生成手段は、前記特定手段が特定した前記第１領域における前記フォーカス位置を、前記デフォルト位置から前記ユーザの奥行き方向の位置に変更し、かつ前記第２領域における前記フォーカス位置を、前記第２位置としての前記デフォルト位置に維持することにより前記リフォーカス画像データを生成することを特徴とする、
   請求項１に記載の画像処理装置。
3. 前記生成手段は、前記第２領域においてフォーカスが合っている被写体が含まれる領域における前記フォーカス位置を前記デフォルト位置に維持することを特徴とする、
   請求項２に記載の画像処理装置。
4. 前記生成手段は、前記特定手段が、前記ユーザの画像が含まれている前記第１領域を特定できない場合、前記デフォルト位置を前記フォーカス位置とする前記リフォーカス画像データを生成することを特徴とする、
   請求項２又は３に記載の画像処理装置。
5. 前記情報取得手段は、前記出力手段が、前記フォーカス位置を前記デフォルト位置とした状態の前記画像を前記ユーザの端末へと出力した後に、前記ユーザの端末から、前記第１領域における前記フォーカス位置を前記第１位置に変更する指示を取得し、
   前記生成手段は、前記指示に基づいて前記リフォーカス画像データを生成することを特徴とする、
   請求項２から４のいずれか１項に記載の画像処理装置。
6. 前記情報取得手段は、前記画像取得手段が取得した前記画像の全体の前記フォーカス位置を前記デフォルト位置から前記ユーザの位置に変更するか、前記第１領域の前記フォーカス位置を選択的に前記ユーザの位置に変更するかの指示を取得し、
   前記生成手段は、当該指示に基づいて前記フォーカス位置が変更された前記リフォーカス画像データを生成することを特徴とする、
   請求項２から５のいずれか１項に記載の画像処理装置。
7. 前記特定手段は、前記ユーザと所定の関係がある被写体の画像が含まれている前記第２領域を特定し、
   前記生成手段は、前記特定手段により特定された前記第２領域における前記フォーカス位置が前記ユーザと所定の関係がある被写体の奥行き方向の前記第２位置に設定されたリフォーカス画像データを生成することを特徴とする、
   請求項２から６のいずれか１項に記載の画像処理装置。
8. フォーカスが合った奥行き方向の位置であるフォーカス位置を撮影後に変更可能な画像を取得する画像取得ステップと、
   前記画像を閲覧するユーザに対応する識別情報を取得する情報取得ステップと、
   前記画像において前記識別情報に対応するユーザの画像が含まれている第１領域を特定する特定ステップと、
   特定した前記第１領域における前記フォーカス位置が前記ユーザの奥行き方向の位置である第１位置に設定され、かつ前記第１領域以外の第２領域におけるフォーカス位置が前記第１位置とは異なる第２位置に設定されたリフォーカス画像データを生成する生成ステップと、
   生成された前記リフォーカス画像データを出力する第１出力ステップと、
   を有することを特徴とする画像処理方法。
9. 前記情報取得ステップにおいて、前記フォーカス位置のデフォルト位置を示すデフォルト位置情報をさらに取得し、
   前記生成ステップにおいて、前記第１領域における前記フォーカス位置を、前記デフォルト位置から前記ユーザの奥行き方向の位置に変更し、かつ前記第２領域における前記フォーカス位置を、前記第２位置としての前記デフォルト位置に維持することにより前記リフォーカス画像データを生成することを特徴とする、
   請求項８に記載の画像処理方法。
10. 前記生成ステップにおいて、前記第２領域においてフォーカスが合っている被写体が含まれる領域における前記フォーカス位置を前記デフォルト位置に維持することを特徴とする、
    請求項９に記載の画像処理方法。
11. 前記特定ステップにおいて、前記ユーザの画像が含まれている前記第１領域を特定できない場合、前記生成ステップにおいて、前記デフォルト位置を前記フォーカス位置とする前記リフォーカス画像データを生成することを特徴とする、
    請求項９又は１０に記載の画像処理方法。
12. 前記フォーカス位置を前記デフォルト位置とした状態の前記画像を前記ユーザの端末へと出力する第２出力ステップと、
    前記第２出力ステップの後に、前記ユーザの端末から、前記第１領域における前記フォーカス位置を前記第１位置に変更する指示を取得する第１指示取得ステップと、
    を有し、
    前記生成ステップにおいて、前記指示に基づいて前記リフォーカス画像データを生成することを特徴とする、
    請求項９から１１のいずれか１項に記載の画像処理方法。
13. 前記画像取得ステップにおいて取得した前記画像の全体の前記フォーカス位置を前記デフォルト位置から前記ユーザの位置に変更するか、前記第１領域の前記フォーカス位置を選択的に前記ユーザの位置に変更するかの指示を取得する第２指示取得ステップと、
    前記生成するステップにおいて、前記第２指示取得ステップにおいて取得した指示に基づいて前記フォーカス位置が変更された前記リフォーカス画像データを生成することを特徴とする、
    請求項９から１２のいずれか１項に記載の画像処理方法。
14. 前記特定するステップにおいて、前記ユーザと所定の関係がある被写体の画像が含まれている前記第２領域を特定し、
    前記生成するステップにおいて、前記特定するステップにおいて特定された前記第２領域における前記フォーカス位置が前記ユーザと所定の関係がある被写体の奥行き方向の前記第２位置に設定されたリフォーカス画像データを生成することを特徴とする、
    請求項８から１３のいずれか１項に記載の画像処理方法。
15. コンピュータに、
    フォーカスが合った奥行き方向の位置であるフォーカス位置を撮影後に変更可能な画像を取得する画像取得ステップと、
    前記画像を閲覧するユーザに対応する識別情報を取得する情報取得ステップと、
    前記画像において前記識別情報に対応するユーザの画像が含まれている第１領域を特定する特定ステップと、
    特定した前記第１領域における前記フォーカス位置が前記ユーザの奥行き方向の位置である第１位置に設定され、かつ前記第１領域以外の第２領域におけるフォーカス位置が前記第１位置とは異なる第２位置に設定されたリフォーカス画像データを生成する生成ステップと、
    生成された前記リフォーカス画像データを出力する第１出力ステップと、
    を実行させることを特徴とする画像処理用プログラム。