JP6584091B2 - 電子機器及び表示制御方法 - Google Patents

Description

本発明は、電子機器及び表示制御方法に関するものである。

近年、ライトフィールド（以下、「ＬＦ」と略記する）カメラと呼ばれる撮像装置が実用化されている。この撮像装置は、イメージセンサ上にマイクロレンズアレイが配置され、マイクロレンズによって撮像装置に入射した光を分割することにより、複数の方向から到来する光線の強度を示す光線情報及び入射方向を示す方向情報を含むＬＦ画像データを生成する。特許文献１には、光線情報及び方向情報に基づく演算処理をすることにより、フォーカスが合った奥行き方向の位置（以下、「フォーカス位置」という）が異なる複数のリフォーカス画像を順次表示し、ユーザが、所望の画像を検索しやすくする画像処理装置が開示されている。

特開２０１４−２２０５９８号公報

従来の画像処理装置が順次表示する複数のリフォーカス画像の中には、ユーザが見たい部分にフォーカスが合っていない画像が多数含まれている。したがって、ユーザは、無駄な画像を閲覧することになってしまい、画像を閲覧する際に無駄な時間が生じてしまうという問題があった。

そこで、本発明は上述した点に鑑みてなされたものであり、ユーザが見たい部分にフォーカスが合った画像が表示される可能性を高めることを目的とする。

上記の課題を解決するために、本発明の電子機器は、フォーカスが合った奥行き方向の位置であるフォーカス位置を撮影後に変更可能な画像データと、前記フォーカス位置として使用された奥行き方向の位置の使用頻度を示す使用頻度データと、を取得するデータ取得手段と、前記使用頻度データに基づいて決定した第１位置に、前記画像データの前記フォーカス位置を設定することにより、リフォーカス画像を生成する画像生成手段と、前記リフォーカス画像を表示手段に表示させる表示制御手段と、複数の前記画像データと前記使用頻度データとを関連付けて記憶するデータ記憶手段と、基準となる第１リフォーカス画像と、前記複数の画像データのうち、前記使用頻度が最も高い位置に前記フォーカス位置を設定して生成された一以上の第２リフォーカス画像との類似度合いに基づいて、一以上の画像データを検索する検索手段と、を有することを特徴とする。

本発明によれば、ユーザが見たい部分にフォーカスが合った画像が表示される可能性を高めることができるという効果を奏する。

ＬＦカメラとしての撮像装置１０の構成の模式図である。 マイクロレンズアレイ１２とイメージセンサ１３の各画素との位置関係を示す模式図である。 マイクロレンズアレイ１２のマイクロレンズへの入射光線の進行方向と、イメージセンサ１３の記録領域との関係を説明するための模式図である。 イメージセンサ１３に入射する光線の情報について説明するための模式図である。 リフォーカス演算処理を説明するための模式図である。 マイクロレンズへの入射角の違いと、イメージセンサ１３の記録領域との関係を説明する模式図である。 被写界深度の調整処理を説明するための模式図である。 第１の実施形態に係る画像検索システムＳの構成を示す図である。 画像表示装置１００の構成を示す図である。 使用頻度データの一例を示す図である。 表示部１３０に表示される画面の一例を示す図である。 画像検索装置２００の構成を示す図である。 ユーザがＬＦ画像データを検索する際に表示される画面５０２の一例を示す図である。 画像表示装置１００及び画像検索装置２００における使用頻度データの作成処理の手順を示すフローチャートである。 画像表示装置１００及び画像検索装置２００における検索処理の手順を示すフローチャートである。 第２の実施形態に係る画像管理装置３００及び表示装置４００の構成を示す図である。

［ＬＦカメラの概要］
本実施形態に係る画像処理装置の説明に先立ち、ＬＦカメラの概要について説明する。
図１は、ＬＦカメラとしての撮像装置１０の構成の模式図である。撮像装置１０は、撮像レンズ１１と、マイクロレンズアレイ１２と、イメージセンサ１３とを有する。被写体からの光は、撮像光学系を構成する撮像レンズ１１及びマイクロレンズアレイ１２を通過した後に、イメージセンサ１３に入射する。イメージセンサ１３は、入射した光を電気信号に変換して、変換後の電気信号を出力する。撮像装置１０は、イメージセンサ１３が出力する電気信号に基づいて、フォーカスが合った位置であるフォーカス位置を変更可能なＬＦ画像データを生成する。

撮像レンズ１１は、被写体からの光をマイクロレンズアレイ１２に投射する。撮像レンズ１１は、撮像装置１０の本体部に装着して使用される、交換可能なレンズである。撮像装置１０のユーザは、撮像レンズ１１のズーム操作により撮像倍率を変更することができる。

マイクロレンズアレイ１２は、格子状に配列された複数の微小レンズ（マイクロレンズ）を有しており、撮像レンズ１１とイメージセンサ１３の間に位置する。マイクロレンズアレイ１２が有する各マイクロレンズは、撮像レンズ１１からの入射光を分割し、分割後の複数の光をイメージセンサ１３の複数の画素に入射する。

イメージセンサ１３は、複数の画素を有する撮像素子であり、各画素において光の強度を検出する。被写体からの光を受光するイメージセンサ１３の各画素には、各画素に対応するマイクロレンズによって分割された、夫々異なる方向の光が入射する。

図２は、マイクロレンズアレイ１２とイメージセンサ１３の各画素との位置関係を示す模式図である。マイクロレンズアレイ１２の各マイクロレンズは、イメージセンサ１３における複数の画素に対応するように配置される。イメージセンサ１３の各画素には、各画素に対応するマイクロレンズが分割した光が入射し、イメージセンサ１３は、画素ごとに異なる方向からの光の強度を検出する。撮像装置１０は、イメージセンサ１３の各画素において検出された光の強度を示す光線情報を生成する。

マイクロレンズを介してイメージセンサ１３の各画素に入射した光線の入射方向は、各マイクロレンズに対応する複数の画素の配置によって決まる。したがって、入射方向は、各マイクロレンズとイメージセンサ１３の各画素との位置関係に応じて特定され、撮像装置１０は、特定した入射方向を示す方向情報として、例えば、画素を特定するための座標情報を生成する。

被写体からの光は、被写体と撮像レンズ１１との間の距離に応じて定まる方向でマイクロレンズアレイ１２に入射する。そして、被写体からの光は、被写体と撮像レンズ１１との間の距離に応じて定まる複数のマイクロレンズを通過して、イメージセンサ１３に入射する。その結果、マイクロレンズアレイ１２のレンズ頂点面からの距離が異なる面にフォーカスが合った像は、各マイクロレンズの光軸からの偏心量に対応した位置にあるイメージセンサ１３の複数の画素の各出力を合成することで得られる。したがって、撮像装置１０は、光線情報と方向情報に基づいて光線の並べ替えと計算処理（以下、再構築という）を行うことにより、任意のフォーカス位置に対応する画像データを生成できる。ここで、フォーカス位置は、フォーカスが合った位置であり、ユーザは、撮影後に、ＬＦ画像データに基づいて、所望のフォーカス位置に対応するリフォーカス画像データを得ることができる。

図３は、マイクロレンズアレイ１２のマイクロレンズへの入射光線の進行方向と、イメージセンサ１３の記録領域との関係を説明するための模式図である。
撮像レンズ１１による被写体の像は、マイクロレンズアレイ１２上に結像し、マイクロレンズアレイ１２への入射光線はマイクロレンズアレイ１２を介してイメージセンサ１３で受光される。このとき、図３に示すように、マイクロレンズアレイ１２への入射光線は、フォーカス位置ごとに定まる進行方向に応じてイメージセンサ１３上の異なる位置で受光され、被写体の像がマイクロレンズごとに結像する。

図４は、イメージセンサ１３に入射する光線の情報について説明するための模式図である。
イメージセンサ１３で受光される光線について図４を用いて説明する。ここで、撮像レンズ１１のレンズ面上における直交座標系を（ｕ，ｖ）とし、イメージセンサ１３の撮像面上における直交座標系（ｘ，ｙ）とする。さらに、撮像レンズ１１のレンズ面とイメージセンサ１３の撮像面との距離をＦとする。この場合、撮像レンズ１１およびイメージセンサ１３を通る光線の強度は、図中で示す４次元関数Ｌ（ｕ，ｖ，ｘ，ｙ）で表すことができる。各マイクロレンズに入射する光線は、進行方向に応じて異なる画素に入射されることから、イメージセンサ１３では、光線の位置情報に加えて、光線の進行方向を保持する上記の４次元関数Ｌ（ｕ，ｖ，ｘ，ｙ）で表される光線の強度に対応する情報が記録される。

次に、撮像後のリフォーカス演算処理について説明する。リフォーカス演算処理は、異なるフォーカス位置に対応する画素で受光した光の強度に基づいて、画像を再構築することによりリフォーカス画像データを生成する処理である。本明細書において、リフォーカス画像においてフォーカスが合っている位置の面を、リフォーカス面という。

図５は、リフォーカス演算処理を説明するための模式図である。
図５に示すように、撮像レンズ面、撮像面、リフォーカス面の位置関係を設定した場合、リフォーカス面上の直交座標系（ｓ，ｔ）における光線の強度Ｌ’（ｕ，ｖ，ｓ，ｔ）は、以下の（１）式のように表される。
また、リフォーカス面で得られるイメージＥ’（ｓ，ｔ）は、上記強度Ｌ’（ｕ，ｖ，ｓ，ｔ）をレンズ口径に関して積分したものとなるので、以下の（２）式のように表される。
したがって、この（２）式に基づいてリフォーカス演算処理を行うことで、任意のフォーカス位置におけるリフォーカス面に対応する画像データを再構築することができる。

続いて、撮像後の被写界深度の調整処理、すなわち奥行き方向のフォーカス位置の調整処理について説明する。被写界深度を調整する場合、上記のリフォーカス演算処理の前に、各マイクロレンズに割り当てられた画像領域を形成する画像データごとに重み係数を乗じて重み付けを行う。例えば、被写界深度の深い画像を生成する場合には、イメージセンサ１３の受光面に対して相対的に小さな角度で入射する光線の情報のみを用いて積分処理を行う。言い換えると、イメージセンサ１３への入射角が相対的に大きい光線に関しては、重み係数０（ゼロ）を乗じることにより積分処理に含めない。

図６は、マイクロレンズへの入射角の違いと、イメージセンサ１３の記録領域との関係を説明する模式図であり、図７は、被写界深度の調整処理を説明するための模式図である。
図６に示すように、イメージセンサ１３への入射角が相対的に小さい光線は、より中央の領域に位置することになる。したがって、被写界深度の深い画像を生成する場合には、図７に示すように、領域の中央部（図中の斜線部）で取得された画素データのみを用いて積分処理が行われる。

このような処理を行うことで、撮像装置１０は、一般的な撮像装置などに具備される開口絞りをあたかも絞ったかのように、被写界深度の深い画像を表現することができる。撮像装置１０は、使用する中央部の画素データを更に少なくすることで、被写界深度のより深いパンフォーカス画像データの生成も可能となる。また、撮像装置１０は、ＬＦ画像データの領域ごとに、使用する画素データの位置を変えることにより、領域ごとに異なる被写界深度に調整することもできる。以上のように、撮像装置１０は、ＬＦ画像データに含まれる各画素の重み係数を含むフォーカス情報、並びに光線情報及び方向情報に基づいて、撮影後に画像の被写界深度を調整し、所望のフォーカス位置に設定することができる。
以下、ＬＦ画像データをディスプレイに表示させる電子機器及び表示制御方法の実施形態について説明する。

＜第１の実施形態＞
［画像検索システムＳの構成］
図８は、第１の実施形態に係る画像検索システムＳの構成を示す図である。画像検索システムＳは、複数の画像表示装置１００と、ネットワークＮを介して複数の画像表示装置１００と接続された画像検索装置２００と、を有する。画像検索装置２００には、多数の画像ファイルが格納されており、画像表示装置１００のユーザは、画像表示装置１００を用いて、画像検索装置２００に格納された多数の画像ファイルを検索して、所望の画像ファイルを取得することができる。

画像検索装置２００は、フォーカスが合った奥行き方向の位置であるフォーカス位置を撮影後に変更可能なＬＦ画像データを含むＬＦ画像ファイルを格納している。ＬＦ画像ファイルには、デフォルトのフォーカス位置を示すデフォルトフォーカス位置データが含まれている。デフォルトのフォーカス位置は、画像表示装置１００がＬＦ画像データを表示する際の最初に用いられるフォーカス位置である。画像表示装置１００は、ＬＦ画像ファイルを取得すると、デフォルトフォーカス位置にフォーカス位置を設定したリフォーカス画像を表示する。

ユーザは、画像表示装置１００において、フォーカス位置を変更することができる。例えば、検索後に表示されたリフォーカス画像を見たユーザが、他の位置にフォーカスが合った画像を見たいと思った場合、ユーザは、フォーカス位置として使用したい位置を画像表示装置１００の操作画面に入力することにより、所望の位置をフォーカス位置として使用することができる。画像表示装置１００は、ユーザが使用したフォーカス位置を示す使用位置情報を画像検索装置２００に送信する。

画像検索装置２００は、複数の画像表示装置１００から受信した使用位置情報に基づいて、フォーカス位置として使用された奥行き方向の位置の使用頻度を示す使用頻度データを生成することを特徴としている。画像検索装置２００が、使用頻度が高い位置をデフォルトフォーカス位置に設定することで、画像表示装置１００が画像検索装置２００から受信したＬＦ画像データを表示する際に、ユーザが所望するフォーカス位置に設定されたリフォーカス画像を表示できる可能性が高まる。
以下、画像表示装置１００及び画像検索装置２００の構成及び動作を詳細に説明する。

［画像表示装置１００の構成］
図９は、画像表示装置１００の構成を示す図である。画像表示装置１００は、例えばコンピュータであり、通信部１１０と、操作部１２０と、表示部１３０と、記憶部１４０と、制御部１５０とを有する。
通信部１１０は、例えばＬＡＮコントローラであり、ネットワークＮを介して、画像検索装置２００との間でデータを送受信する。

操作部１２０は、例えばキーボード又はマウスを含んで構成されており、ユーザの操作を受け付ける。
表示部１３０は、例えば液晶ディスプレイであり、ユーザの操作を受け付けるための操作画面、及び画像検索装置２００から受信したＬＦ画像データに基づいて生成したリフォーカス画像等を表示する。表示部１３０は、ＨＤＭＩ（登録商標）ケーブルを介して制御部１５０と接続された表示装置であってもよい。

記憶部１４０は、ＲＯＭ、ＲＡＭ及びハードディスク等の記憶媒体である。記憶部１４０は、制御部１５０が実行するプログラム、画像検索装置２００から受信したＬＦ画像データ、及び制御部１５０が生成する各種のデータを記憶する。
制御部１５０は、例えばＣＰＵであり、記憶部１４０に記憶されたプログラムを実行することにより、データ取得部１５１、指示取得部１５２、画像生成部１５３及び表示制御部１５４として機能する。

データ取得部１５１は、通信部１１０を介して画像検索装置２００から受信した、ＬＦ画像データ及び使用頻度データを取得する。データ取得部１５１は、例えば、フォーカス位置として使用された奥行き方向の位置の使用頻度を示す使用頻度データを取得する。データ取得部１５１は、最も使用頻度が高い位置に対応するデフォルトフォーカス位置を示すデータを、使用頻度データとして取得してもよい。

図１０は、使用頻度データの一例を示す図である。図１０に示す使用頻度データは、フォーカス位置として使用されたことがある位置と、夫々の位置が使用された割合を示す使用頻度（％）と、夫々の位置が使用された回数とを含んでいる。データ取得部１５１は、取得したＬＦ画像データ及び使用頻度データを画像生成部１５３に対して出力する。データ取得部１５１は、ＬＦ画像データ及び使用頻度データを記憶部１４０に記憶させてもよい。
なお、使用頻度データは、夫々の位置が使用された回数の代わりに、又はそれぞれの位置が使用された回数に加えて、夫々の位置が使用された状態でＬＦ画像データに基づくリフォーカス画像が閲覧された時間、又はそれぞれの位置でリフォーカス画像を閲覧した人の数を含んでもよい。

図９に戻って、指示取得部１５２は、操作部１２０を介して入力されたユーザによる指示を取得する。指示取得部１５２は、例えば、画像を検索するための検索条件、及びユーザがフォーカス位置として使用したい奥行き方向の位置を示す使用位置情報を取得する。指示取得部１５２は、検索条件及び使用位置情報を、通信部１１０を介して画像検索装置２００に送信する。また、指示取得部１５２は、使用位置情報を画像生成部１５３に対して出力する。

画像生成部１５３は、使用頻度データに基づいて決定した位置に、ＬＦ画像データのフォーカス位置を設定することにより、リフォーカス画像データを生成する。画像生成部１５３は、例えば、指示取得部１５２から入力された使用頻度データに含まれている複数の位置のうち、使用頻度が最も高いことを示している位置にフォーカスが合ったリフォーカス画像データを生成する。画像生成部１５３は、予めユーザにより指定された位置の範囲に含まれる複数の位置のうち、使用頻度が最も高い位置にフォーカスが合ったリフォーカス画像データを生成してもよい。また、画像生成部１５３は、使用頻度が最も高い位置にデフォルトフォーカス位置が設定されている場合、デフォルトフォーカス位置にフォーカス位置を設定してリフォーカス画像データを生成してもよい。

画像生成部１５３は、指示取得部１５２から、ユーザがフォーカス位置として使用したい位置を示す使用位置情報を取得した場合、フォーカス位置に設定可能な複数の位置から、使用位置情報が示す位置にフォーカス位置を設定することにより、リフォーカス画像データを生成する。画像生成部１５３は、リフォーカス画像データを生成した場合、画像生成部１５３は、リフォーカス画像データを生成したＬＦ画像データに関連付けて、使用位置情報を記憶部１４０に記憶させる。そして、画像生成部１５３は、ＬＦ画像データに基づいてリフォーカス画像データを生成する際に、当該ＬＦ画像データに関連付けて記憶部１４０に記憶された使用位置情報を参照し、使用位置情報が示す位置にフォーカス位置を設定してリフォーカス画像データを生成する。画像生成部１５３は、使用位置情報に基づいてリフォーカス画像データを生成したことを条件として、使用位置情報を記憶部１４０に記憶させてもよい。

画像生成部１５３は、リフォーカス画像データを生成する対象となるＬＦ画像データに基づいて過去にリフォーカス画像データを生成していない場合、すなわち、当該ＬＦ画像データを最初に表示する場合には、データ取得部１５１を介して取得した使用頻度データに基づいて選択した位置をフォーカス位置に設定してリフォーカス画像データを生成する。画像生成部１５３は、リフォーカス画像データを生成する対象となるＬＦ画像データに基づいて、過去にリフォーカス画像データを生成したことがあり、記憶部１４０に使用位置情報が記憶されている場合、使用位置情報が示す位置をフォーカス位置に設定してリフォーカス画像データを生成する。このようにすることで、画像生成部１５３は、ユーザが過去にフォーカスを合わせた位置にフォーカスが合ったリフォーカス画像データを生成することができるので、ユーザが、何度もフォーカス位置を変更する操作をする必要がなくなる。

表示制御部１５４は、画像生成部１５３が生成したリフォーカス画像を表示部１３０に表示させる。
図１１は、表示部１３０に表示される画面の一例を示す図である。図１１に示す画面５０１においては、リフォーカス画像５０３とともに、位置を指定する指示を取得するための位置指定画像５０４が表示されている。位置指定画像５０４には、手前側の位置「１」から奥側の位置「１０」までの範囲で移動可能なカーソル５０５が含まれている。カーソル５０５の位置を示す情報は、操作部１２０を介して指示取得部１５２へと通知され、ユーザは、カーソル５０５の位置を移動させることにより、所望の位置にフォーカス位置を設定することができる。

［画像検索装置２００の構成］
続いて、画像検索装置２００の構成について説明する。
図１２は、画像検索装置２００の構成を示す図である。画像検索装置２００は、例えばサーバであり、通信部２１０と、記憶部２２０と、制御部２３０とを有する。通信部２１０は、例えばＬＡＮコントローラであり、ネットワークＮを介して、画像表示装置１００との間でデータを送受信する。

記憶部２２０は、ＲＯＭ、ＲＡＭ及びハードディスク等の記憶媒体である。記憶部２２０は、制御部２３０が実行するプログラム、画像表示装置１００に送信するＬＦ画像ファイル、奥行き方向の複数の位置の使用頻度を示す使用頻度データ、及び制御部２３０が生成した各種データを記憶する。記憶部２２０は、例えば、ＬＦ画像データごとに、図１０に示す、奥行き方向の位置と、使用頻度と、使用された回数とが関連付けられた使用頻度データを記憶する。

制御部２３０は、例えばＣＰＵであり、記憶部２２０が記憶しているプログラムを実行することにより、画像取得部２３１、位置取得部２３２、頻度データ生成部２３３、指示取得部２３４及び検索部２３５として機能する。

画像取得部２３１は、通信部２１０を介してＬＦ画像データを取得する。画像取得部２３１は、例えば、複数の画像表示装置１００、又は他の外部装置からＬＦ画像データを取得する。画像取得部２３１は、ＵＳＢインターフェイス等の通信部２１０以外のインターフェイスを介してＬＦ画像データを取得してもよい。画像取得部２３１は、取得したＬＦ画像データを記憶部２２０に記憶させる。

位置取得部２３２は、通信部２１０を介して、画像表示装置１００のユーザがフォーカス位置として使用した奥行き方向の位置を示す使用位置情報を取得する。位置取得部２３２は、取得した使用位置情報と、使用位置情報に対応するＬＦ画像データを特定するための識別情報とを、頻度データ生成部２３３に通知する。

頻度データ生成部２３３は、位置取得部２３２から通知された使用位置情報及びＬＦ画像データの識別情報に基づいて、図１０に示すような使用頻度データを生成する。ＬＦ画像データに対して使用頻度データが既に作成されている場合、頻度データ生成部２３３は、位置取得部２３２から取得した識別情報に対応するＬＦ画像データの使用頻度データを記憶部２２０から読み出して、位置取得部２３２から取得した使用位置情報が示す位置に対応する「使用された回数」を１だけ増加させる。そして、頻度データ生成部２３３は、使用された回数の合計値に対する、使用位置情報に対応する位置が使用された回数の割合である使用頻度を算出する。頻度データ生成部２３３は、算出した使用された回数、及び使用頻度を記憶部２２０に書き込むことにより、使用頻度データを更新する。

指示取得部２３４は、画像表示装置１００から各種の指示を取得する。指示取得部２３４は、例えば、記憶部２２０に記憶された複数のＬＦ画像データから一以上のＬＦ画像データを検索するための検索条件を含む指示を取得する。検索条件は、例えば、基準となるＬＦ画像データ（以下、「基準画像データ」という）、及びフォーカス位置を含む。検索条件は、撮影部位、撮影日及び撮影者等のテキスト情報を含んでもよい。

検索部２３５は、指示取得部２３４から取得した検索条件に基づいて、記憶部２２０が記憶している複数のＬＦ画像データから、検索条件に合致する一以上のＬＦ画像データを検索する。検索部２３５は、例えば、検索条件として画像表示装置１００から送信された基準画像データに類似するＬＦ画像データを検索する。

具体的には、検索部２３５は、以下の手順により、基準画像データに類似するＬＦ画像データを検索する。まず、検索部２３５は、検索条件に含まれるフォーカス位置に設定して基準画像データを再構築することによって、基準リフォーカス画像データを生成する。続いて、検索部２３５は、記憶部２２０に記憶されているＬＦ画像データを、使用頻度が最も高い位置にフォーカス位置に設定して再構築することによって、複数の検索用リフォーカス画像データを生成する。検索部２３５は、基準リフォーカス画像データと複数の検索用リフォーカス画像データとの間の類似度合いを算出し、類似度合いが所定の値よりも大きい検索用リフォーカス画像データを抽出する。類似度合いは、例えば、基準リフォーカス画像データと複数の検索用リフォーカス画像データとの間の画像の色及びヒストグラムを用いて算出される。検索部２３５は、検索用リフォーカス画像データに対応するＬＦ画像データと類似度合いとを関連付けた類似度情報を記憶部２２０に記憶させる。

検索部２３５は、類似度合いが比較的大きいＬＦ画像データを抽出し、抽出した一以上のＬＦ画像データを、通信部２１０を介して画像表示装置１００に送信する。この際、検索部２３５は、ＬＦ画像データとともに、夫々のＬＦ画像データの使用頻度データも画像表示装置１００に送信する。

検索部２３５は、使用頻度が最も高い位置にフォーカス位置に設定して再構築した検索用リフォーカス画像データを生成することにより、検索時間を短縮することができるが、使用頻度が最も高い位置以外の位置にフォーカス位置を設定して再構築した検索用リフォーカス画像データを用いてもよい。例えば、検索部２３５は、使用頻度が所定の値よりも高い複数の位置にフォーカス位置を設定して、一つのＬＦ画像データから、複数の検索用リフォーカス画像データを生成してもよい。また、検索部２３５は、使用頻度が最も高い位置から所定の範囲内の複数の位置にフォーカス位置を設定して再構築した複数の検索用リフォーカス画像データを生成してもよい。

また、検索部２３５は、記憶部２２０から読み出した複数のＬＦ画像データのフォーカス位置を、検索条件に含まれるフォーカス位置に設定して、複数の検索用リフォーカス画像データを生成し、生成した検索用リフォーカス画像データと基準リフォーカス画像データとの類似度合いに基づいて、ＬＦ画像データを検索してもよい。

また、検索部２３５は、記憶部２２０が記憶している複数のＬＦ画像データのうち、検索条件に含まれるフォーカス位置における使用頻度が所定の値よりも高いＬＦ画像データを選択し、選択したＬＦ画像データのフォーカス位置を、使用頻度が最も大きい位置に設定することにより、検索用リフォーカス画像データを生成してもよい。このようにすることで、基準リフォーカス画像データと検索用リフォーカス画像データとの間の類似度合いを算出する対象となるＬＦ画像データを絞り込めるので、検索時間を短縮することができる。

［検索時の表示画面］
図１３は、画像表示装置１００においてユーザがＬＦ画像データを検索する際に表示される画面５０２の一例を示す図である。画面５０２には、図１１に示した画面５０１と、検索結果が表示される画面５０８とが含まれている。画面５０１においては、図１１と同様に、リフォーカス画像５０３及び位置指定画像５０４が表示されているが、検索を開始するための操作画像５０７をさらに含む点で、図１１に示した画面５０１と異なっている。

ユーザが操作画像５０７をクリックすると、指示取得部１５２は、検索を開始する指示を取得し、リフォーカス画像５０３に対応するＬＦ画像データを特定するための情報と、位置指定画像５０４において指定されたフォーカス位置を示す情報とを画像検索装置２００に送信する。

画面５０８には、画像検索装置２００から送信された検索結果が表示される。リフォーカス画像５０９は、画像検索装置２００から送信された複数のＬＦ画像データのうち、リフォーカス画像５０３に最も類似するＬＦ画像データに基づいて生成されたリフォーカス画像である。リフォーカス画像５０９の右には、フォーカス位置を指定するための位置指定画像５１０が表示されている。図１１における位置指定画像５０４と同様に、位置指定画像５１０には、ユーザがフォーカス位置を調整するためのカーソル５１１も含まれている。

位置指定画像５１０の右には、夫々の奥行き方向の位置の使用頻度を示す使用頻度画像５１２が表示されている。リフォーカス画像５０９が表示された時点で、リフォーカス画像５０９のフォーカス位置は、使用頻度が最も高い位置に設定される。図１３においては、カーソル５１１の位置における使用頻度が５０％となっている。

使用頻度画像５１２の右には、画像検索装置２００から受信された複数の類似画像を一覧表示する類似画像領域５１３が表示されている。類似画像領域５１３には、リフォーカス画像５０３に類似する順番に、複数のＬＦ画像が表示されている。類似画像領域５１３には、夫々のＬＦ画像データが使用される頻度が最も高い位置にフォーカス位置を設定した状態で、リフォーカス画像５０９よりも小さいサイズのリフォーカス画像が表示されている。

ユーザが、類似画像領域５１３に表示された複数のリフォーカス画像から所望のリフォーカス画像を選択すると、表示制御部１５４は、ユーザが選択したリフォーカス画像を、リフォーカス画像５０９に代えて表示する。この際、表示制御部１５４は、選択されたリフォーカス画像に合わせて、カーソル５１１の位置、及び使用頻度画像５１２内の数値を変更する。

［使用頻度データを作成する手順を示すフローチャート］
図１４は、画像検索装置２００が使用頻度データを作成する際の画像表示装置１００及び画像検索装置２００における処理の手順を示すフローチャートである。

まず、画像表示装置１００において、指示取得部１５２が、ユーザが閲覧したい画像の指定を受け付ける（Ｓ１０１）。例えば、表示制御部１５４は、ユーザが閲覧可能なＬＦ画像データのサムネイル画像を表示部１３０に表示させ、指示取得部１５２は、ユーザが選択したサムネイル画像に対応するＬＦ画像データを特定するための画像番号を取得する。指示取得部１５２は、取得した画像番号を含む画像取得要求を、通信部１１０を介して画像検索装置２００に送信する（Ｓ１０２）。

画像検索装置２００においては、指示取得部２３４が、通信部２１０を介して画像取得要求を取得すると（Ｓ２０１）、画像取得要求に含まれる画像番号に対応するＬＦ画像データを記憶部２２０から読み出す。指示取得部２３４は、読み出したＬＦ画像データを画像表示装置１００に送信する（Ｓ２０２）。

続いて、画像表示装置１００のデータ取得部１５１がＬＦ画像データを取得すると（Ｓ１０３）、画像生成部１５３は、取得したＬＦ画像データのデフォルトフォーカス位置にフォーカス位置が設定されたリフォーカス画像データを生成する。表示制御部１５４は、画像生成部１５３が生成したリフォーカス画像データに基づく画像を表示部１３０に表示させる（Ｓ１０４）。

ユーザが、表示部１３０に表示されたリフォーカス画像のフォーカス位置を変更する操作をすると、指示取得部１５２は、指定されたフォーカス位置を示す使用位置情報を取得する（Ｓ１０５）。指示取得部１５２は、通信部１１０を介して、ＬＦ画像データの画像番号及び使用位置情報を画像検索装置２００に送信するとともに（Ｓ１０６）、使用位置情報を画像生成部１５３に通知する。画像生成部１５３は、通知を受けた使用位置情報に対応する位置にフォーカス位置を設定したリフォーカス画像データを生成し、表示制御部１５４は、表示部１３０に表示させるリフォーカス画像を、画像生成部１５３が生成したリフォーカス画像に更新する（Ｓ１０７）。

Ｓ１０６において指示取得部１５２が送信した使用位置情報を受信した画像検索装置２００においては、位置取得部２３２が、ＬＦ画像データの画像番号及び使用位置情報を取得すると、頻度データ生成部２３３は、画像番号に対応するＬＦ画像データの使用頻度データを記憶部２２０から読み出す。頻度データ生成部２３３は、使用位置情報と記憶部２２０から読み出した使用頻度データとに基づいて、使用頻度を再計算する（Ｓ２０４）。頻度データ生成部２３３は、再計算した使用頻度に基づいて使用頻度データを更新し、更新した使用頻度データを記憶部２２０に記憶させる（Ｓ２０５）。
このようにして、画像表示装置１００及び画像検索装置２００は、使用頻度データを更新することができる。

［検索手順を示すフローチャート］
図１５は、画像表示装置１００及び画像検索装置２００における検索処理の手順を示すフローチャートである。
まず、画像表示装置１００は、図１３に示すように、リフォーカス画像５０３及び検索開始の指示を受け付ける操作画像５０７が表示された画面を表示部１３０に表示する（Ｓ３０１）。ユーザが操作画像５０７を選択する操作を行うと、指示取得部１５２は、検索指示を取得する（Ｓ３０２）。指示取得部１５２は、検索指示を取得すると、画像検索装置２００に対して、表示部１３０に表示されているリフォーカス画像の画像番号及びフォーカス位置を含む検索要求を送信する（Ｓ３０３）。

画像検索装置２００においては、指示取得部２３４が、画像表示装置１００から検索要求を受信すると（Ｓ４０１）、検索部２３５は、検索要求に含まれている画像番号に対応するＬＦ画像データを、検索要求に含まれているフォーカス位置で再構築することにより、基準リフォーカス画像データを生成する（Ｓ４０２）。

続いて、検索部２３５は、記憶部２２０に記憶されているＬＦ画像データと使用頻度データとを読み出す（Ｓ４０３）。検索部２３５は、読み出したＬＦ画像データに対応する使用頻度データが示す最も使用頻度が高い位置にフォーカス位置を設定してＬＦ画像データを再構築することにより、検索用リフォーカス画像データを生成する（Ｓ４０４）。続いて、検索部２３５は、基準リフォーカス画像データと検索用リフォーカス画像データとを比較し、類似度合いを算出する（Ｓ４０５）。検索部２３５は、算出した類似度合いに基づいて、記憶部２２０に記憶されている類似度情報を更新する（Ｓ４０６）。

検索部２３５は、Ｓ４０３からＳ４０６までの処理を、全てのＬＦ画像データの比較が終了するまで継続し（Ｓ４０７）、全ての夫々のＬＦ画像データの比較が終了すると、類似度合いが比較的大きいＬＦ画像データを選択し、選択したＬＦ画像データを画像表示装置１００に送信する（Ｓ４０８）。画像表示装置１００は、画像検索装置２００からＬＦ画像データを受信すると（Ｓ３０４）、画像生成部１５３が、受信したＬＦ画像データに基づくリフォーカス画像を生成し、表示制御部１５４が、生成されたリフォーカス画像を表示部１３０に表示する（Ｓ３０５）。

［第１の実施形態における効果］
以上説明したように、第１の実施形態における画像検索装置２００は、ＬＦ画像データに関連付けて、夫々のＬＦ画像データに基づくリフォーカス画像を画像表示装置１００が表示する際にフォーカス位置として使用された頻度を示す使用頻度データを記憶している。そして、画像表示装置１００は、使用頻度データに基づく奥行き方向の位置にフォーカス位置が設定されたリフォーカス画像を表示する。このようにすることで、ユーザは、多数のユーザがフォーカス位置として使用した位置にフォーカスが合った画像を閲覧できるので、ユーザが見たい部分にフォーカスが合った画像を閲覧できる可能性が高まる。

例えば、ＬＦ画像データが医療画像データである場合、医療画像データを閲覧する医師は、病変が生じている箇所にフォーカスが合った状態で医療画像データを閲覧する可能性が高い。画像表示装置１００は、多くの医師が閲覧した奥行き方向の位置にフォーカスがあった医療画像を表示するので、医師が医療画像を閲覧する場合に、病変の特徴を容易に確認することが可能になる。

また、第１の実施形態における画像検索装置２００は、ユーザが画像表示装置１００において指定した基準リフォーカス画像データに類似する画像を検索することができる。画像検索装置２００は、使用頻度データに基づいて、使用頻度が高い位置にフォーカス位置を設定して生成される複数の検索用リフォーカス画像データを基準リフォーカス画像データと比較することにより、ユーザにとって役立つ可能性が高いＬＦ画像データを抽出することができる。また、画像検索装置２００は、使用頻度データに基づいてフォーカス位置を設定して生成される複数の検索用リフォーカス画像データを用いて検索することにより、フォーカス位置として設定可能な全ての位置にフォーカス位置を設定した多数の検索用リフォーカス画像データを用いる場合に比べて、検索時間を短縮することができる。

＜第２の実施形態＞
第１の実施形態においては、画像検索装置２００が複数のＬＦ画像データ、及び夫々のＬＦ画像データに対応する使用頻度データを記憶し、画像表示装置１００は、画像検索装置２００から取得した使用頻度データに基づいてリフォーカス画像データを生成した。これに対して、第２の実施形態においては、画像表示装置１００が複数のＬＦ画像データ、及び夫々のＬＦ画像データに対応する使用頻度データを記憶している点で、第１の実施形態と異なる。

図１６は、第２の実施形態に係る画像管理装置３００及び表示装置４００の構成を示す図である。画像管理装置３００は、例えばコンピュータであり、表示装置４００は、例えば液晶ディスプレイである。画像管理装置３００と表示装置４００との間は、例えばＨＤＭＩケーブルにより接続されている。画像管理装置３００は、第１の実施形態における画像表示装置１００が有する機能、及び画像検索装置２００が有する機能を実現することができる。

画像管理装置３００は、入力部３１０と、操作部３２０と、記憶部３３０と、制御部３４０とを有する。
入力部３１０は、ＵＳＢメモリ及びＣＤ−ＲＯＭ等の記憶媒体に記憶されたＬＦ画像データの入力を受けるためのインターフェイスである。入力部３１０は、通信回線を介してＬＦ画像データの入力を受けるためのＬＡＮインターフェイスであってもよい。

操作部３２０は、ユーザの操作を受け付けるユーザインターフェイスであり、図９に示した画像表示装置１００における操作部１２０に対応する。
記憶部３３０は、ＲＯＭ、ＲＡＭ及びハードディスク等の記憶媒体であり、図９に示した画像表示装置１００における記憶部１４０に対応する。記憶部３３０は、複数のＬＦ画像データ、及び夫々のＬＦ画像データに対応する使用頻度データを記憶する。

制御部３４０は、例えばＣＰＵであり、記憶部３３０に記憶されたプログラムを実行することにより、データ取得部３４１、指示取得部３４２、画像生成部３４３、表示制御部３４４及び検索部３４５として機能する。

データ取得部３４１は、入力部３１０を介して、ＬＦ画像データを取得する。データ取得部３４１は、取得したＬＦ画像データを画像生成部３４３に対して出力する。また、データ取得部３４１は、取得したＬＦ画像データを記憶部３３０に記憶させる。

指示取得部３４２は、操作部３２０を介して、ユーザにより入力された指示を取得する。指示取得部３４２は、例えば、複数のＬＦ画像データのうち、ユーザが指定したＬＦ画像データを特定するための画像番号と、ユーザが指定したフォーカス位置と、を含む表示指示を取得する。また、指示取得部３４２は、記憶部３３０に記憶された複数のＬＦ画像データから一以上のＬＦ画像データを検索するための検索条件を含む検索指示を取得する。指示取得部３４２は、表示指示を画像生成部３４３に通知し、検索指示を検索部３４５に通知する。

画像生成部３４３は、図９に示した画像表示装置１００における画像生成部１５３に対応しており、ＬＦ画像データに基づいてリフォーカス画像データを生成する。画像生成部３４３は、指示取得部３４２から表示指示を受けると、表示指示に含まれている画像番号に対応する使用頻度データを記憶部３３０から読み出す。画像生成部３４３は、使用頻度データが最も高い使用頻度を示している位置にフォーカス位置を設定してＬＦ画像データを再構築することにより、リフォーカス画像データを生成する。画像生成部３４３は、生成したリフォーカス画像データを表示制御部３４４へと出力する。

画像生成部３４３は、ユーザがフォーカス位置として指定した位置を示す使用位置情報を指示取得部３４２から取得した場合、使用位置情報に対応する位置にフォーカス位置を設定したリフォーカス画像データを生成する。画像生成部３４３は、使用位置情報に基づいてリフォーカス画像データを生成した場合、記憶部３３０が記憶している使用頻度データを更新する。

表示制御部３４４は、図９に示した画像表示装置１００における表示制御部１５４に対応しており、画像生成部３４３が生成したリフォーカス画像データに基づく画像を表示装置４００に表示させる。

検索部３４５は、図１２に示した画像検索装置２００における検索部２３５に対応しており、指示取得部３４２から入力された検索指示に基づいて、記憶部３３０に格納された複数のＬＦ画像データから、検索条件に合致するＬＦ画像データを検索する。検索部３４５が実行する検索処理は、検索部２３５が実行する検索処理と同等の処理である。検索部３４５は、検索により抽出した一以上のＬＦ画像データと、夫々のＬＦ画像データにおける使用頻度が最も高い奥行き方向の位置を示す使用位置情報とを画像生成部３４３に対して出力する。画像生成部３４３は、検索部３４５から入力された使用位置情報に対応する位置にフォーカス位置を設定したリフォーカス画像データを生成する。

［第２の実施形態における効果］
第２の実施形態に係る画像管理装置３００は、記憶部３３０が、複数のＬＦ画像データ、及び夫々のＬＦ画像データに対応する使用頻度データを記憶している。そして、表示制御部３４４は、使用頻度データに基づいて決定されたフォーカス位置に設定されたリフォーカス画像を表示装置４００に表示させることができる。このようにすることで、画像管理装置３００は、ユーザがフォーカス位置として使用する頻度が高い位置にフォーカス位置が設定されたリフォーカス画像を表示することができるので、ユーザが閲覧したい状態のリフォーカス画像を表示できる可能性が高まる。その結果、ユーザがフォーカス位置を調整しないで済む可能性が高まるので、作業効率を向上させることができる。

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

１００・・・画像表示装置
１５１・・・データ取得部
１５３・・・画像生成部
１５４・・・表示制御部

Claims (5)

1. フォーカスが合った奥行き方向の位置であるフォーカス位置を撮影後に変更可能な画像データと、前記フォーカス位置として使用された奥行き方向の位置の使用頻度を示す使用頻度データと、を取得するデータ取得手段と、
   前記使用頻度データに基づいて決定した第１位置に、前記画像データの前記フォーカス位置を設定することにより、リフォーカス画像を生成する画像生成手段と、
   前記リフォーカス画像を表示手段に表示させる表示制御手段と、
   複数の前記画像データと前記使用頻度データとを関連付けて記憶するデータ記憶手段と、
   基準となる第１リフォーカス画像と、前記複数の画像データのうち、前記使用頻度が最も高い位置に前記フォーカス位置を設定して生成された一以上の第２リフォーカス画像との類似度合いに基づいて、一以上の画像データを検索する検索手段と、
   を有することを特徴とする電子機器。
2. 前記検索手段は、前記第１リフォーカス画像と、前記第１リフォーカス画像と同じ位置にフォーカス位置が設定された前記一以上の第２リフォーカス画像との類似度合いに基づいて、前記一以上の画像データを検索することを特徴とする、
   請求項１に記載の電子機器。
3. フォーカスが合った奥行き方向の位置であるフォーカス位置を撮影後に変更可能な画像データを取得するステップと、
   前記フォーカス位置として使用された奥行き方向の位置の使用頻度を示す使用頻度データを取得するステップと、
   前記使用頻度データに基づいて決定した第１位置に、前記画像データの前記フォーカス位置を設定することにより、リフォーカス画像を生成するステップと、
   前記リフォーカス画像を表示手段に表示させるステップと、
   複数の前記画像データと前記使用頻度データとを関連付けてデータ記憶手段に記憶させるステップと、
   前記複数の画像データから一以上の前記画像データを検索する条件として、基準となる第１リフォーカス画像を特定する特定情報を含む検索指示を取得するステップと、
   前記第１リフォーカス画像と、前記複数の画像データのうち、前記使用頻度が最も高い位置に前記フォーカス位置を設定して生成された一以上の第２リフォーカス画像との類似度合いに基づいて、前記一以上の画像データを検索するステップと、
   を有することを特徴とする表示制御方法。
4. 前記検索指示を取得するステップにおいて、前記特定情報とともに、前記第１リフォーカス画像の前記フォーカス位置を示す位置情報を取得し、
   前記検索するステップにおいて、前記位置情報が示す前記フォーカス位置に設定された前記第１リフォーカス画像と前記一以上の第２リフォーカス画像との類似度合いに基づいて、前記一以上の画像データを検索することを特徴とする、
   請求項３に記載の表示制御方法。
5. 請求項３又は４に記載の表示制御方法の各ステップをコンピュータに実行させるためのプログラム。