WO2016203536A1

WO2016203536A1 - 演算方法、演算プログラム及び撮像装置

Info

Publication number: WO2016203536A1
Application number: PCT/JP2015/067268
Authority: WO
Inventors: 古橋　幸人
Original assignee: オリンパス株式会社
Priority date: 2015-06-16
Filing date: 2015-06-16
Publication date: 2016-12-22
Also published as: US20180082437A1; CN107736009A; JPWO2016203536A1; US10438372B2

Abstract

画像データ入力部（１１）は、画像データの入力を受付ける。特徴部分検出部（１２）は、入力を受付けた画像データから特徴部分の代表位置を検出する。ユーザ指示位置取得部（１３）は、画像データ内におけるユーザ指示位置を取得する。位置差算出部（１４）は、検出された代表位置及び取得されたユーザ指示位置の差を示す位置差を算出する。注目部分選択部（１５）は、算出された位置差が予め定めた第１閾値未満の場合、特徴部分の代表位置を代表部分として選択し、位置差が第１閾値未満でない場合、ユーザ指示位置を注目部分として選択する。

Description

演算方法、演算プログラム及び撮像装置

　この発明は、演算方法、演算プログラム及び撮像装置に関する。

　画像データに対してユーザの意図する後処理を行うために、画像データ内の注目すべき部分を自動的に検出する手法が知られている。例えば、日本国特許第４６２５３５６号公報では、画像処理装置が、画像データ内から検出した特徴部分の位置を注目部分として選択し、当該注目部分に基づいて画像データをトリミングする技術が提案されている。日本国特許第４６２５３５６号公報の技術では、画像処理装置は、人間の顔を表す部分、ピントが合っている部分、及び水平線若しくは鉛直線の少なくとも一方を表す部分のうちの少なくとも１つを特徴部分として検出することにより、注目部分を選択する。

　一方、スマートフォンをはじめ、タッチＡＦ（Auto Focus）やタッチシャッタ機能を備えた撮像装置では、ユーザが注目したい位置を容易に指示することが可能である。

　日本国特許第４６２５３５６号公報の技術では、画像処理装置は、画像データ内から検出された特徴部分と、ユーザの操作による指示位置とが一致する場合、ユーザが注目する指示位置を注目部分として選択することができる。これに対し、日本国特許第４６２５３５６号公報の技術では、画像処理装置は、特徴部分と、ユーザの指示位置とが一致しない場合、ユーザが注目しない指示位置を注目部分として選択する可能性がある。例えば、特徴部分を狙ってユーザが指示した位置が特徴部分からずれてしまった場合、ユーザの注目しない指示位置が注目部分として選択される可能性がある。また、例えば、意図的に特徴部分から外れた位置をユーザが指示した場合においても、ユーザの注目しない特徴部分が注目部分として選択される可能性がある。

　本発明は、上記事情に鑑みてなされたもので、ユーザの意図する画像データ内の注目部分を選択することが可能な演算方法、演算プログラム及び撮像装置を提供することを目的とする。

　上記目的を達成するために、本発明の第１の態様の演算方法は、画像データの入力を受付けることと、上記入力を受付けた画像データから特徴部分の代表位置を検出することと、上記画像データ内におけるユーザ指示位置を取得することと、上記検出された代表位置及び上記取得されたユーザ指示位置を算出することと、上記算出された位置差が予め定めた第１閾値未満の場合、上記代表位置を注目部分として選択し、上記位置差が上記第１閾値未満でない場合、上記ユーザ指示位置を注目部分として選択することと、を特徴とする。

　上記目的を達成するために、本発明の第２の態様の演算プログラムは、演算装置に、画像データの入力を受付けること、上記入力を受付けた画像データから特徴部分の代表位置を検出すること、上記画像データ内におけるユーザ指示位置を取得すること、上記検出された代表位置及び上記取得されたユーザ指示位置の差を示す位置差を算出することと、上記算出された位置差が予め定めた第１閾値未満の場合、上記代表位置を注目部分として選択し、上記位置差が上記第１閾値未満でない場合、上記ユーザ指示位置を注目部分として選択すること、を実行させることを特徴とする。

　上記目的を達成するために、本発明の第３の態様の撮像装置は、撮像して得られた画像データとして出力する撮像部と、上記出力された画像データから特徴部分の代表位置を検出する特徴部分検出部と、上記画像データ内におけるユーザ指示位置を取得するユーザ指示位置取得部と、上記検出された代表位置及び上記取得されたユーザ指示位置の差を示す位置差を算出する位置差算出部と、上記算出された位置差が予め定めた第１閾値未満の場合、上記代表位置を注目部分として選択し、上記位置差が上記第１閾値未満でない場合、上記ユーザ指示位置を注目部分として選択するする注目部分選択部と、を備えることを特徴とする。

　本発明によれば、ユーザの意図する画像データ内の注目部分を選択することが可能な演算方法、演算プログラム及び撮像装置を提供することができる。

図１は、この発明の第１の実施形態に係る演算装置の機能構成の一例を示すブロック図である。図２は、第１の実施形態における演算装置の動作の一例を示すフローチャートである。図３は、第１の実施形態における画像データの一例を示す模式図である。図４は、第１の実施形態における画像データの一例を示す模式図である。図５は、第１の実施形態における画像データの一例を示す模式図である。図６は、この発明の第２の実施形態に係る演算装置の機能構成の一例を示すブロック図である。図７は、第２の実施形態における注目部分選択ロジックの一例を示す模式図である。図８は、第２の実施形態における演算装置の動作の一例を示すフローチャートである。図９は、第２の実施形態における画像データの一例を示す模式図である。図１０は、第２の実施形態における画像データの一例を示す模式図である。図１１は、この発明の第３の実施形態に係る演算装置の機能構成の一例を示すブロック図である。図１２は、第３の実施形態における演算装置の動作の一例を示すフローチャートである。図１３は、この発明の第４の実施形態に係る撮像装置の機能構成の一例を示すブロック図である。

　以下、本発明に関わる各実施形態について図面を参照して説明する。なお、以下の演算装置は、画像データから注目部分を選択する演算装置としてコンピュータを機能させるためのプログラムを用いて実現されてもよい。すなわち、演算装置は、メモリ又はＣＰＵ（Central Processing Unit）等のハードウェア資源と、当該ハードウェア資源と協働するソフトウェアのプログラムとにより、機能ブロックの機能を実現してもよい。

　［第１の実施形態］
　図１は、本発明の第１の実施形態に係る演算装置の一例の機能構成を示すブロック図である。演算装置１は、ユーザの意図を反映した後処理を行うために、画像データの特徴を利用した演算を実行する機能を有する。具体的には、演算装置１は、入力された画像データに対して検出された特徴部分の代表位置と、ユーザの指示するユーザ指示位置とのいずれかを注目部分として選択する機能を有する。ここで、後処理は、例えば、選択された注目部分に係るＡＦ又はトリミング等が挙げられる。図１に示す演算装置１は、画像データ入力部１１と、特徴部分検出部１２と、ユーザ指示位置取得部１３と、位置差算出部１４と、注目部分選択部１５とを備えている。

　画像データ入力部１１は、画像データの入力を受付ける。画像データ入力部１１は、入力を受付けた画像データを特徴部分検出部１２に送信する。なお、画像データ入力部１１に入力される画像データは、図示しない撮像部によって撮像された画像データを直接入力されてもよく、記憶媒体等を介して入力されてもよい。また、画像データは、撮像部によって撮像された画像データに限らず、ＣＧ（Computer Graphics）等の画像データでもよい。また、画像データ入力部１１は、画像データを有線通信によって入力されてもよく、無線通信によって入力されてもよい。

　特徴部分検出部１２は、画像データを画像データ入力部１１から受信し、画像データ内の特徴量を算出するための解析を実行する。特徴部分検出部１２は、解析の結果算出された特徴量に基づき、画像データから特徴部分の代表位置を検出する。特徴部分の代表位置は、例えば、２次元上に分布する画像データの配置に対応する座標として検出される。特徴部分検出部１２は、検出された画像データの特徴部分の代表位置の情報を位置差算出部１４及び注目部分選択部１５に送信する。

　ここで、画像データ内の特徴量には、人体の部位、ペット、花、料理、青空、雲等の、物として名称を有する部分において抽出される特徴的な量が適用可能である。また、特徴量により検出される特徴部分は、物として名称を有する部分に限らず、彩度及び輝度の変化量や空間周波数の高さといった指標が適用可能であり、当該指標の高い、もしくは低い部分であって、物として名称を有しない部分でもよい。

　なお、特徴部分検出部１２が検出する特徴部分は、代表位置に加えて、領域を更に含んでもよい。特徴部分の領域は、算出された特徴量が予め定められた閾値を超える領域や、特徴量が当該閾値を超える領域を少なくとも含む矩形領域等の、任意の形状として検出可能である。また、領域を有する特徴部分の代表位置は、当該領域内で最大の特徴量を有する画素の位置や、当該領域の中心等が設定可能であるが、これに限らず領域内の任意の位置が設定可能である。特徴部分検出部１２は、特徴部分が領域を含む場合、代表位置及び領域の情報を注目部分選択部１５に送信する。

　また、特徴部分検出部１２は、画像データについて実行した解析の結果に応じて、複数の特徴部分の各々の代表位置を検出してもよい。この場合、特徴部分検出部１２は、複数の特徴部分をそれぞれ独立した複数の特徴部分として識別してもよい。また、特徴部分検出部１２は、複数の特徴部分を特徴種別毎にグループ化することで１つの特徴部分として識別してもよい。特徴部分検出部１２は、検出された複数の特徴部分における各々の代表位置の情報を位置差算出部１４に送信し、検出された複数の特徴部分における各々の代表位置及び領域の情報を注目部分選択部１５に送信する。

　ここで、グループ化された特徴部分の代表位置としては、グループの中心、各特徴部分の代表位置の重心、又は各特徴部分の領域の面積で重み付けした場合の各代表位置の重心が設定可能である。また、特徴部分検出部１２は、後述する画像データのユーザ指示位置をユーザ指示位置取得部１３から受信し、当該ユーザ指示位置を用いて特徴部分の代表位置を設定してもよい。すなわち、特徴部分検出部１２は、グループ化された特徴部分の代表位置として、各特徴部分の代表位置及びユーザ指示位置の差を示す位置差（以下、「位置差」という。）で重み付けした場合の各代表位置の重心、又はユーザ指示位置に最も近い特徴部分の代表位置を設定可能である。

　ユーザ指示位置取得部１３は、ユーザの操作によって入力される操作情報に基づき、画像データのユーザ指示位置を取得する。ここで、ユーザ指示位置の例としては、ピント合わせする位置である合焦指示位置、画像処理を実行する位置である画像処理指示位置等がある。ユーザ指示位置取得部１３は、例えば、画像データが表示された画面上へのユーザのタッチ操作により操作情報を取得する。ユーザ指示位置取得部１３は、取得された操作情報に基づき、画像データ上の当該タッチされた部分の座標をユーザ指示位置として取得する。なお、ユーザ指示位置取得部１３は、画面上をタッチする方法に限らず、画面上に表示されたカーソルをユーザが移動させる方法や、座標を直接入力する方法等、任意の方法によって操作情報を取得可能である。ユーザ指示位置取得部１３は、取得したユーザ指示位置の情報を特徴部分検出部１２、位置差算出部１４及び注目部分選択部１５に送信する。

　位置差算出部１４は、特徴部分の代表位置の情報を特徴部分検出部１２から受信し、ユーザ指示位置の情報をユーザ指示位置取得部１３から受信する。位置差算出部１４は、特徴部分の代表位置及びユーザ指示位置の位置差を算出し、当該位置差の情報を注目部分選択部１５に送信する。位置差は、例えば、ユーザ指示位置及び特徴部分の代表位置の間の座標上の距離、又はユーザ指示位置及び特徴部分の代表位置の間に存在する画素数等の値として算出される。また、位置差算出部１４は、複数の特徴部分の各々の代表位置の情報を特徴部分検出部１２から受信した場合、各代表位置における位置差を算出し、注目部分選択部１５に送信する。

　注目部分選択部１５は、特徴部分の代表位置の情報を特徴部分検出部１２から受信し、ユーザ指示位置の情報をユーザ指示位置取得部１３から受信する。また、注目部分選択部１５は、位置差の情報を位置差算出部１４から受信し、当該受信した位置差に基づいて注目部分を選択する。注目部分選択部１５は、位置差が予め定めた閾値（以下、「第１閾値」という。）未満の場合、特徴部分の代表位置を注目部分として選択し、位置差が第１閾値以上の場合、ユーザ指示位置を注目部分として選択する。

　ここで、注目部分は、画像データに対して後処理を実行する際に基準とする部分である。具体的には、後処理は、撮影動作及び画像処理を含む。ここで、撮影動作の例としては、ＡＦ、ＡＥ（Auto Exposure）等の動作が含まれる。このような撮影動作の後処理では、注目部分は、位置の情報によって定義される。また、画像処理の例としては、トリミング、ホワイトバランス補正や、フレーム、アートフィルタ、アートエフェクト等の特殊効果といった、種々の処理が含まれる。このような特殊効果の後処理では、注目部分は、位置の情報に加えて、領域の情報によって定義されることが好ましい。すなわち、注目部分は、実行される後処理に応じて、上述の如き注目すべき位置による定義に限らず、注目すべき位置及び領域によって定義されてもよい。

　注目部分選択部１５は、特徴部分の領域の情報を更に受信し、当該領域の大きさに基づき、第１閾値の値を定めてもよい。すなわち、注目部分選択部１５は、領域の大きさが大きい場合、第１閾値を大きく設定し、領域の大きさが小さい場合、第１閾値を小さく設定する。この場合、第１閾値は、固定値に限らず、特徴部分の領域を代表する数値をパラメタとする関数に基づいて算出されてもよい。具体的には、第１閾値は、特徴部分の領域を代表する数値に予め定められた係数（例えば１．２）を乗じて得られる値としてもよい。ここで、特徴部分の領域を代表する数値には、例えば、当該領域を含む円の直径、当該領域を含む矩形の一辺の長さ、当該領域の面積等が適宜適用可能である。

　また、注目部分選択部１５は、複数の位置差の情報を受信した場合、当該複数の位置差に基づいて注目部分を選択する。注目部分選択部１５は、受信した各位置差が全て第１閾値以上の場合、ユーザ指示位置を注目部分と判定する。注目部分選択部１５は、各位置差が第１閾値未満となる特徴部分が存在する場合、当該特徴部分を抽出する。注目部分選択部１５は、抽出した特徴部分が１つの場合、当該特徴部分の代表位置を注目部分として選択し、複数存在する場合、最も位置差が小さい特徴部分の代表位置を注目部分として選択する。なお、注目部分選択部１５は、抽出した特徴部分が複数存在する場合、当該複数の特徴部分を１つのグループとした場合の代表位置を注目部分として選択してもよい。その場合、選択された注目部分の領域は、当該グループ化された複数の特徴部分の各代表位置又は各領域を含む領域としてもよい。

　なお、注目部分選択部１５は、複数の位置差の情報を受信した場合、複数の注目部分を選択してもよい。具体的には、注目部分選択部１５は、位置差が第１閾値未満となる特徴部分が複数抽出された場合、当該複数の特徴部分の各々の代表位置をそれぞれ注目部分として選択する。その場合、選択された注目部分の領域は、注目部分として選択された代表位置に対応する特徴部分の領域としてもよく、抽出された複数の特徴部分の領域を含む領域としてもよい。

　次に、以上のような第１の実施形態の演算装置の具体的な動作の一例について、図２に示すフローチャートを用いて説明する。

　始めに、ステップＳＴ１１０において、画像データ入力部１１は、画像データの入力を受付け、当該入力を受付けた画像データを特徴部分検出部１２に送信する。

　ステップＳＴ１２０において、特徴部分検出部１２は、受信した画像データに対して解析を実行し、特徴部分の代表位置を検出する。特徴部分検出部１２は、検出された特徴部分の代表位置の情報を位置差算出部１４及び注目部分選択部１５に送信する。

　ステップＳＴ１３０において、ユーザ指示位置取得部１３は、ユーザの操作情報に基づき、画像データ内のユーザ指示位置を取得する。ユーザ指示位置取得部１３は、取得したユーザ指示位置を位置差算出部１４及び注目部分選択部１５に送信する。

　ステップＳＴ１４０において、位置差算出部１４は、受信した特徴部分の代表位置及びユーザ指示位置の位置差を算出する。位置差算出部１４は、算出された位置差の情報を注目部分選択部１５に送信する。

　ステップＳＴ１５０において、注目部分選択部１５は、受信した位置差に基づき、注目部分を選択する。具体的には、注目部分選択部１５は、位置差が第１閾値未満か否かを判定する。注目部分選択部１５は、位置差が第１の閾値未満と判定した場合、特徴部分の代表位置を注目部分として選択し、位置差が第１の閾値未満でないと判定した場合、ユーザ指示位置を注目部分として選択する。

　以上説明したように、第１の実施形態においては、位置差算出部１４は、特徴部分検出部１２によって検出された特徴部分の代表位置と、ユーザ指示位置取得部１３により取得されたユーザ指示位置との位置差を算出する。注目部分選択部１５は、算出された位置差に基づき、注目部分を選択する。また、注目部分選択部１５は、位置差が予め定めた第１閾値未満か否かを判定し、第１閾値未満の場合、特徴部分の代表位置を注目部分として選択し、位置差が第１閾値未満でない場合、ユーザ指示位置を注目部分として選択するようにしている。これにより、ユーザが指示したユーザ指示位置及びその付近に存在する特徴部分に対して、どちらを注目部分として選択すべきかを判定することができる。

　例えば、ユーザは、画像データ内の顔を指示する意図で、画面をタッチする等してユーザ指示位置を指示する。このような場合、ユーザ指示位置取得部１３は、体等の顔以外の部位や、特徴部分として検出された顔周辺の背景領域の位置をユーザ指示位置として取得することが多い。しかしながら、演算装置１は、顔の代表位置とユーザ指示位置との位置差が第１閾値未満であることを評価することにより、顔を注目部分として選択することができる。

　また、別の例では、ユーザは、顔以外の場所を指示する意図で、顔と離れた場所の建物をユーザ指示位置として指示する。このような場合、演算装置１は、顔の代表位置とユーザ指示位置との位置差が第１閾値以上であることを評価することにより、建物を注目部分として選択することができる。

　したがって、演算装置１は、ユーザが意図した注目部分を選択でき、ユーザの意図に即した後処理を実行させることができる。後処理の例として、例えばトリミングが実行される場合、トリミング後の画像は、使用者の意図に合った被写体を含むことができる。また、後処理としてＡＦが実行される場合、使用者の意図に合った位置を合焦位置として決定し、合焦して撮影することができる。このため、注目すべき位置から微小にずれた位置をタッチしてしまった際に、タッチされた位置が合焦されてしまうことを回避することができる。したがって、微小なタッチのずれによるピンぼけ写真を画像取得することを回避することができる。

　次に、第１の実施形態に係る動作のいくつかの変形例について説明する。

　（第１の変形例）
　まず、特徴部分が領域を含む場合の第１の変形例の動作について、図３に示す画像データ１０１ａ及び図４に示す画像データ１０２ａが入力されたとして説明する。ここで、注目部分選択部１５は、画像データ１０１ａについては特徴部分の代表位置を注目部分として選択し、画像データ１０２ａについてはユーザ指示位置を注目部分として選択するものとする。なお、画像データ１０１ａ，１０２ａは、いずれも同じ画面サイズであるとする。

　ステップＳＴ１１０において、画像データ入力部１１は、画像データ１０１ａ，１０２ａの入力を受付ける。ここで、各画像データ１０１ａ，１０２ａは、被写体として人物及び背景を含む点で同じ構図であるが、画像データ１０１ａの被写体の方が画像データ１０２ａの被写体よりも大きく写っている点で異なる。

　ステップＳＴ１２０において、特徴部分検出部１２は、各画像データ１０１ａ，１０２ａについて特徴部分を検出する。特徴部分検出部１２は、各画像データ１０１ａ，１０２ａのいずれについても、被写体である人物の顔の中心を特徴部分の代表位置として検出する。ここで、画像データ１０１ａの代表位置１０１ｂと、画像データ１０２ａの代表位置１０２ｂとは、いずれも画面上の同じ位置において検出されるとする。

　また、特徴部分検出部１２は、人物の顔を含む矩形領域を特徴部分の領域として更に検出する。ここで、画像データ１０１ａの顔の領域１０１ｃは、画像データ１０２ａの顔の領域１０２ｃよりも大きい領域が検出されるとする。

　ステップＳＴ１３０において、ユーザ指示位置取得部１３は、各画像データ１０１ａ，１０２ａ内のユーザ指示位置を取得する。ユーザ指示位置取得部１３は、各画像データ１０１ａ，１０２ａのいずれについても、背景の一部分をユーザ指示位置として取得する。ここで、画像データ１０１ａのユーザ指示位置１０１ｄと、画像データ１０２ａのユーザ指示位置１０２ｄとは、いずれも画面上の同じ位置であるとする。

　ステップＳＴ１４０において、位置差算出部１４は、各画像データ１０１ａ，１０２ａ内における位置差を算出する。上述の通り、画像データ１０１ａにおける特徴部分の代表位置１０１ｂ及びユーザ指示位置１０１ｄの位置関係と、画像データ１０２ａにおける特徴部分の代表位置１０２ｂ及びユーザ指示位置１０２ｄの位置関係とは、同一である。したがって、位置差算出部１４は、各画像データ１０１ａ，１０２ａについて、同じ値の位置差を算出する。

　ステップＳＴ１５０において、注目部分選択部１５は、注目部分を選択する。注目部分選択部１５は、各画像データ１０１ａ，１０２ａ内において検出された特徴部分である人物の顔の領域の大きさに基づいて、各画像データ１０１ａ，１０２ａに適用する第１閾値を定める。ここで、画像データ１０１ａの顔の領域１０１ｃは、画像データ１０２ａの顔の領域１０２ｃよりも大きい。したがって、画像データ１０１ａに設定される第１閾値は、画像データ１０２ａに設定される第１閾値よりも大きい値が設定される。結果として、画像データ１０１ａに設定される第１閾値は位置差よりも大きく、画像データ１０２ａに設定される第１閾値は位置差よりも小さくなる。このため、注目部分選択部１５は、画像データ１０１ａについて特徴部分の代表位置である顔を注目部分として選択し、画像データ１０２ａについてユーザ指示位置である背景を注目部分として選択する。

　このように、第１の変形例では、特徴部分検出部１２は、特徴部分の領域を検出することを更に備える。注目部分選択部１５は、当該特徴部分の領域の大きさに基づいて、第１閾値を定めるようにしている。これにより、注目部分選択部１５は、特徴部分の領域の大きさに基づいてユーザによるユーザ指示位置の意図をより合理的に解釈し、注目する部分を選択することができる。

　（第２の変形例）
　次に、複数の特徴部分の各々の代表位置が検出される場合の第２の変形例の動作について、図５に示す画像データ１０３ａが入力されたとして説明する。ここで、注目部分選択部１５は、複数の特徴部分の各々の代表位置を注目部分として選択するものとする。

　ステップＳＴ１１０において、画像データ入力部１１は、画像データ１０３ａの入力を受付ける。ここで、画像データ１０３ａは、被写体として２人の人物を含み、各人物は画面上で近く、重なり合って写っている。

　ステップＳＴ１２０において、特徴部分検出部１２は、画像データ１０３ａについて特徴部分の代表位置を検出する。特徴部分検出部１２は、画像データ１０３ａの被写体である２人の人物の顔の中心をそれぞれ特徴部分の代表位置１０３ｂ，１０３ｄとして検出する。また、特徴部分検出部１２は、各人物の顔を含む２つの特徴部分の領域１０３ｃ，１０３ｅを更に検出する。

　ステップＳＴ１３０において、ユーザ指示位置取得部１３は、画像データ１０３ａ内のユーザ指示位置を取得する。ユーザ指示位置取得部１３は、画像データ１０３ａ内の各人物のいずれにも近い位置をユーザ指示位置１０３ｆとして取得する。

　ステップＳＴ１４０において、位置差算出部１４は、画像データ１０３ａ内における位置差を算出する。上述の通り、画像データ１０３ａにおける２つの特徴部分の代表位置１０３ｂ，１０３ｄとユーザ指示位置１０１ｆとの位置関係は、非常に近い。したがって、算出される２つの位置差は、いずれも第１閾値よりも小さい値が算出される。

　ステップＳＴ１５０において、注目部分選択部１５は、注目部分を選択する。ここで、算出された２つの位置差は、いずれも小さい。したがって、注目部分選択部１５は、画像データ１０３ａについて２つの特徴部分の代表位置１０３ｂ、１０３ｄを注目部分として選択する。また、注目部分選択部１５は、注目部分として選択された各特徴部分の領域１０３ｃ，１０３ｅを、各注目部分の領域としてそれぞれ設定してもよい。また、注目部分選択部１５は、各領域１０３ｃ，１０３ｅを含む領域１０３ｇを、各注目部分の領域として設定してもよい。

　このように、第２の変形例では、特徴部分検出部１２は、複数の特徴部分の各々の代表位置を検出する。注目部分選択部１５は、当該各々の代表位置と、ユーザ指示位置との位置差に基づき、複数の注目部分を選択するようにしている。これにより、注目部分選択部１５は、特徴部分が群をなしている場合に、群内の全ての特徴部分を注目部分として扱うことにより、ユーザの意図により即した後処理を実行させることができる。例えば、後処理としてトリミングが実行される場合、１枚の画像データから注目部分の異なる複数のトリミング画像を生成することができる。このため、ユーザは、バリエーション豊かなトリミング画像から、ユーザの意図に合った画像を取得することができる。また、後処理としてＡＦが実行される場合、１枚の画像データから複数の注目部分に対してフォーカスブラケット撮影を実行することができる。このため、注目部分選択部１５は、ユーザが意図しない部分を注目部分から除外しつつ、ユーザが意図する画像を含む複数の画像を提供することができる。

　［第２の実施形態］
　図６は、本発明の第２の実施形態に係る演算装置の一例の機能構成を示すブロック図である。第２の実施形態は、第１の実施形態において、撮像装置から被写体までの距離情報を更に考慮することで、よりユーザの意図する画像データ内の注目部分を選択し得る構成となっている。具体的には、図６に示す演算装置１は、距離情報取得部１６及び奥行差算出部１７を更に備える。以下では、図１と同一部分には同一符号を付してその詳しい説明を省略し、異なる部分について主に述べる。

　特徴部分検出部１２は、検出された特徴部分の代表位置を距離情報取得部１６に送信する。特徴部分検出部１２は、複数の特徴部分の各々の代表位置を検出した場合、当該複数の特徴部分の代表位置を距離情報取得部１６に送信する。ユーザ指示位置取得部１３は、取得したユーザ指示位置を距離情報取得部１６に送信する。

　距離情報取得部１６は、画像データ入力部１１に入力された画像データを撮像した撮像装置と、当該画像データ内の被写体との距離を示す距離情報を取得する。具体的には、距離情報取得部１６は、画像データ内の特徴部分の代表位置を特徴部分検出部１２から受信し、画像データ内のユーザ指示位置をユーザ指示位置取得部１３から受信する。距離情報取得部１６は、撮像装置と特徴部分の代表位置に相当する被写体との距離を示す距離情報（以下、「第１距離情報」という。）、及び撮像装置とユーザ指示位置に相当する被写体との距離を示す距離情報（以下、「第２距離情報」という。）を取得する。距離情報取得部１６は、複数の特徴部分の代表位置を特徴部分検出部１２から受信した場合、当該複数の特徴部分の代表位置について、複数の第１距離情報をそれぞれ取得する。距離情報取得部１６は、取得した各距離情報を奥行差算出部１７に送信する。

　なお、距離情報取得部１６は、ユーザによる操作によって数値等が入力されることで、距離情報を取得してもよい。また、距離情報取得部１６は、撮像部と被写体との距離を示す距離情報を、当該撮像部から取得してもよい。例えば、距離情報取得部１６は、位相差ＡＦ、ＤＦＤ（Depth from Defocus）、ライトフィールド等の手法により、撮像範囲全体の奥行に関する情報と共に距離情報を撮像部から取得してもよい。また、距離情報取得部は、図示しないレーザ等の他のセンサからの出力を用いる構成にすることにより、距離情報を撮像部から取得してもよい。

　奥行差算出部１７は、第１距離情報と、第２距離情報とを距離情報取得部１６から受信する。奥行差算出部１７は、第１距離情報及び第２距離情報に基づき、撮像装置から特徴部分の代表位置に相当する被写体までの距離と、ユーザ指示位置に相当する被写体までの距離との差（以下、「奥行差」という。）を算出する。奥行差算出部１７は、算出された奥行差の情報を注目部分選択部１５に送信する。また、奥行差算出部１７は、複数の特徴部分の各々の代表位置の距離情報を距離情報取得部１６から受信した場合、特徴部分の各々の代表位置について奥行差を算出し、注目部分選択部１５に送信する。

　注目部分選択部１５は、奥行差の情報を奥行差算出部１７から受信する。注目部分選択部１５は、奥行差及び位置差に基づいて注目部分を選択する。図７は、注目部分選択部１５による位置差及び奥行差に基づく注目部分選択ロジックの一例を示す模式図である。図７の例では、注目部分選択部１５は、位置差が第１閾値未満かつ奥行差が予め定めた閾値（以下、「第２閾値」という。）未満の場合、特徴部分の代表位置を注目部分として選択する。また、注目部分選択部１５は、位置差が第１閾値未満でない又は奥行差が第２閾値未満でない場合、ユーザ指示位置を注目部分として選択する。

　注目部分選択部１５は、上記の選択ロジックに限らず、任意の選択ロジックを適用して注目部分を選択できる。例えば、注目部分選択部１５は、第１閾値及び第２閾値の組を、固定値に限らず、位置差及び奥行差に応じて動的に設定可能である。注目部分選択部１５は、位置差及び奥行差をパラメタとする関数に応じて出力される評価値に基づいて、注目部分を選択してもよい。具体的には、注目部分選択部１５は、評価値が予め定めた閾値（以下、「第３閾値」という。）未満の場合、特徴部分の代表位置を注目部分として選択し、第３閾値以上の場合、ユーザ指示位置を注目部分として選択する。このような場合、位置差及び奥行差が小さい場合、評価値もこれに応じて小さくなるような関数が設定されることが望ましい。上述した第３閾値は、位置差及び奥行差に応じて第１閾値及び第２閾値を動的に設定した場合に対応する。

　また、注目部分選択部１５は、撮像部において設定された撮像情報を、当該撮像部から受信してもよい。注目部分選択部１５は、受信した撮像情報に基づいて、被写界深度を算出する。したがって、撮像情報としては、画像データ入力部１１に入力された画像データを撮像した際のレンズの焦点距離及びＦ値等が望ましい。注目部分選択部１５は、撮像部において設定された被写界深度に基づき、第２閾値を動的に定めてもよい。すなわち、注目部分選択部１５は、被写界深度の深さと同程度の値を第２閾値に設定する。このように第２閾値を設定することにより、奥行差が第２閾値未満の場合、特徴部分の代表位置とユーザ指示位置とは、同時にピントが合う位置関係にある場合に対応する。このように、特徴部分の代表位置とユーザ指示位置とが同時にピントが合う位置関係にある場合、注目部分選択部１５は、ユーザ指示位置と、特徴部分の代表位置との中点を注目部分の注目位置としてもよい。この場合、注目部分の領域は、ユーザ指示位置と、特徴部分の領域とを含む領域としてもよい。

　また、注目部分選択部１５は、複数の位置差及び複数の奥行差の情報を受信すると、位置差が第１閾値未満かつ奥行差が第２閾値未満となる特徴部分が存在する場合、当該特徴部分を抽出する。なお、注目部分選択部１５は、抽出した特徴部分が１つである場合、当該特徴部分の代表位置を注目部分として選択し、特徴部分が複数存在する場合、位置差及び奥行差が最も小さい特徴部分の代表位置を注目部分として選択する。また、注目部分選択部１５は、位置差及び奥行差に基づく評価値を用いた場合、当該評価値が最適となる特徴部分の代表位置を注目部分として選択してもよい。ここで、評価値が最適となる特徴部分は、位置差及び奥行差が共に小さい特徴部分である。

　また、注目部分選択部１５は、位置差が第１閾値未満かつ奥行差が第２閾値未満となる特徴部分が複数存在する場合、当該特徴部分の各々の代表位置を注目位置とする複数の注目部分を選択してもよい。この場合、各注目部分の領域は、各特徴部分の代表位置を含んでもよく、各特徴部分の領域を更に含んでもよい。また、注目部分選択部１５は、位置差が第１閾値未満かつ奥行差が第２閾値未満となる特徴部分が複数存在する場合、ユーザ指示位置を注目位置とする注目部分を更に選択してもよい。この場合、各注目部分の領域は、ユーザ指示位置と各特徴部分の代表位置を含んでもよく、各特徴部分の代表位置を更に含んでもよい。

　次に、以上のような第２の実施形態の演算装置の具体的な動作の一例について、図８に示すフローチャートを用いて説明する。まず始めに、図９に示す如き画像データ２０１ａが入力される場合の動作について説明する。ここで、注目部分選択部１５は、ユーザ指示位置２０１ｃを注目部分として選択するものとする。

　ステップＳＴ２１０において、画像データ入力部１１は、画像データ２０１ａの入力を受付け、特徴部分検出部１２に送信する。なお、画像データ２０１ａは、撮像装置から見て手前側に花束が、奥側に小物が配置された構図である。

　ステップＳＴ２２０において、特徴部分検出部１２は、画像データ２０１ａについて特徴部分の代表位置を検出する。特徴部分検出部１２は、画像データ２０１ａについて、花束の中心を特徴部分の代表位置２０１ｂとして検出する。特徴部分検出部１２は、検出された特徴部分の代表位置２０１ｂの情報を位置差算出部１４、注目部分選択部１５、及び距離情報取得部１６に送信する。

　ステップＳＴ２３０において、ユーザ指示位置取得部１３は、画像データ２０１ａ内の小物の位置をユーザ指示位置２０１ｃとして取得する。ユーザ指示位置取得部１３は、取得したユーザ指示位置２０１ｃを位置差算出部１４、注目部分選択部１５及び距離情報取得部１６に送信する。

　ステップＳＴ２４０において、位置差算出部１４は、受信した特徴部分の代表位置２０１ｂと、ユーザ指示位置２０１ｃとの位置差を算出し、注目部分選択部１５に送信する。

　ステップＳＴ２５０において、距離情報取得部１６は、撮像装置と特徴部分の代表位置２０１ｂに相当する花束との距離を示す第１距離情報及び撮像装置とユーザ指示位置２０１ｃに相当する小物との距離を示す第２距離情報を取得する。距離情報取得部１６は、取得した各距離情報を奥行差算出部１７に送信する。

　ステップＳＴ２６０において、奥行差算出部１７は、受信した第１距離情報及び第２距離情報に基づき、特徴部分の代表位置２０１ｂと、ユーザ指示位置２０１ｃとの奥行差を算出し、注目部分選択部１５に送信する。

　ステップＳＴ２７０において、注目部分選択部１５は、位置差及び奥行差に基づき、注目部分を選択する。具体的には、注目部分選択部１５は、位置差が第１閾値未満かつ奥行差が第２閾値未満であるか否かを判定する。注目部分選択部１５は、位置差が第１閾値未満かつ奥行差が第２閾値未満と判定した場合、特徴部分の代表位置を注目部分として選択する。注目部分選択部１５は、位置差が第１閾値未満でない又は奥行差が第２閾値未満でないと判定した場合、ユーザ指示位置を注目部分として選択する。図９の例の場合、花束の代表位置２０１ｂと小物の位置を示すユーザ指示位置２０１ｃとの位置差は、第１閾値未満である。しかしながら、撮像部からの花束までの距離と小物までの距離との差である奥行差は、第２閾値以上である。したがって、注目部分選択部１５は、最終的に、ユーザ指示位置２０１ｃが示す小物の位置を注目部分として選択する。

　また、注目部分選択部１５は、撮像部において設定された被写界深度に基づいて、第２閾値を定めてもよい。図９の例の場合、画像データ２０１ａを撮像した際の被写界深度が、花束と小物との奥行差より浅い場合、注目部分選択部１５は、当該奥行差より小さな値を第２閾値として設定する。したがって、奥行差は、第２閾値以上となり、注目部分選択部１５は、上述の例と同様、ユーザ指示位置２０１ｃが示す小物を注目部分として選択する。

　一方、画像データ２０１ａを撮像した際の被写界深度が、花束と小物との奥行差より深い場合、注目部分選択部１５は、当該奥行差より大きな値を第２閾値として設定する。このとき、奥行差は、第２閾値未満となり、注目部分選択部１５は、花束の代表位置２０１ｂ及び小物の位置を示すユーザ指示位置２０１ｃのいずれも注目部分として選択する。なお、この場合、花束と小物とは、いずれもピントが合った状態となる。注目部分選択部１５は、小物の位置を示すユーザ指示位置２０１ｃと、花束の代表位置２０１ｂとを含む領域２０１ｅを注目部分の領域として設定してもよい。また、注目部分選択部１５は、小物の位置を示すユーザ指示位置２０１ｃと、花束の領域２０１ｄとを含む領域２０１ｆを注目部分の領域として設定してもよい。

　次に、図１０に示す如き画像データ２０２ａが入力され、複数の特徴部分が検出される場合の動作について、上述の例と同様に説明する。なお、画像データ２０２ａは、撮像装置から見て手前側に花束が、奥側に人物が配置された構図である。また、特徴部分検出部１２は、人物の顔の代表位置２０２ｂと、花束の代表位置２０２ｃとを特徴部分として検出する。ユーザ指示位置取得部１３は、人物の体の中心であり、顔の代表位置２０２ｂと花束の代表位置２０２ｃとからほぼ同じ位置差の位置をユーザ指示位置２０２ｄとして取得するものとする。

　図１０の例の場合、顔の代表位置２０２ｂにおける位置差は、第１閾値未満であり、奥行差は、第２閾値未満である。一方、花束の代表位置２０２ｃにおける位置差は、第１閾値未満であるが、奥行差は、第２閾値以上である。したがって、注目部分選択部１５は、最終的に、顔の代表位置２０２ｂを注目部分として選択する。

　また、注目部分選択部１５は、撮像装置において設定された被写界深度に基づいて、第２閾値を定めてもよい。図１０の例の場合、画像データ２０２ａを撮像した際の被写界深度が、各代表位置２０２ｂ，２０２ｃとユーザ指示位置２０２ｄとの奥行差のいずれより深い場合、注目部分選択部１５は、各奥行差より大きな値が第２閾値として設定される。この場合、各代表位置２０２ｂ，２０２ｃ及びユーザ指示位置２０２ｄは、いずれもピントが合った状態となる。このとき、注目部分選択部１５は、各代表位置２０２ｂ，２０２ｃ及びユーザ指示位置２０２ｄのいずれも注目部分として選択する。注目部分選択部１５は、人物の中心位置を示すユーザ指示位置２０２ｄと、顔の代表位置２０２ｂとを含む領域２０１ｅを注目部分の領域として設定してもよい。また、注目部分選択部１５は、人物の中心位置を示すユーザ指示位置２０２ｄと、花束の代表位置２０２ｃとを含む領域２０２ｆ等の領域を注目部分の領域として設定してもよい。領域２０２ｅ，２０２ｆは、各特徴部分の領域を含んでもよい。また、注目部分選択部１５は、各特徴部分の領域を含む領域２０２ｇを注目部分の領域として設定してもよい。

　以上説明したように、第２の実施形態においては、距離情報取得部１６は、撮像装置と、特徴部分の代表位置に相当する被写体及びユーザ指示位置に相当する被写体との距離を示す距離情報を取得する。奥行差算出部１７は、各距離情報に基づき、奥行差を算出する。注目部分選択部１５は、位置差に加え、奥行差に更に基づき、注目部分を選択する。また、注目部分選択部１５は、位置差が第１閾値未満かつ奥行差が第２閾値未満か否かを判定する。注目部分選択部１５は、位置差が第１閾値未満かつ当該奥行差が第２閾値未満と判定した場合、特徴部分の代表位置を注目部分として選択し、位置差が第１閾値未満でない又は奥行差が第２閾値未満でないと判定した場合、ユーザ指示位置を注目部分として選択するようにしている。これにより、ピントが合っていない特徴部分の代表位置を注目部分として選択しないように、判定することができる。

　例えば、ユーザは、手前にある特徴部分である花を前ぼけの要素として、奥にある小物を撮影する意図で、小物をユーザ指示位置として指示する。この場合、前ぼけの色味を小物にかぶせるためには、手前の花の付近に、奥の小物を配置することになる。したがって、手前の花と奥の小物との位置差は、第１閾値未満であると判定されることが多い。しかしながら、注目部分選択部１５は、手前の花と奥の小物との奥行差が第２閾値以上であることを評価することにより、奥の小物を注目部分として選択することができる。したがって、注目部分選択部１５は、ユーザが意図した注目部分を選択でき、ユーザの意図に即した後処理を実行させることができる。後処理の例として、例えばトリミングが実行される場合、ピントが合っていない手前の花を注目部分としたトリミング処理が実行されることを回避することができる。

　また、注目部分選択部１５は、撮像装置において設定された被写界深度に基づいて第２閾値を定めるようにしている。これにより、特徴部分の代表位置が注目部分として選択される場合、注目部分選択部１５は、ユーザ指示位置と代表位置とが被写界深度の範囲内にあることを保証できる。また、ユーザ指示位置と代表位置とが被写界深度の範囲内にある場合、注目部分選択部１５は、ユーザ指示位置と代表位置とをいずれも注目部分として選択することができる。したがって、よりユーザの意図に即した注目部分を選択できる。

　また、特徴部分検出部１２は、複数の特徴部分を検出する。注目部分選択部１５は、当該複数の特徴部分の各々の代表位置及びユーザ指示位置の位置差に基づき、複数の注目部分を選択するようにしている。これにより、注目部分選択部１５は、複数の特徴部分から、位置差又は奥行差の大きい特徴部分を除き、ユーザ指示位置から位置差及び奥行差の小さい特徴部分を注目部分として複数選択することができる。例えば、集合写真や群生している花、及びテーブルいっぱいに並んだ料理を撮影し、後処理としてトリミングを実行しようとする場合、いずれもピントが合った状態の特徴部分が検出される場合がある。このような場合、当該複数の特徴部分をいずれも注目部分として選択することにより、１枚の画像データから注目部分の異なる複数のトリミング画像を生成することができる。このため、ユーザは、バリエーション豊かなトリミング画像から、ユーザの意図に合った画像を取得することができる。

　［第３の実施形態］
　図１１は、本発明の第３の実施形態に係る演算装置の一例の機能構成を示すブロック図である。第３の実施形態は、第１の実施形態において、時系列の複数の画像データが入力された場合に特徴部分の信頼度を考慮することで、より注目部分を適切に選択し得る構成となっている。具体的には、図１１に示す演算装置１は、第１の実施形態に係る演算装置１の機能構成に加えて、信頼度算出部１８を更に備える。以下では、図１と同一部分には同一符号を付してその詳しい説明を省略し、異なる部分について主に述べる。なお、第３の実施形態は、第１の実施形態に限らず、第２の実施形態に対しても適用可能である。

　画像データ入力部１１は、時系列の複数の画像データ（以下、「時系列画像データ」という。）の入力を受付ける。画像データ入力部１１は、入力を受付けた時系列画像データを特徴部分検出部１２に送信する。入力される時系列画像データは、例えば、撮像装置による撮影前の一定期間に得られるライブビュー画像であってもよい。

　画像データ入力部１１は、時系列画像データの入力を受付けた後、更に注目部分が選択される画像データの入力を受付ける。画像データ入力部１１は、当該画像データを特徴部分検出部１２に送信する。なお、当該注目部分が選択される画像データは、時系列画像データの最終フレームの画像データとして時系列画像データと共に特徴部分検出部１２に送信されてもよい。

　特徴部分検出部１２は、時系列画像データを画像データ入力部１１から受信し、時系列画像データ内の特徴量を算出するための解析を順次実行する。特徴部分検出部１２は、解析の結果算出された画像データ毎の特徴量に基づき、画像データ毎に特徴部分の代表位置を検出する。特徴部分検出部１２は、検出された時系列画像データの代表位置の情報を信頼度算出部１８に送信する。また、特徴部分検出部１２は、注目部分が選択される画像データ内の代表位置の情報を位置差算出部１４及び注目部分選択部１５に送信する。

　また、特徴部分検出部１２は、特徴部分の領域を検出する場合、時系列画像データ内の特徴部分の領域の情報を信頼度算出部１８に送信する。また、特徴部分検出部１２は、注目部分が選択される画像データ内の特徴部分の領域の情報を注目部分選択部１５に送信する。

　ユーザ指示位置取得部１３は、ユーザの操作によって入力される操作情報に基づき、画像データのユーザ指示位置を取得する。ユーザ指示位置取得部１３は、入力された操作情報に基づき、画像データ上の当該タッチされた部分の座標をユーザ指示位置として取得する。ユーザ指示位置取得部１３は、取得したユーザ指示位置の情報を特徴部分検出部１２、位置差算出部１４、及び注目部分選択部１５に送信する。なお、ユーザ指示位置取得部１３によって取得されるユーザ指示位置は、注目部分が選択される画像データに対して取得される。

　信頼度算出部１８は、時系列画像データの特徴部分の代表位置の情報を特徴部分検出部１２から受信する。信頼度算出部１８は、時系列データ内の特徴部分の代表位置の移動量を時系列に解析し、代表位置の変化量（以下、「代表位置変化量」という。）を算出する。信頼度算出部１８は、算出された代表位置変化量に基づき、特徴部分の信頼度を算出する。信頼度算出部１８は、算出した信頼度を注目部分選択部１５に送信する。ここで、信頼度算出部１８は、代表位置変化量が小さければ信頼度が高くなり、代表位置変化量が大きければ信頼度が低くなるような代表位置変化量の関数を用いて信頼度を算出することが好ましい。また、信頼度は、連続的な値に限らず、信頼度判定のために予め設定した閾値に対して２値表現となるように算出されてもよい。

　また、信頼度算出部１８は、複数の画像データの特徴部分の領域の情報を更に特徴部分検出部１２から受信してもよい。この場合、信頼度算出部１８は、代表位置変化量に加え、領域の変化量（以下、「領域変化量」という。）を算出し、代表位置変化量及び領域変化量に基づき、信頼度を算出する。

　位置差算出部１４は、特徴部分の代表位置の情報を特徴部分検出部１２から受信し、ユーザ指示位置の情報をユーザ指示位置取得部１３から受信し、位置差を算出する。位置差算出部１４は、算出された位置差の情報を注目部分選択部１５に送信する。

　注目部分選択部１５は、検出された特徴部分の信頼度を信頼度算出部１８から更に受信する。注目部分選択部１５は、位置差と信頼度とに基づいて注目部分を選択する。具体的には、注目部分選択部１５は、信頼度に基づいて第１閾値を定める。すなわち、注目部分選択部１５は、信頼度が高い場合、第１閾値を大きく設定し、信頼度が低い場合、第１閾値を小さく設定する。注目部分選択部１５は、位置差が第１閾値未満の場合、特徴部分の代表位置を注目部分として選択し、位置差が第１閾値未満でない場合、ユーザ指示位置を注目部分として選択する。

　また、注目部分選択部１５は、位置差及び信頼度をパラメタとする関数に応じて出力される評価値に基づいて、注目部分を選択してもよい。具体的には、注目部分選択部１５は、評価値が予め定めた閾値（以下、「第４閾値」という。）未満の場合、特徴部分の代表位置を注目部分として選択し、第４閾値以上の場合、ユーザ指示位置を注目部分として選択する。このような場合、位置差が大きく信頼度が低い場合、評価値もこれに応じて大きくなるような関数が設定されることが望ましい。また、位置差が小さく信頼度が高い場合、評価値もこれに応じて小さくなるような関数が設定されることが望ましい。上述した第４閾値は、位置差及び信頼度に応じて第１閾値を動的に設定した場合に対応する。

　次に、以上のような第３の実施形態の演算装置の具体的な動作の一例について、図１２に示すフローチャートを用いて説明する。なお、以下の説明では、注目部分は、時系列画像データの最終フレームに対して選択されるものとして説明する。

　始めに、ステップＳＴ３１０において、画像データ入力部１１は、時系列画像データの入力を受付け、当該入力を受付けた時系列画像データを特徴部分検出部１２に送信する。

　ステップＳＴ３２０において、特徴部分検出部１２は、受信した時系列画像データの各画像データに対して解析を実行し、特徴部分の代表位置を検出する。特徴部分検出部１２は、検出された時系列画像データ内の時系列の代表位置の情報を信頼度算出部１８に送信する。特徴部分検出部１２は、注目部分が選択される画像データ内の代表位置の情報を位置差算出部１４及び注目部分選択部１５に送信する。また、特徴部分検出部１２は、領域の情報を更に含む特徴部分を検出する場合、時系列画像データ内の領域の情報を信頼度算出部１８に送信する。また、特徴部分検出部１２は、注目部分が選択される画像データ内の特徴部分の領域の情報を注目部分選択部１５に送信する。

　ステップＳＴ３３０において、信頼度算出部１８は、時系列画像データの代表位置の情報を受信し、代表位置変化量を算出する。信頼度算出部１８は、算出された代表位置変化量に基づき、特徴部分の信頼度を算出する。また、信頼度算出部１８は、時系列画像データの特徴部分の領域の情報を更に受信する場合、代表位置変化量に加えて領域変化量を算出する。信頼度算出部１８は、算出された代表位置変化量及び領域変化量に基づき、信頼度を算出する。信頼度算出部１８は、算出された信頼度を注目部分選択部１５に送信する。

　ステップＳＴ３４０において、ユーザ指示位置取得部１３は、ユーザからの操作情報が入力されたか否かを判定し、操作情報が入力された場合、ステップＳＴ３５０を実行する。画像データ入力部１１、特徴部分検出部１２、及び信頼度算出部１８は、操作情報の入力がされるまでステップＳＴ３１０－ＳＴ３３０を繰り返す。

　ステップＳＴ３５０において、ユーザ指示位置取得部１３は、ユーザの操作情報に基づき、注目部分が選択される画像データ内のユーザ指示位置を取得する。ユーザ指示位置取得部１３は、取得したユーザ指示位置を位置差算出部１４及び注目部分選択部１５に送信する。

　ステップＳＴ３６０において、位置差算出部１４は、受信した特徴部分の代表位置の情報及びユーザ指示位置の情報に基づき、位置差を算出する。位置差算出部１４は、算出された位置差の情報を注目部分選択部１５に送信する。

　ステップＳＴ３７０において、注目部分選択部１５は、受信した位置差及び信頼度に基づき、注目部分を選択する。具体的には、注目部分選択部１５は、信頼度の大きさに基づいて第１閾値を定める。また、注目部分選択部１５は、特徴部分の領域の情報を更に受信した場合、注目部分の選択の前に、特徴部分の領域の大きさに更に基づいて第１閾値を定めてもよい。注目部分選択部１５は、位置差が第１閾値未満か否か判定する。注目部分選択部１５は、位置差が第１閾値未満と判定した場合、特徴部分の代表位置を注目部分として選択し、位置差が第１閾値未満でないと判定した場合、ユーザ指示位置を注目部分として選択する。

　以上説明したように、第３の実施形態においては、画像データ入力部１１は、時系列の画像データの入力を受付ける。特徴部分検出部１２は、入力された時系列の画像データの各々から特徴部分を検出する。信頼度算出部１８は、特徴部分の代表位置の時系列変化に基づき、特徴部分の信頼度を算出する。注目部分選択部１５は、信頼度及び位置差に基づき、注目部分を選択するようにしている。これにより、動く特徴部分の信頼度は低く算出され当該動く特徴部分の代表位置とユーザ指示位置との位置差に対する第１閾値は小さく設定される。したがって、よりユーザの意図に即した注目部分を適切に選択できる。

　例えば、ユーザは、人通りの多い場所の建物を撮影する意図で、建物をユーザ指示位置として指示する。このような状況では、注目部分を選択する際、特徴部分として検出される通行人の顔が、ユーザ指示位置として指示された建物に近づいている場合がある。しかしながら、信頼度算出部１８は、特徴部分である通行人の顔が動いていることから、当該通行人の顔に対して低い信頼度を算出する。注目部分選択部１５は、これに伴い通行人の顔に対して第１閾値を小さく設定する。したがって、注目部分選択部１５は、建物と通行人の顔との位置差が第１閾値以上であると評価することにより、建物を注目部分として選択することができる。後処理の例としてトリミングが実行される場合、ユーザが意図する後処理として、建物を注目部分とするトリミング処理が実行される。

　［第４の実施形態］
　本発明の第４の実施形態は、第１乃至第３の実施形態のいずれかの演算装置１を備えるデジタルカメラ（以下、カメラという。）に係る。以下では、図１と同一部分には同一符号を付してその詳しい説明を省略し、異なる部分について主に述べる。図１３は、本発明の第４の実施形態に係る撮像装置の一例としてのカメラの機能構成を示すブロック図である。図１３に示すカメラ２０は、レンズ交換式のカメラを例示している。しかしながら、以下で説明する第４の実施形態の技術は、レンズ交換式のカメラにのみ適用されるものではない。

　図１３に示すカメラ２０は、交換レンズ１００と、カメラボディ２００とを備えている。交換レンズ１００は、カメラボディ２００に設けられた図示しないレンズマウントを介してカメラボディ２００に着脱自在に構成されている。交換レンズ１００がカメラボディ２００に装着されることによって、交換レンズ１００とカメラボディ２００とが通信自在に接続される。

　交換レンズ１００は、撮影レンズ１０１と、絞り機構１０２と、フォーカス駆動機構１０３と、絞り駆動機構１０４と、レンズＣＰＵ（Central Processing Unit）１０５と、を備えている。撮影レンズ１０１は、図示しない被写体からの光を、カメラボディ２００の内部の撮像素子２０４に結像させるための光学系である。撮影レンズ１０１は、フォーカスレンズを有し、フォーカスレンズは、図１３の一点鎖線で示す光軸方向に駆動されて撮影レンズ１０１のフォーカスを調整する。絞り機構１０２は、撮影レンズ１０１を介して撮像素子２０４に入射する被写体からの光の量を調整する。

　フォーカス駆動機構１０３は、モータ等を有し、レンズＣＰＵ１０５の制御のもと、フォーカスレンズをその光軸方向に駆動させる。絞り駆動機構１０４は、モータ等を有し、レンズＣＰＵ１０５の制御のもと、絞り機構１０２を開閉駆動させる。レンズＣＰＵ１０５は、交換レンズ１００がカメラボディ２００に装着された際に通信端子１０６を介してカメラボディ２００内のシーケンスコントローラ（ボディＣＰＵ）２２０１と通信自在に接続される。このレンズＣＰＵ１０５は、ボディＣＰＵ２２０１からの制御に従ってフォーカス駆動機構１０３や絞り駆動機構１０４の動作を制御し、被写界深度等のパラメタを調整する。

　カメラボディ２００は、フォーカルプレーンシャッタ（シャッタ）２０１と、シャッタ駆動機構２０２と、フィルタ群２０３と、撮像素子２０４と、撮像素子駆動回路２０５と、前処理回路２０６と、ＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）２０７と、記録媒体２０８と、フラッシュメモリ２０９と、モニタ駆動回路２１０と、背面モニタ２１１と、タッチセンサ２１２と、操作部２１３と、着脱検知スイッチ２１４と、電源供給回路２１５と、電池２１６と、制御回路２１７と、を備えている。

　シャッタ２０１は、撮像素子２０４の光電変換面に対して進退自在に配置されている。このシャッタ２０１は、シャッタ駆動機構２０２によって駆動されて撮像素子２０４の光電変換面を露出状態又は遮光状態とする。シャッタ駆動機構２０２は、ボディＣＰＵ２２０１の制御に従ってシャッタ２０１を開閉駆動させる。このようなシャッタ２０１の駆動によって撮像素子２０４の露光時間が調整される。

　フィルタ群２０３は、撮影レンズ１０１を介して入射してくる光の赤外成分を除去する赤外カットフィルタや撮影レンズ１０１を介して入射してくる光の高周波成分を除去するローパスフィルタといった複数のフィルタを有している。

　撮像素子２０４は、複数の画素が配置された光電変換面を有し、撮影レンズ１０１を介して光電変換面上に結像された被写体からの光を電気信号（画像信号）に変換する。撮像素子駆動回路２０５は、入出力回路２２１１を介したボディＣＰＵ２２０１からの指示に従って撮像素子２０４を駆動制御するとともに、撮像素子２０４で得られた画像信号の読出しを制御する。前処理回路２０６は、撮像素子駆動回路２０５を介して撮像素子２０４から読出された画像信号に対してノイズ除去や増幅等のアナログ処理や、アナログ処理した画像信号をデジタル信号（画像データ）に変換する処理といった前処理を行う。

　このように、交換レンズ１００、シャッタ２０１、シャッタ駆動機構２０２、フィルタ群２０３、撮像素子２０４、撮像素子駆動回路２０５、及び前処理回路２０６は、撮像部としても機能する。すなわち、撮像部は、撮像して得られた画像データを制御回路２１７内の演算装置１に出力する機能を有する。

　ＳＤＲＡＭ２０７は、前処理回路２０６において得られたデータ等を一時格納しておくためのバッファメモリである。記録媒体２０８は、例えばカメラボディ２００に対して着脱自在に構成されたメモリカードであり、圧縮伸長回路２２０７において圧縮された画像データを記録する。フラッシュメモリ２０９は、ボディＣＰＵ２２０１によって読出される制御プログラムやカメラボディ２００の各種の設定値等を記憶するメモリである。

　モニタ駆動回路２１０は、ビデオ信号出力回路２２０８から入力されたビデオ信号に従って背面モニタ２１１を駆動し、背面モニタ２１１の画面上に画像を表示させる。

　背面モニタ２１１は、カメラボディ２００の背面に露出するように配置されている。この背面モニタ２１１は、モニタ駆動回路２１０によって駆動されて、圧縮伸長回路２２０７で伸長された画像等の各種の画像を表示する。また、本実施形態における背面モニタ２１１は、ユーザ指示位置を取得するための画面の表示も行う。ユーザ指示位置は、各種の後処理を実行する際に選択される注目部分の候補として取得される。後処理の例としては、ＡＦ、ＡＥ、ホワイトバランス補正、トリミング、特殊効果の付与等がある。タッチセンサ２１２は、背面モニタ２１１と一体的に設けられており、ユーザの指の接触をユーザからの操作情報として検出する。ここで、タッチセンサ２１２として、抵抗膜方式や静電容量方式等、各種の方式のタッチセンサを用いることが可能である。タッチセンサ２１２は、操作情報に基づいてユーザ指示位置を取得する。

　操作部２１３は、電源スイッチ、シャッタボタン、設定ボタン、操作ダイヤル、といった各種の操作部である。電源スイッチは、ユーザがカメラボディ２００の電源のオンオフを指示するための操作部である。シャッタボタンは、ユーザが撮影実行の指示をするための操作部である。設定ボタンは、ユーザが各種の後処理等に応じたユーザ指示位置を指示するための操作部群である。操作ダイヤルは、ダイヤル式の操作部である。この操作ダイヤルも各種の後処理等に応じたパラメタ設定を行うために用いられる。なお、設定ボタンと操作ダイヤルの機能は、タッチセンサ２１２に割り当てられてもよい。

　このように、背面モニタ２１１及びタッチセンサ２１２、又は操作部２１３は、ユーザ指示位置取得部としても機能する。ユーザ指示位置取得部は、画像データ内におけるユーザ指示位置を取得し、制御回路２１７内の演算装置１に出力する機能を有する。例えば、背面モニタ２１１は、後処理としてＡＦが実行される場合、ライブビューが表示される画面を表示する。タッチセンサ２１２は、ユーザがタッチした座標又は当該座標を移動操作して得られた座標を、ＡＦ点のユーザ指示位置として演算装置１に出力する。

　なお、ユーザ指示位置取得部は、上述の構成によって操作情報を取得する手法に限らず、種々の構成をとることによって操作情報を取得してもよい。例えば、ユーザ指示位置取得部は、ユーザが特定の位置でフォーカスロックした後に撮影方向をずらして撮影する場合、ＡＦ点のずれ量を考慮してユーザ指示位置を取得してもよい。また、ユーザ指示位置取得部は、フォーカスロックした局所画像をずらした画像から探索することによりずれ量を算出してもよい。また、ユーザ指示位置取得部は、加速度センサやジャイロセンサ等の図示しないセンサによってずれ量を算出してもよい。また、ユーザ指示位置取得部は、ＭＦ（Manual Focus）によって合焦状態を確認するために拡大表示した領域の中心や、フォーカスピーキング機能によって特定される合焦領域の中心又は重心をユーザ指示位置として取得してもよい。いずれにしても、ユーザ指示位置取得部は、画像データ内におけるユーザ指示位置を取得し、制御回路２１７内の演算装置１に送信する機能を有する。

　着脱検知スイッチ２１４は、カメラボディ２００に交換レンズ１００が装着された際にオンするスイッチであり、オンすることによって、カメラボディ２００に交換レンズ１００が装着されたことを示す信号を操作入力検知回路２２１０に出力する。

　電源供給回路２１５は、電池２１６の電圧をカメラボディ２００の各ブロックが必要とする電圧に変換する。そして、電源供給回路２１５は、変換した電池２１６の電圧をカメラボディ２００の各ブロックに供給する。電池２１６は、例えば２次電池であって、カメラボディ２００の電源として機能する。

　制御回路２１７は、カメラボディ２００の各種の動作を制御する。この制御回路２１７は、シーケンスコントローラ（ボディＣＰＵ）２２０１と、コントラストＡＦ回路２２０２と、ＳＤＲＡＭ制御回路２２０３と、フラッシュメモリ制御回路２２０４と、記録媒体制御回路２２０５と、画像処理回路２２０６と、圧縮伸長回路２２０７と、ビデオ信号出力回路２２０８と、タッチセンサ入力回路２２０９と、操作入力検知回路２２１０と、入出力回路２２１１と、通信回路２２１２と、データバス２２１３と、演算装置１と、を備えている。

　ボディＣＰＵ２２０１は、制御回路２１７内の各回路の動作を統括して制御する。また、本実施形態におけるボディＣＰＵ２２０１は、制御部としての機能も有し、演算装置１から出力される注目部分の情報に従って各種の後処理のシーケンス制御も行う。ここで、ＡＦ、ＡＥ等の後処理のシーケンス制御は、撮像部の動作の制御を含む。また、トリミング、ホワイトバランス補正等の画像処理、特殊効果の付与等の後処理のシーケンス制御は、画像処理回路２２０６の動作の制御を含む。

　コントラストＡＦ回路２２０２は、撮像素子２０４を介して得られる画像データから画像のコントラストを評価するための評価値を算出する。ボディＣＰＵ２２０１は、この評価値及び演算装置１から出力される注目部分の情報に従ってフォーカスレンズのＡＦ制御を行う。ここで、算出される評価値は、レンズ駆動量に基づく撮像部と被写体との距離を示す距離情報を含む。ボディＣＰＵ２２０１は、当該距離情報を演算装置１に送信してもよい。

　このように、コントラストＡＦ回路２２０２及びボディＣＰＵ２２０１は、撮像部と被写体との距離を示す距離情報を取得する距離情報取得部としても機能する。なお、距離情報取得部は、上述の構成によってコントラストＡＦの過程で距離情報を取得する手法に限らず、種々の構成をとることによって種々の手法で距離情報を取得してもよい。例えば、像面位相差ＡＦ機能を有する場合、特徴部分の代表位置又はユーザ指示位置に近接する位相差画素から算出される距離の値を距離情報として取得することも合理的である。また、像面位相差ＡＦ機能を有する場合に取得される距離情報は、近接する複数の位相差画素から算出される距離の値を、当該各位相差画素の位置から代表位置又はユーザ指示位置までの位置の差分を重みとして平均したものであってもよい。いずれにしても、距離情報取得部は、撮像部と被写体との距離を示す距離情報を取得し、当該距離情報を演算装置１へ送信する機能を有する。また、距離情報取得部は、撮像部によって撮像された画像データの被写界深度の情報を、演算装置１に出力する機能を有していてもよい。

　ＳＤＲＡＭ制御回路２２０３は、ＳＤＲＡＭ２０７へのデータの書込み及び読出しを制御する。フラッシュメモリ制御回路２２０４は、フラッシュメモリ２０９へのデータの書込み及び読出しを制御する。記録媒体制御回路２２０５は、記録媒体２０８へのデータの書込み及び読出しを制御する。

　画像処理回路２２０６は、前処理回路２０６において得られ、ＳＤＲＡＭ２０７に格納された画像データに対して各種の画像処理を施す。この画像処理は、画像の色バランスを補正するホワイトバランス補正処理、画像の色を補正する色補正処理、画像の階調を補正する階調補正処理等の後処理が含まれる。画像処理回路２２０６は、各種の画像処理を開始する前に、演算装置１において選択された画像データ内の注目部分の情報を受信する。画像処理回路２２０６は、当該注目部分に基づき、画像処理を実行する。画像処理回路２２０６において画像処理された画像データはＳＤＲＡＭ２０７に再び格納される。圧縮伸長回路２２０７は、画像処理後の画像データを読出し、読出した画像データをＪＰＥＧ方式等の所定の圧縮形式で圧縮する。また、圧縮伸長回路２２０７は、画像の再生時には、圧縮済みの画像データを読出し、読出した画像データを伸長することも行う。

　ビデオ信号出力回路２２０８は、ＳＤＲＡＭ２０７から画像データを読み出し、読み出した画像データをビデオ信号に変換してモニタ駆動回路２１０に出力する。タッチセンサ２１２とともに入力検出部として機能するタッチセンサ入力回路２２０９は、タッチセンサ２１２からの信号から、タッチセンサ２１２上におけるユーザの指のタッチ位置や指の動きを解析し、解析した結果をボディＣＰＵ２２０１に出力する。

　操作入力検知回路２２１０は、操作部２１３の各操作部の操作状態を検知し、検知結果をボディＣＰＵ２２０１に通知する。操作入力検知回路２２１０を介して操作部の操作が検知された場合に、ボディＣＰＵ２２０１は、操作された操作部の操作内容に応じた制御を実行する。

　入出力回路２２１１は、撮像素子駆動回路２０５やシャッタ駆動機構２０２の制御を行うための信号を制御回路２１７から出力するためのインターフェース回路である。通信回路２２１２は、カメラボディ２００のボディＣＰＵ２２０１と交換レンズ１００のレンズＣＰＵ１０５との通信を行うための各種処理を行う。データバス２２１３は、前処理回路２０６において得られた画像データや画像処理回路２２０６で処理された画像データ等の種々のデータを転送するための転送路である。

　演算装置１は、撮像部によって撮影された画像データ、及びユーザ指示位置取得部によって取得されたユーザ指示位置の入力を受付ける。また、演算装置１は、距離情報取得部によって取得された距離情報の入力を受付けてもよい。演算装置１は、入力された画像データに対して、順次第１乃至第３の実施形態で説明した演算処理を行う。当該演算処理が実行されると、演算装置１は、各種の後処理に使用するため、画像データ内で選択された注目部分の情報をボディＣＰＵ２２０１に送信する。ボディＣＰＵ２２０１によって実行制御された各種の後処理が反映された画像データは、背面モニタ２１１に表示され、ユーザに提示される。

　以上説明したように、第４の実施形態においては、撮像部は、撮像して得られた画像データを出力する。ユーザ指示位置取得部は、画像データ内におけるユーザ指示位置を取得する。演算装置１は、第１乃至第３の実施形態で説明した通り、注目部分を選択するようにしている。これにより、ユーザの意図した注目部分が適切に選択され、ユーザの意図した後処理を実行することができる。また、背面モニタ２１１は、ユーザの意図する後処理が実行された画像をユーザに提示する。これにより、ユーザの使用感を損ねることなく、種々の後処理が実行された画像を提供することができる。

　以上各実施形態に基づいて本発明を説明したが、本発明は上述した各実施形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形や応用が可能である。すなわち、第４の実施形態の技術は、例えば、スマートフォン等の携帯端末が有するカメラのように、レンズを交換しないカメラに適用してもよい。また、第４の実施形態の技術は、撮像部及び制御回路２１７と、ユーザ指示位置取得部とが構造的に分離し、或いは撮像部と、制御回路２１７及びユーザ指示位置取得部とが構造的に分離し、互いに無線通信する形態の撮像装置にも適用可能である。

　また、上述した各実施形態における演算装置による各処理の手法、即ち、各フローチャートに示す処理は、何れも制御回路２１７に実行させることができるプログラムとして記憶させておくこともできる。この他、メモリカード（ＲＯＭカード、ＲＡＭカード等）、磁気ディスク（フロッピー（登録商標）ディスク、ハードディスク等）、光ディスク（ＣＤ－ＲＯＭ、ＤＶＤ等）、半導体メモリ等の外部記憶装置に格納して配布することができる。ここで、外部記憶装置は、非一時的なコンピュータ読取可能な記憶媒体（non transitory computer readable storage medium）と呼んでもよい。そして、制御回路２１７は、この外部記憶装置の記憶媒体に記憶されたプログラムを読込み、この読込んだプログラムによって動作が制御されることにより、上述した処理を実行することができる。

　また、前述の各動作フローチャートの説明において、便宜上「まず」、「次に」等を用
いて動作を説明しているが、この順で動作を実施することが必須であることを意味するも
のではない。

　さらに、上記各実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。例えば、各実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態に亘る構成要素を適宜組み合せてもよい。

Claims

　画像データの入力を受付けることと、
　前記入力を受付けた画像データから特徴部分の代表位置を検出することと、
　前記画像データ内におけるユーザ指示位置を取得することと、
　前記検出された代表位置及び前記取得されたユーザ指示位置の差を示す位置差を算出することと、
　前記算出された位置差が予め定めた第１閾値未満の場合、前記特徴部分の代表位置を注目部分として選択し、前記位置差が前記第１閾値未満でない場合、前記ユーザ指示位置を注目部分として選択することと
　を備える演算方法。
　前記特徴部分の領域を検出することを更に備え、
　前記第１閾値は、前記特徴部分の領域の大きさに基づいて定められる
　請求項１に記載の演算方法。
　前記画像データを取得した撮像部と前記特徴部分の代表位置に対応する被写体との距離を示す第１距離情報、及び前記撮像部と前記ユーザ指示位置に対応する被写体との距離を示す第２距離情報をそれぞれ取得することと、
　前記第１距離情報が示す距離と、前記第２距離情報が示す距離との差を示す奥行差を算出することと、を更に備え、
　前記注目部分を選択することは、前記位置差が前記第１閾値未満かつ前記奥行差が予め定めた第２閾値未満の場合、前記特徴部分の代表位置を注目部分として選択し、前記位置差が前記第１閾値未満でない又は前記奥行差が前記第２閾値未満でない場合、前記ユーザ指示位置を注目部分として選択することを含む、
　請求項１に記載の演算方法。
　前記第２閾値は、前記撮像部において設定された被写界深度に基づいて定められる
　請求項３に記載の演算方法。
　前記代表位置を検出することは、複数の特徴部分の各々の代表位置を検出することを含み、
　前記注目部分を選択することは、前記検出された各々の代表位置と、前記取得されたユーザ指示位置との位置差に基づき、複数の注目部分を選択することを含む、
　請求項１に記載の演算方法。
　前記画像データの入力を受付けることは、時系列の画像データの入力を受付けることを含み、
　前記代表位置を検出することは、前記入力された時系列の画像データの各々から代表位置を検出することを含み、
　前記検出された代表位置の時系列変化に基づき、当該代表位置の信頼度を算出することを更に備え、
　前記注目部分を選択することは、前記算出された信頼度と、前記検出された各代表位置及び前記取得されたユーザ指示位置の差を示す位置差とに基づき、注目部分を選択することを含む、
　請求項１に記載の演算方法。
　演算装置に、
　画像データの入力を受付けることと、
　前記入力を受付けた画像データから特徴部分の代表位置を検出することと、
　前記画像データ内におけるユーザ指示位置を取得することと、
　前記検出された特徴部分の代表位置及び前記取得されたユーザ指示位置の差を示す位置差を算出することと、
　前記算出された位置差が予め定めた第１閾値未満の場合、前記特徴部分の代表位置を注目部分として選択し、前記位置差が前記第１閾値未満でない場合、前記ユーザ指示位置を注目部分として選択することと、
　を実行させるためのプログラム。
　撮像して得られた画像データを出力する撮像部と、
　前記画像データから特徴部分の代表位置を検出する特徴部分検出部と、
　前記画像データ内におけるユーザ指示位置を取得するユーザ指示位置取得部と、
　前記検出された特徴部分の代表位置及び前記取得されたユーザ指示位置の差を示す位置差を算出する位置差算出部と、
　前記算出された位置差が予め定めた第１閾値未満の場合、前記特徴部分の代表位置を注目部分として選択し、前記位置差が前記第１閾値未満でない場合、前記ユーザ指示位置を注目部分として選択する注目部分選択部と、
　を備える撮像装置。