JP5828070B2 - 撮像装置および撮像方法 - Google Patents

Description

本発明は、撮影者の頭部に装着される撮像装置およびその撮像装置による撮像方法に関する。

従来、撮影者の頭部に装着されて使用される撮像装置（以下、「頭部装着型撮像装置」という）が提案されている（例えば、特許文献１を参照）。特許文献１の頭部装着型撮像装置によれば、撮影者は、撮影時に両手が自由となり、撮影操作を意識することなく、他の作業を行いながら被写体を撮影することができる。さらに、特許文献１の頭部装着型撮像装置は、撮影者の視線方向あるいは頭部の動きに基づいて、撮影画像のカッティング、ぶれ補正、あるいは電子ズーミングを行うことにより、撮影者の意思を反映した編集処理を行うことができる。

また、撮影者の意思を反映してズーミングを行う頭部装着型撮像装置も提案されている（例えば、特許文献２を参照）。ここで、特許文献２に開示されている従来の頭部装着型撮像装置について、図１５を参照しながら説明する。

図１５は、従来の頭部装着型撮像装置が備えるファインダに表示される撮影画面の一例を示す図である。この頭部装着型撮像装置は、撮影画面に対する撮影者の視線位置を検出する。そして、視線位置の分布が撮影画面中の望遠指定領域もしくは中央領域に集中しているときには、頭部装着型撮像装置は、望遠側へのズーミング（ズームイン）を開始する。一方、視線位置の分布が図１５に示すように広角指定領域もしくは周辺領域に集中しているときには、頭部装着型撮像装置は、広角側へのズーミング（ズームアウト）を開始する。これにより、撮影者は、ファインダに表示される撮影画面を確認しながら、ズーミングを開始または終了することができる。

特開２００５−２５２７３２号公報 特許第２９３４７１６号公報

しかしながら、上記従来技術では、以下に示すような課題がある。

特許文献１の頭部装着型撮像装置は、電子ズーミングを開始するタイミングを決定することはできるが、電子ズーミングを行う際の具体的な画角を決定することはできないという課題を有する。例えば、図１６の（ａ）に示す被写体が撮影される場合、特許文献１の頭部装着型撮像装置は、視線位置の変動が所定時間内、一定値以下になったことを判定し、被写体に対しズーミングを開始する。しかし、特許文献１の頭部装着型撮像装置は、例えば図１６の（ｂ）のように、ズーミングを適度な画角で止めることができないので、過度に被写体が拡大された画像を撮影する可能性がある。

また、特許文献２の頭部装着型撮像装置も、ズーミングの開始および終了のタイミングを決定することはできるが、画角そのものを適切に決定することはできないという課題を有する。例えば、撮影者は、ファインダの端の領域を意識的に見ることにより、頭部装着型撮像装置にズームアウトを開始させることができる。そして、撮影者は、ファインダの端の領域を見ることをやめることにより、頭部装着型撮像装置にズームアウトを終了させることができる。

つまり、特許文献２の頭部装着型撮像装置では、撮影者は、カメラを操作するために、見たいわけではない領域を見る必要があり、撮影すべき被写体を見ることができない。その結果、頭部装着型撮像装置は、カメラを操作しているという意識を撮影者に与えてしまい、頭部装着型撮像装置の利点を損ねる可能性がある。また、特許文献２の頭部装着型撮像装置は、ファインダを備える必要があるので、装置構成が複雑になるという課題もある。

そこで、本発明は、上記課題を解決するためになされたものであって、撮像装置が撮影者の頭部に装着される場合に、ズーム画角を適切に決定することができる撮像装置および撮像方法を提供することを目的とする。

上記目的を達成するために、本発明の一態様に係る撮像装置は、撮影者の頭部に装着される撮像装置であって、前記撮影者の視線方向を検出する視線検出部と、前記視線方向のばらつきが小さいほどズーム画角が小さくなるように、ズーム画角を決定するズーム画角決定部と、前記ズーム画角に従って被写体を撮影する撮像部とを備える。

この構成によれば、撮像装置は、撮影者の視線方向のばらつきが小さいほどズーム画角が小さくなるように、ズーム画角を決定することができる。つまり、撮像装置は、撮影者が見ている領域に適応してズーム画角を適切に決定することが可能となる。また、撮影者は、ズーム画角を決定するためだけに視線方向を変化させる必要がない。したがって、撮像装置は、撮影者に撮影操作を意識させることなく、撮影者が見ている被写体を撮影することが可能となる。また、撮像装置は、ズーム画角を決定するためにファインダを備える必要がなく、装置構成を簡易にすることが可能となる。

また、前記撮像装置は、さらに、前記撮影者および前記被写体のうちの少なくとも一方の撮影時の状況を示す撮影状況パラメータを取得する撮影状況パラメータ取得部を備え、前記ズーム画角決定部は、前記撮影状況パラメータおよび前記視線方向のばらつきに基づいて前記ズーム画角を決定することが好ましい。

この構成によれば、撮像装置は、視線方向のばらつきに加えて撮影状況パラメータに基づいてズーム画角を決定することができるので、より適切にズーム画角を決定することが可能となる。

また、前記撮影状況パラメータ取得部は、前記撮影者の頭部の動きの大きさを示す体動量を前記撮影状況パラメータとして検出する体動検出部を備え、前記ズーム画角決定部は、前記体動量が大きいほど、前記視線方向のばらつきに対して前記ズーム画角が大きくなるように、前記ズーム画角を決定することが好ましい。

この構成によれば、撮像装置は、体動量が大きいほど、視線方向のばらつきに対してズーム画角が大きくなるように、ズーム画角を決定することができる。したがって、撮像装置は、撮影画像のぶれを抑制することができ、撮影画像の画質の安定化を図ることができる。

また、前記撮影状況パラメータ取得部は、前記被写体までの距離を示す距離情報を、前記撮影状況パラメータとして計測する距離計測部を備え、前記ズーム画角決定部は、前記距離情報から得られる前記被写体までの距離が大きいほど、前記視線方向のばらつきに対して前記ズーム画角が大きくなるように、前記ズーム画角を決定することが好ましい。

この構成によれば、撮像装置は、被写体までの距離が大きいほど、視線方向のばらつきに対してズーム画角が大きくなるように、ズーム画角を決定することができる。したがって、撮像装置は、撮影者が遠方の被写体を見ている場合に、ズーム画角が極端に小さくなることを抑制し、過剰に被写体にズームインされた画像を撮影することを抑制することができる。

また、前記撮影状況パラメータ取得部は、前記被写体の動きを示す動き情報を、前記撮影状況パラメータとして検出する動き検出部を備え、前記ズーム画角決定部は、前記動き情報から得られる前記被写体の動きと前記視線方向の動きとの相関が高いほど、前記視線方向のばらつきに対して前記ズーム画角が小さくなるように、前記ズーム画角を決定することが好ましい。

この構成によれば、撮像装置は、被写体の動きと視線方向の動きとの相関が高いほど、視線方向のばらつきに対してズーム画角が小さくなるように、ズーム画角を決定することができる。したがって、撮像装置は、撮影者が被写体を追尾している場合には、視線方向のばらつきが大きくなってもズーム画角が大きくならないように、ズーム画角を決定することができる。

また、前記撮像部は、前記視線方向に従って光学系を駆動することにより、前記視線方向に位置する前記被写体を撮影することが好ましい。

この構成によれば、撮像装置は、視線方向に従って光学系を駆動することにより、視線方向に位置する被写体を撮影することができる。つまり、撮像装置は、撮影者が見ている被写体を、決定されたズーム画角で撮影することができ、撮影者の意図に合った領域を撮影することが可能となる。

また、前記ズーム画角決定部は、前記視線方向のばらつきの中心と光軸方向との差を表す値が大きいほど、前記視線方向のばらつきに対して前記ズーム画角が大きくなるように、前記ズーム画角を決定することが好ましい。

この構成によれば、撮像装置は、視線方向のばらつきの中心と光軸方向との差を表す値が大きいほど、視線方向のばらつきに対してズーム画角が大きくなるように、ズーム画角を決定することができる。したがって、撮像装置は、視線方向に従って光学系を駆動することができない場合であっても、撮影者が見ている被写体が撮影されるようにズーム画角を適切に決定することが可能となる。

また、前記視線方向のばらつきは、所定時間内における前記視線方向の標準偏差で表されることが好ましい。

この構成によれば、視線方向のばらつきは、所定時間内における視線方向の標準偏差で表される。したがって、視線方向のばらつきを適切に表すことができ、ズーム画角を適切に決定することができる。

また、前記視線検出部は、前記撮影者の眼電位に基づいて前記視線方向を検出することが好ましい。

この構成によれば、撮像装置は、撮影者の眼電位に基づいて視線方向を検出することができる。したがって、撮像装置は、視線方向を検出するための構成を簡易にすることができるので、撮影者の視界を妨げないように撮影者の頭部に装着されることが可能となる。

また、前記撮像装置は、さらに、前記視線方向の時間変化に基づいて、前記撮影者の眼球運動の特徴を示す眼球運動パラメータを取得する眼球運動パラメータ取得部を備え、前記ズーム画角決定部は、前記眼球運動パラメータおよび前記視線方向のばらつきに基づいて前記ズーム画角を決定することが好ましい。

この構成によれば、撮像装置は、視線方向のばらつきに加えて眼球運動パラメータに基づいてズーム画角を決定することができるので、より適切にズーム画角を決定することが可能となる。

また、前記眼球運動パラメータ取得部は、前記視線方向の時間変化に基づいて、所定時間内におけるサッケードの発生回数を前記眼球運動パラメータとして検出するサッケード検出部を備え、前記ズーム画角決定部は、前記サッケードの発生回数が多いほど、前記視線方向のばらつきに対して前記ズーム画角が大きくなるように、前記ズーム画角を決定することが好ましい。

この構成によれば、撮像装置は、サッケードの発生回数が多いほど、視線方向のばらつきに対してズーム画角が大きくなるように、ズーム画角を決定することができる。一般的に、サッケードが頻発している場合、人は、特定の被写体を注視している可能性が低い。つまり、撮像装置は、撮影者が被写体を注視していないときに、過剰に被写体にズームインされた画像を撮影することを抑制することができる。

また、前記眼球運動パラメータ取得部は、前記視線方向の時間変化に基づいて、所定時間内における追従運動の発生回数を前記眼球運動パラメータとして検出する追従運動検出部を備え、前記ズーム画角決定部は、前記追従運動の発生回数が多いほど、前記視線方向のばらつきに対して前記ズーム画角が小さくなるように、前記ズーム画角を決定することが好ましい。

この構成によれば、撮像装置は、追従運動の発生回数が多いほど、視線方向のばらつきに対してズーム画角が小さくなるように、ズーム画角を決定することができる。したがって、撮像装置は、撮影者の視線方向が被写体の動きに追従している場合には、視線方向のばらつきが大きくなってもズーム画角が大きくならないように、ズーム画角を適切に決定することができる。

また、前記視線検出部と前記ズーム画角決定部とは集積回路として構成されてもよい。

なお、本発明は、このような撮像装置として実現することができるだけでなく、このような撮像装置が備える特徴的な構成要素の動作をステップとする撮像方法として実現することができる。また、本発明は、このような撮像方法に含まれる各ステップをコンピュータに実行させるプログラムとして実現することもできる。そして、そのようなプログラムは、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等の非一時的な記録媒体あるいはインターネット等の伝送媒体を介して配信することができるのは言うまでもない。

本発明によれば、頭部装着型の撮像装置において、ズーム画角を適切に決定することができる。

本発明の実施の形態１に係る撮像装置の構成を示すブロック図 本発明の実施の形態１に係る撮像装置が撮影者の頭部に装着された状態の一例を示す図 本発明の実施の形態１に係る距離計測部が計測する距離情報を説明するための図 本発明の実施の形態１に係る距離計測部が計測する距離情報の一例を示す図 本発明の実施の形態１に係る動き検出部が動き情報を検出する処理の一例を説明するための図 本発明の実施の形態１に係る動き検出部が検出する動き情報の一例を示す図 本発明の実施の形態１に係る撮像装置の処理動作を示すフローチャート 本発明の実施の形態１に係るズーム画角決定部によって決定されるズーム画角と視線方向の標準偏差との関係を説明するための図 本発明の実施の形態１に係るズーム画角決定部によって決定されるズーム画角と視線方向の標準偏差との関係を説明するための図 本発明の実施の形態１に係るズーム画角決定部によって決定されるズーム画角と視線方向の標準偏差との関係を説明するための図 本発明の実施の形態１に係るズーム画角決定部によって決定されるズーム画角と視線方向の標準偏差との関係を説明するための図 本発明の実施の形態１に係るズーム画角決定部によって決定されるズーム画角と視線方向の標準偏差との関係を説明するための図 本発明の実施の形態１に係るズーム画角決定部によって決定されるズーム画角と視線方向の標準偏差との関係を説明するための図 本発明の実施の形態１における体動量と変換値との関係の一例を示す図 本発明の実施の形態１における距離と変換値との関係の一例を示す図 本発明の実施の形態１における動き相関と変換値との関係の一例を示す図 本発明の実施の形態１に係る撮像部の動作の一例を示す図 本発明の実施の形態１に係る撮像部によって撮影される撮影画像の一例を示す図 本発明の実施の形態１に係る撮像部の動作の一例を示す図 本発明の実施の形態１に係る撮像部によって撮影される撮影画像の一例を示す図 本発明の実施の形態２に係る撮像装置の構成を示すブロック図 本発明の実施の形態２に係る撮像装置の処理動作を示すフローチャート 眼球運動を説明するための図 本発明の実施の形態３に係る撮像装置の構成を示すブロック図 本発明の実施の形態３に係る撮像装置の処理動作を示すフローチャート 本発明の実施の形態３に係る撮像装置の眼球運動パラメータに関する処理動作を示すフローチャート 本発明の実施の形態３におけるサッケード回数と変換値との関係の一例を示す図 本発明の実施の形態３における追従回数と変換値との関係の一例を示す図 従来の頭部装着型撮像装置が備えるファインダに表示される撮影画面の一例を示す図 従来の撮像装置におけるズーム動作の一例を示す図

以下、図面を参照しながら、本発明の実施の形態について説明する。なお、以下で説明する実施の形態は、いずれも本発明の好ましい一具体例を示す。つまり、以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置および接続形態、ステップ、ステップの順序などは、本発明の一例であり、本発明を限定する主旨ではない。本発明は、請求の範囲の記載によって限定される。したがって、以下の実施の形態における構成要素のうち、本発明の最上位概念を示す独立請求項に記載されていない構成要素は、本発明の課題を達成するために必ずしも必要ではないが、より好ましい形態を構成する構成要素として説明される。

（実施の形態１）
図１は、本発明の実施の形態１に係る撮像装置１００の構成を示すブロック図である。図１に示される撮像装置１００は、視線検出部１０１と、撮影状況パラメータ取得部１１０と、ズーム画角決定部１０２と、撮像部１０３とを備える。

視線検出部１０１は、撮影者の視線方向を検出する。具体的には、視線検出部１０１は、例えば、角膜と網膜との間の発生電位（眼電位）に基づいて視線方向を検出するＥＯＧ法、スポットライトを眼球に入射することによって角膜内部に生じる虚像の動きを検出する角膜反射法、角膜と強膜との反射率の違いを利用する強反射法、またはコンタクトレンズを用いる方法等を用いることによって、撮影者の視線方向を検出する。本実施の形態では、視線検出部１０１がＥＯＧ法を用いて撮影者の視線方向を検出する場合を一例として挙げる。

ＥＯＧ法とは、人間の角膜が網膜に対して正に帯電していることを利用した視線検出方法である。具体的には、人間の眼球付近に貼り付けられた少なくとも１つの電極から計測される電位の変化に基づいて、視線方向が検出される。

視線検出部１０１がＥＯＧ法を用いて視線方向を検出することによって、撮像装置１００は、例えば、図２に示すように撮影者に装着されることができ、撮影者の視界を妨げずに、視線方向に位置する被写体を撮影することができる。つまり、撮像装置１００は、視線方向を検出するための構成を簡易にすることができるので、撮影者の視界を妨げないように撮影者の頭部に装着されることが可能となる。

撮影状況パラメータ取得部１１０は、撮影状況パラメータを取得する。撮影状況パラメータとは、撮影者および被写体のうちの少なくとも一方の撮影時の状況を示す情報である。具体的には、撮影状況パラメータとは、例えば、撮影者および被写体のうちの少なくとも一方の動きを示す情報である。また例えば、撮影状況パラメータとは、撮影者と被写体との間の位置関係を示す情報である。

本実施の形態では、撮影状況パラメータは、撮影者の頭部の動きの大きさを示す体動量と、撮像装置１００から被写体までの距離を示す距離情報と、被写体の動きを示す動き情報とを含む。なお、撮影状況パラメータは、必ずしも、体動量、距離情報および動き情報のうちの全てを含む必要はない。例えば、撮影状況パラメータは、体動量、距離情報および動き情報のうちの１つまたは２つだけを含む情報であっても構わない。

図１に示すように、撮影状況パラメータ取得部１１０は、体動検出部１１１と、距離計測部１１２と、動き検出部１１３とを備える。

体動検出部１１１は、体動量を撮影状況パラメータとして検出する。体動量とは、撮影者の頭部の動きの大きさを示す。つまり、体動量とは、撮像装置１００の装着部位の動きの大きさを示す。言い換えると、体動量は、撮像装置１００の動きの大きさを示す。

具体的には、体動検出部１１１は、例えば、撮像装置１００に内蔵された３軸加速度センサから得られるＸＹＺ軸方向の各出力値（Ａｘ、Ａｙ、Ａｚ）の二乗和平方値Ａｘｙｚ（＝ｓｑｒｔ（Ａｘ²＋Ａｙ²＋Ａｚ²））を算出する。そして、体動検出部１１１は、算出した二乗和平方値Ａｘｙｚを体動量Ｘ０として、ズーム画角決定部１０２に出力する。

なお、本実施の形態では、体動検出部１１１は、３軸加速度センサを用いて体動量を検出したが、角速度センサなどを用いて体動量を検出してもよい。つまり、体動検出部１１１は、撮像装置１００が装着された撮影者の頭部の動きの大きさが検出できれば、どのように体動量を検出しても構わない。

また、本実施の形態では、体動量Ｘ０として、二乗和平方値Ａｘｙｚが用いられたが、絶対値和等の動きの大きさを示す値であれば、どのような値が用いられても構わない。

距離計測部１１２は、被写体までの距離を示す距離情報を、撮影状況パラメータとして計測する。例えば、距離計測部１１２は、撮像装置１００に内蔵された赤外線距離センサを用いて、図３Ａのような被写体に赤外線を照射し、被写体からの反射光をフォトダイオードで受光することにより、図３Ｂのような距離画像を生成する。図３Ｂの距離画像は、白い領域ほど距離が近く、黒い領域ほど距離が遠いことを表す。例えば、距離画像が８ビット階調であれば、画素値０が最も遠く、画素値２５５が最も近いことを表す。そして、距離計測部１１２は、生成した距離画像を距離情報として、ズーム画角決定部１０２に出力する。

なお、本実施の形態では、距離計測部１１２は、赤外線距離センサを用いて被写体までの距離を計測したが、超音波距離センサなどを用いて距離を計測してもよい。つまり、距離計測部１１２は、撮像装置１００から被写体までの距離が計測できれば、どのように距離を計測しても構わない。

動き検出部１１３は、被写体の動きを示す動き情報を撮影状況パラメータとして検出する。例えば、動き検出部１１３は、撮像部１０３が取得した撮影画像をｎ×ｍ個のブロックに分割し（以後、ｎ−１かつｍ−１番目のブロックを（ｎ−１，ｍ−１）と記載する）、ブロック毎に動きベクトルを検出する。

動きベクトル検出の具体例を、図４Ａおよび図４Ｂを用いて説明する。図４Ａの（ａ）は、時刻ｔ−１の撮影画像を示し、図４Ａの（ｂ）が時刻ｔの撮影画像を示す。ここでは、時刻ｔの撮影画像における動きベクトルを時刻ｔ−１の撮影画像を参照して検出する例について説明する。

まず、動き検出部１１３は、時刻ｔの撮影画像をｎ×ｍ個のブロックに分割する。そして、動き検出部１１３は、分割したブロック毎に時刻ｔ−１の撮影画像とのマッチングを行う。ここで、動き検出部１１３は、ブロック毎に、マッチングのコストが最も小さい位置を特定することにより、そのブロックの動きベクトルを検出する。マッチングのコストとしては、ＳＡＤ（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）などが用いられればよい。

図４Ｂに、時刻ｔの撮影画像における動きベクトル検出結果の一例を示す。図４Ｂに示すように、時刻ｔ−１から時刻ｔにかけて動いている物体が存在する領域に動きベクトルが検出される。動き検出部１１３は、得られた各ブロックの動きベクトルを動き情報として、ズーム画角決定部１０２に出力する。

なお、本実施の形態では、ブロックマッチングを行うことにより被写体の動きを検出する方法を一例として説明したが、Ｌｕｃａｓ−Ｋａｎａｄｅ法などの他の方法により被写体の動きが検出されてもよい。また、時刻ｔ−１の撮影画像が参照画像として用いられたが、時刻ｔ−１より前の時刻の撮影画像あるいは時刻ｔより後の撮影画像が参照画像として用いられても構わない。

ズーム画角決定部１０２は、撮影状況パラメータおよび視線方向のばらつきに基づいてズーム画角を決定する。本実施の形態では、ズーム画角決定部１０２は、視線検出部１０１が検出した視線方向と、撮影状況パラメータ取得部１１０が取得した体動量、距離情報および動き情報とを用いて、ズーム画角を決定する。

具体的には、ズーム画角決定部１０２は、視線方向のばらつきが小さいほどズーム画角が小さくなるように、ズーム画角を決定する。つまり、ズーム画角決定部１０２は、所定時間内における視線方向のばらつきに基づいて、ズーム画角を決定する。

さらに、ズーム画角決定部１０２は、体動量が大きいほど、視線方向のばらつきに対してズーム画角が大きくなるように、ズーム画角を決定する。また、ズーム画角決定部１０２は、距離情報から得られる被写体までの距離が大きいほど、視線方向のばらつきに対してズーム画角が大きくなるように、ズーム画角を決定する。また、ズーム画角決定部１０２は、動き情報から得られる被写体の動きと視線方向の動きとの相関が高いほど、視線方向のばらつきに対してズーム画角が小さくなるように、ズーム画角を決定する。

撮像部１０３は、決定されたズーム画角に従って、被写体を撮影する。本実施の形態では、撮像部１０３は、視線方向に従って光学系（図示せず）を駆動することにより、視線方向に位置する被写体を撮影する。具体的には、撮像部１０３は、例えば、光軸方向が視線方向のばらつきの中心と一致するように、かつ、決定されたズーム画角の領域が撮影されるように、撮像装置１００が備える光学系を駆動する。

なお、光学系は、必ずしも撮像装置１００に備えられる必要はない。例えば、光学系は、撮像装置１００に着脱可能な構成であってもよい。

以下に、図５を参照して、ズーム画角決定部１０２がズーム画角を決定する手順を説明する。

図５は、本発明の実施の形態１に係る撮像装置１００の処理動作を示すフローチャートである。

まず、視線検出部１０１は、撮影者の視線方向を検出する（Ｓ１０００）。具体的には、視線検出部１０１は、例えば予め定められたサンプリング間隔で視線方向を順次検出する。

ここでは、視線方向は、光軸方向に対する角度で表される。なお、視線方向は、必ずしも光軸方向に対する角度で表される必要はなく、例えばベクトルまたは撮影画像上の座標などで表されても構わない。

ズーム画角決定部１０２は、所定時間内における視線方向の標準偏差σを、視線方向のばらつきを表す値として計算する（Ｓ１００１）。所定時間は、例えば、視線方向が一定数以上検出されるために必要な時間であればよい。

続いて、ズーム画角決定部１０２は、パラメータ値αに初期値６．０を設定する（Ｓ１００２）。なお、このステップＳ１００２の処理は、必ずしも実行される必要はない。例えば、パラメータ値αの初期値は予め設定されていてもよい。

このパラメータ値αは、ズーム画角θｚを決定するため値である。本実施の形態では、パラメータ値αは、ズーム画角θｚを決定する際に、以下の（式１）のように用いられる。つまり、本実施の形態では、パラメータ値αが大きいほどズーム画角θｚが大きくなる。

θｚ＝σ×α （式１）

ここで、パラメータ値αの初期値について詳細に説明する。

一般的に、人は、オブジェクトを認識する場合、そのオブジェクトの輪郭部および内部を見る傾向が高い。そのため、所定時間内における視線方向の標準偏差を求めれば、撮影者が見ていた領域の画角を求めることができる。

ここで、本実施の形態では、ズーム画角決定部１０２は、パラメータ値αの初期値を６．０に設定する。つまり、パラメータ値αが初期値である場合には、ズーム画角決定部１０２は、視線方向の標準偏差σよりもやや大きい画角をズーム画角と決定する。このようにパラメータ値αの初期値が設定されることで、撮像装置１００は、撮影画像中に注視物体（被写体）が占める割合を抑えることができる。

例えば、図６Ａのように、パラメータ値αが初期値６．０である場合に、実空間上での視線方向の標準偏差σが１５°であれば、ズーム画角決定部１０２は、ズーム画角θｚを（式１）より９０°と決定する。そして、撮像部１０３は、決定されたズーム画角θｚに従って図６Ｂのように撮影する。

また例えば、図６Ｃのように、パラメータ値αが初期値６．０である場合に、視線方向の標準偏差σが５°と小さくなれば、ズーム画角決定部１０２は、ズーム画角θｚを（式１）より３０°と決定する。そして、撮像部１０３は、決定されたズーム画角θｚに従って、図６Ｄのように撮影者が注目している領域を撮影する。

また例えば、図６Ｅのように、パラメータ値αが初期値６．０である場合に、視線方向の標準偏差σが１０°と図６Ｃよりもやや広がれば、ズーム画角決定部１０２は、それに合わせてズーム画角θｚを（式１）より６０°と決定する。そして、撮像部１０３は、決定されたズーム画角θｚに従って図６Ｆのように、図６Ｄよりもやや広がった領域を撮影する。以上のように、撮影者の視線方向の標準偏差σに基づいて（式１）よりズーム画角が決定され、撮影者が見ていた領域が撮影される。

なお、本実施の形態では、パラメータ値αの初期値は６．０であったが、必ずしも６．０である必要はない。例えば、注視物体を撮影画面いっぱいに撮影したい場合には、パラメータ値αの初期値は、６．０未満に設定されても構わない。

図５のフローチャートの説明に戻る。次に、体動検出部１１１は、撮影者の頭部の動きの大きさを示す体動量Ｘ０を検出する（Ｓ１００３）。

ズーム画角決定部１０２は、体動検出部１１１から取得した体動量Ｘ０を用いて、パラメータ値αを調整する（Ｓ１００４）。具体的には、ズーム画角決定部１０２は、例えば図７Ａに示すような体動量Ｘ０によって定まる変換値ｆ０（Ｘ０）をパラメータ値αに乗算することで、パラメータ値αを更新する。つまり、ズーム画角決定部１０２は、体動量Ｘ０の値が大きいほど、パラメータ値αが大きくなるように、パラメータ値αを調整する。

これにより、撮影者の頭部の動きが大きい場合は、パラメータ値αが大きくなり、視線方向の標準偏差σに対してズーム画角が大きくなる。つまり、撮像装置１００は、撮影者の頭部の動きが大きい場合は、画角を広げる方向にズームレンズを制御する。その結果、撮像装置１００は、撮影画像のぶれを抑制することができ、撮影画像の画質の安定化を図ることができる。

次に、距離計測部１１２は、距離情報を計測する（Ｓ１００５）。ズーム画角決定部１０２は、距離計測部１１２から取得した距離情報と、視線検出部１０１から取得した視線方向とを用いて、視線方向に位置する被写体までの距離Ｘ１を特定する（Ｓ１００６）。

そして、ズーム画角決定部１０２は、距離Ｘ１を用いて、パラメータ値αを調整する（Ｓ１００７）。具体的には、ズーム画角決定部１０２は、例えば図７Ｂに示すような距離Ｘ１によって定まる変換値ｆ１（Ｘ１）をパラメータ値αに乗算することで、パラメータ値αを更新する。つまり、ズーム画角決定部１０２は、距離Ｘ１の値が大きいほど、パラメータ値αが大きくなるように、パラメータ値αを調整する。

これにより、撮影者が見ている被写体までの距離が大きい場合は、パラメータ値αが大きくなり、視線方向の標準偏差σに対してズーム画角θｚが大きくなる。つまり、撮像装置１００は、被写体までの距離が大きい場合は、画角を広げる方向にズームレンズを制御する。

一般的に、撮影者が遠方の被写体を見ている場合は、視線方向の標準偏差が極端に小さくなる傾向がある。そこで、撮像装置１００は、被写体までの距離が大きい場合に、ズーム画角を大きくすることにより、ズーム画角が極端に小さくなることを抑制し、過剰に被写体にズームインされた画像を撮影することを抑制することができる。

次に、動き検出部１１３は、動き情報を検出する（Ｓ１００８）。

続いて、ズーム画角決定部１０２は、動き検出部１１３から取得した動き情報と、視線検出部１０１から取得した視線方向とを用いて、撮影者の視線方向に位置する被写体の動きを特定する。そして、ズーム画角決定部１０２は、特定した被写体の動きと撮影者の視線方向の動きとの相関の高さを表す値でとして、動き相関Ｘ２を算出する（Ｓ１００９）。具体的には、ズーム画角決定部１０２は、まず、時刻ｔの動き情報を用いて、撮影者の視線方向に位置するブロックの動きベクトルＭＶ（ｔ）を求める。そして、ズーム画角決定部１０２は、時刻ｔ−１から時刻ｔまでの撮影者の視線方向の変化量ベクトルＥｙｅ（ｔ）を求める。ズーム画角決定部１０２は、ＭＶ（ｔ）とＥｙｅ（ｔ）との差分２乗和を動き相関Ｘ２として算出する。

なお、本実施の形態では、ズーム画角決定部１０２は、ＭＶ（ｔ）とＥｙｅ（ｔ）との差分２乗和を動き相関Ｘ２として算出したが、必ずしも差分２乗和を動き相関Ｘ２として算出する必要はない。動き相関Ｘ２は、ＭＶ（ｔ）とＥｙｅ（ｔ）との相関の高さを表す値であれば、どのような値であっても構わない。

ズーム画角決定部１０２は、動き相関Ｘ２を用いて、パラメータ値αを調整する（Ｓ１０１０）。具体的には、ズーム画角決定部１０２は、例えば図７Ｃに示すような動き相関Ｘ２によって定まる変換値ｆ２（Ｘ２）をパラメータ値αに乗算することで、パラメータ値αを更新する。つまり、ズーム画角決定部１０２は、動き相関Ｘ２が大きいほど、パラメータ値αが小さくなるように、パラメータ値αを調整する。

これにより、撮影者が見ている被写体の動きと、撮影者の視線の動きとの相関が高い場合は、パラメータ値αが小さくなり、視線方向の標準偏差σに対してズーム画角θｚが小さくなる。つまり、撮像装置１００は、撮影者が被写体を追尾している場合には、視線方向の標準偏差が大きくなってもズーム画角が大きくならないように、ズーム画角を決定することができる。

次に、ズーム画角決定部１０２は、調整されたパラメータ値αを用いて、（式１）からズーム画角θｚを決定する（Ｓ１０１１）。そして、ズーム画角決定部１０２は、ズーム画角θｚを撮像部１０３のカメラスペックに合わせて、クリップ処理する（Ｓ１０１２）。具体的には、ズーム画角決定部１０２は、撮像部１０３の撮影可能な画角がθＭｉｎ〜θＭａｘであれば、その範囲に入るようにズーム画角θｚをクリップする。

例えば、ズーム画角θｚがθＭａｘより大きい場合には、ズーム画角決定部１０２は、ズーム画角θｚをθＭａｘに更新する。また例えば、ズーム画角θｚがθＭｉｎより小さい場合には、ズーム画角決定部１０２は、ズーム画角θｚをθＭｉｎに更新する。

なお、このステップＳ１０１１の処理は必ずしも実行される必要はない。例えば、ズーム画角θｚがθＭｉｎ以上θＭａｘ以下である場合には、ズーム画角決定部１０２は、ズーム画角θｚをクリップ処理する必要はない。

最後に、撮像部１０３は、このように決定されたズーム画角θｚに従って、被写体を撮影する（Ｓ１０１３）。本実施の形態では、撮像部１０３は、視線検出部１０１から取得した視線方向と、ズーム画角決定部１０２から取得したズーム画角θｚとを用いて、撮影者の見ている領域を撮影する。

具体的には、撮像部１０３は、視線方向に従って光学系を駆動することにより、視線方向に位置する被写体を撮影する。例えば、撮像部１０３は、光軸方向が視線方向の平均と一致するように、レンズ鏡筒をパン、チルト制御する。つまり、撮像部１０３は、視線方向の平均が画像の中心となるように撮影する。

さらに、撮像部１０３は、ズーム画角θｚに対応する画角の領域が写るように、ズームレンズを望遠方向または広角方向に駆動する。

撮像部１０３の動作の具体例を、図８Ａ〜図８Ｄを用いて説明する。撮像者の実空間における視線方向が、例えば、図８Ａのように光軸方向を中心として大きく広がっている場合は、図８Ｂに示すように、撮像部１０３は、広角な画像を撮影する。

一方、図８Ｃのように視線方向が、光軸方向とは異なる方向を中心として分布している場合は、撮像部１０３は、光軸方向が視線方向の平均と一致するようにレンズ鏡筒をパン、チルト制御する。さらに、撮像部１０３は、ズーム画角決定部１０２から取得したズーム画角θｚに合わせて光学ズームを行うことで、撮影者が見ている領域を撮影する（図８Ｄ）。

以上に示した手順により、撮像装置１００は、撮影者の視線方向のばらつきおよび撮影状況パラメータに基づいて、ズーム画角θｚを決定し、決定したズーム画角θｚに従って被写体を撮影する。

なお、本実施の形態では、ズーム画角決定部１０２は、体動量Ｘ０、距離Ｘ１、および動き相関Ｘ２を用いてパラメータ値αを調整したが、これらの一部を用いてパラメータ値αを調整しても構わない。

また、本実施の形態では、パラメータ値αを調整する際に、図７Ａ〜図７Ｃに示すような入力値に対して線形に変化する変換値ｆ０（Ｘ０）〜ｆ２（Ｘ２）が用いられたが、入力値に対して非線形に変化する変換値が用いられても構わない。

なお、本実施の形態では、撮像部１０３は、レンズ鏡筒をパン、チルト制御し、さらに、光学ズームすることで、撮影者の見ている方向に位置する被写体を撮影する。しかしながら、撮像部１０３は、撮像装置１００の小型化や省電力化を目的として、電子ズームすることで、撮影者の見ている方向に位置する被写体を撮影してもよい。具体的には、撮像部１０３は、イメージセンサから得られる画像から、視線方向の平均を中心としてズーム画角θｚとなる領域を切り出すことにより、被写体を撮影しても構わない。

また、撮像部１０３は、ノイズ等の影響を除去するため、あるいは撮影画像の安定化のために、視線方向の平均が画像の中心となるように撮影したが、所定時間内における視線方向の最頻値もしくは中央値、または、直近に検出された視線方向そのものが画像の中心となるように撮影しても構わない。

以上に示した実施の形態１によれば、撮像装置１００は、撮影者の視線方向の標準偏差に従って、ズーム画角を的確に決定することができる。また、撮像装置１００は、視線方向の平均に従って、撮影者の見ている方向を撮影することができる。その結果、撮像装置１００は、ファインダを備えない頭部装着型撮像装置であっても、撮影者の意図に合うフレーミングを行うことが可能になる。

すなわち、撮像装置１００は、撮影者の視線方向のばらつきが小さいほどズーム画角が小さくなるように、ズーム画角を決定することができる。つまり、撮像装置１００は、撮影者が見ている領域に適応してズーム画角を適切に決定することが可能となる。また、撮影者は、ズーム画角を決定するためだけに視線方向を変化させる必要がない。したがって、撮像装置１００は、撮影者に撮影操作を意識させることなく、撮影者が見ている被写体を撮影することが可能となる。また、撮像装置１００は、ズーム画角を決定するためにファインダを備える必要がなく、装置構成を簡易にすることが可能となる。

さらに、撮像装置１００は、視線方向に従って光学系を駆動することにより、視線方向に位置する被写体を撮影することができる。つまり、撮像装置１００は、撮影者が見ている被写体を、決定されたズーム画角で撮影することができ、撮影者の意図に合った領域を撮影することが可能となる。

なお、本実施の形態では、体動検出部１１１は、撮影者の体動量を加速度センサ等のセンサ情報を用いて検出したが、例えば、動き検出部１１３の出力した動き情報を用いて体動量を検出しても構わない。具体的には、体動検出部１１１は、動き情報に含まれる全ブロックの動きベクトルの平均ベクトルの大きさを体動量Ｘ０として検出しても構わない。これにより、撮像装置１００は、加速度センサ等の体動検出用のセンサを備える必要がなくなり、小型化・省電力化を図ることができる。

また、本実施の形態では、ズーム画角決定部１０２は、撮像装置１００から撮影者の視線方向に位置する被写体までの距離Ｘ１を、距離計測部１１２から取得した距離情報を用いて特定している。しかしながら、ズーム画角決定部１０２は、例えば、視線検出部１０１によって検出された撮影者の左右の目の視線方向から得られる輻輳角を用いて、距離Ｘ１を特定しても構わない。また、ズーム画角決定部１０２は、撮像部１０３から取得した撮影画像から距離情報を推定しても構わない。これにより、撮像装置１００は、赤外線距離センサ等の距離計測用のセンサを備える必要がなくなり、小型化・省電力化を図ることができる。

また、本実施の形態では、動き検出部１１３は、撮像部１０３から取得した撮影画像を用いて被写体の動き情報を検出している。しかしながら、動き検出部１１３は、例えば、注目したい被写体候補にあらかじめ埋め込まれた位置情報センサから位置情報を受信することによって動き情報を取得しても構わない。これにより、動き検出部１１３は、動きベクトルを検出するためのブロックマッチング処理等を省くことができ、処理量を軽減できる。

（実施の形態２）
次に、本発明の実施の形態２について説明する。

実施の形態２では、撮像装置は、光学ズームのみを制御可能な撮像部を備える。また、実施の形態２のズーム画角決定部の処理内容が実施の形態１と異なる。以下、本実施の形態に係る撮像装置について、実施の形態１と異なる点を中心に、図面を参照しながら説明する。

図９は、本発明の実施の形態２に係る撮像装置２００の構成を示すブロック図である。なお、図９において、図１と同様の構成要素についてはすでに説明しているので、同一の参照符号を付し、説明を省略する。

本実施の形態に係る撮像装置２００は、視線検出部１０１と、撮影状況パラメータ取得部１１０と、ズーム画角決定部２０２と、撮像部２０３とを備える。

ズーム画角決定部２０２は、視線検出部１０１が検出した視線方向のばらつき、および撮影状況パラメータ取得部１１０が取得した撮影状況パラメータ（体動量、距離情報および動き情報）を用いて、ズーム画角を決定する。このとき、ズーム画角決定部２０２は、視線方向のばらつきの中心と光軸方向との差が大きいほど、視線方向のばらつきに対してズーム画角が大きくなるように、ズーム画角を決定する。

撮像部２０３は、決定されたズーム画角に従って、被写体を撮影する。具体的には、撮像部１０３は、例えば、決定されたズーム画角の領域が撮影されるように光学系を制御する。なお、本実施の形態では、撮像部２０３は、パン、チルト制御は行わない。

次に、以上のように構成された撮像装置２００における各種動作について説明する。

図１０は、本発明の実施の形態２に係る撮像装置２００の処理動作を示すフローチャートである。なお、図１０において、図５と同様のステップについては、同一の参照符号を付し、説明を省略する。

ズーム画角決定部２０２は、所定時間内に検出された視線方向の標準偏差σに加えて、それらの視線方向の平均μを計算する（Ｓ２００１）。そして、ズーム画角決定部２０２は、視線方向の平均μが閾値ＴＨよりも小さいか否かを判定する（Ｓ２００２）。ここで、視線方向の平均μが閾値ＴＨよりも小さい場合（Ｓ２００２のＹＥＳ）、実施の形態１と同様に、ステップＳ１００２からステップＳ１０１２の処理が実行され、ズーム画角θｚが決定される。

一方、視線方向の平均μが閾値ＴＨ以上である場合（Ｓ２００２のＮＯ）、ズーム画角決定部２０２は、ズーム画角θｚを撮像部２０３が撮影可能な画角の最大値θＭａｘと決定する（Ｓ２００３）。つまり、ズーム画角決定部２０２は、視線方向のばらつきの中心と光軸方向との差が大きいほど、視線方向のばらつきに対してズーム画角が大きくなるように、ズーム画角を決定する。

最後に、撮像部２０３は、このように決定されたズーム画角θｚに従って、光軸方向に位置する被写体を撮影する（Ｓ２００４）。具体的には、撮像部２０３は、ズーム画角決定部２０２から取得したズーム画角θｚに対応する領域が写るように、ズームレンズを望遠方向または広角方向に駆動する。

以上に示した手順により、撮像装置２００は、撮影者の視線方向のばらつきおよび撮影状況パラメータに基づいて、ズーム画角θｚを決定し、決定したズーム画角θｚに従って被写体を撮影する。

なお、本実施の形態では、ズーム画角決定部２０２は、視線方向の平均μが閾値ＴＨより小さいか否かに基づいてズーム画角θｚを決定したが、必ずしもこのようにズーム画角θｚを決定する必要はない。例えば、ズーム画角決定部２０２は、視線方向の平均μと光軸方向との差が大きいほど、パラメータ値αが大きくなるように、パラメータ値αを設定してもよい。これにより、ズーム画角決定部２０２は、視線方向の平均μと光軸方向との差が大きいほど、ズーム画角θｚが大きくなるように、ズーム画角θｚを決定することができる。

また、視線方向のばらつきの中心を表す値として視線方向の平均μを用いたが、所定時間内における視線方向の最頻値あるいは中央値を用いても構わない。

以上に示した実施の形態２によれば、撮像装置２００は、撮影者の視線方向が光軸方向付近に集まっていない場合は、光学ズームを抑制するように制御し、撮影者の視線方向が光軸方向付近に集まっている場合は、その標準偏差に従って光学ズームするように制御できる。これにより、撮像装置２００は、パン、チルト制御できる機構が備えていない場合であっても、撮影者が横目で被写体を注視している時にズームインしないように制御することができ、撮影者の意図に合うフレーミングを行うことが可能になる。

つまり、撮像装置２００は、視線方向のばらつきの中心と光軸方向との差を表す値が大きいほど、視線方向のばらつきに対してズーム画角が大きくなるように、ズーム画角を決定することができる。したがって、撮像装置２００は、視線方向に従って光学系を駆動することができない場合であっても、撮影者が見ている被写体が撮影されるようにズーム画角を適切に決定することが可能となる。

（実施の形態３）
次に、本発明の実施の形態３について説明する。実施の形態３に係る撮像装置は、撮影者の眼球運動の特徴を示す眼球運動パラメータに基づいて、ズーム画角を決定する。

眼球運動の一種として、サッケード（衝動性眼球運動：Ｓａｃｃａｄｅ）と呼ばれる眼球運動がある。このサッケードとは、解像度が低い周辺網膜に映った対象を、解像度が高い網膜中心窩で捉えるために発生する眼球運動である。サッケードの速度は、１００〜５００°／ｓｅｃと非常に大きいことが知られている。

図１１は、眼球運動を説明するための図である。図１１において、縦軸は眼球運動を表す眼電位を示し、横軸は時間を示す。

図１１に示すサッケード頻発領域では、眼電位は、急峻に変化した後に、一定時間停留（固視）し、再び元の電位に戻っている。この眼電位の時間変化は、ある指標Ａからある指標Ｂまで眼球をサッケードによって動かし、再び指標Ｂから指標Ａまで眼球をサッケードによって動かした場合に検出される眼電位の時間変化に対応する。

一般的に、人は、０．３秒程度の固視と、数十ミリ秒のサッケードとを繰り返すことによって、周囲の情報を取得する。つまり、サッケードが頻発している場合、人は、特定の対象を注視している可能性が低い。

また、眼球運動の他の一種として、追従運動（Ｐｕｒｓｕｉｔ）と呼ばれる眼球運動がある。この追従運動とは、視覚対象が動いているときに、眼球がその動きを追従してゆっくり動き、注視を続けるための眼球運動である。

開眼時に視野中に追従対象が存在しない場合には、追従運動は発生しない。つまり、追従運動が発生している場合、人は、特定の対象を注視している可能性が高いことを示す。

本実施の形態では、撮像装置は、これらの眼球運動（サッケードおよび追従運動）を利用して、ズーム画角を決定する。以下、本実施の形態に係る撮像装置について、実施の形態１と異なる点を中心に、図面を参照しながら説明する。

図１２は、本発明の実施の形態３に係る撮像装置３００の構成を示すブロック図である。なお、図１２において、図１と同様の構成要素については、同一の参照符号を付し、説明を省略する。

本実施の形態に係る撮像装置３００は、視線検出部１０１と、撮影状況パラメータ取得部１１０と、ズーム画角決定部３０２と、撮像部１０３と、眼球運動パラメータ取得部３１０とを備える。

眼球運動パラメータ取得部３１０は、眼球運動パラメータを取得する。眼球運動パラメータとは、撮影時の撮影者の眼球運動の特徴を示す。図１２に示すように、眼球運動パラメータ取得部３１０は、サッケード検出部３１１と追従運動検出部３１２とを備える。

サッケード検出部３１１は、視線方向の時間変化に基づいて、所定時間内におけるサッケードの発生回数（以下、「サッケード回数」という）を検出する。具体的には、サッケード検出部３１１は、例えば、遮断周波数が０．０５〜０．１Ｈｚ程度の高域通過フィルタを用いて、サッケード回数を検出する。

追従運動検出部３１２は、視線方向の時間変化に基づいて、所定時間内における追従運動の発生回数（以下、「追従回数」という）を検出する。具体的には、追従運動検出部３１２は、例えば、遮断周波数が０．１５〜０．２Ｈｚ程度の低域通過フィルタを用いて、追従回数を検出する。

ズーム画角決定部３０２は、視線方向のばらつきと撮影状況パラメータと眼球運動パラメータとに基づいて、ズーム画角を決定する。このとき、ズーム画角決定部３０２は、サッケード回数が多いほど、視線方向のばらつきに対してズーム画角が大きくなるように、ズーム画角を決定する。さらに、ズーム画角決定部３０２は、追従回数が多いほど、視線方向のばらつきに対してズーム画角が小さくなるように、ズーム画角を決定する。

次に、以上のように構成された撮像装置３００における各種動作について説明する。

図１３Ａは、本発明の実施の形態３に係る撮像装置３００の処理動作を示すフローチャートである。なお、図１３Ａにおいて、図５と同様のステップについては、同一の参照符号を付し、説明を省略する。

ステップＳ１０１０の処理が実行された後に、撮像装置３００は、眼球運動パラメータに基づいてパラメータ値αを調整する（Ｓ３０００）。

ここで、ステップＳ３０００の詳細について、図１３Ｂを参照しながら説明する。

図１３Ｂは、本発明の実施の形態３に係る撮像装置３００の眼球運動パラメータに関する処理動作を示すフローチャートである。

サッケード検出部３１１は、視線方向の時間変化に基づいて、サッケード回数Ｘ３を検出する（Ｓ３００１）。

続いて、ズーム画角決定部３０２は、サッケード検出部３１１から取得したサッケード回数Ｘ３を用いて、パラメータ値αを調整する（Ｓ３００２）。具体的には、ズーム画角決定部３０２は、例えば図１４Ａに示すようなサッケード回数Ｘ３によって定まる変換値ｆ３（Ｘ３）をパラメータ値αに乗算することで、パラメータ値αを更新する。つまり、ズーム画角決定部３０２は、サッケード回数Ｘ３の値が大きいほど、パラメータ値αが大きくなるように、パラメータ値αを調整する。

次に、追従運動検出部３１２は、視線方向の時間変化に基づいて、追従回数Ｘ４を検出する（Ｓ３００３）。

続いて、ズーム画角決定部３０２は、追従運動検出部３１２から取得した追従回数Ｘ４を用いて、パラメータ値αを調整する（Ｓ３００４）。具体的には、ズーム画角決定部３０２は、例えば図１４Ｂに示すような追従回数Ｘ４によって定まる変換値ｆ４（Ｘ４）をパラメータ値αに乗算することで、パラメータ値αを更新する。つまり、ズーム画角決定部３０２は、追従回数Ｘ４の値が大きいほど、パラメータ値αが小さくなるように、パラメータ値αを調整する。

以上に示した実施の形態３によれば、撮像装置３００は、サッケードの発生回数が多いほど、視線方向のばらつきに対してズーム画角が大きくなるように、ズーム画角を決定することができる。一般的に、サッケードが頻発している場合、人は、特定の被写体を注視している可能性が低い。つまり、撮像装置３００は、撮影者が被写体を注視していないときに、過剰に被写体にズームインされた画像を撮影することを抑制することができる。

また、撮像装置３００は、追従運動の発生回数が多いほど、視線方向のばらつきに対してズーム画角が小さくなるように、ズーム画角を決定することができる。したがって、撮像装置３００は、撮影者の視線方向が被写体の動きに追従している場合には、視線方向のばらつきが大きくなってもズーム画角が大きくならないように、ズーム画角を適切に決定することができる。

なお、本実施の形態では、ズーム画角決定部３０２は、体動量Ｘ０、距離Ｘ１、動き相関Ｘ２、サッケード回数Ｘ３、および追従回数Ｘ４を用いてパラメータ値αを調整したが、これらの一部を用いてパラメータ値αを調整しても構わない。

また、本実施の形態では、パラメータ値αを調整する際に、図１４Ａおよび図１４Ｂに示すような入力値に対して線形に変化する変換値ｆ３（Ｘ３）およびｆ４（Ｘ４）が用いられたが、入力値に対して非線形に変化する変換値が用いられても構わない。

以上、本発明の一態様に係る撮像装置について、実施の形態に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したもの、あるいは異なる実施の形態における構成要素を組み合わせて構築される形態も、本発明の範囲内に含まれる。

例えば、上記実施の形態１〜３において、撮像装置は、撮影状況パラメータ取得部を備えていたが、必ずしも撮影状況パラメータ取得部を備える必要はない。この場合、例えば図５に示すステップＳ１００３〜Ｓ１０１０の処理はスキップされてもよい。このような場合であっても、撮像装置は、撮影者の視線方向のばらつきが小さいほどズーム画角が小さくなるようにズーム画角を決定することができるので、ズーム画角を適切に決定することができる。

なお、上記実施の形態１〜３では、一例として、撮影時にズーム画角を決定する処理の説明を行った。しかしながら、撮像装置は、撮影時には視線方向、各センサ情報および撮影画像を記録し、再生時にズーム画角を決定しても構わない。この場合、撮像装置は、ズーム画角および視線方向に従って、電子的にズーム、パン、およびチルト制御すればよい。

また、上記実施の形態１〜３では、視線方向のばらつきは、所定時間内における視線方向の標準偏差で表されたが、必ずしも標準偏差で表される必要はない。例えば、視線方向のばらつきは、統計的ばらつきを表す指標（例えば、範囲（ｒａｎｇｅ）や四分位範囲（ｉｎｔｅｒｑｕａｒｔｉｌｅ ｒａｎｇｅ）等）であれば、どのような指標で表されても構わない。

また、上記実施の形態１〜３における撮像装置が備える構成要素の一部または全部は、１個のシステムＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ：大規模集積回路）から構成されているとしてもよい。例えば、撮像装置は、視線検出部とズーム画角決定部とを有するシステムＬＳＩから構成されてもよい。

システムＬＳＩは、複数の構成部を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｍｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などを含んで構成されるコンピュータシステムである。前記ＲＯＭには、コンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記コンピュータプログラムに従って動作することにより、システムＬＳＩは、その機能を達成する。

なお、ここでは、システムＬＳＩとしたが、集積度の違いにより、ＩＣ、ＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。また、集積回路化の手法はＬＳＩに限るものではなく、専用回路または汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、あるいはＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。

さらには、半導体技術の進歩または派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてありえる。

また、本発明は、このような特徴的な処理部を備える撮像装置として実現することができるだけでなく、撮像装置に含まれる特徴的な処理部をステップとする撮像方法として実現することもできる。また、撮像方法に含まれる特徴的な各ステップをコンピュータに実行させるコンピュータプログラムとして実現することもできる。そして、そのようなコンピュータプログラムを、コンピュータ読取可能な非一時的な記録媒体あるいはインターネット等の通信ネットワークを介して流通させることができるのは、言うまでもない。

本発明は、放送、通信および蓄積の分野において、映像および音声を記録再生する機器等として有用である。また、本発明は、静止画像を記録再生する機器等にも適用が可能である。さらに、本発明は、健康医療機器にも適用が可能である。

１００、２００、３００ 撮像装置
１０１ 視線検出部
１０２、２０２、３０２ ズーム画角決定部
１０３、２０３ 撮像部
１１０ 撮影状況パラメータ取得部
１１１ 体動検出部
１１２ 距離計測部
１１３ 動き検出部
３１０ 眼球運動パラメータ取得部
３１１ サッケード検出部
３１２ 追従運動検出部

Claims (14)

1. 撮影者の頭部に装着される撮像装置であって、
   前記撮影者の視線方向を検出する視線検出部と、
   被写体までの距離を示す距離情報を計測する距離計測部と、
   前記視線方向のばらつきが小さいほどズーム画角が小さくなるように、かつ、前記距離情報から得られる前記被写体までの距離が大きいほど、前記視線方向のばらつきに対して、ズーム画角が大きくなるように、前記ズーム画角を決定するズーム画角決定部と、
   前記ズーム画角に従って被写体を撮影する撮像部とを備える
   撮像装置。
2. 撮影者の頭部に装着される撮像装置であって、
   前記撮影者の視線方向を検出する視線検出部と、
   被写体の動きを示す動き情報を検出する動き検出部と、
   前記視線方向のばらつきが小さいほどズーム画角が小さくなるように、かつ、前記動き情報から得られる前記被写体の動きと前記視線方向の動きとの相関が高いほど、前記視線方向のばらつきに対して、ズーム画角が小さくなるように、前記ズーム画角を決定するズーム画角決定部と、
   前記ズーム画角に従って被写体を撮影する撮像部とを備える
   撮像装置。
3. 前記撮像部は、前記視線方向に従って光学系を駆動することにより、前記視線方向に位置する前記被写体を撮影する
   請求項１または２に記載の撮像装置。
4. 前記ズーム画角決定部は、前記視線方向のばらつきの中心と光軸方向との差を表す値が大きいほど、前記視線方向のばらつきに対して前記ズーム画角が大きくなるように、前記ズーム画角を決定する
   請求項１〜３のいずれか１項に記載の撮像装置。
5. 前記視線方向のばらつきは、所定時間内における前記視線方向の標準偏差で表される
   請求項１〜４のいずれか１項に記載の撮像装置。
6. 前記視線検出部は、前記撮影者の眼電位に基づいて前記視線方向を検出する
   請求項１〜５のいずれか１項に記載の撮像装置。
7. 前記撮像装置は、さらに、
   前記視線方向の時間変化に基づいて、前記撮影者の眼球運動の特徴を示す眼球運動パラメータを取得する眼球運動パラメータ取得部を備え、
   前記ズーム画角決定部は、前記眼球運動パラメータおよび前記視線方向のばらつきに基づいて前記ズーム画角を決定する
   請求項１〜６のいずれか１項に記載の撮像装置。
8. 前記眼球運動パラメータ取得部は、前記視線方向の時間変化に基づいて、所定時間内におけるサッケードの発生回数を前記眼球運動パラメータとして検出するサッケード検出部を備え、
   前記ズーム画角決定部は、前記サッケードの発生回数が多いほど、前記視線方向のばらつきに対して前記ズーム画角が大きくなるように、前記ズーム画角を決定する
   請求項７に記載の撮像装置。
9. 撮影者の頭部に装着される撮像装置であって、
   前記撮影者の視線方向を検出する視線検出部と、
   前記視線方向の時間変化に基づいて、所定時間内における追従運動の発生回数を検出する追従運動検出部と、
   前記視線方向のばらつきが小さいほどズーム画角が小さくなるように、かつ、前記追従運動の発生回数が多いほど、前記視線方向のばらつきに対して、ズーム画角が小さくなるように、前記ズーム画角を決定するズーム画角決定部と、
   前記ズーム画角に従って被写体を撮影する撮像部とを備える
   撮像装置。
10. 前記視線検出部と前記ズーム画角決定部とは集積回路として構成されている
    請求項１に記載の撮像装置。
11. 撮影者の頭部に装着される撮像装置による撮像方法であって、
    前記撮影者の視線方向を検出する視線検出ステップと、
    被写体までの距離を示す距離情報を計測する距離計測ステップと、
    前記視線方向のばらつきが小さいほどズーム画角が小さくなるように、かつ、前記距離情報から得られる前記被写体までの距離が大きいほど、前記視線方向のばらつきに対して、ズーム画角が大きくなるように、前記ズーム画角を決定するズーム画角決定ステップと、
    前記ズーム画角に従って被写体を撮影する撮像ステップとを含む
    撮像方法。
12. 撮影者の頭部に装着される撮像装置による撮像方法であって、
    前記撮影者の視線方向を検出する視線検出ステップと、
    被写体の動きを示す動き情報を検出する動き検出ステップと、
    前記視線方向のばらつきが小さいほどズーム画角が小さくなるように、かつ、前記動き情報から得られる前記被写体の動きと前記視線方向の動きとの相関が高いほど、前記視線方向のばらつきに対して、ズーム画角が小さくなるように、前記ズーム画角を決定するズーム画角決定ステップと、
    前記ズーム画角に従って被写体を撮影する撮像ステップとを含む
    撮像方法。
13. 撮影者の頭部に装着される撮像装置による撮像方法であって、
    前記撮影者の視線方向を検出する視線検出ステップと、
    前記視線方向の時間変化に基づいて、所定時間内における追従運動の発生回数を検出する追従運動検出ステップと、
    前記視線方向のばらつきが小さいほどズーム画角が小さくなるように、かつ、前記追従運動の発生回数が多いほど、前記視線方向のばらつきに対して、ズーム画角が小さくなるように、前記ズーム画角を決定するズーム画角決定ステップと、
    前記ズーム画角に従って被写体を撮影する撮像ステップとを含む
    撮像方法。
14. 請求項１１〜１３のいずれか１項に記載の撮像方法をコンピュータに実行させるためのプログラム。

Images