JP6679779B1 - 情報処理装置、情報処理方法およびプログラム - Google Patents

Abstract

【課題】レンズの光軸に直交する平面と撮像素子の撮像面とのなす角度を調整するあおり調整を用いて、ユーザが所望する面に適切に焦点を合わせる。【解決手段】情報処理装置（カメラ１００）は、レンズおよび撮像素子を有する撮像手段により撮像された撮像画像を取得する取得手段と、取得手段により取得された撮像画像を表示させる表示制御手段と、表示制御手段により表示された撮像画像上において指定領域の指定を受け付け、当該指定領域内に、複数の評価領域を設定する設定手段と、設定手段により設定された複数の評価領域のそれぞれについて、当該評価領域の輝度値をもとに合焦評価値を導出する導出手段と、導出手段により導出された合焦評価値に基づいて、レンズの光軸に直交する平面と撮像素子の撮像面とのなす角度であるあおり角度を制御する制御手段と、を備える。【選択図】 図５

Description

本発明は、情報処理装置、情報処理方法およびプログラムに関する。

近年、ネットワークカメラが普及している。ネットワークカメラは、例えば天井に設置され、通行人や車両等の被写体を撮像する。
このようなネットワークカメラでは、奥行きのあるホームや廊下、駐車場などを撮像するシーンにおいて、レンズ性能や画角、絞りといった撮像条件よっては深い被写界深度が得られず、所望の領域全体にフォーカスが合わない場合がある。
そこで、レンズを含む撮像光学系の光軸と直交する平面に対して、撮像素子の撮像面を傾けることで焦点面を調整し、上記のような奥行きのあるシーンにおいて手前から奥までフォーカスを合わせる、あおり調整技術がある。撮像光学系の光軸と直交する平面に対して撮像面を傾ける手法としては、撮像素子を傾ける手法がある。
特許文献１には、撮像素子を傾動させることで、像面を撮像光学系の光軸と直交する平面に対して傾動させ、被写体の広い領域に焦点を合わせるチルト補正動作を行う技術が開示されている。この技術は、焦点調整用に撮像画像内に予め定められた複数の焦点検出エリアの中からチルト補正動作に使用する焦点検出エリアを選択し、選択した焦点検出エリアの焦点ズレ量に基づいて、像面を傾動させる技術である。

特開２０１７−１７３８０２号公報

しかしながら、上記特許文献１に記載の技術では、像面傾動の評価に使用する評価領域として、予め定められた焦点検出エリアのうち、特定の方向に並んだ焦点検出エリアをそのまま利用している。そのため、例えば路面に焦点を合わせたい場合であっても、通行人や植木といった路面と直交して存在する被写体が評価領域内に含まれてしまう場合がある。すると、上記の通行人や植木が像面傾動の評価対象となってしまい、適切な像面の傾け角が得られず、路面に焦点が合わなくなってしまう。
そこで、本発明は、レンズの光軸に直交する平面と撮像素子の撮像面とのなす角度を調整するあおり調整を用いて、ユーザが所望する面に適切に焦点を合わせることを課題としている。

上記課題を解決するために、本発明に係る情報処理装置の一態様は、レンズおよび撮像素子を有する撮像手段により撮像された撮像画像を取得する取得手段と、前記取得手段により取得された撮像画像を表示させる表示制御手段と、前記表示制御手段により表示された撮像画像上において指定領域の指定を受け付け、当該指定領域内に、複数の評価領域を設定する設定手段と、前記設定手段により設定された複数の評価領域のそれぞれについて、当該評価領域の輝度値をもとに合焦評価値を導出する導出手段と、前記導出手段により導出された合焦評価値に基づいて、前記レンズの光軸に直交する平面と前記撮像素子の撮像面とのなす角度であるあおり角度を制御する制御手段と、を備える。

本発明によれば、レンズの光軸に直交する平面と撮像素子の撮像面とのなす角度を調整するあおり調整を用いて、ユーザが所望する面に適切に焦点を合わせることができる。

撮像システムの装置構成例である。 撮像装置の構成例を示すブロック図である。 撮像面の傾きとフォーカス面との関係を説明する模式図である。 あおり調整処理を示すフローチャートである。 表示画面の一例である。 あおり調整枠の設定方法を説明する図である。 あおり評価枠を説明する模式図である。 フォーカス評価枠を説明する模式図である。 マスクを説明する模式図である。 あおり調整枠の別の例を示す模式図である。

以下、添付図面を参照して、本発明を実施するための形態について詳細に説明する。
なお、以下に説明する実施の形態は、本発明の実現手段としての一例であり、本発明が適用される装置の構成や各種条件によって適宜修正又は変更されるべきものであり、本発明は以下の実施の形態に限定されるものではない。

図１は、本実施形態における撮像システム１０００の構成例を示すブロック図である。
撮像システム１０００は、撮像装置１００と、クライアント装置２００と、を備える。撮像装置１００とクライアント装置２００とは、ネットワーク３００によって相互に通信可能に接続されている。
ネットワーク３００は、例えば、Ｅｔｈｅｒｎｅｔ（登録商標）の通信規格に準拠する複数のルータ、スイッチ、ケーブル等から構成される。なお、ネットワーク３００は、カメラ１００とクライアント装置２００との間で通信可能な構成であれば、その通信規格、規模および構成は問わない。ネットワーク３００は、インターネットや有線ＬＡＮ（Local Area Network）、無線ＬＡＮ（Wireless LAN）、ＷＡＮ（Wide Area Network）、若しくはこれらの複合により実現することができる。

撮像装置１００は、パン機能、チルト機能、ズーム機能、ローテーション機能、フォーカス機能などを有する監視カメラ、または、ネットワークカメラ（以下、単に「カメラ」という。）である。カメラ１００は、レンズ群と撮像素子とを備え、レンズ群を通過した入射光を撮像素子に結像し、撮像画像を生成することができる。また、カメラ１００は、ネットワーク３００を介して、撮像画像を含む各種データをクライアント装置２００に配信することができる。上記各種データは、パン角、チルト角、ローテーション角、ズーム倍率、フォーカス位置、露出、ホワイトバランスなどの撮像設定を示す設定情報や、クライアント装置２００にユーザインタフェース（ＵＩ）を表示させるための表示情報を含む。

カメラ１００は、例えば施設の天井に設置され、カメラ１００の下を通る人物や車両等の被写体を撮像することができる。なお、カメラ１００は、１枚の画像（静止画）を撮像するカメラであってもよいし、１枚以上の画像を含む映像を撮像するカメラであってもよい。
また、カメラ１００は、レンズおよび撮像素子の少なくとも一方を傾動させてレンズの光軸と直交する平面と撮像素子の撮像面とのなす角度であるあおり角度を変更し、被写界深度を大きくするあおり撮像機能を有する。なお、本実施形態では、撮像素子を傾動させてあおり角度を調整することで、あおり撮像機能を実現する場合について説明する。本実施形態では、カメラ１００は、ユーザが所望する面全体にフォーカス（焦点）が合うように、つまり、ユーザが所望する被写界深度の範囲となるように撮像素子の傾斜角度を調整するあおり調整を行う。

クライアント装置２００は、ＣＰＵ、ＲＯＭ、ＲＡＭ、表示部、操作部、各種Ｉ／Ｆなどのハードウェア資源を備えた、汎用のコンピュータやワークステーションとすることができる。ここで、上記表示部は、液晶ディスプレイ（ＬＣＤ）等のモニタ２０１を備える。また、上記操作部は、キーボード２０２やマウス２０３等のポインティングデバイスを備える。クライアント装置２００は、カメラ１００から配信される撮像画像や各種データを取得し、それらの情報をもとにモニタ２０１にＵＩを表示することができる。また、クライアント装置２００は、ＵＩを介してユーザが指定した情報をもとに、カメラ１００に対して撮像設定を制御する制御コマンドや、あおり調整に必要な情報を送信し、カメラ１００の動作を制御することができる。
なお、クライアント装置２００は、スマートフォン、ノートＰＣ、タブレット型ＰＣといった表示部および操作部と一体化した端末装置により構成することもできる。

本実施形態における撮像システム１０００は、カメラ１００をサーバとしたクライアントサーバシステムを構成することができる。カメラ１００は、複数のクライアント装置２００と接続することができ、複数のクライアント装置２００がカメラ１００の撮像画像を取得することができる。また、カメラ１００の制御権の受け渡しを管理することで、複数のクライアント装置２００がカメラ１００を制御することができる。
また、図１では、カメラ１００とクライアント装置２００とがそれぞれ１台ずつネットワーク３００に接続されているが、ネットワーク３００への接続台数は図１に示す数に限定されない。

図２は、カメラ１００の構成例を示すブロック図である。
カメラ１００は、撮像ユニット１０１と、画像処理部１０２と、ＣＰＵ１０３と、ＲＯＭ１０４と、ＲＡＭ１０５と、Ｉ／Ｆ部１０６と、を備える。カメラ１００が備える各部１０１〜１０６は、バス１０７によって接続されている。
撮像ユニット１０１は、レンズ部１１１と、撮像素子１１２と、フォーカス駆動部１１３と、ズーム駆動部１１４と、あおり駆動部１１５と、を備える。レンズ部１１１は、被写体からの入射光を集光し、不図示の光学フィルタを介して撮像素子１１２上に結像するための結像光学系である。レンズ部１１１は、被写体に対するピント合わせを行うフォーカスレンズや、画角を調整するズームレンズ等を含む。光学フィルタは、ＩＲカットフィルタやローパスフィルタとすることができる。撮像素子１１２は、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）などの光電変換素子を備える。撮像素子１１２は、レンズ部１１１を介して結像された被写体像を電気信号（アナログ信号）に変換して出力する。

フォーカス駆動部１１３は、フォーカスレンズモータを備え、レンズ部１１１内のフォーカスレンズ（不図示）を光軸に沿って移動させて、合焦動作を実現する。ズーム駆動部１１４は、ズームレンズモータを備え、レンズ部１１１内のズームレンズ（不図示）を光軸に沿って移動させて、ズームイン、ズームアウトといったズーム動作を実現する。また、あおり駆動部１１５は、撮像素子を傾動可能な機構を有し、結像光学系であるレンズの光軸と直交する平面に対して撮像素子の撮像面を傾けて、あおり撮像機能を実現する。フォーカス駆動部１１３、ズーム駆動部１１４およびあおり駆動部１１５は、後述する制御部１２６によって制御される。
画像処理部１０２は、撮像ユニット１０１から出力されるＲＡＷデータに対して、黒補正処理、デモザイキング処理、フィルタ処理などの各種処理を行い、バス１０７を介してＲＡＭ１０５に現像データを格納する。

ＣＰＵ１０３は、中央演算処理装置であり、カメラ１００における動作を統括的に制御する。また、ＣＰＵ１０３は、ＵＩ提供部１２１、あおり調整枠表示部１２２、あおり評価枠表示部１２３、フォーカス評価枠表示部１２４、マスク表示部１２５、制御部１２６、画像評価部１２７および圧縮伸長部１２８の機能を実現する。ＣＰＵ１０３が実現する機能については後述する。
ＲＯＭ１０４は、ＥＥＰＲＯＭやフラッシュメモリ等の不揮発性メモリである。ＲＯＭ１０４は、ＣＰＵ１０３がカメラ１００の各種機能を実現するために必要なプログラムや、当該プログラムが実行される際に用いられるデータを格納する。ＲＡＭ１０５は、ＳＲＡＭやＤＲＡＭ等の揮発性メモリである。ＲＡＭ１０５は、ＣＰＵ１０３の主メモリ、ワークエリア等として機能する。ＣＰＵ１０３は、処理の実行に際してＲＯＭ１０４から必要なプログラムやデータをＲＡＭ１０５にロードし、当該プログラムを実行することで各種の機能動作を実現する。
Ｉ／Ｆ部１０６は、外部装置と通信するためのインタフェースである。Ｉ／Ｆ部１０６は、ＲＡＭ１０５に一時的に記録された撮像画像や各種データを、ネットワーク３００を介してクライアント装置２００に配信することができる。

以下、ＣＰＵ１０３が実現する各種の機能動作について説明する。
ＵＩ提供部１２１は、クライアント装置２００のモニタ２０１にＵＩを表示させる表示制御を行う。また、あおり調整枠表示部１２２、あおり評価枠表示部１２３、フォーカス評価枠表示部１２４およびマスク表示部１２５は、ユーザがクライアント装置２００に表示されたＵＩを介して指定した情報を取得する。そして、あおり調整枠表示部１２２、あおり評価枠表示部１２３、フォーカス評価枠表示部１２４およびマスク表示部１２５は、取得した情報に基づいて、ＵＩの表示内容を制御する表示制御を行う。

具体的には、あおり調整枠表示部１２２は、ＵＩにおけるあおり調整枠の表示、非表示を制御する表示制御を行う。ここで、あおり調整枠は、撮像画像上においてユーザにより指定された指定領域に対応する枠であり、あおり調整によってフォーカスを合わせるあおり調整領域を示す枠である。あおり調整領域は、あおり撮像において近方から遠方につながる被写体が台形になるという特有の構図に対応した台形の領域である。本実施形態では、あおり調整枠は、あおり調整領域に相当する台形の枠である場合について説明する。
また、あおり評価枠表示部１２３は、ＵＩにおけるあおり評価枠の表示、非表示を制御する表示制御を行う。ここで、あおり評価枠は、あおり調整の評価に用いる領域であるあおり評価領域を示す枠であり、ユーザにより指定されたあおり調整領域内に複数設定することができる。つまり、あおり調整領域は、あおり評価領域の設定対象となりうる領域である。あおり調整に際し、カメラ１００は、あおり評価領域の輝度値を取得し、取得した輝度値をもとに、あおり調整を評価する。

また、フォーカス評価枠表示部１２４は、ＵＩにおけるフォーカス評価枠の表示、非表示を制御する表示制御を行う。ここで、フォーカス評価枠は、フォーカス調整の評価に用いる領域であるフォーカス評価領域を示す枠である。フォーカス評価領域は、フォーカス調整の際に輝度値を取得する領域である。
さらに、マスク表示部１２５は、ＵＩにおけるマスクの表示、非表示を制御する表示制御を行う。ここで、マスクは、撮像画像における、あおり評価領域の設定対象から除外すべき除外領域を示す。このマスクは、ユーザにより指定することができる。
制御部１２６は、撮像ユニット１０１のフォーカス駆動部１１３を制御して、合焦動作を行う。また、制御部１２６は、ズーム駆動部１１４を制御して、ズーム動作を行う。さらに、制御部１２６は、あおり駆動部１１５を制御して、あおり調整を行う。

画像評価部１２７は、ＲＡＭ１０５から撮像画像を取得し、撮像画像を評価する。具体的には、画像評価部１２７は、あおり調整に際し、撮像画像内に設定された複数のあおり評価領域について、それぞれ輝度値をもとに特定周波数のコントラストに係る合焦評価値を導出する。合焦評価値は、合焦度合いを表す評価値である。そして、導出された合焦評価点の平均値を、あおり調整の評価値とする。また、画像評価部１２７は、フォーカス調整に際し、撮像画像内に設定された複数のフォーカス評価領域について、あおり評価領域と同様に、それぞれ輝度値をもとに特定周波数のコントラストに係る合焦評価値を導出する。また、導出された合焦評価点の平均値を、フォーカス調整の評価値とする。画像評価部１２７は、算出された評価値を制御部１２６に出力する。
圧縮伸長部１２８は、ＲＡＭ１０５から撮像画像を取得し、取得した撮像画像に圧縮伸長処理を施して圧縮データを生成する。圧縮データは、Ｉ／Ｆ部１０６を介してクライアント装置２００に配信される。圧縮伸長処理としては、静止画像に対してはＪＰＥＧ規格に準拠した圧縮方式を、動画像に対してはＭＯＴＩＯＮ−ＪＰＥＧやＭＰＥＧ２、ＡＶＣ／Ｈ．２６４、ＡＶＣ／Ｈ．２６５等の規格に準拠した圧縮伸長方式を用いることができる。

図２に示す各要素１２１〜１２８の一部または全部の機能は、ＣＰＵ１０３がプログラムを実行することで実現することができる。ただし、各要素１２１〜１２８のうち少なくとも一部が専用のハードウェアとして動作するようにしてもよい。この場合、専用のハードウェアは、ＣＰＵ１０３の制御に基づいて動作する。
本実施形態においては、カメラ１００が、撮像画像上において指定された指定領域内に複数のあおり評価領域を設定し、あおり調整の評価値を算出してあおり調整を行う情報処理装置として動作する場合について説明する。ただし、クライアント装置２００や一般のＰＣ、他の機器等が上記の情報処理装置として動作してもよい。この場合、図２に示すＣＰＵ１０３の各部１２１〜１２７の機能が、情報処理装置によって実現される。

図３（ａ）〜図３（ｃ）は、撮像素子１１２の撮像面とフォーカス面との関係を説明する模式図である。この図３（ａ）〜図３（ｃ）において、Ｚ軸は、結像光学系であるレンズの光軸ＯＡに一致する軸である。また、Ｘ軸は、撮像素子１１２の傾きがゼロの場合に水平となる軸であり、Ｙ軸は、撮像素子１１２の傾きがゼロの場合に鉛直となる軸である。
撮像素子１１２を傾けず、図３（ａ）に示すように、撮像素子１１２の撮像面４０１を光軸ＯＡと直交する平面と平行に配置して撮像した場合、フォーカス面４０２ａを有する撮像画像４０３ａが得られる。
これに対して、撮像素子１１２をＸ軸回りに回動し、図３（ｂ）に示すように、撮像面４０１をＸ軸回りに前後に傾けて（チルト方向に傾動させて）撮像した場合、フォーカス面４０２ｂを有する撮像画像４０３ｂが得られる。
また、撮像素子１１２をＹ軸回りに回動し、図３（ｃ）に示すように、撮像面４０１をＹ軸回りに左右に傾けて（パン方向に傾動させて）撮像した場合、フォーカス面４０２ｃを有する撮像画像４０３ｃが得られる。
このように、撮像面４０１を傾けることでフォーカス面を制御することができる。

本実施形態では、カメラ１００は、クライアント装置２００のモニタ２０１に撮像画像を表示させる表示制御を行い、撮像画像上において指定領域の指定を受け付ける。ユーザは、クライアント装置２００のモニタ２０１に表示されたＵＩを操作し、台形のあおり調整枠を用いて台形のあおり調整領域を指定する。また、ユーザは、クライアント装置２００のモニタ２０１に表示されたＵＩを操作し、あおり評価領域から除外する除外領域を指定する。カメラ１００は、あおり調整領域内でかつ除外領域以外の領域に、複数のあおり評価領域を設定し、それぞれについて輝度値をもとに合焦評価値を導出する。そして、カメラ１００は、導出された合焦評価値に基づいて、撮像素子１１２を傾けてあおり角度を制御する。
また、カメラ１００は、ユーザにより指定された指定領域に対応する枠をあおり調整枠として撮像画像上に表示させる表示制御を行うことができる。さらに、カメラ１００は、表示された枠の大きさ、形状および位置の少なくとも１つの変更を受け付けることで、指定領域であるあおり調整領域の大きさ、形状および位置の少なくとも１つの変更を受け付けることができる。
これにより、カメラ１００は、ユーザが所望するあおり調整を行うことができる。

図４は、カメラ１００が実行するあおり調整処理手順を示すフローチャートである。
この図４の処理は、ユーザがＵＩへのあおり調整枠の表示を指示したタイミングで開始される。ただし、図４の処理の開始タイミングは、上記のタイミングに限らない。カメラ１００は、ＣＰＵ１０３が必要なプログラムを読み出して実行することにより、図４に示す各処理を実現することができる。以降、アルファベットＳはフローチャートにおけるステップを意味するものとする。

まずＳ１において、カメラ１００は、ＵＩにあおり調整枠を表示させる表示制御を行う。
図５（ａ）は、クライアント装置２００のモニタ２０１に表示される表示画面５００の一例である。表示画面２００には、カメラ１００によって撮像された撮像画像を表示する画像表示エリア５０１が設けられている。また、表示画面２００には、各種設定ボタン（ビューワ―、設定メニュー、適用、クリア）５０２と、あおり調整枠の表示、非表示を指示するためのチェックボックス５０３、５０４と、が表示される。図５（ａ）に示す表示画面５００は、あおり調整の設定画面であり、例えばＵＩの設定メニューで、あおり調整の設定画面の表示を指示するボタン等を押下した場合に表示されるようにしてもよい。
ユーザが、チェックボックス５０３および５０４の少なくとも一方にチェックを入れると、カメラ１００は、ユーザによるあおり調整枠の表示の指示を受け付け、撮像画像上にあおり調整枠を表示するよう制御する。このあおり調整枠の表示制御は、あおり調整枠表示部１２２により行われる。

本実施形態では、あおり調整枠として、撮像面の傾動方向に合わせて２種類用意する。図３（ｂ）に示すように撮像面４０１をチルト方向に傾動させるあおり調整（チルト）を行わせるためのチルト調整枠と、図３（ｃ）に示すように撮像面４０１をパン方向に傾動させるあおり調整（スイング）を行わせるためのスイング調整枠である。
ユーザがチェックボックス５０３にチェックを入れ、「あおり調整枠表示１」を指示した場合、カメラ１００は、図５（ｂ）に示すように、ＵＩにチルト調整枠５１１を表示させる表示制御を行う。このチルト調整枠５１１は、撮像画像の直交する２つの辺のうち一方の辺に相当する長軸に対して平行または略平行な２つの底辺を有する台形の枠である。チルト調整枠５１１は、撮像面４０１をチルト方向に傾動させて、フォーカス面を図３（ｂ）のフォーカス面４０２ｂのようにしてあおり撮像したい場合に使用する。

一方、ユーザがチェックボックス５０４にチェックを入れ、「あおり調整枠表示２」を指示した場合、カメラ１００は、図５（ｃ）に示すように、ＵＩにスイング調整枠５１２を表示させる表示制御を行う。このスイング調整枠５１２は、撮像画像の直交する２つの辺のうち他方の辺に相当する短軸に対して平行または略平行な２つの底辺を有する台形の枠である。スイング調整枠５１２は、撮像面４０１をパン方向に傾動させて、フォーカス面を図３（ｃ）のフォーカス面４０２ｃのようにしてあおり撮像したい場合に使用する。
また、ユーザはチェックボックス５０３とチェックボックス５０４の両方にチェックを入れることもできる。この場合、カメラ１００は、図５（ｄ）に示すように、ＵＩにチルト調整枠５１１とスイング調整枠５１２とを表示させる表示制御を行う。チルト方向とパン方向の両方に対してあおり調整してあおり撮像したい場合、チルト調整枠５１１とスイング調整枠５１２の両方を使用する。なお、この場合、チルト調整枠５１１とスイング調整枠５１２とで枠線の種類や色を変えるなど、表示形態を変えてもよい。

さらに、本実施形態においては、ズーム駆動部１１４によるズームレンズのズーム動作に連動して、あおり調整枠表示部１２２は、あおり調整枠の大きさを変更して表示させてもよい。これにより、ユーザは、あおり調整領域を適切に認識し、編集することができる。

図４に戻って、Ｓ２において、カメラ１００は、ユーザによるあおり調整枠の設定を適用する。あおり調整枠の形状は、撮像シーンに合わせて、ＵＩ上でユーザが任意に設定することが可能である。
以下、ユーザによるあおり調整枠の設定方法について、チルト調整枠５１１の設定方法を例として説明する。
あおり調整枠を編集する場合、ユーザは、図５（ｂ）に示すように画像表示エリア５０１の撮像画像上にあおり調整枠５１１が表示されている状態で、ポインタ（マウスカーソル）によってあおり調整枠５１１の角を選択する。すると、図６（ａ）に示すように、あおり調整枠５１１の４つの角にそれぞれ白抜きの四角形で表される頂点５２１が表示され、あおり調整枠が編集可能な状態となる。

この状態から、あおり調整枠５１１を移動する場合、ユーザは、あおり調整枠５１１の任意の辺上にポインタ５２２を置いてホールドする。例えばあおり調整枠５１１の上辺にポインタ５２２を置いてホールドした場合、ポインタ５２２は、図６（ｂ）に示すように、図形移動を示す形状のポインタ５２３に変化する。この状態であおり調整枠５１１をドラッグすることで、撮像画像上の所望の位置にあおり調整枠５１１を配置することができる。
また、あおり調整枠５１１の形状を編集する場合には、ユーザは、あおり調整枠５１１の頂点にポインタ５２２を置いてホールドする。例えばあおり調整枠５１１の右上の頂点５２１にポインタ５２２を置いてホールドした場合、ポインタ５２２は、図６（ｃ）に示すように、辺の長さ調整を示す形状のポインタ５２４に変化する。この状態であおり調整枠５１１の頂点５２１をドラッグすることで、頂点５２１の位置を変更することができる。つまり、ユーザは、台形の底辺（長辺、短辺）の長さの調整と、台形の高さの調整とを行うことができる。
そして、ユーザは、あおり調整枠５１１の編集が完了すると、例えば表示画面５００に表示された適用ボタンを押下し、あおり調整枠５１１を確定する。これにより、図６（ｄ）に示すように、あおり調整枠５１１の編集が完了した状態となる。

図４に戻って、Ｓ３において、カメラ１００は、あおり調整を行う。このとき、カメラ１００は、撮像面の２つのあおり軸（Ｘ軸、Ｙ軸）それぞれに対して、あおり調整を行う。
まず、カメラ１００は、あおり調整領域内に複数のあおり評価領域を設定する。本実施形態では、カメラ１００は、撮像画像において予め設定された複数のフォーカス検出領域のうち、あおり調整領域内に設けられたフォーカス検出領域を、あおり評価領域として用いる。ここで、フォーカス検出領域は、フォーカス評価領域の候補となる領域である。

図７（ａ）は、撮像画像上に、あおり調整枠５１１を点線で、フォーカス検出領域を示す検出枠５１３を実線で示した図である。カメラ１００は、あおり調整枠５１１内のフォーカス検出領域のうち、あおり調整枠５１１の台形の底辺の長辺近傍に位置するフォーカス検出領域を、近方被写体に対応する近方あおり評価領域として設定する。また、カメラ１００は、あおり調整枠５１１内のフォーカス検出領域のうち、あおり調整枠５１１の台形の底辺の短辺近傍に位置するフォーカス検出領域を、遠方被写体に対応する遠方あおり評価領域として設定する。
図７（ｂ）は、近方あおり評価領域を示す近方あおり評価枠５１３ａと、遠方あおり評価領域を示す遠方あおり評価枠５１３ｂとを示す図である。あおり撮像特有の構図に対応して、台形のあおり調整枠５１１の２つの底辺のうち長辺近傍には、撮像画像の撮像位置に対して近方に位置する近方被写体が存在し、台形の底辺の短辺近傍には、撮像位置に対して遠方に位置する遠方被写体が存在する。そのため、近方被写体が存在する位置と遠方被写体が存在する位置とに、それぞれ近方あおり評価枠５１３ａと遠方あおり評価枠５１３ｂとを設けている。カメラ１００は、近方あおり評価領域の合焦評価値の平均値と、遠方あおり評価枠５１３ｂの合焦評価値の平均値とをそれぞれ算出し、あおり調整の評価値とする。そして、カメラ１００は、算出した評価値に基づいて撮像素子１１２の傾斜角度を制御することで、あおり角度を制御する。このあおり角度の制御は、あおり駆動部１１５により行われる。

図７（ｃ）は、図５（ｂ）に示す表示画面５００に、あおり評価枠の表示、非表示を指示するためのチェックボックス５０５を追加した図である。
ユーザが、チェックボックス５０５にチェックを入れると、カメラ１００は、ユーザによるあおり評価枠の表示指示を受け付け、撮像画像上にあおり評価枠を表示するよう制御する。このあおり評価枠の表示制御は、あおり評価枠表示部１２３により行われる。
このとき、カメラ１００は、図７（ｃ）に示すように、台形のあおり調整枠５１１の底辺の長辺近傍に近方あおり評価枠５１３ａを表示し、台形のあおり調整枠５１１の底辺の短辺近傍に遠方あおり評価枠５１３ｂを表示する。なお、近方あおり評価枠５１３ａと遠方あおり評価枠５１３ｂとで枠線や枠内のハッチングの種類や色を変えるなど、表示形態を変えてもよい。

また、本実施形態においては、あおり評価領域内にフォーカスを合わせたくない被写体が存在する場合、当該被写体が含まれる領域を、あおり評価領域の設定対象から除外すべき除外領域としてユーザが指定することもできる。これにより、カメラ１００は、ユーザにより指定された除外領域をマスクしてあおり評価領域を設定することができる。
図８（ａ）は、図７（ｃ）に示す表示画面５００に、マスクの表示、非表示を指示するためのチェックボックス５０６を追加した図である。また、撮像シーンの違いとして、路面にコンテナ５３１が設置されている。
図８（ｂ）は、図７（ｃ）と同様に、あおり調整枠５１１とあおり評価枠５１３ａ、５１３ｂとを表示した図である。ユーザは、路面にフォーカスを合わせることを意図しているにもかかわらず、あおり評価枠５１３ａ内にはコンテナ５３１が含まれる。そのため、このままあおり調整を行った場合、路面ではなくコンテナ５３１の合焦評価値を取得してしまい、あおり調整の精度が低下してしまう。

そこで、コンテナ５３１上に、合焦評価値の取得を行わない領域として除外領域を設定してもよい。この場合、ユーザが、チェックボックス５０６にチェックを入れると、カメラ１００は、ユーザによるマスクの表示の指示を受け付け、撮像画像上にマスクを表示するよう制御する。このマスクの表示制御は、マスク表示部１２５により行われる。なお、この図８（ｃ）では、マスク５３２は黒塗りの領域で示しているが、マスク５３２の表示形態は図８（ｃ）に示す形態に限定されない。
ユーザは、画像表示エリア５０１の撮像画像上でポインタを操作し、マスクの位置および形状を指定することで除外領域を指定することができる。なお、マスクの指定方法は特に限定されるものではなく、ポインタを操作して矩形選択で設定してもよいし、フリーハンドで設定してもよい。
このように、あおり評価領域の設定対象となりうる領域から、ユーザによって指定された除外領域を除外することができる。したがって、コンテナ５３１上に除外領域を設定すれば、コンテナ５３１が含まれる領域があおり評価領域として設定されることを回避することができる。その結果、あおり調整の精度を向上させることができる。

また、本実施形態においては、カメラ１００は、ＵＩに、フォーカス調整に用いるフォーカス評価領域を表示させることもできる。
図９（ａ）は、図７（ａ）と同様の模式図である。カメラ１００は、あおり調整枠５１１内のフォーカス検出領域のうち、あおり調整枠５１１の台形の２つの底辺の中間付近に位置するフォーカス検出領域を、フォーカス評価領域として設定する。
図９（ｂ）は、フォーカス評価領域を示すフォーカス評価枠５１３ｃを示す図である。台形のあおり調整枠５１１の底辺の長辺と短辺との中間付近にフォーカス評価枠５１３ｃを設けている。カメラ１００は、フォーカス評価領域の合焦評価値の平均値を、フォーカス調整の評価値として用いてフォーカスレンズを制御する。このフォーカス制御は、フォーカス駆動部１１３により行われる。

図９（ｃ）は、図８（ｃ）に示す表示画面５００に、フォーカス評価枠の表示、非表示を指示するためのチェックボックス５０７を追加した図である。
ユーザが、チェックボックス５０７にチェックを入れると、カメラ１００は、ユーザによるフォーカス評価枠の表示の指示を受け付け、撮像画像上にフォーカス評価枠を表示するよう制御する。このフォーカス評価枠の表示制御は、フォーカス評価枠表示部１２４により行われる。
このとき、カメラ１００は、図９（ｃ）に示すように、台形のあおり調整枠５１１の底辺の長辺と短辺との中間付近にフォーカス評価枠５１３ｃを表示する。なお、図９（ｃ）では、フォーカス評価枠５１３ｃを黒塗りの領域で示しているが、表示形態は図９（ｃ）に示す形態に限定されない。
このように、フォーカス評価枠５１３ｃを表示させることで、ユーザは、フォーカス調整に用いるフォーカス評価領域を容易に認識することができる。したがって、ユーザは、フォーカス評価領域を考慮して図８（ｃ）に示すマスク５３２の設定を行うこともできる。つまり、ユーザは、フォーカス評価領域内にフォーカスを合わせたくない被写体が存在する場合、当該被写体が含まれる領域を、フォーカス評価領域から除外するように除外領域を設定することもできる。

以上説明したように、本実施形態におけるカメラ１００は、レンズおよび撮像素子を有する撮像ユニット１０１により撮像された撮像画像を取得し、取得された撮像画像をクライアント装置２００のモニタ２０１に表示させる表示制御を行う。また、カメラ１００は、クライアント装置２００に表示された撮像画像上において、台形の枠によるあおり調整領域の指定を受け付け、指定されたあおり調整領域内に複数のあおり評価領域を設定する。このとき、カメラ１００は、撮像画像上において指定された除外領域を、あおり評価領域の設定対象となりうる領域から除外することもできる。そして、カメラ１００は、設定された複数のあおり評価領域の輝度値をもとに合焦評価値を導出し、導出された合焦評価値に基づいて、レンズの光軸に直交する平面と撮像素子の撮像面との角度であるあおり角度を制御する。

このように、カメラ１００は、撮像画像上においてユーザにより指定された指定領域内に、複数のあおり評価領域を設定することができる。したがって、ユーザが意図しない被写体があおり評価領域に含まれることを抑制することができる。その結果、ユーザが意図した被写体全体にフォーカスが合わされるようにあおり調整を行うことができる。
また、カメラ１００は、撮像画像上において、あおり評価領域の設定対象から除外すべき除外領域の指定を受け付け、指定された除外領域にはあおり評価領域を設定しないようにすることができる。このように、ユーザは、フォーカスを合わせたくない被写体が含まれる領域を指定することができる。したがって、あおり調整の精度劣化を抑制し、ユーザが所望するあおり調整を適切に行うことができる。

また、カメラ１００は、あおり評価領域の設定に際し、台形のあおり調整領域の２つの底辺のうち長辺近傍に、近方被写体に対応する近方あおり評価領域を設定し、短辺近傍に、遠方被写体に対応する遠方あおり評価領域を設定する。このように、カメラ１００は、あおり撮像特有の構図に対応した適切なあおり評価領域を設定することができ、あおり調整の精度を向上させることができる。

さらに、カメラ１００は、あおり調整領域を示すあおり調整枠として、台形の２つの底辺が、それぞれ撮像画像の直交する２つの辺のうち一方の辺（長軸）と平行または略平行なチルト調整枠５１１の指定を受け付けることができる。また、カメラ１００は、あおり調整枠として、台形の２つの底辺が、それぞれ撮像画像の他方の辺（短軸）に平行または略平行なスイング調整枠５１２の指定を受け付けることができる。そして、カメラ１００は、チルト調整枠５１１が指定されたかスイング調整枠５１２が指定されたかに応じて、チルト方向のあおり角度、およびパン方向のあおり角度の少なくとも一方を制御することができる。
つまり、カメラ１００は、指定されたあおり調整枠がチルト調整枠５１１であればチルト方向のあおり調整（上下あおり）、指定されたあおり調整枠がスイング調整枠５１２であれパン方向のあおり調整（左右あおり）を行うことができる。このように、上下あおりと左右あおりとを適切に実現することができる。したがって、ユーザが所望するあおり調整を適切に行うことができる。

また、カメラ１００は、撮像画像上に、あおり調整領域に対応したあおり調整枠を表示させる表示制御を行うことができるので、ユーザは、あおり調整領域を容易に認識し、あおり調整領域の変更の必要性を適切に判断することができる。
また、カメラ１００は、ユーザによるあおり調整領域の大きさ、形状および位置の少なくとも１つの変更を受け付けることができる。つまり、ユーザは、撮像シーンに合わせて、ＵＩ上であおり撮像特有の構図に対応したあおり調整領域を自由に指定することができる。このように、あおり調整領域の変更の自由度が高いため、ユーザがフォーカスを合わせたい領域を適切に指定することができる。

さらに、カメラ１００は、撮像画像上にあおり評価領域を示すあおり評価枠を表示させる表示制御を行うことができるので、ユーザは、フォーカスを合わせたくない被写体があおり評価領域内に存在するか否かを容易に確認することができる。したがって、あおり調整枠の編集やマスクの設定を適切に行うことができ、あおり調整の精度を向上させることができる。
また、カメラ１００は、撮像画像上に除外領域を示すマスクを表示させる表示制御を行うことができるので、ユーザは、あおり評価領域の設定対象となりうる領域を容易に確認することができ、マスクの編集を適切に行うことができる。
さらに、カメラ１００は、撮像画像上にフォーカス評価領域を表示させる表示制御を行うことができるので、ユーザは、フォーカス調整に用いるフォーカス評価領域を容易に認識することができる。したがって、ユーザは、フォーカスを合わせたくない被写体がフォーカス評価領域内に存在するか否かを容易に確認することができ、マスクの設定を適切に行うことができる。その結果、あおり調整およびフォーカス調整の精度を向上させることができる。

以上のユーザインタフェースにより、ユーザは、撮像画像においてフォーカスを合わせたい被写体全体の領域を容易かつ適切に指定することができる。
したがって、カメラ１００は、上記のユーザインタフェースを介してユーザによる指定を受け付け、ユーザが所望するあおり調整を適切に行うことができる。

（変形例）
上記実施形態においては、あおり調整領域を示すあおり調整枠の形状が台形である場合について説明した。しかしながら、あおり調整枠の形状は、長方形であってもよい。なお、あおり調整枠の形状は、あおり撮像特有の構図に対応したあおり調整領域を指定可能な形状であれば、任意の形状であってもよい。
あおり調整枠が長方形である場合、カメラ１００は、図１０に示すように、台形のあおり調整枠（チルト調整枠）５１１に替えて、２つの長方形のあおり調整枠５１１ａ、５１１ｂを表示させる表示制御を行う。また、カメラ１００は、台形のあおり調整枠（スイング調整枠）５１２に替えて、２つの長方形のあおり調整枠５１２ａ、５１２ｂを表示させる表示制御を行う。ここで、あおり調整枠５１１ａおよび５１２ａは、台形のあおり調整領域の２つの底辺のうち短辺近傍の領域を示す枠であり、あおり調整枠５１１ｂおよび５１２ｂは、台形のあおり調整領域の２つの底辺のうち長辺近傍の領域を示す枠である。このように、長方形のあおり調整枠を用いても、台形のあおり調整領域を指定することができる。

ただし、長方形のあおり調整枠を用いた場合、ユーザは、１つのあおり調整領域を指定するために２つの長方形の枠を指定する必要があり、手間がかかる。また、あおり調整枠があおり撮像特有の構図と合致しないため、ユーザは、あおり調整領域を認識しづらい。さらに、カメラ１００は、２つの長方形のあおり調整枠のうち、どちらが近方被写体に対応するあおり調整領域であるかを判定しづらい。また、チルト方向とパン方向の両方のあおり調整をするために、それぞれの方向に対してあおり調整領域が設定された場合、カメラ１００は、あおり調整領域を適切に判断することが困難となる。
これに対して、台形のあおり調整枠を用いた場合、ユーザは、あおり調整領域を容易に指定することが可能となる。また、あおり調整枠があおり撮像特有の構図と合致するため、ユーザは、あおり調整領域を視覚的に容易に認識することができる。

また、上記実施形態においては、あおり調整領域を台形（もしくは長方形）のあおり調整枠を用いて指定する場合について説明したが、あおり調整領域の指定は、枠による指定に限定されない。例えば、カメラ１００は、ユーザにフォーカスを合わせたい領域の外周上の点や領域内の点をマウスクリック等により指定させ、指定された点をもとにあおり調整領域を仮設定してあおり調整枠を表示し、ユーザにあおり調整枠の編集を促すようにしてもよい。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００…撮像装置、１０１…撮像ユニット、１１１…レンズ部、１１２…撮像素子、１１３…フォーカス駆動部、１１４…ズーム駆動部、１１５…あおり駆動部、１２１…ＵＩ提供部、１２２…あおり調整枠表示部、１２３…あおり評価枠表示部、１２４…フォーカス評価枠表示部、１２５…マスク表示部、１２６…制御部、１２７…画像評価部、２００…クライアント装置、３００…ネットワーク、１０００…撮像システム

Claims (16)

1. レンズおよび撮像素子を有する撮像手段により撮像された撮像画像を取得する取得手段と、
   前記取得手段により取得された撮像画像を表示させる表示制御手段と、
   前記表示制御手段により表示された撮像画像上において指定領域の指定を受け付け、当該指定領域内に、複数の評価領域を設定する設定手段と、
   前記設定手段により設定された複数の評価領域のそれぞれについて、当該評価領域の輝度値をもとに合焦評価値を導出する導出手段と、
   前記導出手段により導出された合焦評価値に基づいて、前記レンズの光軸に直交する平面と前記撮像素子の撮像面とのなす角度であるあおり角度を制御する制御手段と、を備えることを特徴とする情報処理装置。
2. 前記表示制御手段は、前記撮像画像上に、前記指定領域に対応する台形もしくは長方形の枠を表示させることを特徴とする請求項１に記載の情報処理装置。
3. 前記表示制御手段は、前記撮像手段におけるズーム動作に連動して、前記枠の大きさを変更して表示させることを特徴とする請求項２に記載の情報処理装置。
4. 前記設定手段は、
   前記表示制御手段により表示された前記枠の大きさ、形状および位置の少なくとも１つの変更を受け付けることで、前記指定領域の大きさ、形状および位置の少なくとも１つの変更を受け付けることを特徴とする請求項２または３に記載の情報処理装置。
5. 前記制御手段は、
   前記導出手段により導出された前記複数の評価領域の合焦評価値の平均値を前記あおり角度の制御の評価値とし、前記評価値に基づいて前記あおり角度を制御することを特徴とする請求項１から４のいずれか１項に記載の情報処理装置。
6. 前記設定手段は、
   前記複数の評価領域として、前記撮像画像の撮像位置に対して近方に位置する被写体に対応する第一の評価領域と、前記撮像位置に対して遠方に位置する被写体に対応する第二の評価領域とを設定することを特徴とする請求項１から５のいずれか１項に記載の情報処理装置。
7. 前記指定領域は台形であって、
   前記設定手段は、
   前記台形の２つの底辺のうち長辺近傍に前記第一の評価領域を設定し、前記台形の２つの底辺のうち短辺近傍に前記第二の評価領域を設定することを特徴とする請求項６に記載の情報処理装置。
8. 前記指定領域は台形であって、
   前記指定領域は、当該台形の２つの底辺が、それぞれ前記撮像画像の直交する２つの辺のうち一方の辺と平行または略平行な第一の指定領域と、前記台形の２つの底辺が、それぞれ前記撮像画像の他方の辺に平行または略平行な第二の指定領域との少なくとも一方を含み、
   前記制御手段は、前記指定領域に前記第一の指定領域および前記第二の指定領域のいずれが含まれているかに応じて、チルト方向の前記あおり角度、およびパン方向の前記あおり角度の少なくとも一方を制御することを特徴とする請求項１から７のいずれか１項に記載の情報処理装置。
9. 前記表示制御手段は、前記撮像画像上に、前記設定手段により設定された評価領域を表示させることを特徴とする請求項１から８のいずれか１項に記載の情報処理装置。
10. 前記指定領域は台形であって、
    前記指定領域内において、当該台形の２つの底辺の中間付近に、フォーカス調整の評価に用いるフォーカス評価領域を設定する第二の設定手段と、
    前記第二の設定手段により設定されたフォーカス評価領域の輝度値をもとに導出される合焦評価値に基づいて、前記撮像手段の合焦動作を制御する第二の制御手段と、をさらに備えることを特徴とする請求項１から９のいずれか１項に記載の情報処理装置。
11. 前記表示制御手段は、前記撮像画像上に、前記第二の設定手段により設定されたフォーカス評価領域を表示させることを特徴とする請求項１０に記載の情報処理装置。
12. 前記設定手段は、
    前記表示制御手段により表示された撮像画像上において、前記評価領域の設定対象から除外すべき除外領域の指定を受け付けることを特徴とする請求項１から１１のいずれか１項に記載の情報処理装置。
13. 前記表示制御手段は、前記撮像画像上に前記除外領域を表示させることを特徴とする請求項１２に記載の情報処理装置。
14. 請求項１から１３のいずれか１項に記載の情報処理装置と、
    前記撮像手段と、
    前記制御手段による制御に従って、前記レンズおよび前記撮像素子の少なくとも一方を駆動し、前記あおり角度を変更する駆動手段と、を備えることを特徴とする撮像装置。
15. レンズおよび撮像素子を有する撮像手段により撮像された撮像画像を取得するステップと、
    取得された前記撮像画像において指定された指定領域内に、複数の評価領域を設定するステップと、
    設定された前記複数の評価領域のそれぞれについて、当該評価領域の輝度値をもとに合焦評価値を導出するステップと、
    導出された前記合焦評価値に基づいて、前記レンズの光軸に直交する平面と前記撮像素子の撮像面とのなす角度であるあおり角度を制御するステップと、を含むことを特徴とする情報処理方法。
16. コンピュータを、請求項１から１３のいずれか１項に記載の情報処理装置の各手段として機能させるためのプログラム。

Images