JP6205072B2 - 撮像制御装置、撮像制御方法、カメラ、カメラシステム及びプログラム - Google Patents

Description

本発明は、撮像制御装置、撮像制御方法、カメラ、カメラシステム及びプログラムに係り、特に撮像部をパン方向及びチルト方向に回動可能なカメラを用いる撮像制御に関する。

従来、被写体を撮像する撮像部をパン方向及びチルト方向に回動可能なパン・チルトカメラを用いて、追尾対象の被写体を追尾することが行われていた。

特許文献１は、撮像画像に基づいて被写体の動きベクトルを検出して表示画面上で被写体を追尾し、追尾対象の被写体が表示画面上の予め定められた枠内に到達した場合、静止画像を自動撮影するカメラを開示した。

特許文献２は、広角カメラの撮像画像に基づいて被写体の動きベクトルを検出し、広角カメラから見て被写体がどの方向に存在するのかを推定してパン・チルトカメラのパン角度及びチルト角度を算出し、パン・チルトカメラで被写体を追尾する方法を開示した。

特許文献３は、焦点調節可能なカメラにおいて、略一定方向に移動する動き方をする被写体を撮影するための一定方向移動撮影モードと、不規則な動きをする被写体を撮影するための移動方向変化撮影モードとをユーザが選択可能であり、移動方向変化撮影モードでは、焦点検出結果に対する係数を一定方向移動撮影モードよりも小さくして焦点調節を行うことで、焦点調節に対する追尾の影響を制限する構成を開示した。この構成により、追尾対象外の被写体を追尾してしまうという誤検出を防ぐ。

特開２０１０−４１２９９号公報 特開２００４−１５５１６号公報 特開２００６−３１７７０１号公報

パン・チルトカメラを用いて被写体の追尾を行う場合、図１４に示すように、撮像画像に基づいて追尾対象の動きを検出し、その追尾対象の動きに追従させてパン・チルトカメラの撮像部をパン方向及びチルト方向で回動させると、追尾対象の動きに合わせてパン・チルトカメラの撮像部が常にパン方向及びチルト方向の両方向で時計回り及び反時計回りに動いてしまうことになる。そのため、撮像画像を表示する表示画面上で追尾対象の被写体の画像が揺らいでしまって、見え難くなり、その揺らぐ被写体の画像を観察するユーザは目が疲れやすくなるという課題がある。

また、被写体が不規則に動く場合、例えば十字キー等の操作でパン・チルトカメラの回動の速度調節を行うことで追尾することは困難である、といった課題もある。

上記の特許文献１、２は、時間変化とともに、追尾対象の被写体が特定の一方向のみでなく実際には上下左右の各方向で動く点に着目していない。

特許文献１記載の発明は、パン・チルトカメラではないので、表示画面上で被写体を追尾するにすぎず、被写体の移動速度に応じてパン・チルトカメラの回動速度を調整することができない。また、撮像画像から検出された被写体の動きベクトルに基づいて、表示画面上で被写体を上下左右の全ての方向で追尾することになるので、不規則に動く被写体を追尾する場合、揺らぐ被写体の画像を観察するユーザは目が疲れやすくなる。

特許文献２記載の発明は、広角カメラの撮像画像に基づいて被写体の動きベクトルを検出しており、被写体の移動速度に応じてパン・チルトカメラの回動速度を追従性よく調整することは現実的には困難である。また、撮像画像から検出された被写体の動きベクトルに基づいて被写体を上下左右の全ての方向で追尾することになるので、不規則に動く被写体を追尾する場合、揺らぐ被写体の画像を観察するユーザは目が疲れやすくなる。

特許文献３記載のカメラはパン・チルトカメラではなく、特許文献３には被写体の移動速度に応じてパン・チルトカメラの回動速度を調整可能にする技術の開示及び示唆が無い。特許文献３は、不規則な動きをする被写体の撮影に適した移動方向変化撮影モードがユーザによって選択された場合に、追尾対象の移動方向とは関係なく、焦点調節に対する追尾の影響を制限することを開示しているにすぎない。よって、特許文献３記載の技術をパン・チルトカメラで採用しても、被写体の移動速度に応じてパン・チルトカメラの回動速度を適度に追従性よく調整可能とすることと、見えやすく疲れにくい追尾画像を表示可能とすることとを、両立できるわけではない。

本発明は上述の事情に鑑みてなされたものであり、撮像部をパン方向及びチルト方向に回動可能なカメラを用いて被写体を追尾する場合に、簡単な操作で、被写体の移動速度に応じてカメラの回動速度を適度に追従性よく調整可能とし、かつ見えやすく疲れにくい追尾画像を表示可能とすることを目的とする。

本発明の一態様は、撮像レンズ及び撮像素子を含む撮像部と、撮像部をパン方向及びチルト方向に回動可能なパン・チルト機構と、パン・チルト機構を駆動するパン・チルト駆動部と、を含むカメラを制御する撮像制御装置であって、撮像部により得られた動画像に基づいて追尾対象の動きベクトルを算出する動きベクトル算出部と、追尾対象を追尾する特定の追尾方向を示す追尾方向指示の入力を受け付ける追尾方向指示入力部と、追尾方向指示に基づいて、追尾対象の動きベクトルから特定の追尾方向の動き成分を抽出する追尾方向動き成分抽出部と、抽出された特定の追尾方向の動き成分に基づいて、パン・チルト機構の特定の追尾方向のみの駆動情報を生成する駆動情報生成部と、を備える撮像制御装置に関する。

本態様によれば、追尾方向指示入力部によって特定の追尾方向が指示入力され、動きベクトル算出部によって動画像に基づいて追尾対象の動きベクトルが算出され、追尾方向動き成分抽出部によって追尾対象の動きベクトルから特定の追尾方向の動き成分が抽出され、駆動情報生成部によって特定の追尾方向の動き成分に基づいて、特定の追尾方向のみの駆動情報が生成されるので、特定の追尾方向を指示入力するという簡単な操作で、追尾対象を特定の追尾方向のみでカメラにより追尾することが可能となって、被写体の移動速度に応じてカメラの回動速度を適度に追従性よく調整可能となり、かつ見えやすく疲れにくい追尾画像を表示可能となる。

本発明の一態様では、駆動情報生成部は、前回生成した駆動情報と、前回生成した駆動情報に応じてカメラのパン・チルト機構が駆動された状態で抽出された特定の追尾方向の動き成分とに基づいて次回の駆動情報を生成する。

本態様によれば、前回生成した駆動情報と、前回生成した駆動情報に応じてカメラのパン・チルト機構が駆動された状態で抽出された特定の追尾方向の動き成分とに基づいて次回の駆動情報を生成するだけでよいので、駆動情報生成の算出が簡単かつ低負荷となる。例えば、駆動情報の一例として具体的には撮像部の回動の角速度が挙げられ、抽出される特定の追尾方向の動き成分として具体的には表示画面上での追尾対象の位置の誤差が挙げられる。

本発明の一態様では、追尾方向指示入力部に対する追尾方向の指示入力が連続している期間中、追尾対象の動きベクトルの算出、追尾方向の動き成分の抽出、及び駆動情報の生成を繰り返し実行する。

本態様によれば、追尾方向の指示入力が連続している期間中（例えば特定のキーを指等で押し続けている間）、連続して指示入力されている特定の追尾方向のみで追尾させ、かつ追尾方向の指示入力が止まったとき（例えば特定のキーから指等が離れたとき）、特定の追尾方向のみの追尾を終了させて通常の追尾に戻させることが可能になる。

本発明の一態様では、追尾方向指示入力部に対する追尾方向の指示入力が一回行われると、追尾方向指示入力部に対する追尾方向の解除の指示入力が行われるまで、又は一定時間が経過するまで、追尾対象の動きベクトルの算出、追尾方向の動き成分の抽出、及び駆動情報の生成を繰り返し実行する。

本態様によれば、追尾方向の指示入力を一回行うだけで（例えば特定のキーを一回押すだけで）、連続して指示入力されている特定の追尾方向のみで追尾させることが可能になる。

本発明の一態様では、追尾方向指示入力部は、特定の追尾方向としてパン方向及びチルト方向のうちいずれかの方向の指示入力を受け付ける。

本態様によれば、パン方向及びチルト方向のうちいずれかを追尾方向として指定するという簡単な操作で、パン方向及びチルト方向のうちいずれかの方向のみの追尾を行わせることができる。

本発明の一態様では、追尾方向指示入力部は、特定の追尾方向としてパン方向の成分とチルト方向の成分とが混在した方向の入力を受け付ける。

本態様によれば、パン方向の成分と及びチルト方向の成分とが混在した方向を追尾方向として指示入力できるので、様々な方向を追尾方向として指示することができる。

本発明の一態様では、カメラにより得られた動画像又は静止画像を表示する表示部と、表示部に表示された画像中の追尾対象の指示入力を受け付ける追尾対象指示入力部を備える。

本態様によれば、表示部に表示された画像中から追尾対象を選択することができるので、容易に追尾対象を指示入力することが可能となる。

本発明の一態様では、追尾方向指示入力部は、上方向、下方向、左方向及び右方向を示すアイコンからなる。

本態様によれば、ユーザは上方向、下方向、左方向及び右方向を示すアイコンを用いて、簡単に追尾方向を指示入力することができる。

本発明の一態様は、上記の撮像制御装置と、カメラとを備えたカメラシステムに関する。

本発明の一態様は、撮像レンズ及び撮像素子を含む撮像部と、撮像部をパン方向及びチルト方向に回動可能なパン・チルト機構と、パン・チルト機構を駆動するパン・チルト駆動部と、撮像部により得られた動画像に基づいて追尾対象の動きベクトルを算出する動きベクトル算出部と、追尾対象を追尾する特定の追尾方向を示す指示の入力を受け付ける追尾方向指示入力部と、入力された指示に基づいて、追尾対象の動きベクトルから特定の追尾方向の動き成分を抽出する追尾方向動き成分抽出部と、抽出された特定の追尾方向の動き成分に基づいて、特定の追尾方向のみの駆動情報を生成する駆動情報生成部と、を備えたカメラに関する。尚、「指示の入力」を受け付ける態様は、通信により受信する態様と、ユーザ操作を直接的に受け付ける態様とがあり、本発明はこれらの二つの態様を含む。

本発明の一態様は、撮像レンズ及び撮像素子を含む撮像部と、撮像部をパン方向及びチルト方向に回動可能なパン・チルト機構と、パン・チルト機構を駆動するパン・チルト駆動部と、を含むカメラを制御する撮像制御方法において、カメラにより得られた動画像に基づいて追尾対象の動きベクトルを算出する動きベクトル算出ステップと、追尾対象を追尾する特定の追尾方向を示す指示の入力を受け付ける追尾方向指示入力ステップと、入力された指示に基づいて、追尾対象の動きベクトルから特定の追尾方向の動き成分を抽出する追尾方向動き成分抽出ステップと、抽出された特定の追尾方向の動き成分に基づいて、特定の追尾方向のみの駆動情報を生成する駆動情報生成ステップと、を含む撮像制御方法に関する。

本発明の一態様は、撮像レンズ及び撮像素子を含む撮像部と、撮像部をパン方向及びチルト方向に回動可能なパン・チルト機構と、パン・チルト機構を駆動するパン・チルト駆動部と、を含むカメラを制御するプログラムにおいて、カメラにより得られた動画像に基づいて追尾対象の動きベクトルを算出する動きベクトル算出ステップと、追尾対象を追尾する特定の追尾方向を示す指示の入力を受け付ける追尾方向指示入力ステップと、入力された指示に基づいて、追尾対象の動きベクトルから特定の追尾方向の動き成分を抽出する追尾方向動き成分抽出ステップと、抽出された特定の追尾方向の動き成分に基づいて、特定の追尾方向のみの駆動情報を生成する駆動情報生成ステップと、をコンピュータに実行させるプログラムに関する。このプログラムを記録したコンピュータ読み取り可能な非一時的記録媒体も本発明の一態様に含まれる。

本発明によれば、撮像部をパン方向及びチルト方向に回動可能なカメラを用いて被写体を追尾する場合に、簡単な操作で、被写体の移動速度に応じてカメラの回動速度を適度に追従性よく調整可能となり、かつ見えやすく疲れにくい追尾画像を表示可能となる。

パン・チルトカメラ及びスマートフォンの一例の外観を示す斜視図 パン・チルトカメラの一例の内部構成を示すブロック図 （Ａ）はパン方向の回動の説明に用いるパン・チルトカメラの平面図、（Ｂ）はチルト方向の回動の説明に用いるパン・チルトカメラの側面図 スマートフォンの一例の内部構成を示すブロック図 第１実施形態における要部の内部構成例を示すブロック図 第１実施形態における追尾処理の一例の流れを示すフローチャート 追尾対象の指示入力及び動きベクトル算出の説明に用いる説明図 追尾方向の指示入力の説明に用いる説明図 パン・チルトカメラの撮像部による追尾の説明に用いる説明図 駆動情報生成の説明に用いる説明図 第２実施形態における要部の内部構成例を示すブロック図 第２実施形態における追尾処理の流れを示すフローチャート 追尾方向指示入力のバリエーションの説明に用いる説明図 本発明の課題の説明に用いる説明図

以下、図面を参照して本発明の実施形態について説明する。

［パン・チルトカメラ及びスマートフォンの外観例］
図１（パン・チルトカメラ１０及びスマートフォン１００を含むパン・チルトカメラシステムの一例の外観を示す斜視図）に示すように、パン・チルトカメラ１０は、装置本体１２と、台座１４と、台座１４に固定されるとともに、撮像部２０を回動自在に保持する保持部１６と、撮像部２０を覆うドームカバー１８と、撮像部２０とを有している。

台座１４は、装置本体１２の垂直方向Ｚの軸を中心に回転自在に配設され、パン駆動部３４（図２）により垂直方向Ｚの軸を中心にして回転する。

保持部１６は、水平方向Ｘの軸と同軸上に設けられたギア１６Ａを有し、チルト駆動部３６（図２）からギア１６Ａを介して駆動力が伝達されることにより、撮像部２０を上下方向に回動（チルト動作）させる。

ドームカバー１８は、防塵及び防滴用のカバーであり、撮像部２０の光軸方向Ｌにかかわらず、撮像部２０の光学性能が変化しないように、水平方向Ｘの軸と垂直方向Ｚの軸との交点を、曲率中心とする一定肉厚の球殻形状であることが好ましい。

また、装置本体１２の背面には、図示しない三脚取付部（三脚ねじ穴等）を設けることが好ましい。

パン・チルトカメラ１０には、電源スイッチ１９Ａ及び撮影開始を指示する撮像開始ボタン１９Ｂが設けられているが、パン・チルトカメラ１０は、カメラ無線通信部５０（図２）を有し、主として外部の端末機（本例では、スマートフォン）１００との無線通信によりスマートフォン１００から各種の操作用の指示入力が加えられるようになっている。

［パン・チルトカメラの内部構成例］
図２はパン・チルトカメラ１０の内部構成の実施形態を示すブロック図である。

このパン・チルトカメラ１０は、通常の静止画及び動画の撮影を行うことができるものであり、大別して撮像部２０と、パン・チルト装置３０と、カメラ制御部４０と、カメラ無線通信部５０とを備えている。

撮像部２０は、撮像レンズ２２、及び撮像素子２４等を有している。撮像レンズ２２は、単焦点レンズ又はズームレンズにより構成され、被写体像を撮像素子２４の撮像面上に結像させる。尚、撮像レンズ２２に含まれるフォーカスレンズ、変倍レンズ（ズームレンズの場合）及び絞り２３は、それぞれレンズ駆動部２６により駆動される。

本例の撮像素子２４は、画素毎に赤（Ｒ）、緑（Ｇ）、青（Ｂ）の３原色の原色フィルタが所定のパターンで配列（ベイヤ配列、ＧストライプＲ／Ｇ完全市松、Ｘ−Ｔｒａｎｓ（登録商標）配列、ハニカム配列等）されたカラー撮像素子であり、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）型イメージセンサにより構成されている。尚、ＣＭＯＳ型イメージセンサに限らず、ＣＣＤ（Charge Coupled Device）型イメージセンサでもよい。

撮像素子２４は、垂直ドライバ及び水平ドライバ等を有する撮像素子ドライバ２８、及びタイミングジェネレータ（ＴＧ）２９により駆動され、撮像素子２４からは、被写体光の入射光量に応じた画素信号（画素毎に蓄積された信号電荷に対応するデジタル信号）が読み出される。

パン・チルト装置３０は、図１に示したように撮像部２０を装置本体１２に対して水平方向（パン方向）に回転されるパン機構、及び垂直方向（チルト方向）に回動させるチルト機構（以下、「パン・チルト機構」と称す）３２、パン駆動部３４、及びチルト駆動部３６等を備えている。

パン・チルト機構３２は、撮像部２０をパン方向及びチルト方向に回動可能であって、さらに、パン方向の回転角（パン角）の基準位置を検出するホームポジションセンサ、チルト方向の傾き角（チルト角）の基準位置を検出するホームポジションセンサを有している。

図３（Ａ）は、パン方向の回動角度θを示すパン・チルトカメラ１０の平面図である。図３（Ｂ）は、チルト方向の回動角度φを示すパン・チルトカメラ１０の側面図である。

パン駆動部３４及びチルト駆動部３６は、それぞれステッピングモータ及びモータドライバを有し、パン・チルト機構３２に駆動力を出力し、パン・チルト機構３２を駆動する。パン駆動部３４及びチルト駆動部３６を、以下ではパン・チルト駆動部３３という。

カメラ制御部４０は、主として信号処理部４１、撮像制御部４２、レンズ制御部４３、パン・チルト制御部４４、及びカメラワーク制御部４６を備えている。

信号処理部４１は、撮像部２０から入力するデジタルの画像信号に対して、オフセット処理、ホワイトバランス補正及び感度補正を含むゲイン・コントロール処理、ガンマ補正処理、デモザイク処理（デモザイキング処理）、ＲＧＢ／ＹＣ変換処理等の信号処理を行う。ここで、デモザイク処理とは、単板式のカラー撮像素子のカラーフィルタ配列に対応したモザイク画像から画素毎に全ての色情報を算出する処理であり、同時化処理ともいう。例えば、ＲＧＢ３色のカラーフィルタからなる撮像素子の場合、ＲＧＢからなるモザイク画像から画素毎にＲＧＢ全ての色情報を算出する処理である。また、ＲＧＢ／ＹＣ変換処理は、デモザイク処理されたＲＧＢ画像データから輝度データＹと、色差データＣｂ，Ｃｒとを生成する処理である。

撮像制御部４２は、撮像素子ドライバ２８、ＴＧ２９を介して撮像素子２４の画素毎のキャパシタに蓄積された電荷の排出、又はキャパシタに蓄積された電荷に対応する信号の読出し等を指令する部分であり、タイムラプス撮影等における撮像制御を行う。

レンズ制御部４３は、レンズ駆動部２６を介して撮像レンズ２２に含まれるフォーカスレンズ、変倍レンズ、及び絞り２３を制御する部分であり、フォーカスレンズを合焦位置に移動させるオートフォーカス（ＡＦ）制御等を行う。ＡＦ制御は、ＡＦエリアに対応するデジタル信号の高周波成分の絶対値を積算し、この積算した値（ＡＦ評価値）が最大となる合焦位置を検出し、検出した合焦位置にフォーカスレンズを移動させることにより行う。

パン・チルト制御部４４は、パン・チルト装置３０を制御する部分である。

カメラワーク制御部４６は、レンズ制御部４３、及びパン・チルト制御部４４を制御する指令信号を出力する。

カメラ無線通信部５０は、図１に示したスマートフォン１００等の外部の端末機との間で無線通信を行う部分であり、無線通信によりスマートフォン１００から各種の操作用の指示入力を受信する。また、カメラ無線通信部５０は、撮像された画像等をスマートフォン１００に送信する。カメラ無線通信部５０は、撮像部２０により動画撮影され、信号処理部４１により処理された画像（ライブビュー画像）をスマートフォン１００に送信することができる。これにより、動画等の記録用の画像をスマートフォン１００の内部又は外付け記録媒体に記録したり、ライブビュー画像をスマートフォン１００の表示部に表示させることができる。

カメラ操作部６０は、装置本体１２に設けられた撮像開始ボタン１９Ｂ（図１）、電源スイッチ１９Ａ（図１）等を含み、スマートフォン１００からの操作用の指示入力と同様の操作用の指示入力を行うことができる。

カメラ表示部６１は、ライブビュー画像、再生画像等を表示する画像表示部として機能するとともに、カメラ操作部６０と協働してメニュー画面の表示、各種のパラメータを設定・入力するためのユーザインターフェース部（ＵＩ部）として機能する。

メモリ６２は、順次撮像される画像を一時的に格納される記憶領域、各種の演算処理等を行う作業用領域となるＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）や、撮像用のプログラム及び制御に必要な各種データ等が格納されるＲＯＭ（Read Only Memory）等を含む。

［スマートフォンの内部構成例］
図４は、図１に示したスマートフォン１００の構成を示すブロック図である。

図４に示すように、スマートフォン１００の主たる構成要素として、無線通信部１１０と、表示入力部１２０と、通話部１３０と、操作部１４０と、カメラ部１４１と、記憶部１５０と、外部入出力部１６０と、ＧＰＳ(Global Positioning System)受信部１７０と、モーションセンサ部１８０と、電源部１９０と、主制御部１０１とを備える。また、スマートフォン１００の主たる機能として、基地局装置ＢＳと移動通信網ＮＷとを介した移動無線通信を行う無線通信機能を備える。

無線通信部１１０は、主制御部１０１の指示に従って、移動通信網ＮＷに収容された基地局装置ＢＳに対し無線通信を行うものである。この無線通信を使用して、音声データ、画像データ等の各種ファイルデータ、電子メールデータなどの送受信や、Ｗｅｂデータやストリーミングデータなどの受信を行う。本例では、スマートフォン１００の無線通信部１１０は、パン・チルトカメラ１０に各種の操作用の指示入力を送信したり、パン・チルトカメラ１０からライブビュー画像、記録用の画像等を受信する。

表示入力部１２０は、主制御部１０１の制御により、画像（静止画像及び動画像）や文字情報などを表示して視覚的にユーザに情報を伝達すると共に、表示した情報に対するユーザ操作を検出する、いわゆるタッチパネルであって、表示パネル１２１と、操作パネル１２２とを備える。３Ｄ画像を鑑賞する場合には、表示パネル１２１は、３Ｄ表示パネルであることが好ましい。

表示パネル１２１は、LCD(Liquid Crystal Display)、OELD(Organic Electro-Luminescence Display)などを表示デバイスとして用いたものである。

操作パネル１２２は、表示パネル１２１の表示画面上に表示される画像を視認可能に載置され、ユーザの指や尖筆によって操作される一又は複数の座標を検出するデバイスである。このデバイスをユーザの指や尖筆によって操作すると、操作に起因して発生する検出信号を主制御部１０１に出力する。次いで、主制御部１０１は、受信した検出信号に基づいて、表示パネル１２１上の操作位置（座標）を検出する。

図１に示すように、スマートフォン１００の表示パネル１２１と操作パネル１２２とは一体となって表示入力部１２０を構成しているが、操作パネル１２２が表示パネル１２１を完全に覆うような配置となっている。この配置を採用した場合、操作パネル１２２は、表示パネル１２１外の領域についても、ユーザ操作を検出する機能を備えてもよい。換言すると、操作パネル１２２は、表示パネル１２１に重なる重畳部分についての検出領域（以下、表示領域と称する）と、それ以外の表示パネル１２１に重ならない外縁部分についての検出領域（以下、非表示領域と称する）とを備えていてもよい。

尚、表示領域の大きさと表示パネル１２１の大きさとを完全に一致させても良いが、両者を必ずしも一致させる必要はない。また、操作パネル１２２が、外縁部分と、それ以外の内側部分の２つの感応領域を備えていてもよい。更に、外縁部分の幅は、筐体１０２の大きさなどに応じて適宜設計されるものである。更にまた、操作パネル１２２で採用される位置検出方式としては、マトリクススイッチ方式、抵抗膜方式、表面弾性波方式、赤外線方式、電磁誘導方式、静電容量方式などが挙げられ、いずれの方式を採用することもできる。

通話部１３０は、スピーカ１３１やマイクロホン１３２を備え、マイクロホン１３２を通じて入力されたユーザの音声を主制御部１０１にて処理可能な音声データに変換して主制御部１０１に出力したり、無線通信部１１０あるいは外部入出力部１６０により受信された音声データを復号してスピーカ１３１から出力するものである。また、図１に示すように、例えば、スピーカ１３１及びマイクロホン１３２を表示入力部１２０が設けられた面と同じ面に搭載することができる。

操作部１４０は、キースイッチなどを用いたハードウェアキーであって、ユーザからの指示を受け付けるものである。例えば、操作部１４０は、スマートフォン１００の筐体１０２の表示部の下部、下側面に搭載され、指などで押下されるとオンとなり、指を離すとバネなどの復元力によってオフ状態となる押しボタン式のスイッチである。

記憶部１５０は、主制御部１０１の制御プログラムや制御データ、通信相手の名称や電話番号などを対応づけたアドレスデータ、送受信した電子メールのデータ、ＷｅｂブラウジングによりダウンロードしたＷｅｂデータや、ダウンロードしたコンテンツデータを記憶し、またストリーミングデータなどを一時的に記憶するものである。また、記憶部１５０は、スマートフォン内蔵の内部記憶部１５１と着脱自在な外部メモリスロットを有する外部記憶部１５２により構成される。尚、記憶部１５０を構成するそれぞれの内部記憶部１５１と外部記憶部１５２は、フラッシュメモリタイプ（flash memory type）、ハードディスクタイプ（hard disk type）、マルチメディアカードマイクロタイプ（multimediacard micro type）、カードタイプのメモリ（例えば、Micro SD（登録商標）メモリ等）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）などの格納媒体を用いて実現される。

外部入出力部１６０は、スマートフォン１００に連結される全ての外部機器とのインターフェースの役割を果たすものであり、他の外部機器に通信等（例えば、ユニバーサルシリアルバス（ＵＳＢ）、IEEE1394など）又はネットワーク（例えば、インターネット、無線ＬＡＮ、ブルートゥース（Bluetooth）（登録商標）、ＲＦＩＤ（Radio Frequency Identification）、赤外線通信（Infrared Data Association：ＩｒＤＡ）（登録商標）、ＵＷＢ（Ultra Wideband）（登録商標）、ジグビー（ZigBee）（登録商標）など）により直接的又は間接的に接続するためのものである。

スマートフォン１００に連結される外部機器としては、例えば、有／無線ヘッドセット、有／無線外部充電器、有／無線データポート、カードソケットを介して接続されるメモリカード（Memory card）やＳＩＭ(Subscriber Identity Module Card)／ＵＩＭ(User Identity Module Card)カード、オーディオ・ビデオＩ／Ｏ（Input/Output）端子を介して接続される外部オーディオ・ビデオ機器、無線接続される外部オーディオ・ビデオ機器、有／無線接続されるスマートフォン、有／無線接続されるパーソナルコンピュータ、有／無線接続されるPDA、有／無線接続されるイヤホンなどがある。外部入出力部は、このような外部機器から伝送を受けたデータをスマートフォン１００の内部の各構成要素に伝達することや、スマートフォン１００の内部のデータが外部機器に伝送されるようにすることができる。

ＧＰＳ受信部１７０は、主制御部１０１の指示に従って、GPS衛星ＳＴ１〜ＳＴｎから送信されるGPS信号を受信し、受信した複数のGPS信号に基づく測位演算処理を実行し、当該スマートフォン１００の緯度、経度、高度からなる位置を検出する。ＧＰＳ受信部１７０は、無線通信部１１０や外部入出力部１６０（例えば、無線ＬＡＮ）から位置情報を取得できるときには、その位置情報を用いて位置を検出することもできる。

モーションセンサ部１８０は、例えば、３軸の加速度センサなどを備え、主制御部１０１の指示に従って、スマートフォン１００の物理的な動きを検出する。スマートフォン１００の物理的な動きを検出することにより、スマートフォン１００の動く方向や加速度が検出される。この検出結果は、主制御部１０１に出力されるものである。

電源部１９０は、主制御部１０１の指示に従って、スマートフォン１００の各部に、バッテリ（図示しない）に蓄えられる電力を供給するものである。

主制御部１０１は、マイクロプロセッサを備え、記憶部１５０が記憶する制御プログラムや制御データに従って動作し、スマートフォン１００の各部を統括して制御するものである。また、主制御部１０１は、無線通信部１１０を通じて、音声通信やデータ通信を行うために、通信系の各部を制御する移動通信制御機能と、アプリケーション処理機能を備える。

アプリケーション処理機能は、記憶部１５０が記憶するアプリケーションソフトウェアに従って主制御部１０１が動作することにより実現するものである。アプリケーション処理機能としては、例えば、外部入出力部１６０を制御して対向機器とデータ通信を行う赤外線通信機能や、電子メールの送受信を行う電子メール機能、Webページを閲覧するWebブラウジング機能などがある。

また、主制御部１０１は、受信データやダウンロードしたストリーミングデータなどの画像データ（静止画や動画のデータ）に基づいて、映像を表示入力部１２０に表示する等の画像処理機能を備える。画像処理機能とは、主制御部１０１が、上記画像データを復号し、この復号結果に画像処理を施して、画像を表示入力部１２０に表示する機能のことをいう。

更に、主制御部１０１は、表示パネル１２１に対する表示制御と、操作部１４０、操作パネル１２２を通じたユーザ操作を検出する操作検出制御を実行する。

表示制御の実行により、主制御部１０１は、アプリケーションソフトウェアを起動するためのアイコンや、スクロールバーなどのソフトウェアキーを表示し、あるいは電子メールを作成するためのウィンドウを表示する。尚、スクロールバーとは、表示パネル１２１の表示領域に収まりきれない大きな画像などについて、画像の表示部分を移動する指示を受け付けるためのソフトウェアキーのことをいう。

また、操作検出制御の実行により、主制御部１０１は、操作部１４０を通じたユーザ操作を検出したり、操作パネル１２２を通じて、上記アイコンに対する操作や、上記ウィンドウの入力欄に対する文字列の入力を受け付けたり、あるいは、スクロールバーを通じた表示画像のスクロール要求を受け付ける。

更に、操作検出制御の実行により主制御部１０１は、操作パネル１２２に対する操作位置が、表示パネル１２１に重なる重畳部分（表示領域）か、それ以外の表示パネル１２１に重ならない外縁部分（非表示領域）かを判定し、操作パネル１２２の感応領域や、ソフトウェアキーの表示位置を制御するタッチパネル制御機能を備える。

また、主制御部１０１は、操作パネル１２２に対するジェスチャ操作を検出し、検出したジェスチャ操作に応じて、予め設定された機能を実行することもできる。ジェスチャ操作とは、従来の単純なタッチ操作ではなく、指などによって軌跡を描いたり、複数の位置を同時に指定したり、あるいはこれらを組み合わせて、複数の位置から少なくとも１つについて軌跡を描く操作を意味する。

カメラ部１４１は、CMOS(Complementary Metal Oxide Semiconductor)やCCD(Charge Coupled Device)などの撮像素子を用いて電子撮影するデジタルカメラである。また、カメラ部１４１は、主制御部１０１の制御により、撮影によって得た画像データを、例えばJPEG(Joint Photographic coding Experts Group)などの圧縮した画像データに変換し、記憶部１５０に記録したり、外部入出力部１６０や無線通信部１１０を通じて出力することができる。図１に示すスマートフォン１００において、カメラ部１４１は表示入力部１２０と同じ面に搭載されているが、カメラ部１４１の搭載位置はこれに限らず、表示入力部１２０の背面に搭載されてもよいし、あるいは、複数のカメラ部１４１が搭載されてもよい。尚、複数のカメラ部１４１が搭載されている場合には、撮影に供するカメラ部１４１を切り替えて単独にて撮影したり、あるいは、複数のカメラ部１４１を同時に使用して撮影することもできる。また、カメラ部１４１はスマートフォン１００の各種機能に利用することができる。例えば、表示パネル１２１にカメラ部１４１で取得した画像を表示することや、操作パネル１２２の操作入力のひとつとして、カメラ部１４１の画像を利用することができる。また、ＧＰＳ受信部１７０が位置を検出する際に、カメラ部１４１からの画像を参照して位置を検出することもできる。更には、カメラ部１４１からの画像を参照して、３軸の加速度センサを用いずに、あるいは、３軸の加速度センサと併用して、スマートフォン１００のカメラ部１４１の光軸方向を判断することや、現在の使用環境を判断することもできる。勿論、カメラ部１４１からの画像をアプリケーションソフトウェア内で利用することもできる。

本例では、ネットワーク等を介してパン・チルトカメラ１０を操作するためのアプリケーションソフトウェアをダウンロードして記憶部１５０に記憶させ、スマートフォン１００のアプリケーション処理機能により、ダウンロードしたアプリケーションソフトウェアに従って主制御部１０１を動作させることにより、汎用のスマートフォン１００を、パン・チルトカメラ１０を操作するためのユーザインターフェース部（ＵＩ部）として機能させるようにしている。

［第１実施形態］
第１実施形態は、スマートフォン１００において、追尾対象の動きベクトル算出、追尾方向の動き成分抽出、及び駆動情報生成を行う。生成された駆動情報は、スマートフォン１００から、パン・チルトカメラ１０に対し、出力される。また、以下の例では、追尾対象の指示入力及び追尾方向の指示入力は、表示入力部１２０によりユーザから受け付ける。

図５は、第１実施形態における要部の内部構成例を示すブロック図である。

スマートフォン１００の表示入力部１２０は、図１を用いて説明したように表示パネル１２１（表示部の一態様である）と操作パネル１２２とを重ねて配置した構成である。表示入力部１２０は、表示パネル１２１に表示された画像中の追尾対象の指示入力を受け付ける追尾対象指示入力部２０２、及び追尾対象を追尾する特定の追尾方向を示す追尾方向指示の入力を受け付ける追尾方向指示入力部２０４として用いられる。

スマートフォン１００の主制御部１０１は、パン・チルトカメラ１０の撮像部２０により得られた動画像に基づいて追尾対象の動きベクトルを算出する動きベクトル算出部２１２と、追尾方向指示入力部２０４で受け付けた追尾方向指示に基づいて、追尾対象の動きベクトルから特定の追尾方向の動き成分を抽出する追尾方向動き成分抽出部２１４と、抽出された特定の追尾方向の動き成分に基づいて、特定の追尾方向のみの駆動情報を生成する駆動情報生成部２１６と、記憶部（図４の１５０）に記憶されたプログラムに従って、スマートフォン１００の各部の実行を制御する実行制御部２２０と、を備える。

図６は、第１実施形態における撮像制御方法の一例の流れを示すフローチャートである。図６において、スマートフォン１００の処理は、スマートフォン１００の実行制御部２２０によって、スマートフォン１００の記憶部１５０に記憶されたプログラムに従って実行される。パン・チルトカメラ１０の処理は、パン・チルトカメラ１０のカメラ制御部４０によって、パン・チルトカメラ１０のメモリ６２に記憶されたプログラムに従って実行される。

尚、パン・チルトカメラ１０は、既に電源スイッチ１９Ａ及び撮像開始ボタン１９Ｂがオンされており、パン・チルト機構３２、パン・チルト駆動部３３等の初期化を終了して被写体の撮像を開始した状態であるものとする。

パン・チルトカメラ１０は、カメラ制御部４０の制御に従って、撮像部２０により撮像されたライブビュー画像を、カメラ無線通信部５０によりスマートフォン１００に対して送信出力する（ステップＳ１０２）。スマートフォン１００では、無線通信部１１０によってライブビュー画像を受信入力し、表示入力部１２０の表示パネル１２１にライブビュー画像を表示する。

本例のパン・チルトカメラ１０は、一定の時間間隔でライブビュー画像の撮像を行い、かつ一定の時間間隔でスマートフォン１００に対してライブビュー画像を送信出力する。ここで、「一定の時間間隔」とは、完全に同一の時間間隔である場合に限定されず、一定の許容範囲内のゆらぎが生じている場合を含む。また、本発明は、ライブビュー画像の撮像時間間隔及び送信時間間隔が一定である場合に、限定されない。パン・チルトカメラ１０は、パン・チルトカメラ１０の各部の負荷状態や通信環境等に応じて、不定の時間間隔でライブビュー画像の撮像及び送信出力を行ってもよい。例えば、撮像画像の変化量が閾値以下であることを検知した場合、パン・チルトカメラ１０での処理の負荷が許容範囲外であることを検知した場合、あるいは通信環境が許容範囲外であることを検知した場合には、撮像及び送信の少なくとも一方を一時的に停止してもよい。また、ライブビュー画像には、撮像時刻情報（いわゆるタイムスタンプ）が付加されているので、スマートフォン１００は、ライブビュー画像に付加された撮像時刻情報から撮像時刻を検知することが可能である。

スマートフォン１００では、図７に示すように、追尾対象指示入力部２０２として機能する表示入力部１２０により、表示されたライブビュー画像中の追尾対象の指示の入力を受け付ける（ステップＳ１０４：追尾対象指示入力ステップの一態様である）。本例では、表示入力部１２０を構成する操作パネル１２２により、追尾対象の指示入力をユーザから直接受け付ける。例えば、人を追尾対象として指示入力する場合、ライブビュー画像中の人の画像を指等でタップするタッチ入力を行うことにより、追尾対象を指示入力する。人の画像を囲むように指等で軌跡を描く、あるいは人の画像を挟むように複数の指等でマルチタップする、といったタッチ入力で追尾対象の指示入力を受け付けてもよい。

また、スマートフォン１００では、図８に示すように、追尾方向指示入力部２０４として機能する表示入力部１２０により、追尾対象を追尾する特定の追尾方向を示す追尾方向指示の入力を受け付ける（ステップＳ１０６：追尾方向指示入力ステップの一態様である）。本例では、表示入力部１２０を構成する操作パネル１２２により、追尾方向の指示入力をユーザから直接受け付ける。図８では、十字キー２０４Ｃによって、追尾方向指示入力部２０４が構成されている。十字キー２０４Ｃは、上方向を示すアイコン２０４Ｕ（以下「上キー」という）、下方向を示すアイコン２０４Ｄ（以下「下キー」という）、左方向を示すアイコン２０４Ｌ（以下「左キー」という）、及び右方向を示すアイコン２０４Ｒ（以下「右キー」という）からなる。左キー２０４Ｌの押下は、図１のカメラ姿勢の場合、図９に示すように、パン・チルトカメラ１０における撮像部２０のパン方向の反時計回りの回動に対応する。右キー２０４Ｒの押下は、上記のカメラ姿勢の場合、パン・チルトカメラ１０における撮像部２０のパン方向の時計回りの回動に対応する。上キー２０４Ｕの押下は、上記のカメラ姿勢の場合、パン・チルトカメラ１０における撮像部２０のチルト方向の時計回りの回動に対応する。下キー２０４Ｄの押下は、上記のカメラ姿勢の場合、パン・チルトカメラ１０における撮像部２０のチルト方向の反時計回りの回動に対応する。つまり、追尾方向指示入力部２０４は、パン方向及びチルト方向のうちいずれかの方向の指示入力を受け付ける。ただし、十字キー２０４Ｃにおける各キーの押下と、パン・チルトカメラ１０における撮像部２０の回動の方向との対応関係は、パン・チルトカメラ１０の姿勢（上向き姿勢、下向き姿勢、横向き姿勢等）により異なるので、パン・チルトカメラ１０が各種の姿勢をとり得る場合（例えば据え付け型でなく携帯型の場合）には、パン・チルトカメラ１０の姿勢に応じて十字キー２０４Ｃの各キーと撮像部２０の回動方向との対応関係を変更する。

パン・チルトカメラ１０は、ライブビュー画像の撮像及び送信出力を繰り返す。スマートフォン１００では、ライブビュー画像を受信するごとに、表示入力部１２０の表示パネル１２１にライブビュー画像を表示させる。

スマートフォン１００の動きベクトル算出部２１２により、複数のライブビュー画像（動画像である）に基づいて、追尾対象の動きベクトルｖを算出する（ステップＳ１０８:動きベクトル算出ステップの一態様である）。例えば図７に示すライブビュー画像において、追尾対象である人の画像の動きベクトルｖは、横方向成分ｖｘ及び縦方向成分ｖｙによって構成されている。

スマートフォン１００の追尾方向動き成分抽出部２１４により、追尾方向指示に基づいて、追尾対象の動きベクトルｖから特定の追尾方向の動き成分を抽出する（ステップＳ１１０：追尾方向動き成分抽出ステップの一態様である）。図８に示すように右キー２０４Ｒのみが押されている場合、右方向の動き成分のみが抽出される。左キー２０４Ｌのみが押されている場合、左方向の動き成分のみが抽出される。上キー２０４Ｕのみが押されている場合、上方向の動き成分のみが抽出される。下キー２０４Ｄのみが押されている場合、下方向の動き成分のみが抽出される。二つのキー（例えば上キー２０４Ｕ及び右キー２０４Ｒ）が押されている場合、上、下、左、右方向の動き成分のうちで、押されているキーに対応する方向（例えば上方向及び右方向）の動き成分が抽出される。

スマートフォン１００の駆動情報生成部２１６により、抽出された特定の追尾方向の動き成分に基づいて、特定の追尾方向のみの駆動情報を生成する（ステップＳ１１２：駆動情報生成ステップの一態様である）。図８に示すように右キー２０４Ｒのみが押されている場合、図１のカメラ姿勢では、パン方向の時計回りのみの駆動情報が生成される。左キー２０４Ｌのみが押されている場合、上記のカメラ姿勢では、パン方向の反時計回りのみの駆動情報が生成される。上キー２０４Ｕのみが押されている場合、上記のカメラ姿勢では、チルト方向の時計回りのみの駆動情報が生成される。下キー２０４Ｄのみが押されている場合、上記のカメラ姿勢では、チルト方向の反時計回りのみの駆動情報が生成される。二つのキー（例えば上キー２０４Ｕ及び右キー２０４Ｒ）が押されている場合、上、下、左、右方向の動き成分のうちで、押されているキーに対応する方向（例えばパンの時計回り及びチルトの時計回り）のみの駆動情報が生成される。

駆動情報生成部２１６は、前回生成した駆動情報と、前回生成した駆動情報に応じてパン・チルト機構３２が駆動された状態で抽出された特定の追尾方向の動き成分とに基づいて次回の駆動情報を生成する。例えば、駆動情報として撮像部２０の回動の角速度を生成する場合、前回生成した角速度と、前回生成した角速度で撮像部２０が回動している状態で抽出した追尾方向の動き成分とに基づいて、次回の角速度が算出される。例えば、図１０において、人の画像の右方向の動きのみに追従するパン・チルトカメラ１０の撮像部２０のパン方向の時計回りの角速度をｖｘ０としたとき、ライブビュー画像上で右方向の動き成分Δｖｘが抽出されると、ｖｘ０とΔｖｘとに基づいて次回のパン方向の時計回りの角速度ｖｘｉ（＝ｖｘ０＋ｆ（Δｖｘ））が求められる。ここで、ｆ（）は、ライブビュー画像における追尾方向の動き成分（画像上の追尾誤差である）と、パン・チルトカメラ１０における撮像部２０の追尾方向の角加速度との対応関係を示す。もっとも、ライブビュー画像上の追尾誤差とパン・チルトの角加速度との対応関係は特に限定されず、滑らかに追尾することが可能なように、適宜設定してよい。

スマートフォン１００の無線通信部１１０により、生成された駆動情報をパン・チルトカメラ１０に対して送信出力する（ステップＳ１１４）。送信出力された駆動情報は、パン・チルトカメラ１０のカメラ無線通信部５０により受信入力される。

パン・チルトカメラ１０のカメラ制御部４０は、駆動情報を受信入力したか否かを判定する（ステップＳ１１６）。駆動情報を受信入力した場合（ステップＳ１１６でＹＥＳの場合）、パン・チルトカメラ１０のカメラ制御部４０は、駆動情報に基づいて、パン・チルト駆動部３３によりパン・チルト機構３２を駆動する（ステップＳ１１８）。つまり、パン・チルトカメラ１０の撮像部２０が、駆動情報に基づいて、追尾対象の特定の追尾方向のみにおいて回動する。例えば、図９に示すように、パン・チルトカメラ１０の撮像部２０が、パン方向の時計回りのみに回動する。

スマートフォン１００の実行制御部２２０は、追尾方向指示入力部２０４に追尾方向の指示入力が連続しているか否かを判定する（ステップＳ１２０）。

追尾方向の指示入力が連続している場合（ステップＳ１２０でＹＥＳの場合）、ステップＳ１０８に戻り、追尾対象の動きベクトルの算出（ステップＳ１０８）、追尾方向の動き成分の抽出（ステップＳ１１０）、駆動情報の生成（ステップＳ１１２）、及び駆動情報の送信出力（ステップＳ１１４）が、繰り返し実行される。例えば、図８に示す十字キー２０４Ｃのうち右キー２０４Ｒが時間的に連続して押し続けられると、実行制御部２２０の実行制御により、ステップＳ１０８〜ステップＳ１１４が繰り返し実行される。

追尾方向の連続的な指示入力が終了した場合（ステップＳ１２０でＮＯの場合）、上記のステップＳ１０８〜ステップＳ１１４の繰り返しを終了する。例えば、図８に示す十字キー２０４Ｃのうち右キー２０４Ｒから指等が離れて、右キー２０４Ｒの連続押下が終了すると、実行制御部２２０の実行制御により、ステップＳ１０８〜ステップＳ１１４の繰り返し実行を終了し、追尾終了の指示が入力されたか否かを判定する（ステップＳ１２２）。例えば図１０の終了キー２０６が押された場合、追尾終了の指示が入力されたと判定する。

追尾終了の指示が入力された場合（ステップＳ１２２でＹＥＳの場合）、実行制御部２２０の実行制御により、追尾を終了する。追尾終了の指示が入力されない場合（ステップＳ１２２でＮＯの場合）、ステップＳ１０６に戻り、必要に応じて、追尾方向の指示入力の受付け（ステップＳ１０６）を行う。

［第２実施形態］
第２実施形態は、パン・チルトカメラ１０において、追尾対象の動きベクトル算出、追尾方向の動き成分抽出、及び駆動情報生成を行う。また、以下の例では、追尾対象の指示及び追尾方向の指示は、カメラ無線通信部５０によりスマートフォン１００から受信することで入力する。

図１１は、第２実施形態における要部の内部構成例を示すブロック図である。

パン・チルトカメラ１０のカメラ無線通信部５０は、スマートフォン１００から追尾対象の指示を無線通信により入力（受信）する追尾対象指示入力部２５２と、スマートフォン１００から追尾方向の指示を無線通信により入力（受信）する追尾方向指示入力部２５４と、を含む。

第２実施形態では、スマートフォン１００の表示入力部１２０でライブビュー画像を表示してユーザにより追尾対象の指示の入力操作が行われると、スマートフォン１００からパン・チルトカメラ１０に対して追尾対象の指示としてライブビュー画像中の追尾対象の位置が無線通信で出力（送信）される。パン・チルトカメラ１０のカメラ無線通信部５０は、追尾対象の指示を無線通信で入力（受信）する。また、第２実施形態では、スマートフォン１００の表示入力部１２０で追尾方向の指示の入力操作が行われると、スマートフォン１００の無線通信部１１０からパン・チルトカメラ１０に対して追尾方向の指示が無線通信で出力（送信）される。パン・チルトカメラ１０のカメラ無線通信部５０は、追尾方向の指示を無線通信で入力（受信）する。

パン・チルトカメラ１０のカメラ制御部４０は、パン・チルトカメラ１０により得られた動画像に基づいて追尾対象の動きベクトルを算出する動きベクトル算出部２１２と、追尾方向指示入力部２５４で受け付けた追尾方向指示に基づいて、追尾対象の動きベクトルから特定の追尾方向の動き成分を抽出する追尾方向動き成分抽出部２１４と、抽出された特定の追尾方向の動き成分に基づいて、特定の追尾方向のみの駆動情報を生成する駆動情報生成部２１６と、メモリ（図２の６２）に記憶されたプログラムに従って、スマートフォン１００の各部の実行を制御する実行制御部２２２と、を備える。

図１２は、第２実施形態における撮像制御方法の一例の流れを示すフローチャートである。

尚、パン・チルトカメラ１０は、既に電源スイッチ１９Ａ及び撮像開始ボタン１９Ｂがオンされており、パン・チルト機構３２、パン・チルト駆動部３３等の初期化を終了して被写体の撮像を開始した状態であるものとする。

パン・チルトカメラ１０は、カメラ制御部４０の制御に従って、撮像部２０により撮像されたライブビュー画像を、カメラ無線通信部５０によりスマートフォン１００に対して送信出力する（ステップＳ２０２）。スマートフォン１００では、無線通信部１１０によりライブビュー画像を受信入力し、表示入力部１２０の表示パネル１２１がライブビュー画像を表示する。

スマートフォン１００では、図７に示すように、表示入力部１２０に対して、表示入力部１２０に表示されたライブビュー画像中の追尾対象の指示が入力される（ステップＳ２０４）。追尾対象の指示は、スマートフォン１００からパン・チルトカメラ１０に対して無線通信で送信される。

また、スマートフォン１００では、図８に示すように、表示入力部１２０に対して、追尾方向の指示が入力される（ステップＳ２０５）。追尾方向の指示は、スマートフォン１００からパン・チルトカメラ１０に対して無線通信で送信される。

パン・チルトカメラ１０の実行制御部２２２は、追尾対象の指示を無線通信により入力（受信）したか否かの判定（ステップＳ２０６）、及び追尾方向の指示を無線通信により入力（受信）したか否かの判定を行う（ステップＳ２０７）。ここで、追尾方向の指示の受信が、追尾方向指示入力ステップの一態様に相当する。

追尾対象の指示及び追尾方向の指示が入力されている場合（ステップＳ２０６でＹＥＳかつステップＳ２０７でＹＥＳの場合）、パン・チルトカメラ１０では、実行制御部２２２の実行制御により、追尾対象の動きベクトルの算出（ステップＳ２０８：動きベクトル算出ステップの一態様である）、追尾方向の動き成分の抽出（ステップＳ２１０:追尾方向動き成分抽出ステップの一態様である）、及び追尾方向の動き成分に基づく駆動情報の生成（ステップＳ２１２：駆動情報生成ステップの一態様である）が実行される。これらのステップＳ２０８〜Ｓ２１２は、第１実施形態におけるステップＳ１０８〜Ｓ１１２と同様であり、詳細な説明を省略する。

パン・チルトカメラ１０のカメラ制御部４０は、駆動情報に基づいて、パン・チルト駆動部３３によりパン・チルト機構３２を駆動する（ステップＳ２１４）。つまり、パン・チルトカメラ１０の撮像部２０が、駆動情報に基づいて、追尾対象の特定の追尾方向のみにおいて回動する。

スマートフォン１００の主制御部１０１は、表示入力部１２０に追尾方向の指示入力が連続しているか否かを判定する（ステップＳ２２０）。追尾方向の連続的な指示入力が終了した場合（ステップＳ２２０でＮＯの場合）、スマートフォン１００からパン・チルトカメラ１０に対して、追尾方向の指示入力の中断が無線通信で通知（送信）される（ステップＳ２２２）。

パン・チルトカメラ１０の実行制御部２２２は、追尾方向の指示入力の中断の通知を無線通信により受信したか否かの判定（ステップＳ２２３）を行う。上記の中断の通知を受信していない場合（ステップＳ２２３でＮＯの場合）、すなわちスマートフォン１００での追尾方向の指示入力が連続している場合には、ライブビュー画像の撮像及び送信出力（ステップＳ２２８）が繰り返され、かつ追尾対象の動きベクトルの算出（ステップＳ２０８）、追尾方向の動き成分の抽出（ステップＳ２１０）、駆動情報の生成（ステップＳ２１２）、及びパン・チルト機構の駆動（ステップＳ２１４）が繰り返し実行される。上記の中断の通知を受信した場合（ステップＳ２２３でＹＥＳの場合）、すなわちスマートフォン１００での追尾方向の連続的な指示入力が終了した場合には、ステップＳ２０２に戻り、新たな追尾対象の指示を受信するまで、ライブビュー画像の撮像及び送信出力を繰り返す。スマートフォン１００では、追尾終了の指示入力であるか否かを判定し（ステップＳ２２６）、追尾終了の指示入力である場合（ステップＳ２２６でＹＥＳの場合）、スマートフォン１００での追尾処理を終了する。

尚、カメラ無線通信部５０によって追尾対象指示入力部２５２及び追尾方向指示入力部２５４を構成した場合を例に説明したが、追尾対象の指示入力及び追尾方向の指示入力をカメラ操作部６０で受け付けるようにしてもよい。つまり、カメラ操作部６０によって追尾対象指示入力部及び追尾方向指示入力部を構成する。

［他の実施形態］
第１実施形態（本発明の要部である動きベクトル算出部２１２、追尾方向動き成分抽出部２１４、及び駆動情報生成部２１６をスマートフォン１００に配置した態様である）と、第２実施形態（上記の要部をパン・チルトカメラ１０に配置した態様である）とを、詳細に説明したが、上記の要部を、パン・チルトカメラ１０及びスマートフォン１００以外の他の装置（例えば一般に「サーバ」と呼ばれるコンピュータ装置）に、配置してもよい。この場合、サーバにより、本発明の撮像制御装置が構成される。

また、上記の要部（動きベクトル算出部２１２、追尾方向動き成分抽出部２１４、及び駆動情報生成部２１６）を、複数の装置に分散して配置することも可能である。例えば、動きベクトル算出部２１２及び追尾方向動き成分抽出部２１４をスマートフォン１００（又はサーバ装置）に配置し、駆動情報生成部２１６をパン・チルトカメラ１０に配置する。この場合、複数の装置により、本発明の撮像制御装置が構成される。

［追尾方向の指示入力のバリエーション］
上記の実施形態では、本発明の理解を容易にするため、（１）上方向、下方向、左方向及び右方向を示すアイコンからなる十字キーを用い、パン方向（十字キーの左方向及び右方向に対応する）及びチルト方向（十字キーの上方向及び下方向に対応する）のうちいずれかの方向を追尾方向として受け付ける、（２）追尾方向の指示入力が連続している期間中、追尾対象の動きベクトルの算出、追尾方向の動き成分の抽出、及び駆動情報の生成を繰り返し実行する、という限定がある場合を例に説明した。しかしながら本発明は、上記の限定が無い場合であってもよい。

第１に、スマートフォン１００の追尾方向指示入力部（図５の２０４）は、図８に示した十字キー２０４Ｃには限定されず、また、特定の追尾方向としてパン方向の成分とチルト方向の成分とが混在した方向の入力を受け付けるようにしてもよい。例えば、図１３に示すように、スマートフォン１００の表示入力部１２０に円２０４０と中心点２０４Ｓとを表示し、指等のタッチにより中心点２０４Ｓから円２０４０の縁まで軌跡が描かれたとき、中心点２０４Ｓと円２０４０の縁上の終端点２０４Ｅとを結ぶ直線の方向を、追尾方向として、受け付ける。この場合、駆動情報はパン方向の駆動情報とチルト方向の駆動情報とからなるが、駆動情報生成部２１６により、受け付けた追尾方向のみの駆動情報を生成する点は、前述の第１実施形態と同様である。

第２に、追尾方向指示入力部２０４に対する指示方向の指示入力が一回行われると、追尾方向指示入力部２０４に対する追尾方向の解除が行われるまで、又は一定時間が経過するまで、動きベクトル算出部２１２による追尾対象の動きベクトルの算出、追尾方向動き成分抽出部２１４による追尾方向の動き成分の抽出、及び駆動情報生成部２１６による駆動情報の生成を繰り返し実行するようにしてもよい。

例えば、追尾方向の指示入力の操作を行ったユーザ自身が被写体となる撮影（セルフ撮影）を行うことができる。

本発明は、本明細書及び添付図面に記載された例には特に限定されず、本発明の要旨を逸脱しない限りにおいて本明細書及び添付図面に記載された例とは異なる態様で実施してもよい。

１０…パン・チルトカメラ（第２実施形態の撮像制御装置）、２０…撮像部、２２…撮像レンズ、２４…撮像素子、３２…パン・チルト機構、３３…パン・チルト駆動部、１００…スマートフォン（第１実施形態の撮像制御装置）、２０２、２５２…追尾対象指示入力部、２０４、２５４…追尾方向指示入力部、２１２…動きベクトル算出部、２１４…追尾方向動き成分抽出部、２１６…駆動情報生成部、２２０、２２２…実行制御部

Claims (13)

1. 撮像レンズ及び撮像素子を含む撮像部と、前記撮像部をパン方向及びチルト方向に回動可能なパン・チルト機構と、前記パン・チルト機構を駆動するパン・チルト駆動部と、を含むカメラを制御する撮像制御装置であって、
   前記撮像部により得られた動画像に基づいて追尾対象の動きベクトルを算出する動きベクトル算出部と、
   前記追尾対象を追尾する特定の追尾方向を示す追尾方向指示の入力を受け付ける追尾方向指示入力部と、
   前記追尾方向指示に基づいて、前記追尾対象の動きベクトルから前記特定の追尾方向の動き成分を抽出する追尾方向動き成分抽出部と、
   前記抽出された特定の追尾方向の動き成分に基づいて、前記パン・チルト機構の前記特定の追尾方向のみの駆動情報を生成する駆動情報生成部と、
   を備える撮像制御装置。
2. 前記駆動情報生成部は、前回生成した駆動情報と、前回生成した駆動情報に応じて前記カメラの前記パン・チルト機構が駆動された状態で抽出された前記特定の追尾方向の動き成分とに基づいて次回の駆動情報を生成する、
   請求項１に記載の撮像制御装置。
3. 前記追尾方向指示入力部に対する追尾方向の指示入力が連続している期間中、前記追尾対象の動きベクトルの算出、前記追尾方向の動き成分の抽出、及び前記駆動情報の生成を繰り返し実行する、
   請求項１または２に記載の撮像制御装置。
4. 前記追尾方向指示入力部に対する追尾方向の指示入力が一回行われると、前記追尾方向指示入力部に対する前記追尾方向の解除の指示入力が行われるまで、又は一定時間が経過するまで、前記追尾対象の動きベクトルの算出、前記追尾方向の動き成分の抽出、及び前記駆動情報の生成を繰り返し実行する、
   請求項１または２に記載の撮像制御装置。
5. 前記追尾方向指示入力部は、前記特定の追尾方向としてパン方向及びチルト方向のうちいずれかの方向の指示入力を受け付ける、
   請求項１から４のうちいずれか一項に記載の撮像制御装置。
6. 前記追尾方向指示入力部は、前記特定の追尾方向としてパン方向の成分とチルト方向の成分とが混在した方向の入力を受け付ける、
   請求項１から４のうちいずれか一項に記載の撮像制御装置。
7. 前記カメラにより得られた動画像又は静止画像を表示する表示部と、前記表示部に表示された画像中の前記追尾対象の指示入力を受け付ける追尾対象指示入力部を備える、
   請求項１から６のうちいずれか一項に記載の撮像制御装置。
8. 前記追尾方向指示入力部は、上方向、下方向、左方向及び右方向を示すアイコンからなる、
   請求項１から７のうちいずれか一項に記載の撮像制御装置。
9. 請求項１から８のうちいずれか一項に記載の撮像制御装置と、前記カメラとを備えたカメラシステム。
10. 撮像レンズ及び撮像素子を含む撮像部と、
    前記撮像部をパン方向及びチルト方向に回動可能なパン・チルト機構と、
    前記パン・チルト機構を駆動するパン・チルト駆動部と、
    前記撮像部により得られた動画像に基づいて追尾対象の動きベクトルを算出する動きベクトル算出部と、
    前記追尾対象を追尾する特定の追尾方向を示す指示の入力を受け付ける追尾方向指示入力部と、
    前記入力された指示に基づいて、前記追尾対象の動きベクトルから前記特定の追尾方向の動き成分を抽出する追尾方向動き成分抽出部と、
    前記抽出された特定の追尾方向の動き成分に基づいて、前記特定の追尾方向のみの駆動情報を生成する駆動情報生成部と、
    を備えたカメラ。
11. 撮像レンズ及び撮像素子を含む撮像部と、前記撮像部をパン方向及びチルト方向に回動可能なパン・チルト機構と、前記パン・チルト機構を駆動するパン・チルト駆動部と、を含むカメラを制御する撮像制御方法において、
    前記カメラにより得られた動画像に基づいて追尾対象の動きベクトルを算出する動きベクトル算出ステップと、
    前記追尾対象を追尾する特定の追尾方向を示す指示の入力を受け付ける追尾方向指示入力ステップと、
    前記入力された指示に基づいて、前記追尾対象の動きベクトルから前記特定の追尾方向の動き成分を抽出する追尾方向動き成分抽出ステップと、
    前記抽出された特定の追尾方向の動き成分に基づいて、前記特定の追尾方向のみの駆動情報を生成する駆動情報生成ステップと、
    を含む撮像制御方法。
12. 撮像レンズ及び撮像素子を含む撮像部と、前記撮像部をパン方向及びチルト方向に回動可能なパン・チルト機構と、前記パン・チルト機構を駆動するパン・チルト駆動部と、を含むカメラを制御するプログラムにおいて、
    前記カメラにより得られた動画像に基づいて追尾対象の動きベクトルを算出する動きベクトル算出ステップと、
    前記追尾対象を追尾する特定の追尾方向を示す指示の入力を受け付ける追尾方向指示入力ステップと、
    前記入力された指示に基づいて、前記追尾対象の動きベクトルから前記特定の追尾方向の動き成分を抽出する追尾方向動き成分抽出ステップと、
    前記抽出された特定の追尾方向の動き成分に基づいて、前記特定の追尾方向のみの駆動情報を生成する駆動情報生成ステップと、
    をコンピュータに実行させるプログラム。
13. 請求項１２に記載のプログラムを記録したコンピュータ読み取り可能な非一時的記録媒体。

Images