JP7442078B2 - 画像処理装置および画像処理方法 - Google Patents

Description

本開示は、画像処理装置および画像処理方法に関する。

特許文献１には、電子部品をプリント基板に搭載する際に、位置決め時の基準となるマークの座標をオペレータが測定してプリント回路基板に入力する部品搭載座標補正方法において、マークのパターン位置に近い電子部品搭載位置パターンの２点の座標を求め、撮像手段を介して搭載位置パターンの真の座標位置とマークの座標に基づく誤差を含んだ座標位置とのズレ量を基準として、真のマーク位置を定め、この真のマーク位置に基づいて部品搭載座標を補正する方法が開示されている。

特開２００１－２８４８９９号公報

しかしながら、特許文献１の構成では、座標を補正後にマーク位置から部品搭載座標に移動する際の移動誤差などの外因により発生する誤差については修正できないため、位置情報の補正には精度限界があった。また、特許文献１の構成では、例えば、設計上の座標と実際の座標とのズレ量を算出して座標誤差を補正するためにカメラによって撮像された撮像画像の画像処理を実行する。しかし、撮像画像を用いた座標誤差の補正方法は、撮像速度，撮像画像の読み出しおよび読み出した画像処理などにより座標誤差の算出までに所定の時間が必要となり、他の装置の動作速度（例えば、電子部品の実装速度など）の向上への制約要因となり得た。

本開示は、上述した従来の事情に鑑みて案出され、カメラにより撮像された対象物の画像に対する効率的な画像処理を実行し、より高精度な対象物の位置誤差を算出する画像処理装置および画像処理方法を提供することを目的とする。

本開示は、事前に入力されたエリアデータから撮像対象の位置情報を取得し、前記撮像対象の位置情報に基づいて所定の方向に移動するカメラの撮像範囲における前記撮像対象の位置を予測する予測部と、前記撮像対象の位置情報に基づいて移動する前記カメラが撮像した前記撮像対象が映る撮像画像を受信する画像受信部と、予測された前記撮像対象の予測位置に基づいて、前記撮像範囲の撮像画像から前記撮像範囲の一部となる限定範囲の撮像画像を読み出して前記撮像対象を検出する検出部と、検出された前記撮像対象の位置を計測する計測部と、前記撮像対象の計測位置と前記予測位置との差分を出力する出力部と、を備え、前記予測部は、前記撮像対象の計測位置が計測された前記撮像画像の後に撮像される前記撮像対象の撮像位置をさらに予測して前記出力部にさらに出力させ、前記所定の方向は、前記撮像対象の計測位置を始点、前記撮像対象の撮像位置を終点とするベクトルと逆方向である、画像処理装置を提供する。

また、本開示は、カメラの位置情報と、前記カメラによって撮像された撮像画像とを受信する受信部と、少なくとも１枚の前記撮像画像のうち、前記カメラの位置情報に基づいて設定した前記カメラの撮像範囲の一部となる限定範囲の撮像画像を読み出して前記カメラの位置の基準となる撮像対象を検出する検出部と、検出された前記撮像対象の位置を計測する計測部と、前記撮像対象の計測位置に基づいて、前記撮像対象の検出に用いられた撮像画像より後に撮像された撮像画像に映る前記撮像対象の位置を予測する予測部と、予測された前記撮像対象の予測位置と前記撮像対象の計測位置との差分を出力する出力部と、を備える、画像処理装置を提供する。

また、本開示は、カメラに接続された画像処理装置により実行される画像処理方法であって、事前に入力されたエリアデータから撮像対象の位置情報を取得し、前記撮像対象の位置情報に基づいて所定の方向に移動する前記カメラの撮像範囲における前記撮像対象の位置を予測し、予測された前記撮像対象の予測位置に基づいて、前記カメラの撮像範囲における前記予測位置を含む所定の限定範囲を読み出して前記撮像対象を検出して、検出された前記撮像対象の位置を計測し、前記撮像対象の計測位置と前記予測位置との差分を出力し、前記撮像対象の計測位置が計測された読み出しの後に読み出される前記撮像対象の位置をさらに予測して出力し、前記所定の方向は、前記撮像対象の計測位置を始点、前記撮像対象の位置を終点とするベクトルと逆方向に移動する、画像処理方法を提供する。

また、本開示は、カメラに接続された画像処理装置により実行される画像処理方法であって、前記カメラによって撮像された撮像画像を受信し、少なくとも１枚の前記撮像画像のうち、前記カメラの位置情報に基づいて設定した前記カメラの撮像範囲の一部となる限定範囲の撮像画像を読み出して前記カメラの位置の基準となる撮像対象を検出し、検出された前記撮像対象の位置を計測し、前記撮像対象の計測位置に基づいて、前記撮像対象の検出に用いられた撮像画像より後に撮像された撮像画像に映る前記撮像対象の位置を予測し、予測された前記撮像対象の予測位置と前記撮像対象の計測位置との差分を出力する、画像処理方法を提供する。

本開示によれば、カメラにより撮像された対象物の画像に対する効率的な画像処理を実行し、より高精度な対象物の位置誤差を算出できる。

実施の形態１に係る画像処理システムのユースケース例の説明図 比較例の画像読み出しおよび画像処理例を示すタイムチャート 実施の形態１に係る画像処理装置における画像読み出しおよび画像処理例を示すタイムチャート 撮像範囲と限定範囲のそれぞれとの一例を示す図 複数の限定範囲のそれぞれに映る撮像対象の時間変化例の様子を示す図 実施の形態１に係る画像処理システムの動作手順例を説明するシーケンス図 実施の形態１に係る画像処理装置の基本動作手順例を説明するフローチャート 実施の形態２に係る複数のカメラのそれぞれを備える画像処理システムのユースケース例の説明図 実施の形態２に係る複数のカメラのそれぞれを備える画像処理装置の動作手順例を説明するフローチャート 特徴点の検出例を示す図 特徴点を検出する実施の形態２に係る画像処理装置の動作手順例を説明するフローチャート 実施の形態２に係るドローンを備える画像処理システムのユースケース例の説明図 実施の形態２に係る画像処理装置の追尾および検出動作手順例を説明するフローチャート 追尾用限定範囲と検出用限定範囲との切り替え例を説明する図 撮像対象に対する追尾および検出の一例を説明する図

（実施の形態１の内容に至る経緯）
例えば、電子部品をプリント基板に搭載する際に、部品搭載座標を補正する部品搭載座標補正方法がある。このような部品搭載座標補正方法では、位置決め時の基準となるマークの座標をオペレータが測定してプリント回路基板に入力し、撮像手段を介して誤差を含んだ座標位置とのズレ量を基準として、真のマーク位置を定め、この真のマーク位置に基づいて部品搭載座標を補正する。しかし、座標を補正後にマーク位置から部品搭載座標に移動する際に移動誤差などの外因により発生する誤差については修正できないため、位置情報の補正には精度限界があった。また、撮像手段を介した部品搭載座標補正は、撮像速度，撮像画像の読み出しおよび読み出した画像処理などにより座標誤差の算出までに所定の時間が必要となるため、他の装置の動作速度、例えば電子部品の実装速度などの向上に限界があった。つまり、このような撮像画像を用いた部品搭載座標補正方法は、他の装置の動作速度への影響を考慮すると、画像処理する撮像画像の枚数に限界があり、より精度が高い誤差補正を実現するためのサンプリング数を増加させることが難しかった。上述した特許文献１では、撮像手段を介した座標補正方法においいて、画像処理に必要な時間を短縮することは想定されていない。

以上のように、画像処理装置では、カメラにより撮像された対象物の画像に対する効率的な画像処理を実行し、より高精度な対象物の位置誤差を算出する画像処理装置および画像処理方法の例を説明する。

以下、適宜図面を参照しながら、本開示に係る画像処理装置および画像処理方法の構成および作用を具体的に開示した実施の形態１を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になることを避け、当業者の理解を容易にするためである。なお、添付図面及び以下の説明は、当業者が本開示を十分に理解するために提供されるものであって、これらにより特許請求の範囲に記載の主題を限定することは意図されていない。

（実施の形態１）
図１は、実施の形態１に係る画像処理システムのユースケース例の説明図である。画像処理システムは、制御装置１と、アクチュエータ２と、カメラ３と、画像処理装置４と、を含んで構成される。制御装置１は、アクチュエータ２，カメラ３および画像処理装置４を制御するための装置である。

まず、制御装置１について説明する。制御装置１は、制御部１０と、メモリ１１と、エリアデータ１２と、を含んで構成される。制御装置１は、アクチュエータ２との間で通信可能に接続される。

制御部１０は、例えばＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）またはＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）を用いて構成されて、メモリ１１と協働して、各種の処理および制御を行う。具体的には、制御部１０はメモリ１１に保持されたプログラムおよびデータを参照し、そのプログラムを実行することにより、後述するエリアデータ１２の機能を実現する。制御部１０は、アクチュエータ２の制御部２０との間で通信可能に接続される。制御部１０は、ユーザ操作によって入力されたエリアデータ１２に基づいて、アクチュエータ２を制御する。

メモリ１１は、例えば制御部１０の各処理を実行する際に用いられるワークメモリとしてのＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）と、制御部１０の動作を規定したプログラムおよびデータを格納するＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）とを有する。ＲＡＭには、制御部１０により生成あるいは取得されたデータもしくは情報が一時的に保存される。ＲＯＭには、制御部１０の動作（例えば、エリアデータ１２に書き込まれたデータおよびプログラムを読み出して、これらのデータおよびプログラムに基づいてアクチュエータ２を制御する方法など）を規定するプログラムが書き込まれている。

エリアデータ１２は、例えば、ＣＡＤ（Ｃｏｍｐｕｔｅｒ Ａｉｄｅｄ Ｄｅｓｉｇｎ）などの設計支援ツールを用いて作成されたデータなどである。エリアデータ１２は、設計情報あるいは位置情報（例えば、エリアデータ１２に記憶され、カメラ３が撮像する撮像対象Ｔｇ１に関する位置情報，作業部５が部品の載置、半田付けまたは溶接などを実行するための位置情報など）を有するデータであり、アクチュエータ２などの駆動装置を動かすプログラムなどが書き込まれている。

次に、アクチュエータ２について説明する。アクチュエータ２は、例えば、電動制御あるいは飛行制御可能な駆動装置である。アクチュエータ２は、制御装置１および画像処理装置４との間で通信可能に接続される。アクチュエータ２は、制御部２０と、メモリ２１と、駆動部２２と、アーム部２４と、を含んで構成される。なお、作業部５は、必須の構成ではなく省かれてもよい。

制御部２０は、例えばＣＰＵまたはＦＰＧＡを用いて構成されて、メモリ２１と協働して、各種の処理および制御を行う。具体的には、制御部２０はメモリ２１に保持されたプログラムおよびデータを参照し、そのプログラムを実行することにより、誤差補正部２３の機能を実現する。制御部２０は、制御部１０，制御部４０および受信部４２との間で通信可能に接続される。制御部２０は、制御装置１から受信された制御信号に基づいて、駆動部２２を駆動させ、作業部５に所定の制御を実行させる。

制御部２０は、アクチュエータ２の起動した際に、駆動部２２によって駆動されるカメラ３および作業部５の基準マーカＰｔ０に基づく初期の位置合わせを実行する。なお、初期の位置合わせは、ユーザによって指定された任意のタイミング、例えば、撮像対象の変更，作業部５による作業の終了などに合わせて実行されてもよい。

制御部２０は、制御装置１から受信されたエリアデータ１２が有する撮像対象Ｔｇ１の位置情報およびカメラ３の位置情報などの各種情報を画像処理装置４に送信する。なお、各種情報には、カメラ３のフレームレート，撮像範囲ＩＡ１，ズーム倍率などの情報を含む。また、制御部２０は、エリアデータ１２に書き込まれたプログラムに基づいてカメラ３の撮像位置を移動させる場合には、カメラ３の位置を推定可能な情報（例えば、カメラ３の位置情報またはカメラ３の移動速度情報など）を画像処理装置４に送信する。なお、カメラ３の位置を推定可能な情報は、例えば、カメラ３が固定される場合、あるいはカメラ３の撮像範囲ＩＡ１に撮像対象Ｔｇ１が位置しうるすべての位置が含まれる場合には省かれてよい。

また、制御部２０は、カメラ３によって撮像された撮像画像に基づく撮像対象Ｔｇ１の位置に関する差分情報（言い換えると、位置の誤差情報）を画像処理装置４から受信する。制御部２０は、受信された差分情報に基づく誤差補正を誤差補正部２３に実行させる。

メモリ２１は、例えば制御部２０の各処理を実行する際に用いられるワークメモリとしてのＲＡＭと、制御部２０の動作を規定したプログラムおよびデータを格納するＲＯＭとを有する。ＲＡＭには、制御部２０により生成あるいは取得されたデータもしくは情報が一時的に保存される。ＲＯＭには、制御部２０の動作（例えば、制御装置１の制御信号に基づいて、所定の位置にカメラ３および作業部５を移動させる方法など）を規定するプログラムが書き込まれている。

駆動部２２は、基準マーカＰｔ０を基点とした撮像対象Ｔｇ１の位置情報に基づいてカメラ３および作業部５を移動させる。駆動部２２は、制御部２０を介してカメラ３および作業部５の移動速度を画像処理装置４に送信する。

誤差補正部２３は、画像処理装置４から受信された差分情報に基づいて、駆動部２２によって移動されるカメラ３および作業部５の位置を補正する。また、カメラ３および作業部５が固定設置されている場合には、誤差補正部２３は、受信された差分情報に基づいてエリアデータ１２（つまり、ＣＡＤデータなど）に記憶された撮像対象Ｔｇ１の位置情報を補正する。

アーム部２４は、カメラ３および作業部５が一体的に支持される支持台２６と接続される。アーム部２４は、駆動部２２によって駆動され、支持台２６を介してカメラ３および作業部５を一体的に移動させる。

カメラ３は、撮像素子として、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）またはＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）を有する。カメラ３は、焦点距離を調節可能フォーカスレンズ（不図示）と、ズーム倍率を変更可能なズームレンズ（不図示）と、および撮像素子の感度を調整可能なゲイン調整部（不図示）と、を有する。

また、カメラ３は、例えばＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ），ＭＰＵ（Ｍｉｃｒｏ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）またはＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）を用いて構成される。カメラ３は、撮像画像の電気信号を用いて所定の信号処理を行うことで、人間が認識可能なＲＧＢ（Ｒｅｄ Ｇｒｅｅｎ Ｂｌｕｅ）またはＹＵＶ（輝度・色差）などにより規定される撮像画像のデータ（フレーム）を生成する。カメラ３は、撮像された撮像画像のデータ（以下、撮像画像）を画像処理装置４に送信する。なお、カメラ３によって撮像された撮像画像は、メモリ４１に記憶される。

また、カメラ３は、撮像範囲ＩＡ１を有する。カメラ３は、所定のフレームレート（例えば、１２０ｆｐｓ（ｆｒａｍｅ ｐｅｒ ｓｅｃｏｎｄ））で、撮像対象Ｔｇ１の撮像画像のデータ（フレーム）を生成するハイスピードカメラである。なお、所定のフレームレートは、撮像範囲ＩＡ１および後述する限定範囲の大きさに応じて、ユーザによって任意に設定されてよい。具体的には、所定のフレームレートは、例えば６０ｆｐｓ，２４０ｆｐｓなどでもよい。

なお、図１に示すカメラ３は、アーム部２４によって撮像位置を可変に設けられているが、用途に応じてアクチュエータ２の底面または側面に固定設置されてもよいし、撮像対象Ｔｇ１を撮像可能な他の支持台（不図示）などに固定されて設置されてもよい。また、図１に示すカメラ３が有する撮像範囲ＩＡ１は、基準マーカＰｔ０および撮像対象Ｔｇ１を含む範囲を示しているが、カメラ３の撮像位置が可変に設置されている場合には、それぞれ異なる所定の撮像位置において基準マーカＰｔ０および撮像対象Ｔｇ１を撮像可能であってよい。つまり、実施の形態１に係るカメラ３は、基準マーカＰｔ０および撮像対象Ｔｇ１を撮像可能に設置、あるいは撮像可能な撮像範囲ＩＡ１を有していればよい。

さらに、カメラ３の撮像位置が固定され、カメラ３の撮像範囲ＩＡ１が撮像対象Ｔｇ１の配置されうるすべての位置を撮像可能である場合には、基準マーカＰｔ０は、省かれてもよい。つまり、このような場合における実施の形態１に係るカメラ３は、撮像対象Ｔｇ１を撮像可能であればよい。

次に、画像処理装置４について説明する。画像処理装置４は、アクチュエータ２およびカメラ３との間で通信可能に接続される。画像処理装置４は、制御部４０と、メモリ４１と、受信部４２と、を含んで構成される。

制御部４０は、例えばＣＰＵまたはＦＰＧＡを用いて構成されて、メモリ４１と協働して、各種の処理および制御を行う。具体的には、制御部４０はメモリ４１に保持されたプログラムおよびデータを参照し、そのプログラムを実行することにより、各部の機能を実現する。各部は、予測部４３と、検出部４４と、計測部４５と、出力部４６と、を含む。

メモリ４１は、例えば制御部４０の各処理を実行する際に用いられるワークメモリとしてのＲＡＭと、制御部４０の動作を規定したプログラムおよびデータを格納するＲＯＭとを有する。ＲＡＭには、制御部４０により生成あるいは取得されたデータもしくは情報が一時的に保存される。ＲＯＭには、制御部４０の動作（例えば、受信された撮像対象Ｔｇ１の位置を予測する方法，読み出された限定範囲から撮像対象Ｔｇ１を検出する方法および検出した撮像対象Ｔｇ１の位置を計測する方法など）を規定するプログラムが書き込まれている。また、メモリ４１は、受信された撮像画像，撮像対象Ｔｇ１の位置情報および後述する限定範囲などを記憶する。

受信部４２は、アクチュエータ２の制御部２０およびカメラ３との間で通信可能に接続される。受信部４２は、制御部２０から撮像対象Ｔｇ１の位置情報とカメラ３の位置を推定可能な情報（例えば、カメラ３の位置情報またはカメラ３の移動速度情報など）を受信し、受信された撮像対象Ｔｇ１の位置情報，カメラ３の位置を推定可能な情報を予測部４３に出力し、受信された撮像対象Ｔｇ１の位置情報を出力部４６に出力する。受信部４２は、カメラ３によって撮像された撮像画像のデータを受信し、受信された撮像画像のデータを検出部４４に出力する。

また、受信部４２は、受信されたカメラ３の各種情報を制御部４０に出力する。受信部４２によって出力された各種情報は、さらに制御部４０によって各部に出力される。

予測部４３は、受信部４２から出力されたエリアデータ１２に記憶された撮像対象Ｔｇ１の位置情報およびアクチュエータ２によって移動されたカメラ３の位置を推定可能な情報に基づいて、受信された撮像画像に映る撮像対象Ｔｇ１の位置を予測する。具体的に、予測部４３は、カメラ３のイメージセンサにおける撮像対象Ｔｇ１の位置を予測する。予測部４３は、予測された撮像対象Ｔｇ１の予測位置を検出部４４および出力部４６に出力する。なお、予測部４３が予測する撮像対象Ｔｇ１の位置は、次のフレーム（具体的には、撮像対象の検出に用いられた撮像画像より後に撮像された撮像画像）だけでなく数フレーム後に撮像される撮像対象Ｔｇ１の位置であってもよい。

検出部４４は、カメラ３によって撮像され、受信された撮像画像のうち、予測部４３によって予測された予測位置（つまり、イメージセンサにおける撮像対象Ｔｇ１の予測位置）を含み、撮像範囲ＩＡ１の一部であるイメージセンサにおける限定範囲を限定的に読み出し、撮像画像の限定範囲に映る撮像対象Ｔｇ１を検出する。検出部４４は、検出結果を計測部４５に出力する。なお、限定範囲は、メモリ４１に予め設定された所定の範囲であっても、予測位置を中心とした所定の範囲であってもよい。限定範囲については、後述する。

このように、検出部４４は、撮像範囲ＩＡ１のうち限定範囲を限定的に読み出すことにより比較例の撮像画像の全域を対象とした読み出し処理に比べて、読み出し処理に要する時間を短縮できる。また、検出部４４は、読み出し範囲が小さくなることにより、読み出し処理に要する負荷を低減できる。したがって、実施の形態１に係る画像処理装置４は、カメラ３により撮像された撮像対象Ｔｇ１の画像に対する効率的な画像処理を実行し、より高精度な撮像対象Ｔｇ１の位置誤差を算出できる。

さらに、比較例の撮像画像を用いた座標誤差の補正方法は、読み出し処理に時間を要したため、他の装置の動作速度への影響を考慮して、画像処理する撮像画像の枚数に制約があった。しかし、実施の形態１に係る画像処理装置４は、撮像範囲ＩＡ１のうち限定範囲を限定的に読み出すことにより、読み出し時間を短縮できるため、他の装置の動作速度への影響を抑制することができる。また、実施の形態１に係る画像処理装置４は、読み出し時間を短縮によって、サンプリング数を増加することができるため、より精度が高い位置誤差補正を実現することができる。

計測部４５は、検出部４４によって検出された撮像画像上の限定範囲に映る撮像対象Ｔｇ１の位置を計測する。計測部４５は、計測された撮像対象Ｔｇ１の計測位置を出力部４６に出力する。

出力部４６は、撮像対象Ｔｇ１のイメージセンサにおける予測位置と実際に撮像された撮像画像における計測位置との差分を出力する。これにより、出力部４６は、アクチュエータ２から受信された撮像対象Ｔｇ１の位置と実際に検出された位置との誤差を出力することができる。

出力部４６は、算出された差分情報（言い換えると、誤差情報）をアクチュエータ２の誤差補正部２３に送信する。誤差補正部２３は、受信された差分情報に基づいて、駆動部２２によって駆動されたアーム部２４の位置（言い換えると、カメラ３の撮像位置および作業部５の作業位置）に関する誤差を補正させる。

作業部５は、例えば、電子部品を搭載可能な部品搭載ヘッド，半田付け可能な半田鏝または溶接可能な溶接棒などである。作業部５は、駆動部２２によって位置を可変に駆動される。なお、作業部５は、上述したようなユーザが要求する作業を実行可能な作業手段を取り替え可能に設けられてもよい。

撮像対象Ｔｇ１は、エリアデータ１２に基づいて設定される。なお、図１の説明において撮像対象Ｔｇ１は、所定の位置に留まるものとして説明したが、これに限らない。撮像対象Ｔｇ１は、例えば部品であり、搬送レールなどの一定の速度で位置が変わってもよい。この場合、画像処理装置４は、カメラ３の移動速度情報と撮像対象Ｔｇ１の移動速度情報とを受信し、相対速度を考慮した画像処理を実行する。

次に、図２および図３を参照して、比較例のカメラの画像処理に要する時間と実施の形態１に係るカメラ３の画像処理に要する時間とを比較する。図２は、比較例の画像読み出しおよび画像処理例を示すタイムチャートである。図３は、実施の形態１に係る画像処理装置における画像読み出しおよび画像処理例を示すタイムチャートである。図２および図３に示す画像処理装置４が実行する処理のうち、伝送は、撮像画像を読み出す処理を示す。計算は、読み出した撮像画像から撮像対象Ｔｇ１を検出し、検出された撮像対象Ｔｇ１の位置を計測して、設計上における撮像対象Ｔｇ１の位置との差分を算出して出力するまでの処理を示す。なお、図２に示す比較例のカメラおよび図３に示す実施の形態１に係るカメラ３の撮像範囲は、撮像範囲ＩＡ１とする。

図２に示す比較例のカメラは、時間０（ゼロ）から時間ｓ２の間で非露光状態にあり、時間ｓ２から時間ｓ３の間で露光状態になる。比較例の画像処理装置は、比較例のカメラの露光状態が終了すると、時間ｓ３から時間ｓ６の間に撮像範囲ＩＡ１の全域を読み出し、時間ｓ６から時間ｓ７の間に画像処理を実行する。つまり、比較例のカメラおよび画像処理装置を用いた画像処理システムは、１回の誤差を出力するために時間ｓ７を要する。

一方、図３に示す実施の形態１に係るカメラ３は、時間０（ゼロ）から時間ｓ１の間で露光状態を終了する。画像処理装置４は、カメラ３が露光状態を終了した時間ｓ１から読み出し処理を開始する。画像処理装置４は、撮像された撮像範囲ＩＡ１のうち限定領域のみを限定的に読み出すことで、時間ｓ１から時間ｓ２の間に読み出し処理を終え、時間ｓ２から時間ｓ３で画像処理を完了する。つまり、実施の形態１に係る画像処理システムは、１回の誤差を出力するために時間ｓ３を要する。よって、実施の形態１に係る画像処理システムは、読み出し転送に要する時間が短縮されるため、図３に示すようにカメラ３は露光状態を素早く繰り返し、素早くかつより多くの誤差を出力することができる。

上述したように、実施の形態１に係る画像処理システムは、画像処理装置４における画像の読み出しを限定範囲に限定することにより、読み出し処理に要する時間を短縮し、カメラ３のフレームレートをより早く設定することができる。また、これにより、実施の形態１に係る画像処理システムは、同じ時間でより多くのサンプリング数（言い換えると、出力される誤差情報の数）を得ることができるため、位置誤差補正の精度をより高精度にすることができる。

なお、カメラ３は、図３に示すように次々と露光状態を繰り返さずに、非露光状態となる時間を有してもよい。

図４は、撮像範囲ＩＡ１と限定範囲Ａｒ１，Ａｒ２，…，Ａｒ（ｎ－２），Ａｒ（ｎ－１），Ａｒｎのそれぞれとの一例を示す図である。複数の限定範囲Ａｒ１，…，Ａｒｎのそれぞれは、撮像範囲ＩＡ１の一部である。複数の限定範囲Ａｒ１，…，Ａｒｎのそれぞれは、メモリ４１に予め設定され、記憶されていてもよい。なお、図４に示す複数の限定範囲Ａｒ１，…，Ａｒｎのそれぞれは、撮像範囲ＩＡ１を長方形状に分割した例を示しているが、例えば、正方形状であってもよい。

さらに、限定範囲は、図４に示す予め設定された範囲でなく、予測位置を中心とした所定の範囲であってもよい。限定範囲は、例えば、予測部４３によって予測された撮像対象Ｔｇ１の予測位置を中心とした所定の半径を有する円形状、撮像対象Ｔｇ１の予測位置を２本の対角線のそれぞれの交点位置とする四角形状などでもよい。

図５は、複数の限定範囲Ａｒ１，…，Ａｒｎのそれぞれに映る撮像対象Ｔｇ１の時間変化例の様子を示す図である。図５に示す横軸は、時間Ｔを示す。なお、図５における撮像対象Ｔｇ１は、撮像範囲ＩＡ１のうち所定位置から不動である。ベクトルＲＴ０は、撮像対象Ｔｇ１の次のフレームにおける位置を示す。

カメラ３は、駆動部２２によってベクトルＲＴ０と逆方向に、所定の速度で移動しながら撮像対象Ｔｇ１を撮像する。時間ｔ１における撮像対象Ｔｇ１は、限定範囲Ａｒ１に位置する。時間ｔ２における撮像対象Ｔｇ１は、限定範囲Ａｒ２に位置する。時間ｔ（ｎ－２）における撮像対象Ｔｇ１は、限定範囲Ａｒ（ｎ－２）に位置する。時間ｔ（ｎ－１）における撮像対象Ｔｇ１は、限定範囲Ａｒ（ｎ－１）に位置する。時間ｔｎにおける撮像対象Ｔｇ１は、限定範囲Ａｒｎに位置する。

以上のように、画像処理装置４における予測部４３は、アクチュエータ２から受信されたカメラ３の位置を推定可能な情報および撮像対象Ｔｇ１の位置情報に基づいて、撮像範囲ＩＡ１における撮像対象Ｔｇ１の位置を予測することができる。また、検出部４４は、予測位置に基づいて、上述した複数の限定範囲Ａｒ１，…，Ａｒｎのそれぞれのうち撮像対象Ｔｇ１の予測位置が含まれる限定範囲を限定的に読み出す。これにより、画像処理装置４は、撮像範囲ＩＡ１に対する限定範囲を限定的かつ効率的に画像処理できるため、画像処理に要する時間および負荷を低減できる。

図６は、実施の形態１に係る画像処理システムの動作手順例を説明するシーケンス図である。

制御装置１は、ユーザによって入力されたエリアデータ１２に基づく制御信号を生成し、アクチュエータ２に送信する。具体的には、制御装置１は、エリアデータ１２に基づいて、撮像対象Ｔｇ１の位置情報をアクチュエータ２に送信する（Ｔ１）。

制御装置１は、カメラ３の駆動を制御する制御信号および撮像対象Ｔｇ１の位置情報に基づく移動を指示する制御信号を生成して、アクチュエータ２に送信する（Ｔ２）。

アクチュエータ２は、基準マーカＰｔ０に基づく初期の位置合わせを実行する（Ｔ３）。具体的には、アクチュエータ２は、カメラ３を基準マーカＰｔ０の撮像位置に移動させる。アクチュエータ２は、移動後にカメラ３で基準マーカＰｔ０を撮像させ、基準マーカＰｔ０の位置情報を画像処理装置４に送信する。カメラ３は、撮像された基準マーカＰｔ０の撮像画像を画像処理装置４に送信する。画像処理装置４は、受信された撮像画像に基づいて基準マーカＰｔ０を検出し、基準マーカＰｔ０の位置を計測する。画像処理装置４は、計測した計測位置とアクチュエータ２から受信された基準マーカＰｔ０の位置との差分を算出し、アクチュエータ２に送信する。アクチュエータ２は、受信された差分に基づいて、カメラ３の位置を補正する。

アクチュエータ２は、制御装置１から受信された撮像対象ｔｇ１の位置情報を画像処理装置４に送信する（Ｔ４）。

アクチュエータ２は、撮像対象Ｔｇ１の位置情報に基づいて、撮像対象Ｔｇ１を撮像可能な位置にカメラ３を移動させる（Ｔ５）。

画像処理装置４は、受信された撮像対象Ｔｇ１の位置情報およびカメラ３の位置を推定可能な情報（例えば、カメラ３の位置情報，カメラ３の移動速度情報など）に基づいて、撮像範囲ＩＡ１を有する撮像画像に映る撮像対象Ｔｇ１の位置を予測する（Ｔ６）。

カメラ３は、撮像対象Ｔｇ１が撮像された撮像範囲ＩＡ１を有する撮像画像を画像処理装置４に送信する（Ｔ７）。

画像処理装置４は、予測された撮像対象Ｔｇ１の予測位置に基づいて、撮像範囲ＩＡ１の一部である複数の限定範囲Ａｒ１，…，Ａｒｎのそれぞれのうち予測位置を含む限定範囲を限定的に読み出す（Ｔ８）。

画像処理装置４は、読み出された限定範囲から撮像対象Ｔｇ１を検出し、検出された撮像対象Ｔｇ１の位置を計測する（Ｔ９）。

画像処理装置４は、計測された撮像対象Ｔｇ１の計測位置と予測位置との差分を出力する（Ｔ１０）。

画像処理装置４は、出力結果（差分情報）をアクチュエータ２に送信する（Ｔ１１）。

アクチュエータ２は、出力結果（差分情報）に基づいて、現在のカメラ３の位置を補正する（Ｔ１２）。

アクチュエータ２は、補正されたカメラ３の位置情報と撮像対象Ｔｇ１の位置情報とに基づいて、次の位置にカメラ３を移動させる（Ｔ１３）。

アクチュエータ２は、ステップＴ１３における動作処理を実行後、ステップＴ５の動作処理に戻り、撮像対象Ｔｇ１が変更されるまでステップＴ５～ステップＴ１３までのリピート処理ＴＲｐの動作処理を繰り返す。なお、図４に示す動作手順は、撮像対象Ｔｇ１が他の撮像対象に変更された場合には、ステップＴ３の処理を省略してもよい。

また、シーケンス図に示すステップの手順は、上述した順序に限らない。例えば、ステップＴ６とステップＴ７において実行される動作手順は逆であってもよい。

以上により、実施の形態１に係る画像処理システムは、画像処理装置４における画像の読み出しを限定範囲に限定することにより、読み出し処理に要する時間を短縮し、カメラ３のフレームレートをより早く設定することができる。また、これにより、実施の形態１に係る画像処理システムは、同じ時間でより多くのサンプリング数（言い換えると、出力される誤差情報の数）を得ることができるため、位置誤差補正の精度をより高精度にすることができる。

図７は、実施の形態１に係る画像処理装置４の基本動作手順例を説明するフローチャートである。

受信部４２は、撮像対象Ｔｇ１の位置情報およびカメラ３の位置を推定可能な情報（例えば、カメラ３の位置情報，カメラ３の移動速度情報など）をアクチュエータ２から受信する（Ｓｔ１１）。

予測部４３は、受信された撮像対象Ｔｇ１の位置情報およびカメラ３の位置を推定可能な情報に基づいて、撮像範囲ＩＡ１を有するカメラ３の撮像画像に映る撮像対象Ｔｇ１の位置を予測する（Ｓｔ１２）。

検出部４４は、予測された撮像対象Ｔｇ１の予測位置に基づいて、撮像範囲ＩＡ１の一部である複数の限定範囲Ａｒ１，…，Ａｒｎのそれぞれのうち予測位置を含む限定範囲を高速で読み出す（Ｓｔ１３）。

検出部４４は、読み出された限定範囲から撮像対象Ｔｇ１を検出し、検出された撮像対象Ｔｇ１の位置を計測する。検出部４４は、計測された撮像対象Ｔｇ１の計測位置と予測位置との差分を出力する（Ｓｔ１４）。

画像処理装置４は、ステップＳｔ１４の処理を実行後、ステップＳｔ１２の処理に戻る。なお、図７に示す画像処理装置４の動作は、ユーザの指示（例えば、撮像対象Ｔｇ１が他の撮像対象に変更されるまで、差分を所定の回数出力するまで）あるいはエリアデータ１２に記憶されたプログラムの動作を終了するまで繰り返し実行される。

上述したように、実施の形態１に係る画像処理装置４は、画像の読み出しを限定範囲に限定することにより、読み出し処理に要する時間を短縮し、カメラ３のフレームレートをより早く設定することができる。また、これにより、実施の形態１に係る画像処理装置４は、同じ時間でより多くのサンプリング数（言い換えると、出力される誤差情報の数）を得ることができるため、位置誤差補正の精度をより高精度にすることができる。

（実施の形態２）
実施の形態２では、実施の形態１に加え、異なる撮像範囲を有する複数のカメラのそれぞれを備えた画像処理システムについて説明する。実施の形態２に係る画像処理装置４は、撮像範囲のうち所定の限定範囲から抽出された特徴点に基づいて、カメラの移動速度の誤差またはカメラの移動位置の誤差を出力できる。なお、実施の形態２に係る画像処理システムの構成は、実施の形態１に係る画像処理システムと略同一であるため、同一の構成については同一の符号を付与して説明を簡略化または省略し、異なる内容について説明する。

図８は、実施の形態２に係る複数のカメラ３ａ，３ｂ，３ｃのそれぞれを備える画像処理システムのユースケース例の説明図である。図８に示す実施の形態２に係る制御装置１の内部構成は、図１に示した構成と同一であるため簡略図を示す。なお、実施の形態２に係るアクチュエータ２および画像処理装置４は、実施の形態１において説明した内容と同一の内容については簡略化または省略し、異なる内容について説明する。

制御部２０は、エリアデータ１２に記憶されたデータおよびプログラムに基づいて、複数のカメラ３ａ，３ｂ，３ｃのそれぞれに制御信号を出力する。また、制御部２０は、エリアデータ１２に記憶されたデータおよびプログラムに基づいて、複数のカメラ３ａ，３ｂ，３ｃのそれぞれを移動させるための制御信号を駆動部２２に出力する。なお、図８に示すカメラは３台であるが、カメラの台数は３台に限らないことは言うまでもない。

また、制御部２０は、撮像するカメラの情報およびそのカメラの位置を推定可能な情報（例えば、カメラの位置情報，カメラの移動速度情報など）を画像処理装置４の受信部４２に送信する。

メモリ２１は、複数のカメラ３ａ，３ｂ，３ｃのそれぞれの配置および撮像範囲ＩＢ１，ＩＢ２，ＩＢ３のそれぞれを記憶する。

複数のアーム部２４ａ，２４ｂ，２４ｃのそれぞれは、複数のカメラ３ａ，３ｂ，３ｃのそれぞれを備え、駆動部２２によって制御される。なお、例えば、１つのアーム部２４ａに複数のカメラ３ａ，３ｂ，３ｃのそれぞれが設置されてもよい。

複数のカメラ３ａ，３ｂ，３ｃのそれぞれは、駆動部２２の制御に基づく複数のアーム部２４ａ，２４ｂ，２４ｃのそれぞれの駆動と連動して、移動する。複数のカメラ３ａ，３ｂ，３ｃのそれぞれは、異なる撮像範囲を撮像可能に設置される。カメラ３ａは、撮像範囲ＩＢ１を有する。カメラ３ｂは、撮像範囲ＩＢ２を有する。カメラ３ｃは、撮像範囲ＩＢ３を有する。

なお、複数のカメラ３ａ，３ｂ，３ｃのそれぞれの動作は、実施の形態１に係るカメラ３と同一であるため、説明を省略する。

複数の撮像範囲ＩＢ１，ＩＢ２，ＩＢ３のそれぞれは、異なる撮像範囲である。なお、図８に示す複数の撮像範囲ＩＢ１，ＩＢ２，ＩＢ３のそれぞれは、隣接する撮像範囲として示されているが、複数のカメラ３ａ，３ｂ，３ｃのそれぞれの位置に応じて移動する。

画像処理装置４は、実施の形態１に係る画像処理装置４に対して、カメラ切替部４７を、さらに備える。

受信部４２は、アクチュエータ２から受信されたカメラの各種情報を予測部４３，検出部４４，出力部４６およびカメラ切替部４７に出力する。なお、各種情報には、複数のカメラ３ａ，３ｂ，３ｃのそれぞれのフレームレート，複数の撮像範囲ＩＢ１，ＩＢ２，ＩＢ３のそれぞれに関する情報，複数のカメラ３ａ，３ｂ，３ｃのそれぞれのズーム倍率情報などを含む。

実施の形態２における検出部４４は、初期状態において撮像対象が設定されず、以下に説明する特徴点を抽出する。

検出部４４は、連続して撮像された少なくとも２フレームのうち、１フレーム目において設定された所定の限定範囲を読み出し、所定の特徴量を有する複数の特徴点のそれぞれを抽出する。検出部４４は、抽出された複数の特徴点のそれぞれのうち、特徴量が多い１つの特徴点Ｔｇ２を抽出する。なお、検出部４４は、１フレーム目において特徴点を抽出できない場合には、他の限定範囲または限定範囲を補正して再度読み出しを実行し、特徴点の抽出を行う。限定範囲の補正は、抽出された複数の特徴点のそれぞれの分布に基づいて、検出部４４によって実行される。限定範囲の補正は、例えば、限定範囲における複数の特徴点のそれぞれの分布のうち、特徴点の密度（密集度）が高い方向に限定範囲を拡大またはシフトすることで実行される。

検出部４４は、特徴点Ｔｇ２の抽出後に２フレーム目において同一の限定範囲を読み出し、特徴点Ｔｇ２を検出する。なお、検出部４４は、２フレーム目において特徴点Ｔｇ２が検出できなかった場合には、他の限定範囲または限定範囲を補正して再度読み出しを実行する。また、検出部４４は、特徴点Ｔｇ２を撮像対象として設定してもよい。

上述した所定の特徴量は、ユーザによって予め設定され、制御装置１のメモリ１１に記憶される。画像処理装置４は、アクチュエータ２を介して制御装置１から所定の特徴量に関する情報を受信する。

計測部４５は、１フレーム目（つまり、１枚目の撮像画像）に映る特徴点Ｔｇ２の位置Ｐｔ１と２フレーム目（つまり、２枚目の撮像画像）に映る特徴点Ｔｇ２との位置Ｐｔ１とを計測する。

出力部４６は、２つのフレームのそれぞれに基づいて計測された特徴点Ｔｇ２の動き量と受信部４２によって受信された複数のカメラ３ａ，３ｂ，３ｃのそれぞれのフレームレートとに基づいて、特徴点Ｔｇ２の動き速度を算出する。出力部４６は、算出された特徴点Ｔｇ２の動き速度と特徴点Ｔｇ２を撮像したカメラまたはアクチュエータ２の移動速度との速度の差分を出力する。出力部４６は、出力結果をアクチュエータ２における誤差補正部２３に送信する。

誤差補正部２３は、受信された速度の差分に基づいて、駆動部２２に対して特徴点Ｔｇ２を撮像したカメラの速度誤差を補正させる制御信号を出力する。

カメラ切替部４７は、複数のカメラ３ａ，３ｂ，３ｃのそれぞれに接続された複数のスイッチＳＷ１，ＳＷ２，ＳＷ３のそれぞれのうちいずれか１つのスイッチと受信部４２に撮像画像を出力するためのスイッチＳＷを有する。カメラ切替部４７は、予測部４３によって予測される特徴点Ｔｇ２の予測位置または制御部２０から入力される制御信号に基づいて、スイッチＳＷと接続する複数のスイッチＳＷ１，ＳＷ２，ＳＷ３のそれぞれ（つまり、複数のカメラ３ａ，３ｂ，３ｃのそれぞれ）を切り替える。

図９は、実施の形態２に係る複数のカメラ３ａ，３ｂ，３ｃのそれぞれを備える画像処理装置４の動作手順例を説明するフローチャートである。図９に示すフローチャートにおいて、画像処理装置４は、撮像対象が設定される。

受信部４２は、撮像対象（不図示）の位置情報，撮像対象を撮像する複数のカメラ３ａ，３ｂ，３ｃのそれぞれのうちいずれか１つのカメラの情報および複数のカメラ３ａ，３ｂ，３ｃのそれぞれの位置を推定可能な情報（例えば、複数のカメラ３ａ，３ｂ，３ｃのそれぞれの位置情報，複数のカメラ３ａ，３ｂ，３ｃのそれぞれの移動速度情報など）をアクチュエータ２から受信する（Ｓｔ２１）。

予測部４３は、受信された撮像対象の位置情報，撮像対象を撮像するカメラの情報およびそのカメラの位置を推定可能な情報に基づいて、撮像対象を撮像するカメラのイメージセンサ上において撮像対象が映る位置を予測する（Ｓｔ２２）。

カメラ切替部４７は、受信された撮像対象を撮像するカメラの情報に基づいて、スイッチＳＷと接続されるスイッチを切り替える（Ｓｔ２３）。

検出部４４は、予測された撮像対象のイメージセンサ上における予測位置に基づいて、撮像範囲の一部である所定の限定範囲のうち、予測位置を含む限定範囲を高速で読み出す（Ｓｔ２４）。

検出部４４は、読み出された限定範囲の撮像画像から所定の特徴量を有する撮像対象を検出する。計測部４５は、検出された撮像対象の位置を計測する（Ｓｔ２５）。

出力部４６は、計測された撮像対象の撮像画像上における計測位置とイメージセンサ上における予測位置との差分を出力する（Ｓｔ２６）。

画像処理装置４は、ステップＳｔ２６の処理を実行後、ステップＳｔ２２の処理に戻る。なお、図７に示す画像処理装置４の動作は、撮像対象が他の撮像対象に変更されるまで、あるいはエリアデータ１２に記憶されたプログラムの動作を終了するまで繰り返し実行される。

以降の説明において、予め撮像対象が設定されず、画像処理によって特徴点を抽出する場合の画像処理システムについて、図１０および図１１を参照して説明する。

以上のように、実施の形態２に係る画像処理装置４は、画像の読み出しを限定範囲に限定することにより、読み出し処理に要する時間を短縮し、カメラのフレームレートをより早く設定することができる。また、これにより、実施の形態２に係る画像処理装置４は、同じ時間でより多くのサンプリング数（言い換えると、出力される誤差情報の数）を得ることができるため、位置誤差補正の精度をより高精度にすることができる。

図１０は、特徴点Ｔｇ２の検出例を示す図である。図１１は、特徴点Ｔｇ２を検出する実施の形態２に係る画像処理装置４の動作手順例を説明するフローチャートである。

図１０に示す画像は、連続して撮像され、同一の限定範囲Ａｒにおいて読み出された２フレームの間の撮像画像に映る複数の特徴点のそれぞれの動きを抽出した画像であり、さらに複数の特徴点のそれぞれのうち、特徴点Ｔｇ２が抽出された様子を示す。図１０に示す画像は、後述する図１１のステップＳｔ３４において実行される処理によって生成される。

特徴点Ｔｇ２は、例えば、ハイスピードカメラである複数のカメラ３ａ，３ｂ，３ｃのそれぞれによって、１フレーム目において撮像画像のうち座標（Ｘ１，Ｙ１）で示される位置Ｐｔ１に位置し、２フレーム目において撮像画像のうち座標（Ｘ２，Ｙ２）で示される位置Ｐｔ２に位置する。特徴点Ｔｇ２の動き量Δαは、位置Ｐｔ１と位置Ｐｔ２との間の座標の変化、あるいは位置Ｐｔ１から位置Ｐｔ２へのベクトルの大きさにより示される。

次に、図１１に示すフローチャートを用いて、特徴点Ｔｇ２の検出手順について説明する。

受信部４２は、アクチュエータ２からカメラの撮像範囲，移動速度，フレームレートおよびズーム倍率などのカメラに関する情報を受信し、検出部４４，計測部４５および出力部４６に出力する。検出部４４は、入力されたカメラに関する情報に基づいて、カメラの撮像範囲を設定する（Ｓｔ３１）。

検出部４４は、直近に連続して撮像される２フレームのうち、１フレーム目に撮像された撮像範囲のうち所定の限定範囲を高速で読み出す（Ｓｔ３２）。

検出部４４は、直近に連続して撮像される２フレームのうち、２フレーム目に撮像された撮像範囲のうち所定の限定範囲を高速で読み出す（Ｓｔ３３）。

なお、読み出しを実行する限定範囲は、図４で説明したようにアクチュエータ２から予め設定された複数の限定範囲Ａｒ１，…，Ａｒｎのそれぞれのうちいずれか１つの限定範囲でも、ユーザによって設定された限定範囲であってもよい。

検出部４４は、直近に連続して撮像された２つのフレームのそれぞれにおける読み出し結果に基づいて、読み出された限定範囲の撮像画像に映る複数の特徴点のそれぞれを検出する（Ｓｔ３４）。

検出部４４は、ステップＳｔ３４において検出された複数の特徴点のそれぞれに対して重み付け（特徴量の抽出）を実行し、これらの複数の特徴点のそれぞれから所定の特徴量を有する所定の特徴点Ｔｇ２を抽出する。計測部４５は、抽出された所定の特徴点Ｔｇ２に対して、動き量Δα（例えば、図１０に示す読み出された撮像画像上における特徴点Ｔｇ２の位置Ｐｔ１，Ｐｔ２のそれぞれに基づく位置の差分）を計測する。出力部４６は、アクチュエータ２から受信されたカメラのフレームレートおよび計測された動き量Δαに基づいて、所定の特徴点Ｔｇ２の動き速度を算出する（Ｓｔ３５）。

出力部４６は、算出された所定の特徴点Ｔｇ２の動き速度とカメラの移動速度との差分を出力し、出力された速度の差分をアクチュエータ２に送信する（Ｓｔ３６）。

画像処理装置４は、ステップＳｔ３６における処理を実行後、ステップＳｔ３２の処理に戻り、同一の限定範囲から所定の特徴量を有する複数の特徴点のそれぞれを抽出する。

なお、ステップＳｔ３５における処理を実行した結果、限定範囲から所定の特徴量を有する特徴点が得られない場合には、読み出す限定範囲を他の限定範囲に変更して、ステップＳｔ３２以降に示す処理を再度実行してもよい。

以上により、実施の形態２に係る画像処理装置４は、画像の読み出しを限定範囲に限定することにより、読み出し処理に要する時間を短縮し、カメラのフレームレートをより早く設定することができる。また、これにより、実施の形態２に係る画像処理装置４は、同じ時間でより多くのサンプリング数（言い換えると、出力される誤差情報の数）を得ることができるため、速度誤差補正の精度をより高精度にすることができる。

（その他の変形例）
その他の変形例では、実施の形態２の応用例として、アクチュエータが飛行制御可能なドローンとした場合の画像処理システムを示す。また、その他の変形例における画像処理システムは、所定の限定範囲から検出された特徴点を追尾しながら、他の限定範囲で他の特徴点を検出する。なお、その他の変形例に係る画像処理システムの構成は、実施の形態２に係る画像処理システムと略同一であるため、同一の構成については同一の符号を付与して説明を簡略化または省略し、異なる内容について説明する。

図１２は、ドローン２Ａを備える画像処理システムのユースケース例の説明図である。図１２に示すその他の変形例における制御装置１の内部構成は、図１に示した構成と同一であるため簡略図を示す。なお、その他の変形例における制御装置１においては、実施の形態１において説明した内容と同一の内容については簡略化または省略し、異なる内容について説明する。

その他の変形例における制御装置１は、例えばドローン２Ａの操作者（ユーザ）により使用されるプロポ（所謂リモートコントローラ）であり、エリアデータ１２に基づいて、ドローン２Ａの飛行を遠隔から制御する。制御装置１は、ドローン２Ａと無線Ｎ／Ｗによって接続され、エリアデータ１２に基づいて、ドローン２Ａの飛行を制御する制御信号を生成して送信する。

その他の変形例におけるエリアデータ１２は、例えば、ドローン２Ａが飛行する飛行経路に関する情報を含んで構成される。

また、制御装置１は、ユーザによって操作されてもよい。このような場合、制御装置１はユーザの操作に基づいて、ドローン２Ａの飛行を遠隔から制御する。制御装置１は、ドローン２Ａと無線Ｎ／Ｗによって接続され、ドローン２Ａの飛行制御に関する制御信号を生成して送信する。

ドローン２Ａは、例えば無人飛行体であり、ユーザの入力操作に応じて制御装置１から送信される制御信号に基づいて飛行する。ドローン２Ａは、複数のカメラ３ａ，３ｂのそれぞれを備える。ドローン２Ａは、制御部２０と、メモリ２１と、駆動部２２と、誤差補正部２３と、通信部２５と、を含んで構成される。

通信部２５は、アンテナＡｎｔ１を有し、制御装置１および画像処理装置４との間で無線Ｎ／Ｗ（例えば、Ｗｉｆｉ（登録商標）を用いた無線通信網など）を介して接続され、情報やデータの送受信を行う。

通信部２５は、制御装置１との通信により、例えばドローン２Ａの移動方向，飛行高度などの制御に関する信号を受信する。通信部２５は、アンテナＡｎｔ１によって受信されたドローン２Ａの位置情報を示す衛星測位信号を制御装置１に送信する。アンテナＡｎｔ１については、後述する。

また、通信部２５は、画像処理装置４との通信により、例えば特徴点の抽出に必要な特徴量に関する設定情報，複数のカメラ３ａ，３ｂのそれぞれの設定情報（例えば、撮像範囲，フレームレート，ズーム倍率，限定範囲に関する情報など），ドローン２Ａの速度情報などを送信する。通信部２５は、画像処理装置４との通信により、ドローン２Ａの速度情報と複数のカメラ３ａ，３ｂのそれぞれによって撮像された撮像画像に映る撮像対象Ｔｇ２の動き速度との速度に関する差分（誤差）情報を受信する。通信部２５は、受信された差分（誤差）情報を誤差補正部２３に出力する。

アンテナＡｎｔ１は、例えば、人工衛星（不図示）から送信される衛星測位信号を受信可能なアンテナである。アンテナＡｎｔ１が受信可能な信号は、米国のＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）の信号に限らず、例えばロシアのＧＬＯＮＡＳＳ（Ｇｌｏｂａｌ Ｎａｖｉｇａｔｉｏｎ Ｓａｔｅｌｌｉｔｅ Ｓｙｓｔｅｍ）または欧州のＧａｌｉｌｅｏ等の衛星測位サービスを提供可能な人工衛星から送信される信号であってもよい。また、アンテナＡｎｔ１は、上述した衛星測位サービスを提供する人工衛星が送信する衛星測位信号を、補強あるいは補正可能な衛星測位信号を送信する準天頂衛星の信号を受信可能であってもよい。

駆動部２２は、通信部２５を介して制御装置１から受信された制御信号に基づいて、ドローン２Ａを飛行駆動させる。駆動部２２は、少なくとも１つの回転翼であり、回転により生まれる揚力を制御して飛行する。なお、駆動部２２は、図１２においてドローン２Ａの天井面に図示されているが、設置場所は天井面に限らず、例えばドローン２Ａの下部または側面など、ドローン２Ａを飛行制御できる場所であればよい。

誤差補正部２３は、画像処理装置４における出力部４６から受信されたドローン２Ａの飛行速度と撮像対象Ｔｇ３の動き速度との速度の差分（誤差）情報に基づいて、駆動部２２の飛行速度を補正させる。

複数のカメラ３ａ，３ｂのそれぞれは、異なる撮像範囲ＩＢ１，ＩＢ２のそれぞれを撮像するカメラである。複数のカメラ３ａ，３ｂのそれぞれは、ドローン２Ａに固定設置されてもよいし、様々な角度を撮像可能に設置されてもよい。また、複数のカメラ３ａ，３ｂのそれぞれは、ドローン２Ａの側面，底面および天井面のそれぞれのうち、いずれの場所に備えられてもよい。例えば、複数のカメラ３ａ，３ｂのそれぞれは、ドローン２Ａの天井面と底面または異なる側面同士など、異なる面に設置されてもよい。

なお、図１２に示す撮像範囲ＩＢ１，ＩＢ２のそれぞれは、連続する撮像範囲となっているが、複数のカメラ３ａ，３ｂのそれぞれの設置場所に基づいて変更されてよく、撮像範囲は連続しなくてもよい。

複数のカメラ３ａ，３ｂのそれぞれは、通信部２５を介して画像処理装置４におけるカメラ切替部４７に撮像画像を送信する。

受信部４２は、ドローン２Ａとの間の通信により、複数のカメラ３ａ，３ｂのそれぞれのフレームレート，撮像範囲およびイメージセンサ上に設定された複数の限定範囲のそれぞれなどの複数のカメラ３ａ，３ｂのそれぞれに関する設定情報，複数のカメラ３ａ，３ｂのそれぞれによって撮像された撮像画像および特徴点に関する設定情報（例えば、撮像画像のうち読み出された限定範囲において特徴点を検出するために必要な特徴量など）を受信する。

検出部４４は、受信部４２によって受信された複数のカメラ３ａ，３ｂのそれぞれの設定情報に基づいて、イメージセンサにおける撮像対象Ｔｇ３を追尾するための追尾用限定範囲と他の撮像対象を検出するための検出用限定範囲とを設定する。なお、検出部４４は、撮像対象Ｔｇ３を追尾するための追尾用カメラと他の撮像対象Ｔｇ４を検出するための検出用カメラとを設定し、追尾用カメラに対して撮像対象Ｔｇ３を追尾するための追尾用限定範囲を設定し、検出用カメラに対して他の撮像対象Ｔｇ４を検出するための検出用限定範囲を設定してもよい。

その他の変形例における検出部４４は、初期状態において撮像対象Ｔｇ３が設定されていない。よって、撮像対象Ｔｇ３の設定について、以下に説明する。

検出部４４は、イメージセンサ上において設定された追尾用限定範囲の撮像画像を読み出し、所定の特徴量を有する複数の特徴点のそれぞれを抽出する。検出部４４は、抽出された複数の特徴点のそれぞれのうち特徴量を多く含む１つの特徴点を撮像対象Ｔｇ３として設定する。

検出部４４は、イメージセンサ上において設定された検出用限定範囲の撮像画像を読み出し、所定の特徴量を有する複数の特徴点のそれぞれを抽出する。検出部４４は、検出用限定範囲に含まれる複数の特徴点のそれぞれが追尾用限定範囲に含まれる複数の特徴点のそれぞれよりも多いか否かを判定する。なお、検出部４４は、検出用限定範囲に含まれる複数の特徴点のそれぞれのうち最も特徴量が多い特徴点と撮像対象Ｔｇ３との特徴量に基づく判定を行ってもよい。検出部４４は、判定の結果、複数の特徴点のそれぞれの数が多い方または特徴量を多く含む特徴点を含む限定範囲を追尾用限定範囲に設定する。さらに、検出部４４は、他の限定範囲を検出用限定範囲として設定する。なお、画像処理装置４は、検出部４４によって追尾用カメラと検出用カメラとが設定される場合においても同様の処理を実行する。

また、検出部４４は、追尾用限定範囲に含まれる複数の特徴点のそれぞれの分布に基づいて、追尾用限定範囲を補正してもよい。これにより検出部４４は、撮像対象Ｔｇ３が追尾用撮像範囲の境界付近に特徴量がより多い特徴点が存在する場合、他の撮像対象Ｔｇ４として設定することができる。

予測部４３は、検出される撮像対象Ｔｇ３の動き量とドローン２Ａの飛行方向とに基づいて、次の２フレームにおいて撮像されるイメージセンサ上の撮像対象Ｔｇ３の位置を予測する。予測部４３は、予測した撮像対象Ｔｇ３の予測位置を検出部４４に出力する。

なお、予測部４３は、予測位置が他のカメラの撮像範囲または他のカメラの限定範囲に移行する場合には、移行先のカメラまたは移行先のカメラのイメージセンサ上において設定された限定範囲に関する情報を検出部４４およびカメラ切替部４７に出力してもよい。さらに予測部４３は、撮像対象Ｔｇ３の予測位置が撮像範囲外に位置する場合には、撮像対象Ｔｇ３の予測位置が撮像範囲外に移動することを検出部４４およびカメラ切替部４７に出力してもよい。

出力部４６は、計測部４５によって計測された撮像画像における撮像対象Ｔｇ３の位置に基づいて、撮像対象Ｔｇ３の動き速度を算出する。なお、動き速度の算出に関する詳しい説明は、図１３に示すフローチャートの説明と併せて行う。出力部４６は、受信部４２によって受信されたドローン２Ａの飛行速度と撮像対象Ｔｇ３の動き速度との速度の差分を、通信部２５を介して誤差補正部２３に送信する。

カメラ切替部４７は、設定された追尾用限定範囲と検出用限定範囲とを撮像するカメラをフレームごとに切り替え、設定された追尾用限定範囲と検出用限定範囲とが同じカメラの撮像範囲内にある場合にはカメラを切り替えない。なお、カメラ切替部４７は、複数のカメラ３ａ，３ｂのそれぞれについて追尾用カメラと検出用カメラとが設定される場合においても同様にフレームごとにカメラの切り替えを実行する。

図１３は、実施の形態２に係る画像処理装置４の追尾および検出動作手順例を説明するフローチャートである。なお、図１３に示すフローチャートの説明では、図１２に示すドローン２Ａが備える複数のカメラ３ａ，３ｂのそれぞれから受信される場合の画像処理装置４の動作手順例について説明するが、カメラの台数は２台に限らず３台以上であってもよいし、カメラの画角が固定されない場合には１台であってもよい。

受信部４２は、ドローン２Ａとの間の無線通信により、複数のカメラ３ａ，３ｂのそれぞれのフレームレート、撮像範囲および限定範囲などの複数のカメラ３ａ，３ｂのそれぞれの設定情報および特徴点に関する設定情報（例えば、特徴点をして検出するために必要な特徴量など）を受信する。カメラ切替部４７は、受信部４２によって受信された複数のカメラ３ａ，３ｂのそれぞれの設定情報に基づいて、追尾用限定範囲を設定する（Ｓｔ４１）。なお、複数のカメラ３ａ，３ｂのそれぞれのうち一方が追尾用カメラとして設定されている場合には、追尾用カメラが有する撮像範囲における限定範囲を追尾用限定範囲として設定する。

カメラ切替部４７は、受信部４２によって受信された複数のカメラ３ａ，３ｂのそれぞれの設定情報に基づいて、検出用限定範囲を設定する（Ｓｔ４２）。なお、ユーザによって複数のカメラ３ａ，３ｂのそれぞれのうち一方が検出用カメラとして設定されている場合には、検出用カメラが有する撮像範囲における限定範囲を検出用限定範囲として設定する。なお、検出用限定範囲および検出用カメラは、１台でなく複数でもよい。

カメラ切替部４７は、設定された追尾用限定範囲（言い換えると、追尾用検出範囲を撮像範囲に含むカメラ）にスイッチＳＷの接続を切り替える。受信部４２は、カメラ切替部４７によって切り替えられ、接続されたカメラから撮像画像を受信し、検出部４４に出力する。検出部４４は、入力された撮像範囲のうち設定された追尾用限定範囲を限定的に高速で読み出す（Ｓｔ４３）。

カメラ切替部４７は、設定された検出用限定範囲（言い換えると、検出用検出範囲を撮像範囲に含むカメラ）にスイッチＳＷの接続を切り替える。受信部４２は、カメラ切替部４７によって切り替えられ、接続されたカメラから撮像画像を受信し、検出部４４に出力する。検出部４４は、入力された撮像範囲のうち設定された検出用限定範囲を限定的に高速で読み出す（Ｓｔ４４）。

検出部４４は、読み出された検出用限定範囲の撮像画像から所定の特徴量を有する複数の特徴点のそれぞれを抽出する（Ｓｔ４５）。

検出部４４は、ステップＳｔ４４における処理で抽出された追尾用限定範囲の複数の特徴点のそれぞれとステップＳｔ４５における処理で抽出された検出用限定範囲の複数の特徴点のそれぞれとを比較し、検出用限定範囲に含まれる複数の特徴点のそれぞれが追尾用限定範囲に含まれる複数の特徴点のそれぞれよりも多いか否かを判定する（Ｓｔ４６）。なお、判定方法は特徴点の数であっても、それぞれの限定範囲内における特徴点が有する最大特徴量の大小であってもよい。

検出部４４は、ステップＳｔ４６における判定の結果、検出用限定範囲に含まれる複数の特徴点のそれぞれが追尾用限定範囲に含まれる複数の特徴点のそれぞれよりも多い場合には（Ｓｔ４６，ＹＥＳ）、カメラ切替部４７に現在の追尾用限定範囲を検出用限定範囲に変更させ、現在の検出用限定範囲を追尾用限定範囲に変更させる（Ｓｔ４７）。

カメラ切替部４７は、ステップＳｔ４６における判定の結果、検出用限定範囲に含まれる複数の特徴点のそれぞれが追尾用限定範囲に含まれる複数の特徴点のそれぞれよりも少ない場合（Ｓｔ４６，ＮＯ）、またはステップＳｔ４７における処理を実行した後、現在の検出用限定範囲を他の限定範囲（具体的には、追尾用限定範囲として設定されず、撮像対象の予測位置を含む限定範囲以外の限定範囲）に変更する（Ｓｔ４８）。

カメラ切替部４７は、設定された追尾用限定範囲にスイッチＳＷの接続を切り替える。受信部４２は、カメラ切替部４７によって切り替えられたカメラのフレームを検出部４４に出力する。検出部４４は、入力された撮像範囲のうち設定された追尾用限定範囲を限定的に高速で読み出す（Ｓｔ４９）。

検出部４４は、ステップＳｔ４３における処理を実行して読み出された追尾用限定範囲の撮像画像から複数の特徴点のそれぞれを抽出する。検出部４４は、抽出された複数の特徴点のうち１つの特徴点を撮像対象Ｔｇ３として設定し、ステップＳｔ４９における処理を実行して読み出された追尾用限定範囲の撮像画像から撮像対象Ｔｇ３を検出する。計測部４５は、受信部４２によって受信された複数のカメラ３ａ，３ｂのそれぞれの設定情報に基づいて、ステップＳｔ４３において検出された撮像対象Ｔｇ３の位置とステップＳｔ４９において検出された撮像対象Ｔｇ３の位置とを計測する。出力部４６は、計測されたステップＳｔ４３において検出された撮像対象Ｔｇ３の位置とステップＳｔ４９において検出された撮像対象Ｔｇ２との位置の差分に基づいて、撮像対象Ｔｇ３の動き速度を算出する（Ｓｔ５０）。

ここで、ステップＳｔ５０において算出される撮像対象の動き速度について説明する。

検出部４４は、ステップＳｔ４６において検出用限定範囲に含まれる複数の特徴点のそれぞれが追尾用限定範囲に含まれる複数の特徴点のそれぞれよりも多い場合（Ｓｔ４６，ＹＥＳ）には、ステップＳｔ４７における処理によって現在の検出用限定範囲を追尾用限定範囲に変更し、ステップＳｔ４９における処理によってステップＳｔ４４と同一の限定範囲を読み出す。よって、出力部４６は、同一の限定範囲を連続して読み出すため、２フレームの間に変化した撮像対象の位置に基づいて撮像対象の動き速度を算出する。

一方、検出部４４は、ステップＳｔ４６において検出用限定範囲に含まれる複数の特徴点のそれぞれが追尾用限定範囲に含まれる複数の特徴点のそれぞれよりも多くない場合（Ｓｔ４６，ＮＯ）には、ステップＳｔ４９における処理によってステップＳｔ４３と同一の追尾用限定範囲を読み出す。このような場合において、検出部４４は、ステップＳｔ４４で一度他の限定範囲を読み出すことになる。したがって、ステップＳｔ４９で検出された撮像対象（特徴点）の位置は、ステップＳｔ４４で検出された撮像対象から２フレーム後の撮像対象の位置となる。よって、出力部４６は、一度他の限定範囲を読み出すため、３フレームの間に変化した撮像対象の位置に基づいて撮像対象の動き速度を算出する。

また、出力部４６は、受信部４２から入力されたドローン２Ａの速度情報と撮像対象Ｔｇ３の動き速度との速度の差分を出力し、ドローン２Ａに送信する（Ｓｔ５１）。

画像処理装置４は、ステップＳｔ５１における処理を実行した後、ステップＳｔ４４の処理に戻る。２巡目以降のステップＳｔ４６の処理における検出部４４は、現在の撮像対象Ｔｇ３よりも多い特徴量を含む他の撮像対象Ｔｇ４を検出する。また、検出部４４は、撮像対象Ｔｇ３が複数のカメラ３ａ，３ｂのそれぞれの撮像範囲外に位置した場合には、ステップＳｔ４１の処理に戻ってもよい。

また、検出部４４は、ステップＳｔ５１における処理を実行した後、追尾用限定範囲において検出された複数の特徴点のそれぞれの分布に基づいて、追尾用限定範囲を補正してもよい（Ｓｔ５２）。なお、このような場合においても、画像処理装置４は、ステップＳｔ５２における処理を実行した後、ステップＳｔ４４の処理に戻る。

以上により、その他の変形例に係る画像処理装置４は、撮像対象Ｔｇ３を追尾と他の撮像対象の検出とを同時に実行できる。これにより、ドローン２Ａは、ドローン２Ａにおける姿勢制御を実行するにあたって、撮像範囲に撮像対象Ｔｇ３（目印）を得ることができる。さらに、上述した画像処理装置４を用いた場合、ドローン２Ａは、ドローン２Ａの移動速度または移動方向などの情報を撮像対象Ｔｇ３（目印）の動き速度または動く方向（ベクトル）の情報と比較することにより、ドローン２Ａの姿勢に関する情報を得ることができる。

図１４および図１５を参照して、その他の変形例における撮像対象の追尾と検出とを説明する。図１４は、追尾用限定範囲と検出用限定範囲との切り替え例を説明する図である。図１４に示す横軸は、フレームを示す。また、図１５は、撮像対象に対する追尾および検出の一例を説明する図である。なお、図１４に示すフレームＦ１において画像処理装置４は、ステップＳｔ５１あるいはステップＳｔ５２までの処理を実行した後であって、ステップＳｔ４４における処理を実行する。

図１４は、カメラ切替部４７が予測部４３によって撮像対象Ｔｇ３の予測位置に基づく追尾用限定範囲と設定された検出用限定範囲とをフレームごとに切り替える様子を示す。

図１５に示す複数の撮像対象Ｔｇ３，Ｔｇ４のそれぞれは、検出部４４によって抽出され、所定の特徴量を有する特徴点である。撮像対象Ｔｇ３は、既に検出部４４によって抽出され、フレームＦ１の時点で撮像対象として設定された特徴点である。撮像対象Ｔｇ３は、ドローン２Ａの飛行（移動）により、フレームごとに軌道ＲＴ１上を移動するように位置が変化する。撮像対象Ｔｇ４は、初期状態において検出部４４によって未検出状態であり、所定の特徴量を有する特徴点である。撮像対象Ｔｇ４は、フレームＦ１において複数のカメラ３ａ，３ｂのそれぞれの撮像範囲外に位置する。撮像対象Ｔｇ４は、ドローン２Ａの飛行（移動）により、フレームごとに軌道ＲＴ２上を移動するように位置が変化する。

フレームＦ１において、カメラ切替部４７は、スイッチＳＷの接続先を、検出用限定範囲Ａｒ１１を撮像範囲に含むカメラ３ａに切り替える。検出部４４は、検出用限定範囲Ａｒ１１を高速で読み出し、所定の特徴量を有する特徴点を抽出する。検出部４４は、抽出結果に基づいて、以前の追尾用限定範囲（不図示）における撮像対象Ｔｇ３の特徴量を超える特徴点が抽出されなかったと判定し、検出用限定範囲Ａｒ１１を隣接する検出用限定範囲Ａｒ１２に変更する。

フレームＦ２において、予測部４３は、撮像対象Ｔｇ３の予測位置を位置Ｐｓ３１（追尾用限定範囲Ａｒ１３）と予測し、予測結果をカメラ切替部４７および検出部４４に出力する。カメラ切替部４７は、スイッチＳＷの接続先を、追尾用限定範囲Ａｒ１３を撮像範囲に含むカメラ３ａのままにする。検出部４４は、追尾用限定範囲Ａｒ１３を高速で読み出し、撮像対象Ｔｇ３を検出する。計測部４５は、検出結果に基づいて、以前の追尾用限定範囲（不図示）において撮像された撮像対象Ｔｇ３の位置と追尾用限定範囲Ａｒ１３で撮像された撮像対象Ｔｇ３の位置とに基づいて、撮像対象Ｔｇ３の動き量を計測する。出力部４６は、計測された撮像対象Ｔｇ３の動き量に基づく撮像対象Ｔｇ３の動き速度を算出し、撮像対象Ｔｇ３の動き速度とドローン２Ａの飛行速度との速度の差分を出力し、通信部２５を介して誤差補正部２３に送信する。

フレームＦ３において、カメラ切替部４７は、スイッチＳＷの接続先を、検出用限定範囲Ａｒ１２を撮像範囲に含むカメラ３ａのままにする。検出部４４は、検出用限定範囲Ａｒ１２を高速で読み出し、所定の特徴量を有する特徴点を抽出する。検出部４４は、抽出結果に基づいて、以前の追尾用限定範囲Ａｒ１３における撮像対象Ｔｇ３の特徴量を超える特徴点が抽出されなかったと判定し、検出用限定範囲Ａｒ１２を隣接する検出用限定範囲Ａｒ１３に変更する。

フレームＦ４において、予測部４３は、撮像対象Ｔｇ３の予測位置を位置Ｐｓ３２（追尾用限定範囲Ａｒ２１）と予測し、予測結果をカメラ切替部４７および検出部４４に出力する。カメラ切替部４７は、スイッチＳＷの接続先を、追尾用限定範囲Ａｒ２１を撮像範囲に含むカメラ３ｂに切り替える。検出部４４は、追尾用限定範囲Ａｒ２１を高速で読み出し、撮像対象Ｔｇ３を検出する。計測部４５は、検出結果に基づいて、以前の追尾用限定範囲Ａｒ１３において撮像された撮像対象Ｔｇ３の位置と追尾用限定範囲Ａｒ２１で撮像された撮像対象Ｔｇ３の位置とに基づいて、撮像対象Ｔｇ３の動き量を計測する。出力部４６は、計測された撮像対象Ｔｇ３の動き量に基づく撮像対象Ｔｇ３の動き速度を算出し、撮像対象Ｔｇ３の動き速度とドローン２Ａの飛行速度との速度の差分を出力し、通信部２５を介して誤差補正部２３に送信する。

フレームＦ５において、カメラ切替部４７は、スイッチＳＷの接続先を、検出用限定範囲Ａｒ１３を撮像範囲に含むカメラ３ａに切り替える。検出部４４は、検出用限定範囲Ａｒ１３を高速で読み出し、所定の特徴量を有する特徴点を抽出する。検出部４４は、抽出結果に基づいて、以前の追尾用限定範囲Ａｒ２１における撮像対象Ｔｇ３の特徴量を超える特徴点が抽出されなかったと判定し、検出用限定範囲Ａｒ１２を隣接する検出用限定範囲Ａｒ１３に変更する。

フレームＦ６において、予測部４３は、撮像対象Ｔｇ３の予測位置を位置Ｐｓ３３（追尾用限定範囲Ａｒ２２）と予測し、予測結果をカメラ切替部４７および検出部４４に出力する。カメラ切替部４７は、スイッチＳＷの接続先を、追尾用限定範囲Ａｒ２２を撮像範囲に含むカメラ３ｂに切り替える。検出部４４は、追尾用限定範囲Ａｒ２２を高速で読み出し、撮像対象Ｔｇ３を検出する。計測部４５は、検出結果に基づいて、以前の追尾用限定範囲Ａｒ２１において撮像された撮像対象Ｔｇ３の位置と追尾用限定範囲Ａｒ２２で撮像された撮像対象Ｔｇ３の位置とに基づいて、撮像対象Ｔｇ３の動き量を計測する。出力部４６は、計測された撮像対象Ｔｇ３の動き量に基づく撮像対象Ｔｇ３の動き速度を算出し、撮像対象Ｔｇ３の動き速度とドローン２Ａの飛行速度との速度の差分を出力し、通信部２５を介して誤差補正部２３に送信する。

フレームＦ７において、カメラ切替部４７は、スイッチＳＷの接続先を、検出用限定範囲Ａｒ２１を撮像範囲に含むカメラ３ｂのままにする。検出部４４は、検出用限定範囲Ａｒ２１を高速で読み出す。検出部４４は、位置Ｐｓ４２に位置し、所定の特徴量を有する特徴点Ｔｇ４を抽出する。検出部４４は、抽出結果に基づいて、検出用限定範囲Ａｒ２１における特徴点Ｔｇ４と、以前の追尾用限定範囲Ａｒ２２における撮像対象Ｔｇ３とを比較する。検出部４４は、比較の結果、以前の追尾用限定範囲Ａｒ２２における撮像対象Ｔｇ３の特徴量を超える特徴点が抽出されなかったと判定し、検出用限定範囲Ａｒ１２を隣接する検出用限定範囲Ａｒ１３に変更する。

フレームＦ８において、予測部４３は、撮像対象Ｔｇ３の予測位置を位置Ｐｓ３４（追尾用限定範囲Ａｒ２３）と予測し、予測結果をカメラ切替部４７および検出部４４に出力する。カメラ切替部４７は、スイッチＳＷの接続先を、追尾用限定範囲Ａｒ２３を撮像範囲に含むカメラ３ｂのままにする。検出部４４は、追尾用限定範囲Ａｒ２３を高速で読み出し、撮像対象Ｔｇ３を検出する。計測部４５は、検出結果に基づいて、以前の追尾用限定範囲Ａｒ２２において撮像された撮像対象Ｔｇ３の位置と追尾用限定範囲Ａｒ２３で撮像された撮像対象Ｔｇ３の位置とに基づいて、撮像対象Ｔｇ３の動き量を計測する。出力部４６は、計測された撮像対象Ｔｇ３の動き量に基づく撮像対象Ｔｇ３の動き速度を算出し、撮像対象Ｔｇ３の動き速度とドローン２Ａの飛行速度との速度の差分を出力し、通信部２５を介して誤差補正部２３に送信する。

フレームＦ９において、カメラ切替部４７は、スイッチＳＷの接続先を、検出用限定範囲Ａｒ２２を撮像範囲に含むカメラ３ｂのままにする。検出部４４は、検出用限定範囲Ａｒ２２を高速で読み出す。検出部４４は、位置Ｐｓ４３に位置し、所定の特徴量を有する特徴点Ｔｇ４を抽出する。検出部４４は、抽出結果に基づいて、検出用限定範囲Ａｒ２２における特徴点Ｔｇ４と、以前の追尾用限定範囲Ａｒ２３における撮像対象Ｔｇ３とを比較する。検出部４４は、比較の結果、以前の追尾用限定範囲Ａｒ２３における撮像対象Ｔｇ３の特徴量を超える特徴点が抽出されたと判定し、撮像対象を現在の撮像対象Ｔｇ３から次の撮像対象Ｔｇ４に変更する。また、検出部４４は、検出用限定範囲Ａｒ２２を追尾用限定範囲Ａｒ２２に変更し、次の検出用限定範囲を隣接する他の検出用限定範囲Ａｒ２３に変更する。

なお、フレームＦ１０における画像処理装置４は、予測部４３によってフレームＦ１１における撮像対象Ｔｇ４の位置を予測し、予測位置として位置Ｐｓ４５が含まれる限定範囲Ａｒ２３を追尾用限定範囲Ａｒ２３として設定してもよい。このような場合、フレームＦ１０において変更された検出用限定範囲Ａｒ２３は、さらに他の検出用限定範囲Ａｒ１１に変更されてもよい。

フレームＦ１０において、カメラ切替部４７は、スイッチＳＷの接続先を、フレームＦ９と同じ追尾用限定範囲Ａｒ２２撮像範囲に含むカメラ３ｂのままにする。検出部４４は、追尾用限定範囲Ａｒ２２を高速で読み出す。検出部４４は、位置Ｐｓ４４に位置する撮像対象Ｔｇ４を検出する。計測部４５は、検出結果に基づいて、フレームＦ９における撮像対象Ｔｇ４の位置Ｐｓ４３とフレームＦ１０における撮像対象Ｔｇ４の位置Ｐｓ４４とに基づいて、撮像対象Ｔｇ４の動き量を計測する。出力部４６は、計測された撮像対象Ｔｇ４の動き量に基づく撮像対象Ｔｇ４の動き速度を算出し、撮像対象Ｔｇ４の動き速度とドローン２Ａの飛行速度との速度の差分を出力し、通信部２５を介して誤差補正部２３に送信する。

なお、画像処理装置４は、フレームＦ１０において撮像対象Ｔｇ４が限定範囲Ａｒ２２の境界線に位置するため、図１３に示したフローチャートにおけるステップＳｔ５２の処理を実行し、限定範囲Ａｒ２２または限定範囲Ａｒ２３の範囲を補正してもよい。

フレームＦ１１において、カメラ切替部４７は、スイッチＳＷの接続先を、検出用限定範囲Ａｒ２３を撮像範囲に含むカメラ３ｂのままにする。検出部４４は、検出用限定範囲Ａｒ２３を高速で読み出す。検出部４４は、位置Ｐｓ４５に位置し、所定の特徴量を有する特徴点Ｔｇ４（現在の撮像対象Ｔｇ４）を抽出する。検出部４４は、抽出結果に基づいて特徴点Ｔｇ４を撮像対象Ｔｇ４と判定し、検出用限定範囲Ａｒ２３から特徴点が抽出されなかったと判定し、検出用限定範囲Ａｒ２３を再帰的に検出用限定範囲Ａｒ１１に変更する。

なお、フレームＦ１１における画像処理装置４は、抽出された特徴点Ｔｇ４が撮像対象Ｔｇ４と判定するとともに、フレームＦ１０における撮像対象Ｔｇ４の位置Ｐｓ４４とフレームＦ１１における撮像対象Ｔｇ４の位置Ｐｓ４５とに基づく撮像対象Ｔｇ４の動き量および動き速度を算出してもよい。

上述した図１４および図１５の説明において、検出用限定範囲は限定範囲Ａｒ１１から始まり限定範囲Ａｒ２３に順次変更された例を示したが、検出用限定範囲はランダムに変更（設定）されてもよい。また、図１４および図１５の説明における予測部４３は、複数のカメラ３ａ，３ｂのそれぞれの切り替わるタイミングで撮像対象の位置を予測する例を示したが、予測のタイミングはこれに限定されない。予測部４３は、例えば、次のフレームにおける追尾用検出範囲および検出用限定範囲を変更する前に撮像対象の位置を予測してもよい。

以上により、その他の変形例に係る画像処理装置４は、予測位置を反映した追尾用限定範囲および検出用限定範囲に変更できるため、より効率的に撮像対象を追尾し、かつ他の撮像対象を検出できる。また、その他の変形例に係る画像処理装置４は、同じ時間でより多くのサンプリング数（言い換えると、出力される誤差情報の数）を得ることができるため、位置誤差補正の精度をより高精度にすることができる。

以上により、実施の形態１に係る画像処理装置４は、撮像対象Ｔｇ１の位置情報と、少なくとも１つのカメラ３によって撮像された撮像対象Ｔｇ１が映る撮像画像とを受信する受信部４２と、撮像対象Ｔｇ１の位置情報に基づいて、カメラ３の撮像範囲ＩＡ１内における撮像対象Ｔｇ１の位置を予測する予測部４３と、予測された撮像対象Ｔｇ１の予測位置に基づいて、撮像範囲ＩＡ１の撮像画像から撮像範囲ＩＡ１の一部となる限定範囲Ａｒ１の撮像画像を読み出して撮像対象Ｔｇ１を検出する検出部４４と、検出された撮像対象Ｔｇ１の位置を計測する計測部４５と、撮像対象Ｔｇ１の計測位置と予測位置との差分を出力する出力部４６と、を備える。

これにより、画像処理装置４は、カメラ３により撮像された撮像対象Ｔｇ１の画像に対する効率的な画像処理を実行し、より高精度な撮像対象Ｔｇ１の位置誤差を算出できる。さらに、実施の形態１に係る画像処理装置４は、撮像範囲ＩＡ１のうち限定範囲を限定的に読み出すことにより、読み出し時間を短縮できるため、他の装置の動作速度への影響を抑制することができる。これにより、実施の形態１に係る画像処理装置４は、読み出し時間を短縮によって、サンプリング数を増加することができるため、より精度が高い位置誤差補正を実現することができる。

また、実施の形態２およびその他の変形例に係る画像処理装置４は、複数のカメラ３ａ，３ｂのそれぞれの位置情報と、少なくとも１つのカメラによって撮像された撮像画像とを受信する受信部４２と、少なくとも１枚の撮像画像のうち、カメラの撮像範囲の一部となる限定範囲の撮像画像を読み出してカメラの位置の基準となる撮像対象（特徴点Ｔｇ３）を検出する検出部４４と、検出された撮像対象の位置を計測する計測部４５と、撮像対象の計測位置に基づいて、撮像対象の検出に用いられた撮像画像より後に撮像された撮像画像に映る撮像対象の位置を予測する予測部４３と、予測された撮像対象の予測位置と撮像対象の計測位置との差分を出力する出力部４６と、を備える。

これにより、実施の形態２およびその他の変形例に係る画像処理装置４は、カメラにより撮像された撮像対象Ｔｇ３の画像に対する効率的な画像処理を実行し、より高精度な撮像対象の位置誤差を算出できる。さらに、実施の形態２およびその他の変形例に係る画像処理装置４は、カメラの撮像範囲のうち限定範囲を限定的に読み出すことにより、読み出し時間を短縮できるため、他の装置の動作速度への影響を抑制することができる。これにより、実施の形態２およびその他の変形例に係る画像処理装置４は、読み出し時間を短縮によって、サンプリング数を増加することができるため、より精度が高い位置誤差補正を実現することができる。よって、実施の形態２およびその他の変形例に係る画像処理装置４を用いた場合、ドローン２Ａは、出力された位置の差分に基づいて飛行中の姿勢制御を実行できる。

また、実施の形態２およびその他の変形例に係る画像処理装置４は、異なる撮像範囲を有する複数のカメラのそれぞれとの接続を切り替えるカメラ切替部４７、をさらに備え、カメラ切替部４７は、予測位置に応じて、複数のカメラのそれぞれのうち予測位置を撮像可能なカメラに切り替える。これにより、実施の形態１、実施の形態２およびその他の変形例に係る画像処理装置４は、予測部４３によって予測された撮像対象Ｔｇ３の位置に応じて、複数のカメラ３ａ，３ｂのそれぞれを切り替えることができるため、複数のカメラ３ａ，３ｂのそれぞれの移動に伴う時間を短縮することができ、撮像された撮像対象Ｔｇ３の画像に対する効率的な画像処理を実行することができる。したがって、よって、実施の形態２およびその他の変形例に係る画像処理装置４を用いた場合、ドローン２Ａは、一定時間に位置の差分をより多く受信することができ、これらの位置の差分のそれぞれに基づいて、より高精度な姿勢制御を実行できる。

また、実施の形態２およびその他の変形例に係る画像処理装置４におけるカメラ切替部４７は、撮像対象Ｔｇ３の予測位置を含み、限定範囲を読み出して撮像対象Ｔｇ３を追尾するカメラを追尾用カメラとして設定し、追尾用カメラの撮像範囲以外の他の限定範囲を読み出して他の撮像対象Ｔｇ４を検出する他のカメラを検出用カメラとして設定し、追尾用カメラと検出用カメラとを切り替える。これにより、実施の形態２およびその他の変形例に係る画像処理装置４は、カメラ切替部４７によるカメラの切り替えにより、撮像対象Ｔｇ３の追尾と他の撮像対象Ｔｇ４の検出とを効率的に実行し、かつ効率的な画像処理が実行できる。また、画像処理装置４は、撮像対象Ｔｇ３の追尾と他の撮像対象Ｔｇ４の検出とを同時に実行することにより、撮像対象Ｔｇ３のサンプリング数の減少を抑制しつつ、精度を維持して位置誤差を補正できる。したがって、実施の形態２およびその他の変形例に係る画像処理装置４を用いた場合、ドローン２Ａは、常時位置の差分を受信することができ、より安定的に姿勢制御を実行できる。

また、実施の形態２およびその他の変形例に係る画像処理装置４におけるカメラ切替部４７は、複数のカメラのそれぞれが有する複数の限定範囲のそれぞれのうち、撮像対象Ｔｇ３の予測位置を含む限定範囲を追尾用限定範囲として設定し、追尾用限定範囲以外の他の限定範囲のうち少なくとも１つの限定範囲を他の撮像対象Ｔｇ４を検出する検出用限定範囲として設定し、追尾用限定範囲と検出用限定範囲とを切り替える。これにより、実施の形態２およびその他の変形例に係る画像処理装置４は、撮像対象Ｔｇ３の追尾のための追尾限定範囲と他の撮像対象の検出のための検出用限定範囲とを設定することにより、カメラ切替部４７によるカメラの切り替えをより効率的に実行できる。よって、画像処理装置４は、撮像された撮像画像の読み出し処理を効率的に実行することができる。また、画像処理装置４は、撮像対象Ｔｇ３の追尾と他の撮像対象Ｔｇ４の検出とを同時に実行することにより、撮像対象Ｔｇ３のサンプリング数の減少を抑制しつつ、精度を維持して位置誤差を補正できる。したがって、実施の形態２およびその他の変形例に係る画像処理装置４を用いた場合、ドローン２Ａは、常時位置の差分を受信することができ、より安定的に姿勢制御を実行できる。

また、実施の形態２およびその他の変形例に係る画像処理装置４における検出部４４は、少なくとも２枚の撮像画像の限定範囲のそれぞれに含まれ、所定の特徴量を有する少なくとも１つの特徴点を検出する。これにより、実施の形態２およびその他の変形例に係る画像処理装置４は、撮像画像から所定の特徴量を有する少なくとも１つの特徴点を検出することができるため、撮像対象がない場合でも信頼度が高い目印を設定できる。よって、画像処理装置４は、カメラにより撮像された撮像対象の画像に対する効率的な画像処理を実行し、より高精度な撮像対象の位置誤差を算出できる。したがって、実施の形態２およびその他の変形例に係る画像処理装置４を用いた場合、ドローン２Ａは、より信頼度が高い位置の差分を受信し、差分に基づく姿勢制御を実行できる。

また、実施の形態２およびその他の変形例に係る画像処理装置４における検出部４４は、検出された複数の特徴点のそれぞれの分布に基づいて、限定範囲を補正する。これにより、実施の形態２およびその他の変形例に係る画像処理装置４は、設定された限定範囲が適切でない場合（例えば、限定範囲の中心部でなく、端側により多い特徴量を有する特徴点が位置している）には、読み出した撮像画像から検出された複数の特徴点のそれぞれの分布に基づいて、限定範囲を補正することができる。よって、画像処理装置４は、読み出し範囲の補正を実行でき、より信頼できる特徴点を検出することができる。したがって、実施の形態２およびその他の変形例に係る画像処理装置４を用いた場合、ドローン２Ａは、より信頼度が高い位置の差分を受信し、差分に基づく姿勢制御を実行できる。

また、実施の形態２およびその他の変形例に係る画像処理装置４における検出部４４は、検出された特徴点を他の撮像対象として設定する。これにより、実施の形態２およびその他の変形例に係る画像処理装置４は、より信頼できる特徴点を撮像対象として設定することができる。したがって、画像処理装置４は、より高精度な撮像対象の位置誤差を算出できる。したがって、実施の形態２およびその他の変形例に係る画像処理装置４を用いた場合、ドローン２Ａは、より信頼度が高い位置の差分を受信し、差分に基づく姿勢制御を実行できる。

また、実施の形態２およびその他の変形例に係る画像処理装置４における計測部４５は、検出された撮像対象Ｔｇ２のそれぞれの位置に基づいて撮像対象の動き量を計測し、出力部４６は、計測された撮像対象Ｔｇ２の動き量に基づいて、撮像対象Ｔｇ２の動き速度を算出して出力する。これにより、実施の形態２およびその他の変形例に係る画像処理装置４は、撮像対象Ｔｇ３の動き速度を算出できる。したがって、画像処理装置４は、より高精度に撮像対象Ｔｇ３の位置を予測できる。また、画像処理装置４は、予測位置に基づいて、カメラ切替部４７の動作をより効率的に制御することができ、撮像対象を失う前に次の撮像対象を効率的に設定できる。したがって、実施の形態２およびその他の変形例に係る画像処理装置４を用いた場合、ドローン２Ａは、常時位置の差分を受信することができ、より安定的に姿勢制御を実行できる。

また、実施の形態２およびその他の変形例に係る画像処理装置４における受信部４２は、さらにカメラの移動速度情報を受信し、出力部４６は、算出された撮像対象の動き速度とカメラの移動速度情報との差分を算出して出力する。これにより、実施の形態２およびその他の変形例に係る画像処理装置４は、撮像対象の位置の誤差だけでなく、カメラを移動させるアクチュエータ２の制御誤差を補正できる。また、アクチュエータ２は、出力された速度の差分に基づいて、カメラの位置誤差を補正することができる。よって、画像処理装置４は、より高精度な撮像対象の位置誤差を算出できると共に、他の装置（例えば、アクチュエータ２など）の制御誤差を算出することができる。したがって、実施の形態２およびその他の変形例に係る画像処理装置４を用いた場合、ドローン２Ａは、常時位置の差分と速度の差分とを受信することができ、より安定的に姿勢制御を実行できるとともに、ドローン２Ａの飛行制御誤差を補正できる。

以上、添付図面を参照しながら各種の実施の形態について説明したが、本開示はかかる例に限定されない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例、修正例、置換例、付加例、削除例、均等例に想到し得ることは明らかであり、それらについても本開示の技術的範囲に属すると了解される。また、発明の趣旨を逸脱しない範囲において、上述した各種の実施の形態における各構成要素を任意に組み合わせてもよい。

本開示は、画像処理装置および画像処理方法の提示において、カメラにより撮像された対象物の画像に対する効率的な画像処理を実行し、より高精度な対象物の位置誤差を算出する画像処理装置および画像処理方法の提示として有用である。

１ 制御装置
１０，２０，４０ 制御部
１１，２１，４１ メモリ
１２ エリアデータ
２ アクチュエータ
２２ 駆動部
２３ 誤差補正部
２４ アーム部
３ カメラ
４ 画像処理装置
４２ 受信部
４３ 予測部
４４ 検出部
４５ 計測部
４６ 出力部
５ 作業部
ＩＡ１ 撮像範囲
Ｐｔ０ 基準マーカ
Ｔｇ１ 撮像対象

Claims (3)

1. 事前に入力されたエリアデータから撮像対象の位置情報を取得し、前記撮像対象の位置情報に基づいて所定の方向に移動するカメラの撮像範囲における前記撮像対象の位置を予測する予測部と、
   前記撮像対象の位置情報に基づいて移動する前記カメラが撮像した前記撮像対象が映る撮像画像を受信する画像受信部と、
   予測された前記撮像対象の予測位置に基づいて、前記撮像範囲の撮像画像から前記撮像範囲の一部となる限定範囲の撮像画像を読み出して前記撮像対象を検出する検出部と、
   検出された前記撮像対象の位置を計測する計測部と、
   前記撮像対象の計測位置と前記予測位置との差分を出力する出力部と、を備え、
   前記予測部は、前記撮像対象の計測位置が計測された前記撮像画像の後に撮像される前記撮像対象の撮像位置をさらに予測して前記出力部にさらに出力させ、
   前記所定の方向は、前記撮像対象の計測位置を始点、前記撮像対象の撮像位置を終点とするベクトルと逆方向である、
   画像処理装置。
2. 前記画像処理装置は、異なる撮像範囲を有する複数の前記カメラのそれぞれとの接続を切り替えるカメラ切替部、をさらに備え、
   前記カメラ切替部は、前記予測位置に応じて、前記複数のカメラのそれぞれのうち前記予測位置を撮像可能なカメラに切り替える、
   請求項１に記載の画像処理装置。
3. カメラに接続された画像処理装置により実行される画像処理方法であって、
   事前に入力されたエリアデータから撮像対象の位置情報を取得し、
   前記撮像対象の位置情報に基づいて所定の方向に移動する前記カメラの撮像範囲における前記撮像対象の位置を予測し、
   予測された前記撮像対象の予測位置に基づいて、前記カメラの撮像範囲における前記予測位置を含む所定の限定範囲を読み出して前記撮像対象を検出して、
   検出された前記撮像対象の位置を計測し、
   前記撮像対象の計測位置と前記予測位置との差分を出力し、
   前記撮像対象の計測位置が計測された読み出しの後に読み出される前記撮像対象の位置をさらに予測して出力し、
   前記所定の方向は、前記撮像対象の計測位置を始点、前記撮像対象の位置を終点とするベクトルと逆方向に移動する、
   画像処理方法。

Images