JP7448280B2 - 画像処理装置、画像処理方法、プログラム及び記録媒体 - Google Patents

Description

本発明は、画像処理装置、画像処理方法、プログラム及び記録媒体に関する。

複数台のカメラを用いて、広範囲に分布する検知対象物（ラベル等）を撮像する技術がある（例えば、特許文献１等）。

特開２００４－３３４８４３号公報

しかしながら、複数台のカメラによって得られた複数の画像を１枚の画像に合成すると、画像のつなぎ目に視差が発生するという問題がある。

そこで、本発明は、視差の発生を抑制可能な画像処理装置、及び、画像処理方法の提供を目的とする。

前記目的を達成するために、本発明の画像処理装置は、
画像取得手段、抽出手段、照合手段、排除手段、対応付け手段、座標変化量算出手段、座標推定手段、及び画像合成手段を含み、
前記画像取得手段は、動画を構成する複数の画像を取得し、
前記抽出手段は、前記画像毎に、前記画像内の検知対象物及び前記検知対象物の座標を抽出し、
前記照合手段は、一方の前記画像内で前記抽出した検知対象物が他方の前記画像内の検知対象物と同一であるかを照合し、
前記排除手段は、前記複数の画像間において、前記画像内の前記検知対象物の構成が同一である画像を抽出して、且つ前記抽出した画像のうち１つを合成用画像として選択し、且つ他の画像を排除し、
前記対応付け手段は、一方の前記合成用画像内及び他方の前記合成用画像内に存在する前記検知対象物のうち、同一の検知対象物が存在する場合に、前記同一の検知対象物の座標同士を対応付け、
前記座標変化量算出手段は、前記対応付けられた各検知対象物の前記座標から座標変化量を算出し、
前記座標推定手段は、前記抽出した座標と前記座標変化量とに基づき、前記対応付けられていない検知対象物を含む前記他方の合成用画像内の検知対象物における、前記一方の合成用画像の座標系上の座標を推定し、
前記画像合成手段は、前記座標変化量と前記推定した座標とに基づき、前記一方の合成用画像上に、前記他方の合成用画像を合成する、装置である。

本発明の画像処理方法は、
画像取得工程、抽出工程、照合工程、排除工程、対応付け工程、座標変化量算出工程、座標推定工程、及び画像合成工程を含み、
前記画像取得工程は、動画を構成する複数の画像を取得し、
前記抽出工程は、前記画像毎に、前記画像内の検知対象物及び前記検知対象物の座標を抽出し、
前記照合工程は、一方の前記画像内で前記抽出した検知対象物が他方の前記画像内の検知対象物と同一であるかを照合し、
前記排除工程は、前記複数の画像間において、前記画像内の前記検知対象物の構成が同一である画像を抽出して、且つ前記抽出した画像のうち１つを合成用画像として選択し、且つ他の画像を排除し、
前記対応付け工程は、一方の前記合成用画像内及び他方の前記合成用画像内に存在する前記検知対象物のうち、同一の検知対象物が存在する場合に、前記同一の検知対象物の座標同士を対応付け、
前記座標変化量算出工程は、前記対応付けられた各検知対象物の前記座標から座標変化量を算出し、
前記座標推定工程は、前記抽出した座標と前記座標変化量とに基づき、前記対応付けられていない検知対象物を含む前記他方の合成用画像内の検知対象物における、前記一方の合成用画像の座標系上の座標を推定し、
前記画像合成工程は、前記座標変化量と前記推定した座標とに基づき、前記一方の合成用画像上に、前記他方の合成用画像を合成する、方法である。

本発明によれば、視差の発生を抑制することができる。

図１は、実施形態１の装置の一例の構成を示すブロック図である。 図２は、実施形態１の装置のハードウエア構成の一例を示すブロック図である。 図３は、実施形態１の装置における処理の一例を示すフローチャートである。 図４は、実施形態１の装置の排除手段による処理の一例を示す模式図である。 図５は、実施形態１の装置の対応付け手段によって同一の検知対象物の座標同士が対応付けられた一例を示す模式図である。 図６は、実施形態１の装置の座標変化量算出手段によって座標移動量を算出する一例を示す模式図である。 図７は、実施形態１において、１フレーム目と２フレーム目の各検知対象物の座標の関係の一例を示す模式図である。 図８は、実施形態１において、１フレーム目と２フレーム目の各検知対象物の座標の関係の一例を示す模式図である。 図９は、実施形態１において、１フレーム目の合成用画像と２フレーム目の合成用画像とを合成した画像の一例を示す模式図である。 図１０は、実施形態２の装置の一例の構成を示すブロック図である。 図１１は、実施形態２の装置における処理の一例を示すフローチャートである。 図１２は、実施形態２の装置の対応付け手段の処理の一例を示す模式図である。 図１３は、実施形態２における処理一例を示す模式図である。 図１４は、実施形態２において、１フレーム目の合成用画像と２フレーム目の合成用画像とを合成した画像の一例を示す模式図である。

本発明の画像処理装置において、例えば、前記座標変化量算出手段は、前記対応付けられた検知対象物の座標毎に座標移動量を算出し、且つ前記算出された座標移動量の平均値を前記座標変化量として算出し、
前記座標推定手段は、前記特定した座標と、前記座標移動量の平均値とに基づき、前記対応付けられていない検知対象物を含む前記他方の合成用画像内の検知対象物における、前記一方の合成用画像の座標系上の座標を推定する、という態様であってもよい。

本発明の画像処理装置において、例えば、前記座標変化量算出手段は、前記合成用画像間における前記対応付けられた検知対象物が４つ以上であるとき、ホモグラフィ変換行列を算出し、且つ前記ホモグラフィ変換行列から前記座標変化量を算出する、という態様であってもよい。

本発明の画像処理装置は、例えば、さらに、局所特徴量算出手段を含み、
前記抽出手段は、さらに、前記画像毎に、前記画像内の特徴点及び前記特徴点の座標を抽出し、
前記局所特徴量取得手段は、前記各合成用画像内の前記特徴点毎に、局所特徴量を取得し、
前記照合手段は、さらに、前記各画像間において前記局所特徴量を照合し、
前記対応付け手段は、前記各合成用画像内に存在する前記検知対象物のうち、前記同一の検知対象物がない場合に、前記局所特徴量が近い前記特徴点同士を対応付け、
前記座標変化量算出手段は、前記対応付けられた各特徴点の前記座標から座標変化量を算出する、という態様であってもよい。

本発明の画像処理装置において、例えば、前記対応付け手段は、前記同一の検知対象物が存在する場合に、前記同一の検知対象物同士を対応付け、且つ前記局所特徴量が近い前記特徴点同士を対応付け、
前記座標変化量算出手段は、前記対応付けられた各検知対象物の前記座標に基づく座標変化量と、前記対応付けられた各特徴点の前記座標に基づく座標変化量とを算出し、且つ前記各座標変化量から合成用画像全体の座標変化量を算出し、
前記座標推定手段は、前記特定した座標と前記合成用画像全体の座標変化量とに基づき、前記対応付けられていない検知対象物を含む前記他方の合成用画像内の検知対象物における、前記一方の合成用画像の座標系上の座標を推定し、
画像合成手段は、前記合成用画像全体の座標変化量と前記推定した座標とに基づき、前記一方の合成用画像上に、前記他方の合成用画像を合成する、という態様であってもよい。

本発明の画像処理装置において、例えば、前記座標推定手段は、前記特徴点の座標における座標変化量の平均値を用いて、前記合成用画像全体の座標変化量を算出する、という態様であってもよい。

本発明の画像処理方法において、例えば、前記座標変化量算出工程は、前記対応付けられた検知対象物の座標毎に座標移動量を算出し、且つ前記算出された座標移動量の平均値を前記座標変化量として算出し、
前記座標推定工程は、前記特定した座標と、前記座標移動量の平均値とに基づき、前記対応付けられていない検知対象物を含む前記他方の合成用画像内の検知対象物における、前記一方の合成用画像の座標系上の座標を推定する、という態様であってもよい。

本発明の画像処理方法において、例えば、前記座標変化量算出工程は、前記合成用画像間における前記対応付けられた検知対象物が４つ以上であるとき、ホモグラフィ変換行列を算出し、且つ前記ホモグラフィ変換行列から前記座標変化量を算出する、という態様であってもよい。

本発明の画像処理方法は、例えば、さらに、局所特徴量算出工程を含み、
前記抽出工程は、さらに、前記画像毎に、前記画像内の特徴点及び前記特徴点の座標を抽出し、
前記局所特徴量取得工程は、前記各合成用画像内の前記特徴点毎に、局所特徴量を取得し、
前記照合工程は、さらに、前記各画像間において前記局所特徴量を照合し、
前記対応付け工程は、前記各合成用画像内に存在する前記検知対象物のうち、前記同一の検知対象物がない場合に、前記局所特徴量が近い前記特徴点同士を対応付け、
前記座標変化量算出工程は、前記対応付けられた各特徴点の前記座標から座標変化量を算出する、という態様であってもよい。

本発明の画像処理方法において、例えば、前記対応付け工程は、前記同一の検知対象物が存在する場合に、前記同一の検知対象物同士を対応付け、且つ前記局所特徴量が近い前記特徴点同士を対応付け、
前記座標変化量算出工程は、前記対応付けられた各検知対象物の前記座標に基づく座標変化量と、前記対応付けられた各特徴点の前記座標に基づく座標変化量とを算出し、且つ前記各座標変化量から合成用画像全体の座標変化量を算出し、
前記座標推定工程は、前記特定した座標と前記合成用画像全体の座標変化量とに基づき、前記対応付けられていない検知対象物を含む前記他方の合成用画像内の検知対象物における、前記一方の合成用画像の座標系上の座標を推定し、
画像合成工程は、前記合成用画像全体の座標変化量と前記推定した座標とに基づき、前記一方の合成用画像上に、前記他方の合成用画像を合成する、という態様であってもよい。

本発明の画像処理方法において、例えば、前記座標推定工程は、前記特徴点の座標における座標変化量の平均値を用いて、前記合成用画像全体の座標変化量を算出する、という態様であってもよい。

本発明のプログラムは、
画像取得手順、抽出手順、照合手順、排除手順、対応付け手順、座標変化量算出手順、座標推定手順、及び画像合成手順を含み、
前記画像取得手順は、動画を構成する複数の画像を取得し、
前記抽出手順は、前記画像毎に、前記画像内の検知対象物及び前記検知対象物の座標を抽出し、
前記照合手順は、一方の前記画像内で前記抽出した検知対象物が他方の前記画像内の検知対象物と同一であるかを照合し、
前記排除手順は、前記複数の画像間において、前記画像内の前記検知対象物の構成が同一である画像を抽出して、且つ前記抽出した画像のうち１つを合成用画像として選択し、且つ他の画像を排除し、
前記対応付け手順は、一方の前記合成用画像内及び他方の前記合成用画像内に存在する前記検知対象物のうち、同一の検知対象物が存在する場合に、前記同一の検知対象物の座標同士を対応付け、
前記座標変化量算出手順は、前記対応付けられた各検知対象物の前記座標から座標変化量を算出し、
前記座標推定手順は、前記抽出した座標と前記座標変化量とに基づき、前記対応付けられていない検知対象物を含む前記他方の合成用画像内の検知対象物における、前記一方の合成用画像の座標系上の座標を推定し、
前記画像合成手順は、前記座標変化量と前記推定した座標とに基づき、前記一方の合成用画像上に、前記他方の合成用画像を合成する、コンピュータに各手順を実行させるためのプログラムである。

本発明のプログラムにおいて、例えば、
前記座標変化量算出手順は、前記対応付けられた検知対象物の座標毎に座標移動量を算出し、且つ前記算出された座標移動量の平均値を前記座標変化量として算出し、
前記座標推定手順は、前記特定した座標と、前記座標移動量の平均値とに基づき、前記対応付けられていない検知対象物を含む前記他方の合成用画像内の検知対象物における、前記一方の合成用画像の座標系上の座標を推定する、という態様であってもよい。

本発明のプログラムにおいて、例えば、
前記座標変化量算出手順は、前記合成用画像間における前記対応付けられた検知対象物が４つ以上であるとき、ホモグラフィ変換行列を算出し、且つ前記ホモグラフィ変換行列から前記座標変化量を算出する、という態様であってもよい。

本発明のプログラムは、例えば、
さらに、局所特徴量算出手順を含み、
前記抽出手順は、さらに、前記画像毎に、前記画像内の特徴点及び前記特徴点の座標を抽出し、
前記局所特徴量取得手順は、前記各合成用画像内の前記特徴点毎に、局所特徴量を取得し、
前記照合手順は、さらに、前記各画像間において前記局所特徴量を照合し、
前記対応付け手順は、前記各合成用画像内に存在する前記検知対象物のうち、前記同一の検知対象物がない場合に、前記局所特徴量が近い前記特徴点同士を対応付け、
前記座標変化量算出手順は、前記対応付けられた各特徴点の前記座標から座標変化量を算出する、という態様であってもよい。

本発明のプログラムにおいて、例えば、
前記対応付け手順は、前記同一の検知対象物が存在する場合に、前記同一の検知対象物同士を対応付け、且つ前記局所特徴量が近い前記特徴点同士を対応付け、
前記座標変化量算出手順は、前記対応付けられた各検知対象物の前記座標に基づく座標変化量と、前記対応付けられた各特徴点の前記座標に基づく座標変化量とを算出し、且つ前記各座標変化量から合成用画像全体の座標変化量を算出し、
前記座標推定手順は、前記特定した座標と前記合成用画像全体の座標変化量とに基づき、前記対応付けられていない検知対象物を含む前記他方の合成用画像内の検知対象物における、前記一方の合成用画像の座標系上の座標を推定し、
画像合成手順は、前記合成用画像全体の座標変化量と前記推定した座標とに基づき、前記一方の合成用画像上に、前記他方の合成用画像を合成する、という態様であってもよい。

本発明のプログラムにおいて、例えば、
前記座標推定手順は、前記特徴点の座標における座標変化量の平均値を用いて、前記合成用画像全体の座標変化量を算出する、という態様であってもよい。

本発明の記録媒体は、本発明のプログラムを記録しているコンピュータ読み取り可能な記録媒体である。

本発明の実施形態について図を用いて説明する。本発明は、以下の実施形態には限定されない。以下の各図において、同一部分には、同一符号を付している。また、各実施形態の説明は、特に言及がない限り、互いの説明を援用でき、各実施形態の構成は、特に言及がない限り、組合せ可能である。

［実施形態１］
図１は、本実施形態の画像処理装置１０の一例の構成を示すブロック図である。図１に示すように、本装置１０は、画像取得手段１１、抽出手段１２、照合手段１３、排除手段１４、対応付け手段１５、座標変化量算出手段１６、座標推定手段１７、及び画像合成手段１８を含む。

本装置１０は、例えば、前記各部を含む１つの装置でもよいし、前記各部が、通信回線網を介して接続可能な装置でもよい。また、本装置１０は、前記通信回線網を介して、後述する外部装置と接続可能である。前記通信回線網は、特に制限されず、公知のネットワークを使用でき、例えば、有線でも無線でもよい。前記通信回線網は、例えば、インターネット回線、ＷＷＷ（Ｗｏｒｌｄ Ｗｉｄｅ Ｗｅｂ）、電話回線、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＳＡＮ（Ｓｔｏｒａｇｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＤＴＮ（Ｄｅｌａｙ Ｔｏｌｅｒａｎｔ Ｎｅｔｗｏｒｋｉｎｇ）等があげられる。無線通信としては、例えば、ＷｉＦｉ（Ｗｉｒｅｌｅｓｓ Ｆｉｄｅｌｉｔｙ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）等が挙げられる。前記無線通信としては、各装置が直接通信する形態（Ａｄ Ｈｏｃ通信）、アクセスポイントを介した間接通信のいずれであってもよい。本装置１０は、例えば、システムとしてサーバに組み込まれていてもよい。また、本装置１０は、例えば、本発明のプログラムがインストールされたパーソナルコンピュータ（ＰＣ、例えば、デスクトップ型、ノート型）、スマートフォン、タブレット端末等であってもよい。

図２に、本装置１０のハードウエア構成のブロック図を例示する。本装置１０は、例えば、中央演算装置（ＣＰＵ，ＧＰＵ等）１０１、メモリ１０２、バス１０３、記憶装置１０４、入力装置１０５、表示装置１０６、通信デバイス１０７等を有する。本装置１０は、例えば、さらに、カメラ等の撮像装置（図示せず）を含んでいてもよい。本装置１０のハードウエア構成の各部は、それぞれのインタフェース（Ｉ／Ｆ）により、バス１０３を介して相互に接続されている。

中央演算装置（中央処理装置）１０１は、本装置１０の全体の制御を担う。本装置１０において、中央演算装置１０１により、例えば、本発明のプログラムやその他のプログラムが実行され、また、各種情報の読み込みや書き込みが行われる。具体的には、例えば、中央演算装置１０１が、画像取得手段１１、抽出手段１２、照合手段１３、排除手段１４、対応付け手段１５、座標変化量算出手段１６、座標推定手段１７、及び画像合成手段１８として機能する。

バス１０３は、例えば、外部装置とも接続できる。前記外部装置は、例えば、外部データベース、プリンター、記憶装置、撮像装置（カメラ等）等があげられる。本装置１０は、例えば、バス１０３に接続された通信デバイス１０７により、前記通信回線網に接続でき、前記通信回線網を介して、外部装置と接続することもできる。

メモリ１０２は、例えば、メインメモリ（主記憶装置）が挙げられる。中央演算装置１０１が処理を行う際には、例えば、後述する記憶装置１０４に記憶されている本発明のプログラム等の種々の動作プログラムを、メモリ１０２が読み込み、中央演算装置１０１は、メモリ１０２からデータを受け取って、プログラムを実行する。前記メインメモリは、例えば、ＲＡＭ（ランダムアクセスメモリ）である。また、メモリ１０２は、例えば、ＲＯＭ（読み出し専用メモリ）であってもよい。

記憶装置１０４は、例えば、前記メインメモリ（主記憶装置）に対して、いわゆる補助記憶装置ともいう。前述のように、記憶装置１０４には、本発明のプログラムを含む動作プログラムが格納されている。記憶装置１０４は、例えば、記録媒体と、記録媒体に読み書きするドライブとの組合せであってもよい。前記記録媒体は、特に制限されず、例えば、内蔵型でも外付け型でもよく、ＨＤ（ハードディスク）、ＣＤ－ＲＯＭ、ＣＤ－Ｒ、ＣＤ－ＲＷ、ＭＯ、ＤＶＤ、フラッシュメモリー、メモリーカード等が挙げられる。記憶装置１０４は、例えば、記録媒体とドライブとが一体化されたハードディスクドライブ（ＨＤＤ）、及びソリッドステートドライブ（ＳＳＤ）であってもよい。

本装置１０において、メモリ１０２及び記憶装置１０４は、管理者からのアクセス情報及びログ情報、並びに、外部データベース（図示せず）から取得した情報を記憶することも可能である。

本装置１０は、例えば、さらに、入力装置１０５、表示装置１０６を有する。入力装置１０５は、例えば、タッチパネル、キーボード、マウス等である。表示装置１０６は、例えば、ＬＥＤディスプレイ、液晶ディスプレイ等が挙げられる。

つぎに、本実施形態の画像処理方法の一例を、図３のフローチャートに基づき説明する。本実施形態の画像処理方法は、例えば、図１の画像処理装置１０を用いて、次のように実施する。なお、本実施形態の画像処理方法は、図１の画像処理装置１０の使用には限定されない。

まず、画像取得手段１１により、動画から前記動画を構成する複数の画像（フレームともいう）を取得する（Ｓ１）。前記取得の形式は、特に制限されず、例えば、本装置１０が前記撮像装置を備える場合、前記撮像装置を用いて前記動画を撮像することで、前記フレームを取得してもよい。また、本装置１０は、例えば、通信デバイス１０７を介して、外部の前記撮像装置が撮像した前記動画を取得して、前記動画から前記フレームを取得してもよい。前記動画は、例えば、後述の検知対象物が広範囲に複数存在するエリア（撮像エリアともいう）を撮像した１つの動画である。

次に、抽出手段１２により、前記画像毎に、前記画像内の検知対象物及び前記検知対象物の座標を抽出する（Ｓ２）。前記検知対象物は、特に制限されず、例えば、ラベル、コード（バーコード、二次元コード等）等がある。具体的に、抽出手段１２は、例えば、前記検知対象物の色、形、大きさ等の外観から前記検知対象物を認識して抽出もよいし、前記検知対象物の内容情報を読取ることで前記検知対象物を認識して抽出してもよい。前記検知対象物の内容情報の読取りは、例えば、ＯＣＲ（Optical Character Recognition）技術や各種コードリーダー等を用いることができる。前記検知対象物の座標は、例えば、前記画像の画素数（ピクセル）に基づいて生成された座標情報を用いることで抽出可能である。前記座標情報は、例えば、本装置１０が、さらに座標情報生成手段を用いることで生成してもよいし、前記取得した画像に紐づけられていてもよい。前記検知対象物の座標は、前記検知対象物の少なくとも１点の座標（基準点ともいう）であればよく、例えば、前記検知対象物の中心点の座標でもよいし、前記検知対象物の各頂点の座標であってもよい。抽出手段１２は、例えば、前記画像毎に前記基準点が共通していることが好ましい。すなわち、一方の前記画像において、前記検知対象物の中心点の座標を抽出した場合は、他方の前記画像においても前記検知対象物の中心点の座標を抽出することが好ましい。

次に、照合手段１３により、一方の前記画像内で前記抽出した検知対象物が他方の前記画像内の検知対象物と同一であるかを照合する（Ｓ３）。前記照合は、例えば、前記検知対象物の外観及び内容情報等に基づき、行ってもよい。

次に、排除手段１４により、前記複数の画像間において、前記画像内の前記検知対象物の構成が同一である画像を抽出して、且つ前記抽出した画像のうち１つを合成用画像として選択し、且つ他の画像を排除する（Ｓ４）。図４に、排除手段１４による処理の一例を示す。本装置１０は、例えば、抽出手段１２により、１フレーム目から「検知対象物１及び検知対象物２」を抽出し、２フレーム目から「検知対象物１及び検知対象物２」を抽出し、３フレーム目から「検知対象物１、検知対象物２、及び検知対象物３」を抽出する。なお、図４において、同一番号を付した検知対象物は、後の照合手段１３の結果により、同一の検知対象物であると処理され、検知対象１～３は、それぞれ異なる検知対象物であると処理されたものとする（特に示さない限り、他の図においても同様とする）。排除手段１４は、前記検知対象物の構成が「検知対象物１及び検知対象物２」で同一である１フレーム目及び２フレーム目を抽出する。さらに、排除手段１４は、１フレーム目及び２フレーム目のどちらか一方を合成用画像として選択する。前記抽出した画像のうち、どの画像を選択するかは、特に制限されないが、例えば、図４に示すように、最初に取得されたフレーム（１フレーム目）を前記合成用画像として取得してもよい。また、排除手段１４は、例えば、前記抽出した画像のうち最も鮮明な画像を前記合成用画像として取得してもよい。なお、３フレーム目の前記検知対象物の構成は、検知対象物３が含まれている点で、１フレーム目及び２フレーム目における前記検知対象物の構成と異なる。そのため、３フレーム目は、例えば、４フレーム目以降の前記検知対象物の構成と同一でない場合は、前記合成用画像として選択される。このように、前記検知対象物の構成は、前記検知対象物が１つでも違っていたら前記合成用画像として選択される。

次に、対応付け手段１５により、一方の前記合成用画像内及び他方の前記合成用画像内に存在する前記検知対象物のうち、同一の検知対象物が存在する場合に、前記同一の検知対象物の座標同士を対応付ける（Ｓ５）。図５に、対応付け手段１５によって同一の検知対象物の座標同士が対応付けられた一例を示す。図５に示すように、本装置１０は、抽出手段１２により、各検知対象物の左上の頂点の座標を抽出した（特に示さない限り、他の図においても同様とする）。図５において、前記対応付けられた座標同士を線で結んでいる（特に示さない限り、他の図においても同様とする）。

次に、座標変化量算出手段１６により、前記対応付けられた各検知対象物の前記座標から座標変化量を算出する（Ｓ６）。前記座標変化量には、例えば、移動量、縮小・拡大量、回転量、伸縮、傾き等が含まれる。

次に、座標推定手段１７により、前記抽出した座標と前記座標変化量とに基づき、前記対応付けられていない検知対象物を含む前記他方の合成用画像内の検知対象物における、前記一方の合成用画像の座標系上の座標を推定する（Ｓ７）。

そして、画像合成手段１８により、前記座標変化量と前記推定した座標とに基づき、前記一方の合成用画像上に、前記他方の合成用画像を合成し（Ｓ８）、終了する（ＥＮＤ）。

図６～図９を用いて、座標変化量算出手段１６、座標推定手段１７、及び画像合成手段１８の処理の一例について説明する。

座標変化量算出手段１６は、例えば、前記対応付けられた検知対象物の座標毎に座標移動量を算出し、且つ前記算出された座標移動量の平均値を前記座標変化量として算出してもよい。図６は、座標変化量算出手段１６によって座標移動量を算出する一例を示す。具体的には、例えば、図６に示すように、検知対象物１の座標移動量は、１フレーム目の検知対象物１の座標（５５、８５）の各値から２フレーム目の検知対象物１の座標（５、８５）の各値を引くことで算出でき、（－５０、０）となる。なお、前記座標のＸ座標は、例えば、前記画像の横（長辺）を軸としたときの座標であり、前記座標のＹ座標は、例えば、前記画像の縦（短辺）を軸としたときの座標である。これにより、２フレーム目の検知対象物１は、１フレーム目から横方向に平行移動したことが分かる。同様にして、検知対象物２の座標移動量は、（－５０、０）となる。ここで、座標変化量算出手段１６は、検知対象物１の座標移動量（－５０、０）と、検知対象物２の座標移動量（－５０、０）との平均値を算出し、前記平均値は、（－５０、０）となる。そして、座標推定手段１７は、２フレーム目の各検知対象物の座標に対し、前記平均値の座標（－５０、０）の各値を引くことで、１フレーム目の座標系上における前記２フレーム目の各検知対象物の座標（推定座標ともいう）を推定できる。特に、２フレーム目の検知対象物３（１フレーム目のいずれの検知対象物にも紐づけられていない検知対象物）の座標（２２５、５５）は、前記平均値の座標（－５０、０）の各値を引くことで、１フレーム目の座標系上に検知対象物３が存在した場合の推定座標が判明する。そして、画像合成手段１８により、合成された画像（合成画像）の一例を図６の下部に示す。このように、前記一方の合成用画像の座標系に基づき、全体画像における座標（全体座標ともいう）が生成可能である。本装置１０は、例えば、前記座標変化量として、前記平均値を用いることで、各座標間におけるズレを補正することができる。

また、座標変化量算出手段１６は、例えば、前記合成用画像間における前記対応付けられた検知対象物が４つ以上であるとき、ホモグラフィ変換行列を算出し、且つ前記ホモグラフィ変換行列から前記座標変化量を算出してもよい。前記ホモグラフィ変換行列は、例えば、２枚目以降の画像の「ある点（例えば、前記抽出した座標）」をホモグラフィ変換行列により変換すると、１枚目の画像における「ある点（例えば、前記推定座標）」の対応点が求まる行列である。なお、前記合成用画像間において、前記対応付けられた検知対象物が５つ以上である場合は、例えば、抽出手段１２により先に抽出された４つの検知対象物を用いてもよい。図７～９は、座標変化量算出手段１６によってホモグラフィ変換行列を算出する一例を示す。図７は、本例における１フレーム目と２フレーム目の各検知対象物の座標の関係を示す。図７に示すように、本例において、２フレーム目の検知対象物５は、１フレーム目において抽出されておらず、１フレーム目の各検知対象物と対応付けがされていない。本装置１０は、前記対応付けられた４つの検知対象物の各座標を用いて、２フレーム目の検知対象物１～５における１フレーム目の座標系上の座標を推定するものとする。前記ホモグラフィ変換行列は、例えば、下記式（１）で表せられる。図８に示すように、下記式（１）をホモグラフィ変換行列Ｈについて解くことで、ホモグラフィ変換行列Ｈを算出する。そして、算出したホモグラフィ変換行列と２フレーム目の検知対象物の座標とから前記座標変化量を算出する。図９に、前記ホモグラフィ変換行列から算出した前記座標変化量を用いて１フレーム目の合成用画像と２フレーム目の合成用画像とを合成した画像の一例を示す。本装置１０は、例えば、前記ホモグラフィ変換行列を用いることで、移動量、縮小・拡大量、回転量、伸縮、傾き等の各種の座標変化量を算出することができる。

本実施形態の画像処理装置１０によれば、視差の発生を抑制することができる。このため、本装置１０によれば、例えば、広範囲を撮像した複数の画像を１枚の高解像な画像に合成することができる。さらに、本装置１０によれば、例えば、前記合成した画像から広範囲に存在する検知対象物をまとめて読み込むことが可能である。一般的に、１台のカメラで広範囲を撮像すると、解像度が低下し、検知対象物が不明確になる。特に、ラベルやコード等の検知対象物は、画像の解像度が低いと読み込めないという問題があった。しかしながら、本装置１０によれば、例えば、広範囲に存在する前記検知対象物を移動しながら近距離で撮像した動画を取得することで、前記合成用画像の解像度を高くすることができ、前記合成した画像からの前記検知対象物の読み込みを可能にする。

［実施形態２］
図１０は、本実施形態の画像処理装置１０の一例の構成を示すブロック図である。図１０に示すように、本実施形態において、画像処理装置１０が、さらに、局所特徴量取得手段１９を含む点を除き、前記実施形態１の画像処理装置１０と同様である。本実施形態の画像処理装置１０におけるハードウエア構成は、中央演算装置１０１が、さらに、局所特徴量取得手段１９を含む点を除き、図２に示す前記実施形態１の画像処理装置１０と同様である。特に示さない限り、本実施形態は、前記実施形態１の記載を援用できる。

つぎに、本実施形態の画像処理方法の一例を、図１１のフローチャートに基づき説明する。本実施形態の画像処理方法は、例えば、図１０の画像処理装置１０を用いて、次のように実施する。なお、本実施形態の画像処理方法は、図１０の画像処理装置１０の使用には限定されない。

まず、画像取得手段１１により、前記実施形態１と同様に、前記画像を取得する（Ｓ１）。

次に、抽出手段１２により、前記実施形態１と同様に、前記検知対象物及び前記検知対象物の座標を取得する。さらに、抽出手段１２は、前記画像毎に、前記画像内の特徴点及び前記特徴点の座標を抽出する（Ｓ２）。前記検知対象点は、特に制限されず、例えば、前記検知対象物以外の物体や、前記撮像エリアの背景等の任意な点でもよい。前記特徴点の座標の抽出は、例えば、前記検知対象物の座標の抽出と同様である。

次に、局所特徴量取得手段１９により、前記各合成用画像内の前記特徴点毎に、局所特徴量を取得する（Ｓ３）。前記局所特徴量の取得は、特に制限されず、例えば、ＯｐｅｎＣＶ等の技術を用いることができる。

次に、照合手段１３により、前記実施形態１と同様に、検知対象物の照合を行う。さらに、照合手段１３は、前記各画像間において前記局所特徴量を照合する（Ｓ４）。具体的に、照合手段１３は、例えば、照合により、前記各画像間における前記局所特徴量の一致の程度を算出する。

次に、前記実施形態１と同様に、排除手段１４による選択及び排除を実行する（Ｓ５）。

次に、対応付け手段１５により、前記各合成用画像内に存在する前記検知対象物のうち、前記同一の検知対象物がない場合に、前記局所特徴量が近い前記特徴点同士を対応付ける（Ｓ６）。図１２に、前記同一の検知対象物がない場合における対応付け手段１５の処理の一例を示す。図１２において、前記特徴点は、１フレーム目及び２フレーム目に存在する特徴物Ａ及びＢ（段ボール）の任意な点（丸印で示す点）とする。そして、１フレーム目における特徴物Ａと２フレーム目における特徴物Ｂとは、照合手段１３により、前記局所特徴量が近い（一致度が高い）という照合結果になった。そこで、対応付け手段１５は、特徴物Ａの各特徴点と特徴物Ｂの各特徴点とを対応付ける。

次に、座標変化量算出手段１６により、前記対応付けられた各特徴点の前記座標から座標変化量を算出する（Ｓ７）。具体的には、例えば、実施形態１と同様に前記座標変化量を算出できる。また、後述の式（２）を用いることで、前記座標変化量を算出してもよい。

そして、前記実施形態１と同様に、座標推定手段１７による座標推定（Ｓ８）、及び画像合成手段１８による合成（Ｓ９）を実行し、終了する（ＥＮＤ）。

一方で、対応付け手段１５は、例えば、前記同一の検知対象物が存在する場合に、前記同一の検知対象物同士を対応付け、且つ前記局所特徴量が近い前記特徴点同士を対応付けてもよい。前記同一の検知対象物同士及び前記特徴点同士を対応付ける形態について、図１３及び１４を用いて説明する。

対応付け手段１５は、例えば、図１３に示すように、前記同一の検知対象物同士及び前記特徴点同士を対応付ける。次に、座標変化量算出手段１６は、前記対応付けられた各検知対象物の前記座標に基づく座標変化量と、前記対応付けられた各特徴点の前記座標に基づく座標変化量とを算出し、且つ前記各座標変化量から合成用画像全体の座標変化量を算出する。具体的には、例えば、前記特徴点の座標における座標変化量の平均値を算出し、前記特徴点の座標における座標変化量の平均値を用いて、前記合成用画像全体の座標変化量を算出してもよい。より具体的には、例えば、図１３及び下記に示す式（２）により、前記合成用画像全体の座標変化量を算出してもよい。前記式（２）は、予め設定した任意の割合ｋ（１≧ｋ≧０）を用いて、「検知対象物の座標における座標変化量の平均値」と「特徴点の座標における座標変化量の平均値」との平均を取る式である。なお、フレーム間において、同一の検知対象物が存在しない場合は、例えば、前記ｋを「０」としてもよい。

ｄ：合成用画像全体の座標変化量
ｋ：予め設定した任意の割合
ｄ_ｌ：検知対象物の座標における座標変化量の平均値
ｄ_ｓ：特徴点の座標における座標変化量の平均値

次に、座標推定手段１７により、図１３に示すように、前記特定した座標と前記合成用画像全体の座標変化量とに基づき、前記対応付けられていない検知対象物を含む前記他方の合成用画像内の検知対象物における、前記一方の合成用画像の座標系上の座標を推定する。特に、前記対応付けられていない検知対象物は、前記対応付けられていない検知対象物の座標から前記合成用画像全体の座標変化量を引くことで、前記一方の合成用画像の座標系上の座標を推定することができる。

そして、画像合成手段１８は、前記合成用画像全体の座標変化量と前記推定した座標とに基づき、前記一方の合成用画像上に、前記他方の合成用画像を合成する。図１４に、前記合成用画像全体の座標変化量を用いて１フレーム目の合成用画像と２フレーム目の合成用画像とを合成した画像の一例を示す。

本実施形態の画像処理装置１０によれば、各合成用画像間において同一の検知対象物が存在しない場合であっても、視差の発生を抑制し、前記合成用画像を合成することができる。また、本装置１０によれば、例えば、前記同一の検知対象物が存在する場合には、前記検知対象物の座標における座標変化量と前記特徴点の座標における座標変化量とを用いることで、より視差の発生を抑制することができる。

［実施形態３］
本実施形態のプログラムは、本発明の方法の各工程を、手順として、コンピュータに実行させるためのプログラムである。本発明において、「手順」は、「処理」と読み替えてもよい。また、本実施形態のプログラムは、例えば、コンピュータ読み取り可能な記録媒体に記録されていてもよい。前記記録媒体としては、特に限定されず、例えば、読み出し専用メモリ（ＲＯＭ）、ハードディスク（ＨＤ）、光ディスク等が挙げられる。

以上、実施形態を参照して本発明を説明したが、本発明は、上記実施形態に限定されるものではない。本発明の構成や詳細には、本発明のスコープ内で当業者が理解しうる様々な変更をできる。

＜付記＞
上記の実施形態の一部または全部は、以下の付記のように記載されうるが、以下には限られない。
（付記１）
画像取得手段、抽出手段、照合手段、排除手段、対応付け手段、座標変化量算出手段、座標推定手段、及び画像合成手段を含み、
前記画像取得手段は、動画を構成する複数の画像を取得し、
前記抽出手段は、前記画像毎に、前記画像内の検知対象物及び前記検知対象物の座標を抽出し、
前記照合手段は、一方の前記画像内で前記抽出した検知対象物が他方の前記画像内の検知対象物と同一であるかを照合し、
前記排除手段は、前記複数の画像間において、前記画像内の前記検知対象物の構成が同一である画像を抽出して、且つ前記抽出した画像のうち１つを合成用画像として選択し、且つ他の画像を排除し、
前記対応付け手段は、一方の前記合成用画像内及び他方の前記合成用画像内に存在する前記検知対象物のうち、同一の検知対象物が存在する場合に、前記同一の検知対象物の座標同士を対応付け、
前記座標変化量算出手段は、前記対応付けられた各検知対象物の前記座標から座標変化量を算出し、
前記座標推定手段は、前記抽出した座標と前記座標変化量とに基づき、前記対応付けられていない検知対象物を含む前記他方の合成用画像内の検知対象物における、前記一方の合成用画像の座標系上の座標を推定し、
前記画像合成手段は、前記座標変化量と前記推定した座標とに基づき、前記一方の合成用画像上に、前記他方の合成用画像を合成する、画像処理装置。
（付記２）
前記座標変化量算出手段は、前記対応付けられた検知対象物の座標毎に座標移動量を算出し、且つ前記算出された座標移動量の平均値を前記座標変化量として算出し、
前記座標推定手段は、前記特定した座標と、前記座標移動量の平均値とに基づき、前記対応付けられていない検知対象物を含む前記他方の合成用画像内の検知対象物における、前記一方の合成用画像の座標系上の座標を推定する、付記１記載の画像処理装置。
（付記３）
前記座標変化量算出手段は、前記合成用画像間における前記対応付けられた検知対象物が４つ以上であるとき、ホモグラフィ変換行列を算出し、且つ前記ホモグラフィ変換行列から前記座標変化量を算出する、付記１または２記載の画像処理装置。
（付記４）
さらに、局所特徴量算出手段を含み、
前記抽出手段は、さらに、前記画像毎に、前記画像内の特徴点及び前記特徴点の座標を抽出し、
前記局所特徴量取得手段は、前記各合成用画像内の前記特徴点毎に、局所特徴量を取得し、
前記照合手段は、さらに、前記各画像間において前記局所特徴量を照合し、
前記対応付け手段は、前記各合成用画像内に存在する前記検知対象物のうち、前記同一の検知対象物がない場合に、前記局所特徴量が近い前記特徴点同士を対応付け、
前記座標変化量算出手段は、前記対応付けられた各特徴点の前記座標から座標変化量を算出する、付記１から３のいずれかに記載の画像処理装置。
（付記５）
前記対応付け手段は、前記同一の検知対象物が存在する場合に、前記同一の検知対象物同士を対応付け、且つ前記局所特徴量が近い前記特徴点同士を対応付け、
前記座標変化量算出手段は、前記対応付けられた各検知対象物の前記座標に基づく座標変化量と、前記対応付けられた各特徴点の前記座標に基づく座標変化量とを算出し、且つ前記各座標変化量から合成用画像全体の座標変化量を算出し、
前記座標推定手段は、前記特定した座標と前記合成用画像全体の座標変化量とに基づき、前記対応付けられていない検知対象物を含む前記他方の合成用画像内の検知対象物における、前記一方の合成用画像の座標系上の座標を推定し、
画像合成手段は、前記合成用画像全体の座標変化量と前記推定した座標とに基づき、前記一方の合成用画像上に、前記他方の合成用画像を合成する、付記４記載の画像処理装置。
（付記６）
前記座標推定手段は、前記特徴点の座標における座標変化量の平均値を用いて、前記合成用画像全体の座標変化量を算出する、付記４または５記載の画像処理装置。
（付記７）
画像取得工程、抽出工程、照合工程、排除工程、対応付け工程、座標変化量算出工程、座標推定工程、及び画像合成工程を含み、
前記画像取得工程は、動画を構成する複数の画像を取得し、
前記抽出工程は、前記画像毎に、前記画像内の検知対象物及び前記検知対象物の座標を抽出し、
前記照合工程は、一方の前記画像内で前記抽出した検知対象物が他方の前記画像内の検知対象物と同一であるかを照合し、
前記排除工程は、前記複数の画像間において、前記画像内の前記検知対象物の構成が同一である画像を抽出して、且つ前記抽出した画像のうち１つを合成用画像として選択し、且つ他の画像を排除し、
前記対応付け工程は、一方の前記合成用画像内及び他方の前記合成用画像内に存在する前記検知対象物のうち、同一の検知対象物が存在する場合に、前記同一の検知対象物の座標同士を対応付け、
前記座標変化量算出工程は、前記対応付けられた各検知対象物の前記座標から座標変化量を算出し、
前記座標推定工程は、前記抽出した座標と前記座標変化量とに基づき、前記対応付けられていない検知対象物を含む前記他方の合成用画像内の検知対象物における、前記一方の合成用画像の座標系上の座標を推定し、
前記画像合成工程は、前記座標変化量と前記推定した座標とに基づき、前記一方の合成用画像上に、前記他方の合成用画像を合成する、画像処理方法。
（付記８）
前記座標変化量算出工程は、前記対応付けられた検知対象物の座標毎に座標移動量を算出し、且つ前記算出された座標移動量の平均値を前記座標変化量として算出し、
前記座標推定工程は、前記特定した座標と、前記座標移動量の平均値とに基づき、前記対応付けられていない検知対象物を含む前記他方の合成用画像内の検知対象物における、前記一方の合成用画像の座標系上の座標を推定する、付記７記載の画像処理方法。
（付記９）
前記座標変化量算出工程は、前記合成用画像間における前記対応付けられた検知対象物が４つ以上であるとき、ホモグラフィ変換行列を算出し、且つ前記ホモグラフィ変換行列から前記座標変化量を算出する、付記７または８記載の画像処理方法。
（付記１０）
さらに、局所特徴量算出工程を含み、
前記抽出工程は、さらに、前記画像毎に、前記画像内の特徴点及び前記特徴点の座標を抽出し、
前記局所特徴量取得工程は、前記各合成用画像内の前記特徴点毎に、局所特徴量を取得し、
前記照合工程は、さらに、前記各画像間において前記局所特徴量を照合し、
前記対応付け工程は、前記各合成用画像内に存在する前記検知対象物のうち、前記同一の検知対象物がない場合に、前記局所特徴量が近い前記特徴点同士を対応付け、
前記座標変化量算出工程は、前記対応付けられた各特徴点の前記座標から座標変化量を算出する、付記７から９のいずれかに記載の画像処理方法。
（付記１１）
前記対応付け工程は、前記同一の検知対象物が存在する場合に、前記同一の検知対象物同士を対応付け、且つ前記局所特徴量が近い前記特徴点同士を対応付け、
前記座標変化量算出工程は、前記対応付けられた各検知対象物の前記座標に基づく座標変化量と、前記対応付けられた各特徴点の前記座標に基づく座標変化量とを算出し、且つ前記各座標変化量から合成用画像全体の座標変化量を算出し、
前記座標推定工程は、前記特定した座標と前記合成用画像全体の座標変化量とに基づき、前記対応付けられていない検知対象物を含む前記他方の合成用画像内の検知対象物における、前記一方の合成用画像の座標系上の座標を推定し、
画像合成工程は、前記合成用画像全体の座標変化量と前記推定した座標とに基づき、前記一方の合成用画像上に、前記他方の合成用画像を合成する、付記１０記載の画像処理方法。
（付記１２）
前記座標推定工程は、前記特徴点の座標における座標変化量の平均値を用いて、前記合成用画像全体の座標変化量を算出する、付記１０または１１記載の画像処理方法。
（付記１３）
画像取得手順、抽出手順、照合手順、排除手順、対応付け手順、座標変化量算出手順、座標推定手順、及び画像合成手順を含み、
前記画像取得手順は、動画を構成する複数の画像を取得し、
前記抽出手順は、前記画像毎に、前記画像内の検知対象物及び前記検知対象物の座標を抽出し、
前記照合手順は、一方の前記画像内で前記抽出した検知対象物が他方の前記画像内の検知対象物と同一であるかを照合し、
前記排除手順は、前記複数の画像間において、前記画像内の前記検知対象物の構成が同一である画像を抽出して、且つ前記抽出した画像のうち１つを合成用画像として選択し、且つ他の画像を排除し、
前記対応付け手順は、一方の前記合成用画像内及び他方の前記合成用画像内に存在する前記検知対象物のうち、同一の検知対象物が存在する場合に、前記同一の検知対象物の座標同士を対応付け、
前記座標変化量算出手順は、前記対応付けられた各検知対象物の前記座標から座標変化量を算出し、
前記座標推定手順は、前記抽出した座標と前記座標変化量とに基づき、前記対応付けられていない検知対象物を含む前記他方の合成用画像内の検知対象物における、前記一方の合成用画像の座標系上の座標を推定し、
前記画像合成手順は、前記座標変化量と前記推定した座標とに基づき、前記一方の合成用画像上に、前記他方の合成用画像を合成する、コンピュータに各手順を実行させるためのプログラム。
（付記１４）
前記座標変化量算出手順は、前記対応付けられた検知対象物の座標毎に座標移動量を算出し、且つ前記算出された座標移動量の平均値を前記座標変化量として算出し、
前記座標推定手順は、前記特定した座標と、前記座標移動量の平均値とに基づき、前記対応付けられていない検知対象物を含む前記他方の合成用画像内の検知対象物における、前記一方の合成用画像の座標系上の座標を推定する、付記１３記載のプログラム。
（付記１５）
前記座標変化量算出手順は、前記合成用画像間における前記対応付けられた検知対象物が４つ以上であるとき、ホモグラフィ変換行列を算出し、且つ前記ホモグラフィ変換行列から前記座標変化量を算出する、付記１３または１４記載のプログラム。
（付記１６）
さらに、局所特徴量算出手順を含み、
前記抽出手順は、さらに、前記画像毎に、前記画像内の特徴点及び前記特徴点の座標を抽出し、
前記局所特徴量取得手順は、前記各合成用画像内の前記特徴点毎に、局所特徴量を取得し、
前記照合手順は、さらに、前記各画像間において前記局所特徴量を照合し、
前記対応付け手順は、前記各合成用画像内に存在する前記検知対象物のうち、前記同一の検知対象物がない場合に、前記局所特徴量が近い前記特徴点同士を対応付け、
前記座標変化量算出手順は、前記対応付けられた各特徴点の前記座標から座標変化量を算出する、付記１３から１５のいずれかに記載のプログラム。
（付記１７）
前記対応付け手順は、前記同一の検知対象物が存在する場合に、前記同一の検知対象物同士を対応付け、且つ前記局所特徴量が近い前記特徴点同士を対応付け、
前記座標変化量算出手順は、前記対応付けられた各検知対象物の前記座標に基づく座標変化量と、前記対応付けられた各特徴点の前記座標に基づく座標変化量とを算出し、且つ前記各座標変化量から合成用画像全体の座標変化量を算出し、
前記座標推定手順は、前記特定した座標と前記合成用画像全体の座標変化量とに基づき、前記対応付けられていない検知対象物を含む前記他方の合成用画像内の検知対象物における、前記一方の合成用画像の座標系上の座標を推定し、
画像合成手順は、前記合成用画像全体の座標変化量と前記推定した座標とに基づき、前記一方の合成用画像上に、前記他方の合成用画像を合成する、付記１６記載のプログラム。
（付記１８）
前記座標推定手順は、前記特徴点の座標における座標変化量の平均値を用いて、前記合成用画像全体の座標変化量を算出する、付記１６または１７記載のプログラム。
（付記１９）
付記１３から１８のいずれかに記載のプログラムを記録しているコンピュータ読み取り可能な記録媒体。

本発明によれば、画像の合成時に視差の発生を抑制することができる。このため、本発明は、例えば、合成後の画像からラベルやコード等の検知対象物を読取る場合に、特に有用である。

１０ 画像処理装置
１１ 画像取得手段
１２ 抽出手段
１３ 照合手段
１４ 排除手段
１５ 対応付け手段
１６ 座標変化量算出手段
１７ 座標推定手段
１８ 画像合成手段
１９ 局所特徴量取得手段

Claims (10)

1. 画像取得手段、抽出手段、照合手段、排除手段、対応付け手段、座標変化量算出手段、座標推定手段、及び画像合成手段を含み、
   前記画像取得手段は、動画を構成する複数の画像を取得し、
   前記抽出手段は、前記画像毎に、前記画像内の検知対象物及び前記検知対象物の座標を抽出し、
   前記照合手段は、一方の前記画像内で前記抽出した検知対象物が他方の前記画像内の検知対象物と同一であるかを照合し、
   前記排除手段は、前記複数の画像間において、前記画像内の前記検知対象物の構成が同一である画像を抽出して、且つ前記抽出した画像のうち１つを合成用画像として選択し、且つ他の画像を排除し、
   前記対応付け手段は、一方の前記合成用画像内及び他方の前記合成用画像内に存在する前記検知対象物のうち、同一の検知対象物が存在する場合に、前記同一の検知対象物の座標同士を対応付け、
   前記座標変化量算出手段は、前記対応付けられた各検知対象物の前記座標から座標変化量を算出し、
   前記座標推定手段は、前記抽出した座標と前記座標変化量とに基づき、前記対応付けられていない検知対象物を含む前記他方の合成用画像内の検知対象物における、前記一方の合成用画像の座標系上の座標を推定し、
   前記画像合成手段は、前記座標変化量と前記推定した座標とに基づき、前記一方の合成用画像上に、前記他方の合成用画像を合成する、画像処理装置。
2. 前記座標変化量算出手段は、前記対応付けられた検知対象物の座標毎に座標移動量を算出し、且つ前記算出された座標移動量の平均値を前記座標変化量として算出し、
   前記座標推定手段は、前記抽出した座標と、前記座標移動量の平均値とに基づき、前記対応付けられていない検知対象物を含む前記他方の合成用画像内の検知対象物における、前記一方の合成用画像の座標系上の座標を推定する、請求項１記載の画像処理装置。
3. 前記座標変化量算出手段は、前記合成用画像間における前記対応付けられた検知対象物が４つ以上であるとき、ホモグラフィ変換行列を算出し、且つ前記ホモグラフィ変換行列から前記座標変化量を算出する、請求項１または２記載の画像処理装置。
4. さらに、局所特徴量取得手段を含み、
   前記抽出手段は、さらに、前記画像毎に、前記画像内の特徴点及び前記特徴点の座標を抽出し、
   前記局所特徴量取得手段は、前記各合成用画像内の前記特徴点毎に、局所特徴量を取得し、
   前記照合手段は、さらに、前記各画像間において前記局所特徴量を照合し、
   前記対応付け手段は、前記各合成用画像内に存在する前記検知対象物のうち、前記同一の検知対象物がない場合に、前記局所特徴量が近い前記特徴点同士を対応付け、
   前記座標変化量算出手段は、前記対応付けられた各特徴点の前記座標から座標変化量を算出する、請求項１から３のいずれか一項に記載の画像処理装置。
5. 前記対応付け手段は、前記同一の検知対象物が存在する場合に、前記同一の検知対象物同士を対応付け、且つ前記局所特徴量が近い前記特徴点同士を対応付け、
   前記座標変化量算出手段は、前記対応付けられた各検知対象物の前記座標に基づく座標変化量と、前記対応付けられた各特徴点の前記座標に基づく座標変化量とを算出し、且つ前記各座標変化量から合成用画像全体の座標変化量を算出し、
   前記座標推定手段は、前記抽出した座標と前記合成用画像全体の座標変化量とに基づき、前記対応付けられていない検知対象物を含む前記他方の合成用画像内の検知対象物における、前記一方の合成用画像の座標系上の座標を推定し、
   画像合成手段は、前記合成用画像全体の座標変化量と前記推定した座標とに基づき、前記一方の合成用画像上に、前記他方の合成用画像を合成する、請求項４記載の画像処理装置。
6. 前記座標変化量算出手段は、前記特徴点の座標における座標変化量の平均値を用いて、前記合成用画像全体の座標変化量を算出する、請求項４または５記載の画像処理装置。
7. 画像取得工程、抽出工程、照合工程、排除工程、対応付け工程、座標変化量算出工程、座標推定工程、及び画像合成工程を含み、
   前記画像取得工程は、動画を構成する複数の画像を取得し、
   前記抽出工程は、前記画像毎に、前記画像内の検知対象物及び前記検知対象物の座標を抽出し、
   前記照合工程は、一方の前記画像内で前記抽出した検知対象物が他方の前記画像内の検知対象物と同一であるかを照合し、
   前記排除工程は、前記複数の画像間において、前記画像内の前記検知対象物の構成が同一である画像を抽出して、且つ前記抽出した画像のうち１つを合成用画像として選択し、且つ他の画像を排除し、
   前記対応付け工程は、一方の前記合成用画像内及び他方の前記合成用画像内に存在する前記検知対象物のうち、同一の検知対象物が存在する場合に、前記同一の検知対象物の座標同士を対応付け、
   前記座標変化量算出工程は、前記対応付けられた各検知対象物の前記座標から座標変化量を算出し、
   前記座標推定工程は、前記抽出した座標と前記座標変化量とに基づき、前記対応付けられていない検知対象物を含む前記他方の合成用画像内の検知対象物における、前記一方の合成用画像の座標系上の座標を推定し、
   前記画像合成工程は、前記座標変化量と前記推定した座標とに基づき、前記一方の合成用画像上に、前記他方の合成用画像を合成する、画像処理方法。
8. 前記座標変化量算出工程は、前記対応付けられた検知対象物の座標毎に座標移動量を算出し、且つ前記算出された座標移動量の平均値を前記座標変化量として算出し、
   前記座標推定工程は、前記抽出した座標と、前記座標移動量の平均値とに基づき、前記対応付けられていない検知対象物を含む前記他方の合成用画像内の検知対象物における、前記一方の合成用画像の座標系上の座標を推定する、請求項７記載の画像処理方法。
9. 画像取得手順、抽出手順、照合手順、排除手順、対応付け手順、座標変化量算出手順、座標推定手順、及び画像合成手順を含み、
   前記画像取得手順は、動画を構成する複数の画像を取得し、
   前記抽出手順は、前記画像毎に、前記画像内の検知対象物及び前記検知対象物の座標を抽出し、
   前記照合手順は、一方の前記画像内で前記抽出した検知対象物が他方の前記画像内の検知対象物と同一であるかを照合し、
   前記排除手順は、前記複数の画像間において、前記画像内の前記検知対象物の構成が同一である画像を抽出して、且つ前記抽出した画像のうち１つを合成用画像として選択し、且つ他の画像を排除し、
   前記対応付け手順は、一方の前記合成用画像内及び他方の前記合成用画像内に存在する前記検知対象物のうち、同一の検知対象物が存在する場合に、前記同一の検知対象物の座標同士を対応付け、
   前記座標変化量算出手順は、前記対応付けられた各検知対象物の前記座標から座標変化量を算出し、
   前記座標推定手順は、前記抽出した座標と前記座標変化量とに基づき、前記対応付けられていない検知対象物を含む前記他方の合成用画像内の検知対象物における、前記一方の合成用画像の座標系上の座標を推定し、
   前記画像合成手順は、前記座標変化量と前記推定した座標とに基づき、前記一方の合成用画像上に、前記他方の合成用画像を合成する、コンピュータに各手順を実行させるためのプログラム。
10. 請求項９記載のプログラムを記録しているコンピュータ読み取り可能な記録媒体。

Images