JP3757008B2 - 画像合成装置 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、いわゆるデジタルカメラやビデオカメラなどの撮像装置に好適に実施され、撮像装置が持つ所定の画角よりも広い画角の画像を、解像度を落すことなく、複数枚の画像の合成によって実現することができる画像合成装置に関する。
【０００２】
【従来の技術】
一般的な撮像装置に用いられている撮像素子は、予め定める数の画素で構成されており、撮像装置の画角は予め定められている。したがって、撮像装置が持つ所定の画角よりも広い画角の画像であるいわゆるパノラマ画像を解像度を落すことなく作成する場合、パノラマ画像専用の撮像装置を用いると、特殊な光学部品の使用や撮像素子の画素数の増加などによって装置自体のコストが高くなり、不経済である。そのため、高精細のパノラマ画像を安価に得るために、撮像装置で撮影された複数枚の画像を合成する画像合成装置が用いられている。
【０００３】
たとえば、特開平２−１５１１８２号公報に開示されているパノラマ画像作成用ビデオカメラでは、カメラを三脚上で回転させて撮影させ、その回転角に応じて画像をずらして重ねあわせて合成している。しかし、撮影には三脚が必要であり、また回転角の検出のための回路も必要であり、大がかりでかつ特殊な器具・回路を必要とし、コスト高になり、また携帯には不便であり、操作性、使用性、利便性の点で問題がある。
【０００４】
また、特開平３−３４７８０号公報に開示されている実時間画像合成装置では、空間的な２自由度を持たせて撮影した複数枚の画像を、画像間の相関を検出して合成している。しかし、被写体が静的でなく、動いている物体を含んでいるような場合は、次の画像を撮影する間に被写体が動いてしまい、画像間のつながりが保証できなくなり、より自然な画像の合成ができないという欠点がある。
【０００５】
【発明が解決しようとする課題】
本発明の目的は、三脚などの特殊な器具を使わずに撮影した複数枚の画像を簡単かつ高速に合成することができ、また被写体に動いている物体を含むような場合でも自然なつながりを持つ合成画像を作成することができる画像合成装置を提供することである。
【０００７】
【課題を解決するための手段】
本発明は、合成画像の一部分を構成する複数枚の部分画像を格納する部分画像格納手段と、
前記部分画像格納手段から読み出した部分画像を、予め定める方向にそって複数の短冊領域に分割し、他の部分画像中のどの位置に各短冊領域がそれぞれ移動したかを検出し、各短冊領域の移動量を求める短冊領域動き検出手段と、
前記短冊領域動き検出手段で求めた各短冊領域の移動量に基づいて、部分画像全体の動き量を求める部分画像動き算出手段と、
背景部分と比較して相対的に動いているように見える動物体の存在領域、動物体の動き量、各部分画像中で検出された動物体間の同一性を表す動物体同一性情報、および動物体がすでに合成画像に書き込まれたかどうかを表す動物体書き込み情報を含む動物体情報を格納する動物体情報格納手段と、
前記短冊領域動き検出手段で求められた短冊領域の移動量と、前記部分画像動き算出手段で求められた部分画像全体の動き量と、前記動物体情報格納手段に格納されている動物体の存在領域およびその動き量とに基づいて、部分画像中の動物体の存在領域およびその動き量と、すでに検出された動物体と同一かどうかを表す動物体同一性情報とを求める動物体検出手段と、
前記動物体検出手段で求めた動物体の存在領域、その動き量、および動物体同一性情報に基づいて、部分画像中の動物体を合成画像中に書き込むかどうかを判断する動物体書き込み画像判定手段と、
前記動物体書き込み画像判定手段から動物体の書き込み許可が与えられたときは、前記動物体検出手段で求められた動物体の存在領域およびその動き量に基づいて、動物体を含むような部分画像の書き込み範囲を決め、書き込み許可が与えられないときは、動物体を含まないような部分画像の書き込み範囲を決める部分画像書き込み範囲算出手段と、
前記部分画像動き算出手段で求められた部分画像全体の動き量に応じて、前記部分画像書き込み範囲算出手段で求められた書き込み範囲の部分画像を合成して、合成画像を作成する画像合成手段とを含むことを特徴とする画像合成装置である。
【０００８】
本発明に従えば、所定の画素数および画角を有する撮像手段から出力される部分画像は、部分画像格納手段に撮影順序にしたがって順番に格納される。部分画像とは、撮像手段の画角より広い画角の画像である合成画像の一部分を構成するものである。格納された部分画像は、短冊領域動き検出手段によって読み出され、予め定める方向にそって複数の短冊領域に分割される。予め定める方向とは、一般に矩形状で得られる画像の縦方向または横方向である。分割後、たとえば時間的に後で撮影した他の部分画像中のどの位置に各短冊領域がそれぞれ移動したかを検出し、各短冊領域の移動量を求める。部分画像動き算出手段では、求められた各短冊領域の移動量に基づいて、２つの部分画像間の動き量、すなわち時間的に後で撮影された部分画像と先に撮影された部分画像との間での部分画像全体の動き量が求められる。
また、動物体検出手段では、短冊領域動き検出手段で求められた短冊領域の移動量と、部分画像動き量算出手段で求められた部分画像全体の動き量とに基づいて、部分画像中の動物体の存在領域とその動き量とが求められる。短冊領域の移動量が部分画像全体の動き量とほぼ同じときは、その短冊領域内の被写体は撮像手段が移動したために結果として移動したものであり、したがってその短冊領域内には動物体は存在していないものと判断される。一方、短冊領域の移動量が部分画像全体の動き量とはかなり異なるときは、その短冊領域内の被写体は撮像手段の移動とは異なる動きをしたものであり、したがってその短冊領域内に動物体が存在しているものと判断される。これによって、動物体の存在領域が求められる。また、動物体が存在しているものと判断された短冊領域の移動量の平均値を求めるなどして、動物体の動き量が求められる。
続いて、すでに動物体情報格納手段に動物体情報が格納されているときは、すでに検出された動物体と現在処理している部分画像中で検出された動物体とが同一のものかどうかを判断する。検出済動物体の存在領域とその動き量とに基づいて、現在処理中の部分画像中での当該検出済動物体の位置と動き量とを予測し、予測した位置および動き量が求められた存在領域および動き量と一致した場合は、現在処理中の部分画像中で検出された動物体は検出済動物体と同一であると判断し、動物体同一性情報が求められる。求められた動物体の存在領域、その動き量および動物体同一性情報は、動物体情報格納手段に格納される。
また、動物体書き込み画像判定手段では、動物体検出手段で求められた動物体の存在領域、その動き量および動物体同一性情報に基づいて、部分画像中の動物体を合成画像中に書き込むかどうかを判断する。検出された動物体が検出済動物体と同一であり、かつ検出済動物体がすでに合成画像中に書き込まれているときは、書き込まないと判断する。検出された動物体がまだ合成画像中に書き込まれていないときは、書き込むと判断する。
【０００９】
また、たとえば別の部分画像中ですでに検出された動物体の情報を格納しておき、現在処理している部分画像中で検出された動物体の存在領域およびその動き量と比較することによって、検出された動物体がすでに検出された動物体と同一かどうかを判断し、動物体が複数の部分画像間でどのように動いているかを追跡することができる。この追跡結果に基づいて、合成画像に動物体を書き込む際に、その動物体が画像中に存在している複数の部分画像の中から１つだけ選択し、合成画像には選択した部分画像中の動物体の領域のみ書き込み、それ以外の部分画像からは動物体の領域を書き込まないようにすることで、合成画像中の動物体の画像が不自然に合成されることを防ぎ、さらに合成画像中に同一の動物体が複数現れることを防ぐことができる。
合成画像中の動物体が不自然に合成されている場合とは、たとえば、部分画像から合成画像に書き込む際に、書き込む領域の境界上に動物体の一部がかかっており、動物体が動くことでその境界付近の画像が変わってしまい、異なる時刻の動物体の画像をつぎはぎしたような合成画像になってしまう場合や、あるいは動物体の画像がその境界で一部が消えてなくなり、動物体がちぎれたような合成画像になってしまうような場合を指す。
この判断結果である動物体書き込み情報は、動物体情報格納手段に格納されるとともに、部分画像書き込み範囲検出手段に与えられる。
部分画像書き込み範囲検出手段では、部分画像の書き込み範囲を決定する。動物体の書き込み許可が与えられたときは、求められた動物体の存在領域および動き量に基づいて、その動物体を含むような書き込み範囲を求める。動物体の書き込み許可が与えられないときは、その動物体を含まないような書き込み範囲を求める。求められた書き込み範囲は、画像合成手段に与えられる。
画像合成手段では、求められた部分画像全体の動き量に応じて、求められた書き込み範囲の部分画像が合成され、合成画像が作成される。
【００１０】
また本発明は、合成画像の一部分を構成する複数枚の部分画像を格納する部分画像格納手段と、
前記部分画像格納手段から読み出した部分画像を、予め定める方向にそって複数の短冊領域に分割し、他の部分画像中のどの位置に各短冊領域がそれぞれ移動したかを検出し、各短冊領域の移動量を求める短冊領域動き検出手段と、
前記短冊領域動き検出手段で求めた各短冊領域の移動量に基づいて、部分画像全体の動き量を求める部分画像動き算出手段と、
背景部分と比較して相対的に動いているように見える動物体の存在領域、動物体の動き量、各部分画像中で検出された動物体間の同一性を表す動物体同一性情報、および動物体がすでに合成画像に書き込まれたかどうかを表す動物体書き込み情報を含む動物体情報を格納する動物体情報格納手段と、
前記短冊領域動き検出手段で求められた短冊領域の移動量と、前記部分画像動き算出手段で求められた部分画像全体の動き量と、前記動物体情報格納手段に格納されている動物体の存在領域およびその動き量とに基づいて、部分画像中の動物体の存在領域およびその動き量と、すでに検出された動物体と同一かどうかを表す動物体同一性情報とを求める動物体検出手段と、
前記動物体検出手段で求められた動物体の存在領域およびその動き量に基づいて、動物体を含まないような部分画像の書き込み範囲を決める部分画像書き込み範囲算出手段と、
前記部分画像動き算出手段で求められた部分画像全体の動き量に応じて、前記部分画像書き込み範囲算出手段で求められた書き込み範囲の部分画像を合成して、合成画像を作成する画像合成手段とを含むことを特徴とする画像合成装置である。
本発明に従えば、撮像手段から出力される部分画像は、部分画像格納手段に撮影順序にしたがって順番に格納される。格納された部分画像は、短冊領域動き検出手段によって読み出され、予め定める方向にそって複数の短冊領域に分割される。分割後、他の部分画像中のどの位置に各短冊領域がそれぞれ移動したかを検出し、各短冊領域の移動量を求める。部分画像動き算出手段では、求められた各短冊領域の移動量に基づいて、２つの部分画像間での部分画像全体の動き量が求められる。
また、動物体検出手段では、短冊領域動き検出手段で求められた短冊領域の移動量と、部分画像動き量算出手段で求められた部分画像全体の動き量とに基づいて、部分画像中の動物体の存在領域とその動き量とが求められる。短冊領域の移動量が部分画像全体の動き量とほぼ同じときは、その短冊領域の被写体は撮像手段が移動したために結果として移動したものであり、したがってその短冊領域内には動物体は存在していないものと判断される。一方、短冊領域の移動量が部分画像全体の動き量とはかなり異なるときは、その短冊領域内の被写体は撮像手段の移動とは異なる動きをしたものであり、したがってその短冊領域内に動物体が存在しているものと判断される。これによって、動物体の存在領域が求められる。また、動物体が存在しているものと判断された短冊領域の移動量の平均値を求めるなどして、動物体の動き量が求められる。
続いて、すでに動物体情報格納手段に動物体情報が格納されているときは、すでに検出された動物体と現在処理している部分画像中で検出された動物体とが同一のものかどうかを判断する。検出済動物体の存在領域とその動き量とに基づいて、現在処理中の部分画像中での検出済動物体の位置と動き量とを予測し、予測した位置および動き量が求められた存在領域および動き量と一致した場合は、現在処理中の部分画像中で検出された動物体は検出済動物体と同一であると判断し、動物体同一性情報が求められる。求められた動物体の存在領域、その動き量および動物体同一性情報は、動物体情報格納手段に格納される。
部分画像書き込み範囲検出手段では、部分画像の書き込み範囲を決定する。書き込み範囲は、求められた動物体の存在領域および動き量に基づいて、その動物体を含まないような書き込み範囲を求める。求められた書き込み範囲は、画像合成手段に与えられる。
画像合成手段では、求められた部分画像全体の動き量に応じて、求められた書き込み範囲の部分画像が合成され、合成画像が作成される。
【００１２】
さらにまた本発明は、合成画像の一部分を構成する複数枚の部分画像を格納する部分画像格納手段と、
前記部分画像格納手段から読み出した部分画像を、予め定める方向にそって複数の短冊領域に分割し、他の部分画像中のどの位置に各短冊領域がそれぞれ移動したかを検出し、各短冊領域の移動量を求める短冊領域動き検出手段と、
前記短冊領域動き検出手段で求めた各短冊領域の移動量に基づいて、部分画像全体の動き量と、回転量と、拡大縮小率とを求める部分画像動き算出手段と、
背景部分と比較して相対的に動いているように見える動物体の存在領域、動物体の動き量、各部分画像中で検出された動物体間の同一性を表す動物体同一性情報、および動物体がすでに合成画像に書き込まれたかどうかを表す動物体書き込み情報を含む動物体情報を格納する動物体情報格納手段と、
前記短冊領域動き検出手段で求められた短冊領域の移動量と、前記部分画像動き算出手段で求められた部分画像全体の動き量と、前記動物体情報格納手段に格納されている動物体の存在領域およびその動き量とに基づいて、部分画像中の動物体の存在領域およびその動き量と、すでに検出された動物体と同一かどうかを表す動物体同一性情報とを求める動物体検出手段と、
前記動物体検出手段で求めた動物体の存在領域、その動き量、および動物体同一性情報に基づいて、部分画像中の動物体を合成画像中に書き込むかどうかを判断する動物体書き込み画像判定手段と、
前記動物体書き込み画像判定手段から動物体の書き込み許可が与えられたときは、前記動物体検出手段で求められた動物体の存在領域およびその動き量に基づいて、動物体を含むような部分画像の書き込み範囲を決め、書き込み許可が与えられないときは、動物体を含まないような部分画像の書き込み範囲を決める部分画像書き込み範囲算出手段と、
前記部分画像書き込み範囲算出手段で求められた書き込み範囲の部分画像を、前記部分画像動き算出手段で求めた部分画像全体の動き量と、回転量と、拡大縮小率とに基づいてアフィン変換してから合成して、合成画像を作成する画像合成手段とを含むことを特徴とする画像合成装置である。
本発明に従えば、撮像手段から出力される部分画像は、部分画像格納手段に撮影順序にしたがって順番に格納される。格納された部分画像は、短冊領域動き検出手段によって読み出され、予め定める方向にそって複数の短冊領域に分割される。分割後、他の部分画像中のどの位置に各短冊領域がそれぞれ移動したかを検出し、各短冊領域の移動量を求める。部分画像動き算出手段では、撮影時に撮像手段が回転したり、ズーム撮影したりした場合などを考慮して、求められた各短冊領域の移動量に基づいて、２つの部分画像間での部分画像全体の動き量、回転量、拡大縮小率が求められる。
また、動物体検出手段では、前述と同様に短冊領域動き検出手段で求められた短冊領域の移動量と、部分画像動き量算出手段で求められた部分画像全体の動き量とに基づいて、部分画像中の動物体の存在領域とその動き量とが求められる。
続いて、すでに動物体情報格納手段に動物体情報が格納されているときは、すでに検出された動物体と現在処理している部分画像中で検出された動物体とが同一のものかどうかを判断する。検出済動物体の存在領域とその動き量とに基づいて、現在処理中の部分画像中での検出済動物体の位置と動き量とを予測し、予測した位置および動き量が求められた存在領域および動き量と一致した場合は、現在処理中の部分画像中で検出された動物体は検出済動物体と同一であると判断し、動物体同一性情報が求められる。求められた動物体の存在領域、その動き量および動物体同一性情報は、動物体情報格納手段に格納される。
また、動物体書き込み画像判定手段では、動物体検出手段で求められた動物体の存在領域、その動き量および動物体同一性情報に基づいて、部分画像中の動物体を合成画像中に書き込むかどうかを判断する。検出された動物体が検出済動物体と同一であり、かつ検出済動物体がすでに合成画像中に書き込まれているときは、書き込まないと判断する。検出された動物体がまだ合成画像中に書き込まれていないときは、書き込むと判断する。
この判断結果である動物体書き込み情報は、動物体情報格納手段に格納されるとともに、部分画像書き込み範囲検出手段に与えられる。
部分画像書き込み範囲検出手段では、部分画像の書き込み範囲を決定する。動物体の書き込み許可が与えられたときは、求められた動物体の存在領域および動き量に基づいて、その動物体を含むような書き込み範囲を求める。動物体の書き込み許可が与えられないときは、その動物体を含まないような書き込み範囲を求める。求められた書き込み範囲は、画像合成手段に与えられる。
画像合成手段では、求められた書き込み範囲の部分画像を、前記部分画像動き算出手段で求めた部分画像全体の動き量と、回転量と、拡大縮小率とに基づいてアフィン変換してから合成して、合成画像を作成する。前記部分画像動き算出手段で求めた部分画像全体の動き量、回転量、拡大縮小率は、部分画像間の相対量なので、合成画像ではいずれかの部分画像を基準として、その部分画像からの絶対量を求めて合成しなければならない。そのため、画像合成手段では、基準とする部分画像からの相対量を積算して絶対量として、複数枚の部分画像をアフィン変換してから合成して、合成画像を作成する。
【００１３】
さらに本発明は、合成画像の一部分を構成する複数枚の部分画像を格納する部分画像格納手段と、
前記部分画像格納手段から読み出した部分画像を、予め定める方向にそって複数の短冊領域に分割し、他の部分画像中のどの位置に各短冊領域がそれぞれ移動したかを検出し、各短冊領域の移動量を求める短冊領域動き検出手段と、
前記短冊領域動き検出手段で求めた各短冊領域の移動量に基づいて、部分画像全体の動き量と、回転量と、拡大縮小率とを求める部分画像動き算出手段と、
背景部分と比較して相対的に動いているように見える動物体の存在領域、動物体の動き量、各部分画像中で検出された動物体間の同一性を表す動物体同一性情報、および動物体がすでに合成画像に書き込まれたかどうかを表す動物体書き込み情報を含む動物体情報を格納する動物体情報格納手段と、
前記短冊領域動き検出手段で求められた短冊領域の移動量と、前記部分画像動き算出手段で求められた部分画像全体の動き量と、前記動物体情報格納手段に格納されている動物体の存在領域およびその動き量とに基づいて、部分画像中の動物体の存在領域およびその動き量と、すでに検出された動物体と同一かどうかを表す動物体同一性情報とを求める動物体検出手段と、
前記動物体検出手段で求められた動物体の存在領域およびその動き量に基づいて、動物体を含まないような部分画像の書き込み範囲を決める部分画像書き込み範囲算出手段と、
前記部分画像書き込み範囲算出手段で求められた書き込み範囲の部分画像を、前記部分画像動き算出手段で求めた部分画像全体の動き量と、回転量と、拡大縮小率とに基づいてアフィン変換してから合成して、合成画像を作成する画像合成手段とを含むことを特徴とする画像合成装置である。
本発明に従えば、撮像手段から出力される部分画像は、部分画像格納手段に撮影順序にしたがって順番に格納される。格納された部分画像は、短冊領域動き検出手段によって読み出され、予め定める方向にそって複数の短冊領域に分割される。分割後、他の部分画像中のどの位置に各短冊領域がそれぞれ移動したかを検出し、各短冊領域の移動量を求める。部分画像動き算出手段では、求められた各短冊領域の移動量に基づいて、２つの部分画像間での部分画像全体の動き量、回転量、拡大縮小率が求められる。
また、動物体検出手段では、短冊領域動き検出手段で求められた短冊領域の移動量と、部分画像動き量算出手段で求められた部分画像全体の動き量とに基づいて、部分画像中の動物体の存在領域とその動き量とが求められる。短冊領域の移動量が部分画像全体の動き量とほぼ同じときは、その短冊領域の被写体は撮像手段が移動したために結果として移動したものであり、したがってその短冊領域内には動物体は存在していないものと判断される。一方、短冊領域の移動量が部分画像全体の動き量とはかなり異なるときは、その短冊領域内の被写体は撮像手段の移動とは異なる動きをしたものであり、したがってその短冊領域内に動物体が存在しているものと判断される。これによって、動物体の存在領域が求められる。また、動物体が存在しているものと判断された短冊領域の移動量の平均値を求めるなどして、動物体の動き量が求められる。
続いて、すでに動物体情報格納手段に動物体情報が格納されているときは、すでに検出された動物体と現在処理している部分画像中で検出された動物体とが同一のものかどうかを判断する。検出済動物体の存在領域とその動き量とに基づいて、現在処理中の部分画像中での検出済動物体の位置と動き量とを予測し、予測した位置および動き量が求められた存在領域および動き量と一致した場合は、現在処理中の部分画像中で検出された動物体は検出済動物体と同一であると判断し、動物体同一性情報が求められる。求められた動物体の存在領域、その動き量および動物体同一性情報は、動物体情報格納手段に格納される。
部分画像書き込み範囲検出手段では、部分画像の書き込み範囲を決定する。書き込み範囲は、求められた動物体の存在領域および動き量に基づいて、その動物体を含まないような書き込み範囲を求める。求められた書き込み範囲は、画像合成手段に与えられる。
画像合成手段では、求められた書き込み範囲の部分画像を、前記部分画像動き算出手段で求めた部分画像全体の動き量と、回転量と、拡大縮小率とに基づいてアフィン変換してから合成して、合成画像を作成する。
【００１４】
さらに本発明は、前記動物体書き込み画像判定手段は、動物体が中心付近に位置している部分画像を、動物体を合成画像中に書き込む部分画像として判定することを特徴とする。
本発明に従えば、動物体を合成画像中に書き込む部分画像を判定するときは、同一の動物体が検出された複数の部分画像がある場合は、動物体が中心付近に位置している部分画像を選択する。これによって、比較的歪みの小さい中心付近の動物体の画像を合成画像に用いることになるので、歪みが小さく、より自然に動物体が合成された合成画像を得ることができる。
【００１５】
さらにまた本発明は、どの部分画像を合成画像に書き込むかどうかを入力する書き込み画像指示手段をさらに備え、
前記動物体書き込み画像判定手段は、前記書き込み画像指示手段によって指示された部分画像を、動物体を合成画像中に書き込む部分画像として判定することを特徴とする。
本発明に従えば、ユーザからの指示にしたがって合成画像に書き込む部分画像が選択される。たとえば、書き込もうとする動物体がすでに書き込まれている別の動物体と位置的に重ならないように気をつけて、複数の部分画像の中から複数の部分画像を選択することによって、動物体が不自然に合成されることを防ぎ、かつ、合成画像中に同一の動物体が複数個現れているというような実際にはありえないような風景を合成画像として得られる効果がある。
【００１６】
また本発明は、前記部分画像動き算出手段で求められた部分画像全体の動き量と、回転量と、拡大縮小率とを格納する部分画像動き格納手段をさらに備え、
前記部分画像動き算出手段は、前記部分画像動き格納手段に格納されているすでに求められた別の部分画像の動き量、回転量、拡大縮小率から予測される数値範囲内に、各短冊領域の移動量、部分画像全体の動き量、回転量、拡大縮小率が収まっているかどうかを判断して、部分画像全体の動き量、回転量、拡大縮小率を求めることを特徴とする。
本発明に従えば、部分画像動き算出手段では、すでに求められた別の部分画像の動き量、回転量、拡大縮小率に基づいて、現在処理中の部分画像の各短冊領域の移動量、動き量、回転量、拡大縮小率を予測し、求めた動き量、回転量、拡大縮小率が予測値の範囲内に収まっているかどうかを判断し、範囲内に収まっていれば求めた動き量、回転量、拡大縮小率をそのまま出力し、範囲内に収まっていなければ収まるように求め直してから出力する。これによって、部分画像全体の動き量、回転量、拡大縮小率をより正確に求めることができる。
【００１７】
さらに本発明は、前記部分画像動き算出手段で求められた部分画像全体の動き量と、回転量と、拡大縮小率とを格納する部分画像動き格納手段をさらに備え、
前記部分画像動き算出手段は、予め定める枚数の部分画像に関してそれぞれ部分画像全体の動き量、回転量、拡大縮小率を求めて、一旦前記部分画像格納手段に格納した後に、求めた値から予測される数値範囲内に、格納した部分画像全体の動き量、回転量、拡大縮小率が収まっているかどうかを判断し、収まっていなければその部分画像に関して再度部分画像全体の動き量、回転量、拡大縮小率を求め直すことを特徴とする。
本発明に従えば、部分画像全体の動き量などを、一度、すべての部分画像または一部の部分画像に関して求めておき、その後、求めた部分画像全体の動き量などから予測値を求め、その予測値内に求めた部分画像全体の動き量などが収まっているかどうかを判断し、再度求め直すなどすることによって、より正確な部分画像全体の動き量などを求められる効果がある。
【００１８】
さらにまた本発明は、前記動物体検出手段は、現在処理中の部分画像で検出された動物体の存在領域中の短冊領域の移動量の最大値と最小値との差が予め定める閾値以上ある場合、または、前記動物体情報格納手段に格納されている検出済み動物体の存在領域および動き量に基づいて、現在処理中の部分画像における検出済み動物体の存在領域および動き量を予測したときに、実際に検出された動物体の存在領域中に複数の動物体が存在すると予測された場合には、現在処理中の部分画像には複数の動物体が存在するものとして検出することを特徴とする。
本発明に従えば、現在処理中の部分画像で検出された動物体の存在領域中の短冊領域の移動量の最大値と最小値との差が予め定める閾値以上ある場合、または、前記動物体情報格納手段に格納されている検出済み動物体の存在領域および動き量に基づいて、現在処理中の部分画像における検出済み動物体の存在領域および動き量を予測したときに、実際に検出された動物体の存在領域中に複数の動物体が存在すると予測された場合には、その領域中に複数の動物体が存在すると判断することで、複数の動物体が重なったり、近づいて見える場合でも、正確に複数の動物体として検出できる。
【００１９】
また本発明は、動物体が存在している部分画像または部分画像中の領域を指示する動物体指示手段をさらに備え、
前記動物体検出手段は、前記動物体指示手段の指示に基づいて動物体を検出することを特徴とする。
本発明に従えば、ユーザが動物体指示手段から動物体が存在している部分画像または部分画像中の領域を指示すると、動物体検出手段では指示された領域に対して動物体の検出処理を行う。これによって、簡単かつ正確に動物体を検出できる。
【００２０】
さらに本発明は、前記部分画像書き込み範囲算出手段で求めた部分画像の書き込み範囲の境界部分が、合成画像またはすでに合成されている部分画像の書き込み範囲でどこに位置するかを検出し、書き込み範囲を修正する書き込み範囲修正検出手段をさらに備え、
前記画像合成手段は、前記部分画像書き込み範囲算出手段で求めた部分画像の書き込み範囲に代えて、前記書き込み範囲修正検出手段で修正した書き込み範囲の部分画像を合成して、合成画像を作成することを特徴とする。
本発明に従えば、合成する部分画像の書き込み範囲が求められたら、その境界部分が合成画像またはすでに合成されている部分画像の書き込み範囲でどこに位置するかを検出し、書き込み範囲が修正される。画像合成手段では、修正された書き込み範囲の部分画像を合成して、合成画像が作成される。これによって、画像合成において境界部分でずれが発生することを防ぐことができる。
【００２１】
【発明の実施の形態】
図１は、本発明の第１の実施の形態である画像合成装置の構成を示すブロック図である。画像合成装置は、部分画像格納部１と、短冊動き検出部２と、部分画像動き算出部３と、画像合成部４とを含んで構成される。部分画像格納部１は、図示しない撮像手段から出力される複数枚の部分画像を、撮影した順番で格納する。部分画像とは、撮像手段の画角より広い画角の画像である合成画像の一部分を構成するものであり、部分画像同士で被写体を一部重複するように、すなわち合成したときに部分画像同士で重なりあう部分が存在するように撮影するとよい。部分画像格納部１に格納された部分画像ａは、短冊動き検出部２および画像合成部４に与えられる。
【００２２】
短冊動き検出部２は、部分画像ａを予め定める方向にそって複数の短冊領域に分割する。予め定める方向とは、一般に矩形状で得られる画像の縦方向または横方向である。画像の画素が行列状に配列されている場合は、画素の行方向または列方向である。各短冊領域の大きさは、通常は同じ大きさで良いが、注目したい部分などがある場合はその部分の短冊を小さくしても良い。短冊領域としては、たとえば図２（ａ）に示すように、部分画像ａを縦方向（図２の紙面上上下方向）にそって４つに分割して得られる短冊領域１００，１０１，１０２，１０３が用いられる。短冊領域１００〜１０３では、隣接する領域同士は重なり合う部分はなく、また部分画像ａの縦方向の周辺付近は画像の歪みが中心部分よりも大きいので、短冊領域からは除かれている。
【００２３】
また他の短冊領域としては、図２（ｂ）に示すように、部分画像ａを縦方向にそって４つに分割して得られる領域のそれぞれの中心部分の矩形領域１０４，１０５，１０６，１０７を用いてもよい。さらに他の短冊領域としては、図２（ｃ）に示すように、部分画像ａを、横方向（図２の紙面上左右方向）に隣接する領域同士が重なり合うように縦方向に４つに分割して得られる短冊領域１０８，１０９，１１０，１１１を用いてもよい。短冊領域１０８〜１１１では、部分画像ａの縦方向の周辺付近は、画像の歪みが中心部分よりも大きいので、短冊領域からは除かれている。なお、横方向にそって分割して短冊領域を作成してもよい。
【００２４】
さらに短冊動き検出部２は、得られた短冊領域が、時間的に後で撮影された部分画像の中でどの位置に移動したかを検出し、移動量を求める。位置の検出は、たとえば、探索対象である部分画像内であって、基準となる短冊領域の位置と同じ位置の周囲の一定枠内で探索すればよい。たとえば、図２（ａ）に示す部分画像ａの右端の短冊領域１０３の移動した位置を検出する場合は、探索対象の部分画像内の右端の短冊領域１０３に相当する位置の周囲の予め定める一定の枠内で探索すればよい。短冊領域の動きがある程度予想できる場合は、その予想地点を中心として探索範囲を設定することによって、短冊領域の実際の動きが探索範囲外となってしまう可能性を減らすことができ、同時に、探索範囲自体を小さくすることができるので、探索処理を少なくし、かつ短時間で実行することができる。
【００２５】
探索の最も一般的な方法は、相互相関を取る方法である。たとえば、最も簡単な相互相関である残差は、座標（ｘ０，ｙ０）に位置する短冊領域において、
【００２６】
【数１】

【００２７】
を最小にする（ｘ１，ｙ１）を求めることである。ここで、短冊領域の幅をｗ、高さをｈとし、それぞれの部分画像中の座標（ｘ，ｙ）の位置の画素の輝度値をｇ（ｘ，ｙ）、ｆ（ｘ，ｙ）とする。この場合、（ｘ１，ｙ１）の取り得る値が探索範囲となる。ただし、短冊領域すべてが部分画像中に収まる（ｘ１，ｙ１）でなければならない。この場合の短冊領域の移動量は、（ｘ１−ｘ０，ｙ１−ｙ０）である。このようにして各短冊領域ごとに移動量を求める。求められた移動量ｂは、部分画像動き算出部３に与えられる。
【００２８】
部分画像動き算出部３は、各短冊領域の移動量ｂに基づいて、部分画像全体の動き量ｃを求める。たとえば４つの短冊領域１００〜１０３に関して、その横方向（ｘ方向）の移動量ｂｘとして、ｂｘ（１００）＝１０、ｂｘ（１０１）＝１２、ｂｘ（１０２）＝１３、ｂｘ（１０３）＝−３が得られたとする。
【００２９】
第１の動き量の求め方は、単純に得られた移動量ｂｘの平均値を求める方法である。上述の例では、
動き量ｃ＝（１０＋１２＋１３＋（−３））／４＝８
である。
【００３０】
また、第２の求め方として、平均値を求める場合、単純に短冊領域数で割るだけでなく、短冊領域の位置によって重み付けをして求めるようにしてもよい。たとえば、部分画像の中心部分の短冊領域は重み付けを大きくし、周辺部分は小さくする方法がある。上述の例では、たとえば中央の２つの短冊領域に対して端の２つの短冊領域の２倍の重み付けをすると、

である。
【００３１】
第３の求め方としては、移動量を大きさ順に並べて、その中央値を動き量とする方法がある。たとえば上述の例では、移動量を大きさ順に並べると、
−３＜１０＜１２＜１３
となり、中央値である１０または１２を動き量とする。中央値が２個ある場合は、さらにその平均値を求めて、
（１０＋１２）／２＝１１
を動き量としてもよい。
【００３２】
第４の求め方としては、上述の各種の方法で求めた動き量を、再び各短冊領域の移動量と比較し、その差の絶対値が予め定める閾値以上の移動量は、移動量の検出に失敗、あるいは動物体などが存在していたとして取り除き、残った移動量だけで再び部分画像の動き量を求める方法がある。たとえば閾値を６として、上述の単純平均値を使った例では、短冊領域１０３の移動量「−３」と平均値「８」との差は「１１」となり、閾値「６」以上であるので、短冊領域１０３の移動量は取り除かれる。残った短冊領域１００，１０１，１０２の移動量ｂｘ（１００）＝１０、ｂｘ（１０１）＝１２、ｂｘ（１０２）＝１３だけを用いて平均値を求めると、
動き量ｃ＝（１０＋１２＋１３）／３＝３５／３＝１１．６６…
となり、約１２である。短冊領域の個数にもよるが、この処理を繰り返していけば、さらに精度が上がる場合もある。その際、閾値を固定せずに、繰り返し回数によって少しずつ小さくしていく方法もある。
【００３３】
なお、上述の説明では、横方向の移動量・動き量に関してのみ説明したけれども、縦方向の移動量・動き量に関しても同様の処理を行うことで、部分画像全体の縦方向の動き量を求めることができる。
【００３４】
一般に、広画角・広範囲の被写体を１次元または２次元で分割して撮影する場合、斜めに撮像手段を動かすことは少なく、上下左右のいずれか一方向に動かす場合が多いので、その動き方向に対して垂直方向の画像の動きは、０または非常に小さい値になることが多い。そのため、最初に、動き方向に対して垂直方向の短冊領域の動きを調べて、移動量の大きなものを取り除いてから、動き方向の動きを調べるとよい場合が多い。
【００３５】
画像合成部４は、部分画像動き検出部３で求めた部分画像全体の動き量ｃと、部分画像格納部１から読み出される部分画像ａとに基づいて、合成画像ｄを合成して出力する。出力された合成画像は、図示しない画像メモリに記憶されるとともに、必要に応じて図示しない表示手段に表示される。
【００３６】
図３は、合成画像の作成処理を説明するための図である。まず、合成画像を作成するために最初に撮影した１枚目の部分画像１２０は、合成画像における初期画像として、画像合成に用いるメモリの所定の位置に格納する。このとき、撮像手段がどちらに移動したか、すなわち部分画像がどちらに移動したかによって、初期画像の格納位置を決定すると、メモリを効率よく利用することができ、合成画像が予め定めた大きさをはみ出す可能性を小さくすることができる。たとえば、全体として右方向に画像が大まかに動いていることを予め知っている場合は、初期画像をメモリ空間上の左端の方に格納すればよい。同様にして、左方向、上方向、下方向に動いた場合は、動いた方向とは反対側の位置に初期画像を格納すればよい。
【００３７】
次に、初期画像である部分画像１２０の次に撮影された２枚目の部分画像１２１に関して、部分画像１２０からの動き量（ｘ１，ｙ１）が求められたと仮定する。図３（ａ）は、最も単純な合成処理を示す図であるが、部分画像１２０に対して部分画像１２１を（ｘ１，ｙ１）だけ平行移動させて格納させている。
【００３８】
図３（ｂ）は、他の合成処理を示す図である。本合成処理では、画像全体の動き方向が予めわかっている場合に、メモリに書き込む部分画像を動き方向の部分のみにしている。部分画像１２１が４つの短冊領域１２２，１２３，１２４，１２５で構成されている場合、部分画像は右方向に動くことが予めわかっているので、部分画像１２１の左側の部分まで書き込む必要はない。したがって、中央から右側の短冊領域１２４，１２５だけをメモリに書き込んで合成すればよい。図３（ｂ）では、説明の便宜上短冊領域１２２，１２３も破線で位置を示してあるが、実際にはメモリに書き込まれない。
【００３９】
このように部分画像の合成時に部分画像の一部だけを書き込むようにすることで、メモリに対するデータの書き込み量を減らすことができ、短時間で合成することができる。また、この処理を繰り返すことによって、歪みが少なく解像度も良い中心付近の画像が合成画像として使われることになり、質の高い合成画像が得られる。さらに、前記部分画像動き検出部３に関連して説明したように、部分画像の中心付近の重み付けを大きくすることによって、部分画像の中心付近での隣の部分画像とのつながりも良くなり、自然な合成画像を得られる。
【００４０】
以上のように第１の実施の形態によれば、部分画像を画像の縦方向または横方向にそって複数に分割して同じ大きさの短冊領域にし、部分画像間での各短冊領域の移動量を求め、各短冊領域の移動量から部分画像間の移動量を求めるようにしたので、たとえば撮像手段が回転したり、ズーム撮影やワイド撮影をするなどして、単純な平行移動には見えないような部分画像が撮影されたとしても、移動量の検出に用いられる短冊領域は部分画像に比べて大きさが小さいため、撮像手段の回転やズーム撮影・ワイド撮影の影響が小さく、各短冊領域の部分画像間での移動量を平行移動として求めても、その誤差は小さい。
【００４１】
また、各短冊領域の移動量の分布を見ることで、撮像手段が平行移動したのか、回転したのか、あるいはズーム撮影・ワイド撮影をしたのかなどを簡単に知ることができ、その情報に基づいてアフィン変換や逆透視変換などの画像変形を部分画像に施して画像を合成することができ、より自然なつながりを持った合成画像を得ることができる。
【００４２】
図４は、本発明の第２の実施の形態である画像合成装置の構成を示すブロック図である。本実施の形態である画像合成装置において、前述の図１に示す画像合成装置の構成と同じものには、同一の参照符号を付して説明を省略する。すなわち、部分画像格納部１、短冊動き検出部２、および部分画像動き算出部３は、前述した処理と同じ処理を実行する。新たに追加された構成は、動物体情報格納部５と、動物体検出部６と、動物体書き込み画像判定部７と、部分画像書き込み範囲算出部８である。新たに構成が追加されたことによって、画像合成部４ａは、前述した処理に加えて新たな処理を行う。
【００４３】
動物体情報格納部５は、動物体検出部６から与えられる動物体情報ｅと、動物体書き込み画像判定部７から与えられる動物体書き込み情報ｉとを格納する。これらの情報は、すでに処理されたすべての部分画像について格納されており、動物体検出部６によって必要に応じて読み出される。動物体情報ｅは、検出済動物体の存在領域、その動き量、各部分画像中で検出された動物体間の同一性を表す動物体同一性情報を含む。動物体書き込み情報ｉは、動物体がすでに合成画像に書き込まれたかどうかを表す。動物体の存在領域は、正確に動物体の輪郭まで求めても良いが、ここでは処理を簡単にするため短冊領域を単位としている。
【００４４】
動物体検出部６は、短冊動き検出部２から与えられる各短冊領域の移動量ｂと、部分画像動き算出部３から与えられる部分画像全体の動き量ｃと、動物体情報格納部５から読み出される情報ｆ（動物体の存在領域およびその動き量）とに基づいて、部分画像中の動物体の存在領域、動物体の動き量、検出済動物体と同一かどうかを表す動物体同一性情報を求める。ここで、動物体の位置とは、短冊領域の中心位置を指し、動物体が複数の短冊領域にまたがっているときは、複数の短冊領域全体の中心位置を指す。
【００４５】
まず、動物体の存在領域候補を検出する。これは、前述した部分画像動き算出部３で取り除かれた短冊領域を利用すれば良い。取り除かれた短冊領域は、他の短冊領域に比べて大幅に異なる移動量を持つものであり、短冊領域内の被写体が動物体である可能性が高いからである。この短冊領域は、部分画像動き算出部３から取得しても良いし、動物体検出部６で改めて求めても良い。
【００４６】
次に、動物体の存在領域候補として求められた短冊領域の中から、動物体を検出する。最も単純な検出方法は、前述した部分画像動き算出部３で用いられている方法である。たとえば、動物体存在候補の短冊領域の移動量の平均値や中央値を求め、その値に近い値を持つ短冊領域を残していく方法である。動物体が１個ならば、この方法で動物体の存在領域を短冊領域単位で検出することができる。
【００４７】
動物体の動き量も、最も単純に求めるには、動物体存在候補の短冊領域の移動量の平均値や中央値を求めることによって、得られる。また、前述した部分画像動き算出部３で用いられている方法を利用して、動物体存在領域候補の中心部分の短冊領域に重み付けをして、動き量を求めても良い。
【００４８】
次に、動物体情報格納部５から読み出した検出済動物体の存在領域とその動き量とに基づいて、現在処理中の部分画像での検出済動物体の位置および動き量を予測する。最も単純な位置の予測方法としては、動物体が等速度運動をしていると仮定し、２つ前に処理した部分画像中の動物体の位置と１つ前に処理した部分画像中の動物体の位置との差を求め、求めた差を１つ前に処理した部分画像の動物体の位置に加算して得られた位置を、現在処理中の部分画像での予測位置とすれば良い。動き量の最も単純な予測方法としては、動物体が等速度運動をしていると仮定し、１つ前に処理した部分画像での動物体の動き量を、現在処理中の部分画像での予測動き量とすれば良い。
【００４９】
位置の他の予測方法としては、動物体が等加速度運動をしていると仮定し、３つ前に処理した部分画像中の動物体の位置までを利用して加速度を求め、求めた加速度から速度を予測し、さらに予測した速度から位置を予測する方法がある。たとえば、動物体が等加速度運動をしているときに、過去３つの部分画像での動物体の位置ｐ０，ｐ１，ｐ２がわかっていれば、加速度は、
（（ｐ２−ｐ１）−（ｐ１−ｐ０））
と予測されるので、現在処理中の部分画像での動物体の予測位置ｐ３は、
ｐ３＝２（ｐ２−ｐ１）−（ｐ１−ｐ０）
と予測される。動き量の他の予測方法としては、過去２つまでの部分画像中の動物体の動き量を利用して動き量の差を求め、求めた差を１つ前の部分画像中の動物体の動き量に加算した値を、現在処理中の部分画像での予測動き量とすれば良い。
【００５０】
以上の説明では、部分画像が等時間間隔で撮影されたことを前提としているが、時間間隔が異なる場合は、時間間隔を考慮して予測しなければならない。たとえば、動物体が等速度運動をしていると仮定し、時間間隔ｔ１，ｔ２で撮影された３つの部分画像中の動物体の位置をｐ０，ｐ１，ｐ２とし、位置ｐ０，ｐ１がわかっている場合、予測位置ｐ２は、
ｐ２＝ｐ１＋（ｐ１−ｐ０）／ｔ１×ｔ２
で求められる。
【００５１】
現在処理中の部分画像におけるの検出済動物体の位置および動き量が予測された後、予測値と実際に求められた動物体の位置および動き量とを比較し、差を求める。求められた差が予め定められる閾値内に収まっていれば、同一の動物体であると判断する。最後に、求められた動物体の位置（存在領域）、動き量、処理済みの部分画像中の動物体と同一であるかどうかを表す動物体同一性情報を含む動物体情報ｅを、動物体情報格納部５に格納する。
【００５２】
動物体書き込み画像判定部７は、動物体検出部６で求められた動物体の存在領域、動き量、動物体同一性情報を含む動物体情報ｅに基づいて、どの部分画像中のどの動物体を合成画像に書き込むかを判断する。すでに合成画像に書き込まれている場合は、書き込まないと判断し、部分画像書き込み範囲算出部８に対して、動物体を書き込まないという不許可情報ｊを与える。まだ合成画像に書き込まれていない場合は、書き込むべきかどうかを判断する。初めて動物体が検出されたときはすぐに書き込んでも良いが、できれば動物体が部分画像の中心付近に来たときに書き込むように判断した方が、動物体が部分画像からはみ出してしまっている可能性が低くなり、歪みも小さくなり、解像度も良い画像を合成画像として使用できる。
【００５３】
ただし、動物体の移動方向と撮像手段の移動方向によっては、動物体が部分画像の周辺へフレームアウトする方向に動いているものもあるので、その場合はフレームアウトする前に書き込むように判断する。たとえば、動物体が部分画像の周辺に存在し、かつその動く方向が部分画像全体の動き方向とは反対であれば、その動物体は部分画像からフレームアウトする方向に動いていると考えられるので、できる限り中心付近に存在しているときに書き込むように判断する。
【００５４】
また、これから書き込もうとする動物体が、すでに書き込んだ別の動物体と合成画像上の位置が重なってしまうこともありえるので、その場合は、なるべく重なる部分が少なくなるような部分画像を選ぶ方が良い。どうしても重なってしまう場合は、どちらの動物体を優先するかを、ユーザに指定してもらうようにしても良い。
【００５５】
動物体書き込み画像判定部７において、動物体を合成画像に書き込むと判断した場合は、動物体を書き込むという許可情報ｊを部分画像書き込み範囲算出部８に与え、動物体を書き込んだという動物体書き込み情報ｉを動物体格納部５に与える。
【００５６】
部分画像書き込み範囲算出部８は、動物体書き込み画像判定部７から許可情報ｊが与えられたときは、動物体検出部６から与えられる情報ｇ（動物体の存在領域およびｃの動き量）に基づいて、動物体を含むような部分画像の書き込み範囲を決定し、動物体書き込み画像判定部７から不許可情報ｊが与えらたときは、動物体を含まないような部分画像の書き込み範囲を決定する。書き込み範囲は、短冊領域単位で良いが、前述の図３で説明したように、部分画像の動き方向を考慮すると良い。
【００５７】
画像合成部４ａは、部分画像書き込み範囲算出部８から与えられる書き込み範囲情報ｋと、部分画像動き算出部３から与えられる部分画像の動き量ｃとに基づいて、部分画像格納部１から与えられる部分画像ａの指定された書き込み範囲を合成画像に書き込む。
【００５８】
以上のように第２の実施形態によれば、たとえば静的な風景を撮影中に、風景中を人が横切るような場合や、撮像手段を平行移動して撮影する際に、手前のものが奥のものより相対的に速く平行移動しているように見える場合など、部分画像中で物体が背景と比べて相対的に動いているように見えるときは、短冊領域単位で動きを調べることで、動物体の動きと背景の大まかな動きとが別々に得られる。背景の動きが得られれば、もし背景を中心に合成したいならば、撮像手段の全体の動きを正確に知ることができ、動物体に惑わされることなく、正確な位置関係を有する背景を持つ合成画像を得られるという効果がある。
【００５９】
また、部分画像を縦方向に分割して短冊領域を構成した場合、通常は複数の縦長の短冊領域が横方向に並ぶ形になる。撮像装置を横方向に動かして撮影した画像では、たとえば棒状の物体が画像上を縦方向に横切った場合、縦長の短冊領域中に動物体が収まりやすいため、動物体の正確な存在領域と動き量とを検出しやすくなる。さらに、部分画像の中央付近に位置する短冊領域の探索範囲は、周辺に位置する短冊領域に比べて、動き量を調べる探索範囲を広くとれるため、動き量の大きい動物体にも対応することが可能になる。
【００６０】
逆に、部分画像を横方向に分割して短冊領域を構成した場合、通常は複数の横長の短冊領域が縦方向に並ぶことになる。撮像装置を横方向に動かして撮影した画像では、たとえばバスや電車のような横長の動物体でも、動物体の正確な存在領域と動き量とを検出しやすくなる。手前（近景）と奥（遠景）の相対速度が違うような場合も、たとえば奥の画像を中心に合成する場合、奥の風景の動く範囲と動き量とを正確に得られるので、正確な配置の奥の風景を持つ合成画像を得られるという効果がある。なお、撮像装置を縦方向に動かして撮影する場合は、縦長の短冊領域と横長の短冊領域とでは、得られる効果は逆になる。
【００６１】
図５は、本発明の第３の実施の形態である画像合成装置の構成を示すブロック図である。本実施の形態の画像合成装置は、前述の図４に示す画像合成装置に、部分画像ユーザ指定部９を追加したものである。本実施の形態では、動物体書き込み画像判定部７ａは、部分画像ユーザ指定部９から入力される情報、すなわち、どの部分画像を書き込むか書き込まないかを表す情報ｍに従って、複数の部分画像の中から合成画像に書き込む部分画像を判定する。
【００６２】
以上のように第３の実施の形態によれば、たとえば人混みの風景などの背景と動物体の自動判別が難しいとき、背景と動物体をユーザが指示したり、誤った判断があったときは修正したりすることができる。また、たとえばデフォルト（初期設定）では動物体を書き込むように設定しておき、風景中に不要な動物体があるときは、その除去を指示したり、逆にデフォルトでは動物体を書き込まないように設定しておき、風景中に必要な動物体があるときは、その書き込みを指示したりして、ユーザの思うような合成画像を得られるという利点がある。
【００６３】
図６は、本発明の第４の実施の形態である画像合成装置の構成を示すブロック図である。本実施の形態の画像合成装置は、前述の図４に示す画像合成装置とほぼ同一の構成であるが、動物体書き込み画像判定部７が設けられていない点が異なる。この相違は、前述の実施の形態では動物体をいかに自然に合成するかを主目的としているのに対し、本実施の形態では逆に動物体をできるだけ合成せずに背景のみで合成することを主目的としていることに基づくものである。
【００６４】
動物体検出部６の処理は同じであるが、部分画像書き込み範囲算出部８ａは、動物体を書き込まないことが予め決められているので、動物体を含まない範囲を書き込み範囲として算出し、検出された動物体は基本的にすべて取り除かれて合成される。
【００６５】
ただし、動物体の動きが少ないときは、動物体の後ろの部分の背景がどの部分画像にも含まれない場合がありえる。このような場合、すべての動物体を取り除くと、動物体を除いた部分を合成する画像がなく、空白ができてしまう。このようなときは、空白のままにするか、不自然に合成されても良いからできるだけ動物体を小さくして合成するか、動物体の除去をあきらめて動物体を自然に合成されるように残すかを、ユーザに選択させれば良い。あるいは、空白との境界部分の画像を引き延ばしたり、繰り返したりすることで、空白を意識させないように合成する方法もある。
【００６６】
以上のように第４の実施の形態によれば、合成画像に書き込む部分画像から動物体を除去して書き込むことによって、たとえば観光地で風景を撮影したときに見知らぬ人が横切ったような場合など、動物体自身が合成画像中に不要な場合に、動物体を除いて背景画像のみで合成画像を作成できるという効果を持つ。
【００６７】
図７は、本発明の第５の実施の形態である画像合成装置の処理を説明するための図である。本実施の形態の画像合成装置の構成は、前述の各実施の形態の構成とほぼ同一であるが、部分画像動き算出部３ａの処理内容が異なる。
【００６８】
部分画像動き算出部３ａは、短冊動き検出部２から与えられる各短冊領域の移動量ｃに基づいて、部分画像全体の動き量、回転量、拡大縮小率を求める。たとえば、図７（ａ）に示すように、ある部分画像において比較的小さな短冊領域１０４，１０５，１０６，１０７が間隔を開けて配置されているものとする。これらの短冊領域１０４〜１０７が別の部分画像でどこに移動したかを示したのが、図７（ｂ）および図７（ｃ）である。
【００６９】
図７（ｂ）では、左側の２つの短冊領域１０４，４０５は左側に移動し、右側の２つの短冊領域１０６，１０７は右側に移動している。この場合は、図７（ａ）の部分画像から図７（ｂ）の部分画像への変化は、画像が拡大されたことを示している。図７（ｃ）では、左側の２つの短冊領域１０４，１０５は下側に移動し、右側の２つの短冊領域１０６，１０７は上側に動いている。この場合は、図７（ａ）の部分画像から図７（ｃ）の部分画像への変化は、画像が反時計回りに回転したことを示している。
【００７０】
部分画像全体の動き量、回転量、拡大縮小率を求める方法として、たとえば最小二乗法がある。短冊領域がｎ個あり、ｉ番目の短冊領域の位置を（ｘｉ，ｙｉ）、ｉ番目の短冊領域が移動した先の位置を（ｘｉ’，ｙｉ’）、求めたい動き量を（ｘoffset，ｙoffset）、回転量をθ、拡大縮小率をｍとしたとき、以下の数式が成り立つ。ただし、（Ｅｒｒxi，Ｅｒｒyi）は、ｉ番目の短冊領域の動き検出における誤差である。
【００７１】
【数２】

【００７２】
上記行列式を、Ｘ’＝ＸＡ＋Ｅと表すとき、誤差Ｅの二乗和を最も小さくするときの動き量、回転量、拡大縮小率を求めれば良い。それには、
Ａ＝（Ｘ^tＸ）^-1Ｘ^tＸ’
を求めれば良い。
【００７３】
求められた動き量、回転量、拡大縮小率は、部分画像間の相対量なので、合成画像では、いずれかの部分画像を基準として、その部分画像からの絶対量を求めて合成しなければならない。そのため、画像合成部４ｃでは、基準とする部分画像からの相対量を積算して絶対量として、部分画像をアフィン変換して合成する。通常は、基準とする部分画像は、最初にメモリ上に書き込んだ部分画像とすれば良い。
【００７４】
以上のように第５の実施の形態によれば、部分画像全体の動き量に加えて回転量および拡大縮小率が求め、求められた部分画像全体の動き量、回転量、拡大縮小率を、基準とする部分画像からの相対量を積算して絶対量として、部分画像をアフィン変換して合成する。したがって、撮影時に撮像手段が回転したり、ズーム撮影したりした場合などであっても、適正な部分画像に変換してから合成されるので、より自然なつながりの合成画像を得ることができる。
【００７５】
図８は、本発明の第６の実施の形態である画像合成装置の構成を示すブロック図である。本実施の形態の画像合成装置は、前述の図５に示す画像合成装置の構成とほぼ同一であり、相違点は新たに部分画像動き格納部１０を設けたことである。部分画像動き格納部１０は、部分画像動き算出部３で算出された部分画像間の動き量、回転量、拡大縮小率などの部分画像動き情報ｎを格納する。
【００７６】
部分画像動き算出部３は、部分画像動き格納部１０から読み出したすでに求められた別の部分画像間の動き量、回転量、拡大縮小率などの部分画像動き情報ｏに基づいて予測される予測値の範囲内に、算出された各短冊領域の移動量や部分画像の動き量、回転量、拡大縮小率が収まっているかどうかを判断し、収まっていなければ再度算出し直して、部分画像の動き量、回転量、拡大縮小率を求める。
【００７７】
第１の予測方法としては、動物体の予測方法と同様に、撮像手段が等速度運動で平行移動、等角速度運動で回転、またはこれらの複合運動で動いたと仮定して予測する方法がある。すなわち、２つ前の部分画像と１つ前の部分画像間の部分画像全体の動き量を、そのまま１つ前の部分画像と現在処理中の部分画像間の部分画像全体の動き量の予測値として用いれば良い。回転量、拡大縮小率も、同様にして予測値を求めれば良い。これらの予測値と、実際に短冊領域の移動量に基づいて求めた部分画像間の動き量などを比較して、その差がすべて予め定める閾値以下であれば、実際に求めた動き量などは信頼できると判断する。
【００７８】
第２の予測方法としては、過去最新ｎ個の部分画像間の動き量などの平均値を求めて予測する方法がある。すなわち、過去最新ｎ個の部分画像間の動き量などの平均値を予測値とし、これらの予測値と、実際に短冊領域の移動量に基づいて求めた部分画像間の動き量などを比較して、その差がすべて予め定める閾値以下であれば、実際に求めた動き量などは信頼できると判断する。等加速度運動や等角速度運動の場合は、動物体の動き予測の場合と同様に、調べる部分画像を１つ増やして予測すれば良い。
【００７９】
また、上述の説明では部分画像の撮影時間間隔が等しいという前提で予測しているが、撮影時間間隔が等しくないときは、時間間隔も考慮して予測しなければならない。たとえば、等加速度運動をしているときに、時間間隔ｔ１，ｔ２で撮影された部分画像の動き量がｄ０，ｄ１である場合は、次に予測される動き量ｄ２は、
ｄ２＝ｄ１＋（ｄ１−ｄ０）／ｔ１×ｔ２
で求められる。
【００８０】
以上のように第６の実施の形態によれば、部分画像動き算出部３で求められた部分画像全体の動き量、回転量、拡大縮小率を格納しておき、格納された数値から現在処理中の部分画像の各短冊領域の移動量、動き量、回転量、拡大縮小率を予測し、求めた部分画像の各短冊領域の移動量、動き量、回転量、拡大縮小率が予測値の範囲内に収まっているかどうかを判断することで、部分画像全体の動き量などをより正確に求めることができ、ひいては、動物体の検出精度を上げることができる。これは、たとえば、部分画像全体あるいはほとんどが動物体で占められてしまい、その部分画像を見ただけでは背景の動きを得ることができないような場合に有効である。このような場合は、現在処理中の部分画像の前後の部分画像で背景の正確な動きが算出されていたら、その動きから現在処理中の部分画像の動き量、回転量、拡大縮小率の値を予測し、その予測値の範囲内に実際に求めた値が収まっているかどうかで知ることができる。
【００８１】
続いて、本発明の実施の第７の形態である画像合成装置について説明する。画像合成装置の構成は、前述の図８に示す構成と同一であるが、相違点は部分画像動き算出部３ａの処理内容が異なることである。
【００８２】
部分画像動き算出部３ａは、合成画像の対象となるすべての部分画像または予め定める枚数の部分画像に関して、一旦、部分画像間の動き量、回転量、拡大縮小率を求め、部分画像動き格納部１０に格納しておく。その後、格納してある値に基づいて予測値を求め、予測値の範囲内に各部分画像の動き量などが収まっているかどうかを判断し、収まっていなければ再び求め直す。予測値としては、平均値や中央値を求めても良いし、あるいは大幅に外れた値を外して平均値や中央値を求める処理を繰り返して求めるようにしても良い。
【００８３】
前述の実施の形態で述べた処理で求められる部分画像間の動き量などは、必ずしも正しいとは限らない。単純に部分画像間で動き量の算出を誤るだけでなく、その誤りが伝播していくこともある。つまり、過去の部分画像間の動き量などから予測される値と比較して現在処理中の部分画像の動き量などを算出する際に、過去の動き量などが誤って算出されている可能性があるためである。特に、合成開始時の最初の数枚の部分画像を処理した時点では、動物体が最初から部分画像の多くを占めている可能性もあり、動物体の動きを部分画像全体の動き（撮像手段の動き）として、誤って算出する可能性が高い。
【００８４】
これを防ぐには、ある一定枚数の部分画像間で一度動き量などを算出しておき、その後、部分画像全体の正確な動き量などを全体を通して修正してから、再び部分画像の動き算出処理などを行えば良い。全体の動き量を求める簡単な方法は、平均値や中央値を求めることである。このように処理することによって、正確な値に基づいて背景か動物体かの判断を行うことができるので、より正確な判断、算出が可能になる。
【００８５】
あるいは、ある一定枚数の部分画像間で一度動き量などを算出しておき、その後、動き量などの算出が正しいと思われる部分画像から出発して、その前後の部分画像で再び部分画像の動き算出処理などを行っていけば、正確な値に基づいて背景か動物体かの判断を行えるので、より正確な判断、算出が可能になる。正しいと思われる部分画像は、部分画像全体の動き量と近い値を部分画像の動きと判断した部分画像を選べば良い。あるいは、ユーザに指定してもらっても良い。
【００８６】
続いて、本発明の実施の第８の形態である画像合成装置について説明する。画像合成装置の構成は、前述の各実施の形態の構成と同一であるが、相違点は動物体検出部６の処理内容が異なることである。
【００８７】
前述の各実施の形態では、動物体が１個の場合のみを説明したが、動物体が複数個ある場合は、部分画像の動き量の算出処理で除かれた短冊領域、すなわち移動量が他の短冊領域とは大幅に異なる連続する短冊領域間で、同様の動物体を検出する手順を繰り返せば、複数の動物体にも対応できる。動物体の動き量に差がある場合は、たとえ動物体が重なったり、近づいたりしても、この手法で複数の動物体を区別できる。
【００８８】
また、前述の各実施の形態では、動物体の存在候補の短冊領域から直接、動物体の位置および動き量を求めてから、すでに検出されている動物体の予測位置および予測動き量を求めて、同一かどうかを調べている。逆に、本実施の形態では、すでに検出されている他の動物体の予測位置および予測動き量を求めてから、その結果を動物体の存在候補の短冊領域の位置および動き量と比較して、予め定める閾値以内に収まっているならば同一の動物体と判断し、その動物体の位置および動き量を求めている。この場合、複数の動物体が、短冊領域の動きとしては同程度の動きとなって重なったり近づいたりした場合、先に述べた方法では、１つの動物体として認識してしまうが、後の方法では、たとえ重なったりしたとしても、重なっていることが予測できる。再びそれらの動物体が分かれれば、また追跡をしていけば良い。
【００８９】
ただし、分かれた動物体の区別がはっきりとはつかないので、その場合は、動物体の存在領域の画像自体を相関などで比べて、どちらの動物体か判断するなどの処理が必要となる。あるいは、ユーザに指示してもらうようにしても良い。
【００９０】
図９は、本発明の実施の第９の形態である画像合成装置の構成を示すブロック図である。本実施の形態の画像合成装置の構成は、前述の図８に示す構成とほぼ同一であるが、相違点は動物体ユーザ指定部１１を新たに設け、動物体検出部６の処理内容が異なることである。
【００９１】
動物体検出部６は、動物体ユーザ指定部１１から与えられる動物体が存在している部分画像または部分画像中の領域を表す情報ｐに基づいて、指示された部分画像または部分画像中の領域に対して動物体の検出処理を行う。これによって、簡単かつ正確に動物体を検出することができる。これは、短冊領域に基づく処理では正確に動き量が求められないような小さな動物体や特徴の少ない動物体が存在している場合、あるいは複数の動物体が複雑に動き合っているような場合に、特に有効である。また、表示装置の画面のように、位置は変わらないが、画面の模様の変化によって動いているように見える領域を指示しないようすることで、不自然な合成が行われないようにすることも可能である。
【００９２】
図１０は、本発明の実施の第１０の形態である画像合成装置の構成を示すブロック図である。本実施の形態の画像合成装置の構成は、前述の図９に示す構成とほぼ同一であるが、相違点は書き込み範囲検出部１２を新たに設けたことである。
【００９３】
書き込み範囲検出部１２は、部分画像書き込み範囲算出部８から与えられる部分画像の書き込み範囲の境界部分が、合成画像またはすでに合成されている部分画像の書き込み範囲で、どこに位置するかを検出し、ずれがある場合などは修正する。修正された書き込み範囲情報ｑは、画像合成部４に与えられる。
【００９４】
書き込み範囲検出部１２は、たとえば、書き込み範囲の境界付近の小領域と合成画像との相関を求め、最もつながりが自然になるように書き込み範囲を修正することができる。あるいは、合成画像との相関を求めなくても、前記境界が合成されるだいたいの位置に基づいて、合成画像のその位置がどの部分画像から合成されているかを調べ、書き込み範囲の境界付近の小領域と合成位置付近の部分画像との相関を求めることでも、同様に修正することができる。その場合、短冊動き検出部２を利用して、離れた部分画像間でマッチングさせ、その結果を利用する形で、上述の処理を実行することもできる。
【００９５】
以上のように第１０の実施の形態によれば、合成する部分画像の書き込み範囲が求められたら、その境界部分が合成画像またはすでに合成されている部分画像の書き込み範囲でどこに位置するかを検出し、書き込み範囲が修正され、修正された書き込み範囲に対して、部分画像を合成して、合成画像が作成されるので、画像合成において境界部分でずれが発生することを防ぐことができる。特に、動物体の切り出しを行って合成する場合や、書き込み範囲に画像の周辺部が含まれているような場合に、有効である。これは、部分画像全体の動き量はあくまで平均的な動き量であるため、実際にその動き量で合成してみると、微妙なずれがでてきてしまうからである。
【００９６】
また、通常、部分画像間の動き量は、時間的・空間的に最も近い部分画像間で求めることが多いため、書き込み範囲が広くなると、境界部分は部分画像間の動き量を求めた部分画像とは違う部分画像またはその一部から合成された合成画像と接してしまうからである。そのため、大まかな合成位置を得た後で、改めて境界部分が一致するような位置を求めて修正することで、より一層自然なつなぎ目を持つ合成画像を作成することができる。
【００９７】
【発明の効果】
以上のように本発明によれば、部分画像を画像の縦方向または横方向にそって複数に分割して短冊領域にし、部分画像間での各短冊領域の移動量を求め、各短冊領域の移動量から部分画像間の動き量を求めるようにしたので、たとえば撮像手段が回転したり、ズーム撮影やワイド撮影をするなどして、単純な平行移動には見えないような部分画像が撮影されたとしても、移動量の検出に用いられる短冊領域は部分画像に比べて大きさが小さいため、撮像手段の回転やズーム撮影・ワイド撮影の影響が小さく、各短冊領域の部分画像間での移動量を平行移動として求めても、その誤差は小さい。また、各短冊領域の移動量の分布を見ることで、撮像手段が平行移動したのか、回転したのか、あるいはズーム撮影・ワイド撮影をしたのかなどを簡単に知ることができ、その情報に基づいてアフィン変換や逆透視変換などの画像変形を部分画像に施して画像を合成することができ、より自然なつながりを持った合成画像を得ることができる。
【００９８】
また、たとえば静的な風景を撮影中に、風景中を人が横切るような場合や、撮像手段を平行移動して撮影する際に、手前のものが奥のものより相対的に速く平行移動しているように見える場合など、部分画像中で物体が背景と比べて相対的に動いているように見えるときは、短冊領域単位で動きを見ることで、動物体の動きと背景の大まかな動きとが別々に得られる。背景の動きが得られれば、もし背景を中心に合成したいならば、撮像手段の全体の動きを正確に知ることができ、動物体に惑わされることなく、正確な位置関係を有する背景を持つ合成画像を得られるという効果がある。
【００９９】
また、部分画像を縦に分割して短冊領域を構成した場合、通常は複数の縦長の短冊領域が横方向に並ぶ形になる。撮像装置を横方向に動かして撮影した画像では、たとえば棒状の物体が画像上を縦方向に横切った場合、縦長の短冊領域中に動物体が収まりやすいため、動物体の正確な存在領域と動き量とを検出しやすくなる。さらに、部分画像の中央付近に位置する短冊領域の探索範囲は、周辺に位置する短冊領域に比べて、動き量を調べる探索範囲を広くとれるため、動き量の大きい動物体にも対応することが可能になる。
【０１００】
逆に、部分画像を横に分割して短冊領域を構成した場合、通常は複数の横長の短冊領域が縦方向に並ぶことになる。撮像装置を横方向に動かして撮影した画像では、たとえばバスや電車のような横長の動物体でも、動物体の正確な存在領域と動き量とを検出しやすくなる。手前（近景）と奥（遠景）の相対速度が違うような場合も、たとえば奥の画像を中心に合成する場合、奥の風景の動く範囲と動き量とを正確に得られるので、正確な配置の奥の風景を持つ合成画像を得られるという効果がある。なお、撮像装置を縦方向に動かして撮影する場合は、縦長の短冊領域と横長の短冊領域とでは、得られる効果は逆になる。
【０１０１】
また、合成画像に動物体を書き込む際に、その動物体が存在している複数の部分画像の中から１つを選択し、合成画像には選択した部分画像中の動物体の領域のみを書き込み、それ以外の部分画像からは動物体の領域を書き込まないようにすることで、合成画像中の動物体の画像が不自然に合成されることを防ぎ、さらに合成画像中に同一の動物体が複数現れることを防ぐことができる。
【０１０２】
また本発明によれば、合成画像に書き込む部分画像から動物体を除去して書き込むことによって、たとえば観光地で風景を撮影したときに見知らぬ人が横切ったような場合など、動物体自身が合成画像中に不要な場合に、動物体を除いて背景画像のみで合成画像を作成できるという効果を持つ。
【０１０３】
さらに本発明によれば、部分画像全体の動き量に加えて回転量および拡大縮小率が求め、求められた部分画像全体の動き量、回転量、拡大縮小率を、基準とする部分画像からの相対量を積算して絶対量として、部分画像をアフィン変換して合成する。したがって、撮影時に撮像手段が回転したり、ズーム撮影したりした場合などであっても、適正な部分画像に変換してから合成されるので、より自然なつながりの合成画像を得ることができる。
【０１０４】
さらに本発明によれば、合成画像に動物体を書き込む際に、その動物体が存在している複数の部分画像の中から、動物体が中心付近に位置する部分画像を選択、合成画像には選択した部分画像中の動物体の領域のみを書き込み、それ以外の部分画像からは動物体の領域を書き込まないようにすることで、動物体が部分画像からはみ出してしまっているような部分画像を選択する可能性が低くなり、また、動物体の領域も正確に求めやすくなる効果がある。動物体の領域を正確に求めやすくなるのは、前述したように、動物体の探索範囲を広くできるからである。さらに、通常、撮像手段は収差などで周辺部分よりも中央付近の方が歪みが小さく解像度も良いので、中央付近の画像を使うことで、歪みが少ない解像度も良い動物体の画像を合成画像として得られる効果もある。
【０１０５】
さらにまた本発明によれば、たとえば、書き込もうとする動物体がすでに書き込まれている別の動物体と位置的に重ならないように気をつけて、複数の部分画像の中から複数の部分画像を選択することによって、動物体が不自然に合成されることを防ぎ、かつ、合成画像中に同一の動物体が複数個現れているというような実際にはありえないような風景を合成画像として得られる効果がある。合成画像中に動物体をいくつ配置するか、あるいはどの時刻の動物体の画像を合成画像中に使うかは、ユーザの意図を反映させられるので、意図しない合成画像が得られる心配はない。
【０１０６】
さらにまた本発明によれば、部分画像動き算出手段で求められた部分画像全体の動き量、回転量、拡大縮小率を格納しておき、格納された数値から現在処理中の部分画像の各短冊領域の移動量、動き量、回転量、拡大縮小率を予測し、求めた部分画像の各短冊領域の移動量、動き量、回転量、拡大縮小率が予測値の範囲内に収まっているかどうかを判断することで、部分画像全体の動き量などをより正確に求めることができ、ひいては、動物体の検出精度を上げることができる。これは、たとえば、部分画像全体あるいはほとんどが動物体で占められてしまい、その部分画像を見ただけでは背景の動きを得ることができないような場合に有効である。このような場合は、現在処理中の部分画像の前後の部分画像で背景の正確な動きが算出されていたら、その動きから現在処理中の部分画像の動き量、回転量、拡大縮小率の値を予測し、その予測値の範囲内に実際に求めた値が収まっているかどうかで知ることができる。
【０１０７】
また本発明によれば、部分画像全体の動き量などを、一度、すべての部分画像または一部の部分画像に関して求めておき、その後、求めた部分画像全体の動き量などから予測値を求め、その予測値内に求めた部分画像全体の動き量などが収まっているかどうかを判断し、再度求め直すなどすることによって、より正確な部分画像全体の動き量などを求められる効果がある。これは、前述のように過去の部分画像全体の動き量などから予測される予測値と比較して現在処理中の部分画像の動き量を求める際に、過去の動き量などが誤って算出されている可能性があるためである。
【０１０８】
特に、合成開始時の最初の数枚の部分画像を処理した時点では、動物体が最初から部分画像の多くを占めている可能性もあり、誤って算出されている可能性が高い。そのため、ある一定枚数の部分画像に関して一度算出しておき、その後、全体を通して動き量などを修正してから、再び、部分画像の動き算出処理などを行えば、より正確な値に基づいて背景か動物体かの判断を行えるので、より正確な判断、算出が可能になる。あるいは、ある一定枚数の部分画像に関して一度算出しておき、その後、正しいと思われる部分画像を基準として、その前後の部分画像で再び部分画像の動き算出処理などを行っていけば、正確な値に基づいて背景か動物体かの判断を行えるので、より正確な判断、算出が可能になる。
【０１０９】
さらに本発明によれば、現在処理中の部分画像で検出された動物体の存在領域中の短冊領域の移動量の最大値と最小値との差が予め定める閾値以上ある場合、その領域中に複数の動物体が存在すると判断することで、複数の動物体が重なったり、近づいて見える場合でも、正確に複数の動物体として検出できる。複数の動物体を検出できれば、人混みなどの動物体が複雑に動き合っているような風景でも処理することができ、より自然な合成画像が得られる。これは、動物体の存在領域は、部分画像全体の動きから外れる短冊領域をその候補とするが、その領域中に複数の動物体が存在している場合や接近している場合は、そのままでは複数の動物体を認識することはできないが、異なる速度で動いている動物体は、短冊領域の移動量も含めて考えれば、存在領域中で見分けることができるからである。
【０１１０】
また、前記動物体情報格納手段に格納されている検出済動物体の存在領域および動き量に基づいて、現在処理中の部分画像における検出済動物体の存在領域および動き量を予測したときに、実際に検出された動物体の存在領域中に複数の動物体が存在すると予測された場合、その領域中に複数の動物体が存在すると判断することで、複数の動物体が重なったり、近づいて見える場合でも、正確に複数の動物体として検出できる。複数の動物体を検出できれば、人混みなどの動物体が複雑に動き合っているような風景でも処理することができ、より自然な合成画像が得られる。これは、たとえ存在領域中の短冊領域の移動量の差が小さかったとしても、その前後で動物体のそれぞれの動きが検出、追跡できていれば、その動きから予測して、その存在領域中に複数の動物体が存在するのかどうかを判断できるからである。
【０１１１】
さらにまた本発明によれば、ユーザから動物体の存在している部分画像や部分画像中の領域を指示してもらうことで、簡単かつ正確に動物体を検出することができる。これは、短冊領域に基づく処理では正確に動き量が求められないような小さな動物体や特徴の少ない動物体が存在している場合や、複数の動物体が複雑に動き合っているような場合に、特に有効である。
【０１１２】
また本発明によれば、合成する部分画像の書き込み範囲が求められたら、その境界部分が合成画像またはすでに合成されている部分画像の書き込み範囲でどこに位置するかを検出し、書き込み範囲が修正され、修正された書き込み範囲に対して、部分画像を合成して、合成画像が作成されるので、画像合成において境界部分でずれが発生することを防ぐことができる。特に、動物体の切り出しを行って合成する場合や、書き込み範囲に画像の周辺部が含まれているような場合に、有効である。これは、部分画像全体の動き量はあくまで平均的な動き量であるため、実際にその動き量で合成して見ると、微妙なずれがでてきてしまうからである。
【０１１３】
また、通常、部分画像間の動き量は、時間的・空間的に最も近い部分画像間で求めることが多いため、書き込み範囲が広くなると、境界部分は部分画像間の動き量を求めた部分画像とは違う部分画像またはその一部から合成された合成画像と接してしまうからである。そのため、大まかな合成位置を得た後で、改めて境界部分が一致するような位置を求めて修正することで、より一層自然なつなぎ目を持つ合成画像を作成することができる。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態である画像合成装置の構成を示すブロック図である。
【図２】短冊領域の一例を示す図である。
【図３】合成画像の作成処理を説明するための図である。
【図４】本発明の第２の実施の形態である画像合成装置の構成を示すブロック図である。
【図５】本発明の第３の実施の形態である画像合成装置の構成を示すブロック図である。
【図６】本発明の第４の実施の形態である画像合成装置の構成を示すブロック図である。
【図７】本発明の第５の実施の形態である画像合成装置の処理を説明するための図である。
【図８】本発明の第６の実施の形態である画像合成装置の処理を説明するための図である。
【図９】本発明の第９の実施の形態である画像合成装置の処理を説明するための図である。
【図１０】本発明の第１０の実施の形態である画像合成装置の処理を説明するための図である。
【符号の説明】
１ 部分画像格納部
２ 短冊動き検出部
３，３ａ 部分画像動き算出部
４，４ａ 画像合成部
５ 動物体情報格納部
６ 動物体検出部
７，７ａ 動物体書き込み画像判定部
８ 部分画像書き込み範囲算出部
９ 部分画像ユーザ指定部
１０ 部分画像動き格納部
１１ 動物体ユーザ指定部
１２ 書き込み範囲検出部
ａ 部分画像
ｂ 移動量
ｃ 動き量
ｄ 合成画像
ｅ 動物体情報
ｉ 動物体書き込み情報
ｊ 許可／不許可情報
ｋ，ｑ 書き込み範囲情報
ｎ，ｏ 部分画像動き情報

Claims (11)

1. 合成画像の一部分を構成する複数枚の部分画像を格納する部分画像格納手段と、
   前記部分画像格納手段から読み出した部分画像を、予め定める方向にそって複数の短冊領域に分割し、他の部分画像中のどの位置に各短冊領域がそれぞれ移動したかを検出し、各短冊領域の移動量を求める短冊領域動き検出手段と、
   前記短冊領域動き検出手段で求めた各短冊領域の移動量に基づいて、部分画像全体の動き量を求める部分画像動き算出手段と、
   背景部分と比較して相対的に動いているように見える動物体の存在領域、動物体の動き量、各部分画像中で検出された動物体間の同一性を表す動物体同一性情報、および動物体がすでに合成画像に書き込まれたかどうかを表す動物体書き込み情報を含む動物体情報を格納する動物体情報格納手段と、
   前記短冊領域動き検出手段で求められた短冊領域の移動量と、前記部分画像動き算出手段で求められた部分画像全体の動き量と、前記動物体情報格納手段に格納されている動物体の存在領域およびその動き量とに基づいて、部分画像中の動物体の存在領域およびその動き量と、すでに検出された動物体と同一かどうかを表す動物体同一性情報とを求める動物体検出手段と、
   前記動物体検出手段で求めた動物体の存在領域、その動き量、および動物体同一性情報に基づいて、部分画像中の動物体を合成画像中に書き込むかどうかを判断する動物体書き込み画像判定手段と、
   前記動物体書き込み画像判定手段から動物体の書き込み許可が与えられたときは、前記動物体検出手段で求められた動物体の存在領域およびその動き量に基づいて、動物体を含むような部分画像の書き込み範囲を決め、書き込み許可が与えられないときは、動物体を含まないような部分画像の書き込み範囲を決める部分画像書き込み範囲算出手段と、
   前記部分画像動き算出手段で求められた部分画像全体の動き量に応じて、前記部分画像書き込み範囲算出手段で求められた書き込み範囲の部分画像を合成して、合成画像を作成する画像合成手段とを含むことを特徴とする画像合成装置。
2. 合成画像の一部分を構成する複数枚の部分画像を格納する部分画像格納手段と、
   前記部分画像格納手段から読み出した部分画像を、予め定める方向にそって複数の短冊領域に分割し、他の部分画像中のどの位置に各短冊領域がそれぞれ移動したかを検出し、各短冊領域の移動量を求める短冊領域動き検出手段と、
   前記短冊領域動き検出手段で求めた各短冊領域の移動量に基づいて、部分画像全体の動き量を求める部分画像動き算出手段と、
   背景部分と比較して相対的に動いているように見える動物体の存在領域、動物体の動き量、各部分画像中で検出された動物体間の同一性を表す動物体同一性情報、および動物体がすでに合成画像に書き込まれたかどうかを表す動物体書き込み情報を含む動物体情報を格納する動物体情報格納手段と、
   前記短冊領域動き検出手段で求められた短冊領域の移動量と、前記部分画像動き算出手段で求められた部分画像全体の動き量と、前記動物体情報格納手段に格納されている動物体の存在領域およびその動き量とに基づいて、部分画像中の動物体の存在領域およびその動き量と、すでに検出された動物体と同一かどうかを表す動物体同一性情報とを求める動物体検出手段と、
   前記動物体検出手段で求められた動物体の存在領域およびその動き量に基づいて、動物体を含まないような部分画像の書き込み範囲を決める部分画像書き込み範囲算出手段と、
   前記部分画像動き算出手段で求められた部分画像全体の動き量に応じて、前記部分画像書き込み範囲算出手段で求められた書き込み範囲の部分画像を合成して、合成画像を作成する画像合成手段とを含むことを特徴とする画像合成装置。
3. 合成画像の一部分を構成する複数枚の部分画像を格納する部分画像格納手段と、
   前記部分画像格納手段から読み出した部分画像を、予め定める方向にそって複数の短冊領域に分割し、他の部分画像中のどの位置に各短冊領域がそれぞれ移動したかを検出し、各短冊領域の移動量を求める短冊領域動き検出手段と、
   前記短冊領域動き検出手段で求めた各短冊領域の移動量に基づいて、部分画像全体の動き量と、回転量と、拡大縮小率とを求める部分画像動き算出手段と、
   背景部分と比較して相対的に動いているように見える動物体の存在領域、動物体の動き量、各部分画像中で検出された動物体間の同一性を表す動物体同一性情報、および動物体がすでに合成画像に書き込まれたかどうかを表す動物体書き込み情報を含む動物体情報を格納する動物体情報格納手段と、
   前記短冊領域動き検出手段で求められた短冊領域の移動量と、前記部分画像動き算出手段で求められた部分画像全体の動き量と、前記動物体情報格納手段に格納されている動物体の存在領域およびその動き量とに基づいて、部分画像中の動物体の存在領域およびその動き量と、すでに検出された動物体と同一かどうかを表す動物体同一性情報とを求める動物体検出手段と、
   前記動物体検出手段で求めた動物体の存在領域、その動き量、および動物体同一性情報に基づいて、部分画像中の動物体を合成画像中に書き込むかどうかを判断する動物体書き込み画像判定手段と、
   前記動物体書き込み画像判定手段から動物体の書き込み許可が与えられたときは、前記動物体検出手段で求められた動物体の存在領域およびその動き量に基づいて、動物体を含むような部分画像の書き込み範囲を決め、書き込み許可が与えられないときは、動物体を含まないような部分画像の書き込み範囲を決める部分画像書き込み範囲算出手段と、
   前記部分画像書き込み範囲算出手段で求められた書き込み範囲の部分画像を、前記部分画像動き算出手段で求めた部分画像全体の動き量と、回転量と、拡大縮小率とに基づいてアフィン変換してから合成して、合成画像を作成する画像合成手段とを含むことを特徴とする画像合成装置。
4. 合成画像の一部分を構成する複数枚の部分画像を格納する部分画像格納手段と、
   前記部分画像格納手段から読み出した部分画像を、予め定める方向にそって複数の短冊領域に分割し、他の部分画像中のどの位置に各短冊領域がそれぞれ移動したかを検出し、各短冊領域の移動量を求める短冊領域動き検出手段と、
   前記短冊領域動き検出手段で求めた各短冊領域の移動量に基づいて、部分画像全体の動き量と、回転量と、拡大縮小率とを求める部分画像動き算出手段と、
   背景部分と比較して相対的に動いているように見える動物体の存在領域、動物体の動き量、各部分画像中で検出された動物体間の同一性を表す動物体同一性情報、および動物体がすでに合成画像に書き込まれたかどうかを表す動物体書き込み情報を含む動物体情報を格納する動物体情報格納手段と、
   前記短冊領域動き検出手段で求められた短冊領域の移動量と、前記部分画像動き算出手段で求められた部分画像全体の動き量と、前記動物体情報格納手段に格納されている動物体の存在領域およびその動き量とに基づいて、部分画像中の動物体の存在領域およびその動き量と、すでに検出された動物体と同一かどうかを表す動物体同一性情報とを求める動物体検出手段と、
   前記動物体検出手段で求められた動物体の存在領域およびその動き量に基づいて、動物体を含まないような部分画像の書き込み範囲を決める部分画像書き込み範囲算出手段と、
   前記部分画像書き込み範囲算出手段で求められた書き込み範囲の部分画像を、前記部分画像動き算出手段で求めた部分画像全体の動き量と、回転量と、拡大縮小率とに基づいてアフィン変換してから合成して、合成画像を作成する画像合成手段とを含むことを特徴とする画像合成装置。
5. 前記動物体書き込み画像判定手段は、動物体が中心付近に位置している部分画像を、動物体を合成画像中に書き込む部分画像として判定することを特徴とする請求項１または３に記載の画像合成装置。
6. どの部分画像を合成画像に書き込むかどうかを入力する書き込み画像指示手段をさらに備え、
   前記動物体書き込み画像判定手段は、前記書き込み画像指示手段によって指示された部分画像を、動物体を合成画像中に書き込む部分画像として判定することを特徴とする請求項１または３に記載の画像合成装置。
7. 前記部分画像動き算出手段で求められた部分画像全体の動き量と、回転量と、拡大縮小率とを格納する部分画像動き格納手段をさらに備え、
   前記部分画像動き算出手段は、前記部分画像動き格納手段に格納されているすでに求められた別の部分画像の動き量、回転量、拡大縮小率から予測される数値範囲内に、各短冊領域の移動量、部分画像全体の動き量、回転量、拡大縮小率が収まっているかどうかを判断して、部分画像全体の動き量、回転量、拡大縮小率を求めることを特徴とする請求項３または４に記載の画像合成装置。
8. 前記部分画像動き算出手段で求められた部分画像全体の動き量と、回転量と、拡大縮小率とを格納する部分画像動き格納手段をさらに備え、
   前記部分画像動き算出手段は、予め定める枚数の部分画像に関してそれぞれ部分画像全体の動き量、回転量、拡大縮小率を求めて、一旦前記部分画像格納手段に格納した後に、求めた値から予測される数値範囲内に、格納した部分画像全体の動き量、回転量、拡大縮小率が収まっているかどうかを判断し、収まっていなければその部分画像に関して再度部分画像全体の動き量、回転量、拡大縮小率を求め直すことを特徴とする請求項３または４に記載の画像合成装置。
9. 前記動物体検出手段は、現在処理中の部分画像で検出された動物体の存在領域中の短冊領域の移動量の最大値と最小値との差が予め定める閾値以上ある場合、または、前記動物体情報格納手段に格納されている検出済み動物体の存在領域および動き量に基づいて、現在処理中の部分画像における検出済み動物体の存在領域および動き量を予測したときに、実際に検出された動物体の存在領域中に複数の動物体が存在すると予測された場合には、現在処理中の部分画像には複数の動物体が存在するものとして処理することを特徴とする請求項１〜４のいずれか１つに記載の画像合成装置。
10. 動物体が存在している部分画像または部分画像中の領域を指示する動物体指示手段をさらに備え、
    前記動物体検出手段は、前記動物体指示手段の指示に基づいて動物体を検出することを特徴とする請求項１〜４のいずれか１つに記載の画像合成装置。
11. 前記部分画像書き込み範囲算出手段で求めた部分画像の書き込み範囲の境界部分が、合成画像またはすでに合成されている部分画像の書き込み範囲でどこに位置するかを検出し、書き込み範囲を修正する書き込み範囲修正検出手段をさらに備え、
    前記画像合成手段は、前記部分画像書き込み範囲算出手段で求めた部分画像の書き込み範囲に代えて、前記書き込み範囲修正検出手段で修正した書き込み範囲の部分画像を合成して、合成画像を作成することを特徴とする請求項１〜４のいずれか１つに記載の画像合成装置。

Images