JPH10126665A

JPH10126665A - 画像合成装置

Info

Publication number: JPH10126665A
Application number: JP8271174A
Authority: JP
Inventors: Masashi Hirozawa; 昌司広沢; Kazuyuki Nako; 和行名古; Hiroyuki Akagi; 宏之赤木; Yoshihiro Kitamura; 義弘北村
Original assignee: Sharp Corp
Current assignee: Sharp Corp
Priority date: 1996-10-14
Filing date: 1996-10-14
Publication date: 1998-05-15
Anticipated expiration: 2016-10-14
Also published as: JP3757008B2

Abstract

(57)【要約】【課題】三脚などの特殊な器具を使わずに撮影した画
像を簡単かつ高速に合成することができ、また被写体に
動いている物体を含むような場合でも自然なつながりを
持つ合成画像を作成することができる画像合成装置を提
供する。【解決手段】撮像装置から出力される部分画像は、部
分画像格納部１に格納される。部分画像とは、合成画像
の一部分を構成するものである。格納された部分画像
は、短冊動き検出部２によって複数の短冊領域に分割さ
れ、分割後、他の部分画像中のどの位置に各短冊領域が
それぞれ移動したかを検出し、各短冊領域の移動量を求
める。部分画像動き算出部３では、求められた各短冊領
域の移動量に基づいて、２つの部分画像間での部分画像
全体の動き量が求められる。その後、求められた部分画
像全体の動き量に応じて部分画像をずらして合成し、合
成画像を作成する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、いわゆるデジタル
カメラやビデオカメラなどの撮像装置に好適に実施さ
れ、撮像装置が持つ所定の画角よりも広い画角の画像
を、解像度を落すことなく、複数枚の画像の合成によっ
て実現することができる画像合成装置に関する。

【０００２】

【従来の技術】一般的な撮像装置に用いられている撮像
素子は、予め定める数の画素で構成されており、撮像装
置の画角は予め定められている。したがって、撮像装置
が持つ所定の画角よりも広い画角の画像であるいわゆる
パノラマ画像を解像度を落すことなく作成する場合、パ
ノラマ画像専用の撮像装置を用いると、特殊な光学部品
の使用や撮像素子の画素数の増加などによって装置自体
のコストが高くなり、不経済である。そのため、高精細
のパノラマ画像を安価に得るために、撮像装置で撮影さ
れた複数枚の画像を合成する画像合成装置が用いられて
いる。

【０００３】たとえば、特開平２−１５１１８２号公報
に開示されているパノラマ画像作成用ビデオカメラで
は、カメラを三脚上で回転させて撮影させ、その回転角
に応じて画像をずらして重ねあわせて合成している。し
かし、撮影には三脚が必要であり、また回転角の検出の
ための回路も必要であり、大がかりでかつ特殊な器具・
回路を必要とし、コスト高になり、また携帯には不便で
あり、操作性、使用性、利便性の点で問題がある。

【０００４】また、特開平３−３４７８０号公報に開示
されている実時間画像合成装置では、空間的な２自由度
を持たせて撮影した複数枚の画像を、画像間の相関を検
出して合成している。しかし、被写体が静的でなく、動
いている物体を含んでいるような場合は、次の画像を撮
影する間に被写体が動いてしまい、画像間のつながりが
保証できなくなり、より自然な画像の合成ができないと
いう欠点がある。

【０００５】

【発明が解決しようとする課題】本発明の目的は、三脚
などの特殊な器具を使わずに撮影した複数枚の画像を簡
単かつ高速に合成することができ、また被写体に動いて
いる物体を含むような場合でも自然なつながりを持つ合
成画像を作成することができる画像合成装置を提供する
ことである。

【０００６】

【課題を解決するための手段】本発明は、合成画像の一
部分を構成する複数枚の部分画像を格納する部分画像格
納手段と、前記部分画像格納手段から読み出した部分画
像を、予め定める方向にそって複数の短冊領域に分割
し、他の部分画像中のどの位置に各短冊領域がそれぞれ
移動したかを検出し、各短冊領域の移動量を求める短冊
領域動き検出手段と、前記短冊領域動き検出手段で求め
た各短冊領域の移動量に基づいて、部分画像全体の動き
量を求める部分画像動き算出手段と、前記部分画像動き
算出手段で求めた部分画像全体の動き量に応じて、前記
部分画像格納手段に格納されている複数枚の部分画像を
合成して合成画像を作成する画像合成手段とを含むこと
を特徴とする画像合成装置である。本発明に従えば、所
定の画素数および画角を有する撮像手段から出力される
部分画像は、部分画像格納手段に撮影順序にしたがって
順番に格納される。部分画像とは、撮像手段の画角より
広い画角の画像である合成画像の一部分を構成するもの
である。格納された部分画像は、短冊領域動き検出手段
によって読み出され、予め定める方向にそって複数の短
冊領域に分割される。予め定める方向とは、一般に矩形
状で得られる画像の縦方向または横方向である。分割
後、たとえば時間的に後で撮影した他の部分画像中のど
の位置に各短冊領域がそれぞれ移動したかを検出し、各
短冊領域の移動量を求める。部分画像動き算出手段で
は、求められた各短冊領域の移動量に基づいて、２つの
部分画像間の動き量、すなわち時間的に後で撮影された
部分画像と先に撮影された部分画像との間での部分画像
全体の動き量が求められる。その後、求められた部分画
像全体の動き量に応じて、複数枚の部分画像が合成され
て合成画像が作成される。

【０００７】また本発明は、合成画像の一部分を構成す
る複数枚の部分画像を格納する部分画像格納手段と、前
記部分画像格納手段から読み出した部分画像を、予め定
める方向にそって複数の短冊領域に分割し、他の部分画
像中のどの位置に各短冊領域がそれぞれ移動したかを検
出し、各短冊領域の移動量を求める短冊領域動き検出手
段と、前記短冊領域動き検出手段で求めた各短冊領域の
移動量に基づいて、部分画像全体の動き量を求める部分
画像動き算出手段と、背景部分と比較して相対的に動い
ているように見える動物体の存在領域、動物体の動き
量、各部分画像中で検出された動物体間の同一性を表す
動物体同一性情報、および動物体がすでに合成画像に書
き込まれたかどうかを表す動物体書き込み情報を含む動
物体情報を格納する動物体情報格納手段と、前記短冊領
域動き検出手段で求められた短冊領域の移動量と、前記
部分画像動き算出手段で求められた部分画像全体の動き
量と、前記動物体情報格納手段に格納されている動物体
の存在領域およびその動き量とに基づいて、部分画像中
の動物体の存在領域およびその動き量と、すでに検出さ
れた動物体と同一かどうかを表す動物体同一性情報とを
求める動物体検出手段と、前記動物体検出手段で求めた
動物体の存在領域、その動き量、および動物体同一性情
報に基づいて、部分画像中の動物体を合成画像中に書き
込むかどうかを判断する動物体書き込み画像判定手段
と、前記動物体書き込み画像判定手段から動物体の書き
込み許可が与えられたときは、前記動物体検出手段で求
められた動物体の存在領域およびその動き量に基づい
て、動物体を含むような部分画像の書き込み範囲を決
め、書き込み許可が与えられないときは、動物体を含ま
ないような部分画像の書き込み範囲を決める部分画像書
き込み範囲算出手段と、前記部分画像動き算出手段で求
められた部分画像全体の動き量に応じて、前記部分画像
書き込み範囲算出手段で求められた書き込み範囲の部分
画像を合成して、合成画像を作成する画像合成手段とを
含むことを特徴とする画像合成装置である。

【０００８】本発明に従えば、撮像手段から出力される
部分画像は、部分画像格納手段に撮影順序にしたがって
順番に格納される。格納された部分画像は、短冊領域動
き検出手段によって読み出され、予め定める方向にそっ
て複数の短冊領域に分割される。分割後、他の部分画像
中のどの位置に各短冊領域がそれぞれ移動したかを検出
し、各短冊領域の移動量を求める。部分画像動き算出手
段では、求められた各短冊領域の移動量に基づいて、２
つの部分画像間での部分画像全体の動き量が求められ
る。また、動物体検出手段では、短冊領域動き検出手段
で求められた短冊領域の移動量と、部分画像動き量算出
手段で求められた部分画像全体の動き量とに基づいて、
部分画像中の動物体の存在領域とその動き量とが求めら
れる。短冊領域の移動量が部分画像全体の動き量とほぼ
同じときは、その短冊領域内の被写体は撮像手段が移動
したために結果として移動したものであり、したがって
その短冊領域内には動物体は存在していないものと判断
される。一方、短冊領域の移動量が部分画像全体の動き
量とはかなり異なるときは、その短冊領域内の被写体は
撮像手段の移動とは異なる動きをしたものであり、した
がってその短冊領域内に動物体が存在しているものと判
断される。これによって、動物体の存在領域が求められ
る。また、動物体が存在しているものと判断された短冊
領域の移動量の平均値を求めるなどして、動物体の動き
量が求められる。続いて、すでに動物体情報格納手段に
動物体情報が格納されているときは、すでに検出された
動物体と現在処理している部分画像中で検出された動物
体とが同一のものかどうかを判断する。検出済動物体の
存在領域とその動き量とに基づいて、現在処理中の部分
画像中での当該検出済動物体の位置と動き量とを予測
し、予測した位置および動き量が求められた存在領域お
よび動き量と一致した場合は、現在処理中の部分画像中
で検出された動物体は検出済動物体と同一であると判断
し、動物体同一性情報が求められる。求められた動物体
の存在領域、その動き量および動物体同一性情報は、動
物体情報格納手段に格納される。また、動物体書き込み
画像判定手段では、動物体検出手段で求められた動物体
の存在領域、その動き量および動物体同一性情報に基づ
いて、部分画像中の動物体を合成画像中に書き込むかど
うかを判断する。検出された動物体が検出済動物体と同
一であり、かつ検出済動物体がすでに合成画像中に書き
込まれているときは、書き込まないと判断する。検出さ
れた動物体がまだ合成画像中に書き込まれていないとき
は、書き込むと判断する。

【０００９】また、たとえば別の部分画像中ですでに検
出された動物体の情報を格納しておき、現在処理してい
る部分画像中で検出された動物体の存在領域およびその
動き量と比較することによって、検出された動物体がす
でに検出された動物体と同一かどうかを判断し、動物体
が複数の部分画像間でどのように動いているかを追跡す
ることができる。この追跡結果に基づいて、合成画像に
動物体を書き込む際に、その動物体が画像中に存在して
いる複数の部分画像の中から１つだけ選択し、合成画像
には選択した部分画像中の動物体の領域のみ書き込み、
それ以外の部分画像からは動物体の領域を書き込まない
ようにすることで、合成画像中の動物体の画像が不自然
に合成されることを防ぎ、さらに合成画像中に同一の動
物体が複数現れることを防ぐことができる。合成画像中
の動物体が不自然に合成されている場合とは、たとえ
ば、部分画像から合成画像に書き込む際に、書き込む領
域の境界上に動物体の一部がかかっており、動物体が動
くことでその境界付近の画像が変わってしまい、異なる
時刻の動物体の画像をつぎはぎしたような合成画像にな
ってしまう場合や、あるいは動物体の画像がその境界で
一部が消えてなくなり、動物体がちぎれたような合成画
像になってしまうような場合を指す。この判断結果であ
る動物体書き込み情報は、動物体情報格納手段に格納さ
れるとともに、部分画像書き込み範囲検出手段に与えら
れる。部分画像書き込み範囲検出手段では、部分画像の
書き込み範囲を決定する。動物体の書き込み許可が与え
られたときは、求められた動物体の存在領域および動き
量に基づいて、その動物体を含むような書き込み範囲を
求める。動物体の書き込み許可が与えられないときは、
その動物体を含まないような書き込み範囲を求める。求
められた書き込み範囲は、画像合成手段に与えられる。
画像合成手段では、求められた部分画像全体の動き量に
応じて、求められた書き込み範囲の部分画像が合成さ
れ、合成画像が作成される。

【００１０】また本発明は、合成画像の一部分を構成す
る複数枚の部分画像を格納する部分画像格納手段と、前
記部分画像格納手段から読み出した部分画像を、予め定
める方向にそって複数の短冊領域に分割し、他の部分画
像中のどの位置に各短冊領域がそれぞれ移動したかを検
出し、各短冊領域の移動量を求める短冊領域動き検出手
段と、前記短冊領域動き検出手段で求めた各短冊領域の
移動量に基づいて、部分画像全体の動き量を求める部分
画像動き算出手段と、背景部分と比較して相対的に動い
ているように見える動物体の存在領域、動物体の動き
量、各部分画像中で検出された動物体間の同一性を表す
動物体同一性情報、および動物体がすでに合成画像に書
き込まれたかどうかを表す動物体書き込み情報を含む動
物体情報を格納する動物体情報格納手段と、前記短冊領
域動き検出手段で求められた短冊領域の移動量と、前記
部分画像動き算出手段で求められた部分画像全体の動き
量と、前記動物体情報格納手段に格納されている動物体
の存在領域およびその動き量とに基づいて、部分画像中
の動物体の存在領域およびその動き量と、すでに検出さ
れた動物体と同一かどうかを表す動物体同一性情報とを
求める動物体検出手段と、前記動物体検出手段で求めら
れた動物体の存在領域およびその動き量に基づいて、動
物体を含まないような部分画像の書き込み範囲を決める
部分画像書き込み範囲算出手段と、前記部分画像動き算
出手段で求められた部分画像全体の動き量に応じて、前
記部分画像書き込み範囲算出手段で求められた書き込み
範囲の部分画像を合成して、合成画像を作成する画像合
成手段とを含むことを特徴とする画像合成装置である。
本発明に従えば、撮像手段から出力される部分画像は、
部分画像格納手段に撮影順序にしたがって順番に格納さ
れる。格納された部分画像は、短冊領域動き検出手段に
よって読み出され、予め定める方向にそって複数の短冊
領域に分割される。分割後、他の部分画像中のどの位置
に各短冊領域がそれぞれ移動したかを検出し、各短冊領
域の移動量を求める。部分画像動き算出手段では、求め
られた各短冊領域の移動量に基づいて、２つの部分画像
間での部分画像全体の動き量が求められる。また、動物
体検出手段では、短冊領域動き検出手段で求められた短
冊領域の移動量と、部分画像動き量算出手段で求められ
た部分画像全体の動き量とに基づいて、部分画像中の動
物体の存在領域とその動き量とが求められる。短冊領域
の移動量が部分画像全体の動き量とほぼ同じときは、そ
の短冊領域の被写体は撮像手段が移動したために結果と
して移動したものであり、したがってその短冊領域内に
は動物体は存在していないものと判断される。一方、短
冊領域の移動量が部分画像全体の動き量とはかなり異な
るときは、その短冊領域内の被写体は撮像手段の移動と
は異なる動きをしたものであり、したがってその短冊領
域内に動物体が存在しているものと判断される。これに
よって、動物体の存在領域が求められる。また、動物体
が存在しているものと判断された短冊領域の移動量の平
均値を求めるなどして、動物体の動き量が求められる。
続いて、すでに動物体情報格納手段に動物体情報が格納
されているときは、すでに検出された動物体と現在処理
している部分画像中で検出された動物体とが同一のもの
かどうかを判断する。検出済動物体の存在領域とその動
き量とに基づいて、現在処理中の部分画像中での検出済
動物体の位置と動き量とを予測し、予測した位置および
動き量が求められた存在領域および動き量と一致した場
合は、現在処理中の部分画像中で検出された動物体は検
出済動物体と同一であると判断し、動物体同一性情報が
求められる。求められた動物体の存在領域、その動き量
および動物体同一性情報は、動物体情報格納手段に格納
される。部分画像書き込み範囲検出手段では、部分画像
の書き込み範囲を決定する。書き込み範囲は、求められ
た動物体の存在領域および動き量に基づいて、その動物
体を含まないような書き込み範囲を求める。求められた
書き込み範囲は、画像合成手段に与えられる。画像合成
手段では、求められた部分画像全体の動き量に応じて、
求められた書き込み範囲の部分画像が合成され、合成画
像が作成される。

【００１１】さらに本発明は、合成画像の一部分を構成
する複数枚の部分画像を格納する部分画像格納手段と、
前記部分画像格納手段から読み出した部分画像を、予め
定める方向にそって複数の短冊領域に分割し、他の部分
画像中のどの位置に各短冊領域がそれぞれ移動したかを
検出し、各短冊領域の移動量を求める短冊領域動き検出
手段と、前記短冊領域動き検出手段で求めた各短冊領域
の移動量に基づいて、部分画像全体の動き量と、回転量
と、拡大縮小率とを求める部分画像動き算出手段と、前
記部分画像動き算出手段で求めた部分画像全体の動き量
と、回転量と、拡大縮小率とに基づいて、前記部分画像
格納手段に格納されている複数枚の部分画像をアフィン
変換してから合成して、合成画像を作成する画像合成手
段とを含むことを特徴とする画像合成装置である。本発
明に従えば、撮像手段から出力される部分画像は、部分
画像格納手段に撮影順序にしたがって順番に格納され
る。格納された部分画像は、短冊領域動き検出手段によ
って読み出され、予め定める方向にそって複数の短冊領
域に分割される。分割後、他の部分画像中のどの位置に
各短冊領域がそれぞれ移動したかを検出し、各短冊領域
の移動量を求める。部分画像動き算出手段では、撮影時
に撮像手段が回転したり、ズーム撮影したりした場合な
どを考慮して、求められた各短冊領域の移動量に基づい
て、２つの部分画像間での部分画像全体の動き量、回転
量、拡大縮小率が求められる。求められた部分画像全体
の動き量、回転量、拡大縮小率は、部分画像間の相対量
なので、合成画像ではいずれかの部分画像を基準とし
て、その部分画像からの絶対量を求めて合成しなければ
ならない。そのため、画像合成手段では、基準とする部
分画像からの相対量を積算して絶対量として、複数枚の
部分画像をアフィン変換してから合成して、合成画像を
作成する。

【００１２】さらにまた本発明は、合成画像の一部分を
構成する複数枚の部分画像を格納する部分画像格納手段
と、前記部分画像格納手段から読み出した部分画像を、
予め定める方向にそって複数の短冊領域に分割し、他の
部分画像中のどの位置に各短冊領域がそれぞれ移動した
かを検出し、各短冊領域の移動量を求める短冊領域動き
検出手段と、前記短冊領域動き検出手段で求めた各短冊
領域の移動量に基づいて、部分画像全体の動き量と、回
転量と、拡大縮小率とを求める部分画像動き算出手段
と、背景部分と比較して相対的に動いているように見え
る動物体の存在領域、動物体の動き量、各部分画像中で
検出された動物体間の同一性を表す動物体同一性情報、
および動物体がすでに合成画像に書き込まれたかどうか
を表す動物体書き込み情報を含む動物体情報を格納する
動物体情報格納手段と、前記短冊領域動き検出手段で求
められた短冊領域の移動量と、前記部分画像動き算出手
段で求められた部分画像全体の動き量と、前記動物体情
報格納手段に格納されている動物体の存在領域およびそ
の動き量とに基づいて、部分画像中の動物体の存在領域
およびその動き量と、すでに検出された動物体と同一か
どうかを表す動物体同一性情報とを求める動物体検出手
段と、前記動物体検出手段で求めた動物体の存在領域、
その動き量、および動物体同一性情報に基づいて、部分
画像中の動物体を合成画像中に書き込むかどうかを判断
する動物体書き込み画像判定手段と、前記動物体書き込
み画像判定手段から動物体の書き込み許可が与えられた
ときは、前記動物体検出手段で求められた動物体の存在
領域およびその動き量に基づいて、動物体を含むような
部分画像の書き込み範囲を決め、書き込み許可が与えら
れないときは、動物体を含まないような部分画像の書き
込み範囲を決める部分画像書き込み範囲算出手段と、前
記部分画像書き込み範囲算出手段で求められた書き込み
範囲の部分画像を、前記部分画像動き算出手段で求めた
部分画像全体の動き量と、回転量と、拡大縮小率とに基
づいてアフィン変換してから合成して、合成画像を作成
する画像合成手段とを含むことを特徴とする画像合成装
置である。本発明に従えば、撮像手段から出力される部
分画像は、部分画像格納手段に撮影順序にしたがって順
番に格納される。格納された部分画像は、短冊領域動き
検出手段によって読み出され、予め定める方向にそって
複数の短冊領域に分割される。分割後、他の部分画像中
のどの位置に各短冊領域がそれぞれ移動したかを検出
し、各短冊領域の移動量を求める。部分画像動き算出手
段では、求められた各短冊領域の移動量に基づいて、２
つの部分画像間での部分画像全体の動き量、回転量、拡
大縮小率が求められる。また、動物体検出手段では、前
述と同様に短冊領域動き検出手段で求められた短冊領域
の移動量と、部分画像動き量算出手段で求められた部分
画像全体の動き量とに基づいて、部分画像中の動物体の
存在領域とその動き量とが求められる。続いて、すでに
動物体情報格納手段に動物体情報が格納されているとき
は、すでに検出された動物体と現在処理している部分画
像中で検出された動物体とが同一のものかどうかを判断
する。検出済動物体の存在領域とその動き量とに基づい
て、現在処理中の部分画像中での検出済動物体の位置と
動き量とを予測し、予測した位置および動き量が求めら
れた存在領域および動き量と一致した場合は、現在処理
中の部分画像中で検出された動物体は検出済動物体と同
一であると判断し、動物体同一性情報が求められる。求
められた動物体の存在領域、その動き量および動物体同
一性情報は、動物体情報格納手段に格納される。また、
動物体書き込み画像判定手段では、動物体検出手段で求
められた動物体の存在領域、その動き量および動物体同
一性情報に基づいて、部分画像中の動物体を合成画像中
に書き込むかどうかを判断する。検出された動物体が検
出済動物体と同一であり、かつ検出済動物体がすでに合
成画像中に書き込まれているときは、書き込まないと判
断する。検出された動物体がまだ合成画像中に書き込ま
れていないときは、書き込むと判断する。この判断結果
である動物体書き込み情報は、動物体情報格納手段に格
納されるとともに、部分画像書き込み範囲検出手段に与
えられる。部分画像書き込み範囲検出手段では、部分画
像の書き込み範囲を決定する。動物体の書き込み許可が
与えられたときは、求められた動物体の存在領域および
動き量に基づいて、その動物体を含むような書き込み範
囲を求める。動物体の書き込み許可が与えられないとき
は、その動物体を含まないような書き込み範囲を求め
る。求められた書き込み範囲は、画像合成手段に与えら
れる。画像合成手段では、求められた書き込み範囲の部
分画像を、前記部分画像動き算出手段で求めた部分画像
全体の動き量と、回転量と、拡大縮小率とに基づいてア
フィン変換してから合成して、合成画像を作成する。

【００１３】さらに本発明は、合成画像の一部分を構成
する複数枚の部分画像を格納する部分画像格納手段と、
前記部分画像格納手段から読み出した部分画像を、予め
定める方向にそって複数の短冊領域に分割し、他の部分
画像中のどの位置に各短冊領域がそれぞれ移動したかを
検出し、各短冊領域の移動量を求める短冊領域動き検出
手段と、前記短冊領域動き検出手段で求めた各短冊領域
の移動量に基づいて、部分画像全体の動き量と、回転量
と、拡大縮小率とを求める部分画像動き算出手段と、背
景部分と比較して相対的に動いているように見える動物
体の存在領域、動物体の動き量、各部分画像中で検出さ
れた動物体間の同一性を表す動物体同一性情報、および
動物体がすでに合成画像に書き込まれたかどうかを表す
動物体書き込み情報を含む動物体情報を格納する動物体
情報格納手段と、前記短冊領域動き検出手段で求められ
た短冊領域の移動量と、前記部分画像動き算出手段で求
められた部分画像全体の動き量と、前記動物体情報格納
手段に格納されている動物体の存在領域およびその動き
量とに基づいて、部分画像中の動物体の存在領域および
その動き量と、すでに検出された動物体と同一かどうか
を表す動物体同一性情報とを求める動物体検出手段と、
前記動物体検出手段で求められた動物体の存在領域およ
びその動き量に基づいて、動物体を含まないような部分
画像の書き込み範囲を決める部分画像書き込み範囲算出
手段と、前記部分画像書き込み範囲算出手段で求められ
た書き込み範囲の部分画像を、前記部分画像動き算出手
段で求めた部分画像全体の動き量と、回転量と、拡大縮
小率とに基づいてアフィン変換してから合成して、合成
画像を作成する画像合成手段とを含むことを特徴とする
画像合成装置である。本発明に従えば、撮像手段から出
力される部分画像は、部分画像格納手段に撮影順序にし
たがって順番に格納される。格納された部分画像は、短
冊領域動き検出手段によって読み出され、予め定める方
向にそって複数の短冊領域に分割される。分割後、他の
部分画像中のどの位置に各短冊領域がそれぞれ移動した
かを検出し、各短冊領域の移動量を求める。部分画像動
き算出手段では、求められた各短冊領域の移動量に基づ
いて、２つの部分画像間での部分画像全体の動き量、回
転量、拡大縮小率が求められる。また、動物体検出手段
では、短冊領域動き検出手段で求められた短冊領域の移
動量と、部分画像動き量算出手段で求められた部分画像
全体の動き量とに基づいて、部分画像中の動物体の存在
領域とその動き量とが求められる。短冊領域の移動量が
部分画像全体の動き量とほぼ同じときは、その短冊領域
の被写体は撮像手段が移動したために結果として移動し
たものであり、したがってその短冊領域内には動物体は
存在していないものと判断される。一方、短冊領域の移
動量が部分画像全体の動き量とはかなり異なるときは、
その短冊領域内の被写体は撮像手段の移動とは異なる動
きをしたものであり、したがってその短冊領域内に動物
体が存在しているものと判断される。これによって、動
物体の存在領域が求められる。また、動物体が存在して
いるものと判断された短冊領域の移動量の平均値を求め
るなどして、動物体の動き量が求められる。続いて、す
でに動物体情報格納手段に動物体情報が格納されている
ときは、すでに検出された動物体と現在処理している部
分画像中で検出された動物体とが同一のものかどうかを
判断する。検出済動物体の存在領域とその動き量とに基
づいて、現在処理中の部分画像中での検出済動物体の位
置と動き量とを予測し、予測した位置および動き量が求
められた存在領域および動き量と一致した場合は、現在
処理中の部分画像中で検出された動物体は検出済動物体
と同一であると判断し、動物体同一性情報が求められ
る。求められた動物体の存在領域、その動き量および動
物体同一性情報は、動物体情報格納手段に格納される。
部分画像書き込み範囲検出手段では、部分画像の書き込
み範囲を決定する。書き込み範囲は、求められた動物体
の存在領域および動き量に基づいて、その動物体を含ま
ないような書き込み範囲を求める。求められた書き込み
範囲は、画像合成手段に与えられる。画像合成手段で
は、求められた書き込み範囲の部分画像を、前記部分画
像動き算出手段で求めた部分画像全体の動き量と、回転
量と、拡大縮小率とに基づいてアフィン変換してから合
成して、合成画像を作成する。

【００１４】さらに本発明は、前記動物体書き込み画像
判定手段は、動物体が中心付近に位置している部分画像
を、動物体を合成画像中に書き込む部分画像として判定
することを特徴とする。本発明に従えば、動物体を合成
画像中に書き込む部分画像を判定するときは、同一の動
物体が検出された複数の部分画像がある場合は、動物体
が中心付近に位置している部分画像を選択する。これに
よって、比較的歪みの小さい中心付近の動物体の画像を
合成画像に用いることになるので、歪みが小さく、より
自然に動物体が合成された合成画像を得ることができ
る。

【００１５】さらにまた本発明は、どの部分画像を合成
画像に書き込むかどうかを入力する書き込み画像指示手
段をさらに備え、前記動物体書き込み画像判定手段は、
前記書き込み画像指示手段によって指示された部分画像
を、動物体を合成画像中に書き込む部分画像として判定
することを特徴とする。本発明に従えば、ユーザからの
指示にしたがって合成画像に書き込む部分画像が選択さ
れる。たとえば、書き込もうとする動物体がすでに書き
込まれている別の動物体と位置的に重ならないように気
をつけて、複数の部分画像の中から複数の部分画像を選
択することによって、動物体が不自然に合成されること
を防ぎ、かつ、合成画像中に同一の動物体が複数個現れ
ているというような実際にはありえないような風景を合
成画像として得られる効果がある。

【００１６】また本発明は、前記部分画像動き算出手段
で求められた部分画像全体の動き量と、回転量と、拡大
縮小率とを格納する部分画像動き格納手段をさらに備
え、前記部分画像動き算出手段は、前記部分画像動き格
納手段に格納されているすでに求められた別の部分画像
の動き量、回転量、拡大縮小率から予測される数値範囲
内に、各短冊領域の移動量、部分画像全体の動き量、回
転量、拡大縮小率が収まっているかどうかを判断して、
部分画像全体の動き量、回転量、拡大縮小率を求めるこ
とを特徴とする。本発明に従えば、部分画像動き算出手
段では、すでに求められた別の部分画像の動き量、回転
量、拡大縮小率に基づいて、現在処理中の部分画像の各
短冊領域の移動量、動き量、回転量、拡大縮小率を予測
し、求めた動き量、回転量、拡大縮小率が予測値の範囲
内に収まっているかどうかを判断し、範囲内に収まって
いれば求めた動き量、回転量、拡大縮小率をそのまま出
力し、範囲内に収まっていなければ収まるように求め直
してから出力する。これによって、部分画像全体の動き
量、回転量、拡大縮小率をより正確に求めることができ
る。

【００１７】さらに本発明は、前記部分画像動き算出手
段で求められた部分画像全体の動き量と、回転量と、拡
大縮小率とを格納する部分画像動き格納手段をさらに備
え、前記部分画像動き算出手段は、予め定める枚数の部
分画像に関してそれぞれ部分画像全体の動き量、回転
量、拡大縮小率を求めて、一旦前記部分画像格納手段に
格納した後に、求めた値から予測される数値範囲内に、
格納した部分画像全体の動き量、回転量、拡大縮小率が
収まっているかどうかを判断し、収まっていなければそ
の部分画像に関して再度部分画像全体の動き量、回転
量、拡大縮小率を求め直すことを特徴とする。本発明に
従えば、部分画像全体の動き量などを、一度、すべての
部分画像または一部の部分画像に関して求めておき、そ
の後、求めた部分画像全体の動き量などから予測値を求
め、その予測値内に求めた部分画像全体の動き量などが
収まっているかどうかを判断し、再度求め直すなどする
ことによって、より正確な部分画像全体の動き量などを
求められる効果がある。

【００１８】さらにまた本発明は、前記動物体検出手段
は、現在処理中の部分画像で検出された動物体の存在領
域中の短冊領域の移動量の最大値と最小値との差が予め
定める閾値以上ある場合、または、前記動物体情報格納
手段に格納されている検出済み動物体の存在領域および
動き量に基づいて、現在処理中の部分画像における検出
済み動物体の存在領域および動き量を予測したときに、
実際に検出された動物体の存在領域中に複数の動物体が
存在すると予測された場合には、現在処理中の部分画像
には複数の動物体が存在するものとして検出することを
特徴とする。本発明に従えば、現在処理中の部分画像で
検出された動物体の存在領域中の短冊領域の移動量の最
大値と最小値との差が予め定める閾値以上ある場合、ま
たは、前記動物体情報格納手段に格納されている検出済
み動物体の存在領域および動き量に基づいて、現在処理
中の部分画像における検出済み動物体の存在領域および
動き量を予測したときに、実際に検出された動物体の存
在領域中に複数の動物体が存在すると予測された場合に
は、その領域中に複数の動物体が存在すると判断するこ
とで、複数の動物体が重なったり、近づいて見える場合
でも、正確に複数の動物体として検出できる。

【００１９】また本発明は、動物体が存在している部分
画像または部分画像中の領域を指示する動物体指示手段
をさらに備え、前記動物体検出手段は、前記動物体指示
手段の指示に基づいて動物体を検出することを特徴とす
る。本発明に従えば、ユーザが動物体指示手段から動物
体が存在している部分画像または部分画像中の領域を指
示すると、動物体検出手段では指示された領域に対して
動物体の検出処理を行う。これによって、簡単かつ正確
に動物体を検出できる。

【００２０】さらに本発明は、前記部分画像書き込み範
囲算出手段で求めた部分画像の書き込み範囲の境界部分
が、合成画像またはすでに合成されている部分画像の書
き込み範囲でどこに位置するかを検出し、書き込み範囲
を修正する書き込み範囲修正検出手段をさらに備え、前
記画像合成手段は、前記部分画像書き込み範囲算出手段
で求めた部分画像の書き込み範囲に代えて、前記書き込
み範囲修正検出手段で修正した書き込み範囲の部分画像
を合成して、合成画像を作成することを特徴とする。本
発明に従えば、合成する部分画像の書き込み範囲が求め
られたら、その境界部分が合成画像またはすでに合成さ
れている部分画像の書き込み範囲でどこに位置するかを
検出し、書き込み範囲が修正される。画像合成手段で
は、修正された書き込み範囲の部分画像を合成して、合
成画像が作成される。これによって、画像合成において
境界部分でずれが発生することを防ぐことができる。

【００２１】

【発明の実施の形態】図１は、本発明の第１の実施の形
態である画像合成装置の構成を示すブロック図である。
画像合成装置は、部分画像格納部１と、短冊動き検出部
２と、部分画像動き算出部３と、画像合成部４とを含ん
で構成される。部分画像格納部１は、図示しない撮像手
段から出力される複数枚の部分画像を、撮影した順番で
格納する。部分画像とは、撮像手段の画角より広い画角
の画像である合成画像の一部分を構成するものであり、
部分画像同士で被写体を一部重複するように、すなわち
合成したときに部分画像同士で重なりあう部分が存在す
るように撮影するとよい。部分画像格納部１に格納され
た部分画像ａは、短冊動き検出部２および画像合成部４
に与えられる。

【００２２】短冊動き検出部２は、部分画像ａを予め定
める方向にそって複数の短冊領域に分割する。予め定め
る方向とは、一般に矩形状で得られる画像の縦方向また
は横方向である。画像の画素が行列状に配列されている
場合は、画素の行方向または列方向である。各短冊領域
の大きさは、通常は同じ大きさで良いが、注目したい部
分などがある場合はその部分の短冊を小さくしても良
い。短冊領域としては、たとえば図２（ａ）に示すよう
に、部分画像ａを縦方向（図２の紙面上上下方向）にそ
って４つに分割して得られる短冊領域１００，１０１，
１０２，１０３が用いられる。短冊領域１００〜１０３
では、隣接する領域同士は重なり合う部分はなく、また
部分画像ａの縦方向の周辺付近は画像の歪みが中心部分
よりも大きいので、短冊領域からは除かれている。

【００２３】また他の短冊領域としては、図２（ｂ）に
示すように、部分画像ａを縦方向にそって４つに分割し
て得られる領域のそれぞれの中心部分の矩形領域１０
４，１０５，１０６，１０７を用いてもよい。さらに他
の短冊領域としては、図２（ｃ）に示すように、部分画
像ａを、横方向（図２の紙面上左右方向）に隣接する領
域同士が重なり合うように縦方向に４つに分割して得ら
れる短冊領域１０８，１０９，１１０，１１１を用いて
もよい。短冊領域１０８〜１１１では、部分画像ａの縦
方向の周辺付近は、画像の歪みが中心部分よりも大きい
ので、短冊領域からは除かれている。なお、横方向にそ
って分割して短冊領域を作成してもよい。

【００２４】さらに短冊動き検出部２は、得られた短冊
領域が、時間的に後で撮影された部分画像の中でどの位
置に移動したかを検出し、移動量を求める。位置の検出
は、たとえば、探索対象である部分画像内であって、基
準となる短冊領域の位置と同じ位置の周囲の一定枠内で
探索すればよい。たとえば、図２（ａ）に示す部分画像
ａの右端の短冊領域１０３の移動した位置を検出する場
合は、探索対象の部分画像内の右端の短冊領域１０３に
相当する位置の周囲の予め定める一定の枠内で探索すれ
ばよい。短冊領域の動きがある程度予想できる場合は、
その予想地点を中心として探索範囲を設定することによ
って、短冊領域の実際の動きが探索範囲外となってしま
う可能性を減らすことができ、同時に、探索範囲自体を
小さくすることができるので、探索処理を少なくし、か
つ短時間で実行することができる。

【００２５】探索の最も一般的な方法は、相互相関を取
る方法である。たとえば、最も簡単な相互相関である残
差は、座標（ｘ０，ｙ０）に位置する短冊領域におい
て、

【００２６】

【数１】

【００２７】を最小にする（ｘ１，ｙ１）を求めること
である。ここで、短冊領域の幅をｗ、高さをｈとし、そ
れぞれの部分画像中の座標（ｘ，ｙ）の位置の画素の輝
度値をｇ（ｘ，ｙ）、ｆ（ｘ，ｙ）とする。この場合、
（ｘ１，ｙ１）の取り得る値が探索範囲となる。ただ
し、短冊領域すべてが部分画像中に収まる（ｘ１，ｙ
１）でなければならない。この場合の短冊領域の移動量
は、（ｘ１−ｘ０，ｙ１−ｙ０）である。このようにし
て各短冊領域ごとに移動量を求める。求められた移動量
ｂは、部分画像動き算出部３に与えられる。

【００２８】部分画像動き算出部３は、各短冊領域の移
動量ｂに基づいて、部分画像全体の動き量ｃを求める。
たとえば４つの短冊領域１００〜１０３に関して、その
横方向（ｘ方向）の移動量ｂｘとして、ｂｘ（１００）
＝１０、ｂｘ（１０１）＝１２、ｂｘ（１０２）＝１
３、ｂｘ（１０３）＝−３が得られたとする。

【００２９】第１の動き量の求め方は、単純に得られた
移動量ｂｘの平均値を求める方法である。上述の例で
は、動き量ｃ＝（１０＋１２＋１３＋（−３））／４＝８である。

【００３０】また、第２の求め方として、平均値を求め
る場合、単純に短冊領域数で割るだけでなく、短冊領域
の位置によって重み付けをして求めるようにしてもよ
い。たとえば、部分画像の中心部分の短冊領域は重み付
けを大きくし、周辺部分は小さくする方法がある。上述
の例では、たとえば中央の２つの短冊領域に対して端の
２つの短冊領域の２倍の重み付けをすると、動き量ｃ＝（１０×１＋１２×２＋１３×２＋（−３）
×１）／（１＋２＋２＋１）＝９である。

【００３１】第３の求め方としては、移動量を大きさ順
に並べて、その中央値を動き量とする方法がある。たと
えば上述の例では、移動量を大きさ順に並べると、 −３＜１０＜１２＜１３となり、中央値である１０または１２を動き量とする。
中央値が２個ある場合は、さらにその平均値を求めて、（１０＋１２）／２＝１１を動き量としてもよい。

【００３２】第４の求め方としては、上述の各種の方法
で求めた動き量を、再び各短冊領域の移動量と比較し、
その差の絶対値が予め定める閾値以上の移動量は、移動
量の検出に失敗、あるいは動物体などが存在していたと
して取り除き、残った移動量だけで再び部分画像の動き
量を求める方法がある。たとえば閾値を６として、上述
の単純平均値を使った例では、短冊領域１０３の移動量
「−３」と平均値「８」との差は「１１」となり、閾値
「６」以上であるので、短冊領域１０３の移動量は取り
除かれる。残った短冊領域１００，１０１，１０２の移
動量ｂｘ（１００）＝１０、ｂｘ（１０１）＝１２、ｂ
ｘ（１０２）＝１３だけを用いて平均値を求めると、動き量ｃ＝（１０＋１２＋１３）／３＝３５／３＝１
１．６６… となり、約１２である。短冊領域の個数にもよるが、こ
の処理を繰り返していけば、さらに精度が上がる場合も
ある。その際、閾値を固定せずに、繰り返し回数によっ
て少しずつ小さくしていく方法もある。

【００３３】なお、上述の説明では、横方向の移動量・
動き量に関してのみ説明したけれども、縦方向の移動量
・動き量に関しても同様の処理を行うことで、部分画像
全体の縦方向の動き量を求めることができる。

【００３４】一般に、広画角・広範囲の被写体を１次元
または２次元で分割して撮影する場合、斜めに撮像手段
を動かすことは少なく、上下左右のいずれか一方向に動
かす場合が多いので、その動き方向に対して垂直方向の
画像の動きは、０または非常に小さい値になることが多
い。そのため、最初に、動き方向に対して垂直方向の短
冊領域の動きを調べて、移動量の大きなものを取り除い
てから、動き方向の動きを調べるとよい場合が多い。

【００３５】画像合成部４は、部分画像動き検出部３で
求めた部分画像全体の動き量ｃと、部分画像格納部１か
ら読み出される部分画像ａとに基づいて、合成画像ｄを
合成して出力する。出力された合成画像は、図示しない
画像メモリに記憶されるとともに、必要に応じて図示し
ない表示手段に表示される。

【００３６】図３は、合成画像の作成処理を説明するた
めの図である。まず、合成画像を作成するために最初に
撮影した１枚目の部分画像１２０は、合成画像における
初期画像として、画像合成に用いるメモリの所定の位置
に格納する。このとき、撮像手段がどちらに移動した
か、すなわち部分画像がどちらに移動したかによって、
初期画像の格納位置を決定すると、メモリを効率よく利
用することができ、合成画像が予め定めた大きさをはみ
出す可能性を小さくすることができる。たとえば、全体
として右方向に画像が大まかに動いていることを予め知
っている場合は、初期画像をメモリ空間上の左端の方に
格納すればよい。同様にして、左方向、上方向、下方向
に動いた場合は、動いた方向とは反対側の位置に初期画
像を格納すればよい。

【００３７】次に、初期画像である部分画像１２０の次
に撮影された２枚目の部分画像１２１に関して、部分画
像１２０からの動き量（ｘ１，ｙ１）が求められたと仮
定する。図３（ａ）は、最も単純な合成処理を示す図で
あるが、部分画像１２０に対して部分画像１２１を（ｘ
１，ｙ１）だけ平行移動させて格納させている。

【００３８】図３（ｂ）は、他の合成処理を示す図であ
る。本合成処理では、画像全体の動き方向が予めわかっ
ている場合に、メモリに書き込む部分画像を動き方向の
部分のみにしている。部分画像１２１が４つの短冊領域
１２２，１２３，１２４，１２５で構成されている場
合、部分画像は右方向に動くことが予めわかっているの
で、部分画像１２１の左側の部分まで書き込む必要はな
い。したがって、中央から右側の短冊領域１２４，１２
５だけをメモリに書き込んで合成すればよい。図３
（ｂ）では、説明の便宜上短冊領域１２２，１２３も破
線で位置を示してあるが、実際にはメモリに書き込まれ
ない。

【００３９】このように部分画像の合成時に部分画像の
一部だけを書き込むようにすることで、メモリに対する
データの書き込み量を減らすことができ、短時間で合成
することができる。また、この処理を繰り返すことによ
って、歪みが少なく解像度も良い中心付近の画像が合成
画像として使われることになり、質の高い合成画像が得
られる。さらに、前記部分画像動き検出部３に関連して
説明したように、部分画像の中心付近の重み付けを大き
くすることによって、部分画像の中心付近での隣の部分
画像とのつながりも良くなり、自然な合成画像を得られ
る。

【００４０】以上のように第１の実施の形態によれば、
部分画像を画像の縦方向または横方向にそって複数に分
割して同じ大きさの短冊領域にし、部分画像間での各短
冊領域の移動量を求め、各短冊領域の移動量から部分画
像間の移動量を求めるようにしたので、たとえば撮像手
段が回転したり、ズーム撮影やワイド撮影をするなどし
て、単純な平行移動には見えないような部分画像が撮影
されたとしても、移動量の検出に用いられる短冊領域は
部分画像に比べて大きさが小さいため、撮像手段の回転
やズーム撮影・ワイド撮影の影響が小さく、各短冊領域
の部分画像間での移動量を平行移動として求めても、そ
の誤差は小さい。

【００４１】また、各短冊領域の移動量の分布を見るこ
とで、撮像手段が平行移動したのか、回転したのか、あ
るいはズーム撮影・ワイド撮影をしたのかなどを簡単に
知ることができ、その情報に基づいてアフィン変換や逆
透視変換などの画像変形を部分画像に施して画像を合成
することができ、より自然なつながりを持った合成画像
を得ることができる。

【００４２】図４は、本発明の第２の実施の形態である
画像合成装置の構成を示すブロック図である。本実施の
形態である画像合成装置において、前述の図１に示す画
像合成装置の構成と同じものには、同一の参照符号を付
して説明を省略する。すなわち、部分画像格納部１、短
冊動き検出部２、および部分画像動き算出部３は、前述
した処理と同じ処理を実行する。新たに追加された構成
は、動物体情報格納部５と、動物体検出部６と、動物体
書き込み画像判定部７と、部分画像書き込み範囲算出部
８である。新たに構成が追加されたことによって、画像
合成部４ａは、前述した処理に加えて新たな処理を行
う。

【００４３】動物体情報格納部５は、動物体検出部６か
ら与えられる動物体情報ｅと、動物体書き込み画像判定
部７から与えられる動物体書き込み情報ｉとを格納す
る。これらの情報は、すでに処理されたすべての部分画
像について格納されており、動物体検出部６によって必
要に応じて読み出される。動物体情報ｅは、検出済動物
体の存在領域、その動き量、各部分画像中で検出された
動物体間の同一性を表す動物体同一性情報を含む。動物
体書き込み情報ｉは、動物体がすでに合成画像に書き込
まれたかどうかを表す。動物体の存在領域は、正確に動
物体の輪郭まで求めても良いが、ここでは処理を簡単に
するため短冊領域を単位としている。

【００４４】動物体検出部６は、短冊動き検出部２から
与えられる各短冊領域の移動量ｂと、部分画像動き算出
部３から与えられる部分画像全体の動き量ｃと、動物体
情報格納部５から読み出される情報ｆ（動物体の存在領
域およびその動き量）とに基づいて、部分画像中の動物
体の存在領域、動物体の動き量、検出済動物体と同一か
どうかを表す動物体同一性情報を求める。ここで、動物
体の位置とは、短冊領域の中心位置を指し、動物体が複
数の短冊領域にまたがっているときは、複数の短冊領域
全体の中心位置を指す。

【００４５】まず、動物体の存在領域候補を検出する。
これは、前述した部分画像動き算出部３で取り除かれた
短冊領域を利用すれば良い。取り除かれた短冊領域は、
他の短冊領域に比べて大幅に異なる移動量を持つもので
あり、短冊領域内の被写体が動物体である可能性が高い
からである。この短冊領域は、部分画像動き算出部３か
ら取得しても良いし、動物体検出部６で改めて求めても
良い。

【００４６】次に、動物体の存在領域候補として求めら
れた短冊領域の中から、動物体を検出する。最も単純な
検出方法は、前述した部分画像動き算出部３で用いられ
ている方法である。たとえば、動物体存在候補の短冊領
域の移動量の平均値や中央値を求め、その値に近い値を
持つ短冊領域を残していく方法である。動物体が１個な
らば、この方法で動物体の存在領域を短冊領域単位で検
出することができる。

【００４７】動物体の動き量も、最も単純に求めるに
は、動物体存在候補の短冊領域の移動量の平均値や中央
値を求めることによって、得られる。また、前述した部
分画像動き算出部３で用いられている方法を利用して、
動物体存在領域候補の中心部分の短冊領域に重み付けを
して、動き量を求めても良い。

【００４８】次に、動物体情報格納部５から読み出した
検出済動物体の存在領域とその動き量とに基づいて、現
在処理中の部分画像での検出済動物体の位置および動き
量を予測する。最も単純な位置の予測方法としては、動
物体が等速度運動をしていると仮定し、２つ前に処理し
た部分画像中の動物体の位置と１つ前に処理した部分画
像中の動物体の位置との差を求め、求めた差を１つ前に
処理した部分画像の動物体の位置に加算して得られた位
置を、現在処理中の部分画像での予測位置とすれば良
い。動き量の最も単純な予測方法としては、動物体が等
速度運動をしていると仮定し、１つ前に処理した部分画
像での動物体の動き量を、現在処理中の部分画像での予
測動き量とすれば良い。

【００４９】位置の他の予測方法としては、動物体が等
加速度運動をしていると仮定し、３つ前に処理した部分
画像中の動物体の位置までを利用して加速度を求め、求
めた加速度から速度を予測し、さらに予測した速度から
位置を予測する方法がある。たとえば、動物体が等加速
度運動をしているときに、過去３つの部分画像での動物
体の位置ｐ０，ｐ１，ｐ２がわかっていれば、加速度
は、（（ｐ２−ｐ１）−（ｐ１−ｐ０））と予測されるので、現在処理中の部分画像での動物体の
予測位置ｐ３は、ｐ３＝２（ｐ２−ｐ１）−（ｐ１−ｐ０）と予測される。動き量の他の予測方法としては、過去２
つまでの部分画像中の動物体の動き量を利用して動き量
の差を求め、求めた差を１つ前の部分画像中の動物体の
動き量に加算した値を、現在処理中の部分画像での予測
動き量とすれば良い。

【００５０】以上の説明では、部分画像が等時間間隔で
撮影されたことを前提としているが、時間間隔が異なる
場合は、時間間隔を考慮して予測しなければならない。
たとえば、動物体が等速度運動をしていると仮定し、時
間間隔ｔ１，ｔ２で撮影された３つの部分画像中の動物
体の位置をｐ０，ｐ１，ｐ２とし、位置ｐ０，ｐ１がわ
かっている場合、予測位置ｐ２は、ｐ２＝ｐ１＋（ｐ１−ｐ０）／ｔ１×ｔ２で求められる。

【００５１】現在処理中の部分画像におけるの検出済動
物体の位置および動き量が予測された後、予測値と実際
に求められた動物体の位置および動き量とを比較し、差
を求める。求められた差が予め定められる閾値内に収ま
っていれば、同一の動物体であると判断する。最後に、
求められた動物体の位置（存在領域）、動き量、処理済
みの部分画像中の動物体と同一であるかどうかを表す動
物体同一性情報を含む動物体情報ｅを、動物体情報格納
部５に格納する。

【００５２】動物体書き込み画像判定部７は、動物体検
出部６で求められた動物体の存在領域、動き量、動物体
同一性情報を含む動物体情報ｅに基づいて、どの部分画
像中のどの動物体を合成画像に書き込むかを判断する。
すでに合成画像に書き込まれている場合は、書き込まな
いと判断し、部分画像書き込み範囲算出部８に対して、
動物体を書き込まないという不許可情報ｊを与える。ま
だ合成画像に書き込まれていない場合は、書き込むべき
かどうかを判断する。初めて動物体が検出されたときは
すぐに書き込んでも良いが、できれば動物体が部分画像
の中心付近に来たときに書き込むように判断した方が、
動物体が部分画像からはみ出してしまっている可能性が
低くなり、歪みも小さくなり、解像度も良い画像を合成
画像として使用できる。

【００５３】ただし、動物体の移動方向と撮像手段の移
動方向によっては、動物体が部分画像の周辺へフレーム
アウトする方向に動いているものもあるので、その場合
はフレームアウトする前に書き込むように判断する。た
とえば、動物体が部分画像の周辺に存在し、かつその動
く方向が部分画像全体の動き方向とは反対であれば、そ
の動物体は部分画像からフレームアウトする方向に動い
ていると考えられるので、できる限り中心付近に存在し
ているときに書き込むように判断する。

【００５４】また、これから書き込もうとする動物体
が、すでに書き込んだ別の動物体と合成画像上の位置が
重なってしまうこともありえるので、その場合は、なる
べく重なる部分が少なくなるような部分画像を選ぶ方が
良い。どうしても重なってしまう場合は、どちらの動物
体を優先するかを、ユーザに指定してもらうようにして
も良い。

【００５５】動物体書き込み画像判定部７において、動
物体を合成画像に書き込むと判断した場合は、動物体を
書き込むという許可情報ｊを部分画像書き込み範囲算出
部８に与え、動物体を書き込んだという動物体書き込み
情報ｉを動物体格納部５に与える。

【００５６】部分画像書き込み範囲算出部８は、動物体
書き込み画像判定部７から許可情報ｊが与えられたとき
は、動物体検出部６から与えられる情報ｇ（動物体の存
在領域およびｃの動き量）に基づいて、動物体を含むよ
うな部分画像の書き込み範囲を決定し、動物体書き込み
画像判定部７から不許可情報ｊが与えらたときは、動物
体を含まないような部分画像の書き込み範囲を決定す
る。書き込み範囲は、短冊領域単位で良いが、前述の図
３で説明したように、部分画像の動き方向を考慮すると
良い。

【００５７】画像合成部４ａは、部分画像書き込み範囲
算出部８から与えられる書き込み範囲情報ｋと、部分画
像動き算出部３から与えられる部分画像の動き量ｃとに
基づいて、部分画像格納部１から与えられる部分画像ａ
の指定された書き込み範囲を合成画像に書き込む。

【００５８】以上のように第２の実施形態によれば、た
とえば静的な風景を撮影中に、風景中を人が横切るよう
な場合や、撮像手段を平行移動して撮影する際に、手前
のものが奥のものより相対的に速く平行移動しているよ
うに見える場合など、部分画像中で物体が背景と比べて
相対的に動いているように見えるときは、短冊領域単位
で動きを調べることで、動物体の動きと背景の大まかな
動きとが別々に得られる。背景の動きが得られれば、も
し背景を中心に合成したいならば、撮像手段の全体の動
きを正確に知ることができ、動物体に惑わされることな
く、正確な位置関係を有する背景を持つ合成画像を得ら
れるという効果がある。

【００５９】また、部分画像を縦方向に分割して短冊領
域を構成した場合、通常は複数の縦長の短冊領域が横方
向に並ぶ形になる。撮像装置を横方向に動かして撮影し
た画像では、たとえば棒状の物体が画像上を縦方向に横
切った場合、縦長の短冊領域中に動物体が収まりやすい
ため、動物体の正確な存在領域と動き量とを検出しやす
くなる。さらに、部分画像の中央付近に位置する短冊領
域の探索範囲は、周辺に位置する短冊領域に比べて、動
き量を調べる探索範囲を広くとれるため、動き量の大き
い動物体にも対応することが可能になる。

【００６０】逆に、部分画像を横方向に分割して短冊領
域を構成した場合、通常は複数の横長の短冊領域が縦方
向に並ぶことになる。撮像装置を横方向に動かして撮影
した画像では、たとえばバスや電車のような横長の動物
体でも、動物体の正確な存在領域と動き量とを検出しや
すくなる。手前（近景）と奥（遠景）の相対速度が違う
ような場合も、たとえば奥の画像を中心に合成する場
合、奥の風景の動く範囲と動き量とを正確に得られるの
で、正確な配置の奥の風景を持つ合成画像を得られると
いう効果がある。なお、撮像装置を縦方向に動かして撮
影する場合は、縦長の短冊領域と横長の短冊領域とで
は、得られる効果は逆になる。

【００６１】図５は、本発明の第３の実施の形態である
画像合成装置の構成を示すブロック図である。本実施の
形態の画像合成装置は、前述の図４に示す画像合成装置
に、部分画像ユーザ指定部９を追加したものである。本
実施の形態では、動物体書き込み画像判定部７ａは、部
分画像ユーザ指定部９から入力される情報、すなわち、
どの部分画像を書き込むか書き込まないかを表す情報ｍ
に従って、複数の部分画像の中から合成画像に書き込む
部分画像を判定する。

【００６２】以上のように第３の実施の形態によれば、
たとえば人混みの風景などの背景と動物体の自動判別が
難しいとき、背景と動物体をユーザが指示したり、誤っ
た判断があったときは修正したりすることができる。ま
た、たとえばデフォルト（初期設定）では動物体を書き
込むように設定しておき、風景中に不要な動物体がある
ときは、その除去を指示したり、逆にデフォルトでは動
物体を書き込まないように設定しておき、風景中に必要
な動物体があるときは、その書き込みを指示したりし
て、ユーザの思うような合成画像を得られるという利点
がある。

【００６３】図６は、本発明の第４の実施の形態である
画像合成装置の構成を示すブロック図である。本実施の
形態の画像合成装置は、前述の図４に示す画像合成装置
とほぼ同一の構成であるが、動物体書き込み画像判定部
７が設けられていない点が異なる。この相違は、前述の
実施の形態では動物体をいかに自然に合成するかを主目
的としているのに対し、本実施の形態では逆に動物体を
できるだけ合成せずに背景のみで合成することを主目的
としていることに基づくものである。

【００６４】動物体検出部６の処理は同じであるが、部
分画像書き込み範囲算出部８ａは、動物体を書き込まな
いことが予め決められているので、動物体を含まない範
囲を書き込み範囲として算出し、検出された動物体は基
本的にすべて取り除かれて合成される。

【００６５】ただし、動物体の動きが少ないときは、動
物体の後ろの部分の背景がどの部分画像にも含まれない
場合がありえる。このような場合、すべての動物体を取
り除くと、動物体を除いた部分を合成する画像がなく、
空白ができてしまう。このようなときは、空白のままに
するか、不自然に合成されても良いからできるだけ動物
体を小さくして合成するか、動物体の除去をあきらめて
動物体を自然に合成されるように残すかを、ユーザに選
択させれば良い。あるいは、空白との境界部分の画像を
引き延ばしたり、繰り返したりすることで、空白を意識
させないように合成する方法もある。

【００６６】以上のように第４の実施の形態によれば、
合成画像に書き込む部分画像から動物体を除去して書き
込むことによって、たとえば観光地で風景を撮影したと
きに見知らぬ人が横切ったような場合など、動物体自身
が合成画像中に不要な場合に、動物体を除いて背景画像
のみで合成画像を作成できるという効果を持つ。

【００６７】図７は、本発明の第５の実施の形態である
画像合成装置の処理を説明するための図である。本実施
の形態の画像合成装置の構成は、前述の各実施の形態の
構成とほぼ同一であるが、部分画像動き算出部３ａの処
理内容が異なる。

【００６８】部分画像動き算出部３ａは、短冊動き検出
部２から与えられる各短冊領域の移動量ｃに基づいて、
部分画像全体の動き量、回転量、拡大縮小率を求める。
たとえば、図７（ａ）に示すように、ある部分画像にお
いて比較的小さな短冊領域１０４，１０５，１０６，１
０７が間隔を開けて配置されているものとする。これら
の短冊領域１０４〜１０７が別の部分画像でどこに移動
したかを示したのが、図７（ｂ）および図７（ｃ）であ
る。

【００６９】図７（ｂ）では、左側の２つの短冊領域１
０４，４０５は左側に移動し、右側の２つの短冊領域１
０６，１０７は右側に移動している。この場合は、図７
（ａ）の部分画像から図７（ｂ）の部分画像への変化
は、画像が拡大されたことを示している。図７（ｃ）で
は、左側の２つの短冊領域１０４，１０５は下側に移動
し、右側の２つの短冊領域１０６，１０７は上側に動い
ている。この場合は、図７（ａ）の部分画像から図７
（ｃ）の部分画像への変化は、画像が反時計回りに回転
したことを示している。

【００７０】部分画像全体の動き量、回転量、拡大縮小
率を求める方法として、たとえば最小二乗法がある。短
冊領域がｎ個あり、ｉ番目の短冊領域の位置を（ｘｉ，
ｙｉ）、ｉ番目の短冊領域が移動した先の位置を（ｘ
ｉ’，ｙｉ’）、求めたい動き量を（ｘoffset，ｙoffs
et）、回転量をθ、拡大縮小率をｍとしたとき、以下の
数式が成り立つ。ただし、（Ｅｒｒxi，Ｅｒｒyi）は、
ｉ番目の短冊領域の動き検出における誤差である。

【００７１】

【数２】

【００７２】上記行列式を、Ｘ’＝ＸＡ＋Ｅと表すと
き、誤差Ｅの二乗和を最も小さくするときの動き量、回
転量、拡大縮小率を求めれば良い。それには、Ａ＝（Ｘ^tＸ）^-1Ｘ^tＸ’ を求めれば良い。

【００７３】求められた動き量、回転量、拡大縮小率
は、部分画像間の相対量なので、合成画像では、いずれ
かの部分画像を基準として、その部分画像からの絶対量
を求めて合成しなければならない。そのため、画像合成
部４ｃでは、基準とする部分画像からの相対量を積算し
て絶対量として、部分画像をアフィン変換して合成す
る。通常は、基準とする部分画像は、最初にメモリ上に
書き込んだ部分画像とすれば良い。

【００７４】以上のように第５の実施の形態によれば、
部分画像全体の動き量に加えて回転量および拡大縮小率
が求め、求められた部分画像全体の動き量、回転量、拡
大縮小率を、基準とする部分画像からの相対量を積算し
て絶対量として、部分画像をアフィン変換して合成す
る。したがって、撮影時に撮像手段が回転したり、ズー
ム撮影したりした場合などであっても、適正な部分画像
に変換してから合成されるので、より自然なつながりの
合成画像を得ることができる。

【００７５】図８は、本発明の第６の実施の形態である
画像合成装置の構成を示すブロック図である。本実施の
形態の画像合成装置は、前述の図５に示す画像合成装置
の構成とほぼ同一であり、相違点は新たに部分画像動き
格納部１０を設けたことである。部分画像動き格納部１
０は、部分画像動き算出部３で算出された部分画像間の
動き量、回転量、拡大縮小率などの部分画像動き情報ｎ
を格納する。

【００７６】部分画像動き算出部３は、部分画像動き格
納部１０から読み出したすでに求められた別の部分画像
間の動き量、回転量、拡大縮小率などの部分画像動き情
報ｏに基づいて予測される予測値の範囲内に、算出され
た各短冊領域の移動量や部分画像の動き量、回転量、拡
大縮小率が収まっているかどうかを判断し、収まってい
なければ再度算出し直して、部分画像の動き量、回転
量、拡大縮小率を求める。

【００７７】第１の予測方法としては、動物体の予測方
法と同様に、撮像手段が等速度運動で平行移動、等角速
度運動で回転、またはこれらの複合運動で動いたと仮定
して予測する方法がある。すなわち、２つ前の部分画像
と１つ前の部分画像間の部分画像全体の動き量を、その
まま１つ前の部分画像と現在処理中の部分画像間の部分
画像全体の動き量の予測値として用いれば良い。回転
量、拡大縮小率も、同様にして予測値を求めれば良い。
これらの予測値と、実際に短冊領域の移動量に基づいて
求めた部分画像間の動き量などを比較して、その差がす
べて予め定める閾値以下であれば、実際に求めた動き量
などは信頼できると判断する。

【００７８】第２の予測方法としては、過去最新ｎ個の
部分画像間の動き量などの平均値を求めて予測する方法
がある。すなわち、過去最新ｎ個の部分画像間の動き量
などの平均値を予測値とし、これらの予測値と、実際に
短冊領域の移動量に基づいて求めた部分画像間の動き量
などを比較して、その差がすべて予め定める閾値以下で
あれば、実際に求めた動き量などは信頼できると判断す
る。等加速度運動や等角速度運動の場合は、動物体の動
き予測の場合と同様に、調べる部分画像を１つ増やして
予測すれば良い。

【００７９】また、上述の説明では部分画像の撮影時間
間隔が等しいという前提で予測しているが、撮影時間間
隔が等しくないときは、時間間隔も考慮して予測しなけ
ればならない。たとえば、等加速度運動をしているとき
に、時間間隔ｔ１，ｔ２で撮影された部分画像の動き量
がｄ０，ｄ１である場合は、次に予測される動き量ｄ２
は、ｄ２＝ｄ１＋（ｄ１−ｄ０）／ｔ１×ｔ２で求められる。

【００８０】以上のように第６の実施の形態によれば、
部分画像動き算出部３で求められた部分画像全体の動き
量、回転量、拡大縮小率を格納しておき、格納された数
値から現在処理中の部分画像の各短冊領域の移動量、動
き量、回転量、拡大縮小率を予測し、求めた部分画像の
各短冊領域の移動量、動き量、回転量、拡大縮小率が予
測値の範囲内に収まっているかどうかを判断すること
で、部分画像全体の動き量などをより正確に求めること
ができ、ひいては、動物体の検出精度を上げることがで
きる。これは、たとえば、部分画像全体あるいはほとん
どが動物体で占められてしまい、その部分画像を見ただ
けでは背景の動きを得ることができないような場合に有
効である。このような場合は、現在処理中の部分画像の
前後の部分画像で背景の正確な動きが算出されていた
ら、その動きから現在処理中の部分画像の動き量、回転
量、拡大縮小率の値を予測し、その予測値の範囲内に実
際に求めた値が収まっているかどうかで知ることができ
る。

【００８１】続いて、本発明の実施の第７の形態である
画像合成装置について説明する。画像合成装置の構成
は、前述の図８に示す構成と同一であるが、相違点は部
分画像動き算出部３ａの処理内容が異なることである。

【００８２】部分画像動き算出部３ａは、合成画像の対
象となるすべての部分画像または予め定める枚数の部分
画像に関して、一旦、部分画像間の動き量、回転量、拡
大縮小率を求め、部分画像動き格納部１０に格納してお
く。その後、格納してある値に基づいて予測値を求め、
予測値の範囲内に各部分画像の動き量などが収まってい
るかどうかを判断し、収まっていなければ再び求め直
す。予測値としては、平均値や中央値を求めても良い
し、あるいは大幅に外れた値を外して平均値や中央値を
求める処理を繰り返して求めるようにしても良い。

【００８３】前述の実施の形態で述べた処理で求められ
る部分画像間の動き量などは、必ずしも正しいとは限ら
ない。単純に部分画像間で動き量の算出を誤るだけでな
く、その誤りが伝播していくこともある。つまり、過去
の部分画像間の動き量などから予測される値と比較して
現在処理中の部分画像の動き量などを算出する際に、過
去の動き量などが誤って算出されている可能性があるた
めである。特に、合成開始時の最初の数枚の部分画像を
処理した時点では、動物体が最初から部分画像の多くを
占めている可能性もあり、動物体の動きを部分画像全体
の動き（撮像手段の動き）として、誤って算出する可能
性が高い。

【００８４】これを防ぐには、ある一定枚数の部分画像
間で一度動き量などを算出しておき、その後、部分画像
全体の正確な動き量などを全体を通して修正してから、
再び部分画像の動き算出処理などを行えば良い。全体の
動き量を求める簡単な方法は、平均値や中央値を求める
ことである。このように処理することによって、正確な
値に基づいて背景か動物体かの判断を行うことができる
ので、より正確な判断、算出が可能になる。

【００８５】あるいは、ある一定枚数の部分画像間で一
度動き量などを算出しておき、その後、動き量などの算
出が正しいと思われる部分画像から出発して、その前後
の部分画像で再び部分画像の動き算出処理などを行って
いけば、正確な値に基づいて背景か動物体かの判断を行
えるので、より正確な判断、算出が可能になる。正しい
と思われる部分画像は、部分画像全体の動き量と近い値
を部分画像の動きと判断した部分画像を選べば良い。あ
るいは、ユーザに指定してもらっても良い。

【００８６】続いて、本発明の実施の第８の形態である
画像合成装置について説明する。画像合成装置の構成
は、前述の各実施の形態の構成と同一であるが、相違点
は動物体検出部６の処理内容が異なることである。

【００８７】前述の各実施の形態では、動物体が１個の
場合のみを説明したが、動物体が複数個ある場合は、部
分画像の動き量の算出処理で除かれた短冊領域、すなわ
ち移動量が他の短冊領域とは大幅に異なる連続する短冊
領域間で、同様の動物体を検出する手順を繰り返せば、
複数の動物体にも対応できる。動物体の動き量に差があ
る場合は、たとえ動物体が重なったり、近づいたりして
も、この手法で複数の動物体を区別できる。

【００８８】また、前述の各実施の形態では、動物体の
存在候補の短冊領域から直接、動物体の位置および動き
量を求めてから、すでに検出されている動物体の予測位
置および予測動き量を求めて、同一かどうかを調べてい
る。逆に、本実施の形態では、すでに検出されている他
の動物体の予測位置および予測動き量を求めてから、そ
の結果を動物体の存在候補の短冊領域の位置および動き
量と比較して、予め定める閾値以内に収まっているなら
ば同一の動物体と判断し、その動物体の位置および動き
量を求めている。この場合、複数の動物体が、短冊領域
の動きとしては同程度の動きとなって重なったり近づい
たりした場合、先に述べた方法では、１つの動物体とし
て認識してしまうが、後の方法では、たとえ重なったり
したとしても、重なっていることが予測できる。再びそ
れらの動物体が分かれれば、また追跡をしていけば良
い。

【００８９】ただし、分かれた動物体の区別がはっきり
とはつかないので、その場合は、動物体の存在領域の画
像自体を相関などで比べて、どちらの動物体か判断する
などの処理が必要となる。あるいは、ユーザに指示して
もらうようにしても良い。

【００９０】図９は、本発明の実施の第９の形態である
画像合成装置の構成を示すブロック図である。本実施の
形態の画像合成装置の構成は、前述の図８に示す構成と
ほぼ同一であるが、相違点は動物体ユーザ指定部１１を
新たに設け、動物体検出部６の処理内容が異なることで
ある。

【００９１】動物体検出部６は、動物体ユーザ指定部１
１から与えられる動物体が存在している部分画像または
部分画像中の領域を表す情報ｐに基づいて、指示された
部分画像または部分画像中の領域に対して動物体の検出
処理を行う。これによって、簡単かつ正確に動物体を検
出することができる。これは、短冊領域に基づく処理で
は正確に動き量が求められないような小さな動物体や特
徴の少ない動物体が存在している場合、あるいは複数の
動物体が複雑に動き合っているような場合に、特に有効
である。また、表示装置の画面のように、位置は変わら
ないが、画面の模様の変化によって動いているように見
える領域を指示しないようすることで、不自然な合成が
行われないようにすることも可能である。

【００９２】図１０は、本発明の実施の第１０の形態で
ある画像合成装置の構成を示すブロック図である。本実
施の形態の画像合成装置の構成は、前述の図９に示す構
成とほぼ同一であるが、相違点は書き込み範囲検出部１
２を新たに設けたことである。

【００９３】書き込み範囲検出部１２は、部分画像書き
込み範囲算出部８から与えられる部分画像の書き込み範
囲の境界部分が、合成画像またはすでに合成されている
部分画像の書き込み範囲で、どこに位置するかを検出
し、ずれがある場合などは修正する。修正された書き込
み範囲情報ｑは、画像合成部４に与えられる。

【００９４】書き込み範囲検出部１２は、たとえば、書
き込み範囲の境界付近の小領域と合成画像との相関を求
め、最もつながりが自然になるように書き込み範囲を修
正することができる。あるいは、合成画像との相関を求
めなくても、前記境界が合成されるだいたいの位置に基
づいて、合成画像のその位置がどの部分画像から合成さ
れているかを調べ、書き込み範囲の境界付近の小領域と
合成位置付近の部分画像との相関を求めることでも、同
様に修正することができる。その場合、短冊動き検出部
２を利用して、離れた部分画像間でマッチングさせ、そ
の結果を利用する形で、上述の処理を実行することもで
きる。

【００９５】以上のように第１０の実施の形態によれ
ば、合成する部分画像の書き込み範囲が求められたら、
その境界部分が合成画像またはすでに合成されている部
分画像の書き込み範囲でどこに位置するかを検出し、書
き込み範囲が修正され、修正された書き込み範囲に対し
て、部分画像を合成して、合成画像が作成されるので、
画像合成において境界部分でずれが発生することを防ぐ
ことができる。特に、動物体の切り出しを行って合成す
る場合や、書き込み範囲に画像の周辺部が含まれている
ような場合に、有効である。これは、部分画像全体の動
き量はあくまで平均的な動き量であるため、実際にその
動き量で合成してみると、微妙なずれがでてきてしまう
からである。

【００９６】また、通常、部分画像間の動き量は、時間
的・空間的に最も近い部分画像間で求めることが多いた
め、書き込み範囲が広くなると、境界部分は部分画像間
の動き量を求めた部分画像とは違う部分画像またはその
一部から合成された合成画像と接してしまうからであ
る。そのため、大まかな合成位置を得た後で、改めて境
界部分が一致するような位置を求めて修正することで、
より一層自然なつなぎ目を持つ合成画像を作成すること
ができる。

【００９７】

【発明の効果】以上のように本発明によれば、部分画像
を画像の縦方向または横方向にそって複数に分割して短
冊領域にし、部分画像間での各短冊領域の移動量を求
め、各短冊領域の移動量から部分画像間の動き量を求め
るようにしたので、たとえば撮像手段が回転したり、ズ
ーム撮影やワイド撮影をするなどして、単純な平行移動
には見えないような部分画像が撮影されたとしても、移
動量の検出に用いられる短冊領域は部分画像に比べて大
きさが小さいため、撮像手段の回転やズーム撮影・ワイ
ド撮影の影響が小さく、各短冊領域の部分画像間での移
動量を平行移動として求めても、その誤差は小さい。ま
た、各短冊領域の移動量の分布を見ることで、撮像手段
が平行移動したのか、回転したのか、あるいはズーム撮
影・ワイド撮影をしたのかなどを簡単に知ることがで
き、その情報に基づいてアフィン変換や逆透視変換など
の画像変形を部分画像に施して画像を合成することがで
き、より自然なつながりを持った合成画像を得ることが
できる。

【００９８】また本発明によれば、たとえば静的な風景
を撮影中に、風景中を人が横切るような場合や、撮像手
段を平行移動して撮影する際に、手前のものが奥のもの
より相対的に速く平行移動しているように見える場合な
ど、部分画像中で物体が背景と比べて相対的に動いてい
るように見えるときは、短冊領域単位で動きを見ること
で、動物体の動きと背景の大まかな動きとが別々に得ら
れる。背景の動きが得られれば、もし背景を中心に合成
したいならば、撮像手段の全体の動きを正確に知ること
ができ、動物体に惑わされることなく、正確な位置関係
を有する背景を持つ合成画像を得られるという効果があ
る。

【００９９】また、部分画像を縦に分割して短冊領域を
構成した場合、通常は複数の縦長の短冊領域が横方向に
並ぶ形になる。撮像装置を横方向に動かして撮影した画
像では、たとえば棒状の物体が画像上を縦方向に横切っ
た場合、縦長の短冊領域中に動物体が収まりやすいた
め、動物体の正確な存在領域と動き量とを検出しやすく
なる。さらに、部分画像の中央付近に位置する短冊領域
の探索範囲は、周辺に位置する短冊領域に比べて、動き
量を調べる探索範囲を広くとれるため、動き量の大きい
動物体にも対応することが可能になる。

【０１００】逆に、部分画像を横に分割して短冊領域を
構成した場合、通常は複数の横長の短冊領域が縦方向に
並ぶことになる。撮像装置を横方向に動かして撮影した
画像では、たとえばバスや電車のような横長の動物体で
も、動物体の正確な存在領域と動き量とを検出しやすく
なる。手前（近景）と奥（遠景）の相対速度が違うよう
な場合も、たとえば奥の画像を中心に合成する場合、奥
の風景の動く範囲と動き量とを正確に得られるので、正
確な配置の奥の風景を持つ合成画像を得られるという効
果がある。なお、撮像装置を縦方向に動かして撮影する
場合は、縦長の短冊領域と横長の短冊領域とでは、得ら
れる効果は逆になる。

【０１０１】また、合成画像に動物体を書き込む際に、
その動物体が存在している複数の部分画像の中から１つ
を選択し、合成画像には選択した部分画像中の動物体の
領域のみを書き込み、それ以外の部分画像からは動物体
の領域を書き込まないようにすることで、合成画像中の
動物体の画像が不自然に合成されることを防ぎ、さらに
合成画像中に同一の動物体が複数現れることを防ぐこと
ができる。

【０１０２】また本発明によれば、合成画像に書き込む
部分画像から動物体を除去して書き込むことによって、
たとえば観光地で風景を撮影したときに見知らぬ人が横
切ったような場合など、動物体自身が合成画像中に不要
な場合に、動物体を除いて背景画像のみで合成画像を作
成できるという効果を持つ。

【０１０３】さらに本発明によれば、部分画像全体の動
き量に加えて回転量および拡大縮小率が求め、求められ
た部分画像全体の動き量、回転量、拡大縮小率を、基準
とする部分画像からの相対量を積算して絶対量として、
部分画像をアフィン変換して合成する。したがって、撮
影時に撮像手段が回転したり、ズーム撮影したりした場
合などであっても、適正な部分画像に変換してから合成
されるので、より自然なつながりの合成画像を得ること
ができる。

【０１０４】さらに本発明によれば、合成画像に動物体
を書き込む際に、その動物体が存在している複数の部分
画像の中から、動物体が中心付近に位置する部分画像を
選択、合成画像には選択した部分画像中の動物体の領域
のみを書き込み、それ以外の部分画像からは動物体の領
域を書き込まないようにすることで、動物体が部分画像
からはみ出してしまっているような部分画像を選択する
可能性が低くなり、また、動物体の領域も正確に求めや
すくなる効果がある。動物体の領域を正確に求めやすく
なるのは、前述したように、動物体の探索範囲を広くで
きるからである。さらに、通常、撮像手段は収差などで
周辺部分よりも中央付近の方が歪みが小さく解像度も良
いので、中央付近の画像を使うことで、歪みが少ない解
像度も良い動物体の画像を合成画像として得られる効果
もある。

【０１０５】さらにまた本発明によれば、たとえば、書
き込もうとする動物体がすでに書き込まれている別の動
物体と位置的に重ならないように気をつけて、複数の部
分画像の中から複数の部分画像を選択することによっ
て、動物体が不自然に合成されることを防ぎ、かつ、合
成画像中に同一の動物体が複数個現れているというよう
な実際にはありえないような風景を合成画像として得ら
れる効果がある。合成画像中に動物体をいくつ配置する
か、あるいはどの時刻の動物体の画像を合成画像中に使
うかは、ユーザの意図を反映させられるので、意図しな
い合成画像が得られる心配はない。

【０１０６】さらにまた本発明によれば、部分画像動き
算出手段で求められた部分画像全体の動き量、回転量、
拡大縮小率を格納しておき、格納された数値から現在処
理中の部分画像の各短冊領域の移動量、動き量、回転
量、拡大縮小率を予測し、求めた部分画像の各短冊領域
の移動量、動き量、回転量、拡大縮小率が予測値の範囲
内に収まっているかどうかを判断することで、部分画像
全体の動き量などをより正確に求めることができ、ひい
ては、動物体の検出精度を上げることができる。これ
は、たとえば、部分画像全体あるいはほとんどが動物体
で占められてしまい、その部分画像を見ただけでは背景
の動きを得ることができないような場合に有効である。
このような場合は、現在処理中の部分画像の前後の部分
画像で背景の正確な動きが算出されていたら、その動き
から現在処理中の部分画像の動き量、回転量、拡大縮小
率の値を予測し、その予測値の範囲内に実際に求めた値
が収まっているかどうかで知ることができる。

【０１０７】また本発明によれば、部分画像全体の動き
量などを、一度、すべての部分画像または一部の部分画
像に関して求めておき、その後、求めた部分画像全体の
動き量などから予測値を求め、その予測値内に求めた部
分画像全体の動き量などが収まっているかどうかを判断
し、再度求め直すなどすることによって、より正確な部
分画像全体の動き量などを求められる効果がある。これ
は、前述のように過去の部分画像全体の動き量などから
予測される予測値と比較して現在処理中の部分画像の動
き量を求める際に、過去の動き量などが誤って算出され
ている可能性があるためである。

【０１０８】特に、合成開始時の最初の数枚の部分画像
を処理した時点では、動物体が最初から部分画像の多く
を占めている可能性もあり、誤って算出されている可能
性が高い。そのため、ある一定枚数の部分画像に関して
一度算出しておき、その後、全体を通して動き量などを
修正してから、再び、部分画像の動き算出処理などを行
えば、より正確な値に基づいて背景か動物体かの判断を
行えるので、より正確な判断、算出が可能になる。ある
いは、ある一定枚数の部分画像に関して一度算出してお
き、その後、正しいと思われる部分画像を基準として、
その前後の部分画像で再び部分画像の動き算出処理など
を行っていけば、正確な値に基づいて背景か動物体かの
判断を行えるので、より正確な判断、算出が可能にな
る。

【０１０９】さらに本発明によれば、現在処理中の部分
画像で検出された動物体の存在領域中の短冊領域の移動
量の最大値と最小値との差が予め定める閾値以上ある場
合、その領域中に複数の動物体が存在すると判断するこ
とで、複数の動物体が重なったり、近づいて見える場合
でも、正確に複数の動物体として検出できる。複数の動
物体を検出できれば、人混みなどの動物体が複雑に動き
合っているような風景でも処理することができ、より自
然な合成画像が得られる。これは、動物体の存在領域
は、部分画像全体の動きから外れる短冊領域をその候補
とするが、その領域中に複数の動物体が存在している場
合や接近している場合は、そのままでは複数の動物体を
認識することはできないが、異なる速度で動いている動
物体は、短冊領域の移動量も含めて考えれば、存在領域
中で見分けることができるからである。

【０１１０】また、前記動物体情報格納手段に格納され
ている検出済動物体の存在領域および動き量に基づい
て、現在処理中の部分画像における検出済動物体の存在
領域および動き量を予測したときに、実際に検出された
動物体の存在領域中に複数の動物体が存在すると予測さ
れた場合、その領域中に複数の動物体が存在すると判断
することで、複数の動物体が重なったり、近づいて見え
る場合でも、正確に複数の動物体として検出できる。複
数の動物体を検出できれば、人混みなどの動物体が複雑
に動き合っているような風景でも処理することができ、
より自然な合成画像が得られる。これは、たとえ存在領
域中の短冊領域の移動量の差が小さかったとしても、そ
の前後で動物体のそれぞれの動きが検出、追跡できてい
れば、その動きから予測して、その存在領域中に複数の
動物体が存在するのかどうかを判断できるからである。

【０１１１】さらにまた本発明によれば、ユーザから動
物体の存在している部分画像や部分画像中の領域を指示
してもらうことで、簡単かつ正確に動物体を検出するこ
とができる。これは、短冊領域に基づく処理では正確に
動き量が求められないような小さな動物体や特徴の少な
い動物体が存在している場合や、複数の動物体が複雑に
動き合っているような場合に、特に有効である。

【０１１２】また本発明によれば、合成する部分画像の
書き込み範囲が求められたら、その境界部分が合成画像
またはすでに合成されている部分画像の書き込み範囲で
どこに位置するかを検出し、書き込み範囲が修正され、
修正された書き込み範囲に対して、部分画像を合成し
て、合成画像が作成されるので、画像合成において境界
部分でずれが発生することを防ぐことができる。特に、
動物体の切り出しを行って合成する場合や、書き込み範
囲に画像の周辺部が含まれているような場合に、有効で
ある。これは、部分画像全体の動き量はあくまで平均的
な動き量であるため、実際にその動き量で合成して見る
と、微妙なずれがでてきてしまうからである。

【０１１３】また、通常、部分画像間の動き量は、時間
的・空間的に最も近い部分画像間で求めることが多いた
め、書き込み範囲が広くなると、境界部分は部分画像間
の動き量を求めた部分画像とは違う部分画像またはその
一部から合成された合成画像と接してしまうからであ
る。そのため、大まかな合成位置を得た後で、改めて境
界部分が一致するような位置を求めて修正することで、
より一層自然なつなぎ目を持つ合成画像を作成すること
ができる。

【図面の簡単な説明】

【図１】本発明の第１の実施の形態である画像合成装置
の構成を示すブロック図である。

【図２】短冊領域の一例を示す図である。

【図３】合成画像の作成処理を説明するための図であ
る。

【図４】本発明の第２の実施の形態である画像合成装置
の構成を示すブロック図である。

【図５】本発明の第３の実施の形態である画像合成装置
の構成を示すブロック図である。

【図６】本発明の第４の実施の形態である画像合成装置
の構成を示すブロック図である。

【図７】本発明の第５の実施の形態である画像合成装置
の処理を説明するための図である。

【図８】本発明の第６の実施の形態である画像合成装置
の処理を説明するための図である。

【図９】本発明の第９の実施の形態である画像合成装置
の処理を説明するための図である。

【図１０】本発明の第１０の実施の形態である画像合成
装置の処理を説明するための図である。

【符号の説明】

１部分画像格納部２短冊動き検出部３，３ａ部分画像動き算出部４，４ａ画像合成部５動物体情報格納部６動物体検出部７，７ａ動物体書き込み画像判定部８部分画像書き込み範囲算出部９部分画像ユーザ指定部１０部分画像動き格納部１１動物体ユーザ指定部１２書き込み範囲検出部ａ部分画像ｂ移動量ｃ動き量ｄ合成画像ｅ動物体情報ｉ動物体書き込み情報ｊ許可／不許可情報ｋ，ｑ書き込み範囲情報ｎ，ｏ部分画像動き情報

───────────────────────────────────────────────────── フロントページの続き (72)発明者北村義弘大阪府大阪市阿倍野区長池町22番22号シャープ株式会社内

Claims

【特許請求の範囲】

【請求項１】合成画像の一部分を構成する複数枚の部
分画像を格納する部分画像格納手段と、前記部分画像格納手段から読み出した部分画像を、予め
定める方向にそって複数の短冊領域に分割し、他の部分
画像中のどの位置に各短冊領域がそれぞれ移動したかを
検出し、各短冊領域の移動量を求める短冊領域動き検出
手段と、前記短冊領域動き検出手段で求めた各短冊領域の移動量
に基づいて、部分画像全体の動き量を求める部分画像動
き算出手段と、前記部分画像動き算出手段で求めた部分画像全体の動き
量に応じて、前記部分画像格納手段に格納されている複
数枚の部分画像を合成して合成画像を作成する画像合成
手段とを含むことを特徴とする画像合成装置。
【請求項２】合成画像の一部分を構成する複数枚の部
分画像を格納する部分画像格納手段と、前記部分画像格納手段から読み出した部分画像を、予め
定める方向にそって複数の短冊領域に分割し、他の部分
画像中のどの位置に各短冊領域がそれぞれ移動したかを
検出し、各短冊領域の移動量を求める短冊領域動き検出
手段と、前記短冊領域動き検出手段で求めた各短冊領域の移動量
に基づいて、部分画像全体の動き量を求める部分画像動
き算出手段と、背景部分と比較して相対的に動いているように見える動
物体の存在領域、動物体の動き量、各部分画像中で検出
された動物体間の同一性を表す動物体同一性情報、およ
び動物体がすでに合成画像に書き込まれたかどうかを表
す動物体書き込み情報を含む動物体情報を格納する動物
体情報格納手段と、前記短冊領域動き検出手段で求められた短冊領域の移動
量と、前記部分画像動き算出手段で求められた部分画像
全体の動き量と、前記動物体情報格納手段に格納されて
いる動物体の存在領域およびその動き量とに基づいて、
部分画像中の動物体の存在領域およびその動き量と、す
でに検出された動物体と同一かどうかを表す動物体同一
性情報とを求める動物体検出手段と、前記動物体検出手段で求めた動物体の存在領域、その動
き量、および動物体同一性情報に基づいて、部分画像中
の動物体を合成画像中に書き込むかどうかを判断する動
物体書き込み画像判定手段と、前記動物体書き込み画像判定手段から動物体の書き込み
許可が与えられたときは、前記動物体検出手段で求めら
れた動物体の存在領域およびその動き量に基づいて、動
物体を含むような部分画像の書き込み範囲を決め、書き
込み許可が与えられないときは、動物体を含まないよう
な部分画像の書き込み範囲を決める部分画像書き込み範
囲算出手段と、前記部分画像動き算出手段で求められた部分画像全体の
動き量に応じて、前記部分画像書き込み範囲算出手段で
求められた書き込み範囲の部分画像を合成して、合成画
像を作成する画像合成手段とを含むことを特徴とする画
像合成装置。
【請求項３】合成画像の一部分を構成する複数枚の部
分画像を格納する部分画像格納手段と、前記部分画像格納手段から読み出した部分画像を、予め
定める方向にそって複数の短冊領域に分割し、他の部分
画像中のどの位置に各短冊領域がそれぞれ移動したかを
検出し、各短冊領域の移動量を求める短冊領域動き検出
手段と、前記短冊領域動き検出手段で求めた各短冊領域の移動量
に基づいて、部分画像全体の動き量を求める部分画像動
き算出手段と、背景部分と比較して相対的に動いているように見える動
物体の存在領域、動物体の動き量、各部分画像中で検出
された動物体間の同一性を表す動物体同一性情報、およ
び動物体がすでに合成画像に書き込まれたかどうかを表
す動物体書き込み情報を含む動物体情報を格納する動物
体情報格納手段と、前記短冊領域動き検出手段で求められた短冊領域の移動
量と、前記部分画像動き算出手段で求められた部分画像
全体の動き量と、前記動物体情報格納手段に格納されて
いる動物体の存在領域およびその動き量とに基づいて、
部分画像中の動物体の存在領域およびその動き量と、す
でに検出された動物体と同一かどうかを表す動物体同一
性情報とを求める動物体検出手段と、前記動物体検出手段で求められた動物体の存在領域およ
びその動き量に基づいて、動物体を含まないような部分
画像の書き込み範囲を決める部分画像書き込み範囲算出
手段と、前記部分画像動き算出手段で求められた部分画像全体の
動き量に応じて、前記部分画像書き込み範囲算出手段で
求められた書き込み範囲の部分画像を合成して、合成画
像を作成する画像合成手段とを含むことを特徴とする画
像合成装置。
【請求項４】合成画像の一部分を構成する複数枚の部
分画像を格納する部分画像格納手段と、前記部分画像格納手段から読み出した部分画像を、予め
定める方向にそって複数の短冊領域に分割し、他の部分
画像中のどの位置に各短冊領域がそれぞれ移動したかを
検出し、各短冊領域の移動量を求める短冊領域動き検出
手段と、前記短冊領域動き検出手段で求めた各短冊領域の移動量
に基づいて、部分画像全体の動き量と、回転量と、拡大
縮小率とを求める部分画像動き算出手段と、前記部分画像動き算出手段で求めた部分画像全体の動き
量と、回転量と、拡大縮小率とに基づいて、前記部分画
像格納手段に格納されている複数枚の部分画像をアフィ
ン変換してから合成して、合成画像を作成する画像合成
手段とを含むことを特徴とする画像合成装置。
【請求項５】合成画像の一部分を構成する複数枚の部
分画像を格納する部分画像格納手段と、前記部分画像格納手段から読み出した部分画像を、予め
定める方向にそって複数の短冊領域に分割し、他の部分
画像中のどの位置に各短冊領域がそれぞれ移動したかを
検出し、各短冊領域の移動量を求める短冊領域動き検出
手段と、前記短冊領域動き検出手段で求めた各短冊領域の移動量
に基づいて、部分画像全体の動き量と、回転量と、拡大
縮小率とを求める部分画像動き算出手段と、背景部分と比較して相対的に動いているように見える動
物体の存在領域、動物体の動き量、各部分画像中で検出
された動物体間の同一性を表す動物体同一性情報、およ
び動物体がすでに合成画像に書き込まれたかどうかを表
す動物体書き込み情報を含む動物体情報を格納する動物
体情報格納手段と、前記短冊領域動き検出手段で求められた短冊領域の移動
量と、前記部分画像動き算出手段で求められた部分画像
全体の動き量と、前記動物体情報格納手段に格納されて
いる動物体の存在領域およびその動き量とに基づいて、
部分画像中の動物体の存在領域およびその動き量と、す
でに検出された動物体と同一かどうかを表す動物体同一
性情報とを求める動物体検出手段と、前記動物体検出手段で求めた動物体の存在領域、その動
き量、および動物体同一性情報に基づいて、部分画像中
の動物体を合成画像中に書き込むかどうかを判断する動
物体書き込み画像判定手段と、前記動物体書き込み画像判定手段から動物体の書き込み
許可が与えられたときは、前記動物体検出手段で求めら
れた動物体の存在領域およびその動き量に基づいて、動
物体を含むような部分画像の書き込み範囲を決め、書き
込み許可が与えられないときは、動物体を含まないよう
な部分画像の書き込み範囲を決める部分画像書き込み範
囲算出手段と、前記部分画像書き込み範囲算出手段で求められた書き込
み範囲の部分画像を、前記部分画像動き算出手段で求め
た部分画像全体の動き量と、回転量と、拡大縮小率とに
基づいてアフィン変換してから合成して、合成画像を作
成する画像合成手段とを含むことを特徴とする画像合成
装置。
【請求項６】合成画像の一部分を構成する複数枚の部
分画像を格納する部分画像格納手段と、前記部分画像格納手段から読み出した部分画像を、予め
定める方向にそって複数の短冊領域に分割し、他の部分
画像中のどの位置に各短冊領域がそれぞれ移動したかを
検出し、各短冊領域の移動量を求める短冊領域動き検出
手段と、前記短冊領域動き検出手段で求めた各短冊領域の移動量
に基づいて、部分画像全体の動き量と、回転量と、拡大
縮小率とを求める部分画像動き算出手段と、背景部分と比較して相対的に動いているように見える動
物体の存在領域、動物体の動き量、各部分画像中で検出
された動物体間の同一性を表す動物体同一性情報、およ
び動物体がすでに合成画像に書き込まれたかどうかを表
す動物体書き込み情報を含む動物体情報を格納する動物
体情報格納手段と、前記短冊領域動き検出手段で求められた短冊領域の移動
量と、前記部分画像動き算出手段で求められた部分画像
全体の動き量と、前記動物体情報格納手段に格納されて
いる動物体の存在領域およびその動き量とに基づいて、
部分画像中の動物体の存在領域およびその動き量と、す
でに検出された動物体と同一かどうかを表す動物体同一
性情報とを求める動物体検出手段と、前記動物体検出手段で求められた動物体の存在領域およ
びその動き量に基づいて、動物体を含まないような部分
画像の書き込み範囲を決める部分画像書き込み範囲算出
手段と、前記部分画像書き込み範囲算出手段で求められた書き込
み範囲の部分画像を、前記部分画像動き算出手段で求め
た部分画像全体の動き量と、回転量と、拡大縮小率とに
基づいてアフィン変換してから合成して、合成画像を作
成する画像合成手段とを含むことを特徴とする画像合成
装置。
【請求項７】前記動物体書き込み画像判定手段は、動
物体が中心付近に位置している部分画像を、動物体を合
成画像中に書き込む部分画像として判定することを特徴
とする請求項２または５に記載の画像合成装置。
【請求項８】どの部分画像を合成画像に書き込むかど
うかを入力する書き込み画像指示手段をさらに備え、前記動物体書き込み画像判定手段は、前記書き込み画像
指示手段によって指示された部分画像を、動物体を合成
画像中に書き込む部分画像として判定することを特徴と
する請求項２または５に記載の画像合成装置。
【請求項９】前記部分画像動き算出手段で求められた
部分画像全体の動き量と、回転量と、拡大縮小率とを格
納する部分画像動き格納手段をさらに備え、前記部分画像動き算出手段は、前記部分画像動き格納手
段に格納されているすでに求められた別の部分画像の動
き量、回転量、拡大縮小率から予測される数値範囲内
に、各短冊領域の移動量、部分画像全体の動き量、回転
量、拡大縮小率が収まっているかどうかを判断して、部
分画像全体の動き量、回転量、拡大縮小率を求めること
を特徴とする請求項４，５，６のいずれか１つに記載の
画像合成装置。
【請求項１０】前記部分画像動き算出手段で求められ
た部分画像全体の動き量と、回転量と、拡大縮小率とを
格納する部分画像動き格納手段をさらに備え、前記部分
画像動き算出手段は、予め定める枚数の部分画像に関し
てそれぞれ部分画像全体の動き量、回転量、拡大縮小率
を求めて、一旦前記部分画像格納手段に格納した後に、
求めた値から予測される数値範囲内に、格納した部分画
像全体の動き量、回転量、拡大縮小率が収まっているか
どうかを判断し、収まっていなければその部分画像に関
して再度部分画像全体の動き量、回転量、拡大縮小率を
求め直すことを特徴とする請求項４，５，６のいずれか
１つに記載の画像合成装置。
【請求項１１】前記動物体検出手段は、現在処理中の
部分画像で検出された動物体の存在領域中の短冊領域の
移動量の最大値と最小値との差が予め定める閾値以上あ
る場合、または、前記動物体情報格納手段に格納されて
いる検出済み動物体の存在領域および動き量に基づい
て、現在処理中の部分画像における検出済み動物体の存
在領域および動き量を予測したときに、実際に検出され
た動物体の存在領域中に複数の動物体が存在すると予測
された場合には、現在処理中の部分画像には複数の動物
体が存在するものとして処理することを特徴とする請求
項２，３，５，６のいずれか１つに記載の画像合成装
置。
【請求項１２】動物体が存在している部分画像または
部分画像中の領域を指示する動物体指示手段をさらに備
え、前記動物体検出手段は、前記動物体指示手段の指示に基
づいて動物体を検出することを特徴とする請求項２，
３，５，６のいずれか１つに記載の画像合成装置。
【請求項１３】前記部分画像書き込み範囲算出手段で
求めた部分画像の書き込み範囲の境界部分が、合成画像
またはすでに合成されている部分画像の書き込み範囲で
どこに位置するかを検出し、書き込み範囲を修正する書
き込み範囲修正検出手段をさらに備え、前記画像合成手段は、前記部分画像書き込み範囲算出手
段で求めた部分画像の書き込み範囲に代えて、前記書き
込み範囲修正検出手段で修正した書き込み範囲の部分画
像を合成して、合成画像を作成することを特徴とする請
求項２，３，５，６のいずれか１つに記載の画像合成装
置。