JP3421859B2 - パノラマ画像作成装置の動きベクトル検出方法及び装置 - Google Patents
パノラマ画像作成装置の動きベクトル検出方法及び装置Info
- Publication number
- JP3421859B2 JP3421859B2 JP30945192A JP30945192A JP3421859B2 JP 3421859 B2 JP3421859 B2 JP 3421859B2 JP 30945192 A JP30945192 A JP 30945192A JP 30945192 A JP30945192 A JP 30945192A JP 3421859 B2 JP3421859 B2 JP 3421859B2
- Authority
- JP
- Japan
- Prior art keywords
- motion vector
- image
- value
- representative point
- correlation value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Description
【０００１】
【産業上の利用分野】本発明は、ＣＣＤ等の撮像素子に
より被写体を撮像して作成した画像信号からパノラマ画
像を作成する装置、特に動きベクトルを検出する技術に
関するものである。
より被写体を撮像して作成した画像信号からパノラマ画
像を作成する装置、特に動きベクトルを検出する技術に
関するものである。
【０００２】
【従来の技術】従来、ＣＣＤ等の撮像素子により被写体
を撮像して画像信号を作成し、その画像信号を記録し、
かつビューファインダに供給し、さらに記録した画像信
号を再生してモニタに供給する装置として、カメラ一体
型ビデオテープレコーダ（以下、カムコーダという）や
電子スチルカメラ等が知られている。
を撮像して画像信号を作成し、その画像信号を記録し、
かつビューファインダに供給し、さらに記録した画像信
号を再生してモニタに供給する装置として、カメラ一体
型ビデオテープレコーダ（以下、カムコーダという）や
電子スチルカメラ等が知られている。
【０００３】
【発明が解決しようとする課題】しかしながら、従来の
カムコーダ等において、ビューファインダやモニタに供
給される画像信号は１画面ごとの被写体に対応するもの
であったため、ビューファインダやモニタに表示される
画像も１画面ごとのものであった。そのため、同時に表
示される画像は狭い範囲のものとなり、広大な場面や情
景をひと目で見ることができなかった。
カムコーダ等において、ビューファインダやモニタに供
給される画像信号は１画面ごとの被写体に対応するもの
であったため、ビューファインダやモニタに表示される
画像も１画面ごとのものであった。そのため、同時に表
示される画像は狭い範囲のものとなり、広大な場面や情
景をひと目で見ることができなかった。
【０００４】そこで、被写体を撮像して画像信号を作成
し、その画像信号により形成される複数枚の画像を継ぎ
合わせてパノラマ画像を作成するパノラマ画像作成装置
が考えられている。このパノラマ画像作成装置は、被写
体をパンあるいはチルトしながら撮影し、画像の動きベ
クトルに基づいて複数枚の画像を継ぎ合わせる幅を制御
する。したがって、精度の高いパノラマ画像を作成する
ためには、画像の動きベクトルを正確に検出することが
必要である。
し、その画像信号により形成される複数枚の画像を継ぎ
合わせてパノラマ画像を作成するパノラマ画像作成装置
が考えられている。このパノラマ画像作成装置は、被写
体をパンあるいはチルトしながら撮影し、画像の動きベ
クトルに基づいて複数枚の画像を継ぎ合わせる幅を制御
する。したがって、精度の高いパノラマ画像を作成する
ためには、画像の動きベクトルを正確に検出することが
必要である。
【０００５】本発明は、このような問題点を解決するた
めになされたもので、ＣＣＤ等の撮像素子により被写体
を撮像して作成した画像信号からパノラマ画像を作成す
る装置において動きベクトルを正確に検出できる動きベ
クトル検出方法及び装置を提供することを目的とする。
めになされたもので、ＣＣＤ等の撮像素子により被写体
を撮像して作成した画像信号からパノラマ画像を作成す
る装置において動きベクトルを正確に検出できる動きベ
クトル検出方法及び装置を提供することを目的とする。
【０００６】
【課題を解決するための手段】前記問題点を解決するた
めに、本発明は、被写体を撮像して作成した画像信号に
より形成される複数枚の画像を継ぎ合わせてパノラマ画
像を作成する場合に、画像の動きベクトルに基づいて画
像を継ぎ合わせる幅を制御するようにしたパノラマ画像
作成装置の動きベクトル検出方法であって、パノラマ画
像を構成する複数枚の画像のうちの１の画像内に動きベ
クトルを検出する複数の領域を設定し、設定した領域毎
に、各領域内を複数個のブロックとし、各ブロックの代
表点について、代表点の画像と代表移転に隣接する周辺
の画像の平均値との差に相当する値を求め、求めた値が
所定値を超える代表点を動きベクトルの検出に使用する
代表点として記憶し、記憶した代表点の画像信号とそこ
から移動した点に対応する次のフィールド又はフレーム
の偏移の画像信号の差分の絶対値を計算して、ブロック
の相関値を算出し、各ブロックの相関値を全ブロックに
ついて偏移ごとに累積加算して領域の相関値を算出し、
各領域について相関値が最小になる偏移を動きベクトル
とし、各領域について動きベクトルの垂直成分が所定値
より小さい動きベクトルをパンニング撮影時の動きベク
トルとして決定することを特徴とする。また、本発明
は、被写体を撮像して作成した画像信号により形成され
る複数枚の画像を継ぎ合わせてパノラマ画像を作成する
場合に、画像の動きベクトルに基づいて画像を継ぎ合わ
せる幅を制御するようにしたパノラマ画像作成装置の動
きベクトル検出装置であって、パノラマ画像を構成する
複数枚の画像のうちの１の画像内に設定した動きベクト
ルを検出する複数の領域毎に、各領域内を複数個のブロ
ックとし、各ブロックの代表点について、代表点の画像
と代表移転に隣接する周辺の画像の平均値との差に相当
する値を求め、求めた値が所定値を超える代表点を動き
ベクトルの検出に使用する代表点として記憶し、記憶し
た代表点の画像信号とそこから移動した点に対応する次
のフィールド又はフレームの偏移の画像信号の差分の絶
対値を計算して、ブロックの相関値を算出し、各ブロッ
クの相関値を全ブロックについて偏移ごとに累積加算し
て領域の相関値を算出する相関値算出手段と、上記相関
値算出手段により算出された相関値に基づいて、各領域
について相関値が最小になる偏移を動きベクトルとし、
各領域について動きベクトルの垂直成分が所定値より小
さい動きベクトルをパンニング撮影時の動きベクトルと
して決定する動きベクトル決定手段とを備えること特徴
とする。
めに、本発明は、被写体を撮像して作成した画像信号に
より形成される複数枚の画像を継ぎ合わせてパノラマ画
像を作成する場合に、画像の動きベクトルに基づいて画
像を継ぎ合わせる幅を制御するようにしたパノラマ画像
作成装置の動きベクトル検出方法であって、パノラマ画
像を構成する複数枚の画像のうちの１の画像内に動きベ
クトルを検出する複数の領域を設定し、設定した領域毎
に、各領域内を複数個のブロックとし、各ブロックの代
表点について、代表点の画像と代表移転に隣接する周辺
の画像の平均値との差に相当する値を求め、求めた値が
所定値を超える代表点を動きベクトルの検出に使用する
代表点として記憶し、記憶した代表点の画像信号とそこ
から移動した点に対応する次のフィールド又はフレーム
の偏移の画像信号の差分の絶対値を計算して、ブロック
の相関値を算出し、各ブロックの相関値を全ブロックに
ついて偏移ごとに累積加算して領域の相関値を算出し、
各領域について相関値が最小になる偏移を動きベクトル
とし、各領域について動きベクトルの垂直成分が所定値
より小さい動きベクトルをパンニング撮影時の動きベク
トルとして決定することを特徴とする。また、本発明
は、被写体を撮像して作成した画像信号により形成され
る複数枚の画像を継ぎ合わせてパノラマ画像を作成する
場合に、画像の動きベクトルに基づいて画像を継ぎ合わ
せる幅を制御するようにしたパノラマ画像作成装置の動
きベクトル検出装置であって、パノラマ画像を構成する
複数枚の画像のうちの１の画像内に設定した動きベクト
ルを検出する複数の領域毎に、各領域内を複数個のブロ
ックとし、各ブロックの代表点について、代表点の画像
と代表移転に隣接する周辺の画像の平均値との差に相当
する値を求め、求めた値が所定値を超える代表点を動き
ベクトルの検出に使用する代表点として記憶し、記憶し
た代表点の画像信号とそこから移動した点に対応する次
のフィールド又はフレームの偏移の画像信号の差分の絶
対値を計算して、ブロックの相関値を算出し、各ブロッ
クの相関値を全ブロックについて偏移ごとに累積加算し
て領域の相関値を算出する相関値算出手段と、上記相関
値算出手段により算出された相関値に基づいて、各領域
について相関値が最小になる偏移を動きベクトルとし、
各領域について動きベクトルの垂直成分が所定値より小
さい動きベクトルをパンニング撮影時の動きベクトルと
して決定する動きベクトル決定手段とを備えること特徴
とする。
【０００７】
【作用】本発明によれば、動きベクトル検出時に“垂直
方向の動き≒０”又は“水平方向の動き≒０”という情
報を用いることによって、パンニング撮影時又はチルト
撮影時の動きベクトル検出の誤判別を削減できる。
方向の動き≒０”又は“水平方向の動き≒０”という情
報を用いることによって、パンニング撮影時又はチルト
撮影時の動きベクトル検出の誤判別を削減できる。
【０００８】
【実施例】以下、本発明の実施例について図面を参照し
ながら詳細に説明する。図１は本発明を適用するパノラ
マ画像作成装置のパノラマ画像作成原理の説明図であ
る。まず、この図を参照しながら、パノラマ画像作成原
理を説明する。図１（ａ）は被写体と画像との関係を示
している。ここでは、被写体は規則的な三角形のパター
ンであり、水平方向の３画面分が示されている。図の上
部に付された番号は、画面の右から左にパンニングを行
った場合のフィールド番号を示している。つまり、第１
フィールドから第７フィールドまで６フィールド動く間
に２画面分のパンニングが行われる。そして、２画面分
の画像から１枚のパノラマ画像が作成される。
ながら詳細に説明する。図１は本発明を適用するパノラ
マ画像作成装置のパノラマ画像作成原理の説明図であ
る。まず、この図を参照しながら、パノラマ画像作成原
理を説明する。図１（ａ）は被写体と画像との関係を示
している。ここでは、被写体は規則的な三角形のパター
ンであり、水平方向の３画面分が示されている。図の上
部に付された番号は、画面の右から左にパンニングを行
った場合のフィールド番号を示している。つまり、第１
フィールドから第７フィールドまで６フィールド動く間
に２画面分のパンニングが行われる。そして、２画面分
の画像から１枚のパノラマ画像が作成される。
【０００９】図１（ｂ）は第１フィールドの画像であ
る。この画面の中心から左側の幅ｘ0の部分を抜取り、
水平方向及び垂直方向を１／２に縮小して画像メモリに
書込む。このように縮小する理由は２画面分のパノラマ
画像を１画面内に作成するためである。図１（ｆ）は画
像メモリに書込まれた画像を示している。画面の上下１
／４の幅の部分はブランクされ、中央部の１／２の幅の
部分に画像が書込まれる。ここでは、画面左端から幅ｘ
0 ／２の部分に書込まれる。図１（ｂ）の画像から幅ｘ
0 の部分を抜取り、水平方向及び垂直方向を１／２に縮
小するには画像メモリを用いる。例えば、図１（ｂ）の
画像を画像メモリに書込み、幅ｘ0 の部分に対する読出
しアドレスを１個飛びに与えることで実現する。
る。この画面の中心から左側の幅ｘ0の部分を抜取り、
水平方向及び垂直方向を１／２に縮小して画像メモリに
書込む。このように縮小する理由は２画面分のパノラマ
画像を１画面内に作成するためである。図１（ｆ）は画
像メモリに書込まれた画像を示している。画面の上下１
／４の幅の部分はブランクされ、中央部の１／２の幅の
部分に画像が書込まれる。ここでは、画面左端から幅ｘ
0 ／２の部分に書込まれる。図１（ｂ）の画像から幅ｘ
0 の部分を抜取り、水平方向及び垂直方向を１／２に縮
小するには画像メモリを用いる。例えば、図１（ｂ）の
画像を画像メモリに書込み、幅ｘ0 の部分に対する読出
しアドレスを１個飛びに与えることで実現する。
【００１０】図１（ｃ）は第２フィールドの画像であ
る。第１フィールドの画像との間に水平方向にｘ1 移動
しているので、画面の中心から左側の幅ｘ1 の部分を抜
取り、水平方向及び垂直方向を１／２に縮小して画像メ
モリに書込む。図１（ｇ）は画像メモリに書込まれた画
像を示している。ここでは、図１（ｆ）で書込まれた部
分に続けて幅ｘ1 ／２の部分に書込まれる。
る。第１フィールドの画像との間に水平方向にｘ1 移動
しているので、画面の中心から左側の幅ｘ1 の部分を抜
取り、水平方向及び垂直方向を１／２に縮小して画像メ
モリに書込む。図１（ｇ）は画像メモリに書込まれた画
像を示している。ここでは、図１（ｆ）で書込まれた部
分に続けて幅ｘ1 ／２の部分に書込まれる。
【００１１】同様に、図１（ｄ）は第３フィールドの画
像である。第２フィールドの画像との間に水平方向にｘ
2 移動しているので、画面の中心から左側の幅ｘ2 の部
分を抜取り、水平方向及び垂直方向を１／２に縮小して
画像メモリに書込む。図１（ｈ）は画像メモリに書込ま
れた画像を示している。ここでは、図１（ｇ）で書込ま
れた部分に続けて幅ｘ2 ／２の部分に書込まれる。
像である。第２フィールドの画像との間に水平方向にｘ
2 移動しているので、画面の中心から左側の幅ｘ2 の部
分を抜取り、水平方向及び垂直方向を１／２に縮小して
画像メモリに書込む。図１（ｈ）は画像メモリに書込ま
れた画像を示している。ここでは、図１（ｇ）で書込ま
れた部分に続けて幅ｘ2 ／２の部分に書込まれる。
【００１２】以上の動作を第７フィールドまで繰り返せ
ば、２画面分のパノラマ画像を１画面内に作成すること
ができる。ただし、第１フィールドで幅ｘ0 の部分を切
出して画像メモリに書込んでいるので、第７フィールド
ではその分書き込む幅を少なくする。ここで、パノラマ
画像の書込みが終了したことは、画像メモリの書込みア
ドレスが画面の右端に対応する値になったことや後述す
るライトイネーブル信号のタイミングにより検出するこ
とができる。なお、図は第５フィールド以降は省略し
た。
ば、２画面分のパノラマ画像を１画面内に作成すること
ができる。ただし、第１フィールドで幅ｘ0 の部分を切
出して画像メモリに書込んでいるので、第７フィールド
ではその分書き込む幅を少なくする。ここで、パノラマ
画像の書込みが終了したことは、画像メモリの書込みア
ドレスが画面の右端に対応する値になったことや後述す
るライトイネーブル信号のタイミングにより検出するこ
とができる。なお、図は第５フィールド以降は省略し
た。
【００１３】図２は図１で説明した画像メモリの水平方
向のＷＥ（ライトイネーブル信号：図では負論理）と１
水平走査期間の画像信号とのタイミング関係を示すタイ
ミングチャートである。図２（ａ）は画像信号を示し、
図２（ｂ）〜（ｅ）は、それぞれ図１の第１〜第４フィ
ールドのライトイネーブル信号ＷＥ1 〜ＷＥ4 を示して
いる。これらの信号がローレベルの時に画像メモリに対
する書込みが行われる。
向のＷＥ（ライトイネーブル信号：図では負論理）と１
水平走査期間の画像信号とのタイミング関係を示すタイ
ミングチャートである。図２（ａ）は画像信号を示し、
図２（ｂ）〜（ｅ）は、それぞれ図１の第１〜第４フィ
ールドのライトイネーブル信号ＷＥ1 〜ＷＥ4 を示して
いる。これらの信号がローレベルの時に画像メモリに対
する書込みが行われる。
【００１４】垂直方向に対しても同様なライトイネーブ
ル信号を与えることにより、図１（ｆ）〜（ｉ）に示さ
れているような書込み制御を行うことができる。なお、
図１及び図２では、画面中央部の画像を用いてパノラマ
画像を作成しているが、画面左端部等の画像を用いても
よいし、例えばパノラマ画像の中央部は画面中央部の画
像を用い、周辺部は画面左端部や右端部の画像を用いる
等、それらを適当に組合わせてもよい。また、例えばパ
ノラマ画像の中央部は１枚の画像で作成してもよい。さ
らに、図１（ｂ）〜（ｅ）等の画面を縮小しないで画像
メモリに書込んでもよい。この場合、プリンタを用いて
紙等にパノラマ画像を形成するか又はモニタにおいてス
クロール表示する。また、３画面分以上の画像を１画面
内に作成してもよい。さらに、画面の上下にブランクを
設けずに、例えば画面の上半分と下半分に順次連続した
パノラマ画像を作成するように構成してもよい。このよ
うにすれば、３６０度に渡るパノラマ画像を作成するこ
ともできる。また、画面の右から左にパンニングし、ま
たは上から下にチルトしてパノラマ画像を作成してもよ
い。また、画像の垂直方向の動きが無視できない場合に
は、垂直方向の動きに応じて図１（ｃ）〜（ｅ）等にお
ける垂直方向の抜取り位置を変化させてもよい。さら
に、図１（ｆ）〜（ｉ）において、画像の幅ｘ0 〜ｘ3
の部分を抜取って画像メモリに書込む代わりに、図１
（ｆ）では図１（ｂ）の画像の右半分を画像メモリに書
込み、図１（ｇ）では図１（ｃ）の画像の右半分を画像
メモリ上でｘ1 ／２右にずれた位置から書込み、図１
（ｈ）では図１（ｄ）の画像の右半分を画像メモリ上で
さらにｘ2 ／２右にずれた位置から書込み、以下、同様
にして第７フィールドまで、画像の移動量に応じた位置
だけずらしながら画像メモリに上書きしても、パノラマ
画像を作成することができる。
ル信号を与えることにより、図１（ｆ）〜（ｉ）に示さ
れているような書込み制御を行うことができる。なお、
図１及び図２では、画面中央部の画像を用いてパノラマ
画像を作成しているが、画面左端部等の画像を用いても
よいし、例えばパノラマ画像の中央部は画面中央部の画
像を用い、周辺部は画面左端部や右端部の画像を用いる
等、それらを適当に組合わせてもよい。また、例えばパ
ノラマ画像の中央部は１枚の画像で作成してもよい。さ
らに、図１（ｂ）〜（ｅ）等の画面を縮小しないで画像
メモリに書込んでもよい。この場合、プリンタを用いて
紙等にパノラマ画像を形成するか又はモニタにおいてス
クロール表示する。また、３画面分以上の画像を１画面
内に作成してもよい。さらに、画面の上下にブランクを
設けずに、例えば画面の上半分と下半分に順次連続した
パノラマ画像を作成するように構成してもよい。このよ
うにすれば、３６０度に渡るパノラマ画像を作成するこ
ともできる。また、画面の右から左にパンニングし、ま
たは上から下にチルトしてパノラマ画像を作成してもよ
い。また、画像の垂直方向の動きが無視できない場合に
は、垂直方向の動きに応じて図１（ｃ）〜（ｅ）等にお
ける垂直方向の抜取り位置を変化させてもよい。さら
に、図１（ｆ）〜（ｉ）において、画像の幅ｘ0 〜ｘ3
の部分を抜取って画像メモリに書込む代わりに、図１
（ｆ）では図１（ｂ）の画像の右半分を画像メモリに書
込み、図１（ｇ）では図１（ｃ）の画像の右半分を画像
メモリ上でｘ1 ／２右にずれた位置から書込み、図１
（ｈ）では図１（ｄ）の画像の右半分を画像メモリ上で
さらにｘ2 ／２右にずれた位置から書込み、以下、同様
にして第７フィールドまで、画像の移動量に応じた位置
だけずらしながら画像メモリに上書きしても、パノラマ
画像を作成することができる。
【００１５】図３は本発明を適用するパノラマ画像作成
装置の構成の一例を示すブロック図である。この装置は
カムコーダにパノラマ画像作成機能を設けたものであっ
て、ビデオテープに対する記録時と再生時のいずれでも
パノラマ画像の作成が可能である。まず、図１〜図３を
参照しながら、記録時にパノラマ画像を作成する場合の
動作を説明する。
装置の構成の一例を示すブロック図である。この装置は
カムコーダにパノラマ画像作成機能を設けたものであっ
て、ビデオテープに対する記録時と再生時のいずれでも
パノラマ画像の作成が可能である。まず、図１〜図３を
参照しながら、記録時にパノラマ画像を作成する場合の
動作を説明する。
【００１６】この時、ユーザはモードスイッチ１７ｂを
操作して記録時にパノラマ画像を作成するモードに設定
するとともにＲＥＣボタン（図示せず）をＯＮにして撮
影を開始する。そして、パンニング撮影時にパノラマス
イッチ１７ａをＯＮにする。被写体はレンズ（図示せ
ず）によりＣＣＤ撮像素子１に結像され、ここで画像信
号に変換される。この画像信号はサンプルホールド・Ａ
ＧＣ回路２、スイッチ３のＲ端子を経て、Ａ／Ｄ変換器
４に入力され、ディジタル信号に変換される。
操作して記録時にパノラマ画像を作成するモードに設定
するとともにＲＥＣボタン（図示せず）をＯＮにして撮
影を開始する。そして、パンニング撮影時にパノラマス
イッチ１７ａをＯＮにする。被写体はレンズ（図示せ
ず）によりＣＣＤ撮像素子１に結像され、ここで画像信
号に変換される。この画像信号はサンプルホールド・Ａ
ＧＣ回路２、スイッチ３のＲ端子を経て、Ａ／Ｄ変換器
４に入力され、ディジタル信号に変換される。
【００１７】ディジタル化された画像信号はスイッチ５
のＲ端子からカメラ信号処理回路６に入力され、ガンマ
補正、ホワイトバランス調整等のカメラ信号処理が施さ
れた後、スイッチ８のＲ端子を経て、メモリコントロー
ラ２０の制御により、第１画像メモリ９に書込まれる。
第１画像メモリ９に書込まれた画像信号は、図１（ｂ）
〜（ｅ）の画像に対応する。
のＲ端子からカメラ信号処理回路６に入力され、ガンマ
補正、ホワイトバランス調整等のカメラ信号処理が施さ
れた後、スイッチ８のＲ端子を経て、メモリコントロー
ラ２０の制御により、第１画像メモリ９に書込まれる。
第１画像メモリ９に書込まれた画像信号は、図１（ｂ）
〜（ｅ）の画像に対応する。
【００１８】また、スイッチ８の出力は動きベクトル検
出器１９に入力され、動きベクトル検出データがマイコ
ン１８に送られる。マイコン１８は動きベクトル検出器
１９が出力した動きベクトル検出データに基づいて動き
ベクトルを算出し、メモリコントローラ２０に制御信号
を出力する。ここで、動きベクトルは図１（ｂ）〜
（ｅ）における水平方向の動きｘ1 〜ｘ3 に相当する。
なお、動きベクトル検出器１９の構成及び動作とマイコ
ン１８の動作の詳細は後述する。
出器１９に入力され、動きベクトル検出データがマイコ
ン１８に送られる。マイコン１８は動きベクトル検出器
１９が出力した動きベクトル検出データに基づいて動き
ベクトルを算出し、メモリコントローラ２０に制御信号
を出力する。ここで、動きベクトルは図１（ｂ）〜
（ｅ）における水平方向の動きｘ1 〜ｘ3 に相当する。
なお、動きベクトル検出器１９の構成及び動作とマイコ
ン１８の動作の詳細は後述する。
【００１９】メモリコントローラ２０はマイコン１８か
ら出力された制御信号に基づいて第１画像メモリ９の読
出しアドレスを制御し、図１（ｂ）〜（ｅ）に示されて
いる画面の抜取りと縮小処理を行って画像信号を第２画
像メモリ１０に入力する。第２画像メモリ１０はメモリ
コントローラ２０により制御され、図２（ｂ）〜（ｅ）
に示されているライトイネーブル信号ＷＥ1 〜ＷＥ4 と
それぞれに対応するメモリアドレスが供給されることに
よって、図１（ｆ）〜（ｉ）に示されている書込み制御
が行わる。
ら出力された制御信号に基づいて第１画像メモリ９の読
出しアドレスを制御し、図１（ｂ）〜（ｅ）に示されて
いる画面の抜取りと縮小処理を行って画像信号を第２画
像メモリ１０に入力する。第２画像メモリ１０はメモリ
コントローラ２０により制御され、図２（ｂ）〜（ｅ）
に示されているライトイネーブル信号ＷＥ1 〜ＷＥ4 と
それぞれに対応するメモリアドレスが供給されることに
よって、図１（ｆ）〜（ｉ）に示されている書込み制御
が行わる。
【００２０】このようにして第２画像メモリ１０にパノ
ラマ画像信号が書込まれる。この第２画像メモリ１０の
内容を読出し、モニタ信号処理回路２２によりコンポジ
ット画像信号に変換し、Ｄ／Ａ変換器２３によりアナロ
グ画像信号に変換してビューファインダ（以下、ＶＦと
いう）２４に供給すれば、パノラマ画像が表示される。
また、ビデオ出力端子２５から外部のモニタやプリンタ
（図示せず）に供給すれば、同様にパノラマ画像が外部
のモニタやプリンタに表示される。
ラマ画像信号が書込まれる。この第２画像メモリ１０の
内容を読出し、モニタ信号処理回路２２によりコンポジ
ット画像信号に変換し、Ｄ／Ａ変換器２３によりアナロ
グ画像信号に変換してビューファインダ（以下、ＶＦと
いう）２４に供給すれば、パノラマ画像が表示される。
また、ビデオ出力端子２５から外部のモニタやプリンタ
（図示せず）に供給すれば、同様にパノラマ画像が外部
のモニタやプリンタに表示される。
【００２１】また、第２画像メモリ１０から読出された
パノラマ画像信号は記録信号処理回路１１でエンファシ
ス、輝度信号のＦＭ変調、クロマ信号の低域変換等の記
録信号処理が施される。そして、ＦＭ輝度信号及び低域
変換クロマ信号はＤ／Ａ変換器１２でアナログ信号に変
換された後、記録／再生アンプ１３、スイッチ１４のＡ
端子を経て、ビデオヘッド１５によりビデオテープ１６
に記録される。
パノラマ画像信号は記録信号処理回路１１でエンファシ
ス、輝度信号のＦＭ変調、クロマ信号の低域変換等の記
録信号処理が施される。そして、ＦＭ輝度信号及び低域
変換クロマ信号はＤ／Ａ変換器１２でアナログ信号に変
換された後、記録／再生アンプ１３、スイッチ１４のＡ
端子を経て、ビデオヘッド１５によりビデオテープ１６
に記録される。
【００２２】ビデオテープ１６に記録されたパノラマ画
像信号はビデオヘッド１５により再生され、記録／再生
アンプ１３からスイッチ３のＰ端子を介してＡ／Ｄ変換
器４に入力される。ここで、ディジタル化された画像信
号は再生信号処理回路７にてＦＭ復調、ディエンファシ
ス等の再生信号処理が施された後、必要に応じて第１画
像メモリ９と第２画像メモリ１０でノイズ除去等のディ
ジタル処理が施される。そして、モニタ信号処理回路２
２によりコンポジット画像信号に変換され、Ｄ／Ａ変換
器２３によりアナログ画像信号に変換され、ＶＦ２４と
ビデオ出力端子２５に供給される。
像信号はビデオヘッド１５により再生され、記録／再生
アンプ１３からスイッチ３のＰ端子を介してＡ／Ｄ変換
器４に入力される。ここで、ディジタル化された画像信
号は再生信号処理回路７にてＦＭ復調、ディエンファシ
ス等の再生信号処理が施された後、必要に応じて第１画
像メモリ９と第２画像メモリ１０でノイズ除去等のディ
ジタル処理が施される。そして、モニタ信号処理回路２
２によりコンポジット画像信号に変換され、Ｄ／Ａ変換
器２３によりアナログ画像信号に変換され、ＶＦ２４と
ビデオ出力端子２５に供給される。
【００２３】次に、ビデオテープ１６の再生時にパノラ
マ画像を作成する場合の動作を説明する。この時、ユー
ザはモードスイッチ１７ｂを操作して再生時にパノラマ
画像を作成するモードに設定するとともにＲＥＣボタン
（図示せず）をＯＮにして撮影を開始する。そして、パ
ンニング撮影時にパノラマスイッチ１７ａをＯＮにす
る。
マ画像を作成する場合の動作を説明する。この時、ユー
ザはモードスイッチ１７ｂを操作して再生時にパノラマ
画像を作成するモードに設定するとともにＲＥＣボタン
（図示せず）をＯＮにして撮影を開始する。そして、パ
ンニング撮影時にパノラマスイッチ１７ａをＯＮにす
る。
【００２４】この場合、ＣＣＤ撮像素子１の出力がスイ
ッチ８のＲ端子に入力される迄の処理は前記した記録時
にパノラマ画像を作成する場合と同じである。スイッチ
８の出力は第１画像メモリ９又は第２画像メモリ１０を
通って、記録信号処理回路１１に入力され、記録／再生
アンプ１３、スイッチ１４のＡ端子を経て、ビデオヘッ
ド１５によりビデオテープ１６に記録される。ここで、
第１画像メモリ９又は第２画像メモリ１０を通すのは、
動きベクトル検出動作による１フィールド遅延に合わせ
るためである。
ッチ８のＲ端子に入力される迄の処理は前記した記録時
にパノラマ画像を作成する場合と同じである。スイッチ
８の出力は第１画像メモリ９又は第２画像メモリ１０を
通って、記録信号処理回路１１に入力され、記録／再生
アンプ１３、スイッチ１４のＡ端子を経て、ビデオヘッ
ド１５によりビデオテープ１６に記録される。ここで、
第１画像メモリ９又は第２画像メモリ１０を通すのは、
動きベクトル検出動作による１フィールド遅延に合わせ
るためである。
【００２５】また、スイッチ８の出力は動きベクトル検
出器１９に供給され、動きベクトル検出データがマイコ
ン１８に送られる。マイコン１８は動きベクトル検出器
１９の出力に基づいて動きベクトルを算出し、ビデオサ
ブコードプロセッサ２１に動きベクトル情報を供給す
る。また、マイコン１８はパンニング撮影時にパノラマ
スイッチ１７ａが操作されたことを検出し、パンニング
ＩＤをビデオサブコードプロセッサ２１に供給する。
出器１９に供給され、動きベクトル検出データがマイコ
ン１８に送られる。マイコン１８は動きベクトル検出器
１９の出力に基づいて動きベクトルを算出し、ビデオサ
ブコードプロセッサ２１に動きベクトル情報を供給す
る。また、マイコン１８はパンニング撮影時にパノラマ
スイッチ１７ａが操作されたことを検出し、パンニング
ＩＤをビデオサブコードプロセッサ２１に供給する。
【００２６】ビデオサブコードプロセッサ２１は、マイ
コン１８から出力された動きベクトル情報とパンニング
ＩＤからビデオサブコードを作成し、スイッチ１４のＢ
端子を介して記録ヘッド１５に供給する。スイッチ１４
の切換えは各記録トラックごとに行われる。この結果、
各トラックごとにビデオサブコードが画像信号と切換え
られてビデオテープに記録される。このビデオサブコー
ドは、例えば８ミリビデオであれば、ＰＣＭ音声信号と
ＦＭ画像信号との間の部分に記録すればよい。
コン１８から出力された動きベクトル情報とパンニング
ＩＤからビデオサブコードを作成し、スイッチ１４のＢ
端子を介して記録ヘッド１５に供給する。スイッチ１４
の切換えは各記録トラックごとに行われる。この結果、
各トラックごとにビデオサブコードが画像信号と切換え
られてビデオテープに記録される。このビデオサブコー
ドは、例えば８ミリビデオであれば、ＰＣＭ音声信号と
ＦＭ画像信号との間の部分に記録すればよい。
【００２７】次に、以上のようにして記録された画像信
号及びビデオサブコードを再生してパノラマ画像を作成
する動作を説明する。この時、ユーザはＰＢボタン（図
示せず）をＯＮにしてビデオテープ１６に記録された信
号を再生し、ＶＦ２４を観察する。そして、パノラマ画
像を作成したい被写体が表示されたら、パノラマスイッ
チ１７ａをＯＮにする。
号及びビデオサブコードを再生してパノラマ画像を作成
する動作を説明する。この時、ユーザはＰＢボタン（図
示せず）をＯＮにしてビデオテープ１６に記録された信
号を再生し、ＶＦ２４を観察する。そして、パノラマ画
像を作成したい被写体が表示されたら、パノラマスイッ
チ１７ａをＯＮにする。
【００２８】ビデオヘッド１５によりビデオテープ１６
から再生された信号は、記録／再生アンプ１３からスイ
ッチ３のＰ端子を介してＡ／Ｄ変換器４に入力される。
ここで、ディジタル化された画像信号は再生信号処理回
路７にてＦＭ復調、ディエンファシス等の再生信号処理
が施された後、第１画像メモリ９に書込まれる。また、
ビデオヘッド１５によりビデオテープ１６から再生され
た信号はビデオサブコードプロセッサ２１に入力され、
図４に示されているビデオサブコードがマイコン１８に
送られる。マイコン１８はパンニングＩＤと動きベクト
ル情報を識別し、パンニングがＯＮであった時にはメモ
リコントローラ２０に動きベクトルを送出する。
から再生された信号は、記録／再生アンプ１３からスイ
ッチ３のＰ端子を介してＡ／Ｄ変換器４に入力される。
ここで、ディジタル化された画像信号は再生信号処理回
路７にてＦＭ復調、ディエンファシス等の再生信号処理
が施された後、第１画像メモリ９に書込まれる。また、
ビデオヘッド１５によりビデオテープ１６から再生され
た信号はビデオサブコードプロセッサ２１に入力され、
図４に示されているビデオサブコードがマイコン１８に
送られる。マイコン１８はパンニングＩＤと動きベクト
ル情報を識別し、パンニングがＯＮであった時にはメモ
リコントローラ２０に動きベクトルを送出する。
【００２９】メモリコントローラ２０は、例えば図１及
び図２に説明したように、動きベクトルに応じて第１画
像メモリ９における画像の抜取りと第２画像メモリ１０
に対する画像信号の書込みを制御することにより、第２
画像メモリ１０にパノラマ画像を書込む。この第２画像
メモリ１０の内容を読出し、モニタ信号処理回路２２に
よりコンポジット画像信号に変換し、Ｄ／Ａ変換器２３
によりアナログ画像信号に変換してＶＦ２４に供給すれ
ば、パノラマ画像が表示される。また、ビデオ出力端子
２５から外部のモニタやプリンタに供給すれば、パノラ
マ画像が外部のモニタやプリンタに表示される。
び図２に説明したように、動きベクトルに応じて第１画
像メモリ９における画像の抜取りと第２画像メモリ１０
に対する画像信号の書込みを制御することにより、第２
画像メモリ１０にパノラマ画像を書込む。この第２画像
メモリ１０の内容を読出し、モニタ信号処理回路２２に
よりコンポジット画像信号に変換し、Ｄ／Ａ変換器２３
によりアナログ画像信号に変換してＶＦ２４に供給すれ
ば、パノラマ画像が表示される。また、ビデオ出力端子
２５から外部のモニタやプリンタに供給すれば、パノラ
マ画像が外部のモニタやプリンタに表示される。
【００３０】このように記録時にパンニングＩＤと動き
ベクトル情報をビデオサブコードとして記録し再生時に
利用する理由は、再生画像信号から動きベクトルを検出
しようとすると、ビデオテープと記録ヘッドからなる電
磁変換系を通ることによって再生画像信号のＳ／Ｎが劣
化するので、動きベクトル検出の精度が低下するからで
ある。なお、パンニングＩＤを記録せず、再生時にパノ
ラマスイッチ１７ａをＯＮにすることによりパノラマ画
像を作成するように構成してもよい。
ベクトル情報をビデオサブコードとして記録し再生時に
利用する理由は、再生画像信号から動きベクトルを検出
しようとすると、ビデオテープと記録ヘッドからなる電
磁変換系を通ることによって再生画像信号のＳ／Ｎが劣
化するので、動きベクトル検出の精度が低下するからで
ある。なお、パンニングＩＤを記録せず、再生時にパノ
ラマスイッチ１７ａをＯＮにすることによりパノラマ画
像を作成するように構成してもよい。
【００３１】以上が、パノラマ画像作成の動作である。
次に、動きベクトル検出器１９の構成及び動作とマイコ
ン１８の動きベクトル算出処理について説明する。本実
施例の動きベクトル検出器１９は、代表点マッチング法
を改良した方法で動きベクトルを検出する。まず、図４
を参照しながら、代表点マッチング法について簡単に説
明する。
次に、動きベクトル検出器１９の構成及び動作とマイコ
ン１８の動きベクトル算出処理について説明する。本実
施例の動きベクトル検出器１９は、代表点マッチング法
を改良した方法で動きベクトルを検出する。まず、図４
を参照しながら、代表点マッチング法について簡単に説
明する。
【００３２】画面Ａ内に動きベクトルを検出する例えば
５個の領域Ａ１〜Ａ５を設定する。各領域はＫ×Ｌ個の
ブロックＢから構成される。各ブロックＢはＭ×Ｎ個の
画素で構成され、例えばその中心に代表点Ｒが設定され
る。各ブロックＢは代表点Ｒが１フィールド期間内に動
く可能性のある範囲である。画面Ａの動きベクトルは領
域Ａ１〜Ａ５のそれぞれの動きベクトルを求め、各領域
の動きベクトルを処理して算出する。例えば、領域Ａ２
の動きベクトルは、領域Ａ２内のＫ×Ｌ個の各代表点Ｒ
が１フィールド期間にどこへ移動したかを検出すること
により求める。これには、各ブロックＢ内の代表点Ｒの
第ｎフィールドにおける画像信号Ｓn （０，０）と代表
点Ｒから垂直方向にｉ、水平方向にｊ偏移した点の第ｎ
＋１フィールドにおける画像信号Ｓn +1（ｉ，ｊ）との
差分の絶対値を計算してブロックの相関値ｐ（ｉ，ｊ）
を計算する。そして、各ブロックの相関値ｐ（ｉ，ｊ）
をＫ×Ｌ個の全ブロックについて偏移（ｉ，ｊ）ごとに
累積加算して領域Ａ２の相関値Ｐ（ｉ，ｊ）を計算す
る。Ｐ（ｉ，ｊ）が最小になる偏移（ｉ，ｊ）を領域Ａ
２の動きベクトルとする。
５個の領域Ａ１〜Ａ５を設定する。各領域はＫ×Ｌ個の
ブロックＢから構成される。各ブロックＢはＭ×Ｎ個の
画素で構成され、例えばその中心に代表点Ｒが設定され
る。各ブロックＢは代表点Ｒが１フィールド期間内に動
く可能性のある範囲である。画面Ａの動きベクトルは領
域Ａ１〜Ａ５のそれぞれの動きベクトルを求め、各領域
の動きベクトルを処理して算出する。例えば、領域Ａ２
の動きベクトルは、領域Ａ２内のＫ×Ｌ個の各代表点Ｒ
が１フィールド期間にどこへ移動したかを検出すること
により求める。これには、各ブロックＢ内の代表点Ｒの
第ｎフィールドにおける画像信号Ｓn （０，０）と代表
点Ｒから垂直方向にｉ、水平方向にｊ偏移した点の第ｎ
＋１フィールドにおける画像信号Ｓn +1（ｉ，ｊ）との
差分の絶対値を計算してブロックの相関値ｐ（ｉ，ｊ）
を計算する。そして、各ブロックの相関値ｐ（ｉ，ｊ）
をＫ×Ｌ個の全ブロックについて偏移（ｉ，ｊ）ごとに
累積加算して領域Ａ２の相関値Ｐ（ｉ，ｊ）を計算す
る。Ｐ（ｉ，ｊ）が最小になる偏移（ｉ，ｊ）を領域Ａ
２の動きベクトルとする。
【００３３】代表点マッチング法による動きベクトルの
検出は、画面Ａをサンプリングした代表点のみの動きを
計算すればよいため、画面Ａ内の全画素を用いて動きベ
クトルを検出する全点マッチング法と比較すると演算量
が大幅に削減される。しかしながら、被写体の動きが画
面内に混在した場合、画像信号のＳ／Ｎが悪い場合、あ
るいは代表点の周辺の画像の絵柄の変化が乏しい場合に
は正確な動きベクトルの検出ができない。
検出は、画面Ａをサンプリングした代表点のみの動きを
計算すればよいため、画面Ａ内の全画素を用いて動きベ
クトルを検出する全点マッチング法と比較すると演算量
が大幅に削減される。しかしながら、被写体の動きが画
面内に混在した場合、画像信号のＳ／Ｎが悪い場合、あ
るいは代表点の周辺の画像の絵柄の変化が乏しい場合に
は正確な動きベクトルの検出ができない。
【００３４】そこで、本実施例では、各領域Ａ１〜Ａ５
内のＫ×Ｌ個の代表点中、周辺の画像の絵柄の変化量が
所定値より大きい代表点のみを動きベクトル検出に用い
ている。絵柄の変化量の検出は、各代表点の画像のラプ
ラシアンΔを計算することにより行う。この計算は、代
表点が例えば画面の第ｖライン目、第ｈドット目にある
ものとすれば、Δ＝Ｓ（ｈ＋１，ｖ）＋Ｓ（ｈ−１，
ｖ）＋Ｓ（ｈ，ｖ＋１）＋Ｓ（ｈ，ｖ−１）−４×Ｓ
（ｈ，ｖ）の式から計算する。
内のＫ×Ｌ個の代表点中、周辺の画像の絵柄の変化量が
所定値より大きい代表点のみを動きベクトル検出に用い
ている。絵柄の変化量の検出は、各代表点の画像のラプ
ラシアンΔを計算することにより行う。この計算は、代
表点が例えば画面の第ｖライン目、第ｈドット目にある
ものとすれば、Δ＝Ｓ（ｈ＋１，ｖ）＋Ｓ（ｈ−１，
ｖ）＋Ｓ（ｈ，ｖ＋１）＋Ｓ（ｈ，ｖ−１）−４×Ｓ
（ｈ，ｖ）の式から計算する。
【００３５】この式から分かるように、ラプラシアンΔ
は代表点の画像と代表点に隣接する周囲の画像の平均値
との差に相当するから、ラプラシアンΔの値は代表点の
周辺の画像の絵柄の変化の大きさを示す。本実施例は、
各領域Ａ１〜Ａ５内のＫ×Ｌ個の代表点中、ラプラシア
ンΔが所定値を越える代表点のみ動きベクトル検出に用
いているので、正確な動きベクトルの検出ができる。
は代表点の画像と代表点に隣接する周囲の画像の平均値
との差に相当するから、ラプラシアンΔの値は代表点の
周辺の画像の絵柄の変化の大きさを示す。本実施例は、
各領域Ａ１〜Ａ５内のＫ×Ｌ個の代表点中、ラプラシア
ンΔが所定値を越える代表点のみ動きベクトル検出に用
いているので、正確な動きベクトルの検出ができる。
【００３６】図５は本発明の実施例による動きベクトル
検出器の構成を示すブロック図である。以下、図４及び
図５を参照しながら本発明の実施例による動きベクトル
検出器の動作を説明する。入力端子１９１には図４に示
されている代表点Ｒの画像信号が入力され、代表点抽出
回路１９２においてラプラシアンΔが計算される。そし
て、ラプラシアンΔが所定値を越えた代表点の画像信号
のみ代表点メモリ１９３に格納される。ここで、代表点
抽出回路１９２は、例えば１ライン遅延回路、１ドット
遅延回路、加算器、減算器、アンプ、比較器等の組合せ
により構成されている。
検出器の構成を示すブロック図である。以下、図４及び
図５を参照しながら本発明の実施例による動きベクトル
検出器の動作を説明する。入力端子１９１には図４に示
されている代表点Ｒの画像信号が入力され、代表点抽出
回路１９２においてラプラシアンΔが計算される。そし
て、ラプラシアンΔが所定値を越えた代表点の画像信号
のみ代表点メモリ１９３に格納される。ここで、代表点
抽出回路１９２は、例えば１ライン遅延回路、１ドット
遅延回路、加算器、減算器、アンプ、比較器等の組合せ
により構成されている。
【００３７】次に、差分演算回路１９４において、代表
点メモリ１９３に格納された代表点の画像信号Ｓ
n （０，０）と次のフィールドの偏移（ｉ，ｊ）の画像
信号Ｓn +1（ｉ，ｊ）の差分の絶対値を計算してブロッ
クの相関値ｐ（ｉ，ｊ）を計算し、これを全ブロックに
ついて偏移（ｉ，ｊ）ごとに累積加算して領域の相関値
Ｐ（ｉ，ｊ）を計算し、この計算結果を相関値メモリ１
９５に格納する。
点メモリ１９３に格納された代表点の画像信号Ｓ
n （０，０）と次のフィールドの偏移（ｉ，ｊ）の画像
信号Ｓn +1（ｉ，ｊ）の差分の絶対値を計算してブロッ
クの相関値ｐ（ｉ，ｊ）を計算し、これを全ブロックに
ついて偏移（ｉ，ｊ）ごとに累積加算して領域の相関値
Ｐ（ｉ，ｊ）を計算し、この計算結果を相関値メモリ１
９５に格納する。
【００３８】最後に、動き量検出回路１９６において、
相関値メモリ１９５に格納された相関値Ｐ（ｉ，ｊ）か
らそれが最小になる偏移（ｉ，ｊ）を求める。この偏移
（ｉ，ｊ）を各領域Ａ１〜Ａ５について求め、出力端子
１９７から図３のマイコン１８に出力する。なお、ここ
では５個の領域Ａ1 〜Ａ５を設定したが、この数とパタ
ーンは任意に設定することができる。
相関値メモリ１９５に格納された相関値Ｐ（ｉ，ｊ）か
らそれが最小になる偏移（ｉ，ｊ）を求める。この偏移
（ｉ，ｊ）を各領域Ａ１〜Ａ５について求め、出力端子
１９７から図３のマイコン１８に出力する。なお、ここ
では５個の領域Ａ1 〜Ａ５を設定したが、この数とパタ
ーンは任意に設定することができる。
【００３９】次に、マイコン１８の動きベクトル算出処
理について説明する。マイコン１８はパノラマ画像作成
装置の特徴を利用して動きベクトル検出の精度を向上さ
せる処理を行っている。すなわち、パノラマ画像を作成
する場合には、通常はカムコーダをパンさせながら被写
体を撮影するので、カムコーダは垂直方向にはあまり移
動せず、水平方向にほぼ一定速度で移動する。そこで、
動きベクトル検出器１９が検出した各領域Ａ１〜Ａ５の
動きベクトルの中で、垂直成分が所定値よりも小さい動
きベクトルを正しい動きベクトルと判定する。なお、カ
ムコーダをチルトさせてパノラマ画像を作成する場合
は、水平成分が所定値よりも小さい動きベクトルを正し
い動きベクトルと判定する。以下、図６を参照しなが
ら、カムコーダをパンさせてパノラマ画像を作成する場
合のマイコン１８における動きベクトル算出処理につい
て説明する。
理について説明する。マイコン１８はパノラマ画像作成
装置の特徴を利用して動きベクトル検出の精度を向上さ
せる処理を行っている。すなわち、パノラマ画像を作成
する場合には、通常はカムコーダをパンさせながら被写
体を撮影するので、カムコーダは垂直方向にはあまり移
動せず、水平方向にほぼ一定速度で移動する。そこで、
動きベクトル検出器１９が検出した各領域Ａ１〜Ａ５の
動きベクトルの中で、垂直成分が所定値よりも小さい動
きベクトルを正しい動きベクトルと判定する。なお、カ
ムコーダをチルトさせてパノラマ画像を作成する場合
は、水平成分が所定値よりも小さい動きベクトルを正し
い動きベクトルと判定する。以下、図６を参照しなが
ら、カムコーダをパンさせてパノラマ画像を作成する場
合のマイコン１８における動きベクトル算出処理につい
て説明する。
【００４０】まず、領域Ａ１〜Ａ５について動きベクト
ル検出器１９が出力した動きベクトルからその垂直成分
が所定値Ｋ1 （≒０）より小さいかどうかを判断し、垂
直成分が所定値Ｋ1 より小さい領域の数をカウントする
（ステップＳ１〜Ｓ３）。次に、動きベクトルの垂直成
分が所定値Ｋ1 より小さい領域が２個以上であれば、フ
ァジー判別によってどの領域の動きベクトルが正しい動
きベクトルかどうか判別し、動きベクトルを決定する
（ステップＳ４，Ｓ８）。例えば、偏移（ｉ，ｊ）に対
する相関値Ｐ（ｉ，ｊ）の平均値Ａｖ、最小値Ｍｉｎ、
及び傾きθをパラメータとし、（１）（Ｍｉｎ／Ａｖ）
が小さければ、この領域で求められた動きベクトルは確
からしい、（２）θが大きければ、この領域で求められ
た動きベクトルは確からしい、というルールに基づいて
メンバーシップ関数を作成し、２個以上の領域から求め
られた動きベクトルの確度を判別する。
ル検出器１９が出力した動きベクトルからその垂直成分
が所定値Ｋ1 （≒０）より小さいかどうかを判断し、垂
直成分が所定値Ｋ1 より小さい領域の数をカウントする
（ステップＳ１〜Ｓ３）。次に、動きベクトルの垂直成
分が所定値Ｋ1 より小さい領域が２個以上であれば、フ
ァジー判別によってどの領域の動きベクトルが正しい動
きベクトルかどうか判別し、動きベクトルを決定する
（ステップＳ４，Ｓ８）。例えば、偏移（ｉ，ｊ）に対
する相関値Ｐ（ｉ，ｊ）の平均値Ａｖ、最小値Ｍｉｎ、
及び傾きθをパラメータとし、（１）（Ｍｉｎ／Ａｖ）
が小さければ、この領域で求められた動きベクトルは確
からしい、（２）θが大きければ、この領域で求められ
た動きベクトルは確からしい、というルールに基づいて
メンバーシップ関数を作成し、２個以上の領域から求め
られた動きベクトルの確度を判別する。
【００４１】また、動きベクトルの垂直成分が所定値Ｋ
1 より小さい領域が１個であれば、その領域の動きベク
トルを正しい動きベクトルとする（ステップＳ４，Ｓ
５，Ｓ７）。さらに、動きベクトルの垂直成分が所定値
Ｋ1 より小さい領域が２個以上でなく、かつ１個でもな
い場合は、動きベクトルの検出が不能である（ステップ
Ｓ４，Ｓ５，Ｓ６）。この場合、前のフィールドの動き
ベクトルデータを保持する。
1 より小さい領域が１個であれば、その領域の動きベク
トルを正しい動きベクトルとする（ステップＳ４，Ｓ
５，Ｓ７）。さらに、動きベクトルの垂直成分が所定値
Ｋ1 より小さい領域が２個以上でなく、かつ１個でもな
い場合は、動きベクトルの検出が不能である（ステップ
Ｓ４，Ｓ５，Ｓ６）。この場合、前のフィールドの動き
ベクトルデータを保持する。
【００４２】カムコーダをチルトさせてパノラマ画像を
作成する場合は、動きベクトルの水平成分が所定値Ｋ２
（≒０）より小さい領域をカウントし、その数に応じて
全く同様に処理することによって動きベクトルを検出す
ることができる。そして、このようにしてマイコン１８
において算出した動きベクトルをメモリコントローラ２
０に出力することにより、精度の高いパノラマ画像を作
成することが可能となる。
作成する場合は、動きベクトルの水平成分が所定値Ｋ２
（≒０）より小さい領域をカウントし、その数に応じて
全く同様に処理することによって動きベクトルを検出す
ることができる。そして、このようにしてマイコン１８
において算出した動きベクトルをメモリコントローラ２
０に出力することにより、精度の高いパノラマ画像を作
成することが可能となる。
【００４３】なお、本発明は前記実施例に限定されるも
のではなく、本発明の趣旨に基づき下記（１）〜（８）
のような種々の変形が可能であり、それらを本発明の範
囲から排除するものではない。 （１）動きベクトル検出器として、従来の代表点マッチ
ング法による動きベクトル検出器を用いてもよい。 （２）角速度センサを付加し、その出力を参照して動き
ベクトルを決定するようにしてもよい。 （３）以上の説明では、１フィールドごとに画像メモリ
に書込みを行ったが、奇数フィールドと偶数フィールド
では垂直方向に走査線の位置がずれているので、どちら
かのフィールドのみ画像メモリに書込んでもよい。 （４）図１（ｂ）〜（ｅ）等の画面を縮小し、第２画像
メモリに書込んで作成したパノラマ画像信号をこのメモ
リから読出す時に元のサイズに拡大してもよい。この場
合、プリンタを用いて紙等にパノラマ画像を形成するか
又はモニタにおいてスクロール表示する。 （５）再生時にパノラマ画像を作成するモードだけを備
えるように構成してもよい。また、ライン入力された画
像信号からパノラマ画像を作成するように構成してもよ
い。 （６）パンニングＩＤと動きベクトル情報を画像信号の
垂直ブランキング期間やビデオテープの長手方向に記録
してもよい。 （７）記録専用機に適用してもよい。 （８）磁気ディスク、光磁気ディスク等の回転記録媒体
に記録してもよい。
のではなく、本発明の趣旨に基づき下記（１）〜（８）
のような種々の変形が可能であり、それらを本発明の範
囲から排除するものではない。 （１）動きベクトル検出器として、従来の代表点マッチ
ング法による動きベクトル検出器を用いてもよい。 （２）角速度センサを付加し、その出力を参照して動き
ベクトルを決定するようにしてもよい。 （３）以上の説明では、１フィールドごとに画像メモリ
に書込みを行ったが、奇数フィールドと偶数フィールド
では垂直方向に走査線の位置がずれているので、どちら
かのフィールドのみ画像メモリに書込んでもよい。 （４）図１（ｂ）〜（ｅ）等の画面を縮小し、第２画像
メモリに書込んで作成したパノラマ画像信号をこのメモ
リから読出す時に元のサイズに拡大してもよい。この場
合、プリンタを用いて紙等にパノラマ画像を形成するか
又はモニタにおいてスクロール表示する。 （５）再生時にパノラマ画像を作成するモードだけを備
えるように構成してもよい。また、ライン入力された画
像信号からパノラマ画像を作成するように構成してもよ
い。 （６）パンニングＩＤと動きベクトル情報を画像信号の
垂直ブランキング期間やビデオテープの長手方向に記録
してもよい。 （７）記録専用機に適用してもよい。 （８）磁気ディスク、光磁気ディスク等の回転記録媒体
に記録してもよい。
【００４４】
【発明の効果】以上、詳細に説明したように、本発明に
よれば、パノラマ画像作成装置において、被写体の動き
やＳ／Ｎの悪い画像、コントラストが小さい画像であっ
ても、動きベクトルの誤検出を削減できる。その結果、
精度の高いパノラマ画像が作成できる。
よれば、パノラマ画像作成装置において、被写体の動き
やＳ／Ｎの悪い画像、コントラストが小さい画像であっ
ても、動きベクトルの誤検出を削減できる。その結果、
精度の高いパノラマ画像が作成できる。
【図１】本発明を適用するパノラマ画像作成装置のパノ
ラマ画像作成原理の説明図である。
ラマ画像作成原理の説明図である。
【図２】図１で説明した画像メモリの水平方向のライト
イネーブル信号と１水平走査期間の画像信号とのタイミ
ング関係を示すタイミングチャートである。
イネーブル信号と１水平走査期間の画像信号とのタイミ
ング関係を示すタイミングチャートである。
【図３】本発明を適用するパノラマ画像作成装置の構成
の一例を示すブロック図である。
の一例を示すブロック図である。
【図４】代表点マッチング法による動きベクトル検出の
説明図である。
説明図である。
【図５】本発明の実施例による動きベクトル検出器の構
成を示すブロック図である。
成を示すブロック図である。
【図６】本発明の実施例によるマイコンの動きベクトル
算出処理のフローチャートである。
算出処理のフローチャートである。
１ ＣＣＤ撮像素子
１８ マイコン
１９ 動きベクトル検出器
フロントページの続き
(72)発明者 小林 博
東京都品川区北品川６丁目７番35号 ソ
ニー株式会社内
(72)発明者 太田 正志
東京都品川区北品川６丁目７番35号 ソ
ニー株式会社内
(56)参考文献 特開 平１−251962（ＪＰ，Ａ)
特開 平３−231577（ＪＰ，Ａ)
特開 平２−151182（ＪＰ，Ａ)
(58)調査した分野(Int.Cl.7，ＤＢ名)
H04N 5/225 - 5/247
Claims (4)
- 【請求項１】 被写体を撮像して作成した画像信号によ
り形成される複数枚の画像を継ぎ合わせてパノラマ画像
を作成する場合に、画像の動きベクトルに基づいて画像
を継ぎ合わせる幅を制御するようにしたパノラマ画像作
成装置の動きベクトル検出方法であって、 パノラマ画像を構成する複数枚の画像のうちの１の画像
内に動きベクトルを検出する複数の領域を設定し、 設定した領域毎に、各領域内を複数個のブロックとし、
各ブロックの代表点について、代表点の画像と代表移転
に隣接する周辺の画像の平均値との差に相当する値を求
め、 求めた値が所定値を超える代表点を動きベクトルの検出
に使用する代表点として記憶し、 記憶した代表点の画像信号とそこから移動した点に対応
する次のフィールド又はフレームの偏移の画像信号の差
分の絶対値を計算して、ブロックの相関値を算出し、 各ブロックの相関値を全ブロックについて偏移ごとに累
積加算して領域の相関値を算出し、 各領域について相関値が最小になる偏移を動きベクトル
とし、 各領域について動きベクトルの垂直成分が所定値より小
さい動きベクトルをパンニング撮影時の動きベクトルと
して決定することを特徴とするパノラマ画像作成装置の
動きベクトル検出方法。 - 【請求項２】 動きベクトルの垂直成分が所定値より小
さい動きベクトルがある場合には、偏移に対する相関値
の偏位状態を示すパラメータによるメンバーシップ関数
を用いたファジー判別によって動きベクトルを決定する
ことを特徴とする請求項１記載のパノラマ画像作成装置
の動きベクトル検出方法。 - 【請求項３】 被写体を撮像して作成した画像信号によ
り形成される複数枚の画像を継ぎ合わせてパノラマ画像
を作成する場合に、画像の動きベクトルに基づいて画像
を継ぎ合わせる幅を制御するようにしたパノラマ画像作
成装置の動きベクトル検出装置であって、 パノラマ画像を構成する複数の画像画像のうちの１の画
像内に設定した動きベクトルを検出する複数の領域毎
に、各領域内を複数個のブロックとし、各ブロックの代
表点について、代表点の画像と代表移転に隣接する周辺
の画像の平均値との差に相当する値を求め、求めた値が
所定値を超える代表点を動きベクトルの検出に使用する
代表点として記憶し、記憶した代表点の画像信号とそこ
から移動した点に対応する次のフィールド又はフレーム
の偏移の画像信号の差分の絶対値を計算して、ブロック
の相関値を算出し、各ブロックの相関値を全ブロックに
ついて偏移ごとに累積加算して領域の相関値を算出する
相関値算出手段と、 上記相関値算出手段により算出された相関値に基づい
て、各領域について相関値が最小になる偏移を動きベク
トルとし、各領域について動きベクトルの垂直成分が所
定値より小さい動きベクトルをパンニング撮影時の動き
ベクトルとして決定する動きベクトル決定手段とを備え
ること特徴とするパノラマ画像作成装置の動きベクトル
検出装置。 - 【請求項４】 上記動きベクトル決定手段は、動きベク
トルの垂直成分が所定値より小さい動きベクトルがある
場合に、偏移に対する相関値の偏位状態を示すパラメー
タによるメンバーシップ関数を用いたファジー判別によ
って動きベクトルを決定することを特徴とする請求項３
記載のパノラマ画像作成装置の動きベクトル検出装置。
Priority Applications (12)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP30945192A JP3421859B2 (ja) | 1992-10-23 | 1992-10-23 | パノラマ画像作成装置の動きベクトル検出方法及び装置 |
| EP97203956A EP0838947B1 (en) | 1992-10-09 | 1993-09-27 | Producing and recording images |
| DE69327220T DE69327220T2 (de) | 1992-10-09 | 1993-09-27 | Erzeugung und Aufzeichnung von Bildern |
| EP98202748A EP0878963A1 (en) | 1992-10-09 | 1993-09-27 | Producing and recording images |
| DE69329717T DE69329717T2 (de) | 1992-10-09 | 1993-09-27 | Erzeugung und Aufnahme von Bildern |
| EP93307647A EP0592136B1 (en) | 1992-10-09 | 1993-09-27 | Producing and recording images |
| US08/133,377 US5548409A (en) | 1992-10-09 | 1993-10-08 | Panorama image producing method and appartus |
| KR1019930020911A KR100325491B1 (ko) | 1992-10-09 | 1993-10-09 | 파노라마화상작성방법및장치 |
| US08/395,419 US5510830A (en) | 1992-01-09 | 1995-02-27 | Apparatus and method for producing a panorama image using a motion vector of an image in an image signal |
| US08/396,173 US5625462A (en) | 1992-10-09 | 1995-02-27 | Panorama image producing method and apparatus which calculates a cumulative amount of motion of the image |
| US08/583,441 US5689611A (en) | 1992-10-09 | 1996-01-05 | Panorama image producing method and apparatus |
| US08/729,778 US5666459A (en) | 1992-10-09 | 1996-10-08 | Panorama image producing method and apparatus using at least portions of variable width images |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP30945192A JP3421859B2 (ja) | 1992-10-23 | 1992-10-23 | パノラマ画像作成装置の動きベクトル検出方法及び装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH06141218A JPH06141218A (ja) | 1994-05-20 |
| JP3421859B2 true JP3421859B2 (ja) | 2003-06-30 |
Family
ID=17993157
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP30945192A Expired - Fee Related JP3421859B2 (ja) | 1992-01-09 | 1992-10-23 | パノラマ画像作成装置の動きベクトル検出方法及び装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3421859B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10154195B2 (en) | 2014-09-25 | 2018-12-11 | JVC Kenwood Corporation | Image joining apparatus, image pickup apparatus, image joining method, and image joining program |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3799861B2 (ja) * | 1999-02-24 | 2006-07-19 | 株式会社日立製作所 | 画像合成装置、画像合成方法を実行させるプログラムが記録された記録媒体 |
| JP5338174B2 (ja) * | 2008-07-28 | 2013-11-13 | 富士通株式会社 | パノラマ撮影装置及び方法、パノラマ撮影装置を搭載したカメラユニット |
| JP5154392B2 (ja) * | 2008-12-12 | 2013-02-27 | 株式会社キーエンス | 撮像装置 |
| JP5149984B2 (ja) * | 2011-09-16 | 2013-02-20 | 株式会社キーエンス | 撮像装置 |
| JP5209137B2 (ja) * | 2012-09-05 | 2013-06-12 | 株式会社キーエンス | 撮像装置 |
| JP5598569B2 (ja) * | 2013-05-20 | 2014-10-01 | 富士通株式会社 | パノラマ撮影装置及び方法、パノラマ撮影装置を搭載したカメラユニット |
-
1992
- 1992-10-23 JP JP30945192A patent/JP3421859B2/ja not_active Expired - Fee Related
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10154195B2 (en) | 2014-09-25 | 2018-12-11 | JVC Kenwood Corporation | Image joining apparatus, image pickup apparatus, image joining method, and image joining program |
Also Published As
| Publication number | Publication date |
|---|---|
| JPH06141218A (ja) | 1994-05-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP0838947B1 (en) | Producing and recording images | |
| US6122004A (en) | Image stabilizing circuit for a camcorder | |
| JPH06303562A (ja) | 撮像記録装置 | |
| JPH1169293A (ja) | 画像処理システムならびにカメラ一体型ビデオレコーダ | |
| JP3421859B2 (ja) | パノラマ画像作成装置の動きベクトル検出方法及び装置 | |
| JPH08223481A (ja) | パノラマ静止画像作成装置 | |
| JP3158735B2 (ja) | 画像信号記録装置 | |
| JP3509114B2 (ja) | パノラマ画像作成方法及び装置 | |
| US6115067A (en) | Apparatus for maintaining object image size during zooming | |
| JPH06133221A (ja) | 撮像装置 | |
| JPH06284321A (ja) | パノラマ画像作成方法及び装置 | |
| JPH0856323A (ja) | ビデオ撮像記録再生表示方法及び装置 | |
| JPH09149364A (ja) | 静止画生成装置 | |
| JP3336085B2 (ja) | 撮像記録再生装置 | |
| JP3218612B2 (ja) | 手振れ補正可能なビデオ信号記録再生装置 | |
| JPH0396091A (ja) | 撮像信号の記録再生装置 | |
| JPH0746533A (ja) | デジタル画像信号の記録装置 | |
| JPH08163433A (ja) | パノラマ静止画像作成装置 | |
| JP3332514B2 (ja) | 画像揺れ補正装置 | |
| JP3158549B2 (ja) | 静止画記録再生装置 | |
| JP2658992B2 (ja) | 映像信号処理方法および装置 | |
| JPH08251477A (ja) | 画像形成装置 | |
| JPH04215378A (ja) | カメラ一体型ビデオテープレコーダ装置 | |
| JP3391491B2 (ja) | ビデオ・カメラおよびその制御方法 | |
| JPH0746534A (ja) | デジタル画像信号の伝送装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20021119 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20030318 |
|
| LAPS | Cancellation because of no payment of annual fees |