JPH031669A - 動画／静止画変換装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 ［産業上の利用分野］ 本発明は、テレビ・カメラやＶＴＲなどから人力された
動画像をＣＲＴやプリンタなどに静止画像として出力す
る動画／静止画変換装置に関する。

［従来の技術］ 従来、プリンタ等で出力される画像は、イメージ・スキ
ャナなどの静止画人力装置から人力されたものが主であ
ったが、最近は、入力装置として、テレビ・カメラやビ
デオ・カメラ、ＶＴＲなどの多種多様の装置が使用され
るようになってきた。

また、ＨＤ、Ｔ’Ｖのようなテレビジョン信号の高精細
化に伴い、高精細テレビジョン信号の画像をプリンタや
印刷装置に出力する傾向が強くなってきている。

一般に、テレビ・カメラの出力のような動画像の１シー
ンを静止画像として取り出す場合、良好な静止画像を得
るにはまだ多くの課題がある。特に、動画像では、視覚
系の時間軸方向の積分効果により１フレーム中のノイズ
が見えにくくなるのに対して、１フレームを抽出した静
止画像では、視覚系の積分効果が少なく、ノイズによる
画質劣化が目立ってしまうという問題がある。これに対
しては、例えばフレーム間信号処理によるノイズ低減処
理が用いられる。

［発明が解決しようとする課題］ しかし、ノイズ除去をフレーム間で行なう場合、ビデオ
・カメラなどの動画人力装置の上下移動操作（チルディ
ングという）、左右移動操作（バンニングという）、及
び拡大縮小操作（ズーミングという）などのカメラ操作
によってフレーム間の画像位置がずれてしまうので、フ
レーム間平滑化などの処理がうまく効果を発揮せず、ノ
イズが除去されないばかりか像か不鮮明になるという問
題がある。

そこで本発明はカメラの移動操作かあった場合の上記課
題を解決する動画／静止画変換装置を提示することを目
的とする。

［課題を解決するための手段］ 本発明に係る動画／静止画変換装置は、動画像信号に対
して、カメラの上下移動、左右移動、拡大縮小などの、
撮影時のカメラ操作を検出する操作検出手段と、その検
出結果に従い、入力の動画像に補正を加えて静止画像に
変換する変換手段とを有することを特徴とする。

［作用］ 上記手段により、カメラ操作による画面の変化があって
も、それに応じた補正処理を行なうことで、カメラ操作
の影響を相殺できる。従って、画面変化に関わらず、鮮
明な静止画像を得ることができる。

［実施例］ 以下、図面を参照して本発明の詳細な説明する。

第１図は本発明の一実施例の構成ブロック図を示す。１
０はビデオ・カメラやＶＴＲなどの動画像人力装置との
接続用のインターフェース回路、１２は画像データ及び
加工データを記憶する画像メモリ１４を内包し、画像メ
モリ１４の入出力を制御するメモリ制御回路、１６は動
きベクトルを検出するのに必要な画像エリアを指定する
画像エリア指定回路、１８は動きベクトル検出回路、２
０は角面像エリアの動きベクトルからカメラ操作に伴う
画像変動（移動や変倍）を検出する画面変動検出回路、
２２は検出された画面変動を補正し、フレーム間の位置
関係を合わせる画面変動補正回路、２４は補正されたフ
レームを用いて時間軸方向のノイズを低減するノイズ低
減回路、２６はカラー・プリンタやＣＲＴなどの画像出
力装置に接続するためのインターフェース回路である。

次に、第１図の動作を説明する。第１図の装置に画像入
力要求があると、インターフェース回路１０及びメモリ
制御回路１２が活動状態になり、インターフェース回路
１０は、外部の動画人力装置からの動画像信号を、それ
がアナログ信号の場合にはディジタル信号に変換して、
メモリ制御回路１２に供給する。メモリ制御回路１２は
、築２図に示すフレーム構成になるように画像メモリ１
４のアドレスを管理して、入力の動画像信号を画像メモ
リ１４に書き込む。ここでは、便宜的にｎ枚のフレーム
の画像メモリ１４に格納するとする。

画像メモリ１４のｎ枚のフレームの任意のフレームに対
して出力要求できるし、特定のフレームが出力されるよ
うにもできるが、ここでは、フレーム＃１に出力要求し
たとする。この出力要求により、画像エリア指定回路１
６、動きベクトル検出回路１８及び画面変動検出回路２
０が活動状態になり、フレーム＃１と同＃２から第２図
の点Ａ。

Ｂ、Ｃ，Ｄ、Ｅ、Ｆ、Ｇ、Ｈ，Ｉの計９点での動きベク
トルを算定する動作を開始する。

点Ａはフレーム画面の中央に位置し、点Ｆ、Ｂ。

Ａ、Ｅ、Ｉ及び点Ｇ、Ｃ，Ａ、Ｄ、Ｈはそれぞれ同一直
線上に位置する。これら９点の位置関係を第３図に示す
。フレームの主（水平）走査方向をＸ軸とし、副（垂直
）走査方向をｙ軸とし、Ｘ軸方向にｘ０個の画素、ｙ軸
方向に７０個の画素力くあるとする。ＸＯ＋　’！ｏは
正の整数であり、例えばノ１イボジョン画像では、ｘｏ
＝　１９２０、ｙｏ＝１０３５程度である。

９点の座標は以下の通りである。

点Ａ　　　　　ｘＡ＝（ｘｏ＋１）／２　　　　　ｙＡ
＝（ｙｏ＋１）／２点Ｂ　　　Ｘ１＝ＸＡ−ＣＩ　　　
　Ｙｓ＝ＹＡ−β点Ｃｘｃ＝ｘ＾十α　　　　　　　　
ｙＣ：ｙ＾−β点Ｄ　　　Ｘ　ｏ　”　ＸＡ−α　　　
’ｉｏ”！＾＋β点１１ｉ、　　　ｘ、＝ｘ＾＋α　　
　ＹＢ”ＹＡ÷β点Ｆ　　　ｘ、；ｘ＾−２α　　ＹＦ
＝ＹＡ−２β点Ｇ　　　ＸＧ：ＸＡ−２ＣＬ　　　　Ｙ
Ｇ”ＹＡ−β点ＨＸ、＝ＸＡ−２ａ　　　　’ｈ＋”１
Ａ−２β点Ｉ　　　Ｘ＋”ＸＡ＋２（Ｚ　　　ｙｓ＝、
ｙＡ＋２β但し、α−ＩＮＴ（ｘｏ／　６　）　、β＝
　ＩＮＴ（ｙｏ／　６　）であり、ＩＮＴＯは整数化の
関数である。

点Ａ−１の動きベクトルを順次求めるが、その手順を詳
細に説明する。なお画像エリア指定回路１６、ＸＯ＋　
Ｙｏ＋　　α、β及び上記点Ａ−１の座標値を初期値と
して保持している。画像エリア指定回路１６は、Ｘ　６
　＋　ｙＯ＋　　α、β及び上記点Ａ〜■の座標値の各
データを画面変動検出回路２ｏに伝送し、画面変動検出
回路２０はこれらのデータを記憶する。画像エリア指定
回路１６はまた、画面変動検出回路２０及び動きベクト
ル検出回路１８に先ず点への動きベクトルＭＡの計算を
指示し、この指示に応じて動きベクトル検出回路１８は
、動きベクトルＭＡの計算に必要な画像エリアのデータ
、具体的には、第４図に示すように注目点Ａから必要な
画像エリアの中心まえの距離（ｐ、ｑ）と、エリアの幅
（Δｐ１Δｑ）を画像エリア指定回路１６に伝える。但
し、ｌ）、　　Ｑ、　　Δｐ、Δｑは１画素単位であり
、第４図では、（ｐ、ｑ）＝　（ａ。

＝１）、（Δｐ、Δｑ）＝　（１，１）である。

画像エリア指定回路１６はこれに応じて、点Ａの座標（
ＸＡ、　ｙＡ）と、ｐ、ｑ、　　Δｐ、Δｑとがら、必
要な画像エリアの座標（ｘ、ｙ）を求める。第４図では
、９”画素の座標（Ｘｌ、Ｙｌ）となる（但し、ｉ＝１
〜９）。つまり、 ｘ、＝ｘ＾十ｐ−Δ　ｐ　　　　　　　　ｙＩ：ｙ＾＋
ｑ　−Δ　ｑｘ２＝ｘ、＋Ｉ　　　　　　　　Ｙ２＝Ｙ
ＩＸ３＝”１ｙｓ＝Ｙ＋ Ｘ４＝ＸＡ＋ｐ−Δｐｙ４＝ｙ１＋１ Ｘｌｌ”Ｘｌ　＋　１　　　　　　　　ｙ、＝ｙ４ｘｓ
＝ｘａ＋１　　　　　　　　’！ａ＝ＹａＸｔ＝ＸＡ＋
ｐ−ΔｐＹｖ”ｙａ＋１ Ｘ１”Ｘｔ＋Ｉ　　　　　　　　Ｙ＊＝Ｙｔｘｓ＝ｘａ
＋１　　　　　　　　’ｌｅ”！７画像エリア指定回路
１６は、第１フレームと第２フレームでの画像エリア（
Ｘｌ、ｙＩ）をメモリ制御回路１２に伝え、メモリ制御
回路１２は、フレーム番号１，２と座標（ＸＩＪ’＋）
を画像メモリ１４の物理アドレスに変換し、画像メモリ
１４がら必要なフレームの画像エリア（ここでは、第１
フレームと第２フレームの各９画素ｉ＝１〜９）の画像
データＳＩｌ＋８２１を読み出し、動きベクトル検出回
路１８に出力する。

動きベクトル検出回路１８は、画像メモリ１４からの画
像データＳｌ　ｌ　、Ｓ２１から、点Ａにおけるフレー
ム間の動きベクトルＭＡを求める。動きベクトルＭＡの
決定方法には、例えば濃度勾配法やマツチング法などが
ある。また、反復勾配法を用いる際に更に必要な画像エ
リアを動きベクトル検出回路１８から再び画像エリア指
定回路１６に伝えることで必要な画像エリアの画像デー
タを得ることができ、動きベクトルＭＡを求めることが
できる。このようにして求めた点への第１フレームと第
２フレーム間の動きベクトルＭＡは画面変動検出回路２
０に供給され、そこに−時記憶される。

同様にして、点８〜点Ｉのフレーム間動きベクトルＭ、
−Ｍ、が求められ、画面変動検出回路２０に一時記憶さ
れる。

画面変動検出回路２０は、９点Ａ〜■の動きベクトルＭ
Ａ−Ｍ、から、第１フレームと第２フレームの全体的な
ずれ、即ちチルティング、パンニング、ズーミングなど
のカメラ操作及びその量を検出する。なお、本実施例で
は、カメラ操作としてチルティング、パンニング及びズ
ーミングを基本操作として、これらの複合操作を検出す
ることに主眼をおいており、その操作例と動きベクトル
の関係を第５図〜第１０図に例示した。

第１１Ａ図及び第１１Ｂ図は画面変動検出回路２０の動
作フローチャートの一例を示す。先ず、動きベクトルＭ
Ａ−Ｍ、の大きさｍＡ−ｍ＋を求める（Ｓｌ）。ｍＡ＝
ＩＭＡ１、ｍｌ＝ＩＭ＋１である。動きベクトルの大き
さｍＡ”−ｍ、のうち殆どが０に近いか否かを調べ（Ｓ
２）、はとんどが０の場合には、画面ずれ無しと判定し
て終了しくＳ３）、Ｏでない動きベクトルがある場合に
は、何らかのカメラ操作が行なわれたと判定して、Ｓ４
以降の処理を行なう。

先ず、動きベクトルＭ　Ａ　−Ｍ　＋前部の類似度を求
める（Ｓ４）。この類似度とは、動きベクトルの方向及
び大きさがどのまで似ているかを示す指標である。

類似度が高いか否かを判定しくＳ５）、高い場合にはズ
ーミングが行なわれずに、第５図、第６図及び第８図に
示すようなパンニング、チルティング及びこれあの複合
操作が行なわれたと判定しくＳ６）、動きベクトルＭＡ
−Ｍ、から画面全体のずれベクトルＭ　ｔ　ｐを求める
（Ｓ７）。ずれベクトルＭ　７　ｐの求め方としては例
えば、動きベクトルＭ　Ａ　””　Ｍ　＋の内、類似度
の低い動きベクトルを除いて平均値を求め、これをずれ
ベクトルＭ　７　ｐとする方法が考えられる。

Ｓ５で類似度が低い場合には、動きベクトルＭＡ〜Ｍ、
の左右対称度Ｒｖを求め（Ｓ８）、上下対称度Ｒ８を求
める（Ｓ９）。Ｓ８での左右対称とは、画面の中央（点
Ａ）を通る縦（垂直）方向線に関しての線対称をいい、
動きベクトルＭ８とＭ　ｃ　ＳＭ　ｏとＭ８、Ｍ２とＭ
　ｃ　、　Ｍ　ＨとＭｌについて線対称の度合いを総合
した度合いが左右対称度Ｒｖになる。また、Ｓ９での上
下対称とは、画面の中央（点Ａ）を通る横（水平）方向
線に関しての線対称をいい、動きベクトルＭ、とＭｏＳ
ＭｃとＭ２、Ｍ、とＭ、、ＭａとＭ。

について線対称の度合いを総合した度合いが上下対称度
Ｒ１４になる。

そして、左右対称度Ｒｖ及び上下対称度Ｒ□の程度を判
定する（ＳＩｏ、１１．１６）。Ｒ７及びＲ，が共に高
い場合には、ズーミングのみが行なわれたと判定しく５
１２）、ズーム率Ｚを求める（Ｓ１３）。動きベクトル
Ｍ、〜Ｍ１が画面中央から外側を向いているときには、
撮影対称物が拡大され、視野の範囲が狭くなった場合に
相当し、逆に、動きベクトルが内側を向いているときに
は撮影対称物が縮小された場合に相当する。前者のズー
ム率を０〜１で表現し、後者のズーム率を１以上の実数
で表現する。

ズーム率の決定方法の一例を第１２図に図示した。

例えば点Ｉの動きベクトルＭ１を例に説明すると、動き
ベクトルＭ１の対角線要素をＭ１゛とすると、Ｚ　＝　
Ｉ　ＭＡＩ　ｌ　／　ｌ　ＭＡＩ＋　Ｍ　＋となる。但
し、Ｍ　Ａ　＋は、点Ａから点Ｉを結ぶベクトルである
。ズーミングのみの場合には、Ｍ、＃Ｍ、°である。こ
のようにして点Ｂ−ｒについてズーム率Ｚを求め、差の
大きなＺを除いて平均値を求め、これを画面全体のズー
ム率Ｚとする（Ｓ１３）。

Ｒｖが高く、且つＲＨが低い場合、第１０図に示すよう
なチルティングとズーミングの複合操作と判定しく５１
４）、チルティングの度合いＭｙを求める（Ｓ１５）。

Ｍ７の求め方の一例を第１３図により説明する。点Ｇ、
Ｉの動きベクトルＭａ、Ｍ＋に注目すると、 Ｍｃ”　Ｍａ°＋Ｍ？ Ｍ　＋＝　Ｍ　＋°＋ＭＴ である。但し、Ｍ　ｃ　’　、　Ｍ　＋　’は、ズーミ
ングのみが行なわれた場合の動きベクトルであり、対角
線方向成分のみを具備し、ｙ方向成分を持たない。従っ
て、ＭＴのＸ成分（Ｍ　ｔ　）−及びＸ成分（Ｍ７）、
は、（ＭＴ）Ｆ＝　（ＭＧ＋ＭＩ）？／２ （ＭＴ）、＝０ である。但し、（）７は（）内のＸ成分を表わす。

同様に、点Ｆと点８１点Ｂと点０１点Ｃと点Ｅについて
Ｍアを求め、大きさが材料に異なるものは除いて平均値
を求め、これを画面全体のＭＴとする。そしてＳ１３に
進み、ズーム率Ｚを求める。

Ｒｖが低く且つＲ，が高い場合、第９図に示すようなバ
ンニングとズーミングの複合操８作が行なわれたと判定
しく５１７）、バンニングの度合いＭ、を求める（Ｓ１
８）。チルティングの場合と同様に、例えば点Ｆと点Ｇ
について、 （Ｍｐ）、＝（Ｍｙ＋Ｍｃ）、／２ （ＭＰ）、＝０ となる。同様に点Ｂと点Ｃ１点りと点Ｒ１点Ｈと点■に
ついて求め、画面全体のＭＰを求める。そしてＳ１３に
進み、ズーム率２を求める。

Ｒ７及びＲ１１が共に低い場合、点Ｂと点Ｆ、点Ｃと点
Ｇ１点りと点８１点Ｅと点Ｉの動きベクトルの相似度を
それぞれ調べ、全体の相似度とする（Ｓ１９）。ここで
相似度とは、動きベクトルの方向の類似性及び大きさの
比率の一定性を表わす。外側の点Ｆ、Ｇ、Ｈ，Ｉは、中
央の点Ａから内側の点Ｂ、Ｃ，Ｄ、Ｅまでの距離の２倍
の距離に位置するので、大きさの比率が２に近い値を示
し、且つ方向の類似性が高い時に相似度が高いと判定で
きる（Ｓ２０）。相似度が高い場合には、ズーミング、
チルティング及びパンニングの３つの複合操作と判定さ
れ、前述のチルティングの度合い及びパンニングの度合
いを求める方法と同様にＭＴ、Ｍｐを求め、この合成ベ
クトルを画面全体のずれベクトルＭ　７　ｐとする（Ｓ
２１　）。そして、Ｓ１３でズーム率Ｚを求める。

Ｓ２０で相似度が低い場合には、操作判定不能として（
Ｓ２２）、終了する。操作判定不能になったら、サンプ
ル点Ａ〜■を別の位置にずらして同様の処理を行なった
り、フレーム＃１．＃２でなく、別のフレームで同様の
処理を行ない、同様に判定不能になればシーンの切り換
えなどに伴い画面が不連続になったと判定する。

以上により、画面変動検出回路２０では、ズーミング、
バンニング及びチルティング操作の有無及びその程度（
ズーム率ＺＳＭ、、Ｍ７又はＭア、）が求まられた。そ
の後、画面変動検出回路２０は、画像エリア検出回路１
６に検出終了を通知し、画面変動補正回路２２に検出結
果を通知する。そして、画像エリア指定回路１６、動き
ベクトル検出回路１８及び画面変動検出回路２０は活動
停止状態になる。

画面変動補正回路２２は、フレーム（ここでは第１フレ
ーム）の各画素位置に相当する補正用フレーム（ここで
は第２フレーム）の各画素の位置をズーム率Ｚ、Ｍｙ、
ＭＴ又はＭ　７　ｐにより計算し、メモリ制御回路１２
に画素データの読出しを要求する。メモリ制御回路１２
は画像メモリ１４から対応する画素データを読み出し、
画面変動補正回路２２に出力する。画面変動補正回路２
２はズーミングが無い場合、その画素データをノイズ低
減回路２４に出力し、ズーミングがある場合には、画素
データを一時記憶し、ズーミングの補正を行なうのみ必
要な画素データを同様に集め、補間処理を行なってから
、ノイズ低減回路２４に出力する。ズーミングの補正の
前に各画素データの読出しによって画面中央が第１フレ
ームと第２フレームとで合うようにしであるので、ズー
ミング補正は、画面中央から放射状の方向に変倍補正を
行なえばよい。また第１フレームの画素に相当する画素
が第２フレームにないエリアが生ずる場合には、第１フ
レームの画素で置き換えて処理を行なう。

このようにフレーム間の位置補正を行なった画像データ
に対しては、ノイズ低減回路２４がノイズ低減処理を施
す。例えば、フレーム間の平均値を求め、それを新フレ
ームとする方法が考えられ、その新フレームを画面メモ
リ１４に格納する。

以上の動作を新フレームと第３フレームについて行ない
、更にノイズを低減した画像を画像メモリ１４に格納す
る。以降、第４フレーム、第５フレームと、フレーム間
の連続性があるうちは時間軸方向の平滑化を行ない、ノ
イズを低減して画像メモリ１４に格納する。

ノイズ低減された画像は画像メモリ１４から読み出され
、インターフェース回路２６を介して外部のプリンタな
どに出力される。

動きベクトル検出回路１８、画面変動検出回路２０、画
面変動補正回路２２及びノイズ低減回路２４は、ハード
フェアでもソフトフェアでも実現できる。また、画像メ
モリ１４のアクセスをバス形式にしたり、全体をバイブ
ライン処理で構成してもよいことは明らかである。

カメラ操作としてはパンニング、チルティング及びズー
ミングの３種類を説明したが、本発明は、その他のカメ
ラ操作についても、画面に与える影響が明確に分離可能
なものであれば、対処できる。

例えば、フェードアウト、フェードインのように画面の
輝度を徐々に変化させるような操作についても対応でき
る。ただし、この場合には、画像データの内容の比較が
中心になり、動きベクトルによる判定は副次的なものに
なる。

画面変動検出回路２０の判定処理では、画面からカメラ
操作の特徴となるパラメータを幾つか求め、そのパラメ
ータの組合わせから数種類のカメラ操作を判定し、その
妥当らしいパラメータからカメラ操作の度合いを判定す
るようにしてもよい。

また、ノイズ低減回路２４でのノイズ低減方法として時
間軸方向の平滑化処理を利用したが、時間的変化から妥
当値を推定する方法でもよい。画面お処理単位としては
、フレームでなく、フィールドであってもよい。

［発明の効果］ 以上の説明から容易に理解できるように、本発明によれ
ば、入力の動画像の所定の変化に対して、適切な補正を
施してノイズ低減処理を行なうので、画像にボケを発生
させずに、ノイズの少ない鮮明な静止画像を得ることか
できる。意図しないカメラ・ブレも、意図するカメラ操
作と同様の影響を画面に与えるので、本発明により対処
できる。

【図面の簡単な説明】

第１図は本発明の一実施例の構成ブロック図、第２図は
画像メモリ１４のフレーム構成、第３図は第２図のフレ
ーム構成の座標系、第４図は必要な画像エリアの措定方
法の説明図である。第５図、第６図、第７図、第８図、
第９図及び第１０図はカメラ操作と動きベクトルの一例
であり、第５図は左パンニング、第６図は下チルティン
グ、第７図は拡大、第８図は左パンニングと下チルティ
ング、第９図は左パンニングと拡大、第１０図は下チル
ティングと拡大のカメラ操作である。第１１Ａ図及び第
１１Ｂ図は画面変動検出回路２０の動作フローチャート
、第１２図はズーム率Ｚの求め方の説明図、第１３図は
チルティングの度合いの求め方の説明図である。 １０．２６：インターフェース回路　１２：メモリ制御
回路　１４：画像メモリ　１６０画像エリア指定回路　
１８：動きベクトル検出回路　２０：画面変動検出回路
　２２：画面変動補正回路２４：ノイズ低減回路

Claims (1)

【特許請求の範囲】
1. 動画像信号に対して、カメラの上下移動、左右移動、拡
   大縮小などの、撮影時のカメラ操作を検出する操作検出
   手段と、その検出結果に従い、入力の動画像に補正を加
   えて静止画像に変換する変換手段とを有することを特徴
   とする動画／静止画変換装置。