JP2675444B2

JP2675444B2 - 動画像の補間方式

Info

Publication number: JP2675444B2
Application number: JP3043442A
Authority: JP
Inventors: 利生遠藤
Original assignee: Fujitsu Ltd
Current assignee: Fujitsu Ltd
Priority date: 1991-03-08
Filing date: 1991-03-08
Publication date: 1997-11-12
Anticipated expiration: 2012-11-12
Also published as: JPH04280297A

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、動画像の補間を行う補
間方式に関するものである。与えられた動画像を補間す
ることは、限られた画像しか得られないリモートセンシ
ング（衛星撮影など）において、その表示の画質を向上
させるために必要な技術である。また、計算機による映
像生成（アニメーション作成など）でも必要とされてい
る。この際、与えられた画像間でたとえ画像の形状が変
化しても補間した画像を生成できることが望まれてい
る。

【０００２】

【従来の技術】動画像の補間は、与えられた複数の画像
から時間的にその間にあるべき画像を生成する技術であ
る。この動画像の補間は、与えられた例えば図４の
（イ）の時刻ｔ＝０および時刻ｔ＝１の２つの画像か
ら、図４の（ロ）の時刻ｔ＝０．５の画像などを出力す
ることである。この動画像の補間として、入力された各
画像間で画素単位の対応を人が指定し、補間を行う方式
がある。これは、図４の（ハ）に示すように、人手など
で各画像上での三角形の頂点Ａの対応を予め指示して入
力画像間の対応関係を予め抽出しておき、これら対応関
係をもとに補間される画像を生成する方式である。具体
的に説明すると、図４の（イ）の画像から図４の（ロ）
の補間した画像を生成する場合を例にとれば、図４の
（ハ）に示すように、入力画像間で対応する頂点Ａ、
Ｂ、Ｃを線分で結び、その中点を補間した画像として生
成する。

【０００３】また、他の補間方式として、入力された各
画像の特徴量を算出し、これら特徴量（重心の位置、長
軸方向など）をもとにその補間した画像を生成する方式
がある。例えば図４の（イ）の２つの画像の特徴量とし
て、図４の（ニ）の左側に示す重心の平行移動量と長軸
方向の回転角度（右側の点線）を求める。そして、入力
画像の１つに対して、半分の移動と半分の回転を施し、
図４の（ニ）の右側の点線で示す画像（三角形）、即ち
補間した画像を生成する。

【０００４】

【発明が解決しようとする課題】上述した前者の補間方
式は、処理が簡単であるが、複数の入力画像間の画素の
対応を予め人が指定して対応関係を抽出する必要があ
り、膨大な手間が必要となってしまう問題がある。ま
た、画素単位での対応を付け難いカメラなどで撮影した
画像に対しては、適用できないという問題がある。

【０００５】上述した後者の補間方式は、入力画像間で
画素の対応を取る必要がなく、手間がかからず、画素単
位での対応をつけ難いカメラからとったような画像に対
しても適用できる。しかし、画像の特徴量を用いるた
め、入力画像間で物体の形状が変化してしまう場合には
適用できないという問題がある。本発明は、入力される
画像間で物体の形状が変化しても、画像間の画素単位の
対応関係を指示する必要なく、動画像の補間を可能にす
ることを目的としている。

【０００６】

【課題を解決するための手段】図１の（イ）を参照して
課題を解決するための手段を説明する。図１の（イ）に
おいて、特徴量算出部２は、動画像の特徴量（例えば画
像内の各物体の重心位置、長軸方向、長軸方向半径、短
軸方向半径）を算出するものである。

【０００７】局所変形部５は、特徴量をもとにある入力
画像と他の時刻の入力画像を重ね合わせ、拡大／縮小し
て両者を一致させてこのときの拡大／縮小情報を求める
ものである。補間画像生成部６は、拡大／縮小情報をも
とに指定された時刻の補間画像を生成するものである。

【０００８】画像逆変換部７は、生成された補間画像に
ついて、特徴量をもとに指定された時刻における画像を
生成するものである。

【０００９】

【作用】本発明は、図１に示すように、特徴量算出部２
が入力された動画像の特徴量（例えば画像内の各物体の
重心位置、長軸方向、長軸方向半径、短軸方向半径）を
算出し、局所変形部５がこの算出された特徴量をもとに
ある入力画像と他の時刻の入力画像を重ね合わせ、拡大
／縮小して両者を一致させてこのときの拡大／縮小情報
を求め、補間画像生成部６が拡大／縮小情報をもとに指
定された時刻の補間画像を生成し、画像逆変換部７が生
成された補間画像について、特徴量をもとに指定された
時刻における画像を生成し、これを出力するようにして
いる。また、入力された動画像の特徴量として、画像内
の物体毎に重心位置、長軸方向、長軸方向半径、短軸方
向半径を算出し、重ね合わせるときに、平行移動、回
転、一定比率で拡大／縮小して両者を一致させてこのと
きの拡大／縮小情報を求めるようにしている。また、あ
る入力画像と他の時刻の入力画像を重ね合わせ、特定方
向の直線上で直線毎に変わりうる比率で拡大／縮小して
両者を一致させ、このときの拡大／縮小情報を求めるよ
うにしている。

【００１０】従って、入力される画像間で物体の形状が
変化しても、画像間の画素単位の対応関係を指示する必
要なく、動画像間の補間を行うことが可能となる。

【００１１】

【実施例】次に、図１ないし図３を用いて本発明の実施
例の構成および動作を順次詳細に説明する。図１におい
て、画像入力部１は、画像を入力するものである。例え
ば後述する図２の（イ）のような時刻ｔ＝０と時刻ｔ＝
１の画像を入力（取り込む）ものである。

【００１２】特徴量算出部２は、画像入力部１によって
取り込んだ画像中の各物体の特徴量を算出するものであ
る。ここで、特徴量として、画像内の各物体の重心位
置、長軸方向、更に、長軸方向半径、短軸方向半径を算
出する。このように画像中の各物体について独立に重心
位置などを算出することにより、画像中の各物体毎の補
間した画像を図１の（ロ）のフローチャートに従って生
成することができる。

【００１３】変換決定部３は、算出した特徴量をもとに
１つの画像を他の画像に重ね合わせるような変換を決定
するものである。画像変換部４は、変換決定部３で決定
された変換を１つの画像に施すものである。局所変形部
５は、画像変換部４によって１つの画像に変換を施した
後の画像と、他の画像とが一致するように、特定方向の
直線上で直線毎に変わりうる比率で画像を拡大あるいは
縮小して一致させ、このときの拡大／縮小情報を求める
ものである（図２の（ロ）、（ハ）参照）。

【００１４】補間画像生成部６は、求めた拡大／縮小情
報をもとに、指定された時刻における画像を、入力画像
から生成するものである（図３の（ヘ）参照）。画像逆
変換部７は、補間画像生成部６によって生成した指定さ
れた時刻における補間画像について、特徴量をもとに指
定された時刻における位置に逆変換し、求める補間した
画像を求めるものである（図３の（ト）参照）。

【００１５】画像出力部８は、画像逆変換部７によって
求めた補間した後の画像を出力するものである（図３の
（チ）、（リ）参照）。次に、図１の（ロ）フローチャ
ートに示す順序に従い、図２および図３を用いて図１の
（イ）の構成の動作を詳細に説明する。図１の（ロ）に
おいて、Ｓ１は、各入力画像を読み込む。これは、図１
の（イ）の画像入力部１が、例えば図２の（イ）の時刻
ｔ＝０および時刻ｔ＝１の図示のような入力画像を取り
込む。

【００１６】Ｓ２は、各入力画像の特徴量を算出する。
特徴量として、・重心の位置・長軸方向・長軸方向半径・短軸方向半径を算出する。これら各特徴量は、画像中の各物体毎に求
めるが、ここでは説明を簡単にするため、図２の（イ）
に示すように１つの物体があるとする。

【００１７】Ｓ３は、各入力画像を重ね合わせる変換を
決定する。これは、Ｓ２で求めた２つの入力画像の特徴
量をもとに、ある１つの画像例えば図２の（イ）の時刻
ｔ＝０の入力画像から、他の画像例えば図２の（イ）の
時刻ｔ＝１の入力画像の位置に変換するときの、変換を
決定する。Ｓ４は、Ｓ３で決定された変換を各入力画像
に施す。これは、例えば図２の（イ）の時刻ｔ＝０の入
力画像に、Ｓ３で決定した変換を施し、図２の（ロ）の
矢印で示す斜線を引いた矩形に変換する。

【００１８】Ｓ５は、変換された画像が一致するように
変形する。これは、図２の（ロ）に示すように、Ｓ４で
時刻ｔ＝０の入力画像を時刻ｔ＝１の画像に変換し、こ
の変換した画像を、時刻ｔ＝１の入力画像と形状が一致
するように、例えば水平方向に拡大あるいは縮小を行
う。一致したときの拡大／縮小情報を記憶する（図２の
（ハ）、（ニ）参照）。

【００１９】Ｓ６は、指定時刻と変形履歴から補間画像
を生成する。これは、Ｓ５で求めた拡大／縮小情報をも
とに、指定された時刻に対応する拡大／縮小情報を算出
してこれを１つの入力画像に施して指定された時刻にお
ける変形した画像（補間画像）を生成する。Ｓ７は、補
間画像に逆変換を施す。これは、Ｓ６で求めた、指定さ
れた時刻における変形した補間画像について、Ｓ２で算
出した特徴量をもとに重心の位置、回転等を求めてこれ
を施して求める補間した画像を生成する（図３の
（ト）、（チ）参照）。

【００２０】Ｓ８は、補間画像を出力する。これは、Ｓ
７で補間された画像を出力する。以上のように、複数の
入力画像から特徴量をそれぞれ算出し、これら特徴量を
もとにある画像を他の画像の位置に変換して一致するよ
うに拡大／縮小を行ってそのときの拡大／縮小情報を求
め、この拡大／縮小情報をもとに指定された時刻におけ
る、変形した補間画像を生成し、次に特徴量をもとにこ
の補間画像を指定された時刻の位置に移動、回転等を行
い、求める補間した画像を生成し、これを出力すること
により、入力された複数の画像中の物体の形状が変形し
てもこれを考慮した変形を施した補間した画像を自動生
成して出力することが可能となる。

【００２１】次に、具体例について図２および図３を用
いて説明する。図２および図３は、本発明の具体例説明
図を示す。図２の（イ）は、入力画像の例を示す。これ
は、動画像として入力された時刻ｔ＝０、時刻ｔ＝１の
入力画像の例を示す。これら入力画像について、特徴量
として、重心の位置（座標）、長軸方向、長軸方向半
径、短軸方向半径を求める。

【００２２】図２の（ロ）は、変換して重ね合わせた入
力画像を示す。ここでは、時刻ｔ＝０の矩形の入力画像
について、矢印を用いて示すように、時刻ｔ＝０の入力
画像の特徴量から、時刻ｔ＝１の入力画像の特徴量の差
に相当する分だけ、変換を施して図示の矩形の画像を生
成する。具体的に言えば、重心の位置の差が移動量とな
り、長軸方向の差が回転となり、長軸方向半径の比およ
び短軸方向半径の比が矩形の縦横のサイズの変化とな
る。

【００２３】図２の（ハ）は、水平方向に画像を拡大／
縮小する様子を示す。ここで、Ｌ−Ｌ’が図２の（ロ）
で重ね合わせた画像の１ラインのサイズを示し、縮小と
記載した部分が、重ね合わせた相手の画像（ここでは時
刻ｔ＝１の楕円の入力画像）と一致させるために縮小し
た後の画像を示す。一致させたときの拡大／縮小情報を
記憶する。この拡大／縮小情報を求めることにより、後
述するように、２つの入力画像の形状が変形しても、そ
の補間した画像を本発明では求めることが可能となるも
のである。

【００２４】図２の（ニ）は、Ｌ−Ｌ’のラインでの画
像の断面を示す。ここで、矩形は時刻ｔ＝０の矩形の入
力画像を、時刻ｔ＝１のときの画像に変換したものであ
り、楕円形は時刻ｔ＝１の楕円形の入力画像である。矩
形の画像の１ラインについて、矢印を用いて示すよう
に、楕円形の入力画像に一致させるように、ここでは縮
小し、このときの縮小情報を記憶する。これを、図２の
（ロ）の変換して重ね合わせた矩形の画像について、上
のラインから下のラインまで全て繰り返し行い、そのと
きの拡大／縮小情報をそれぞれ記憶しておく。

【００２５】図３の（ホ）は、１次元での補間画像の生
成の例を示す。ここで、矩形は時刻ｔ＝０の矩形の入力
画像の１ラインを表わし、楕円形は図２の（イ）の時刻
ｔ＝１の入力画像の１ラインを表わし、補間画像が求め
る、指定された時刻ｔ＝０．５のときの画像である。図
３の（ヘ）は、２次元の補間画像の生成の例を示す。こ
れは、図３の（ホ）の１ラインの補間画像を求めること
を繰り返し、２次元の補間画像を求めたものである。

【００２６】図３の（ト）は、生成された補間画像に施
す逆変換の決定の例を示す。これは、時刻ｔ＝０の矩
形および時刻ｔ＝１の楕円形の入力画像について、図３
の（ヘ）に示すように、時刻ｔ＝０の矩形を時刻ｔ＝１
の楕円形に変形したときの拡大／縮小情報をもとに、時
刻ｔ＝０．５のときの矩形を変形した補間画像を求めて
おき、こので求めた補間画像について、時刻ｔ＝０
から時刻ｔ＝１までの特徴量の差の半分、具体的には移
動量の半分、回転量の半分および矩形の縦横サイズの変
化の半分に相当する変換を施した、図中で×の印の位置
に求める補間画像を位置づける決定を行う。

【００２７】図３の（チ）は、出力の補間画像の例を示
す。これは、図３の（ト）で決定した時刻ｔ＝０．５の
ときの補間画像を表示した例を示す。図３の（リ）は、
補間結果の画像例を示す。これは、図２の（イ）の２つ
の時刻ｔ＝０、時刻ｔ＝１の入力画像から、時刻ｔ＝
０．２、時刻ｔ＝０．４、時刻ｔ＝０．６、時刻ｔ＝
０．８の補間画像を、同様にして生成し、表示した例で
ある。この例に示すように、本発明によれば、入力画像
が図２の（イ）の時刻ｔ＝０と時刻ｔ＝１のときに見る
ように、形状が異なっても各ラインの拡大／縮小を行っ
て両者を一致させ、このときの各ライン毎の拡大／縮小
情報をもとに、指定せれた時刻ｔにおける補間画像を生
成すると共に特徴量をもとに移動、回転を行い、指定さ
れた時刻ｔの補間画像を生成しているため、動画像中の
各物体の形状が変形しても任意の時刻の補間画像を自動
的に生成することが可能となる。

【００２８】

【発明の効果】以上説明したように、本発明によれば、
入力された複数の画像から特徴量およびある画像を他の
画像に重ね合わせて一致させたときの拡大／縮小情報を
求め、この拡大／縮小情報をもとに指定された時刻にお
ける補間画像を生成した後、特徴量をもとに移動、回転
等を行って求める補間画像を生成する構成を採用してい
るため、入力された画像間の物体の形状が変化する場合
でも、自動的に画像間の補間を行った補間画像を生成す
ることができる。これにより、画像中の物体の形状が変
化しても、画像間の画素単位の対応づけを行うことな
く、動画像の補間を自動的に行うことが可能となる。

【図面の簡単な説明】

【図１】本発明の原理構成・動作説明図である。

【図２】本発明の具体例説明図（その１）である。

【図３】本発明の具体例説明図（その２）である。

【図４】従来技術の説明図である。

【符号の説明】

１：画像入力部２：特徴量算出部３：変換決定部４：画像変換部５：局所変形部６：補間画像生成部７：画像逆変換部８：画像出力部

Claims

(57)【特許請求の範囲】

【請求項１】動画像の補間を行う補間方式において、
入力された動画像の特徴量を算出する特徴量算出部
（２）と、算出された特徴量をもとにある入力画像と他
の時刻の入力画像を重ね合わせ、拡大／縮小して両者を
一致させたときの拡大／縮小情報を求める局所変形部
（５）と、この拡大／縮小情報をもとに指定された時刻
の補間画像を生成する補間画像生成部（６）と、この生
成された補間画像について、特徴量をもとに指定された
時刻における画像を生成する画像逆変換部（７）とを備
え、この画像逆変換部（７）によって生成された画像を
出力するように構成したことを特徴とする動画像の補間
方式。
【請求項２】上記入力された動画像の特徴量として、
画像内の物体毎に重心位置、長軸方向、長軸方向半径、
短軸方向半径を算出し、上記重ね合わせるときに、平行
移動、回転、一定比率で拡大／縮小して両者を一致させ
るように構成したことを特徴とする請求項第１項記載の
動画像の補間方式。
【請求項３】上記ある入力画像と他の時刻の入力画像
を重ね合わせ、特定方向の直線上で直線毎に変わりうる
比率で拡大／縮小して両者を一致させ、このときの拡大
／縮小情報を求めるように構成したことを特徴とする請
求項第１項記載および第２項記載の動画像の補間方式。