JPH10290450A - フレーム多重画像作成方法 - Google Patents
フレーム多重画像作成方法Info
- Publication number
- JPH10290450A JPH10290450A JP9095674A JP9567497A JPH10290450A JP H10290450 A JPH10290450 A JP H10290450A JP 9095674 A JP9095674 A JP 9095674A JP 9567497 A JP9567497 A JP 9567497A JP H10290450 A JPH10290450 A JP H10290450A
- Authority
- JP
- Japan
- Prior art keywords
- frame
- image
- frames
- pixel
- mean
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Studio Circuits (AREA)
- Closed-Circuit Television Systems (AREA)
- Controls And Circuits For Display Device (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
(57)【要約】
【課題】 複数のフレームを重ね合せて１枚の静止画像
を作成する際、動きのある部分が消滅するのを防止す
る。 【解決手段】 ビデオデータ中の指定された範囲に含ま
れるフレームから複数のフレームをキーフレームとして
選択し、各キーフレーム画像上の同じ位置にある各画素
について、その輝度成分における平均値および標準値を
算出して画素値のばらつきの度合を判定し、ばらつきの
大なる画素には大きな重み係数を、小なる画素には小さ
な重み係数を与えて、それぞれ該重み係数と画素値を掛
け合せて加算し、これを各キーフレーム画像の全画素に
ついて実施して、フレーム多重画像を作成する。
を作成する際、動きのある部分が消滅するのを防止す
る。 【解決手段】 ビデオデータ中の指定された範囲に含ま
れるフレームから複数のフレームをキーフレームとして
選択し、各キーフレーム画像上の同じ位置にある各画素
について、その輝度成分における平均値および標準値を
算出して画素値のばらつきの度合を判定し、ばらつきの
大なる画素には大きな重み係数を、小なる画素には小さ
な重み係数を与えて、それぞれ該重み係数と画素値を掛
け合せて加算し、これを各キーフレーム画像の全画素に
ついて実施して、フレーム多重画像を作成する。
Description
【０００１】
【発明の属する技術分野】本発明は、蓄積映像あるいは
ネットワークや放送を介して得られた映像をパソコン等
のディスプレイに提示、ブラウズするシステムにおい
て、特に映像データから複数のフレームを抽出し、それ
らを合成して１枚の静止画像を作成するフレーム多重画
像作成方法に関するものである。
ネットワークや放送を介して得られた映像をパソコン等
のディスプレイに提示、ブラウズするシステムにおい
て、特に映像データから複数のフレームを抽出し、それ
らを合成して１枚の静止画像を作成するフレーム多重画
像作成方法に関するものである。
【０００２】
【従来の技術】従来、複数のフレームを重ね合せて１枚
の静止画像を作成する場合、映像データから等間隔等で
複数のフレームを選択し、該選択した各フレームの同一
位置の画素値をフレームに渡って平均値を求め、該平均
値を多重静止画像の画素値とする手法が一般的である。
の静止画像を作成する場合、映像データから等間隔等で
複数のフレームを選択し、該選択した各フレームの同一
位置の画素値をフレームに渡って平均値を求め、該平均
値を多重静止画像の画素値とする手法が一般的である。
【０００３】
【発明が解決しようとする課題】従来技術では、多重す
る複数フレームに渡り、画素値の平均値をもってフレー
ム多重画像の画素値とするため、動きのある部分の画素
値が小さくなり、ほとんど見えなくなるという問題があ
る。例えば、人間が腕を振り上げる動作をしたときに、
ある腕の形（位置）は一つのフレームにしか写らず、ほ
かのフレームにおいては、その位置には背景が写ってい
るだけである。従って、単純にこれらのフレームの対応
する位置の画素値の平均をとるとすると背景に埋もれて
しまって、腕がほとんど見えなくなってしまう。
る複数フレームに渡り、画素値の平均値をもってフレー
ム多重画像の画素値とするため、動きのある部分の画素
値が小さくなり、ほとんど見えなくなるという問題があ
る。例えば、人間が腕を振り上げる動作をしたときに、
ある腕の形（位置）は一つのフレームにしか写らず、ほ
かのフレームにおいては、その位置には背景が写ってい
るだけである。従って、単純にこれらのフレームの対応
する位置の画素値の平均をとるとすると背景に埋もれて
しまって、腕がほとんど見えなくなってしまう。
【０００４】本発明の第１の目的は、上記従来技術の問
題点を解決し、１フレームだけなどに現われた画像が薄
くなったり、見えなくなったりすることのないフレーム
多重画像作成方法を提供することにある。
題点を解決し、１フレームだけなどに現われた画像が薄
くなったり、見えなくなったりすることのないフレーム
多重画像作成方法を提供することにある。
【０００５】本発明の第２の目的は、多重するフレーム
を決定する際に、映像や物体の動作状況を把握して、動
作方向が変化した個所等の重要な意味を持つフレームを
逃がすことのないフレーム多重画像作成方法を提供する
ことにある。
を決定する際に、映像や物体の動作状況を把握して、動
作方向が変化した個所等の重要な意味を持つフレームを
逃がすことのないフレーム多重画像作成方法を提供する
ことにある。
【０００６】本発明の第３の目的は、映像中の物体の動
作方向を示す場合に、手作業でＣＧ技術などを用いて画
像上に矢印を描画することなく、自動的に動作方向を示
す矢印を描画するようにして、矢印描画に要する時間を
短縮するフレーム多重画像作成方法を提供することにあ
る。
作方向を示す場合に、手作業でＣＧ技術などを用いて画
像上に矢印を描画することなく、自動的に動作方向を示
す矢印を描画するようにして、矢印描画に要する時間を
短縮するフレーム多重画像作成方法を提供することにあ
る。
【０００７】
【課題を解決するための手段】上記第１の目的を達成す
るために、本発明は、映像データ中の多重する各フレー
ム画像（キーフレーム画像という）上の同じ位置にある
画素について、その輝度成分における平均値および標準
偏差を算出して画素値のばらつきの度合を判定し、ばら
つきの大なる画素には大きな重み係数を、小なる画素に
は小さな重み係数を与えて、それぞれ該重み係数と画素
値を掛け合せて加算し、これをキーフレーム画像の全画
素について実施することにより、１枚の静止画像を作成
することを特徴とする。
るために、本発明は、映像データ中の多重する各フレー
ム画像（キーフレーム画像という）上の同じ位置にある
画素について、その輝度成分における平均値および標準
偏差を算出して画素値のばらつきの度合を判定し、ばら
つきの大なる画素には大きな重み係数を、小なる画素に
は小さな重み係数を与えて、それぞれ該重み係数と画素
値を掛け合せて加算し、これをキーフレーム画像の全画
素について実施することにより、１枚の静止画像を作成
することを特徴とする。
【０００８】また、上記第２の目的を達成するために、
本発明は、映像データ中の全フレームあるいは指定され
た範囲に含まれるフレームについて、各フレーム毎に、
映像中の物体の領域を抽出し、該領域の重心を算出し
て、該重心の移動方向および移動量が急激に変化したフ
レームをキーフレームとして選択することを特徴とす
る。
本発明は、映像データ中の全フレームあるいは指定され
た範囲に含まれるフレームについて、各フレーム毎に、
映像中の物体の領域を抽出し、該領域の重心を算出し
て、該重心の移動方向および移動量が急激に変化したフ
レームをキーフレームとして選択することを特徴とす
る。
【０００９】さらに、上記第３の目的を達成するため
に、本発明は、上記と同様にして映像中の物体の重心を
求め、該重心のフレーム間の動きを追跡して、その軌跡
に最も良く当てはまる直線あるいは曲線を算出し、出力
静止画像上に、該直線あるいは曲線に動作方向を示す矢
印を自動的に描画することを特徴とする。
に、本発明は、上記と同様にして映像中の物体の重心を
求め、該重心のフレーム間の動きを追跡して、その軌跡
に最も良く当てはまる直線あるいは曲線を算出し、出力
静止画像上に、該直線あるいは曲線に動作方向を示す矢
印を自動的に描画することを特徴とする。
【００１０】
【発明の実施の形態】次に、本発明の実施の形態につい
て図面を参照して説明する。図１は、本発明のフレーム
多重画像作成方法の概要を示す概念図である。ビデオデ
ータ１１０から指定された範囲内でＫ枚のフレーム１２
０（キーフレーム画像）を選択し、これらフレーム画像
を画素対応に重ね合せることで１枚の静止画像１３０の
動きのわかるフレーム多重画像を作成する。なお、図１
では、４枚（Ｋ＝４）のキーフレームが選択されている
様子を示している。
て図面を参照して説明する。図１は、本発明のフレーム
多重画像作成方法の概要を示す概念図である。ビデオデ
ータ１１０から指定された範囲内でＫ枚のフレーム１２
０（キーフレーム画像）を選択し、これらフレーム画像
を画素対応に重ね合せることで１枚の静止画像１３０の
動きのわかるフレーム多重画像を作成する。なお、図１
では、４枚（Ｋ＝４）のキーフレームが選択されている
様子を示している。
【００１１】図２は、本発明のフレーム多重画像作成方
法の第１の実施例の処理フローチャートであり、請求項
１の発明に対応するものである。
法の第１の実施例の処理フローチャートであり、請求項
１の発明に対応するものである。
【００１２】処理するフレーム範囲の開始／終了フレー
ムおよび選択するフレーム枚数Ｋを、Ｓtart／Ｅnd Ｆr
ame番号および選択枚数指示部２００で指定することに
より、ビデオデータ１１０より該指定された範囲内でＫ
枚のフレーム（キーフレーム）１２０を選択して、入力
する（ステップ２０１）。ここで、Ｋ枚のフレーム選択
手法としては、例えば、指定されたフレーム範囲内でＫ
−１等分して、該間隔の等分点に相当するフレームを選
択する手法等が考えられる。
ムおよび選択するフレーム枚数Ｋを、Ｓtart／Ｅnd Ｆr
ame番号および選択枚数指示部２００で指定することに
より、ビデオデータ１１０より該指定された範囲内でＫ
枚のフレーム（キーフレーム）１２０を選択して、入力
する（ステップ２０１）。ここで、Ｋ枚のフレーム選択
手法としては、例えば、指定されたフレーム範囲内でＫ
−１等分して、該間隔の等分点に相当するフレームを選
択する手法等が考えられる。
【００１３】入力ビデオデータがＮＴＳＣビデオ信号に
おけるＹＩＱ成分以外で構成されている場合には、キー
フレーム画像をＹＩＱ成分に変換する（ステップ２０
２）。入力ビデオ信号がＲＧＢで構成されている場合の
ＹＩＱ成分への変換式の一例を次の式（１）に示す。
おけるＹＩＱ成分以外で構成されている場合には、キー
フレーム画像をＹＩＱ成分に変換する（ステップ２０
２）。入力ビデオ信号がＲＧＢで構成されている場合の
ＹＩＱ成分への変換式の一例を次の式（１）に示す。
【００１４】
【数４】
【００１５】ＹＩＱ変換後のＫ枚のキーフレーム画像の
各輝度成分（Ｙ成分）について、初期画素位置（ｉ,
ｊ）を設定する（ステップ２０３）。ここでは、画像上
の画素を指定する際に（ｉ,ｊ）なる表記を用いること
とし、選択されたＫ枚のフレームを指定する際にｋなる
表記を用いることとし、選択された第ｋフレーム上の位
置（ｉ,ｊ）上の輝度値をｆY（ｉ,ｊ；ｋ）と表記する
こととする。
各輝度成分（Ｙ成分）について、初期画素位置（ｉ,
ｊ）を設定する（ステップ２０３）。ここでは、画像上
の画素を指定する際に（ｉ,ｊ）なる表記を用いること
とし、選択されたＫ枚のフレームを指定する際にｋなる
表記を用いることとし、選択された第ｋフレーム上の位
置（ｉ,ｊ）上の輝度値をｆY（ｉ,ｊ；ｋ）と表記する
こととする。
【００１６】位置（ｉ,ｊ）におけるＫ個の輝度値の平
均値（mean）および標準偏差（σ）を次の式（２），
（３）により算出する（ステップ２０４）。
均値（mean）および標準偏差（σ）を次の式（２），
（３）により算出する（ステップ２０４）。
【００１７】
【数５】
【００１８】
【数６】
【００１９】各画素（Ｋ個）の輝度値、平均値および標
準偏差を用いて、次式（４）を満たす画素の数を求め、
準偏差を用いて、次式（４）を満たす画素の数を求め、
【００２０】
【数７】
【００２１】該画素数によって予め定めた規則に基づ
き、各画素の画素値に掛ける重み係数を決定する（ステ
ップ２０５）。
き、各画素の画素値に掛ける重み係数を決定する（ステ
ップ２０５）。
【００２２】図３に、Ｋ＝４の場合について、各画素の
輝度値と平均値および標準偏差の関係を示す。図３
（ａ）は、Ｋ個（４個）全ての輝度値がmeani,j±σの
範囲に収まっているので、式（４）を満たす画素数は０
である。同様に同図（ｂ）の場合は１個、同図（ｃ）は
２個、同図（ｄ）は３個、同図（ｅ）は４個である。式
（４）を満たす画素数によって、例えば、表１に従って
各画素の画素値ｆ（ｉ,ｊ：ｋ）に掛ける重み係数ｗ
（ｊ，ｊ；ｋ）を決定する。
輝度値と平均値および標準偏差の関係を示す。図３
（ａ）は、Ｋ個（４個）全ての輝度値がmeani,j±σの
範囲に収まっているので、式（４）を満たす画素数は０
である。同様に同図（ｂ）の場合は１個、同図（ｃ）は
２個、同図（ｄ）は３個、同図（ｅ）は４個である。式
（４）を満たす画素数によって、例えば、表１に従って
各画素の画素値ｆ（ｉ,ｊ：ｋ）に掛ける重み係数ｗ
（ｊ，ｊ；ｋ）を決定する。
【００２３】
【表１】
【００２４】なお、重み係数ｗ（ｊ，ｊ；ｋ）のｋに関
する総和は１でなければならない。すなわち、次の式
（５）を満たす必要がある。
する総和は１でなければならない。すなわち、次の式
（５）を満たす必要がある。
【００２５】
【数８】
【００２６】ステップ２０５の処理によって決定された
重み係数ｗ（ｊ，ｊ；ｋ）を用いて、次の式（６）のよ
うにフレーム多重画像上の位置（ｉ,ｊ）の画素値を算
出する（ステップ２０６）。なお、式（６）で、ｇ
（ｉ,ｊ）は、フレーム多重画像上の位置（ｉ,ｊ）の画
素値を示す。添え字Ｒ，Ｇ，Ｂは、ＲＧＢ画像の場合の
各成分を示す。
重み係数ｗ（ｊ，ｊ；ｋ）を用いて、次の式（６）のよ
うにフレーム多重画像上の位置（ｉ,ｊ）の画素値を算
出する（ステップ２０６）。なお、式（６）で、ｇ
（ｉ,ｊ）は、フレーム多重画像上の位置（ｉ,ｊ）の画
素値を示す。添え字Ｒ，Ｇ，Ｂは、ＲＧＢ画像の場合の
各成分を示す。
【００２７】
【数９】
【００２８】ステップ２０７において、ステップ２０４
〜２０６の処理が全画素に渡って実施されたか否かを判
断し、未終了であれば、次の画素位置を設定した後（ス
テップ２０８）、ステップ２０４に戻り、該位置（ｉ,
ｊ）におけるＫ個の輝度値の平均／標準偏差算出から処
理を繰り返す。一方、終了と判定された場合には、フレ
ーム多重画像１３０を出力し、本処理を終了する。
〜２０６の処理が全画素に渡って実施されたか否かを判
断し、未終了であれば、次の画素位置を設定した後（ス
テップ２０８）、ステップ２０４に戻り、該位置（ｉ,
ｊ）におけるＫ個の輝度値の平均／標準偏差算出から処
理を繰り返す。一方、終了と判定された場合には、フレ
ーム多重画像１３０を出力し、本処理を終了する。
【００２９】図４は、本発明のフレーム多重画像作成方
法の第２の実施例の処理フローチャートである。これ
は、請求項２の発明に対応し、人が動作している映像に
おいて、特に手の動きに注目してキーフレームを選択す
る場合に適用する際の処理を示したものである。
法の第２の実施例の処理フローチャートである。これ
は、請求項２の発明に対応し、人が動作している映像に
おいて、特に手の動きに注目してキーフレームを選択す
る場合に適用する際の処理を示したものである。
【００３０】Ｓtart／Ｅnd Ｆrame番号指示部４００に
おいて、本処理の対象とするフレーム範囲を指定するこ
とにより、該指示された範囲内のフレーム画像データを
ビデオデータ１１０よりフレーム単位に順次入力する
（ステップ４０１）。該入力されたフレーム画像データ
から、左右の各手の重心位置を抽出する（ステップ４０
２）。
おいて、本処理の対象とするフレーム範囲を指定するこ
とにより、該指示された範囲内のフレーム画像データを
ビデオデータ１１０よりフレーム単位に順次入力する
（ステップ４０１）。該入力されたフレーム画像データ
から、左右の各手の重心位置を抽出する（ステップ４０
２）。
【００３１】図５に、左右各手の重心位置抽出処理の一
例を示す。例えば、入力映像の色成分がＲＧＢ等のＹＩ
Ｑ成分画像以外であった場合は、先の式（１）等を用い
てＹＩＱ成分画像に変換する（ステップ５０１）。該Ｙ
ＩＱ成分のうちのＩ成分画像が肌色に対して高い画素値
を持つ事を利用して、Ｉ成分画像に対する閾値処理を施
して肌色領域を抽出し（ステップ５０２）、該抽出され
た各肌色領域にラベリングを施す（ステップ５０３）。
そして、該ラベリングされた複数の肌色領域から左右の
手領域と思われる領域を抽出する（ステップ５０４）。
例えば、一番面積が広い肌色領域が顔であり、二番目お
よび三番目に面積が広い領域が左右各手であると判断す
る。
例を示す。例えば、入力映像の色成分がＲＧＢ等のＹＩ
Ｑ成分画像以外であった場合は、先の式（１）等を用い
てＹＩＱ成分画像に変換する（ステップ５０１）。該Ｙ
ＩＱ成分のうちのＩ成分画像が肌色に対して高い画素値
を持つ事を利用して、Ｉ成分画像に対する閾値処理を施
して肌色領域を抽出し（ステップ５０２）、該抽出され
た各肌色領域にラベリングを施す（ステップ５０３）。
そして、該ラベリングされた複数の肌色領域から左右の
手領域と思われる領域を抽出する（ステップ５０４）。
例えば、一番面積が広い肌色領域が顔であり、二番目お
よび三番目に面積が広い領域が左右各手であると判断す
る。
【００３２】複数の肌色領域から左右の手領域を判断す
る様子を、図６を用いて説明する。図６（ａ）が元の画
像であり、（ｂ）が肌色領域抽出結果であり、１，２，
３，４，５，６とラベリングを施されている。図６
（ｂ）で、３個以上の領域が肌色と判断されているの
は、ノイズデータ等によるものであり、真に肌色の領域
とは限らない。この内、面積が最大のラベル２の領域が
顔であり、二番目および三番目に面積の広いラベル３，
４がそれぞれ左手、右手の領域であると判断する。
る様子を、図６を用いて説明する。図６（ａ）が元の画
像であり、（ｂ）が肌色領域抽出結果であり、１，２，
３，４，５，６とラベリングを施されている。図６
（ｂ）で、３個以上の領域が肌色と判断されているの
は、ノイズデータ等によるものであり、真に肌色の領域
とは限らない。この内、面積が最大のラベル２の領域が
顔であり、二番目および三番目に面積の広いラベル３，
４がそれぞれ左手、右手の領域であると判断する。
【００３３】左右の手領域と判断された領域について、
各領域の重心位置（Ｃi，Ｃj）を次の式（７）を用いて
求める（ステップ５０５）。なお、式（７）でＮは左ま
たは右の手の領域に含まれる画素数、ｉn，ｊnは左また
は右の手の領域に含まれる画素の座標を示す。
各領域の重心位置（Ｃi，Ｃj）を次の式（７）を用いて
求める（ステップ５０５）。なお、式（７）でＮは左ま
たは右の手の領域に含まれる画素数、ｉn，ｊnは左また
は右の手の領域に含まれる画素の座標を示す。
【００３４】
【数１０】
【００３５】図４に戻り、上記算出された左右の重心位
置のフレーム間での移動方向および移動量を算出する
（ステップ４０３）。そして、該移動方向あるいは移動
量が予め指定されている閾値を超えた場合に、該フレー
ムにおいては手の動作方向あるいは動作速度が変化した
として、該フレームをキーフレーム１２０と判断し、該
フレーム画像データを保存する（ステップ４０４，４０
５）。キーフレームと判断されなかった場合には、該保
存処理は行わず、次のフレーム処理に移る。
置のフレーム間での移動方向および移動量を算出する
（ステップ４０３）。そして、該移動方向あるいは移動
量が予め指定されている閾値を超えた場合に、該フレー
ムにおいては手の動作方向あるいは動作速度が変化した
として、該フレームをキーフレーム１２０と判断し、該
フレーム画像データを保存する（ステップ４０４，４０
５）。キーフレームと判断されなかった場合には、該保
存処理は行わず、次のフレーム処理に移る。
【００３６】ステップ４０６において、全フレームを処
理したか否かを判定し、未終了であれば、次のフレーム
番号を設定した後（ステップ４０７）、ステップ４０１
のフレーム画像データ入力処理に戻り、次のフレームに
対して同様の処理を行う。
理したか否かを判定し、未終了であれば、次のフレーム
番号を設定した後（ステップ４０７）、ステップ４０１
のフレーム画像データ入力処理に戻り、次のフレームに
対して同様の処理を行う。
【００３７】以上のようにして、ビデオデータ１１０の
全フレームに対して処理が終了した場合、保存されてい
るキーフレーム画像を用いて、フレーム多重画像作成処
理を実行し（ステップ４０８）、フレーム多重画像１３
０を作成する。なお、ステップ４０８は、図２のステッ
プ２０３以降の処理と同じである。
全フレームに対して処理が終了した場合、保存されてい
るキーフレーム画像を用いて、フレーム多重画像作成処
理を実行し（ステップ４０８）、フレーム多重画像１３
０を作成する。なお、ステップ４０８は、図２のステッ
プ２０３以降の処理と同じである。
【００３８】図７は、本発明のフレーム多重画像作成方
法の第３の実施例の処理フローチャートである。これ
は、請求項３の発明に対応し、人が動作している映像に
おいて手の動きを示す矢印を自動的に描画する場合に適
用する際の処理を示したものである。
法の第３の実施例の処理フローチャートである。これ
は、請求項３の発明に対応し、人が動作している映像に
おいて手の動きを示す矢印を自動的に描画する場合に適
用する際の処理を示したものである。
【００３９】Ｓtart／Ｅnd Ｆrame番号指示部７００に
おいて、本処理の対象とするフレーム範囲を指定するこ
とにより、該指示された範囲内のフレーム画像データを
ビデオデータ１１０より順次フレーム単位で入力する
（ステップ７０１）。該入力されたフレーム画像データ
から、図５で説明したと同様の手法で左右の手の重心位
置を抽出し（ステップ７０２）、該重心座標データ７１
０を保存した後（ステップ７０３）、キーフレーム判定
処理を行い、キーフレーム１２０を選択して保存する
（ステップ７０４）。このステップ７０４は図４のステ
ップ４０３〜４０５に該当する。なお、キーフレームは
第１の実施例と同様にして選択し、それらのフレーム画
像について左右の手の重心位置を抽出することでもよ
い。
おいて、本処理の対象とするフレーム範囲を指定するこ
とにより、該指示された範囲内のフレーム画像データを
ビデオデータ１１０より順次フレーム単位で入力する
（ステップ７０１）。該入力されたフレーム画像データ
から、図５で説明したと同様の手法で左右の手の重心位
置を抽出し（ステップ７０２）、該重心座標データ７１
０を保存した後（ステップ７０３）、キーフレーム判定
処理を行い、キーフレーム１２０を選択して保存する
（ステップ７０４）。このステップ７０４は図４のステ
ップ４０３〜４０５に該当する。なお、キーフレームは
第１の実施例と同様にして選択し、それらのフレーム画
像について左右の手の重心位置を抽出することでもよ
い。
【００４０】ステップ７０５において、ビデオデータ１
１０の全フレームに対して上記処理を実施したか否かを
判定し、未終了の場合には、次のフレーム番号を設定し
た後（ステップ７０６）、ステップ７０１のフレーム画
像データ入力処理に戻って、同様の処理を次のフレーム
に対して実施する。全フレームに対して処理が終了した
場合には、保存されている複数のキーフレーム画像１２
０を用いてフレーム多重画像作成処理を実行し、フレー
ム多重画像１３０を作成する（ステップ７０７）。この
ステップ７０７は、図２のステップ２０３以降の処理と
同じである。
１０の全フレームに対して上記処理を実施したか否かを
判定し、未終了の場合には、次のフレーム番号を設定し
た後（ステップ７０６）、ステップ７０１のフレーム画
像データ入力処理に戻って、同様の処理を次のフレーム
に対して実施する。全フレームに対して処理が終了した
場合には、保存されている複数のキーフレーム画像１２
０を用いてフレーム多重画像作成処理を実行し、フレー
ム多重画像１３０を作成する（ステップ７０７）。この
ステップ７０７は、図２のステップ２０３以降の処理と
同じである。
【００４１】その後、保存しておいた重心座標データ７
１０を用いて、各フレームの左右の手の重心間連結を最
も良く近似する直線または曲線を表す式を算出する（ス
テップ７０８）。該重心間連結を最も良く近似する直線
または曲線の例を図８（ａ）に示す。図中、右側縦に直
線状に並んでいるのが各フレームの左手重心位置であ
り、左側曲線状に並んでいるのが各フレームの右手重心
位置である。図８（ａ）に示したように、左手重心間連
結を最も良く近似するのは直線であり、右手のそれは曲
線である。なお、一つの直線や曲線だけではなく複数の
直線や曲線の連結によって近似するのが最もよい場合も
ある。
１０を用いて、各フレームの左右の手の重心間連結を最
も良く近似する直線または曲線を表す式を算出する（ス
テップ７０８）。該重心間連結を最も良く近似する直線
または曲線の例を図８（ａ）に示す。図中、右側縦に直
線状に並んでいるのが各フレームの左手重心位置であ
り、左側曲線状に並んでいるのが各フレームの右手重心
位置である。図８（ａ）に示したように、左手重心間連
結を最も良く近似するのは直線であり、右手のそれは曲
線である。なお、一つの直線や曲線だけではなく複数の
直線や曲線の連結によって近似するのが最もよい場合も
ある。
【００４２】上記算出され式のた直線／曲線を、フレー
ム多重画像１３０上に時間的経過を示す矢印を伴って描
き、矢印付フレーム多重画像７２０として出力する（ス
テップ７０９）。該矢印付フレーム多重画像を図８
（ｂ）に示す。
ム多重画像１３０上に時間的経過を示す矢印を伴って描
き、矢印付フレーム多重画像７２０として出力する（ス
テップ７０９）。該矢印付フレーム多重画像を図８
（ｂ）に示す。
【００４３】以上、本発明の各実施の形態を説明した
が、これらは、いわゆるコンピュータを利用して実現さ
れるものである。その際、図２、図４、図５および図７
に示したような処理フロー（手順）は、アプリケーショ
ンプログラムとしてあらかじめコンピュータ内に用意し
ておいてもよいし、あるいは、これらの手順を記述した
プログラムを記録した記録媒体（フロッピーディスク、
光ディスク等）をコンピュータにかけて読み込ませる
（インストール）ことでもよい。
が、これらは、いわゆるコンピュータを利用して実現さ
れるものである。その際、図２、図４、図５および図７
に示したような処理フロー（手順）は、アプリケーショ
ンプログラムとしてあらかじめコンピュータ内に用意し
ておいてもよいし、あるいは、これらの手順を記述した
プログラムを記録した記録媒体（フロッピーディスク、
光ディスク等）をコンピュータにかけて読み込ませる
（インストール）ことでもよい。
【００４４】
【発明の効果】以上説明したように、本発明のフレーム
多重画像作成方法を利用すれば次のような効果が得られ
る。
多重画像作成方法を利用すれば次のような効果が得られ
る。
【００４５】（１）多重するフレーム画像上の同じ位置
にある画素値のばらつきの度合いを平均値と標準偏差を
用いて判定し、該判定結果に基づいて各画素値に掛ける
重み係数を決定し加算することにより、従来のように動
きのある部分の画素値が小さくなり、ほとんど見えなく
なるということが防止できる。
にある画素値のばらつきの度合いを平均値と標準偏差を
用いて判定し、該判定結果に基づいて各画素値に掛ける
重み係数を決定し加算することにより、従来のように動
きのある部分の画素値が小さくなり、ほとんど見えなく
なるということが防止できる。
【００４６】（２）多重するフレームを決定する際に
は、映像中の物体の動作状況を把握し、該物体の移動方
向あるいは移動量が急激に変化したフレームを選択する
ことにより、動作方向が変化した個所等の重要な意味を
持つフレームを逃がすことが防止できる。
は、映像中の物体の動作状況を把握し、該物体の移動方
向あるいは移動量が急激に変化したフレームを選択する
ことにより、動作方向が変化した個所等の重要な意味を
持つフレームを逃がすことが防止できる。
【００４７】（３）映像中の物体の動作方向を示す場合
に、映像中の物体の重心を求め、該重心のフレームの間
の動きを追跡し、該追跡によって得られる軌跡を最もよ
く表現する直線または曲線を算出して、自動的に動作方
向を示す矢印を出力静止画像上に描画することにより、
手作業でＣＧ技術等を用いて描画する必要がなく、矢印
描画に要する時間を短縮することができる。
に、映像中の物体の重心を求め、該重心のフレームの間
の動きを追跡し、該追跡によって得られる軌跡を最もよ
く表現する直線または曲線を算出して、自動的に動作方
向を示す矢印を出力静止画像上に描画することにより、
手作業でＣＧ技術等を用いて描画する必要がなく、矢印
描画に要する時間を短縮することができる。
【図１】本発明のフレーム多重画像作成方法の概要を示
す概念図である。
す概念図である。
【図２】本発明の第１の実施の形態の処理を示すフロー
チャートである。
チャートである。
【図３】各キーフレーム上の同位置画素の輝度値と平均
値および標準偏差の関係を説明する図である。
値および標準偏差の関係を説明する図である。
【図４】本発明の第２の実施の形態の処理を示すフロー
チャートである。
チャートである。
【図５】図４中の左右各重心位置抽出処理の一例を示す
フローチャートである。
フローチャートである。
【図６】映像中の物体の領域抽出として肌色領域の抽
出、クラスリングおよびラベリングの概要を示す概念図
である。
出、クラスリングおよびラベリングの概要を示す概念図
である。
【図７】本発明の第３の実施の形態の処理を示すフロー
チャートである。
チャートである。
【図８】映像中の物体の動作の描画として左右の手の重
心の軌跡とそれを近似する直線／曲線の例を示す概念図
である。
心の軌跡とそれを近似する直線／曲線の例を示す概念図
である。
１１０ ビデオデータ １２０ キーフレーム画像 １３０ フレーム多重画像
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.6 識別記号 ＦＩ Ｈ０４Ｎ 5/262 Ｇ０６Ｆ 15/70 ３６０
Claims (3)
- 【請求項１】 映像データから複数のフレーム画像を抽
出し、それらを重ね合せて１枚の静止画像を作成する方
法において、 映像データ中の全フレームあるいは指定された範囲に含
まれるフレームからＫ枚（Ｋは２以上の整数）のフレー
ムをキーフレームとして選択し、 該選択された各キーフレーム画像上の同じ位置（ｉ,
ｊ）にあるＫ個の画素について、その輝度成分における
平均値（meani,j）および標準偏差（σi,j）を次式によ
り算出し、 【数１】 【数２】 ｆY（ｉ,ｊ；ｋ）：第ｋフレーム画像上の位置（ｉ,
ｊ）の画素の輝度値各画素の輝度値ｆY（ｉ,ｊ；ｋ）と
前記算出した平均値（meani,j）および標準偏差
（σi,j）を用いて、meani,j＋σi,j＜ｆY（ｉ,ｊ；
ｋ）またはmeani,j−σi,j＞ｆY（ｉ,ｊ；ｋ）なる画素
には大きな重み係数を与え、meani,j−σi,j＜ｆY（ｉ,
ｊ；ｋ）＜meani,j＋σi,jなる画素には小さな重み係数
を与え、 出力静止画像上の同じ位置（ｉ,ｊ）における画素値ｇ
（ｉ,ｊ）を次式により算出し、 【数３】 前記の処理をキーフレーム画像の各画素について実施す
ることにより、Ｋ枚のキーフレームを重ね合せた１枚の
静止画像を作成することを特徴とするフレーム多重画像
作成方法。 - 【請求項２】 請求項１記載のフレーム多重画像作成方
法において、映像データ中の全フレームあるいは指定さ
れた範囲に含まれるフレームについて、各フレーム毎
に、映像中の予め指定された物体の領域を抽出し、該領
域の重心を算出し、該重心の移動方向および移動量があ
らかじめ定められた閾値を超えたフレームをキーフレー
ムとして選択することを特徴とするフレーム多重画像作
成方法。 - 【請求項３】 請求項１もしくは２記載のフレーム多重
画像作成方法において、各フレーム毎に、映像中の予め
指定された物体の領域を抽出し、該領域の重心を算出
し、該重心を各フレームに渡って追跡して、該追跡した
軌跡の直線あるいは曲線を算出し、該直線あるいは曲線
に動作方向を示す矢印を付加して、出力静止画像上に描
画することを特徴とするフレーム多重画像作成方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP09567497A JP3411469B2 (ja) | 1997-04-14 | 1997-04-14 | フレーム多重画像作成方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP09567497A JP3411469B2 (ja) | 1997-04-14 | 1997-04-14 | フレーム多重画像作成方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH10290450A true JPH10290450A (ja) | 1998-10-27 |
| JP3411469B2 JP3411469B2 (ja) | 2003-06-03 |
Family
ID=14144059
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP09567497A Expired - Fee Related JP3411469B2 (ja) | 1997-04-14 | 1997-04-14 | フレーム多重画像作成方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3411469B2 (ja) |
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008021110A (ja) * | 2006-07-12 | 2008-01-31 | Sony Corp | 画像処理装置、画像処理手順およびプログラム |
| JP2008167220A (ja) * | 2006-12-28 | 2008-07-17 | Canon Inc | 画像処理装置及び方法、並びにプログラム及び記録媒体 |
| JP2009181259A (ja) * | 2008-01-30 | 2009-08-13 | Sony Corp | 画像処理装置、画像処理方法およびプログラム |
| JP2009181258A (ja) * | 2008-01-30 | 2009-08-13 | Sony Corp | 画像処理装置、画像処理方法およびプログラム |
| EP2109307A1 (en) * | 2008-04-07 | 2009-10-14 | Sony Corporation | Image processing apparatus, image processing method, and program |
| JP2010218232A (ja) * | 2009-03-17 | 2010-09-30 | Dainippon Printing Co Ltd | 対象物追跡装置 |
| US7885475B2 (en) | 2004-12-30 | 2011-02-08 | Samsung Electronics Co., Ltd | Motion adaptive image processing apparatus and method thereof |
| US8027534B2 (en) | 2006-05-08 | 2011-09-27 | Sony Corporation | Image processing apparatus, image processing method, and program |
| US8116521B2 (en) | 2007-08-30 | 2012-02-14 | Casio Computer Co., Ltd. | Moving body image extraction apparatus and computer readable storage medium storing program |
| JP2013070332A (ja) * | 2011-09-26 | 2013-04-18 | Olympus Corp | 画像処理装置 |
| US8564679B2 (en) | 2006-07-27 | 2013-10-22 | Sony Corporation | Image processing apparatus, image processing method and program |
| JP2013255180A (ja) * | 2012-06-08 | 2013-12-19 | Olympus Corp | 画像処理装置、画像処理方法、画像処理プログラムおよび撮像装置 |
| WO2019093152A1 (ja) * | 2017-11-10 | 2019-05-16 | 株式会社小松製作所 | 作業車両の動作を推定するための方法、システム、学習済みの分類モデルの製造方法、学習データ、及び学習データの製造方法 |
| CN111199717A (zh) * | 2018-11-19 | 2020-05-26 | 深圳Tcl新技术有限公司 | 一种液晶显示屏Mura补偿方法、系统及存储介质 |
| US11099845B2 (en) | 2018-03-22 | 2021-08-24 | Casio Computer Co., Ltd. | Image edit apparatus for creating synthesized images, and image edit method and recording medium |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5541956B2 (ja) * | 2010-04-07 | 2014-07-09 | 亨 羽角 | 画像合成方法、画像合成プログラムおよび画像合成装置 |
-
1997
- 1997-04-14 JP JP09567497A patent/JP3411469B2/ja not_active Expired - Fee Related
Cited By (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7885475B2 (en) | 2004-12-30 | 2011-02-08 | Samsung Electronics Co., Ltd | Motion adaptive image processing apparatus and method thereof |
| US8027534B2 (en) | 2006-05-08 | 2011-09-27 | Sony Corporation | Image processing apparatus, image processing method, and program |
| JP2008021110A (ja) * | 2006-07-12 | 2008-01-31 | Sony Corp | 画像処理装置、画像処理手順およびプログラム |
| US8885061B2 (en) | 2006-07-27 | 2014-11-11 | Sony Corporation | Image processing apparatus, image processing method and program |
| US8564679B2 (en) | 2006-07-27 | 2013-10-22 | Sony Corporation | Image processing apparatus, image processing method and program |
| JP2008167220A (ja) * | 2006-12-28 | 2008-07-17 | Canon Inc | 画像処理装置及び方法、並びにプログラム及び記録媒体 |
| US8116521B2 (en) | 2007-08-30 | 2012-02-14 | Casio Computer Co., Ltd. | Moving body image extraction apparatus and computer readable storage medium storing program |
| JP2009181259A (ja) * | 2008-01-30 | 2009-08-13 | Sony Corp | 画像処理装置、画像処理方法およびプログラム |
| JP2009181258A (ja) * | 2008-01-30 | 2009-08-13 | Sony Corp | 画像処理装置、画像処理方法およびプログラム |
| US8588458B2 (en) | 2008-01-30 | 2013-11-19 | Sony Corporation | Image processing apparatus, image processing method, and program |
| US8848097B2 (en) | 2008-04-07 | 2014-09-30 | Sony Corporation | Image processing apparatus, and method, for providing special effect |
| EP2109307A1 (en) * | 2008-04-07 | 2009-10-14 | Sony Corporation | Image processing apparatus, image processing method, and program |
| JP2010218232A (ja) * | 2009-03-17 | 2010-09-30 | Dainippon Printing Co Ltd | 対象物追跡装置 |
| JP2013070332A (ja) * | 2011-09-26 | 2013-04-18 | Olympus Corp | 画像処理装置 |
| JP2013255180A (ja) * | 2012-06-08 | 2013-12-19 | Olympus Corp | 画像処理装置、画像処理方法、画像処理プログラムおよび撮像装置 |
| WO2019093152A1 (ja) * | 2017-11-10 | 2019-05-16 | 株式会社小松製作所 | 作業車両の動作を推定するための方法、システム、学習済みの分類モデルの製造方法、学習データ、及び学習データの製造方法 |
| JP2019087200A (ja) * | 2017-11-10 | 2019-06-06 | 株式会社小松製作所 | 作業車両の動作を推定するための方法、システム、学習済みの分類モデルの製造方法、学習データ、及び学習データの製造方法 |
| US11556739B2 (en) | 2017-11-10 | 2023-01-17 | Komatsu Ltd. | Method for estimating operation of work vehicle, system, method for producing trained classification model, training data, and method for producing training data |
| US11099845B2 (en) | 2018-03-22 | 2021-08-24 | Casio Computer Co., Ltd. | Image edit apparatus for creating synthesized images, and image edit method and recording medium |
| CN111199717A (zh) * | 2018-11-19 | 2020-05-26 | 深圳Tcl新技术有限公司 | 一种液晶显示屏Mura补偿方法、系统及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3411469B2 (ja) | 2003-06-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JPH10290450A (ja) | フレーム多重画像作成方法 | |
| US6633294B1 (en) | Method and apparatus for using captured high density motion for animation | |
| US6285794B1 (en) | Compression and editing of movies by multi-image morphing | |
| US7024020B2 (en) | Apparatus and method for generating object-labeled image in video sequence | |
| US8698796B2 (en) | Image processing apparatus, image processing method, and program | |
| CN111464834B (zh) | 一种视频帧处理方法、装置、计算设备及存储介质 | |
| CN110910479B (zh) | 视频处理方法、装置、电子设备及可读存储介质 | |
| TW202141340A (zh) | 圖像處理方法、電子設備和電腦可讀儲存介質 | |
| JP2011159329A (ja) | 自動３ｄモデリングシステム及び方法 | |
| JP3753625B2 (ja) | 表情アニメーション生成装置および表情アニメーション生成方法 | |
| WO2002052506A1 (en) | A method of rendering a graphics image | |
| CN116664603B (zh) | 图像处理方法、装置、电子设备及存储介质 | |
| CN110719415B (zh) | 一种视频图像处理方法、装置、电子设备及计算机可读介质 | |
| US7522189B2 (en) | Automatic stabilization control apparatus, automatic stabilization control method, and computer readable recording medium having automatic stabilization control program recorded thereon | |
| CN112714337A (zh) | 视频处理方法、装置、电子设备和存储介质 | |
| EP1306114B1 (en) | Recording medium storing 3D model deformation program, 3D model deformation program, 3D deformation method and video game device | |
| JP2002010060A (ja) | 画像融合装置及び画像融合方法 | |
| JPH11175765A (ja) | ３次元モデル作成方法、３次元モデル作成装置及び記憶媒体 | |
| JP2001051579A (ja) | 映像表示方法、映像表示装置及び映像表示プログラムを記録した記録媒体 | |
| JP2010097355A (ja) | 画像分離装置、画像分離方法および画像分離プログラム | |
| JP2009003615A (ja) | 注目領域抽出方法、注目領域抽出装置、コンピュータプログラム、及び、記録媒体 | |
| JP4401475B2 (ja) | 印刷に適した画像フレームを識別する方法 | |
| KR102591082B1 (ko) | 딥 러닝 기반 합성 영상 콘텐츠 생성 방법 및 장치 | |
| JP2008021224A (ja) | 画像処理プログラム、画像処理方法、及び画像処理装置 | |
| JP2002095012A (ja) | ステレオ画像生成装置およびその方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090320 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090320 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100320 Year of fee payment: 7 |
|
| LAPS | Cancellation because of no payment of annual fees |