JP4665317B2 - Coordinate sequence feature calculation method, video special effect device control method, and video special effect device control system - Google Patents
Coordinate sequence feature calculation method, video special effect device control method, and video special effect device control system Download PDFInfo
- Publication number
- JP4665317B2 JP4665317B2 JP2001032894A JP2001032894A JP4665317B2 JP 4665317 B2 JP4665317 B2 JP 4665317B2 JP 2001032894 A JP2001032894 A JP 2001032894A JP 2001032894 A JP2001032894 A JP 2001032894A JP 4665317 B2 JP4665317 B2 JP 4665317B2
- Authority
- JP
- Japan
- Prior art keywords
- coordinate
- video special
- point
- special effect
- feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Studio Circuits (AREA)
- Image Analysis (AREA)
Description
【0001】
【発明の属する技術分野】
本発明は、入力された座標列の特徴を算出するための座標列の特徴算出方法ならびに、映像特殊効果装置に対して所望の映像特殊効果を実行させるための映像特殊効果装置の制御方法および映像特殊効果装置の制御システムに関する。
【0002】
【従来の技術】
従来より、例えば放送局などでは、放送用の映像を生成する目的で映像特殊効果装置が使用されている。映像特殊効果装置は、入力映像に対して種々の映像特殊効果を施して出力する機能を有している。映像特殊効果装置を用いて構築された映像処理用のシステムは、映像特殊効果システムなどと呼ばれている。従来の映像特殊効果システムでは、例えば、所定のメニュー表示画面にシステムが用意している映像特殊効果の種類をリスト状に表示し、そのリストから所望のものを選択することで実行させたい映像特殊効果の種類の指定を行っていた。このようなメニュー表示によって映像特殊効果の種類の指定を行う例としては、例えば特開平5−300426号公報「コンピュータ使用対話型メニュー操作ビデオ信号処理装置および方法」の図17に示されているようなものがある。また、別の従来技術としては、映像特殊効果の種類ごとにそれぞれ番号を付与し、テンキーなどから番号を入力することにより種類の指定を行う方法もある。
【0003】
図33は、メニュー表示によって映像特殊効果の種類の指定を行うようにした従来の映像特殊効果システムの構成例を示している。このシステムは、映像特殊効果を行う本体である映像特殊効果部2041と、この映像特殊効果部2041に接続された制御部2046と、この制御部2046に接続された特殊効果種類保持部2042、表示部2045および操作入力部2047とを備えている。
【0004】
操作入力部2047は、操作者からの各種の指示入力を受け付けるためのものであり、主入力部2043とテンキー2044とを有している。主入力部2043は、システムの主たる操作入力を行うためのものであり、複数の押しボタンなどを配置した操作ユニットにより構成されている。テンキー2044は、数字キーなどの所定のキーが配列されたものである。
【0005】
特殊効果種類保持部2042は、映像特殊効果部2041において実行可能な映像特殊効果の種類に関する情報を記憶している。表示部2045は、映像特殊効果の種類の指定を行うためのメニュー表示画面を表示するようになっている。制御部2046は、マイクロコンピュータを含んで構成され、表示部2045の制御や映像特殊効果部2041への制御コマンドの送信などを行う。映像特殊効果部2041は、制御部2046からの制御コマンドに従って、入力された映像信号に対して映像特殊効果を実行する。
【0006】
このような構成のシステムにおいて、映像特殊効果の種類を指定する場合は、次のような動作を行う。まず制御部2046が、特殊効果種類保持部2042から映像特殊効果部2041で実行可能な特殊効果の種類を読み出し、表示部2045にメニュー表示画面として一覧表示させる。このとき、映像特殊効果の種類が多すぎてすべての種類を一度に表示できない場合には、制御部2046は、複数の切り替え画面に分けてメニュー表示画面を表示させる。操作者は、表示部2045に表示されたメニュー表示画面を見ながら操作入力部2047を操作し、表示された映像特殊効果の種類の中から所望のものを選択し、指定する。制御部2046は、操作入力部2047を介して操作者からの指定を受けると、該当する映像特殊効果を実行するよう指示する制御コマンドを映像特殊効果部2041に送信する。映像特殊効果部2041は、制御コマンドを受信すると、その指定された映像特殊効果を実行する。
【0007】
図34は、メニュー表示画面の具体例として、映像特殊効果の種類を図形的に表現したものを示している。このメニュー表示画面2050には、特殊効果の種類を示す番号2051や特殊効果の内容を図形的に表現した図形2052などが一覧表示されている。このように番号2051や図形2052を一覧表示することにより操作者が所望の特殊効果の種類を選択しやすいようになっている。このメニュー表示画面2050には、また、カーソル2053が表示されている。カーソル2053は、表示中の複数の図形2052のうちの一つの図形の下に表示されるようになっている。操作者は、主入力部2043からの操作によりカーソル移動を行って所望の特殊効果を示す図形2052の表示位置にカーソル2053を移動させると共に、選択確定を示す操作入力を行い、これにより、所望としている映像特殊効果の種類の指定を行う。また、カーソル2053による指定ではなく、テンキー2044から特殊効果の番号2051を直接入力することで種類の指定を行うこともできる。
【0008】
【発明が解決しようとする課題】
ところで、近年では映像特殊効果技術の進歩により、システムで使用可能な映像特殊効果の種類はきわめて多数となっている。このため、上記従来技術のようにメニュー表示から特殊効果を選択する方法では、メニュー表示を多数の画面に分けて行わなければならない。そして操作者は、分けられた多数のメニュー表示画面を切り替えて所望の特殊効果が表示される画面を見つけ、その画面表示において選択指示を行わなければならない。従って、この方法では、特殊効果の種類が増えると、所望の特殊効果を指定するまでに手間と時間がかかり、作業効率を低下させるという問題がある。この場合、表示画面を大きく高解像度にすることで、ある程度問題の解決が可能であるが、あまりに大きな画面はコストが高く、スペースをとり、また必ずしも使用者にとって使いやすいものではないという問題がある。
【0009】
そこで、従来一覧表示していた特殊効果の種類を示す図形パターンを、各種ポインティングデバイスによる座標入力の軌跡で簡易的に表現し、映像特殊効果の種類の指定に利用するという方法が考えられる。座標入力の軌跡の特徴を算出し、認識する技術は、従来より、OCR(光学式文字読み取り装置)や手書き文字認識装置などに利用されている。しかしながら、このような装置に利用されている特徴の算出、認識技術は、複雑な入力パターンに対応するために複雑な処理が必要とされる。これに対し、映像特殊効果の種類の指定は、あらかじめ決められた簡易な図形パターンの(特徴の)認識を行うだけでいいので、必ずしもOCRのような複雑な処理技術は必要とされない。映像特殊効果の種類の指定を行うためには、それ用に最適化された簡易な特徴の算出、認識技術が望まれる。
【0010】
本発明はかかる問題点に鑑みてなされたもので、その第1の目的は、例えば映像特殊効果装置において所望の映像特殊効果の種類や動作を指定する場合などに利用可能な簡易な特徴算出処理を実現することができる座標列の特徴算出方法を提供することにある。また本発明の第2の目的は、所望の映像特殊効果を容易にかつ短時間で指定することができる映像特殊効果装置の制御方法および映像特殊効果装置の制御システムを提供することにある。
【0011】
【課題を解決するための手段】
本発明の第1ないし第3の観点に係る座標列の特徴算出方法は、座標成分としてX成分およびY成分を有する複数の座標点からなる少なくとも1つの座標列を入力するステップと、入力された各座標列ごとに、始点の座標点と、終点の座標点と、始点と終点との間でX方向またはY方向の少なくとも一方向について極大または極小である座標点とを、極大極小点として選出するステップと、始点から終点に向かって順番に、隣接する極大極小点間の部分的な座標列における座標値の変化の方向を、X方向とY方向とのそれぞれについて正、負または0の値を持つ方向要素を少なくとも1つ用いて表し、その方向要素が1つ以上組み合わされて構成された方向要素の列を、部分的な座標列ごとに1つ以上生成するステップと、生成された方向要素の1つ以上の列を、各座標列ごとに、始点から終点に向かって順番に結合し、その結合された1つ以上の列のデータを、各座標列の特徴を示すデータとして出力するステップとを含むものである。
【0012】
本発明の第1の観点に係る座標列の特徴算出方法では、まず、入力された各座標列ごとに、始点の座標点と、終点の座標点と、始点と終点との間でX方向またはY方向の少なくとも一方向について極大または極小である座標点とが、極大極小点として選出される。
【0013】
この極大極小点の選出処理では、自身の点の前方と後方との両方について、X方向またはY方向に所定のしきい値以上大きいまたは小さい座標点が同時に存在し、かつ自身の点が所定のしきい値の座標範囲内でX方向またはY方向の少なくとも一方向について最大または最小となっていたときに、その点を極大極小点として処理する。ここで、しきい値を設定するのは、例えば座標入力装置のぶれや手のぶれにより入力座標列に揺れが生じ、これが意図しない極大極小点を生じることを防止するためである。しきい値は固定値としても良いが、例えば、座標の入力領域または座標列を包含する最小矩形の大きさに対して、入力装置の特性などに応じた一定の比を乗じて算出するのが好ましい。
【0014】
本発明の第1の観点に係る座標列の特徴算出方法では、次に、始点から終点に向かって順番に、隣接する極大極小点間の部分的な座標列における座標値の変化の方向が、X方向とY方向とのそれぞれについて正、負または0の値を持つ方向要素を少なくとも1つ用いて表現される。具体的には、例えば、座標値の変化がX軸の正方向である場合には、その変化の方向が(+,0)と表現され、X軸の負方向である場合には、その変化の方向が(-,0)と表現される。本発明では、このように表現される例えば“(*,*)”の形式で表されるデータの1つ1つを“方向要素”という。この方向要素が1つ以上組み合わされて構成された方向要素の列が、部分的な座標列ごとに1つ以上生成される。方向要素の列の生成は、隣接する極大極小点間の座標列ごとに行われるので、1つの座標列全体につき、極大極小点の総数から1減じた数だけ行われる。
【0015】
ここで、方向要素の列は、特定の隣接する極大極小点間で、複数生成されることがある。例えば、X方向正かつY方向正の1つの方向要素からなる列と、X方向正かつY方向0の1つの方向要素からなる列の二通りとなる場合がある。このような場合には、例えばどちらも選択可能なものとして、最後の特徴の出力でも特徴のデータを2つ出力しても良い。
【0016】
また、複数の隣接する極大極小点間で、方向要素の列が複数生成される場合もある。従って、例えば極大極小点が4点あり、3つの隣接部分においてそれぞれ二通りの方向要素の列が生成された場合は、1つの座標列全体につき、特徴を示すデータが、2の3乗、すなわち8個出力される。ただし、特徴を示すデータがすべて異なるものになるとは限らない。この場合、同じ内容のデータは削除して構わない。
【0017】
本発明の第1の観点に係る座標列の特徴算出方法では、次に、隣接する極大極小点間についての方向要素の1つ以上の列が、各座標列ごとに、始点から終点に向かって順番に結合され、その結合された1つ以上の列のデータが、各座標列の特徴を示すデータとして出力される。
【0018】
以上の座標列の特徴算出方法は、例えば映像特殊効果の種類や動作を指定する場合などに利用される。この場合、例えば、算出された各座標列の特徴に関するデータと、あらかじめ記憶手段に記憶されている映像特殊効果ごとの特徴に関するデータとを比較し、その特徴が一致する映像特殊効果を選出することで所望の映像特殊効果の指定を行うことができる。
【0019】
なお、好ましくは、各極大極小点間についての方向要素の列を結合する場合に、結合した1つの列内に同一の方向要素が連続して生成されたときには、連続する方向要素のうち1つのみ残して他は削除する処理を行うと良い。これにより、特徴を示すデータ量の削減が図られる。またこれにより、例えばこの特徴算出方法を映像特殊効果システムに適用した場合に、映像特殊効果ごとの特徴に関するデータを記憶している記憶手段の記憶容量の削減を容易に行うことができると共に、特徴の比較処理に要する時間の短縮化を容易に行うことができる。
【0020】
本発明の第2の観点に係る座標列の特徴算出方法では、特徴を示すデータを出力するステップにおいて、方向要素の列を結合した結果、2つ以上の列のデータが得られた場合に、各列に含まれる方向要素の数が最も少ない(列の長さが短い)ものを優先して特徴を示すデータとして出力する。例えば、列の長さが最も短いもののみについて残し、他の特徴のデータは無視しても良い。また例えば、映像特殊効果システムに適用した場合において、特徴の比較処理を行った結果、複数の特徴のデータに関して一致するものが見つかったときには、短い方の特徴との一致を優先して処理しても良い。
【0021】
本発明の第3の観点に係る座標列の特徴算出方法において、方向要素の列を生成するステップには、隣接する極大極小点のうち、相対的に後方に位置する極大極小点の前方に存在する所定範囲内の座標列と、相対的に前方に位置する極大極小点の後方に存在する所定範囲内の座標列とのそれぞれについて、座標値の変位の方向が水平であるか、垂直であるか、または水平、垂直のどちらでもないかを判定する処理と、隣接する極大極小点間のX座標の大小関係とY座標の大小関係とを判定する処理とが含まれる。さらに、各座標列を包含する最小の矩形領域を設定し、その矩形領域の縦横比に基づいて、各座標列が一次元的な図形であるか二次元的な図形であるかを判別する処理を行うようにしても良い。そして、座標列が一次元的な図形である場合と二次元的な図形である場合とで、方向要素の列の生成処理を異なる方法で処理するようにしても良い。
【0022】
本発明の第1ないし第3の観点に係る映像特殊効果装置の制御方法は、少なくとも一つの座標列の入力を行うステップと、入力された各座標列を解析して、その特徴を算出するステップと、算出された各座標列の特徴に基づいて、実行させるべき映像特殊効果を選出するステップと、選出された映像特殊効果を実行させるよう映像特殊効果装置を制御するステップとを含むものである。本発明の第1の観点に係る映像特殊効果装置の制御方法における座標列の特徴を算出するステップは、上記本発明の第1の観点に係る座標列の特徴算出方法と同様である。本発明の第2の観点に係る映像特殊効果装置の制御方法における座標列の特徴を算出するステップは、上記本発明の第2の観点に係る座標列の特徴算出方法と同様である。本発明の第3の観点に係る映像特殊効果装置の制御方法における座標列の特徴を算出するステップは、上記本発明の第3の観点に係る座標列の特徴算出方法と同様である。
【0023】
また、本発明の第1ないし第3の観点に係る映像特殊効果装置の制御システムは、少なくとも一つの座標列の入力を行うための座標列入力手段と、座標列入力手段によって入力された各座標列を解析して、その特徴を算出する座標列解析手段と、座標列解析手段によって算出された各座標列の特徴に基づいて、実行させるべき映像特殊効果を選出する特徴比較手段と、特徴比較手段によって選出された映像特殊効果を実行させるよう映像特殊効果装置を制御する制御手段とを備えたものである。本発明の第1の観点に係る映像特殊効果装置の制御システムにおける座標列解析手段は、上記本発明の第1の観点に係る座標列の特徴算出方法と同様の処理を行うものである。本発明の第2の観点に係る映像特殊効果装置の制御システムにおける座標列解析手段は、上記本発明の第2の観点に係る座標列の特徴算出方法と同様の処理を行うものである。本発明の第3の観点に係る映像特殊効果装置の制御システムにおける座標列解析手段は、上記本発明の第3の観点に係る座標列の特徴算出方法と同様の処理を行うものである。
【0024】
本発明の第1ないし第3の観点に係る映像特殊効果装置の制御方法および映像特殊効果装置の制御システムでは、少なくとも一つの座標列の入力が行われると共に、その入力された各座標列について解析が行われ、その特徴が算出される。そして、算出された各座標列の特徴に基づいて、実行させるべき映像特殊効果の選出が行われる。
【0025】
座標列の特徴の算出処理では、例えば、座標列の図形的な特徴や移動的な特徴を示すデータが出力される。なお、座標列の入力を行う段階において、あらかじめ、その座標列を図形的な特徴の算出に用いるのか、移動的な特徴の算出に用いるのかの指定を行うようにしても良い。
【0026】
また、実行させるべき映像特殊効果の選出は、例えば、算出された各座標列の特徴(図形的または移動的な特徴)に関するデータと、あらかじめ記憶手段に記憶されている映像特殊効果ごとの特徴に関するデータとの比較を行い、その特徴が一致する映像特殊効果を選出することにより行われる。記憶手段には、例えば、映像特殊効果の種類を示す番号と、映像特殊効果の特徴を示すデータとを対応付けて記憶しておくと良い。
【0027】
なお、映像特殊効果を選出するときに、特徴が一致する映像特殊効果が複数選出された場合には、その選出された複数の映像特殊効果のうち、いずれの映像特殊効果を実行させるのかを操作者に選択、指定させるようにすることが望ましい。
【0028】
また、算出された各座標列の特徴に関するデータを、図形的な特徴を示すものとして扱うのか、移動的な特徴を示すものとして扱うのかを自動的に判別する処理を行うようにしても良い。
【0029】
以上のようにして選出された映像特殊効果を実行させるよう映像特殊効果装置が制御される。
【0030】
なお、好ましくは、最終的に選出された映像特殊効果の種類を示すデータと、その種類の算出に用いられた座標列の特徴を示すデータとを対応付けて履歴データとして記憶すると良い。
【0031】
【発明の実施の形態】
以下、本発明の実施の形態について図面を参照して詳細に説明する。
【0032】
[第1の実施の形態]
図1は、本発明の第1の実施の形態に係る映像特殊効果システムの全体構成を示している。本実施の形態に係る映像特殊効果システム1は、システム全体の制御を行う主制御部102と、この主制御部102に接続された、映像特殊効果部101および複数の操作部10A,10B,…とを備えている。操作部10A,10B,…は、ローカルエリアネットワーク(LAN)などの通信ネットワーク119によって、それぞれ主制御部102に接続されている。本システム1は、また、通信ネットワーク119と第2の操作部10Bとを着脱可能に接続するための着脱部113を備えている。なお、以下では、特に必要のない限り、複数の操作部10A,10B,…を総称して、単に操作部10と記す。
【0033】
この映像特殊効果システム1は、映像特殊効果部101および主制御部102から離れた場所であっても通信ネットワーク119の敷設可能な場所であれば、通信ネットワーク119を介して操作部10からシステムの操作が可能となっている。
【0034】
映像特殊効果部101は、複数の入力映像信号117の入力を受け付けると共に、入力された入力映像信号117に対して必要に応じて映像特殊効果を施し、単一の出力映像信号118を出力するようになっている。映像特殊効果部101から出力された出力映像信号118は、例えば、放送に供される最終的なオンライン映像用の信号として、外部から直ちに利用可能とされている。映像特殊効果部101は、また、後述するキー信号の入力を受け付けると共に、入力映像信号117に対してキー信号に基づく映像特殊効果を施すことが可能となっている。映像特殊効果部101は、例えば、複数の入力映像信号117の中から1つを選択して、出力映像信号118として出力するようなスイッチング機能や、複数の入力映像信号117の中から選択された所定数(例えば2つ)の映像信号を合成して単一の出力映像信号118として出力する機能を有している。
【0035】
図2は、映像特殊効果部101の内部構造の一例を示している。映像特殊効果部101は、複数の内部バス215,216,218と、2つのバス215,216(バスA,B)に接続された合成効果部214と、合成効果部214およびバス218(バスK)に接続されたキー処理部217とを有している。
【0036】
この映像特殊効果部101には、例えば7つの入力映像信号117(S1〜S7)が入力される。映像特殊効果部101には、また、例えば5つのキー信号212(K1〜K5)が入力可能になっている。キー信号212は、例えば、入力映像信号117によって表される映像の上に、入力映像信号117によって表される映像以外の他の映像を重ねて出力する場合に入力される。より具体的には、キー信号212は、入力映像信号117によって表される第1の映像領域内で、種々の形状の領域を指定して、その領域内に、あらかじめ用意された第2の映像を合成して表示するような特殊効果を行う場合に入力される。キー信号212は、例えば、領域指定の役割を持たせた信号と、表示する映像(第2の映像)を表す映像信号との2つの信号によって構成される。しかしながら、キー信号の詳細な構成部分は、本発明を説明する上であまり関係がないので、本実施の形態では、キー信号が単純に、入力映像信号117に「重ねる信号」であるものとして説明する。
【0037】
バス215,216は、それぞれ7つの入力映像信号S1〜S7の中から1つを選択し、合成効果部214に出力するようになっている。合成効果部214は、バス215,216からの2つの映像信号の入力を受け付けると共に、入力された映像信号に対して必要に応じて映像特殊効果を施し、1つの映像信号を出力するようになっている。合成効果部214は、特に映像特殊効果を施さない場合には、単純にバス215またはバス216によって選択された1つの映像信号を、入力された信号状態のままキー処理部217に出力するようになっている。合成効果部214は、映像特殊効果として、ワイプなどを用いた切り替え動作を行う場合には、バス215によって選択された入力映像信号からバス216によって選択された入力映像信号へと(またはバス216によって選択された入力映像信号からバス215によって選択された入力映像信号へと)、指定に応じた手法で切り替え動作を行うようになっている。合成効果部214は、また、バス215によって選択された入力映像信号とバス216によって選択された入力映像信号とを合成するような映像特殊効果を施すことが可能になっている。
【0038】
バス218は、5つのキー信号K1〜K5の中から1つの信号を選択して、キー処理部217に出力するようになっている。キー処理部217は、合成効果部214から出力された1つの映像信号とバス218から出力された1つのキー信号との入力を受け付けると共に、必要に応じて映像信号にキー処理を施して、1つの出力映像信号118を出力するようになっている。
【0039】
なお、映像特殊効果部101の構成は、図示したものに限定されず、例えば、合成効果部214に3つ以上のバスを接続し、3つ以上の入力映像信号を合成可能な構成にしても構わない。
【0040】
再び図1に戻ってシステム各部の構成について説明すると、主制御部102は、マイクロコンピュータを含んで構成されている。主制御部102は、通信ネットワーク119を介して、操作部10からの各種のコマンドを受信し、そのコマンドに応じた制御動作を行う機能を有している。例えば、主制御部102は、操作部10から映像特殊効果部101に対する指示を促すコマンドを受信すると、その指示に従って映像特殊効果部101を制御し、操作者が所望とする映像を出力させるような制御を行う。主制御部102は、また、制御結果を示す情報や操作部10において必要とされる各種の情報を、通信ネットワーク119を介して操作部10に送信するようになっている。なお、図示しないが、映像特殊効果部101には、出力映像信号118による映像をモニタするためのモニタ装置(表示装置)を接続可能になっている。
【0041】
操作部10(10A,10B)は、操作制御部105(105A,105B)と、表示部106(106A,106B)と、操作入力部109(109A,109B)と、特殊効果種類保持部116(116A,116B)とを有している。
【0042】
第2の操作部10Bは、着脱部113Aによる通信ネットワーク119への着脱機能が設けられている点以外は、基本的に第1の操作部10Aと同一の機能および構成を有している。着脱部113Aの一端は、操作制御部105Bに接続され、他端は、通信ネットワーク119に設けられた着脱部113Bに対して着脱可能となっている。これにより、操作制御部105Bを必要に応じて通信ネットワーク119に接続することが可能となっている。なお、本システムにおいては、操作部側の着脱部113Aがネットワーク側の着脱部113Bに接続されたことを、操作制御部105Bや主制御部102などで自動的に検出可能な構成にすることが望ましい。なお、本システムにおいて、操作部10は複数でなく一つのみ設けられた構成であっても良い。
【0043】
通信ネットワーク119は、各操作部の操作制御部105A,105Bのそれぞれと、主制御部102とを接続している。通信ネットワーク119には、第2の操作部10Bを着脱可能に接続するための着脱部113Bが設けられている。着脱部113Bは、第2の操作部10Bに設けられた着脱部113Aと対をなしている。通信ネットワーク119は、既知の技術により構築されるものであり、具体的には例えばイーサネット(Ethernet)やそれに関連する技術の使用により構築される。
【0044】
表示部106は、陰極線管(CRT;Cathode Ray Tube)や液晶表示装置などによって構成されるものであり、操作に必要な情報などをグラフィカルに表示可能となっている。表示部106は、例えば、映像特殊効果部101に実行させる特殊効果の種類を指定するためのメニュー画面などを表示する。
【0045】
操作制御部105は、マイクロコンピュータを含んで構成され、操作部内の各構成要素を制御するようになっている。操作制御部105は、また、通信ネットワーク119を介して、主制御部102との間で各種のコマンドや各種の情報の送受信を行うようになっている。操作制御部105は、操作者による操作入力部109からの操作入力に従って動作するようになっている。例えば、操作制御部105は、操作者の操作に従って、映像特殊効果部101に対する指示を示すコマンドを、通信ネットワーク119を介して、主制御部102に送信するような動作を行う。
【0046】
操作入力部109は、操作者からの各種の指示入力を受け付けるためのものであり、システムのユーザ(操作者)によって直接操作される。操作入力部109は、主入力部107と座標入力部108とを有している。主入力部107は、システムの主たる操作入力を行うためのものであり、コンピュータ用の汎用キーボードや、各種の操作スイッチを配置した操作ユニットなどにより構成されている。
【0047】
座標入力部108は、操作者が座標列を入力するためのものであり、例えばタブレットで構成されている。タブレットは、入力面を有する板状の器具であり、ペン型の入力器具(スタイラスペン(Stylus Pen))が付属している。タブレットは、入力面におけるペンの動き(軌跡)を、連続した座標点(座標列)のデータとして検出する。座標入力部108から入力された座標列のデータは、操作制御部105に送信される。座標入力部108の別の構成例としては、マウスあるいはトラックボールなど任意のポインティングデバイスを採用できる。あるいは座標入力部108にタッチパッドを用いるようにしても良い。タッチパッドは、平面状のポインティングデバイスであり、例えば操作者の指による接触の軌跡を座標列のデータとして検出する。いずれのポインティングデバイスでも、座標列の入力は、基本的に、開始動作(ペンで入力面をタッチする、あるいはマウスのボタンを押下するなど)、移動(マウスによるドラッグ操作など)、終了動作(ペンを上げる、マウスのボタンを戻すなど)により行われる。入力の開始時および終了時の座標値と、移動中に定期的に得られる座標値により、座標列が入力される。なお、マウスによるドラッグ操作とは、マウスのボタンを押したままマウスを移動させることを示す。
【0048】
特殊効果種類保持部116は、映像特殊効果部101において実行可能なワイプ(現在の映像を拭いさるようにして次の映像に徐々に切り替えていく映像表現)などの特殊効果の種類に関する情報を、特殊効果の種類ごとにあらかじめ保持している。特殊効果種類保持部116は、物理的にはメモリの領域を確保したものである。より具体的には、特殊効果種類保持部116は、操作制御部105を構成するマイクロコンピュータからアクセス可能に構成されたメモリ中の領域として実現される。特殊効果種類保持部116は、不揮発性の記憶装置によって構成することが望ましい。
【0049】
なお、特殊効果種類保持部116の記憶内容は、システムの設置時に設定しても良いし、操作部10をネットワークに接続したときに例えば主制御部102から必要なデータを受信して設定するようにしても良い。
【0050】
本実施の形態は、特殊効果種類保持部116に記憶されている情報に基づいて、操作部10において所望の特殊効果の種類の選択、指定を容易に行うことができる入力環境を提供するものである。操作部10は、座標入力部108から座標列の入力を受けて、その特徴を算出し、特殊効果種類保持部116から特徴が一致する種類を選び出して出力する機能を有している。
【0051】
図3は、操作部10の機能的な構成を示している。操作部10は、与えられたデータに対して各種のデータ処理を行う処理機能部410と、各種データの記憶を行う一時記憶部420および不揮発性記憶部430とを備えている。
【0052】
処理機能部410は、座標列入力部411と、座標列解析部412と、特徴比較部413と、種類指定部414とを有している。座標列入力部411は、座標列のデータの入力を行うためのものである。座標列解析部412は、入力された座標列のデータの解析を行って座標列の特徴を示すデータを出力するようになっている。座標列解析部412によって算出される特徴を示すデータは、後述するように、例えば座標の変化の方向を示すデータ列(方向列)である。特徴比較部413は、座標列解析部412によって算出された座標列の特徴を示すデータと、不揮発性記憶部430に記憶されているデータとを比較し、座標列の特徴に対応する映像特殊効果の種類を少なくとも一つ求め、種類の選択候補として出力するようになっている。種類指定部414は、特徴比較部413によって求められた映像特殊効果の種類の中から、操作者に対して所望のものを一つ選択、指定させ、映像特殊効果部101に実行させるべき特殊効果の種類を確定する処理を行うようになっている。
【0053】
一時記憶部420は、座標列記憶部421と、特徴記憶部422と、種類候補記憶部423とを有している。座標列記憶部421は、座標列入力部411から入力された座標列の入力データの一時的な記憶を行うようになっている。特徴記憶部422は、座標列解析部412によって算出された座標列の特徴を示すデータの一時的な記憶を行うようになっている。種類候補記憶部423は、特徴比較部413によって求められた映像特殊効果の種類の候補のデータを一時的に記憶する。
【0054】
不揮発性記憶部430は、種類保持部431と、履歴記憶部432とを有している。種類保持部431は、特殊効果の種類ごとの特徴を示すデータを保持するようになっている。履歴記憶部432は、種類指定部414において最終的に確定された特殊効果の種類と、その種類の算出に用いられた特徴を示すデータとを対応付けて履歴データとして記憶するようになっている。履歴記憶部432に履歴データを記憶しておくことにより、次回からの座標列の特徴の認識率を向上させることができる。なお、履歴記憶部432は、不揮発性の記憶装置で構成するのが好ましいが、不揮発性ではなく電源を切ることにより内容が失われる記憶装置であっても良い。この場合にも、電源を切らずに使用を続けている間は効果を発揮できる。
【0055】
なお、種類保持部431の記憶内容は、システムの設置時に設定しても良いし、操作部10をネットワークに接続したときに例えば主制御部102から必要なデータを受信して設定するようにしても良い。
【0056】
図3に示した構成による機能は、図1に示した操作制御部105に接続された各構成要素、あるいは操作制御部自身のマイクロコンピュータの動作により実現される。図1に示した構成要素と図3に示した機能構成との対応関係について説明すると、座標列入力部411は座標入力部108に対応する。座標列解析部412および特徴比較部413は、操作制御部105のマイクロコンピュータの動作による機能であり、種類指定部414は操作制御部105および表示部106ならびに操作入力部109の動作による機能である。種類保持部431は、特殊効果種類保持部116に対応するが、これは操作制御部105のマイクロコンピュータからアクセス可能な不揮発性記憶装置である。履歴記憶部432は、同様の不揮発性記憶装置である。座標列記憶部421、特徴記憶部422および種類候補記憶部423は、それぞれ、操作制御部105のマイクロコンピュータの作業領域となる一時記憶装置(通常のメモリ)中の記憶領域である。
【0057】
ここで、本発明における座標列の特徴算出方法、ならびに映像特殊効果装置の制御方法および映像特殊効果装置の制御システムは、主として図3に示した各機能が行う処理または各機能ブロックの構成によって実現される。ただし、本発明の映像特殊効果装置の制御方法における「映像特殊効果装置を制御するステップ」および本発明の映像特殊効果装置の制御システムにおける「制御手段」は、図1に示した操作制御部105Aおよび主制御部102の機能によって実現される。また、不揮発性記憶部430は、本発明の制御システムにおける「記憶手段」の一具体例に対応する。また、不揮発性記憶部430のうち、特に、種類保持部431は、本発明の制御システムにおける「第1の記憶手段」の一具体例に対応する。また特に、履歴記憶部432は、本発明の制御システムにおける「第2の記憶手段」の一具体例に対応する。
【0058】
次に、上記のような構成の映像特殊効果システム1の動作について説明する。
【0059】
まず、図1を参照して本システム1の全体的な動作について説明する。本システム1において、基本的な動作の指示は、操作部10から行われる。操作部10は、通信ネットワーク119に接続されている環境で、システムの動作指示を行う。操作者は、表示部106、主入力部107および座標入力部108を用いて入力操作を行い、操作制御部105に対して各種の動作指示を行う。操作者は、例えば、特殊効果の種類の選択指示、特殊効果の実行の制御(実行開始の指示や、選択入力映像信号の切り替えの指示、動作制御に用いる各種パラメタの設定など)に関する入力を行う。操作制御部105は、操作入力部109や表示部106などを制御し、操作者の操作入力に従って動作する。
【0060】
操作制御部105は、操作者によって指示された内容が、例えば映像特殊効果部101に対する指示である場合には、その指示内容を示すコマンドを、通信ネットワーク119を介して主制御部102に送信する。主制御部102は、操作制御部105からのコマンドを受信すると、そのコマンドに従って映像特殊効果部101を制御し、操作者が所望とする出力映像信号118が得られるようにする。主制御部102は、必要に応じて制御結果などの情報を通信ネットワーク119を介して操作制御部105に送信する。主制御部102は、また、必要に応じて、個々の操作部に必要とされる情報を、通信ネットワーク119を介して、その情報を必要としている操作制御部105に送信する。
【0061】
次に、本実施の形態の特徴部分である図3に示した操作部10の機能を用いた動作について説明する。
【0062】
まず、図4を参照して、図3に示した機能による動作の概要を説明する。まず、操作部10は、座標列入力部411によって、操作者から座標列(座標xと座標yとの組の列)の入力を受ける(ステップS491)。なお、座標(x,y)は、その座標軸をX,Y軸とした2次元直交座標系における任意の座標点を示す。入力された座標列のデータは、座標列記憶部421に一時的に記憶され、座標列解析部412によって適宜参照される。次に、操作部10は、座標列解析部412によって、入力された座標列のデータを解析して座標列の図形的な特徴を算出する(ステップS492)。算出された特徴のデータは、特徴記憶部422に一時的に記憶され、特徴比較部413によって適宜参照される。次に、操作部10は、特徴比較部413によって、履歴記憶部432および種類保持部431に記憶されているデータを参照して、ステップS492で算出した図形的な特徴と一致する特徴を持つ(図形的な特徴に関連付けされた特徴を持つ)特殊効果の種類を少なくとも一つ探し、選択候補として出力する(ステップS493)。出力された選択候補のデータは、種類候補記憶部423に一時的に記憶され、種類指定部414によって適宜参照される。
【0063】
操作部10は、次に、種類指定部414によって、見つかった種類の候補を表示部106に表示し、操作者にそのうちの一つを選択入力させる(ステップS494)。そして、種類指定部414は、操作者によって選択された種類を最終的な確定種類として出力する(ステップS495)。種類指定部414は、また、確定した特殊効果の種類(を示す番号)と、その種類の算出に用いられた特徴を示すデータ(後述する方向列のデータ)とを対応付けて履歴データとして履歴記憶部432に記憶する(ステップS496)。操作制御部105は、種類指定部414から出力された種類の映像特殊効果を実行させるよう指示する制御コマンドを、主制御部102に送信する。主制御部102は、操作制御部105からのコマンドを受信すると、そのコマンドに従って映像特殊効果部101を制御し、操作者が所望とする映像特殊効果を実行させる。
【0064】
次に、図3に示した機能の各部の動作について詳細に説明する。
【0065】
<特徴(方向列)の算出処理>
まず、座標列解析部412による特徴の算出処理(図4のステップS492)の機能について詳しく説明する。座標列からの図形的な特徴の算出方法には、文字認識を目的とした高度な算法が従来から多数存在するが、本実施の形態における算出方法は、特殊効果の種類の選択を目的とした比較的単純な方法である。
【0066】
図5は、特徴の算出処理の全体的な手順の流れを示している。座標列解析部412は、まず、特徴の算出を行うための準備となる前処理を行う(ステップS501)。この前処理は、後述するように、座標列を包含する長方形(矩形)を算出し、その幅や高さを求める処理などを含む。次に、座標列解析部412は、入力された座標列から極大極小点の選出処理を行う(ステップS502)。座標列解析部412は、次に、入力された座標列が一次元図形であるか否かの判定処理を行う(ステップS503)。ここで、一次元図形である場合(ステップS503;Y)には、座標列が一次元の方向列(X軸方向(X方向)またはY軸方向(Y方向)のいずれか一方向の成分を有する列)であることを示すデータを出力する(ステップS506)。一方、一次元図形でない場合(ステップS503;N)には、極大極小点近傍の座標列の水平・垂直の判定、検出処理を行う(ステップS504)。その後、二次元の方向列(X方向およびY方向の二方向の成分を有する列)であることを示すデータを出力する(ステップS505)。
【0067】
次に、図5の各ステップの処理を具体的に説明する。まず、ステップS501の前処理について説明する。以下では、入力座標列(点列)を、X,Y直交座標系における座標xと座標yとで表される二つの数値の組(x,y)の列「(x0,y0),(x1,y1),(x2,y2),...,(xn,yn)」として表現する。なお、nは、0以上の整数を示す。通常では、最初に入力された点を(x0,y0)とし、最後に入力された点を(xn,yn)とする。ステップS501では、この座標列を包含する長方形(矩形)を算出し、その幅(X座標の最大値と最小値との差)をwx、高さ(Y座標の最大値と最小値との差)をwyとする。また、以下の式(1)のように、幅wxと高さwyのうち大きい方の値をwとする。
w=max(wx,wy) ……(1)
【0068】
さらに、以下の式(2A),(2B),(2C)で定義される値d,f,Lを求める。
d=w/5 ……(2A)
f=w/16 ……(2B)
L=w/4 ……(2C)
【0069】
なお、値d,f,Lの定義式(wに対する比率)は、上記の式に限定されるものではない。値d,f,Lは、座標列の入力に用いる入力装置の種類により最適値を選択することが望ましい。ただし、値d,f,Lは、少なくとも以下の二つの式(3A),(3B)を満たすものとする。
f<d ……(3A)
f<L ……(3B)
【0070】
(極大極小点の選出処理)
次に、極大極小点の選出処理(図5のステップS502)について説明する。ステップS502では、座標列の中でX方向またはY方向について、極大または極小となっている点を選出する。この選出される点を“極大極小点”と呼ぶ。この極大極小点の選出処理では、例えば、自身の点の前方と後方との両方について、X方向またはY方向に所定のしきい値d以上大きいまたは小さい座標点が同時に存在し、かつ自身の点が所定のしきい値の座標範囲内でX方向またはY方向の少なくとも一方向について最大または最小となっていたときに、その点を極大極小点として処理する。
【0071】
具体的には、極大の概念は、おおむね図7に示したとおりである。すなわち、座標列中で、点k(xk,yk)の前と後に、X座標が所定のしきい値d以上小さい点i(xi,yi)および点j(xj,yj)が存在し(xk−xi≧d,xk−xj≧d)、かつ点iから点jの間にある点の中で点kのX座標値が最大である場合に、点kがX方向に極大(点)であるとする(ただし、0≧j>j≧n)。これと同じ考え方で、方向を逆転した場合をX方向に極小(点)であるとする。またY方向についても同様とする。なお、以上の説明で点kの“前”とは、kよりも変数値を減少させる方向をいい、点kの“後”とは、kよりも変数値を増加させる方向のことをいう。
【0072】
なお点列(座標列)の最初の点(始点)は無条件で極大極小点に含める。また、最後の点(終点)については、上記条件の片側のみ(点i側についてのみ)の条件で判定する。
【0073】
なお、この極大極小点の選出処理において、しきい値dを設定するのは、例えば座標入力装置のぶれや手のぶれにより入力座標列に揺れが生じ、これが意図しない極大極小点を生じることを防止するためである。しきい値は固定値としても良いが、例えば、座標の入力領域または座標列を包含する最小矩形の大きさに対して、入力装置の特性などに応じた一定の比を乗じて算出するのが好ましい。
【0074】
図6は、点k(xk,yk)がX方向に極大であるか否かの判定処理の一例を示している。図6の処理では整数変数(座標(x,y)の添え字)としてr,i,jを用いる。座標列解析部412は、まず、準備として、変数rを点kの直前の極大極小点(の添え字)とする(ステップS5101)。なお、最初の判定の際はr=0(最初の点)とする。座標列解析部412は、次の準備として、変数iをk−1(前の点(変数値をkより1つ減少させた点)の添え字)とする(ステップS5102)。座標列解析部412は、次に、変数iがr以上(i≧r)であるか否かを判定する(ステップS5103)。i≧rでない場合(ステップS5103;N)には、これ以上前の点には戻らず(変数値を減少させずに)、点kはX方向に極大点ではないと判断する(ステップS5112)。
【0075】
一方、i≧rの場合(ステップS5103;Y)には、座標列解析部412は、さらに、点kのX座標値xkが、点iのX座標値xiよりも小さい(xk<xi)か否かを判定する(ステップS5104)。xk<xiの場合(ステップS5104;Y)には、X座標値がxkより大きな点があることになるので、点kはX方向に極大点ではないと判断する(ステップS5112)。一方、xk<xiでない場合(ステップS5104;N)には、座標列解析部412は、さらに、点kのX座標値xkと点iのX座標値xiとの差が、値d以上(xk−xi≧d)あるか否かを判定する(ステップS5105)。
【0076】
xk−xi≧dの条件を満たさない場合(ステップS5105;N)には、変数iをi−1とし、すなわち、変数iをもう一つ前の点(変数値をさらに1つ減少させた点)の添え字とし(ステップS5106)、ステップS5103の処理に戻る。
【0077】
一方、xk−xi≧dの条件を満たす場合(ステップS5105;Y)には、片側の条件(点kよりも変数値が小さい側の点xiに対する条件)が成立したため、ステップS5107以降の処理へ進み、もう一方の側(点kよりも変数値が大きい側の点xjに対する条件)についての判定処理を行う。この判定処理では、まず、変数jをk+1(次の点(変数値をkより1つ増加させた点)の添え字)とする(ステップS5107)。座標列解析部412は、次に、変数jがn以下(j≦n)であるか否かを判定する(ステップS5108)。j≦nでない場合、すなわち、j>nの場合(ステップS5108;N)には、最後の点n(xn,yn)を過ぎているので、点kはX方向に極大点ではないと判断する(ステップS5112)。一方、j≦nの場合(ステップS5108;Y)には、座標列解析部412は、さらに、点kのX座標値xkが、点jのX座標値xjよりも小さい(xk<xj)か否かを判定する(ステップS5109)。xk<xjの場合(ステップS5109;Y)には、X座標値がxkより大きな点があることになるので、点kはX方向に極大点ではないと判断する(ステップS5112)。一方、xk<xjでない場合(ステップS5109;N)には、座標列解析部412は、さらに、点kのX座標値xkと点jのX座標値xjとの差が、値d以上(xk−xj≧d)あるか否かを判定する(ステップS5110)。
【0078】
xk−xj≧dの条件を満たさない場合(ステップS5110;N)には、変数jをj+1とし、すなわち、変数jをもう一つ次の点(変数値をさらに1つ増加させた点)の添え字とし(ステップS5111)、ステップS5108の処理に戻る。一方、xk−xj≧dの条件を満たす場合(ステップS5110;Y)には、片側に続いてもう一方の側の条件(点kよりも変数値が大きい側の点xjに対する条件)が成立したため、点kはX方向に極大点であると判断する(ステップS5113)。
【0079】
なお、図6では極大点か否かの判定について示したが、極小点か否かの判定も同様である。極小点か否かの判定の場合には、ステップS5104およびステップS5109における判定式の不等号を反対にすると共に、ステップS5105およびステップS5110における判定式の左辺の引き算の順序を逆にしてそれぞれ「xi−xk」および「xj−xk」とすれば良い。また、Y方向についての極大極小点の判定処理については、X方向についての判定処理と同様である(各判定式のxをyに置き換えれば良い)。
【0080】
座標列解析部412は、以上の方法によるX方向の極大およびX方向の極小、ならびにY方向の極大およびY方向の極小の判定を一組として、点1から点n−1までその判定処理を繰り返す。一つの点について二つの条件に当てはまる場合(例えばX方向に極大でかつY方向に極大である場合)があるが、どれか一つの条件に適うことが分かれば、極大極小点として、残りの条件の判定は不要である。また、最後の点nの判定は片側のみの条件であるので、図6におけるステップS5105の条件式を満たせば、ステップS5107以降の処理は不要であり、X方向に極大点であると判断する。
【0081】
以下の説明では、以上の方法で元の点列から選出された極大極小点(の添え字)を、「s0,s1,s2,...,sm」と表現する。
【0082】
(一次元図形の判定処理)
次に、一次元図形の判定処理(図5のステップS503)について説明する。座標列解析部412は、与えられた座標列が主にX方向またはY方向のいずれか一方向にのみ変化している座標列である場合に、その座標列が一次元図形であると判断する。図8(A),(B)は、一次元図形の概念を説明するための図である。図8(A)はY方向の一次元図形の例を示しており、「wx<d,d=wy/5」を満たす。すなわち、座標列解析部412は、座標列の高さwyが、幅wxよりも大きく(式(1)においてw=wyのとき)に、かつ、幅wxが、式(2A)で表される値dよりも小さい(wx<d)ときに、その座標列がY方向の一次元図形であると判断する。一方、図8(B)はX方向の一次元図形の例を示しており、「wy<d,d=wx/5」を満たす。すなわち、座標列解析部412は、座標列の幅wxが、高さwyよりも大きく(式(1)においてw=wxのとき)、かつ、高さwyが、式(2A)で表される値dよりも小さい(wy<d)ときに、その座標列がX方向の一次元図形であると判断する。なお、他の例として、一次元図形の判定処理(図5のステップS503)を極大極小点の選出処理(ステップS502)の前に行い、一次元図形の場合と二次元図形の場合とで極大極小点の選出を別々に行うことも可能である。
【0083】
(一次元図形の方向列の出力処理)
次に、一次元図形の方向列の出力処理(図5のステップS506)について説明する。一次元図形の場合(図5のステップS503;Y)は、X方向またはY方向のいずれか一方向における座標列の変化の方向を示すデータが出力され、その変化の方向を示すデータの列(方向列)が座標列の特徴となる。まず、座標列がX方向の一次元図形である場合について説明する。本実施の形態では、ある極大極小点から次の極大極小点への座標値の変化がX軸の正方向である場合には、その変化の方向を(+,0)と表現し、X軸の負方向である場合には、その変化の方向を(-,0)と表現する。これを最初の点から順番にすべての極大極小点をたどって調べ、(+,0)または(-,0)で表される方向の列のデータを方向列のデータとして出力する。座標列がY方向の一次元図形の場合についても同様である。すなわち、Y軸の正方向の変化である場合には、その変化の方向を(0,+)、Y軸の負方向の変化である場合は、その変化の方向を(0,-)と表現し、(0,+)または(0,-)で表される方向の列のデータを方向列のデータとして出力する。
【0084】
図9は、X方向の一次元図形に対する方向列の出力処理の一例を示している。図9では、処理に対する入力は、極大極小点、すなわち、添え字s0,s1,s2,...,smで表される点である。ここでは極大極小点のmに対する整数変数として、iを用いるものとする。座標列解析部412は、まず、添え字の変数iを0に初期化する(ステップS541)。次に、座標列解析部412は、変数i+1がm以下(i+1≦m)であるか否かを判定する(ステップS542)。変数i+1がmより大きい場合(ステップS542;N)には、最後の極大極小点を過ぎているので、処理を終了する。一方、変数i+1がm以下であれば(ステップS542;Y)、座標列解析部412は、次に、i番目とi+1番目の隣り合う極大極小点同士を比較し、i+1番目の極大極小点のX座標xs(i+1)がi番目の極大極小点のX座標xsiよりも増大しているか否か(xsi<xs(i+1)の条件を満たしているか否か)を判定する(ステップS543)。X座標が増大していれば(ステップS543;Y)、座標列解析部412は、変化の方向を示すデータとして、方向(+,0)を出力し(ステップS544)、増大していなければ(ステップS543;N)、方向(-,0)を出力する(ステップS545)。その後、座標列解析部412は、変数iをi+1にして(ステップS546)、ステップS542の処理へ戻る。
【0085】
図10(A),(B)は、図9の処理によって出力される方向列のデータの具体例を示している。極大極小点が図10(A)に示したように4点(s0〜s3)あり、各点が、図示したような位置関係になっている場合、出力される方向列は、図10(B)のようになる。例えば点s0から点s1では、点s0に対して点s1のX座標が正方向に変化している(X座標が増大している)ので、(+,0)が出力される。逆に、点s1から点s2では、点s1に対して点s2のX座標が負方向に変化している(X座標が現象している)ので、(-,0)が出力される。
【0086】
なお、Y方向の一次元図形に対する処理も同様であり、図9の処理において、xをyに置き換えると共に、(+,0)を(0,+)に、(-,0)を(0,-)に置き換えれば良い。一次元図形の場合には、以上の処理で特徴の算出は終了する。
【0087】
以上のようにして算出された隣接する極大極小点間についての方向の(1つ以上の)列のデータが、始点から終点に向かって順番に結合され、その結合された(1つ以上の)列のデータが、座標列全体についての特徴を示すデータとして出力される。図10(A),(B)の例では、座標列全体についての特徴を示すデータは、(+,0)(-,0)(+,0)となる。
【0088】
このように、本実施の形態において生成される“(*,*)”の形式で表されるデータの1つ1つが、本発明における「方向要素」の一具体例に対応する。方向要素の列の生成は、隣接する極大極小点間ごとに行われるので、1つの座標列全体につき、極大極小点の総数から1減じた数だけ行われる。ここで、方向要素の列は、特定の隣接する極大極小点間で、複数生成されることがある。例えば、X方向正かつY方向正の1つの方向要素からなる列と、X方向正かつY方向0の1つの方向要素からなる列の二通りとなる場合がある。このような場合には、例えばどちらも選択可能なものとして、最後の特徴の出力でも特徴のデータを2つ出力しても良い。また、複数の隣接する極大極小点間で、方向要素の列が複数生成される場合もある。従って、例えば極大極小点が4点あり、3つの隣接部分においてそれぞれ二通りの方向要素の列が生成された場合は、1つの座標列全体につき、特徴を示すデータが、2の3乗、すなわち8個出力される。ただし、特徴を示すデータがすべて異なるものになるとは限らない。この場合、同じ内容のデータは削除して構わない。
【0089】
(水平・垂直の判定処理)
次に、水平・垂直の判定、検出処理(図5のステップS504)について説明する。二次元図形の場合(図5のステップS503;N)、座標列解析部412は、極大極小点の選出に続いて、極大極小点の近傍の水平垂直の検出処理を行う。
【0090】
図11(A)〜(C)は、「極大極小点の近傍が垂直である」概念の概略を説明するための図である。図11(A)〜(C)では、極大極小点として、X方向に極大である点su(xsu,ysu)について示している。この極大極小点suからX方向に幅fの区間を考え、そこに含まれる点のY座標の幅が、式(2C)のLよりも大きい場合に、点suの近傍が垂直であるとする。図11(A)では、点suから、後方の点(添え字(座標変数i)が小さくなる方向、座標(x0,y0)の側の点)の連なりについて、垂直の条件が成立していることを示す。これを、点suの“後方が垂直”である、と表現することにする。図11(B)では、点suから、前方の点(添え字(座標変数i)が大きくなる方向、座標(xn,yn)の側の点)の連なりについて、垂直の条件が成立していることを示す。これを、点suの“前方が垂直”である、と表現することにする。図11(C)は、点suの前方および後方の幅fの区間をあわせると垂直の条件が成立することを示す。この場合は、点suの前方が垂直であるとして扱うことにする。「水平」の概念も同様である。
【0091】
なお、以上で説明した水平、垂直の概念は数学的に厳密な定義ではなく、具体的な定義は以下に示す処理手順で判定されるものを「垂直」とする。判定結果は以降の特徴算出処理に使用する。最終目的は算出した特徴の照合による映像特殊効果の種類の選択であるので、算法の途中で使用した概念の数学的厳密性の有無などは、発明としての効果に影響しない。
【0092】
図12および図13は、垂直の判定処理の手順を示している。図12および図13では、図11と同様に、極大極小点suの近傍の座標列が垂直であるか否かを判定する処理について説明する。ここでは、判定される座標列の任意の座標(x,y)の整数変数としてiを用いる。また座標値と同じ型の変数としてxmax,xmin,Lf,Lbを用いるが、座標値もこれらの変数も整数とする。xmax,xminは、それぞれ座標列中のX座標の最大値と最小値とを表す。
【0093】
座標列解析部412は、まず準備として、Lf=0,Lb=0,xmax=xmin=xsuとする(ステップS5701)。座標列解析部412は、次に、点suが極大極小点の最後の点smであるか否か(u+1≦mか否か)を調べる(ステップS5702)。最後の点smであれば(ステップS5702;N)、図13のステップS5710以降の処理へ進む。一方、最後の点smでなければ(ステップS5702;Y)、極大極小点suと次の極大極小点s(u+1)との間の点(座標)について(点suの前方の座標について)垂直の判定をするためにステップS5703の処理へ進む。
【0094】
ステップS5703では、座標列解析部412は、変数iを点suの次の点(極大極小点ではない点)の添え字に設定する(i=su+1とする)。次に、座標列解析部412は、変数iが次の極大極小点s(u+1)を指すか否かを調べるために、変数iが次の極大極小点s(u+1)の変数値よりも小さいか否か(i<s(u+1)を満たすか否か)を判定する(ステップS5704)。i<s(u+1)でなければ(ステップS5704;N)、変数iが次の極大極小点s(u+1)を指していることになるので、後述のステップS5710以降の処理へ進む。一方、i<s(u+1)であれば(ステップS5704;Y)、現在のX方向の最大値xmaxと最小大値xminとを、判定対象のX座標値xiと比較して、新たな最大最小値に更新をする(ステップS5705)。すなわち、現在設定されているX方向の最大値xmaxと判定対象のX座標値xiとを比較して、値の大きい方を新たな最大値xmaxとする(xmax=max(xmax,xi))。また、現在設定されているX方向の最小値xminと判定対象のX座標値xiとを比較して、値の小さい方を新たな最小値xminとする(xmin=min(xmin,xi))。
【0095】
座標列解析部412は、次に、更新された最大最小値xmax,xminの差が上述の式(2B)で表される値fより大きいか否かを判定する(ステップS5706)。値fより大きい場合(ステップS5706;Y)には、垂直からの乖離と判断して図13のステップS5710以降の処理へ進む。一方、値f以下の場合(ステップS5706;N)には、さらに、点suのY座標ysuと判定対象のY座標yiとの差の絶対値で表される値Lf(前方延長)を求める(ステップS5707)。座標列解析部412は、次に、値Lfが上述の式(2C)で表される値Lより大きいか否かを判定する(ステップS5708)。値Lより大きい場合(ステップS5708;Y)には、点suの前方(の座標列)が垂直であると判断する(ステップS5719)。値Lfが値L以下の場合(ステップS5708;N)には、変数iの値を1増やしてi+1とし(ステップS5709)、ステップS5704の処理に戻る。
【0096】
続いて、点suの後方(の座標列)が垂直であるか否かを判定するためのステップS5710以降の処理について説明する。座標列解析部412は、点suの前に極大極小点があるか否かを調べる(すなわち、uが最初の点s0であるか否か調べる)(ステップS5710)。点suが最初の点s0であれば(ステップS5710;N)、ステップS5718へ進む。u>0であり、すなわち、点suが最初の点s0でなければ(ステップS5710;Y)、変数iを点suの以前の点(極大極小点ではない点)の添え字に設定する(ステップS5711)。
すなわち、i=su−1とする。
【0097】
次に、座標列解析部412は、変数iが点suより前の極大極小点s(u−1)を指すか否かを調べるために、変数iが前の極大極小点s(u−1)の変数値よりも大きいか否か(i>s(u−1)を満たすか否か)を判定する(ステップS5712)。i>s(u−1)でなければ(ステップS5712;N)、変数iが前の極大極小点s(u−1)を指していることになるので、ステップS5718へ進む。一方、i>s(u−1)であれば(ステップS5712;Y)、現在のX方向の最大値xmaxと最小大値xminとを、判定対象のX座標値xiと比較して、新たな最大最小値に更新をする(ステップS5713)。すなわち、現在設定されているX方向の最大値xmaxと判定対象のX座標値xiとを比較して、値の大きい方を新たな最大値xmaxとする(xmax=max(xmax,xi))。また、現在設定されているX方向の最小値xminと判定対象のX座標値xiとを比較して、値の小さい方を新たな最小値xminとする(xmin=min(xmin,xi))。
【0098】
座標列解析部412は、次に、更新された最大最小値xmax,xminの差が上述の式(2B)で表される値fより大きいか否かを判定する(ステップS5714)。値fより大きい場合(ステップS5714;Y)には、垂直からの乖離と判断してステップS5718へ進む。一方、値f以下の場合(ステップS5714;N)には、さらに、点suのY座標ysuと判定対象のY座標yiとの差の絶対値で表される値Lb(後方延長)を求める(ステップS5715)。座標列解析部412は、次に、値Lbが上述の式(2C)で表される値Lより大きいか否かを判定する(ステップS5716)。値Lより大きい場合(ステップS5716;Y)には、点suの後方(の座標列)が垂直であると判断する(ステップS5720)。値Lbが値L以下の場合(ステップS5716;N)には、変数iの値を1減らしてi−1とし(ステップS5717)、ステップS5712の処理に戻る。
【0099】
ステップS5718では、値Lfと値Lbとの和が式(2C)のLより大きいか否か調べる。値Lより大きいならば(ステップS5718;Y)、点suの後方が垂直であると判断する(ステップS5720)。値L以下あれば(ステップS5718;N)、垂直ではないと判断し(ステップS5721)、判定処理を終了する。
【0100】
以上で説明した図12および図13の判定処理は、点suの近傍の座標列が垂直であるか否かを判定するものであるが、点suの近傍が水平であるか否かの判定についても同様に行うことができる。この場合には、図12および図13の判定処理において、xとyとを入れ替えた処理を行えば良い。
【0101】
以上で説明した水平・垂直の判定処理は、すべての極大極小点s0,s1,s2,...,smのそれぞれについて、その近傍が垂直であるか否かの判定とその近傍が水平であるか否かの判定とを順番に行う。また、判定の結果は、例えば“0”,“V”または“H”の三種類の値を持つ変数A0,A1,...,AmおよびB0,B1,...,Bmで表現して記録する。例えば、極大極小点suの前方が垂直であればAu=V、水平であればAu=H、どちらでもなければAu=0と表現する。同様に、極大極小点suの後方が垂直であればBu=V、水平であればBu=H、どちらでもなければBu=0と表現する。従って、例えば図12のステップS5719では、座標列解析部412は、判定の結果として点suの前方が垂直であることを示す“Au=V”を出力する。また、例えば図13のステップS5720では、判定の結果として点suの後方が垂直であることを示す“Bu=V”を出力する。
【0102】
(二次元図形の方向列の出力処理)
次に、二次元図形の方向列の出力処理(図5のステップS505)について説明する。二次元図形の場合は、X方向およびY方向の2次元的な変化の方向を示すデータを出力し、その変化の方向を示すデータの列(方向列)を座標列の特徴とする。方向を示すデータ(方向要素)は、最終的には、(+,0),(-,0),(0,+),(0,-),(+,+),(-,-),(+,-)および(-,+)の8種類ある。(+,0),(-,0),(0,+),(0,-)の表す意味は、一次元図形の場合と同様である。(+,+)は、ある極大極小点から次の極大極小点への座標値の変化の方向がX方向およびY方向ともに正であることを表している。(-,-)は、変化の方向がX方向およびY方向ともに負であることを表している。(+,-)は、変化の方向がX方向については正、Y方向については負であることを表している。(-,+)は、変化の方向がX方向については負、Y方向については正であることを表している。
【0103】
なお、座標列の変化が微小で、その変化の方向を一つに絞りきれない場合には、二つの方向列に分けて出力する。このために、本実施の形態では、変化の方向の表記法として、“0”,“+”、“−”の基本表記に加えて、これらの基本表記を混成させた“+0”,“−0”の二種類の混成表記を用いる。例えば(+0,-)は、(+,-)と(0,-)との二つの方向列に分けられる。なお、この方向列の分離処理を行った結果、(0,0)が発生した場合は、方向(0,0)は方向列のデータから削除する。すなわち、例えば(+0,-0)の場合は、(+,-),(+,0),(0,-),(0,0)の4つに分けられ、4つの方向列が生成される。このとき、4番目の方向列を示すデータ中の(0,0)は、その方向列の出力から削除される。また方向を示すデータの出力を連ねたとき、方向列を示すデータ中で同じ方向が連続する場合は、一つのみを残して他の連続する方向を削除する。例えば、方向列が(0,+)(-,0)(-,0)(0,+)となっている場合は、(-,0)が連続しているので、一方を削除して(0,+)(-,0)(0,+)とする。
【0104】
図14は、二次元図形の方向列の出力処理の概要を示している。座標列解析部412は、まず、極大極小点(の列)の情報と各極大極小点近傍の座標列についての水平・垂直の情報とを元に、混成表記の方向列を一つ生成する(ステップS581)。次に、座標列解析部412は、混成表記の一つの方向列から、基本表記のみからなる複数の方向列へと分離を行う(ステップS582)。座標列解析部412は、次に、分離された各方向列について、同じ方向の連続があればそれを一つの方向にまとめる(ステップS583)。座標列解析部412は、次に、複数の方向列同士を比較し、同じ内容の方向列があれば一つ以外を削除する(ステップS584)。座標列解析部412は、次に、複数の方向列の中で、最も短い(方向を示すデータの数の少ない)少なくとも一つの方向列を残し、ほかを削除する(ステップS585)。次に、座標列解析部412は、残った一つ以上の方向列を出力する(ステップS586)。
【0105】
次に、図14に示した方向列の出力処理の各ステップについて具体的に説明する。まず、図15の流れ図に従って、ステップS581の処理を詳しく説明する。座標列解析部412は、極大極小点s0,...,smにおける隣接する極大極小点間の座標列を調べ、方向のデータを生成する。ここでは、整数変数としてp,i,jを用いる。座標列解析部412は、まず変数p,i,jの値を、p=0,i=s0,j=s1に初期化する(ステップS591)。座標列解析部412は、次に、点spが極大極小点の最後の点smであるか否か(p<mか否か)を判断し(ステップS592)、最後の点smであれば(p≧mであれば)(ステップS592;N)、この処理を終了する。p<mであれば(ステップS592;Y)、点iおよび点jの座標値xi,yi,xj,yjと、点pの前方の水平・垂直情報(Ap)と、点p+1の後方の水平・垂直情報(B(p+1))とから、一つ以上の方向のデータを生成する(ステップS593)。座標列解析部412は、次に、変数pの値を1増やしてp+1にすると共に、変数iをspに、変数jをs(p+1)とし(ステップS594)、ステップS592の処理に戻る。
【0106】
次に、図15のステップS593の方向の生成処理について、より具体的に説明する。生成される変化の方向を決定付けるパラメタは、xi,yi,xj,yj,Ap,B(p+1)である。水平・垂直情報Ap,B(p+1)の違いにより、生成される変化の方向(の列)は、以下のように条件1〜条件9の9つの場合に分けられる。また、各条件内で、xi,yi,xj,yjの各座標値の違いにより、さらに複数の場合分けがなされる。例えば条件1の場合には、条件(1-1)〜(1-4)の4つの場合分けがなされる。
【0107】
[条件1] 「Ap=HかつB(p+1)=H」の場合
(1-1)xi<xjかつyi<yjのとき;
方向(+,0)(+0,+0)(+,0)(からなる部分方向列)を生成。
(1-2)xi<xjかつyi≧yjのとき;
方向(+,0)(+0,-0)(+,0)を生成。
(1-3)xi≧xjかつyi<yjのとき;
方向(-,0)(-0,+0)(-,0)を生成。
(1-4)xi≧xjかつyi≧yjのとき;
方向(-,0)(-0,-0)(-,0)を生成。
【0108】
[条件2] 「Ap=HかつB(p+1)=V」の場合
(2-1)xi<xjかつyi<yjのとき;
方向(+,0)(+0,+0)(0,+)を生成。
(2-2)xi<xjかつyi≧yjのとき;
方向(+,0)(+0,-0)(0,-)を生成。
(2-3)xi≧xjかつyi<yjのとき;
方向(-,0)(-0,+0)(0,+)を生成。
(2-4)xi≧xjかつyi≧yjのとき;
方向(-,0)(-0,-0)(0,-)を生成。
【0109】
[条件3] 「Ap=HかつB(p+1)=0」の場合
(3-1)xi<xjかつyi<yj,
かつ│yj−yi|>dのとき;
方向(+,0)(+0,+)を生成。
(3-2)xi<xjかつyi<yj,
かつ│yj−yi|≦dのとき;
方向(+,0)(+0,+0)を生成。
(3-3)xi<xjかつyi≧yj,
かつ│yj−yi|>dのとき;
方向(+,0)(+0,-)を生成。
(3-4)xi<xjかつyi≧yj,
かつ│yj−yi|≦dのとき;
方向(+,0)(+0,-0)を生成。
(3-5)xi≧xjかつyi<yj,
かつ│yj−yi|>dのとき;
方向(-,0)(-0,+)を生成。
(3-6)xi≧xjかつyi<yj,
かつ│yj−yi|≦dのとき;
方向(-,0)(-0,+0)を生成。
(3-7)xi≧xjかつyi≧yj,
かつ│yj−yi|>dのとき;
方向(-,0)(-0,-)を生成。
(3-8)xi≧xjかつyi≧yj,
かつ│yj−yi|≦dのとき;
方向(-,0)(-0,-0)を生成。
【0110】
[条件4] 「Ap=VかつB(p+1)=H」の場合
(4-1)xi<xjかつyi<yjのとき;
方向(0,+)(+0,+0)(+,0)を生成。
(4-2)xi<xjかつyi≧yjのとき;
方向(0,-)(+0,-0)(+,0)を生成。
(4-3)xi≧xjかつyi<yjのとき;
方向(0,+)(-0,+0)(-,0)を生成。
(4-4)xi≧xjかつyi≧yjのとき;
方向(0,-)(-0,-0)(-,0)を生成。
【0111】
[条件5] 「Ap=VかつB(p+1)=V」の場合
(5-1)xi<xjかつyi<yjのとき;
方向(0,+)(+0,+0)(0,+)を生成。
(5-2)xi<xjかつyi≧yjのとき;
方向(0,-)(+0,-0)(0,-)を生成。
(5-3)xi≧xjかつyi<yjのとき;
方向(0,+)(-0,+0)(0,+)を生成。
(5-4)xi≧xjかつyi≧yjのとき;
方向(0,-)(-0,-0)(0,-)を生成。
【0112】
[条件6] 「Ap=VかつB(p+1)=0」の場合
(6-1)xi<xjかつyi<yj,
かつ│xj−xi|>dのとき;
方向(0,+)(+,+0)を生成。
(6-2)xi<xjかつyi<yj,
かつ│xj−xi|≦dのとき;
方向(0,+)(+0,+0)を生成。
(6-3)xi<xjかつyi≧yj,
かつ│xj−xi|>dのとき;
方向(0,-)(+,-0)を生成。
(6-4)xi<xjかつyi≧yj,
かつ│xj−xi|≦dのとき;
方向(0,-)(+0,-0)を生成。
(6-5)xi≧xjかつyi<yj,
かつ│xj−xi|>dのとき;
方向(0,+)(-,+0)を生成。
(6-6)xi≧xjかつyi<yj,
かつ│xj−xi|≦dのとき;
方向(0,+)(-0,+0)を生成。
(6-7)xi≧xjかつyi≧yj,
かつ│xj−xi|>dのとき;
方向(0,-)(-,-0)を生成。
(6-8)xi≧xjかつyi≧yj,
かつ│xj−xi|≦dのとき;
方向(0,-)(-0,-0)を生成。
【0113】
[条件7] 「Ap=0かつB(p+1)=H」の場合
(7-1)xi<xjかつyi<yj,
かつ│yj−yi|>dのとき;
方向(+0,+)(+,0)を生成。
(7-2)xi<xjかつyi<yj,
かつ│yj−yi|≦dのとき;
方向(+0,+0)(+,0)を生成。
(7-3)xi<xjかつyi≧yj,
かつ│yj−yi|>dのとき;
方向(+0,-)(+,0)を生成。
(7-4)xi<xjかつyi≧yj,
かつ│yj−yi|≦dのとき;
方向(+0,-0)(+,0)を生成。
(7-5)xi≧xjかつyi<yj,
かつ│yj−yi|>dのとき;
方向(-0,+)(-,0)を生成。
(7-6)xi≧xjかつyi<yj,
かつ│yj−yi|≦dのとき;
方向(-0,+0)(-,0)を生成。
(7-7)xi≧xjかつyi≧yj,
かつ│yj−yi|>dのとき;
方向(-0,-)(-,0)を生成。
(7-8)xi≧xjかつyi≧yj,
かつ│yj−yi|≦dのとき;
方向(-0,-0)(-,0)を生成。
【0114】
[条件8] 「Ap=0かつB(p+1)=V」の場合
(8-1)xi<xjかつyi<yj,
かつ│xj−xi|>dのとき;
方向(+,+0)(0,+)を生成。
(8-2)xi<xjかつyi<yj,
かつ│xj−xi|≦dのとき;
方向(+0,+0)(0,+)を生成。
(8-3)xi<xjかつyi≧yj,
かつ│xj−xi|>dのとき;
方向(+,-0)(0,-)を生成。
(8-4)xi<xjかつyi≧yj,
かつ│xj−xi|≦dのとき;
方向(+0,-0)(0,-)を生成。
(8-5)xi≧xjかつyi<yj,
かつ│xj−xi|>dのとき;
方向(-,+0)(0,+)を生成。
(8-6)xi≧xjかつyi<yj,
かつ│xj−xi|≦dのとき;
方向(-0,+0)(0,+)を生成。
(8-7)xi≧xjかつyi≧yj,
かつ│xj−xi|>dのとき;
方向(-,-0)(0,-)を生成。
(8-8)xi≧xjかつyi≧yj,
かつ│xj−xi|≦dのとき;
方向(-0,-0)(0,-)を生成。
【0115】
[条件9] 「Ap=0かつB(p+1)=0」の場合
(9-1)xi<xjかつyi<yj,
かつ│xj−xi|>dかつ│yj−yi|>dのとき;
方向(+,+)を生成。
(9-2)xi<xjかつyi<yj,
かつ│xj−xi|>dかつ│yj−yi|≦dのとき;
方向(+,+0)を生成。
(9-3)xi<xjかつyi<yj,
かつ│xj−xi|≦dかつ│yj−yi|>dのとき;
方向(+0,+)を生成。
(9-4)xi<xjかつyi<yj,
かつ│xj−xi|≦dかつ│yj−yi|≦dのとき;
方向(+0,+0)を生成。
【0116】
(9-5)xi<xjかつyi≧yj,
かつ│xj−xi|>dかつ│yj−yi|>dのとき;
方向(+,-)を生成。
(9-6)xi<xjかつyi≧yj,
かつ│xj−xi|>dかつ│yj−yi|≦dのとき;
方向(+,-0)を生成。
(9-7)xi<xjかつyi≧yj,
かつ│xj−xi|≦dかつ│yj−yi|>dのとき;
方向(+0,-)を生成。
(9-8)xi<xjかつyi≧yj,
かつ│xj−xi|≦dかつ│yj−yi|≦dのとき;
方向(+0,-0)を生成。
【0117】
(9-9)xi≧xjかつyi<yj,
かつ│xj−xi|>dかつ│yj−yi|>dのとき;
方向(-,+)を生成。
(9-10)xi≧xjかつyi<yj,
かつ│xj−xi|>dかつ│yj−yi|≦dのとき;
方向(-,+0)を生成。
(9-11)xi≧xjかつyi<yj,
かつ│xj−xi|≦dかつ│yj−yi|>dのとき;
方向(-0,+)を生成。
(9-12)xi≧xjかつyi<yj,
かつ│xj−xi|≦dかつ│yj−yi|≦dのとき;
方向(-0,+0)を生成。
【0118】
(9-13)xi≧xjかつyi≧yj,
かつ│xj−xi|>dかつ│yj−yi|>dのとき;
方向(-,-)を生成。
(9-14)xi≧xjかつyi≧yj,
かつ│xj−xi|>dかつ│yj−yi|≦dのとき;
方向(-,-0)を生成。
(9-15)xi≧xjかつyi≧yj,
かつ│xj−xi|≦dかつ│yj−yi|>dのとき;
方向(-0,-)を生成。
(9-16)xi≧xjかつyi≧yj,
かつ│xj−xi|≦dかつ│yj−yi|≦dのとき;
方向(-0,-0)を生成。
【0119】
以上が図15のステップS593において生成される方向列である。
【0120】
再び図14に戻って各ステップについて説明すると、ステップS582では、座標列解析部412によって、以上のように生成された混成表記が含まれる一つの方向列から、“0”,“+”,“−”の基本表記のみからなる複数の方向列へと分離が行われる。例えば、座標列解析部412は、混成表記“+0”(または“−0”)が方向列に含まれている場合に、方向列全体を複製すると共に、該当個所を片方は+(または−)とし、もう一方は0とすることにより分離を行う。従って、生成された一つの方向列の中に、混成表記“+0”または“−0”がc個含まれている場合には、分離後の方向列の総数は2のc乗個になる。
【0121】
次に、ステップS583では、座標列解析部412によって、分離された各方向列のそれぞれについて、同じ方向の連続があれば、それが一つの方向にまとめられる。例えば、(0,+)(-,0)(-,0)(0,-)という方向列は、(0,+)(-,0)(0,-)とされる。
【0122】
次に、ステップS584では、座標列解析部412によって、複数ある方向列がお互いに比較され、同じ内容の方向列があれば一つ以外が削除される。ステップS583の処理を行った結果同じ方向列が発生する場合があるため、この処理を行う。
【0123】
ステップS585では、複数の方向列の中で、長さ(含まれる方向の数)が最も短い方向列が残され、それより長い(含まれる方向の数が多い)方向列が削除される。このように、各列に含まれる方向の数が最も少ない(列の長さが短い)ものが優先して特徴を示すデータとして処理される。これにより、残る方向列は、一つまたは複数であり、その長さはすべて同じとなる。
【0124】
ステップS586では、残された一つまたは複数の方向列が出力される。これが、座標列解析部412によって最終的に求められる、入力された座標列の「特徴」である。算出された特徴のデータは、特徴記憶部422に一時的に記憶され、特徴比較部413によって適宜参照される。
【0125】
<種類保持部の記憶内容>
次に、種類保持部431の記憶内容について説明する。
【0126】
まず、図16を参照して、本実施の形態において選択の対象となる映像特殊効果の種類について説明する。図16では、映像特殊効果の種類の一例としてワイプを示しており、ワイプの種類をその特徴により図形的、模式的に表現した図形52が示されている。また、ワイプの種類を示す図形52の下にそのワイプの種類を示す番号51が付されている。ワイプは、映像の切り替え処理に用いられる特殊効果であり、映像の切り替えを瞬間的に行わずに、指定の時間をかけて画面上を直線などで2分するようにして、徐々に新しい映像に切り替えて表示していくような特殊効果である。図16では、切り替わる新しい映像部分にハッチングを施している。
【0127】
図16において、1,2番は、映像の切り替えを直線的(映像の境界を直線的)に行う種類のワイプであり、1番は、画面の左側から、2番は、画面の上側から直線的に映像の切り替えを行うものである。3〜6番は、画面の隅から新しい映像を矩形状に出現させるように映像の切り替えを行う種類のワイプであり、3番は、画面の左上隅、4番は、画面の右上隅、5番は、画面の右下隅、6番は、画面の左下隅から矩形状に映像の切り替えを行うものである。7,8番は、映像の切り替えを直線的(斜線的)に行う種類のワイプであり、7番は、画面の左上隅斜めから、8番は、画面の右上隅斜めから直線的に映像の切り替えを行うものである。9〜12番は、画面の一点を中心として2つの直線的な境界線が回転するようにして映像の切り替えを行う種類のワイプであり、その回転中心が、9番は右端中央、10番は左端中央、11番は下端中央、12番は上端中央となっている。13〜17番は、画面中央部から、図示した種々の形状の映像が拡大して出現するように映像の切り替えを行う種類のワイプである。18番は、画面左側から蛇行状に映像の切り替えを行う種類のワイプであり、マトリクス・ワイプとも呼ばれるものである。
【0128】
以下、図16に示した映像特殊効果の種類を対象として説明する。なお、図16においては、右向きがX軸の正方向、下向きがY軸の正方向であるものとする。種類保持部431には、図16に示した映像特殊効果の種類について、その番号と番号に対応する方向列のデータとが、例えば「番号:方向列」の形式で関連付けられて記憶されている。各番号に関連付けられる方向列は一つには限定されない。一つの番号に複数の方向列が関連付けられていても良い。なお、以下の具体例では方向列を(+,0)などの表記で示しているが、実際の種類保持部431のメモリ上ではこれを数値に置き換えた表現で記憶している。例えば、各方向を整数値に置き換えて、(+,0)を1,(+,+)を2,(0,+)を3,(-,+)を4,(-,0)を5,(-,-)を6,(0,-)を7,(+,-)を8、と記憶している。この場合、例えば、「方向列(+,0)(0,+)(-,0)」は、メモリ上では「1,3,5」という整数値の配列で表現される。
【0129】
(種類保持部431の記憶内容の具体例)
以下に、種類保持部431に記憶される、図16に示した18種類のワイプの番号と方向列との関連付けの具体例を「番号:方向列」の形式で示す。
【0130】
1:(0,+),
1:(+,+),
1:(+,-),
【0131】
2:(+,0),
2:(+,+),
2:(+,-),
【0132】
3:(0,+)(-,0),
3:(+,+)(-,0),
3:(-,+)(-,0),
3:(0,+)(-,+),
3:(0,+)(-,-),
3:(+,+)(-,-),
【0133】
4:(0,+)(+,0),
4:(+,+)(+,0),
4:(-,+)(+,0),
4:(0,+)(+,+),
4:(0,+)(+,-),
4:(-,+)(+,-),
【0134】
5:(-,0)(0,+),
5:(-,+)(0,+),
5:(-,-)(0,+),
5:(-,0)(+,+),
5:(-,0)(-,+),
5:(-,-)(+,+),
【0135】
6:(+,0)(0,+),
6:(+,-)(0,+),
6:(+,+)(0,+),
6:(+,0)(+,+),
6:(+,0)(-,+),
6:(+,-)(-,+),
【0136】
7:(-,+),
【0137】
8:(+,+),
【0138】
9:(+,+)(-,+),
9:(+,0)(-,0),
9:(+,+)(-,0),
9:(+,0)(-,+),
9:(+,+)(-,0)(-,+),
9:(+,+)(-,+)(-,0),
9:(+,0)(0,+)(-,0),
9:(+,0)(0,+)(-,+),
【0139】
10:(-,+)(+,+),
10:(-,0)(+,0),
10:(-,+)(+,0),
10:(-,0)(+,+),
10:(-,+)(+,0)(+,+),
10:(-,+)(+,+)(+,0),
10:(-,0)(0,+)(+,0),
10:(-,0)(0,+)(+,+),
【0140】
11:(+,+)(+,-),
11:(0,+)(0,-),
11:(+,+)(0,-),
11:(0,+)(+,-),
11:(+,+)(0,-)(+,-),
11:(+,+)(+,-)(0,-),
11:(0,+)(+,0)(+,-),
11:(-,+)(+,+)(+,-),
11:(0,+)(+,0)(0,-),
【0141】
12:(+,-)(+,+),
12:(0,-)(0,+),
12:(+,-)(0,+),
12:(0,-)(+,+),
12:(+,-)(0,+)(+,+),
12:(+,-)(+,+)(0,+),
12:(0,-)(+,0)(+,+),
12:(0,-)(+,-)(+,+),
12:(0,-)(+,0)(0,+),
【0142】
13:(+,0)(0,+)(-,0)(0,-),
【0143】
14:(+,+)(-,+)(-,-)(+,-),
【0144】
15:(+,0)(0,+)(-,0)(0,-),
【0145】
16:(+,-)(-,+)(-,-)(0,+)(+,0),
16:(+,+)(0,+)(-,0)(0,-)(+,0),
【0146】
17:(+,0)(-,+)(+,-)(+,+)(-,-),
17:(+,0)(-,+)(+,-)(0,+)(-,-),
17:(+,0)(+,-)(+,+)(-,+)(-,-)(-,+)(0,-),17:(+,0)(+,-)(+,+)(-,+)(+,+)(-,-)(+,-)(-,-),
【0147】
18:(0,+)(+,0)(0,-),
18:(0,+)(0,-)(0,+)(+,-),
18:(0,+)(+,-)(+,+)(0,-),
【0148】
以上が種類保持部431の記憶内容の具体例である。
【0149】
<特徴(方向列)の比較、種類判別>
次に、図17および図18の流れ図に従って、特徴比較部413による特徴の比較処理(図4のステップS493)について詳しく説明する。特徴比較部413は、まず、特徴記憶部422から、座標列解析部412によって解析された座標列の図形的な特徴を示す一つ以上の方向列のデータを受け取る(ステップS611)。特徴比較部413は、次に、得られた一つ以上の方向列のそれぞれについて、最初に履歴記憶部432の記憶内容と比較し、その方向列と一致するものが記憶されていれば、その方向列に対応する(関連付けされている)番号を出力する(ステップS612)。続いて、種類保持部431の記憶内容と比較し、ステップS612で既に挙げられた出力番号以外で一致するものがあれば、その方向列に対応する番号を出力する(ステップS613)。これらのステップS612,S613の処理は、履歴記憶部432および種類保持部431の記憶内容と方向列との単純比較であり、比較対象の方向列と完全に一致するもののみを選出する。
【0150】
特徴比較部413は、ステップS612,S613の処理によって一つ以上の番号を出力することができたならば、すなわち、比較対象の方向列と完全に一致するものを一つ以上見つけることができたならば(ステップS614;Y)、その特殊効果の種類を示す番号を種類候補記憶部423に送って処理を終了する。種類候補記憶部423に送られたデータは一時的に記憶され、種類指定部414によって適宜参照される。
【0151】
一方、一致するものが見つからなかった場合、すなわち、比較対象の方向列に対応する番号を出力することができなかった場合(ステップS614;N)には、特徴比較部413は、次に“逆転比較”の処理を行う(ステップS615,S616)。ここで行う“逆転比較”と後述する“循環比較”の処理は、これらの処理を行わない場合に比べて種類保持部431の記憶容量を節約する効果がある。逆転比較は、特徴算出処理(図4のステップS492)で得た元の方向列を逆転して新たな方向列を生成し(ステップS615)、次に、逆転した方向列と一致する方向列を種類保持部431から選出し、その方向列に対応する番号を出力する(ステップS616)処理である。ステップS615で行う逆転の方法としては、例えば、まず列を構成する方向の順序を最後から最初の方へと逆転し、次に各方向の表記を逆転するものがある。すなわち、元の方向列がA,B,C,D,Eという5つの方向のデータで構成され、それがABCDEという順番であったとすると、まず、方向の配列をEDCBAに逆転する。次に、A,B,C,D,Eの各方向の構成をそれぞれ逆転する。この方向の逆転は、具体的には、以下に示すように各方向を構成する“−”と“+”とを互いに入れ替える処理である。
【0152】
すなわち、(+,0)ならば(-,0)に、(+,+)ならば(-,-)に、(0,+)ならば(0,-)に、(-,+)ならば(+,-)に、(-,0)ならば(+,0)に、(-,-)ならば(+,+)に、(0,-)ならば(0,+)に、(+,-)ならば(-,+)に、入れ替える。
【0153】
このような逆転した比較を行うことにより、入力座標列が種類保持部431に記憶されている方向列とは逆の順序のものであっても、該当する特殊効果の種類と一致させて認識することができる。
【0154】
特徴比較部413は、ステップS615,S616の逆転比較処理によって一つ以上の番号を出力することができたならば、すなわち、逆転した方向列と完全に一致するものを一つ以上見つけることができたならば(ステップS617;Y)、その特殊効果の種類を示す番号を種類候補記憶部423に送って処理を終了する。
【0155】
一方、逆転比較処理によっても一致するものが見つからなかった場合、すなわち、逆転した方向列に対応する番号を出力することができなかった場合(ステップS617;N)には、特徴比較部413は、次に“循環比較”の処理を行う(ステップS618,S619)。ステップS618、S619での循環比較の対象となる特殊効果の種類は、ワイプを示す図形の形状が閉領域(閉図形)を構成するものに限られる。図16では、13番〜17番の種類のワイプがこれに該当する。循環比較の対象となる特殊効果の種類(の番号)については、あらかじめ種類保持部431に記憶しておく。本実施の形態では、循環比較の対象として、13,14,15,16,17番を記憶しておく。
【0156】
循環比較は、特徴算出処理(図4のステップS492)で得た元の方向列の順序を、循環的に変更して新たな方向列を生成し(ステップS618)、次に、変更した方向列と一致する方向列を種類保持部431から選出し、その方向列に対応する番号を出力する(ステップS619)処理である。ステップS618で行う循環的な変更とは、列を構成する方向の最後の要素を先頭に持ってきて新たな方向列を作ることである。この循環的な変更を繰り返すことにより、n個の要素を含む列では元の方向列を含めてn通りの方向列ができる。例えば、元の方向列がA,B,C,D,Eという5つの方向で構成され、それがABCDEという順番であったとすると、循環的に変更することで、ABCDE,BCDEA,CDEAB,DEABC,EABCDの5通りの順列の方向列ができる。また、元の方向列のみならず、ステップS615,S616の逆転比較処理によって逆転した方向列についても、同様に循環的な変更を行い、種類保持部431の記憶内容と比較する。
【0157】
特徴比較部413は、ステップS618,S619の循環比較処理によって一つ以上の番号を出力することができたならば、すなわち、循環的に変更した方向列と完全に一致するものを一つ以上見つけることができたならば(ステップS6110;Y)、その特殊効果の種類を示す番号を種類候補記憶部423に送って処理を終了する。
【0158】
一方、循環比較処理によっても一致するものが見つからなかった場合、すなわち、循環的に変更した方向列に対応する番号を出力することができなかった場合(ステップS6110;N)には、特徴比較部413は、次に、元の方向列の長さ(元の方向列を構成する方向の要素数)のみを参照する処理を行う。すなわち、元の方向列の長さ(要素数)と種類保持部431に記憶されているそれぞれの方向列の長さとを比較し、一致する種類があればそれに対応する番号をすべて出力する(ステップS6111)。ここで(好ましくは)、種類保持部431には、方向列の長さのみと特殊効果の種類を示す番号とを対応付けた記憶領域を設ければ処理を高速に行うことができる。
【0159】
特徴比較部413は、ステップS6111における方向列の長さの比較処理によって一つ以上の番号を出力することができたならば、すなわち、方向列の長さが一致するものを一つ以上見つけることができたならば(ステップS6112;Y)、その特殊効果の種類を示す番号を種類候補記憶部423に送って処理を終了する。
【0160】
一方、長さの比較処理によっても一致するものが見つからなかった場合、すなわち、元の方向列の長さに対応する番号を出力することができなかった場合(ステップS6112;N)には、特徴比較部413は、あらかじめ定められた番号を出力して(ステップS6113)、処理を終了する。なお、ステップS6113の処理が実行される場合は、受け取った元の方向列の長さが、比較的長い場合である。なぜならば、上述した種類保持部431の内容(図16に示した18種類のワイプの番号と方向列との関連付けの具体例)には、方向列の長さが1〜5のもの、および7,8のものが含まれているので、これらの長さに一致すればステップS6111の処理で出力されるからである。また、方向列の長さが長いということは、入力座標列がかなり複雑な軌跡をたどっていると考えられる。従って、ステップS6113で出力する(デフォルトの)番号は、その点を考慮して決定される。図16に示した種類の中では、16,17,18番のものが他のものと比べて複雑な図形であるので、ステップS6113では例えば番号16,17,18を出力する。
【0161】
以上の比較処理によって、特徴比較部413からは、必ず一つ以上の番号が特殊効果の種類の選択候補として出力される。出力された番号のデータは、種類候補記憶部423に一時的に記憶され、次に説明するように、種類指定部414による番号の選択処理を受ける。
【0162】
<特徴の比較処理の変形例>
次に、以上で説明した特徴比較部413による特徴の比較処理(図4のステップS493)の変形例について説明する。図17および図18を参照して説明したように、特徴比較部413は、履歴記憶部432および種類保持部431の記憶内容との単純比較では特徴の一致するものを見つけられなかった場合に、その他の比較処理として、逆転比較の処理と循環比較の処理とを行っている。これら逆転比較と循環比較とに加えて、好ましくは、次のような処理を行っても良い。
【0163】
種類保持部431の記憶する方向列の要素の一部を特殊な値とし、その要素部分については、比較の際に任意のものと一致すると規定する。この方法を用いると種類保持部431の記憶容量を節約できる。
【0164】
例えば、3つの方向列
(+,0)(0,+)(-,0),
(+,0)(0,+)(-,+),
(+,0)(0,+)(-,-)
を保持する代わりに、
(+,0)(0,+)(-,*)
という内容を記憶する。
【0165】
“*”はメモリ上では0,+,−以外の値で表現する。*の部分は、比較の際に、0,+,−のどの値でも可とすることを意味する。すなわち、比較の際には、特徴として出力された方向列と種類保持部431の記憶している方向列とが、任意値*の部分を除いて一致していれば、それが特徴の一致するものであると判断する。この方法により、種類保持部431の記憶容量を節約できるほか、任意値*の部分を比較しなくなるため、比較処理の高速化を図ることができる。
【0166】
さらに、その他の比較方法として、方向列の長さと、方向列中の最初の方向と最後の方向のみを比較対象として、特徴の一致の判断をすることもできる。また、算出した方向列から最初または最後の方向を削除して、種類保持部431の記憶内容と比較する方法もある。この方法は、例えば図16の15番の円形状の図形的特徴を持つものに対して特に有効である。
【0167】
このように、方向列の内容が完全に一致しないものに対しても、特徴の一致の判断をすることができる。このような比較処理を採用することで、種類保持部431に同一の番号に対応する方向列を多数保持する必要性が減るので、種類保持部431の記憶容量を節約することができる。以上の変形例のいずれを採用する場合であっても、まず単純比較により方向列の内容が完全に一致するか否かについて調べ、それに続いて本変形例の比較を行う。これにより、種類保持部431の記憶容量の節約を図りつつ、単純比較(および逆転比較、循環比較)のみでは挙げることのできなかった種類の番号の選出を行うことができる。
【0168】
<選択、指定入力処理>
次に、特殊効果の種類(番号)を最終的に決定するための種類指定部414による番号の選択、指定入力処理(図4のステップS494の処理)について詳しく説明する。種類指定部414は、上述の比較処理(図4のステップS493、図17および図18の処理)によって挙げられた特殊効果の種類を示す一つ以上の番号を受けて、それを表示部106に一覧表示し、表示されたものの中から一つを操作者に選択入力させる。ただし、単に番号のみを表示しただけでは、それがどの特殊効果の種類であるのか分かりにくいため、好ましくは、以下で説明するような図形表現を用いたグラフィカル表示を行うと良い。図形表現としては、例えば図16に示した図形52などを利用する。
【0169】
図19は、操作者に特殊効果の種類を選択させるための選択用画面の表示例を示している。この選択用画面は、GUI(Graphical User Interface)機能を有している。この選択用画面の上部には、この表示画面が選択用の画面であることを操作者に分からせるために、例えば“選択候補”などと記された表示タイトル621が表示されている。また、この選択用画面の中央部には、選択候補となる特殊効果の種類を図16と同様に図形表現した候補図形622,623,624が一覧表示されている。候補図形622,623,624の表示順は、図17および図18の処理によって出力された番号の順序に従っている。図19の例では、7番、1番、2番という番号がこの順番で出力された例を示している。すなわち、画面に向かって左側から順番に、候補図形622が一番目の選択候補、候補図形623が二番目の選択候補、候補図形624が三番目の選択候補であり、それぞれ順番に、図16における7番、1番、2番の種類の特殊効果であることを示している。なお、表示すべき選択候補の数が多い場合は、スクロール表示機能を付加して順番に表示すると良い。この際も、表示順序は図17および図18の処理で出力された番号と同じ順序とする。なお、図17および図18の処理では、履歴記憶部432を参照して得られた番号が先に出力され、次に種類保持部431を参照して得られた番号が出力される。すなわち、候補図形としては、履歴記憶部432を参照して得られた番号の図形が先頭に表示される。
【0170】
この選択用画面には、また、枠625が、候補図形622,623,624のうちの一つの図形の周囲を囲むように表示されている。この枠625は、操作入力部109を構成するキーボードなどから、その表示位置を移動させることが可能となっている。操作者は、操作入力部109からの操作により、所望の候補図形の位置に枠625を移動させる。
【0171】
この選択用画面の下部には、さらに、2つの操作ボタン(決定ボタン626、中止ボタン627)が表示されている。決定ボタン626は、種類選択の決定時に操作され、中止ボタン627は、例えば選択操作の中止時(特殊効果の指示をやめるとき)に操作される。決定ボタン626および中止ボタン627は、GUI機能を利用したものであり、マウス(操作入力部109)などによる操作に対応している。すなわち、マウスのポインタをボタン上に持っていき、その位置でマウスのボタンを押下することによって画面上のボタンを擬似的に押下することが可能となっている。
【0172】
この選択用画面において、操作者が、種類の選択操作を行う場合には、まず、操作入力部109からの操作により、所望の特殊効果を示す候補図形の表示位置に枠625を移動させる。その候補図形で良ければ、次に、決定ボタン626による選択確定の操作入力を行う。これにより、所望としている映像特殊効果の種類の指定が確定する。このようにして、実行させるべき特殊効果の種類が確定すると、操作制御部105は、その確定された番号の特殊効果を実行するよう指示する制御コマンドを、映像特殊効果部101に送信する。映像特殊効果部101は、制御コマンドを受信すると、その指定された映像特殊効果を実行する。一方、所望の特殊効果を示す候補図形が表示されていない場合や何らかの理由により操作を中断したい場合などには、中止ボタン627を押下してこの選択処理を中止する。なお、単に、所望の候補図形上でマウスをクリック操作することにより(決定ボタン626による選択確定の操作入力を行うことなしに)、種類の指定を行うことも可能である。なお、マウスのクリック操作とは、マウスのボタンを押して離す操作を所定時間内に行うことを示す。
【0173】
図20は、特徴比較部413から出力された選択候補が一つのみであった場合に表示する画面例を示している。選択候補が一つのみである場合には、上述したような選択操作は不要であるが、操作者に対して本当にこの候補で良いか否かの確認を促すために図20の確認用画面を表示する。この確認用画面も、図19の選択用画面と同様にGUI機能を有したものであり、その画面内には、表示タイトル631、候補図形632および操作ボタン(確定ボタン633、中止ボタン634)が表示されている。
【0174】
表示タイトル631は、この表示画面が確認用の画面であることを操作者に分からせるためのものであり、例えば“選択確認”などの表記がなされている。候補図形632は、唯一の選択候補となる特殊効果の種類を図16と同様に図形表現したものである。図20の例では、図16における3番の種類の特殊効果が、唯一の選択候補として表示されている。確定ボタン633および中止ボタン634は、図19の選択用画面における決定ボタン626および中止ボタン627と同様のGUI機能を有している。
【0175】
操作者は、この確認用画面に表示されている候補図形632で良ければ、確定ボタン633による選択確定の操作入力を行う。これにより、映像特殊効果の種類の指定が確定する。一方、候補図形632が所望のものでなかった場合や何らかの理由により操作を中断したい場合などには、中止ボタン634を押下してこの確定処理を中止する。
【0176】
なお、選択、確認用画面の構成(画面内の各表示要素の表示位置など)は、図示したものに限定されず、他の構成であっても良い。
【0177】
以上のようにして実行させるべき特殊効果の種類が確定した後、次に説明するように、履歴記憶部432の記憶内容を更新する処理を行う(図4のステップS496)。
【0178】
<履歴の記憶>
次に、履歴記憶部432の記憶内容について説明する。履歴記憶部432は、本システムの構成に必要不可欠の要素ではないが、本システムをより使いやすくするために好適な機能を有したものである。履歴記憶部432は、不揮発性の記憶装置で構成するのが好ましいが、電源を切ることにより内容が失われる記憶装置であっても良い。この場合にも、電源を切らずに使用を続けている間は効果を発揮できる。
【0179】
履歴記憶部432は、方向列と特殊効果の種類を示す番号とを対応付けて(組にして)、履歴として記憶する。方向列は、図4のステップS492において座標列解析部412が出力したものであり、番号は、ステップS494,S495において種類指定部414によって最終的に選択、確定されたものである。方向列が複数ある場合は、番号と種類保持部431の内容で対応しているものから一つを選択して、番号と組にして選択する。履歴記憶部432は、番号と方向列との組を、特殊効果の選択、確定がなされた順番どおりに順序づけて記憶する。なお、既に履歴として記憶されている内容と同じ組み合わせとなった場合は、重複しての記憶はしない(ただし、好ましくは、記憶の順序の入れ替えを行う)。新たなる組み合わせが生じた場合にのみ履歴の記憶を行う。
【0180】
例えば、まず次のものが履歴記憶部432に履歴として記憶されているものとする。ここでも番号と方向列との組を「番号:方向列」の形式で示す。
9:(+,+)(-,+),
4:(0,+)(+,0),
7:(-,+),
8:(+,+).
【0181】
ここで、ステップS494で、「1:(+,+)」という組み合わせが選択されたとする。この組み合わせは、まだ履歴として記憶されていないので、この組み合わせが、新たに履歴の先頭に追加され、履歴記憶部432に次のように記憶される。
【0182】
1:(+,+), ←追加された組み合わせ
9:(+,+)(-,+),
4:(0,+)(+,0),
7:(-,+),
8:(+,+).
【0183】
さらに新たな座標入力操作が行われ、「8:(+,+)」という組み合わせが選択、確定されたとする。この組み合わせは、既に履歴として記憶されているので、新たな記憶はしない。ただし、好ましくは、この組み合わせを履歴の先頭に移動させ、次のように順序の入れ替えを行う。
【0184】
8:(+,+), ←先頭に移動された組み合わせ
1:(+,+),
9:(+,+)(-,+),
4:(0,+)(+,0),
7:(-,+)
【0185】
このように最近選択されたものを先頭にして順序の入れ替えを行うのは、ステップS494で被選択候補を表示する際に、最近選択されたものから順に表示できるようにするためである。
【0186】
なお、以上のような履歴記憶の機能は、既知のデータ構造とアルゴリズムにより実現できる。履歴記憶部432は、記憶内容を動的に管理しているが、このような動的なデータの管理方法としては、例えば線形リストなどが知られている。しかしながら、既知の技術であるので本明細書ではその詳細な説明は省略する。
【0187】
[具体例]
次に、具体的な数値を挙げて、特殊効果の種類が確定されるまでの動作を説明する。
【0188】
<具体例1-1>
図21は、座標列入力部411の機能(図4のステップS491)によって入力された入力座標列の第1の具体例を示している。座標列を構成する座標点は次の21点である(図では、これらの座標点を黒丸の点“●”で示す)。座標は、入力された順に記している。なお、以下の具体例では、座標値などの値はすべて整数値に近似する。
【0189】
(126,133),(152,137),(186,145),(226,155),
(256,163),(276,164),(288,164),(288,165),
(280,169),(262,175),(238,185),(214,193),
(188,201),(168,209),(152,215),(140,216),
(128,217),(120,221),(119,221),(118,221),
(118,222).
【0190】
この入力座標列についてステップS492(図5)の特徴の算出処理を行う。この具体例では、その数値の下に下線を引いて示したように、X座標の最大値xmaxは288、X座標の最小値xminは118、Y座標の最大値ymaxは222、Y座標の最小値yminは133である。式(1)での幅wの値は、w=max(wx,wy)=wx=170となる。従って、式(2A)の値dは、d=w/5=34、式(2B)の値fは、f=w/16=10、式(2C)の値Lは、L=w/4=42となる。わり算によって生ずる小数点以下の端数は切り捨てしている。
【0191】
この座標列からステップS502(図5、図6)の処理によって極大極小点を算出すると、図21で“×”印を付けた点(座標値に二重下線を付けた点)が極大極小点となる。すなわち次の3点である。この3つの極大極小点をそれぞれs0,s1,s2と表記する。
(126,133),(288,164),(118,222).
【0192】
ここで、この座標列は、図8(A),(B)を参照して説明した上述の一次元図形の条件を満たしていないので、二次元図形である。従って、次にステップS504(図5、図12、図13)における極大極小点近傍の水平・垂直の検出、判定処理を行う。この座標列は、図11(A)〜(C)を参照して説明した上述の水平・垂直の条件を満たしていないので、水平・垂直と判定される部分はない。従って、任意の極大極小点spについての水平・垂直情報の表記は、Ap=0かつB(p+1)=0となる。
【0193】
次にステップS505(図5、図14)の二次元図形の方向列出力処理を行う。方向列出力処理として、まずステップS581(図14、図15)の方向列の生成処理を行う。本具体例では、3つの極大極小点s0,s1,s2があるので、図15のステップS592〜S594の処理のループが2回行われる。また、各極大極小点について水平・垂直の部分はなく、Ap=0かつB(p+1)=0であるから、ステップS593での条件は[条件9]に該当する。
【0194】
1回目のループでは、i=s0,j=s1であり、点s0,s1間についての方向が生成される。すなわち、
「xi=126,yi=133,xj=288,yj=164」
であるから、
xi<xj,yi<yj
であり、かつ、
|xj−xi|=288−126=162>d
|yj−yi|=164−133=31<d
であるので、[条件9]の2番目の場合に該当し、方向(混成表記)として、
(+,+0)
が出力される。
【0195】
2回目のループでは、i=s1,j=s2であり、点s1,s2間についての方向が生成される。すなわち、
「xi=288,yi=164,xj=118,yj=222」
であるから、
xi>xj,yi<yj
であり、かつ、
|xj−xi|=−(118−288)=170>d,
|yj−yi|=222−164=58>d
であるので、[条件9]の9番目の場合に該当し、方向として、
(-,+)
が出力される。
【0196】
従って方向列は、混成表記で
(+,+0)(-,+)
となる。そして、ステップS582での混成表記の方向列の分離の処理を行うことで、
(+,0)(-,+)
および
(+,+)(-,+)
の二つの方向列を得る。
【0197】
次に、ステップS583〜S585において、連続する同じ方向の削除などを行うが、本具体例では、削除などの対象となる方向はないので、これらのステップによる処理は特に必要とされず、分離された方向例のデータがそのまま出力される(ステップS586)。
【0198】
次に、ステップS493(図4、図17、図18)の特徴の比較処理(方向列と特殊効果の種類を示す番号との比較処理)を行い、選択候補の番号を出力する。履歴記憶部432に対応する番号がないものとすると、本具体例では、種類保持部431の記憶内容を参照して、方向列(+,0)(-,+)は図16に示した6番の種類のワイプにのみ対応し、方向列(+,+)(-,+)は9番の種類のワイプにのみ対応することになる。従って、ステップS493では6番と9番とが選択候補として出力される。
【0199】
次に、ステップS494(図4)では、6番と9番との2つの選択候補を選択用画面に表示し、操作者にいずれか一つを選択させる。図22は、本具体例で表示される選択用画面を示している。図22の選択用画面の構成は、図19に示した選択用画面と同様である。本具体例では、6番および9番の特殊効果を図形表現した候補図形620A,620Bを表示する。ここで、例えば候補図形620Bが選択されたとすると、9番の映像特殊効果が実行させるべきものとして確定する。
【0200】
このとき、履歴記憶部432には、種類保持部431にも記憶されている
「9:(+,+)(-,+)」
という組み合わせを履歴として記憶する。ただし、既に同じ内容のものが履歴記憶部432に記憶されている場合には、新たに記憶することはせず、その記憶順(優先順)を入れ替える(今回の組み合わせを先頭に持ってくる)のみである。これにより、以後の入力操作において、同じ方向列(+,0)(-,+)と(+,+)(-,+)とが得られた場合、特徴の比較処理で、種類保持部431よりも先に履歴記憶部432の記憶内容を参照するため、特徴比較部413からは、選択候補として9番が先に出力され、その次に6番が出力される。選択画面でも、9番を示す候補図形が優先して表示され、その次に6番を示す候補図形が表示されるようになる。この場合、図61のステップS613では、既に履歴記憶部432から出力された9番の番号を二重出力しない。
【0201】
<具体例1-2>
次に、第2の具体例について説明する。図23は、入力座標列の第2の具体例を示している。座標列を構成する座標点は次の25点である(図では、これらの座標点を黒丸の点“●”で示す)。座標は、入力された順に記している。なお、本具体例においても、座標値などの値はすべて整数値に近似する。
【0202】
(190, 84),(190, 92),(190,100),(190,110),
(190,118),(190,128),(190,136),(190,142),
(191,148),(191,156),(191,162),(191,166),
(192,172),(192,173),(198,174),(210,174),
(228,174),(250,174),(268,174),(282,174),
(294,174),(300,175),(306,175),(310,175),
(311,176).
【0203】
この入力座標列についてステップS492(図5)の特徴の算出処理を行う。本具体例では、その数値の下に下線を引いて示したように、X座標の最大値xmaxは311、X座標の最小値xminは190、Y座標の最大値ymaxは176、Y座標の最小値yminは84である。式(1)での幅wの値は、w=max(wx,wy)=wx=121となる。従って、式(2A)の値dは、d=w/5=24、式(2B)の値fは、f=w/16=7、式(2C)の値Lは、L=w/4=30となる。わり算によって生ずる小数点以下の端数は切り捨てしている。
【0204】
この座標列からステップS502(図5、図6)の処理によって極大極小点を算出すると、最初の点と最後の点、すなわち次の2点が極大極小点である。本具体例では、この2つの極大極小点をそれぞれs0,s1と表記する。
(190, 84),(311,176)
【0205】
ここで、この座標列は、図8(A),(B)を参照して説明した上述の一次元図形の条件を満たしていないので、二次元図形である。従って、次にステップS504(図5、図12、図13)における極大極小点近傍の水平・垂直の検出、判定処理を行う。図23からも分かるように、fとLの値から、最初の極大極小点s0(190,84)については、前方が垂直と判定され、次の(最後の)極大極小点s1(311,176)については、後方が水平と判定される。従って、極大極小点spについての水平・垂直情報の表記は、Ap=VかつB(p+1)=Hとなる。
【0206】
次にステップS505(図5、図14)の二次元図形の方向列出力処理を行う。方向列出力処理として、まずステップS581(図14、図15)の方向列の生成処理を行う。本具体例では、2つの極大極小点s0,s1しかないので、図15のステップS592〜S594のループが1回行われる。また、水平・垂直情報の表記が、Ap=VかつB(p+1)=Hであるから、ステップS593での条件は[条件4]に該当する。
【0207】
ステップS592〜S594の処理は、次のようになる。
i=s0,j=s1として、
「xi=190,yi=84,xj=311,yj=176」
であるから、
xi<xj,yi<yj
となるので、[条件4]の1番目の場合に該当し、混成表記の方向列として、
(0,+)(+0,+0)(+,0)
が生成される。
【0208】
次に、ステップS582での混成表記の方向列の分離処理を行うことで、4通りの方向列が生成されるが、続くステップS583,S584の処理により、各方向列にいて連続する同じ方向を一つにまとめ、さらに、同じ方向列を一つにまとめることにより、結局
(0,+)(+,0)
と
(0,+)(+,+)(+,0)
との二つの方向列を得る。次に、ステップS585では、最も長さの短い方向列のみを採用するので、最終的には、
(0,+)(+,0)
が出力される。
【0209】
次に、ステップS493(図4、図17、図18)により方向列と番号との比較処理を行い、選択候補の番号を出力する。履歴記憶部432に対応する番号がないものとすると、本具体例では、種類保持部431の記憶内容を参照して、方向列(0,+)(+,0)は図16に示した4番の種類のワイプにのみ対応する。従って、ステップS493では4番のみが選択候補として出力される。
【0210】
次に、ステップS494(図4)では、図20に示した確認用画面を表示して、4番の選択候補で良いか否かを操作者に確認させる。操作者により確定ボタン633が操作されれば、4番の映像特殊効果が実行させるべきものとして確定する。そして、履歴記憶部432には、
「4:(0,+)(+,0)」
という組み合わせが履歴として記憶される。
【0211】
以上、二つの具体例を示したが、より複雑な座標列が入力された場合であっても同様に処理される。
【0212】
以上説明したように、本実施の形態によれば、入力座標列を解析して、その図形的特徴を算出し、その算出された座標列の図形的特徴に基づいて、種類保持部431および履歴記憶部432の中から図形的特徴が一致する映像特殊効果の種類を選出し、その選出された映像特殊効果を実行させるよう映像特殊効果装置(映像特殊効果部101)を制御するようにしたので、所望の映像特殊効果を容易にかつ短時間で指定することができる。これにより、例えば映像特殊効果装置で実行可能な特殊効果の種類が増えたとしても、単にメニュー表示から所望の映像特殊効果を選択する従来の方式に比べて、所望の映像特殊効果を指定するまでの時間を短縮することができ、作業効率を向上させることができる。
【0213】
また本実施の形態によれば、最終的に選出された映像特殊効果の種類を示すデータと、その種類の算出に用いられた座標列の図形的な特徴を示すデータとを対応付けて履歴データとして記憶するようにしたので、一度最終的に選出された映像特殊効果については、選択される可能性の高いものとみなして、次回以降の処理において、優先的に選択対象として操作者に選択させることができ、操作性の向上を図ることができる。
【0214】
また特に、本実施の形態によれば、座標列の特徴の算出処理として、まず、入力座標列の極大極小点を選出し、始点から終点に向かって順番に、隣接する極大極小点間の座標列部分における座標値の変化の方向を、X方向とY方向とのそれぞれについて正、負または0の値を持つ“(*,*)”の形式で表される方向のデータ要素を少なくとも1つ用いて表し、その方向のデータ要素が1つ以上組み合わされて構成された方向の列データを、隣接する極大極小点間の座標列部分ごとに1つ以上生成する。そして、生成された隣接する極大極小点間についての方向の1つ以上の列データを、始点から終点に向かって順番に結合し、その結合された1つ以上の列データを、座標列の特徴を示すデータとして出力する。このような算出処理を行うようにしたので、OCRなどに利用されている特徴の算出、認識技術に比べて、複雑な処理技術が必要とされずに、座標列の特徴の算出を簡易に行うことができる。
【0215】
また、本実施の形態の座標列の特徴算出処理によれば、各極大極小点間についての方向要素の列を結合する場合に、結合した1つの列内に同一の方向要素が連続して生成されたときには、連続する方向要素のうち1つのみを残して他は削除する処理を行うようにしたので、特徴として出力されるデータ量の削減を図ることができる。また、データ量が削減されることにより、それに対応する特徴に関するデータを記憶する種類保持部431および履歴記憶部432の記憶容量の削減を図ることができる。また、特徴の比較処理に要する時間の短縮化、処理の高速化を図ることができる。
【0216】
[第2の実施の形態]
次に、本発明の第2の実施の形態について説明する。なお、以下の説明では、上記第1の実施の形態における構成要素と同一の部分には同一の符号を付し、適宜説明を省略する。
【0217】
上記第1の実施の形態においては、一つの座標列の入力を受けて映像特殊効果の種類の指定を行う例について説明したが、本実施の形態は、二つ以上の座標列の入力を受けた場合にも種類の指定を行うことを可能にしたものである。本実施の形態に係る映像特殊効果システムのハードウェア構成は、図1に示したものと同様である。また、機能ブロックの構成についても、基本的に図3に示したものと同様である。ただし、個々の機能ブロックは、後述するように二つ以上の座標列の入力を受けた場合に対応した処理動作を行う。
【0218】
図24(A)〜(C)は、複数の座標列を入力することによりその種類の指定を行うことが妥当と思われるワイプの例である。これらの図では、図16の場合と同様に、ワイプの種類をその特徴により図形的、模式的に表現しており、その種類を示す図形の下にはそのワイプの種類を示す番号を付している。図24(A)〜(C)で示した図形的特徴を有する特殊効果の種類の指定を行う場合は、一回の入力ではなく複数回の座標列の入力操作により指定する方式の方が操作しやすい。
【0219】
ここで、図24(A)に示した20番の種類のワイプは、画面の中心部を中心として、2つの直線的な境界線が互いに反対方向に回転するようにして映像の切り替えを行うものである。図24(B)に示した21番の種類のワイプは、画面水平方向に延びる2つの直線的な境界線が互いに反対方向(上下方向)に移動するようにして映像の切り替えを行うものである。図24(C)に示した22番の種類のワイプは、十字状の領域が画面中央部から画面周辺部に広がっていくようにして映像の切り替えを行うものである。
【0220】
以下、図3の各機能ブロックが行う処理について、上記第1の実施の形態とは異なる点についてのみ説明する。
【0221】
座標列の入力操作は、基本的に、入力の開始動作、入力座標の移動および入力の終了動作により行われる。第1の実施の形態では、例えば、ポインティングデバイスとしてマウスを用いるとすると、マウスのボタンの押下(開始動作)を行い、次にドラッグ操作(入力座標の移動)を行い、マウスのボタンを戻す(終了動作)、という一連の動作が1回の座標列入力操作あった。一方、本実施の形態の座標列入力部411では、このような一連の動作が1回行われただけでは、入力処理の終了と判断せずに、1回以上の座標列入力操作の後、入力終了を示す別の操作入力があった場合に入力終了と判断する。例えば、マウスのボタンを戻すという操作の後に、さらに別のボタン操作やGUIメニューの操作などが行われた場合に入力終了と判断する。これにより、図4のステップS491では、一つ以上の座標列のデータが得られ、それが座標列記憶部421に一時的に記憶される。
【0222】
座標列解析部412は、入力された一つ以上の座標列のそれぞれを処理して方向列を出力する。従って、図4のステップS492では、特徴のデータとして、1つの方向列または複数の方向列(方向列の組)のデータが得られる。座標列解析部412は、入力座標列の数と同じ数の方向列を一組として処理する。この組を構成する方向列の一つ一つは、処理の途中段階においては混成表記で表され、場合によっては複数の方向列のうちどれでも良い(OR条件の)方向列となる場合がある。従って、方向列の組が複数出力されることもある。座標列解析部412は、得られた1つの方向列または複数の方向列(の組)を、入力座標列の図形的な特徴のデータとして、特徴記憶部422に出力する。
【0223】
特徴比較部413では、座標列解析部412から出力された方向列の組のデータを、履歴記憶部432および種類保持部431の記憶内容と比較し、一致する特徴を持つ特殊効果の種類(の番号)を選択候補として出力する(図4のステップS493)。比較の際には、組を構成する方向列の数(入力座標列の数と同じ)が一致することと、個々の方向列の値がすべて一致することが種類選択の条件となる。組の中での方向列の順序は関係ない。図17および図18の比較処理は、個々の方向列のそれぞれについて独立に行う。
【0224】
種類保持部431には、映像特殊効果の種類を示す番号に対応させて、方向列の組と、好ましくは組を構成する方向列の数とを記憶する。種類保持部431の記憶内容は、「番号:方向列数:方向列」と表記すると、例えば図16の1番の種類のワイプについては、次のようになる。座標軸の方向は上記第1の実施の形態と同様に、右向きがX軸の正方向、下向きがY軸の正方向としている。
【0225】
1:1:(0,+),
1:1:(+,+),
1:1:(+,-)
【0226】
また、図24の20,21,22番の種類のワイプについては、次のようになる。
【0227】
20:2:(-,+),(+,+),
21:2:(+,0),(+,0),
21:2:(+,+),(+,+),
22:2:(+,0),(0,+),
22:4:(0,+)(-,0),(0,+)(+,0),(-,0)(0,+),(+,0)(0,+)
【0228】
ここで、上記の22番のワイプの表記内容について簡単に説明する。まず、「22:2:(+,0),(0,+)」の方向列は、座標列が十字を描くように入力された場合に対応するものである。これは、正確には図24(C)の形状をそのまま描いたときに得られる方向列とは異なっているが、操作者が直感的に入力する図形(軌跡)としては、このような座標列の入力形状もあり得るので、そのような場合にも選択可能なように22番に対応させて記憶しておく。一方、2段目に示した4つの方向列は、図24(C)の形状の境界線そのままに座標列が描かれた場合に対応するものである。左側の方向列から順に、左斜め上、右斜め上、右斜め下、左斜め下の境界線形状に対応している。なお、例えば傾いた線によって座標列の入力が行われた場合を考慮するならば、より多くの方向列の組み合わせが考えられる(上記第1の実施の形態で示した種類保持部431の記憶内容の具体例・3番〜6番の方向列を参照)。種類保持部431には、種々の入力パターンに対応した複数の方向列の組み合わせを記憶しておくことが好ましい。
【0229】
特徴比較部413によって選択候補が挙げられた後の処理は、第1の実施の形態と同様である。
【0230】
以上説明したように、本実施の形態によれば、二つ以上の座標列の入力を受けた場合にも種類の指定を行うことを可能にしたので、より複雑な図形的特徴を持つ映像特殊効果であっても、その指定を容易に行うことができる。
【0231】
[第3の実施の形態]
次に、本発明の第3の実施の形態について説明する。なお、以下の説明では、上記第1および第2の実施の形態における構成要素と同一の部分には同一の符号を付し、適宜説明を省略する。
【0232】
図25(A),(B)は、2種類の異なるワイプを模式的に示している。図25(A)に示した30番の種類のワイプは、画面の右上から左下に至る一本の対角線から始まり、この対角線が画面中央を中心に回転するようにして映像の切り替えを行うものである。図25(B)に示した7番の種類のワイプは、画面の左上隅から斜めの直線が右下方向に直進するようにした映像の切り替え行うものである。図26(A),(B)は、それぞれ図25(A),(B)の種類のワイプに対応するものであり、時間経過に従って映像が切り替わる様子を模式的に示している。これらの図では、切り替わる新しい映像部分にハッチングを施している。
【0233】
図25(A),(B)に示した2種類のワイプを図形的な特徴で示すならば、共に斜線一本(対角線一本)で示される。従って、上記第1および第2の実施の形態のように図形的な特徴のみで指定する方法では、どちらも同じような座標列の入力となり、双方の区別が困難となる。この場合、図4のステップS494における選択入力により、最終的な指定をしなければならない。
【0234】
本実施の形態は、このような図形的な特徴が共通である特殊効果を区別して指定する方法を実現するものである。本実施の形態では、この区別を行うために、図形的特徴に加えて、特殊効果の実行に伴う画面上の映像の移動的特徴を利用する。ここで、“移動的特徴”とは、直感的には、画面上において二種類(以上)の映像の境界線が移動するときの、その軌跡を示すものである。具体的には、図25(A),(B)に矢印で記されているものが、移動的特徴である。
【0235】
本実施の形態では、操作者が座標列入力部411により図形的特徴に加えて移動的特徴の入力を行うことにより特殊効果の種類の選択が行われる。従って座標列は複数入力される。移動的特徴の指定入力を含む全体的な座標列の入力操作の終了の判断については、例えば、上記第2の実施の形態と同様に、複数の座標列の入力操作の後、入力終了を示す別の操作入力があった場合に入力終了と判断する。ここでは、複数の座標列の入力のうち、最後に入力された座標列を移動的特徴の指定と判断し、それ以外の座標列を図形的特徴の指定と判断するものとして説明する。なお、本実施の形態に係る映像特殊効果システムのハードウェア構成は、図1に示したものと同様である。また、機能ブロックの構成についても、基本的に図3に示したものと同様である。ただし、個々の機能ブロックは、後述するように移動的特徴を示す座標列の入力を受けた場合に対応した処理動作を行う。
【0236】
種類保持部431には、図形的特徴と移動的特徴との2種類の特徴について、それぞれ、映像特殊効果を示す番号と、それに対応する方向列の組とを記憶する。各番号について対応する方向列の組は、一組とは限らない。以下、図25(A),(B)のワイプに関する種類保持部431の記憶内容の具体例を、図形的特徴および移動的特徴のそれぞれについて「番号:方向列」の形式で示す。座標軸の方向は、右向きがX軸の正方向、下向きがY軸の正方向である。
【0237】
※図形的特徴:
30:(-,+),
7:(-,+)
【0238】
※移動的特徴:
30:(-,+),
30:(+,+)(-,+)
30:(0,+)(-,+)
30:(+,0)(0,+)(-,0)
30:(+,+)(0,+)(-,+),
30:(+,-)
30:(-,-)(+,-)
30:(0,-)(+,-)
30:(-,0)(0,-)(+,0)
30:(-,-)(0,-)(+,-)
7:(+,+)
【0239】
以下、図3の各機能ブロックが行う処理について、上記第1および第2の実施の形態とは異なる点についてのみ説明する。
【0240】
座標列解析部412は、入力された複数の座標列のそれぞれを処理して特徴(方向列)を算出する(図4のステップS492)。個々の座標列から方向列を算出する方法は第1または第2の実施の形態と同様である。座標列解析部412は、複数の入力座標列のうち、最後の座標列から算出した方向列を、移動的特徴として特徴記憶部422に出力して一時記憶する。それ以外の座標列から算出した方向列は、図形的特徴として出力して一時記憶する。このとき、出力される方向列は、図形的特徴および移動的特徴のそれぞれについて複数個となる場合もある。
【0241】
特徴比較部413は、座標列解析部412から出力された図形的特徴と移動的特徴とに関する方向列のデータを、履歴記憶部432および種類保持部431の記憶内容と比較し、図形的特徴と移動的特徴との両方が一致する特徴を持つ特殊効果の種類(の番号)を選択候補として出力する(図4のステップS493に相当)。
【0242】
図27は、特徴比較部413による図形的特徴と移動的特徴とに関する特徴の比較処理(一致する種類を探す処理)を示している。特徴比較部413は、まず、図形的特徴について、図17および図18に示した特徴の比較処理と同様の処理を行い、図形的特徴に対応する一つ以上の番号を得る(ステップS701)。次に、特徴比較部413は、得られた番号が一つのみであるか複数であるかを判断する(ステップS702)。ここで、得られた番号が一つのみであれば、特徴比較部413は、比較処理が確定されたものとして、その番号を種類候補記憶部423に出力し(ステップS703)、この比較処理を終了する。
【0243】
一方、複数の番号が得られた場合には、次に、特徴比較部413は、それらの番号の中から移動的特徴が一致するものを探して、その番号を出力する(ステップS704)。このステップS704の処理では、履歴記憶部432および種類保持部431に記憶されている移動的特徴に関する記憶内容を参照し、ステップS701で得られた番号に対応する移動的特徴についての方向列の中に、入力座標列から得た移動的特徴に関する方向列と一致するものがあるか否かを調べる。そして、一致した番号をすべて出力する。ここでの移動的特徴の比較処理では、図形的特徴の比較処理(図17および図18)で行ったような逆転比較などの処理は行わずに、特徴が完全に一致するものだけを挙げる。これは、図形的特徴が、形状の特徴を示す座標列から得られたものであるのに対して、移動的特徴は方向性のある座標列により示され、順序の変更などは不適切となるためである。
【0244】
特徴比較部413は、ステップS704の処理によって一つ以上、番号を出力することができたならば(ステップS705;Y)、この比較処理を終了する。一方、一つも番号を出力することができなかったならば(ステップS705;N)、移動的特徴に関係なく、図形的特徴の比較で得られた番号をすべて出力し(ステップS706)、この比較処理を終了する。
【0245】
比較処理後の処理は、第1および第2の実施の形態と同様である。
【0246】
[具体例3-1]
次に、具体的な数値を挙げて、本実施の形態の指定方法により特殊効果の種類の選択候補が得られるまでの動作を説明する。
【0247】
本具体例では、入力座標列の図形的特徴が図25(A),(B)に示す30番と7番の双方に該当し、移動的特徴が30番に該当する(最終的に30番が選択候補として出力される)場合の数値例を示す。図28は、本具体例における2つの入力座標列(第1の座標列61および第2の座標列62)を示している。図28では、分かりやすいように、隣り合う入力座標点間を線分で結んでいる。最初に入力された座標列(第1の座標列61)は、図形的特徴を示すものとして処理され、二番目に入力された座標列(すなわち、最後に入力された座標列、第2の座標列62)は、移動的特徴を示すものとして処理される。第1の座標列61を構成する座標点は次の13点である(図では、これらの座標点を黒丸の点“●”で示す)。座標は、入力された順に記している。なお、以下の具体例では、座標値などの値はすべて整数値に近似する。
【0248】
(234,162),(230,168),(222,172),(212,178),
(204,186),(194,192),(184,198),(178,202),
(172,206),(166,210),(158,214),(154,215),
(153,215).
【0249】
この第1の座標列61についてステップS492(図5)の特徴の算出処理を行う。第1の座標列61は、図形的特徴を示すものであるから、その特徴の算出処理は、具体例1-1,1-2と同様である。以下、特徴の算出処理の概要のみを記す。
【0250】
この第1の座標列61については、その数値の下に下線を引いて示したように、X座標の最大値xmaxは234、X座標の最小値xminは153、Y座標の最大値ymaxは215、Y座標の最小値yminは162である。式(1)での幅wの値は、w=max(wx,wy)=wx=81となる。従って、式(2A)の値dは、d=w/5=16、式(2B)の値fは、f=w/16=5、式(2C)の値Lは、L=w/4=20となる。わり算によって生ずる小数点以下の端数は切り捨てしている。
【0251】
この第1の座標列61からステップS502(図5、図6)の処理によって極大極小点を算出すると、次の2点(最初と最後の点)となる。
(234,162),(153,215)
【0252】
この第1の座標列61の極大極小点近傍について、ステップS504(図5、図12、図13)の水平・垂直の検出、判定処理を行う。この座標列については、水平・垂直と判定される部分はなく、水平・垂直情報の表記は、Ap=0かつB(p+1)=0となる。第1の座標列61は、結局、上述の第1の実施の形態に示した「[条件9]の(9-9)」の場合に該当し、図形的特徴を示す方向列は、ただ一つの方向からなる、
(-,+)
のみが得られる。
【0253】
一方、第2の座標列62を構成する座標点は、次の25点である(図では、これらの座標点を×印の点で示す)。
【0254】
(220,173),(221,173),(222,173),(223,174),
(224,175),(228,179),(229,180),(233,186),
(234,187),(235,188),(235,192),(235,193),
(235,194),(235,198),(235,199),(235,200),
(235,204),(234,205),(233,206),(232,207),
(228,208),(224,209),(220,210),(216,214),
(215,214).
【0255】
この第2の座標列62については、w=max(wx,wy)=wy=41,d=8,f=2,L=10となる。また、極大極小点は、その数値の下に下線を引いて示したように、次の3点となる。
(220,173),(235,188),(215,214)
【0256】
この第2の座標列62の極大極小点近傍について、水平・垂直の検出、判定処理を行うと、2番目の極大極小点(235,188)の前方が垂直となる。結局、第2の座標列62について得られる方向列は、混成表記で次のようになる。
(+,+)(0,+)(-,+0)
この混成表記の方向列を分離することにより、最終的には次の2つの方向列が移動的特徴を示すものとして得られる。
(+,+)(0,+)(-,0),
(+,+)(0,+)(-,+).
【0257】
さて、このようにして得られた図形的特徴と移動的特徴とを示す複数の方向列について、特徴比較部413によって、図27に示した特徴の比較処理が行われる。本具体例では、この比較処理によって、ステップS701で、7番と30番とが図形的特徴に対応する番号として得られる。種類保持部431には、
30:(+,+)(0,+)(-,+)
というものが記憶されているので、ステップS704で、移動的特徴が一致するものとして30番が出力される。このようにして、最終的に30番が選択候補として出力される。
【0258】
以上説明したように、本実施の形態によれば、図形的特徴に加えて移動的特徴の入力を行うことにより特殊効果の種類の選択を行うようにしたので、図形的な特徴のみでは区別が困難な種類の映像特殊効果を、移動的な特徴により容易に区別して指定することができる。
【0259】
[変形例]
次に、第3の実施の形態の変形例について説明する。
【0260】
<第1の変形例>(移動的特徴の指定入力を受ける例)
上記第3の実施の形態では、複数の入力座標列のうち、最後に入力された座標列を自動的に移動的特徴の指定と判断していた。本変形例は、入力座標列の一つ一つについて、それが図形的特徴を示すものであるのか、移動的特徴を示すものであるのか(すなわち、入力された座標列を図形的な特徴の算出に用いるのか、移動的な特徴の算出に用いるのか)を操作者の指示により区別することを可能にしたものである。本変形例では、例えば、移動的特徴を指定するために設けられた専用ボタンによる入力がなされてから座標列が入力された場合に、その(直後の)座標列のみは移動的特徴を指定するものであると判断する。専用ボタンとしては、物理的に設けられたボタンや、GUIによる画面上のボタンおよびメニューなどを利用することができる。
【0261】
本変形例では、図形的特徴の指定をする際に、場合により(第2の実施の形態と同様に)、複数の座標列を入力できる。これに対して移動的特徴の指定は、本変形例では、一つの座標列のみで指定することにする。複数の座標列が移動的特徴として入力された場合は、最後のもの以外は無視することとする。このような識別により、座標列入力部411は、座標列を一時記憶する際に、図形的特徴を指定する座標列と移動的特徴を指定する座標列とを区別して(図48の座標列記憶部421に)記憶する。座標列解析部412は、特徴の算出を図形的特徴と移動的特徴とについて行う。
【0262】
図29は、入力座標列を座標列記憶部421へ一時記憶するまでの座標列の入力処理を示している。座標列入力部411は、まず、座標列の入力に先立って、これから入力される座標列が移動的特徴であるという指定がなされたか否かを判断する(ステップS721)。具体的には、操作者によって移動的特徴の入力用の専用ボタンの操作がなされたか否かを判断する。移動的特徴であるという指定がなされた場合(ステップS721;Y)は、その直後に入力された座標列を移動的特徴を表すものとして座標列記憶部421に記憶する(ステップS723)。このとき、既に座標列記憶部421に移動的特徴を示す座標列が記憶されていれば、それに上書き記憶する。移動的特徴であるという指定がなされていなければ(ステップS721;N)、入力座標列を図形的特徴を表すものとして座標列記憶部421に順次追加記憶する(ステップS722)。図形的特徴の座標列は、入力された数だけ1つまたは複数記憶される。座標列入力部411は、次に、座標列の入力終了の指示があったか否かを判断し(ステップS724)、入力終了の指示があったならば(Y)、この入力処理を終了する。入力終了の指示がなければ(ステップS724;N)、ステップS721の処理に戻る。なお、入力終了の指示は、例えば操作者により入力終了を示す所定の操作入力がなされることにより行われる。
【0263】
本変形例における入力処理では、移動的特徴が入力されずに図形的特徴のみが入力される場合もある。その場合には、特徴の算出処理は、移動的特徴については行わずに、図形的特徴についてのみ行う。特徴の算出処理以降の処理は、上述の第3の実施の形態と同様である。
【0264】
以上説明したように、本変形例によれば、入力された座標列を図形的な特徴の算出に用いるのか、移動的な特徴の算出に用いるのかを操作者の指示により区別するようにしたので、操作者は、所望の映像特殊効果の指定をより正確に行うことができる。また、入力座標列を図形的特徴のみを指示するものとして使用したい場合と、図形的特徴に加えて移動特徴を指示するものとして使用したい場合との双方の入力に対応した処理ができる。
【0265】
<第2の変形例>
上記第3の実施の形態では、図形的特徴に加えて移動的特徴の入力を必ず行うために、複数の入力座標列を入力する必要があった。また、上記第1の変形例では、入力座標列を図形的特徴の算出に用いるのか、あるいは移動的特徴の算出に用いるのかについて、操作者による二者択一的な指定を必要としていた。本変形例では、入力座標列が必ずしも複数になるとは限らない。また本変形例では、座標入力時において、入力座標列を図形的特徴の算出に用いるのか、あるいは移動的特徴の算出に用いるのかを指定するための操作入力は不要である。
【0266】
図30は、本変形例での全体的な動作の概要を示すものである。図30は、図4の流れ図に対応している。まず、操作部10は、座標列入力部411の機能によって、操作者から1または複数(c回)の座標列の入力を受ける(ステップS731)。なお、“c”は、1以上の整数である。入力された座標列のデータは、座標列記憶部421に一時的に記憶される。次に、座標列解析部412の機能によって、入力された座標列のデータを解析して各座標列の特徴(方向列)を算出する(ステップS732)。算出された特徴のデータは、特徴記憶部422に一時的に記憶される。次に、特徴比較部413の機能によって、履歴記憶部432の記憶内容から、ステップS732で算出したすべての座標列の特徴と一致するもの(各座標列から複数の方向列が算出されていれば、一つの座標列について一つの方向列と一致するもの)を探し、見つかればその特徴に対応する特殊効果の番号を選択候補として挙げる(ステップS733)。
【0267】
次に、特徴比較部413は、ステップS731での入力座標列の数が1つであるか複数であるか(c=1であるか否か)を判断する(ステップS734)。入力座標列の数が1つ(c=1)であれば(ステップS734;Y)、入力座標列が図形的特徴を指示するものであるとみなして、その図形的特徴が一致するものを種類保持部431から探し、対応する特殊効果の番号を選択候補として挙げ(ステップS735)、次に、ステップS738の処理へ進む。
【0268】
一方、入力座標列の数が複数であれば(ステップS734;N)、まず、入力された座標列がすべて図形的特徴を示すものとみなし、その図形的特徴が一致するものを種類保持部431から探し、対応する特殊効果の番号を選択候補として挙げる(ステップS736)。次に、c個の座標列(の特徴)のうち、最後のものを移動的特徴を示すものとみなすと共に、それ以外のc−1個のものは図形的特徴を示すものとみなして、それらの特徴が一致するものを種類保持部431から探し、対応する特殊効果の番号を選択候補として挙げ(ステップS737)、次に、ステップS738の処理へ進む。ステップS737の処理は、図27に示した比較処理と同様である。
【0269】
以降のステップS738,S739,S7310の処理は、それぞれ図4のステップS494,S495,S496に対応し、それぞれ同様の処理である。なお、ステップS7310における履歴記憶部432への記憶処理では、ステップS496と同様に、単に番号と方向列の組とを対応付けて記憶するだけで良く、その方向列が移動的特徴を示すものであるか否かについての情報は記憶する必要はない(ステップS733で履歴記憶部432の記憶内容を参照する際にも使用しないため)。
【0270】
以上説明したように、本変形例によれば、算出された座標列の特徴に関するデータを、図形的な特徴を示すものとして扱うのか、移動的な特徴を示すものとして扱うのかを自動的に判別して処理するようにしたので、例えば、入力座標列を図形的特徴の算出に用いるのか、あるいは移動的特徴の算出に用いるのかを指定するための操作入力が不要になるなどの利点がある。
【0271】
<具体例3-2>
次に、上記第2の変形例の機能を用いた種類指定方法の具体的な動作例を説明する。以下では、必要と思われる最小限の事柄についてのみ説明する。
【0272】
本具体例では、ワイプの種類として図31(A)〜(C)に示す30番、7番、20番の3種類のものがある場合を例に説明する。図31(A)〜(C)に示したワイプは、図16および図25(A),(B)に示した同一番号のものと同様の種類のものである。また、種類保持部431には、図形的特徴と移動的特徴とについて、それぞれ、「番号:方向列数:方向列」、「番号:方向列」の形式で、次の内容が記憶されているものとする。座標軸の方向は、右向きがX軸の正方向、下向きがY軸の正方向である。
【0273】
※図形的特徴:
30:1:(-,+),
7:1:(-,+),
20:2:(-,+),(+,+).
【0274】
※移動的特徴:
30:(+,+)(-,+),
7:(+,+),
20:(-,-),
20:(-,+).
【0275】
入力座標列としては、図32(A),(B)に示した2つの例について考える。図32(A),(B)では、入力座標列として座標点の軌跡を簡略化して示している。各座標列に付した“1”,“2”という番号は、座標列の入力の順序である。図32(A),(B)のそれぞれの例で、座標列は2つであるので、2番目の座標列が最後に入力された座標列となる。
【0276】
まず、図32(A)の例について説明する。図30のステップS732の処理により、1番目の座標列の特徴(を示す方向列)として、(-,+)が得られ、2番目の座標列の特徴として、(+,+)(-,+)が得られたものとする。この例では、入力座標列が2つ(c=2)であるから、ステップS736,S737の処理を行う。ステップS736の処理を行うと(2つの座標列を図形的特徴であるものとして調べると)、種類保持部431の記憶内容と一致するものはない。続いて、ステップS737の処理を行うと、1つ目の座標列の特徴が種類保持部431に記憶されている図形的特徴の30番と7番に一致し、2つめ(つまり最後)の座標列の特徴が移動的特徴の30番に一致する。従って、選択候補としては30番が出力される。
【0277】
次に、図32(B)の例について説明する。図30のステップS732の処理により、1番目の座標列の特徴(を示す方向列)として、(-,+)が得られ、2番目の座標列の特徴として、(+,+)が得られたものとする。この例でも、入力座標列が2つ(c=2)であるから、ステップS736,S737の処理を行う。ステップS736の処理を行うと、種類保持部431に記憶されている図形的特徴の20番と一致する。続いて、ステップS737の処理を行うと、1つ目の座標列の特徴(-,+)が種類保持部431に記憶されている図形的特徴の30番と7番に一致し、2つ目の座標列の特徴(+,+)が移動的特徴の7番に一致するので、7番が選択候補として挙げられる。従って、ステップS738での最終的な選択候補としてはステップS736で挙げられた20番と、ステップS737で挙げられた7番との2つが出力される。
【0278】
[第4の実施の形態]
次に、本発明の第4の実施の形態について説明する。なお、以下の説明では、上記第1〜第3の実施の形態における構成要素と同一の部分には同一の符号を付し、適宜説明を省略する。
【0279】
本実施の形態は、種類保持部431の記憶内容を固定したものとせずに、特徴の学習機能を持たせて、システムの運用時に順次書き込みしていくようにしたものである。
【0280】
上記各実施の形態では、履歴記憶部432に特徴が一致するものがなかった場合、特徴が種類保持部431の内容と一致したもののみを、入力座標列に対する特殊効果の種類の選択候補として出力していた。本実施の形態では、まず、入力座標列に対して(その特徴に関わらず)任意の番号の特殊効果の種類を選択可能とする。例えば、選択候補を画面に表示する際にすべての種類を表示するか、または別の方法(番号を数値で直接入力するなど)で指定可能とする。そして、入力座標列から算出した特徴と、選択された特殊効果の種類の番号との組み合わせがそれまでに種類保持部431にないものであった場合に、新たにその組み合わせを種類保持部431に順次追加していく。
【0281】
このような処理を行う構成とすれば、種類保持部431の記憶内容は、最初、初期状態では空でも良く、使用していくうちに、入力座標列の特徴に一致したものに関するデータが種類保持部431に蓄積されていくことになる。また、このような構成では、種類保持部431におけるデータ記憶の管理に既知の動的データ管理方法を適用することにより、履歴記憶部432が行っていた機能を種類保持部431に統合させることもできる。
【0282】
また、操作者の座標列入力の癖により、座標列の特徴と特殊効果の種類との組み合わせが操作者により様々に異なる場合でも、運用中に、その組み合わせを順次追加記憶していくことにより、所望の特殊効果の種類を容易に選出できる。
【0283】
なお、本発明は、上記各実施の形態に限定されず種々の変形実施が可能である。例えば、上記各実施の形態では、特殊効果の種類の選択対象がワイプである例について説明したが、本発明は、入力座標列の特徴によってその種類の判別ができる性質の特殊効果であれば、ワイプ以外のものに対しても適用可能である。例えば、映像に字幕を付与するような特殊効果の指定を行う場合にも適用可能である。この場合、例えば、字幕が流れる方向や字幕の流れる軌跡の形状の指定などを行うときなどに適用できる。また、映像を回転させるような特殊効果(の回転方向)の指定を行う場合などにも本発明は適用可能である。また、上記各実施の形態では、図形的特徴のみ、または図形的特徴と移動的特徴との双方を考慮して種類の選択を行うようにしたが、入力座標列から算出する特徴を移動的特徴のみにしても良い。さらに、本発明は、映像特殊効果システムに限らず、図形認識が必要とされる他の装置にも広く適用することが可能である。
【0284】
また、上記各実施の形態においては、種類保持部431に番号と方向列(の組)とを、複数、どれも対等に優先順位なく記憶して使用する例について説明した。これに対して、優先順位を付けて記憶し、方向列が一致したものの中から、優先順位の高いもの順に選択候補として表示することもできる。優先順位の付け方は、あらかじめ設定しておいても良いし、履歴記憶部432と同様に最近選択されたものを優先順位を高くするような動的な設定を行っても良い。優先順位を付けて記憶することで、選択のために表示する順序をより適切な順序とすることができる。すなわち、入力座標列に対して選択候補として、より指定される可能性の高い種類を先に表示し、指定される可能性の低い種類は後の方に表示する。操作者は、先に表示された種類の方を容易に優先的に選択できる。従って、種類の指定を(高い確率で)容易にすることができ、より操作性が向上する。
【0285】
また、上記各実施の形態では、入力座標列から何らかの特徴を得る方法について、比較的簡単なアルゴリズムによる処理で単純な方向の順列を得る例を示した。しかしながら、特徴の算出は、より複雑な種々の公知の技術(手書き文字認識の技術など)を用いても実現できる。例えば、特許第2765514号公報に記載の手書き記号認識システムなどの技術を利用することができる。
【0286】
また、上記各実施の形態に示した処理方法を適宜組み合わせた処理を行うようにしても良い。
【0287】
【発明の効果】
以上説明したように、請求項1ないし6のいずれか1項に記載の座標列の特徴算出方法によれば、入力された各座標列ごとに極大極小点を選出し、始点から終点に向かって順番に、隣接する極大極小点間の部分的な座標列における座標値の変化の方向を、X方向とY方向とのそれぞれについて正、負または0の値を持つ方向要素を少なくとも1つ用いて表し、その方向要素が1つ以上組み合わされて構成された方向要素の列を、部分的な座標列ごとに1つ以上生成し、生成された隣接する極大極小点間についての方向要素の1つ以上の列を、各座標列ごとに、始点から終点に向かって順番に結合し、その結合された1つ以上の列のデータを、各座標列の特徴を示すデータとして出力するようにしたので、座標列の特徴の算出を簡易に行うことができる。この簡易な特徴算出処理は、例えば映像特殊効果装置において所望の映像特殊効果の種類や動作を指定する場合などに利用可能である。
【0288】
特に、請求項5記載の座標列の特徴算出方法によれば、各極大極小点間についての方向要素の列を結合する場合に、結合した1つの列内に同一の方向要素が連続して生成されたときには、連続する方向要素のうち1つのみを残して他は削除する処理を行うようにしたので、特徴として出力されるデータ量の削減を図ることができる。また、データ量が削減されることにより処理の高速化を図ることができる。
【0289】
また、請求項7ないし18のいずれか1項に記載の映像特殊効果装置の制御方法または請求項19ないし30のいずれか1項に記載の映像特殊効果装置の制御システムによれば、入力された各座標列を解析して、その特徴を算出し、次に、算出された各座標列の特徴に基づいて、実行させるべき映像特殊効果を選出し、その選出された映像特殊効果を実行させるよう映像特殊効果装置を制御するようにしたので、所望の映像特殊効果を容易にかつ短時間で指定することができる。例えば映像特殊効果装置で実行可能な特殊効果の種類が増えたとしても、単にメニュー表示から所望の映像特殊効果を選択する従来の方式に比べて、所望の映像特殊効果を指定するまでの時間を短縮することができ、作業効率を向上させることができる。
【0290】
特に、請求項14に記載の映像特殊効果装置の制御方法または請求項26に記載の映像特殊効果装置の制御システムによれば、座標列の特徴を算出するときに、各座標列ごとに、その図形的な特徴または移動的な特徴を示すデータを算出し、映像特殊効果を選出するときに、図形的な特徴または移動的な特徴の少なくとも一方の特徴が一致する映像特殊効果を選出するようにしたので、例えば図形的な特徴のみでは区別が困難な種類の映像特殊効果を、移動的な特徴により区別して指定することができる。
【0291】
また特に、請求項16に記載の映像特殊効果装置の制御方法または請求項28に記載の映像特殊効果装置の制御システムによれば、算出された各座標列の特徴に関するデータを、図形的な特徴を示すものとして扱うのか、移動的な特徴を示すものとして扱うのかを自動的に判別して処理するようにしたので、例えば、座標入力時において、入力座標列を図形的特徴の算出に用いるのか、あるいは移動的特徴の算出に用いるのかを指定するための操作入力が不要になるなどの利点がある。
【0292】
また特に、請求項18に記載の映像特殊効果装置の制御方法または請求項30に記載の映像特殊効果装置の制御システムによれば、最終的に選出された映像特殊効果の種類を示すデータと、その種類の算出に用いられた座標列の特徴を示すデータとを対応付けて履歴データとして記憶するようにしたので、一度最終的に選出された映像特殊効果については、次回以降の処理において、優先的に選出することができ、操作性の向上を図ることができる。
【図面の簡単な説明】
【図1】本発明の第1の実施の形態に係る映像特殊効果システムの全体構成を示すブロック図である。
【図2】図1に示した映像特殊効果システムにおける映像特殊効果部の内部構造の一例を示すブロック図である。
【図3】図1に示した映像特殊効果システムにおける操作部の機能的な構成を示すブロック図である。
【図4】図3に示した機能構成による動作の概要を示す流れ図である。
【図5】図4における特徴の算出処理の全体的な手順を示す流れ図である。
【図6】図5の特徴の算出処理における極大極小点の選出処理の詳細を示す流れ図である。
【図7】特徴の算出処理に用いられる極大極小点の概念について示す説明図である。
【図8】図5の特徴の算出処理における一次元図形の判定処理の概念を示す説明図であり、(A)は、Y方向に一次元図形であることを示し、(B)は、X方向に一次元図形であることを示している。
【図9】図5の特徴の算出処理におけるX方向の一次元図形についての方向列の出力処理の例を示す流れ図である。
【図10】図9の処理によって出力される方向列の具体例を示す説明図であり、(A)は、入力座標列の例を示し、(B)は、(A)に示した入力座標列に基づいて出力される方向列の例を示している。
【図11】極大極小点の近傍が垂直であることを示す説明図であり、(A)は後方垂直の例、(B),(C)は前方垂直の例を示している。
【図12】図5の特徴の算出処理における垂直の判定処理の例を示す流れ図である。
【図13】図12に示した判定処理に続く流れ図である。
【図14】二次元図形の方向列の出力処理の概要を示す流れ図である。
【図15】図14に示した処理における方向列の生成処理の流れをより詳しく示した流れ図である。
【図16】図1に示した映像特殊効果システムにおいて実行する映像特殊効果の一例としてのワイプの種類を示す説明図である。
【図17】図4の特徴の比較処理をより詳しく示した流れ図である。
【図18】図17に示した特徴の比較処理に続く流れ図である。
【図19】特殊効果の種類を選択、指定させるための選択用画面の表示例を示す説明図である。
【図20】特殊効果の種類を確定させるための確定用画面の表示例を示す説明図である。
【図21】本発明の第1の実施の形態についての第1の具体例(具体例1-1)での入力座標列を示す説明図である。
【図22】本発明の第1の実施の形態についての第1の具体例での選択用画面の表示例を示す説明図である。
【図23】本発明の第1の実施の形態についての第2の具体例(具体例1-2)での入力座標列を示す説明図である。
【図24】本発明の第2の実施の形態に係る映像特殊効果システムの機能により、複数の座標列の入力を受けてその種類の指定が行われることが妥当なワイプの例を示す説明図である。
【図25】本発明の第3の実施の形態に係る映像特殊効果システムの機能により、移動的特徴を示す座標列の入力を受けてその種類の指定を行うことが妥当なワイプの例を示す説明図である。
【図26】図25に示したワイプによる映像の時間的な変化を模式的に示す説明図である。
【図27】本発明の第3の実施の形態における特徴比較部の機能によって行われる、図形的特徴と移動的特徴とに関する特徴の比較処理を示す流れ図である。
【図28】本発明の第3の実施の形態についての第1の具体例(具体例3-1)での入力座標列を示す説明図である。
【図29】本発明の第3の実施の形態についての第1の変形例での座標列の入力処理を示す流れ図である。
【図30】本発明の第3の実施の形態についての第2の変形例での全体的な動作の概要を示す流れ図である。
【図31】第2の変形例についての具体例(具体例3-2)で用いるワイプの種類を示す説明図である。
【図32】第2の変形例についての具体例での入力座標列を示す説明図である。
【図33】従来の映像特殊効果システムの構成例を示すブロック図である。
【図34】従来の映像特殊効果システムで用いられるメニュー表示画面の例を示す説明図である。
【符号の説明】
1…映像特殊効果システム、10A,10B…操作部、101…映像特殊効果部、102…主制御部、105A,105B…操作制御部、106A,106B…表示部、109A,109B…操作入力部、107A,107B…主入力部、108A,108B…座標入力部、113(113A,113B)…着脱部、116…特殊効果種類保持部、117…入力映像信号、118…出力映像信号、410…処理機能部、411…座標列入力部、412…座標列解析部、413…特徴比較部、414…種類指定部、420…一時記憶部、421…座標列記憶部、422…特徴記憶部、423…種類候補記憶部、430…不揮発性記憶部、431…種類保持部、432…履歴記憶部。[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a coordinate sequence feature calculation method for calculating the characteristics of an input coordinate sequence, a video special effect device control method for causing a video special effect device to execute a desired video special effect, and video The present invention relates to a control system for special effect devices.
[0002]
[Prior art]
Conventionally, for example, a broadcast station or the like has used a video special effect device for the purpose of generating a video for broadcasting. The video special effect device has a function of performing various video special effects on an input video and outputting the video. A video processing system constructed using a video special effect device is called a video special effect system. In a conventional video special effect system, for example, the type of video special effects prepared by the system is displayed in a list on a predetermined menu display screen, and the desired video special effect is selected from the list. The effect type was specified. As an example of specifying the type of video special effect by such menu display, for example, as shown in FIG. 17 of Japanese Patent Laid-Open No. 5-300426, “Computer-use interactive menu operation video signal processing apparatus and method” There is something. As another conventional technique, there is a method in which a number is assigned to each type of video special effect and the type is specified by inputting the number from a numeric keypad or the like.
[0003]
FIG. 33 shows a configuration example of a conventional video special effect system in which the type of video special effect is designated by menu display. This system includes a video
[0004]
The
[0005]
The special effect
[0006]
In the system having such a configuration, when the type of the video special effect is designated, the following operation is performed. First, the
[0007]
FIG. 34 shows a graphic representation of the types of video special effects as a specific example of the menu display screen. The
[0008]
[Problems to be solved by the invention]
By the way, in recent years, with the advancement of video special effect technology, there are a great number of types of video special effects that can be used in the system. For this reason, in the method of selecting a special effect from the menu display as in the above prior art, the menu display must be divided into a number of screens. Then, the operator must switch among a number of divided menu display screens to find a screen on which a desired special effect is displayed, and give a selection instruction in the screen display. Therefore, in this method, when the types of special effects increase, it takes time and effort to specify a desired special effect, and there is a problem that work efficiency is lowered. In this case, it is possible to solve the problem to some extent by making the display screen large and high resolution, but there is a problem that an excessively large screen is expensive, takes up space, and is not necessarily easy for the user to use. .
[0009]
In view of this, it is conceivable that a graphic pattern indicating the type of special effect that has been conventionally displayed in a list is simply expressed by a coordinate input locus by various pointing devices and used to specify the type of video special effect. A technique for calculating and recognizing a feature of a coordinate input trajectory has been conventionally used in an OCR (optical character reader), a handwritten character recognizer, and the like. However, the feature calculation / recognition technique used in such an apparatus requires a complicated process to cope with a complicated input pattern. On the other hand, the designation of the type of the video special effect only needs to recognize a simple graphic pattern (feature) that has been determined in advance, so that a complicated processing technique such as OCR is not necessarily required. In order to designate the type of the video special effect, a simple feature calculation and recognition technique optimized for it is desired.
[0010]
The present invention has been made in view of such problems, and a first object thereof is a simple feature calculation process that can be used when, for example, a video special effect type or operation is designated in a video special effect device. It is an object of the present invention to provide a feature calculation method of a coordinate sequence that can realize the above. A second object of the present invention is to provide a video special effect device control method and a video special effect device control system capable of easily and quickly specifying a desired video special effect.
[0011]
[Means for Solving the Problems]
The present inventionRelated to the first to third aspects ofThe feature calculation method of the coordinate sequence includes a step of inputting at least one coordinate sequence composed of a plurality of coordinate points having an X component and a Y component as coordinate components, a coordinate point of a starting point for each input coordinate sequence, Selecting the coordinate point of the end point and the coordinate point that is maximal or minimal in at least one of the X direction or the Y direction between the start point and the end point as a maximum and minimum point, and sequentially from the start point to the end point , Representing the direction of change in coordinate values in a partial coordinate sequence between adjacent local maximum and minimum points using at least one directional element having a positive, negative, or zero value for each of the X and Y directions, Generating a sequence of one or more directional elements each composed of a combination of one or more directional elements for each partial coordinate sequence; and generating one or more sequences of generated directional elements into each coordinate sequence Every Bound to order from the start point to the end point, the data of the combined one or more columns, is intended to include a step of outputting as data indicating the characteristics of each coordinate sequence.
[0012]
The present inventionConcerning the first aspect ofIn the feature calculation method of the coordinate sequence, first, for each input coordinate sequence, the maximum coordinate point in at least one of the X direction or the Y direction between the start point coordinate point, the end point coordinate point, and the start point and the end point is determined. The coordinate point that is the minimum is selected as the maximum / minimum point.
[0013]
In this maximum and minimum point selection process,For both the front and rear of the own point, coordinate points that are larger or smaller than the predetermined threshold in the X direction or the Y direction simultaneously exist, and the own point is within the coordinate range of the predetermined threshold. When at least one of the direction and the Y direction is the maximum or minimum, the point is processed as a maximum / minimum point. Here, the threshold value is set in order to prevent the input coordinate sequence from being shaken due to, for example, the shake of the coordinate input device or the shake of the hand, and this causes an unintended maximum / minimum point. The threshold value may be a fixed value. For example, the threshold value may be calculated by multiplying the size of the minimum rectangle including the coordinate input area or coordinate sequence by a certain ratio according to the characteristics of the input device. preferable.
[0014]
The present inventionConcerning the first aspect ofIn the feature calculation method of the coordinate sequence, next, in order from the start point to the end point, the change direction of the coordinate value in the partial coordinate sequence between the adjacent maximum and minimum points is about the X direction and the Y direction, respectively. Expressed using at least one directional element having a positive, negative or zero value. Specifically, for example, when the change of the coordinate value is the positive direction of the X axis, the change direction is expressed as (+, 0), and when the change of the coordinate value is the negative direction of the X axis, the change The direction of is expressed as (-, 0). In the present invention, each piece of data expressed in the form of “(*, *)” expressed in this way is called a “direction element”. One or more directional element sequences configured by combining one or more directional elements are generated for each partial coordinate sequence. The generation of the directional element sequence is performed for each coordinate sequence between adjacent maximum / minimum points, and thus is performed by subtracting 1 from the total number of maximum / minimum points for each coordinate sequence.
[0015]
Here, a plurality of rows of direction elements may be generated between specific adjacent maximum and minimum points. For example, there are two types of columns, one column consisting of one directional element that is positive in the X direction and one positive in the Y direction, and one column consisting of one directional element that is positive in the X direction and zero in the Y direction. In such a case, for example, both can be selected, and two feature data may be output at the last feature output.
[0016]
In addition, a plurality of directional element columns may be generated between a plurality of adjacent maximum and minimum points. Therefore, for example, when there are four local maximum points and two direction element columns are generated in three adjacent portions, the characteristic data is 2 to the cube of one coordinate string, that is, Eight are output. However, the data indicating the features are not necessarily different. In this case, data having the same contents may be deleted.
[0017]
The present inventionConcerning the first aspect ofIn the feature calculation method of the coordinate sequence, next, one or more sequences of directional elements between adjacent maximum and minimum points are combined in order from the start point to the end point for each coordinate sequence, and the combined One or more columns of data are output as data indicating the characteristics of each coordinate column.
[0018]
The above feature calculation method of the coordinate sequence is used, for example, when designating the type and operation of the video special effect. In this case, for example, the data regarding the feature of each coordinate sequence calculated is compared with the data regarding the feature for each video special effect stored in the storage unit in advance, and the video special effect whose feature matches is selected. The desired video special effect can be designated with.
[0019]
Preferably, in the case of linking the directional element rows between the local maximum and minimum points, when the same directional element is continuously generated in the combined single row, one of the continuous directional elements is selected. It is better to leave the rest and delete others. As a result, the amount of data indicating the feature can be reduced. In addition, for example, when this feature calculation method is applied to a video special effect system, it is possible to easily reduce the storage capacity of a storage unit that stores data related to the feature for each video special effect. It is possible to easily reduce the time required for the comparison process.
[0020]
In the coordinate string feature calculation method according to the second aspect of the present invention,In the step of outputting characteristic data, when two or more columns of data are obtained as a result of combining the columns of direction elements, the number of directional elements included in each column is the smallest (column length Is output as data showing the characteristics with priority given toTheFor example, leave only the shortest column,Other feature data may be ignored. Also, for example, when applied to a video special effect system, when matching is found as a result of feature comparison processing, priority is given to matching with the shorter feature. Also good.
[0021]
The present inventionPertaining to the third aspect ofCoordinate sequence feature calculation methodIn the step of generating a sequence of directional elements, a coordinate sequence within a predetermined range existing in front of a local maximum / minimum point located relatively rearward among adjacent local maximum / minimum points is positioned relatively forward. Processing to determine whether the direction of displacement of the coordinate value is horizontal, vertical, or neither horizontal nor vertical for each coordinate sequence within a predetermined range that exists behind the local maximum and minimum points And a process of determining the magnitude relationship of the X coordinate and the magnitude relationship of the Y coordinate between adjacent maximum and minimum points.Furthermore, a process for setting a minimum rectangular area including each coordinate sequence and determining whether each coordinate sequence is a one-dimensional figure or a two-dimensional figure based on the aspect ratio of the rectangular area. May be performed. The direction element sequence generation processing may be processed differently depending on whether the coordinate sequence is a one-dimensional graphic or a two-dimensional graphic.
[0022]
The present inventionRelated to the first to third aspects ofThe control method of the video special effect device includes a step of inputting at least one coordinate sequence, a step of analyzing each input coordinate sequence and calculating its feature, and a feature of each calculated coordinate sequence And selecting a video special effect to be executed and controlling the video special effect device to execute the selected video special effect.The step of calculating the feature of the coordinate sequence in the control method of the video special effect device according to the first aspect of the present invention is the same as the feature calculation method of the coordinate sequence according to the first aspect of the present invention. The step of calculating the feature of the coordinate sequence in the control method of the video special effect device according to the second aspect of the present invention is the same as the feature calculation method of the coordinate sequence according to the second aspect of the present invention. The step of calculating the feature of the coordinate sequence in the control method of the video special effect device according to the third aspect of the present invention is the same as the feature calculation method of the coordinate sequence according to the third aspect of the present invention.
[0023]
Also,According to the first to third aspects of the present inventionThe control system of the video special effect device includes coordinate sequence input means for inputting at least one coordinate sequence, and coordinate sequence analysis for analyzing each coordinate sequence input by the coordinate sequence input means and calculating its characteristics Means, a feature comparison means for selecting a video special effect to be executed based on the feature of each coordinate sequence calculated by the coordinate sequence analysis means, and a video special effect for executing the video special effect selected by the feature comparison means And a control means for controlling the effect device.The coordinate sequence analyzing means in the control system for the video special effect device according to the first aspect of the present invention performs the same processing as the feature calculation method for the coordinate sequence according to the first aspect of the present invention. The coordinate sequence analysis means in the control system for the video special effect device according to the second aspect of the present invention performs the same processing as the coordinate sequence feature calculation method according to the second aspect of the present invention. The coordinate sequence analysis means in the control system of the video special effect device according to the third aspect of the present invention performs the same processing as the feature calculation method of the coordinate sequence according to the third aspect of the present invention.
[0024]
The present inventionRelated to the first to third aspects ofIn the video special effect device control method and the video special effect device control system, at least one coordinate string is input, and each input coordinate string is analyzed and its characteristics are calculated. Then, based on the calculated feature of each coordinate sequence, a video special effect to be executed is selected.
[0025]
In the process of calculating the feature of the coordinate sequence, for example, data indicating a graphic feature or a moving feature of the coordinate sequence is output. It should be noted that at the stage of inputting the coordinate sequence, it may be specified in advance whether the coordinate sequence is used for calculating the graphic feature or the moving feature.
[0026]
The selection of the video special effect to be executed is related to, for example, data relating to the calculated feature (graphical or moving feature) of each coordinate sequence and the feature for each video special effect stored in the storage unit in advance. This is done by comparing with data and selecting video special effects whose characteristics match. For example, the storage means may store a number indicating the type of the video special effect and data indicating the characteristics of the video special effect in association with each other.
[0027]
If multiple video special effects with the same characteristics are selected when selecting a video special effect, control which video special effect is to be executed among the selected video special effects. It is desirable to let the person choose and specify.
[0028]
In addition, a process of automatically determining whether the data relating to the calculated feature of each coordinate sequence is handled as indicating a graphic feature or as indicating a moving feature may be performed.
[0029]
The video special effect device is controlled to execute the video special effect selected as described above.
[0030]
Preferably, the data indicating the type of the video special effect finally selected and the data indicating the characteristics of the coordinate sequence used for calculating the type are associated and stored as history data.
[0031]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
[0032]
[First Embodiment]
FIG. 1 shows the overall configuration of a video special effect system according to the first embodiment of the present invention. The video
[0033]
The video
[0034]
The video
[0035]
FIG. 2 shows an example of the internal structure of the video
[0036]
For example, seven input video signals 117 (S1 to S7) are input to the video
[0037]
Each of the buses 215 and 216 selects one of the seven input video signals S <b> 1 to S <b> 7 and outputs it to the
[0038]
The
[0039]
Note that the configuration of the video
[0040]
Returning to FIG. 1 again, the configuration of each part of the system will be described. The
[0041]
The operation unit 10 (10A, 10B) includes an operation control unit 105 (105A, 105B), a display unit 106 (106A, 106B), an operation input unit 109 (109A, 109B), and a special effect type holding unit 116 (116A). 116B).
[0042]
The
[0043]
The communication network 119 connects the
[0044]
The display unit 106 includes a cathode ray tube (CRT), a liquid crystal display device, and the like, and can display information necessary for operation graphically. The display unit 106 displays, for example, a menu screen for designating the type of special effect to be executed by the video
[0045]
The operation control unit 105 includes a microcomputer, and controls each component in the operation unit. The operation control unit 105 also transmits / receives various commands and various information to / from the
[0046]
The operation input unit 109 is for receiving various instruction inputs from the operator, and is directly operated by a system user (operator). The operation input unit 109 includes a main input unit 107 and a coordinate input unit 108. The main input unit 107 is used to perform main operation input of the system, and includes a general-purpose keyboard for a computer, an operation unit on which various operation switches are arranged, and the like.
[0047]
The coordinate input unit 108 is for an operator to input a coordinate sequence, and is configured by a tablet, for example. The tablet is a plate-like instrument having an input surface, and is attached with a pen-type input instrument (Stylus Pen). The tablet detects the movement (trajectory) of the pen on the input surface as data of continuous coordinate points (coordinate sequences). Data of the coordinate sequence input from the coordinate input unit 108 is transmitted to the operation control unit 105. As another configuration example of the coordinate input unit 108, an arbitrary pointing device such as a mouse or a trackball can be adopted. Alternatively, a touch pad may be used for the coordinate input unit 108. The touch pad is a planar pointing device, and detects, for example, a locus of contact by an operator's finger as coordinate sequence data. Regardless of the pointing device, the input of the coordinate sequence is basically a start operation (touching the input surface with a pen or pressing a mouse button), movement (drag operation with the mouse, etc.), end operation (pen Up, and back up the mouse button). A coordinate string is input based on the coordinate values at the start and end of input and the coordinate values obtained periodically during movement. Note that the drag operation with the mouse means that the mouse is moved while the mouse button is being pressed.
[0048]
The special effect type holding unit 116 stores information on types of special effects such as wipes that can be executed in the video special effect unit 101 (video expressions that are gradually switched to the next video as the current video is wiped). Pre-held for each type of special effect. The special effect type holding unit 116 physically secures a memory area. More specifically, the special effect type holding unit 116 is realized as an area in a memory configured to be accessible from a microcomputer configuring the operation control unit 105. The special effect type holding unit 116 is preferably configured by a nonvolatile storage device.
[0049]
The contents stored in the special effect type holding unit 116 may be set when the system is installed, or may be set by receiving necessary data from the
[0050]
The present embodiment provides an input environment that allows the
[0051]
FIG. 3 shows a functional configuration of the
[0052]
The
[0053]
The
[0054]
The
[0055]
The stored contents of the
[0056]
The function of the configuration shown in FIG. 3 is realized by the operation of each component connected to the operation control unit 105 shown in FIG. 1 or the microcomputer of the operation control unit itself. The correspondence relationship between the components shown in FIG. 1 and the functional configuration shown in FIG. 3 will be described. The coordinate
[0057]
Here, the feature calculation method of the coordinate sequence, the video special effect device control method, and the video special effect device control system according to the present invention are realized mainly by the processing performed by each function shown in FIG. 3 or the configuration of each function block. Is done. However, the “step for controlling the video special effect device” in the control method of the video special effect device of the present invention and the “control means” in the control system of the video special effect device of the present invention are the
[0058]
Next, the operation of the video
[0059]
First, the overall operation of the
[0060]
If the content instructed by the operator is an instruction to the video
[0061]
Next, an operation using the function of the
[0062]
First, with reference to FIG. 4, an outline of operation by the function shown in FIG. 3 will be described. First, the
[0063]
Next, the
[0064]
Next, the operation of each part of the function shown in FIG. 3 will be described in detail.
[0065]
<Feature (direction sequence) calculation process>
First, the function of the feature calculation process (step S492 in FIG. 4) by the coordinate
[0066]
FIG. 5 shows the flow of the overall procedure of the feature calculation process. First, the coordinate
[0067]
Next, the processing of each step in FIG. 5 will be specifically described. First, the preprocessing in step S501 will be described. In the following, an input coordinate sequence (point sequence) is represented by a sequence of (x0, y0), (x1) of a pair (x, y) of two numerical values represented by coordinates x and coordinates y in an X, Y orthogonal coordinate system. , Y1), (x2, y2), ..., (xn, yn) ". Note that n represents an integer of 0 or more. Normally, the first input point is (x0, y0), and the last input point is (xn, yn). In step S501, a rectangle (rectangle) including this coordinate sequence is calculated, its width (difference between the maximum value and minimum value of the X coordinate) is set to wx, and the height (difference between the maximum value and minimum value of the Y coordinate). ) As wy. Further, as in the following expression (1), the larger value of the width wx and the height wy is set to w.
w = max (wx, wy) (1)
[0068]
Further, values d, f, and L defined by the following equations (2A), (2B), and (2C) are obtained.
d = w / 5 (2A)
f = w / 16 (2B)
L = w / 4 (2C)
[0069]
In addition, the definition formula (ratio with respect to w) of the value d, f, L is not limited to said formula. As for the values d, f, and L, it is desirable to select optimum values depending on the type of input device used for inputting the coordinate string. However, the values d, f, and L satisfy at least the following two expressions (3A) and (3B).
f <d (3A)
f <L (3B)
[0070]
(Maximum / minimum selection process)
Next, the maximum / minimum point selection process (step S502 in FIG. 5) will be described. In step S502, a point having a maximum or a minimum in the X direction or the Y direction is selected from the coordinate sequence. This selected point is called “maximum minimum point”. In this maximum / minimum point selection processing, for example, coordinate points that are larger or smaller than a predetermined threshold value d in the X direction or the Y direction simultaneously exist in both the front and the rear of the own point, and the own point. Is at the maximum or minimum in at least one of the X and Y directions within a predetermined threshold coordinate range, the point is processed as a local maximum and minimum point.
[0071]
Specifically, the concept of local maximum is almost as shown in FIG. That is, in the coordinate sequence, before and after the point k (xk, yk), there exist a point i (xi, yi) and a point j (xj, yj) whose X coordinate is smaller than a predetermined threshold value d (xk). −xi ≧ d, xk−xj ≧ d), and the point k is the maximum in the X direction (point) when the X coordinate value of the point k is the maximum among the points between the points i and j. Suppose that there is (where 0 ≧ j> j ≧ n). In the same way of thinking, the case where the direction is reversed is assumed to be a minimum (point) in the X direction. The same applies to the Y direction. In the above description, “before” the point k means a direction in which the variable value is decreased with respect to k, and “after” the point k means a direction in which the variable value is increased with respect to k.
[0072]
The first point (start point) of the point sequence (coordinate sequence) is unconditionally included in the local maximum and minimum points. Further, the last point (end point) is determined on the condition of only one side of the above condition (only the point i side).
[0073]
It should be noted that the threshold d is set in the selection process of the local maximum / minimum point, for example, that the input coordinate string is shaken due to the shake of the coordinate input device or the shake of the hand, and this causes an unintended maximum / minimum point. This is to prevent it. The threshold value may be a fixed value. For example, the threshold value may be calculated by multiplying the size of the minimum rectangle including the coordinate input area or coordinate sequence by a certain ratio according to the characteristics of the input device. preferable.
[0074]
FIG. 6 shows an example of a process for determining whether or not the point k (xk, yk) is maximal in the X direction. In the processing of FIG. 6, r, i, and j are used as integer variables (subscripts of coordinates (x, y)). First, as a preparation, the coordinate
[0075]
On the other hand, when i ≧ r (step S5103; Y), the coordinate
[0076]
When the condition xk−xi ≧ d is not satisfied (step S5105; N), the variable i is set to i−1, that is, the variable i is set to the previous point (point where the variable value is further decreased by one). ) (Step S5106), the process returns to step S5103.
[0077]
On the other hand, when the condition of xk−xi ≧ d is satisfied (step S5105; Y), the condition on one side (the condition for the point xi having a smaller variable value than the point k) is satisfied, and thus the process proceeds to step S5107 and subsequent steps. Then, the determination process is performed for the other side (condition for the point xj having a larger variable value than the point k). In this determination process, first, the variable j is set to k + 1 (subscript of the next point (point where the variable value is increased by one from k)) (step S5107). Next, the coordinate
[0078]
When the condition xk−xj ≧ d is not satisfied (step S5110; N), the variable j is set to j + 1, that is, the variable j is set to the next point (the point where the variable value is further increased by 1). Subscripts are set (step S5111), and the process returns to step S5108. On the other hand, if the condition xk−xj ≧ d is satisfied (step S5110; Y), the condition on the other side (the condition for the point xj on the side where the variable value is larger than the point k) is satisfied after one side. , Point k is determined to be a local maximum point in the X direction (step S5113).
[0079]
Although FIG. 6 shows the determination of whether or not the point is a maximum point, the determination of whether or not the point is a minimum point is the same. In the case of determining whether or not the point is the minimum point, the inequality signs of the determination formulas in steps S5104 and S5109 are reversed, and the order of subtraction of the left side of the determination formulas in steps S5105 and S5110 is reversed, respectively. xk "and" xj-xk ". Further, the maximum / minimum point determination process in the Y direction is the same as the determination process in the X direction (x in each determination formula may be replaced with y).
[0080]
The coordinate
[0081]
In the following description, the maximum and minimum points (subscripts) selected from the original point sequence by the above method are expressed as “s0, s1, s2,.
[0082]
(Judgment processing for one-dimensional figures)
Next, the one-dimensional figure determination process (step S503 in FIG. 5) will be described. The coordinate
[0083]
(Output processing of direction row of one-dimensional figure)
Next, the output process (step S506 in FIG. 5) of the direction row of the one-dimensional figure will be described. In the case of a one-dimensional figure (step S503 in FIG. 5; Y), data indicating the change direction of the coordinate string in either the X direction or the Y direction is output, and the data string indicating the change direction ( (Direction sequence) is a feature of the coordinate sequence. First, a case where the coordinate sequence is a one-dimensional figure in the X direction will be described. In the present embodiment, when the change in the coordinate value from one maximal minimum point to the next maximal minimum point is the positive direction of the X axis, the direction of the change is expressed as (+, 0), and the X axis If the direction is negative, the direction of the change is expressed as (-, 0). This is examined by tracing all local maximum and minimum points in order from the first point, and the data in the direction column represented by (+, 0) or (-, 0) is output as the data in the direction column. The same applies to the case where the coordinate string is a one-dimensional figure in the Y direction. That is, when the change is in the positive direction of the Y axis, the change direction is expressed as (0, +), and when the change is in the negative direction of the Y axis, the change direction is expressed as (0,-). Then, the data in the direction column represented by (0, +) or (0, −) is output as the direction column data.
[0084]
FIG. 9 shows an example of output processing of a direction string for a one-dimensional figure in the X direction. In FIG. 9, the input to the process is a local maximum or minimum, ie, subscripts s0, s1, s2,. . . , Sm. Here, i is used as an integer variable for m of the maximum and minimum points. First, the coordinate
[0085]
10A and 10B show specific examples of the data in the direction column output by the processing in FIG. When there are four maximum points (s0 to s3) as shown in FIG. 10A, and each point has a positional relationship as shown in FIG. )become that way. For example, from the point s0 to the point s1, since the X coordinate of the point s1 changes in the positive direction with respect to the point s0 (the X coordinate increases), (+, 0) is output. Conversely, from the point s1 to the point s2, the X coordinate of the point s2 changes in the negative direction with respect to the point s1 (the X coordinate is a phenomenon), so (−, 0) is output.
[0086]
The process for the one-dimensional figure in the Y direction is the same. In the process of FIG. 9, x is replaced with y, (+, 0) is changed to (0, +), and (-, 0) is changed to (0, Replace with-). In the case of a one-dimensional figure, the feature calculation is completed by the above processing.
[0087]
The data of the column (one or more) in the direction between adjacent maximum and minimum points calculated as described above are combined in order from the start point to the end point, and the combined (one or more) Column data is output as data indicating characteristics of the entire coordinate column. In the examples of FIGS. 10A and 10B, the data indicating the characteristics of the entire coordinate sequence is (+, 0) (−, 0) (+, 0).
[0088]
In this way, each piece of data represented in the form of “(*, *)” generated in the present embodiment corresponds to a specific example of “direction element” in the present invention. The generation of the directional element sequence is performed between adjacent maximum and minimum points, and thus is performed by subtracting 1 from the total number of maximum and minimum points for one entire coordinate sequence. Here, a plurality of rows of direction elements may be generated between specific adjacent maximum and minimum points. For example, there are two types of columns, one column consisting of one directional element that is positive in the X direction and one positive in the Y direction, and one column consisting of one directional element that is positive in the X direction and zero in the Y direction. In such a case, for example, both can be selected, and two feature data may be output at the last feature output. In addition, a plurality of directional element columns may be generated between a plurality of adjacent maximum and minimum points. Therefore, for example, when there are four local maximum points and two direction element columns are generated in three adjacent portions, the characteristic data is 2 to the cube of one coordinate string, that is, Eight are output. However, the data indicating the features are not necessarily different. In this case, data having the same contents may be deleted.
[0089]
(Horizontal / vertical judgment processing)
Next, horizontal / vertical determination and detection processing (step S504 in FIG. 5) will be described. In the case of a two-dimensional figure (step S503 in FIG. 5; N), the coordinate
[0090]
FIGS. 11A to 11C are diagrams for explaining the outline of the concept that “the vicinity of the maximum and minimum points is vertical”. In FIGS. 11A to 11C, the point su (xsu, Ysu). Considering a section having a width f in the X direction from the maximum / minimum point su, when the width of the Y coordinate of the point included therein is larger than L in Expression (2C), the vicinity of the point su is vertical. . In FIG. 11A, a vertical condition is satisfied with respect to a series of points from the point su to the rear point (the direction in which the subscript (coordinate variable i) decreases, the point on the coordinate (x0, y0) side). It shows that. This is expressed as “the rear is vertical” of the point su. In FIG. 11B, a vertical condition is established for a series of points from the point su to the front point (the direction in which the subscript (coordinate variable i) increases, the point on the coordinate (xn, yn) side). It shows that. This is expressed as “the front is vertical” of the point su. FIG. 11C shows that the vertical condition is satisfied when the sections of the width f in front of and behind the point su are combined. In this case, it is assumed that the front of the point su is vertical. The concept of “horizontal” is the same.
[0091]
Note that the horizontal and vertical concepts described above are not mathematically strict definitions, and a specific definition is determined by the processing procedure shown below as “vertical”. The determination result is used for subsequent feature calculation processing. Since the final purpose is to select the type of video special effect by comparing the calculated features, the presence or absence of mathematical strictness of the concept used in the middle of the calculation does not affect the effect of the invention.
[0092]
12 and 13 show the procedure of the vertical determination process. 12 and 13, similarly to FIG. 11, a process for determining whether or not the coordinate sequence in the vicinity of the maximum / minimum point su is vertical will be described. Here, i is used as an integer variable of an arbitrary coordinate (x, y) in the coordinate sequence to be determined. X as a variable of the same type as the coordinate valuemax, Xmin, Lf, LbThe coordinate values and these variables are integers. xmax, XminRespectively represent the maximum value and the minimum value of the X coordinate in the coordinate sequence.
[0093]
The coordinate
[0094]
In step S5703, the coordinate
[0095]
Next, the coordinate
[0096]
Next, the process after step S5710 for determining whether or not the rear (coordinate sequence) of the point su is vertical will be described. The coordinate
That is, i = su-1.
[0097]
Next, the coordinate
[0098]
Next, the coordinate
[0099]
In step S5718, it is checked whether the sum of the value Lf and the value Lb is larger than L in the equation (2C). If it is larger than the value L (step S5718; Y), it is determined that the rear of the point su is vertical (step S5720). If it is less than or equal to the value L (step S5718; N), it is determined that it is not vertical (step S5721), and the determination process ends.
[0100]
The determination processing in FIGS. 12 and 13 described above determines whether or not the coordinate string in the vicinity of the point su is vertical, but determines whether or not the vicinity of the point su is horizontal. Can be done in the same way. In this case, in the determination processes of FIGS. 12 and 13, a process in which x and y are exchanged may be performed.
[0101]
The horizontal / vertical determination processing described above is performed for all the maximum and minimum points s0, s1, s2,. . . , Sm, whether or not the neighborhood is vertical and whether or not the neighborhood is horizontal are sequentially determined. Further, the result of determination is, for example, variables A0, A1,... Having three kinds of values “0”, “V” or “H”. . . , Am and B0, B1,. . . , Bm. For example, Au = V if the front of the maximum / minimum point su is vertical, Au = H if it is horizontal, and Au = 0 if neither. Similarly, if the back of the maximum / minimum point su is vertical, it is expressed as Bu = V, if it is horizontal, Bu = H, and if neither, it is expressed as Bu = 0. Therefore, for example, in step S5719 in FIG. 12, the coordinate
[0102]
(Output processing of direction row of 2D figure)
Next, the output process (step S505 in FIG. 5) of the direction row of the two-dimensional figure will be described. In the case of a two-dimensional figure, data indicating the two-dimensional change direction in the X direction and the Y direction is output, and a data string (direction string) indicating the change direction is a feature of the coordinate string. Data indicating direction (direction element) is finally (+, 0), (-, 0), (0, +), (0,-), (+, +), (-,-) , (+,-) And (-, +). The meanings represented by (+, 0), (-, 0), (0, +), (0,-) are the same as in the case of a one-dimensional figure. (+, +) Represents that the change direction of the coordinate value from one maximum minimum point to the next maximum minimum point is positive in both the X direction and the Y direction. (−, −) Indicates that the direction of change is negative in both the X direction and the Y direction. (+,-) Indicates that the direction of change is positive in the X direction and negative in the Y direction. (-, +) Indicates that the direction of change is negative in the X direction and positive in the Y direction.
[0103]
If the change in the coordinate sequence is very small and the change direction cannot be narrowed down to one, the output is divided into two direction sequences. For this reason, in this embodiment, in addition to the basic notation of “0”, “+”, “−”, “+0”, “−” obtained by mixing these basic notations as the notation of the direction of change. Two kinds of mixed notation of 0 ”are used. For example, (+ 0,-) is divided into two direction rows of (+,-) and (0,-). If (0, 0) is generated as a result of the separation processing of the direction string, the direction (0, 0) is deleted from the data of the direction string. For example, in the case of (+ 0, -0), it is divided into four (+,-), (+, 0), (0,-), (0,0), and four direction strings are generated. Is done. At this time, (0, 0) in the data indicating the fourth direction column is deleted from the output of the direction column. If the same direction continues in the data indicating the direction sequence when the output of the data indicating the direction is continued, only one is left and the other continuous directions are deleted. For example, if the direction column is (0, +) (-, 0) (-, 0) (0, +), (-, 0) is continuous, so delete one ( 0, +) (-, 0) (0, +).
[0104]
FIG. 14 shows the outline of the output process of the direction row of the two-dimensional figure. First, the coordinate
[0105]
Next, each step of the direction sequence output process shown in FIG. 14 will be described in detail. First, the processing in step S581 will be described in detail with reference to the flowchart of FIG. The coordinate
[0106]
Next, the direction generation processing in step S593 in FIG. 15 will be described more specifically. Parameters that determine the direction of the generated change are xi, yi, xj, yj, Ap, and B (p + 1). Depending on the difference between the horizontal / vertical information Ap and B (p + 1), the direction of the generated change (column) is divided into nine cases of
[0107]
[Condition 1] When “Ap = H and B (p + 1) = H”
(1-1) When xi <xj and yi <yj;
Generate direction (+, 0) (+ 0, + 0) (+, 0) (partial direction sequence).
(1-2) When xi <xj and yi ≧ yj;
Generate direction (+, 0) (+ 0, -0) (+, 0).
(1-3) When xi ≧ xj and yi <yj;
Generate direction (-, 0) (-0, + 0) (-, 0).
(1-4) When xi ≧ xj and yi ≧ yj;
Generate direction (-, 0) (-0, -0) (-, 0).
[0108]
[Condition 2] “Ap = H and B (p + 1) = V”
(2-1) When xi <xj and yi <yj;
Generate direction (+, 0) (+ 0, + 0) (0, +).
(2-2) When xi <xj and yi ≧ yj;
Generate direction (+, 0) (+ 0, -0) (0,-).
(2-3) When xi ≧ xj and yi <yj;
Generate direction (-, 0) (-0, + 0) (0, +).
(2-4) When xi ≧ xj and yi ≧ yj;
Generate direction (-, 0) (-0, -0) (0,-).
[0109]
[Condition 3] When “Ap = H and B (p + 1) = 0”
(3-1) xi <xj and yi <yj,
And │yj-yi |> d;
Generate direction (+, 0) (+ 0, +).
(3-2) xi <xj and yi <yj,
And | yj−yi | ≦ d;
Generate direction (+, 0) (+ 0, + 0).
(3-3) xi <xj and yi ≧ yj,
And │yj-yi |> d;
Generate direction (+, 0) (+ 0,-).
(3-4) xi <xj and yi ≧ yj,
And | yj−yi | ≦ d;
Generate direction (+, 0) (+ 0, -0).
(3-5) xi ≧ xj and yi <yj,
And │yj-yi |> d;
Generate direction (-, 0) (-0, +).
(3-6) xi ≧ xj and yi <yj,
And | yj−yi | ≦ d;
Generate direction (-, 0) (-0, + 0).
(3-7) xi ≧ xj and yi ≧ yj,
And │yj-yi |> d;
Generate direction (-, 0) (-0,-).
(3-8) xi ≧ xj and yi ≧ yj,
And | yj−yi | ≦ d;
Generate direction (-, 0) (-0, -0).
[0110]
[Condition 4] When “Ap = V and B (p + 1) = H”
(4-1) When xi <xj and yi <yj;
Generate direction (0, +) (+ 0, + 0) (+, 0).
(4-2) When xi <xj and yi ≧ yj;
Generate direction (0,-) (+ 0, -0) (+, 0).
(4-3) When xi ≧ xj and yi <yj;
Generate direction (0, +) (-0, + 0) (-, 0).
(4-4) When xi ≧ xj and yi ≧ yj;
Generate direction (0,-) (-0, -0) (-, 0).
[0111]
[Condition 5] When “Ap = V and B (p + 1) = V”
(5-1) When xi <xj and yi <yj;
Generate direction (0, +) (+ 0, + 0) (0, +).
(5-2) When xi <xj and yi ≧ yj;
Generate direction (0,-) (+ 0, -0) (0,-).
(5-3) When xi ≧ xj and yi <yj;
Generate direction (0, +) (-0, + 0) (0, +).
(5-4) When xi ≧ xj and yi ≧ yj;
Generate direction (0,-) (-0, -0) (0,-).
[0112]
[Condition 6] When “Ap = V and B (p + 1) = 0”
(6-1) xi <xj and yi <yj,
And when | xj−xi |> d;
Generate direction (0, +) (+, + 0).
(6-2) xi <xj and yi <yj,
And | xj−xi | ≦ d;
Generate direction (0, +) (+ 0, + 0).
(6-3) xi <xj and yi ≧ yj,
And when | xj−xi |> d;
Generate direction (0,-) (+,-0).
(6-4) xi <xj and yi ≧ yj,
And | xj−xi | ≦ d;
Generate direction (0,-) (+ 0, -0).
(6-5) xi ≧ xj and yi <yj,
And when | xj−xi |> d;
Generate direction (0, +) (-, + 0).
(6-6) xi ≧ xj and yi <yj,
And | xj−xi | ≦ d;
Generate direction (0, +) (-0, + 0).
(6-7) xi ≧ xj and yi ≧ yj,
And when | xj−xi |> d;
Generate direction (0,-) (-,-0).
(6-8) xi ≧ xj and yi ≧ yj,
And | xj−xi | ≦ d;
Generate direction (0,-) (-0, -0).
[0113]
[Condition 7] When “Ap = 0 and B (p + 1) = H”
(7-1) xi <xj and yi <yj,
And │yj-yi |> d;
Generate direction (+0, +) (+, 0).
(7-2) xi <xj and yi <yj,
And | yj−yi | ≦ d;
Generate direction (+ 0, + 0) (+, 0).
(7-3) xi <xj and yi ≧ yj,
And │yj-yi |> d;
Generate direction (+0,-) (+, 0).
(7-4) xi <xj and yi ≧ yj,
And | yj−yi | ≦ d;
Generate direction (+ 0, -0) (+, 0).
(7-5) xi ≧ xj and yi <yj,
And │yj-yi |> d;
Generate direction (-0, +) (-, 0).
(7-6) xi ≧ xj and yi <yj,
And | yj−yi | ≦ d;
Generate direction (-0, + 0) (-, 0).
(7-7) xi ≧ xj and yi ≧ yj,
And │yj-yi |> d;
Generate direction (-0,-) (-, 0).
(7-8) xi ≧ xj and yi ≧ yj,
And | yj−yi | ≦ d;
Generate direction (-0, -0) (-, 0).
[0114]
[Condition 8] “Ap = 0 and B (p + 1) = V”
(8-1) xi <xj and yi <yj,
And when | xj−xi |> d;
Generate direction (+, + 0) (0, +).
(8-2) xi <xj and yi <yj,
And | xj−xi | ≦ d;
Generate direction (+ 0, + 0) (0, +).
(8-3) xi <xj and yi ≧ yj,
And when | xj−xi |> d;
Generate direction (+,-0) (0,-).
(8-4) xi <xj and yi ≧ yj,
And | xj−xi | ≦ d;
Generate direction (+ 0, -0) (0,-).
(8-5) xi ≧ xj and yi <yj,
And when | xj−xi |> d;
Generate direction (-, + 0) (0, +).
(8-6) xi ≧ xj and yi <yj,
And | xj−xi | ≦ d;
Generate direction (-0, + 0) (0, +).
(8-7) xi ≧ xj and yi ≧ yj,
And when | xj−xi |> d;
Generate direction (-,-0) (0,-).
(8-8) xi ≧ xj and yi ≧ yj,
And | xj−xi | ≦ d;
Generate direction (-0, -0) (0,-).
[0115]
[Condition 9] When “Ap = 0 and B (p + 1) = 0”
(9-1) xi <xj and yi <yj,
And | xj−xi |> d and | yj−yi |> d;
Generate direction (+, +).
(9-2) xi <xj and yi <yj,
And | xj−xi |> d and | yj−yi | ≦ d;
Generate direction (+, + 0).
(9-3) xi <xj and yi <yj,
And | xj−xi | ≦ d and | yj−yi |> d;
Generate direction (+ 0, +).
(9-4) xi <xj and yi <yj,
And | xj−xi | ≦ d and | yj−yi | ≦ d;
Generate direction (+ 0, + 0).
[0116]
(9-5) xi <xj and yi ≧ yj,
And | xj−xi |> d and | yj−yi |> d;
Generate direction (+,-).
(9-6) xi <xj and yi ≧ yj,
And | xj−xi |> d and | yj−yi | ≦ d;
Generate direction (+,-0).
(9-7) xi <xj and yi ≧ yj,
And | xj−xi | ≦ d and | yj−yi |> d;
Generate direction (+ 0,-).
(9-8) xi <xj and yi ≧ yj,
And | xj−xi | ≦ d and | yj−yi | ≦ d;
Generate direction (+0, -0).
[0117]
(9-9) xi ≧ xj and yi <yj,
And | xj−xi |> d and | yj−yi |> d;
Generate direction (-, +).
(9-10) xi ≧ xj and yi <yj,
And | xj−xi |> d and | yj−yi | ≦ d;
Generate direction (-, +0).
(9-11) xi ≧ xj and yi <yj,
And | xj−xi | ≦ d and | yj−yi |> d;
Generate direction (-0, +).
(9-12) xi ≧ xj and yi <yj,
And | xj−xi | ≦ d and | yj−yi | ≦ d;
Generate direction (-0, + 0).
[0118]
(9-13) xi ≧ xj and yi ≧ yj,
And | xj−xi |> d and | yj−yi |> d;
Generate direction (-,-).
(9-14) xi ≧ xj and yi ≧ yj,
And | xj−xi |> d and | yj−yi | ≦ d;
Generate direction (-,-0).
(9-15) xi ≧ xj and yi ≧ yj,
And | xj−xi | ≦ d and | yj−yi |> d;
Generate direction (-0,-).
(9-16) xi ≧ xj and yi ≧ yj,
And | xj−xi | ≦ d and | yj−yi | ≦ d;
Generate direction (-0, -0).
[0119]
The above is the direction sequence generated in step S593 in FIG.
[0120]
Returning to FIG. 14 again, each step will be described. In step S582, “0”, “+”, and “0” are extracted from one direction sequence including the mixed notation generated by the coordinate
[0121]
Next, in step S583, if there is a continuation in the same direction for each of the separated direction rows, the coordinate
[0122]
Next, in step S584, the coordinate
[0123]
In step S585, among the plurality of direction rows, the direction row having the shortest length (number of included directions) is left, and the longer direction row (the number of included directions is larger) is deleted. As described above, data having the smallest number of directions (the length of the column is short) included in each column is preferentially processed as data indicating features. Thereby, there are one or more remaining direction rows, and the lengths thereof are all the same.
[0124]
In step S586, one or more remaining direction strings are output. This is the “feature” of the input coordinate sequence finally obtained by the coordinate
[0125]
<Storage contents of type holding unit>
Next, the contents stored in the
[0126]
First, with reference to FIG. 16, the types of video special effects to be selected in the present embodiment will be described. In FIG. 16, a wipe is shown as an example of the type of video special effect, and a graphic 52 schematically showing the type of wipe according to its characteristics is shown. In addition, a
[0127]
In FIG. 16, No. 1 and No. 2 are types of wipes that perform video switching linearly (the video boundary is linear). No. 1 is from the left side of the screen and No. 2 is a straight line from the upper side of the screen. In this way, the video is switched. Nos. 3 to 6 are types of wipes that switch images so that a new image appears in a rectangular shape from the corner of the screen. No. 3 is the upper left corner of the screen, No. 4 is the upper right corner of the screen, No. is for switching the video in a rectangular shape from the lower right corner of the screen and No. 6 is from the lower left corner of the screen. Nos. 7 and 8 are wipes of a type in which video switching is performed linearly (diagonally). No. 7 is an oblique image from the upper left corner of the screen and No. 8 is an oblique image from the upper right corner of the screen. Switching is performed. Nos. 9 to 12 are wipes of a type in which images are switched so that two linear boundary lines rotate around a point on the screen. The center of the left end, No. 11 is the center of the lower end, and No. 12 is the center of the upper end. Nos. 13 to 17 are types of wipes that perform switching of images so that images of various shapes shown in the figure appear enlarged from the center of the screen. No. 18 is a type of wipe that switches images in a meandering manner from the left side of the screen, and is also called a matrix wipe.
[0128]
Hereinafter, the types of video special effects shown in FIG. 16 will be described. In FIG. 16, it is assumed that the right direction is the positive direction of the X axis and the downward direction is the positive direction of the Y axis. The
[0129]
(Specific example of stored contents of type holding unit 431)
A specific example of the association between the 18 types of wipe numbers shown in FIG. 16 and the direction row stored in the
[0130]
1: (0, +),
1: (+, +),
1: (+,-),
[0131]
2: (+, 0),
2: (+, +),
2: (+,-),
[0132]
3: (0, +) (-, 0),
3: (+, +) (-, 0),
3: (-, +) (-, 0),
3: (0, +) (-, +),
3: (0, +) (-,-),
3: (+, +) (-,-),
[0133]
4: (0, +) (+, 0),
4: (+, +) (+, 0),
4: (-, +) (+, 0),
4: (0, +) (+, +),
4: (0, +) (+,-),
4: (-, +) (+,-),
[0134]
5: (-, 0) (0, +),
5: (-, +) (0, +),
5: (-,-) (0, +),
5: (-, 0) (+, +),
5: (-, 0) (-, +),
5: (-,-) (+, +),
[0135]
6: (+, 0) (0, +),
6: (+,-) (0, +),
6: (+, +) (0, +),
6: (+, 0) (+, +),
6: (+, 0) (-, +),
6: (+,-) (-, +),
[0136]
7: (-, +),
[0137]
8: (+, +),
[0138]
9: (+, +) (-, +),
9: (+, 0) (-, 0),
9: (+, +) (-, 0),
9: (+, 0) (-, +),
9: (+, +) (-, 0) (-, +),
9: (+, +) (-, +) (-, 0),
9: (+, 0) (0, +) (-, 0),
9: (+, 0) (0, +) (-, +),
[0139]
10: (-, +) (+, +),
10: (-, 0) (+, 0),
10: (-, +) (+, 0),
10: (-, 0) (+, +),
10: (-, +) (+, 0) (+, +),
10: (-, +) (+, +) (+, 0),
10: (-, 0) (0, +) (+, 0),
10: (-, 0) (0, +) (+, +),
[0140]
11: (+, +) (+,-),
11: (0, +) (0,-),
11: (+, +) (0,-),
11: (0, +) (+,-),
11: (+, +) (0,-) (+,-),
11: (+, +) (+,-) (0,-),
11: (0, +) (+, 0) (+,-),
11: (-, +) (+, +) (+,-),
11: (0, +) (+, 0) (0,-),
[0141]
12: (+,-) (+, +),
12: (0,-) (0, +),
12: (+,-) (0, +),
12: (0,-) (+, +),
12: (+,-) (0, +) (+, +),
12: (+,-) (+, +) (0, +),
12: (0,-) (+, 0) (+, +),
12: (0,-) (+,-) (+, +),
12: (0,-) (+, 0) (0, +),
[0142]
13: (+, 0) (0, +) (-, 0) (0,-),
[0143]
14: (+, +) (-, +) (-,-) (+,-),
[0144]
15: (+, 0) (0, +) (-, 0) (0,-),
[0145]
16: (+,-) (-, +) (-,-) (0, +) (+, 0),
16: (+, +) (0, +) (-, 0) (0,-) (+, 0),
[0146]
17: (+, 0) (-, +) (+,-) (+, +) (-,-),
17: (+, 0) (-, +) (+,-) (0, +) (-,-),
17: (+, 0) (+,-) (+, +) (-, +) (-,-) (-, +) (0,-), 17: (+, 0) (+,-) (+, +) (-, +) (+, +) (-,-) (+,-) (-,-),
[0147]
18: (0, +) (+, 0) (0,-),
18: (0, +) (0,-) (0, +) (+,-),
18: (0, +) (+,-) (+, +) (0,-),
[0148]
The above is a specific example of the contents stored in the
[0149]
<Characteristic (direction sequence) comparison, type discrimination>
Next, the feature comparison processing (step S493 in FIG. 4) by the
[0150]
If the
[0151]
On the other hand, if a match is not found, that is, if the number corresponding to the direction column to be compared cannot be output (step S614; N), the
[0152]
That is, (+, 0) is (-, 0), (+, +) is (-,-), (0, +) is (0,-), (-, +) (+,-), (-, 0) to (+, 0), (-,-) to (+, +), (0,-) to (0, +), If (+,-), replace with (-, +).
[0153]
By performing such a reversed comparison, even if the input coordinate sequence is in the reverse order to the direction sequence stored in the
[0154]
If the
[0155]
On the other hand, if no match is found by the reverse comparison process, that is, if the number corresponding to the reversed direction row cannot be output (step S617; N), the
[0156]
In the cyclic comparison, the order of the original direction sequence obtained in the feature calculation process (step S492 in FIG. 4) is cyclically changed to generate a new direction sequence (step S618), and then the changed direction sequence Is selected from the
[0157]
If the
[0158]
On the other hand, if no match is found even by the cyclic comparison process, that is, if the number corresponding to the direction sequence changed cyclically cannot be output (step S6110; N), the feature comparison unit Next, 413 performs processing for referencing only the length of the original direction sequence (the number of elements in the direction constituting the original direction sequence). That is, the length (number of elements) of the original direction row is compared with the length of each direction row stored in the
[0159]
If the
[0160]
On the other hand, if no match is found by the length comparison process, that is, if the number corresponding to the length of the original direction sequence cannot be output (step S6112; N), the feature The
[0161]
Through the above comparison process, the
[0162]
<Modification of feature comparison processing>
Next, a modification of the feature comparison process (step S493 in FIG. 4) by the
[0163]
A part of the elements in the direction row stored in the
[0164]
For example, three direction columns
(+, 0) (0, +) (-, 0),
(+, 0) (0, +) (-, +),
(+, 0) (0, +) (-,-)
Instead of holding
(+, 0) (0, +) (-, *)
The contents are memorized.
[0165]
“*” Is expressed by a value other than 0, +, and − on the memory. The part of * means that any value of 0, +, and-is acceptable in the comparison. That is, in the comparison, if the direction sequence output as a feature and the direction sequence stored in the
[0166]
Furthermore, as another comparison method, it is also possible to determine whether the features match by using only the length of the direction row and only the first and last directions in the direction row as comparison targets. Also, there is a method in which the first or last direction is deleted from the calculated direction sequence and compared with the stored contents of the
[0167]
In this way, it is possible to determine whether the features match even when the contents of the direction strings do not completely match. By adopting such a comparison process, it is possible to reduce the storage capacity of the
[0168]
<Selection, specified input processing>
Next, the number selection and designation input process (the process of step S494 in FIG. 4) by the
[0169]
FIG. 19 shows a display example of a selection screen for allowing the operator to select a special effect type. This selection screen has a GUI (Graphical User Interface) function. In the upper part of the selection screen, for example, a
[0170]
In the selection screen, a
[0171]
Two operation buttons (
[0172]
In the selection screen, when the operator performs a type selection operation, first, the operation from the operation input unit 109 moves the
[0173]
FIG. 20 shows an example of a screen displayed when there is only one selection candidate output from the
[0174]
The
[0175]
If the candidate graphic 632 displayed on the confirmation screen is acceptable, the operator inputs a selection confirmation operation using the
[0176]
Note that the configuration of the selection / confirmation screen (such as the display position of each display element in the screen) is not limited to the illustrated one, and may be another configuration.
[0177]
After the types of special effects to be executed are determined as described above, processing for updating the storage contents of the
[0178]
<History storage>
Next, the contents stored in the
[0179]
The
[0180]
For example, it is assumed that the following is first stored as a history in the
9: (+, +) (-, +),
4: (0, +) (+, 0),
7: (-, +),
8: (+, +).
[0181]
Here, it is assumed that the combination “1: (+, +)” is selected in step S494. Since this combination is not yet stored as a history, this combination is newly added to the beginning of the history and stored in the
[0182]
1: (+, +), ← Additional combinations
9: (+, +) (-, +),
4: (0, +) (+, 0),
7: (-, +),
8: (+, +).
[0183]
It is further assumed that a new coordinate input operation is performed and the combination “8: (+, +)” is selected and confirmed. Since this combination has already been stored as a history, no new storage is performed. However, preferably, this combination is moved to the beginning of the history, and the order is changed as follows.
[0184]
8: (+, +), ← Combination moved to the top
1: (+, +),
9: (+, +) (-, +),
4: (0, +) (+, 0),
7: (-, +)
[0185]
The reason for switching the order with the most recently selected head as described above is to allow the selection candidates to be displayed in order from the most recently selected one when displaying the selection candidates in step S494.
[0186]
The history storage function as described above can be realized by a known data structure and algorithm. The
[0187]
[Concrete example]
Next, with reference to specific numerical values, the operation until the type of special effect is determined will be described.
[0188]
<Specific Example 1-1>
FIG. 21 shows a first specific example of the input coordinate sequence input by the function of the coordinate sequence input unit 411 (step S491 in FIG. 4). The coordinate points constituting the coordinate sequence are the following 21 points (in the figure, these coordinate points are indicated by black circles “●”). The coordinates are written in the order of input. In the following specific example, all values such as coordinate values are approximated to integer values.
[0189]
(126,133), (152,137), (186,145), (226,155),
(256,163), (276,164),(288, 164), (288,165),
(280,169), (262,175), (238,185), (214,193),
(188,201), (168,209), (152,215), (140,216),
(128,217), (120,221), (119,221), (118,221),
(118,222).
[0190]
The feature calculation process of step S492 (FIG. 5) is performed on this input coordinate string. In this specific example, as shown by underlining the numerical value, the maximum X coordinate value xmaxIs 288, the minimum x coordinate xminIs 118, Y coordinate maximum value ymaxIs 222, Y coordinate minimum value yminIs 133. The value of the width w in Equation (1) is w = max (wx, wy) = wx = 170. Therefore, the value d of the equation (2A) is d = w / 5 = 34, the value f of the equation (2B) is f = w / 16 = 10, and the value L of the equation (2C) is L = w / 4. = 42. The fractional part generated by division is rounded down.
[0191]
When the maximum / minimum point is calculated from the coordinate sequence by the process of step S502 (FIGS. 5 and 6), the point marked with “x” in FIG. 21 (the point with the double underline in the coordinate value) is the maximum / minimum point. It becomes. That is, the following three points. These three maximum and minimum points are expressed as s0, s1, and s2, respectively.
(126,133), (288,164), (118,222).
[0192]
Here, this coordinate string is a two-dimensional figure because it does not satisfy the above-described condition of the one-dimensional figure described with reference to FIGS. Therefore, the horizontal / vertical detection / determination process in the vicinity of the maximum / minimum point in step S504 (FIGS. 5, 12, and 13) is performed. Since this coordinate sequence does not satisfy the above-described horizontal / vertical conditions described with reference to FIGS. 11A to 11C, there is no portion determined to be horizontal / vertical. Therefore, the notation of horizontal / vertical information for an arbitrary maximum / minimum point sp is Ap = 0 and B (p + 1) = 0.
[0193]
Next, the direction sequence output process of the two-dimensional figure of step S505 (FIG. 5, FIG. 14) is performed. As the direction string output process, first, a direction string generation process in step S581 (FIGS. 14 and 15) is performed. In this specific example, since there are three maximum and minimum points s0, s1, and s2, the processing loop of steps S592 to S594 in FIG. 15 is performed twice. Further, there is no horizontal / vertical portion for each local maximum / minimum point, and Ap = 0 and B (p + 1) = 0. Therefore, the condition in step S593 corresponds to [Condition 9].
[0194]
In the first loop, i = s0 and j = s1, and the direction between the points s0 and s1 is generated. That is,
“Xi = 126, yi = 133, xj = 288, yj = 164”
Because
xi <xj, yi <yj
And
| Xj−xi | = 288−126 = 162> d
| Yj−yi | = 164−133 = 31 <d
Therefore, it corresponds to the second case of [Condition 9], and the direction (hybrid notation) is
(+, + 0)
Is output.
[0195]
In the second loop, i = s1, j = s2, and a direction between the points s1, s2 is generated. That is,
“Xi = 288, yi = 164, xj = 118, yj = 222”
Because
xi> xj, yi <yj
And
| Xj−xi | = − (118−288) = 170> d,
| Yj−yi | = 222−164 = 58> d
Therefore, it corresponds to the ninth case of [Condition 9].
(-, +)
Is output.
[0196]
So the direction column is a hybrid notation.
(+, + 0) (-, +)
It becomes. Then, by performing the process of separating the direction string of the mixed notation in step S582,
(+, 0) (-, +)
and
(+, +) (-, +)
To get two direction rows.
[0197]
Next, in steps S583 to S585, deletion in the same continuous direction is performed. However, in this specific example, since there is no direction to be deleted, processing by these steps is not particularly necessary and separated. The data of the direction example is output as it is (step S586).
[0198]
Next, the feature comparison processing (comparison processing between the direction column and the number indicating the type of special effect) in step S493 (FIG. 4, FIG. 17, FIG. 18) is performed, and the number of the selection candidate is output. Assuming that there is no number corresponding to the
[0199]
Next, in step S494 (FIG. 4), two selection candidates No. 6 and No. 9 are displayed on the selection screen, and the operator is allowed to select one of them. FIG. 22 shows a selection screen displayed in this example. The configuration of the selection screen in FIG. 22 is the same as that of the selection screen shown in FIG. In this specific example,
[0200]
At this time, the
`` 9: (+, +) (-, +) ''
Is stored as a history. However, in the case where the same contents are already stored in the
[0201]
<Specific example 1-2>
Next, a second specific example will be described. FIG. 23 shows a second specific example of the input coordinate sequence. The coordinate points constituting the coordinate string are the following 25 points (in the figure, these coordinate points are indicated by black circles “●”). The coordinates are written in the order of input. Also in this specific example, all values such as coordinate values are approximated to integer values.
[0202]
(190, 84), (190, 92), (190,100), (190,110),
(190,118), (190,128), (190,136), (190,142),
(191,148), (191,156), (191,162), (191,166),
(192,172), (192,173), (198,174), (210,174),
(228,174), (250,174), (268,174), (282,174),
(294,174), (300,175), (306,175), (310,175),
(311,176).
[0203]
The feature calculation process of step S492 (FIG. 5) is performed on this input coordinate string. In this specific example, as indicated by underlining the numerical value, the maximum value x of the X coordinate xmaxIs 311, the minimum x coordinate xmin190, Y coordinate maximum value ymaxIs 176, the minimum value y of the Y coordinateminIs 84. The value of the width w in Expression (1) is w = max (wx, wy) = wx = 121. Therefore, the value d of the equation (2A) is d = w / 5 = 24, the value f of the equation (2B) is f = w / 16 = 7, and the value L of the equation (2C) is L = w / 4. = 30. The fractional part generated by division is rounded down.
[0204]
When the maximum and minimum points are calculated from the coordinate sequence by the process of step S502 (FIGS. 5 and 6), the first point and the last point, that is, the next two points are the maximum and minimum points. In this specific example, these two maximum and minimum points are expressed as s0 and s1, respectively.
(190, 84), (311,176)
[0205]
Here, this coordinate string is a two-dimensional figure because it does not satisfy the above-described condition of the one-dimensional figure described with reference to FIGS. Therefore, the horizontal / vertical detection / determination process in the vicinity of the maximum / minimum point in step S504 (FIGS. 5, 12, and 13) is performed. As can be seen from FIG. 23, from the values of f and L, the first maximum minimum point s0 (190,84) is determined to be vertical, and the next (last) maximum minimum point s1 (311,176) is determined. Is determined to be horizontal at the rear. Therefore, the notation of the horizontal / vertical information for the maximum / minimum point sp is Ap = V and B (p + 1) = H.
[0206]
Next, the direction sequence output process of the two-dimensional figure of step S505 (FIG. 5, FIG. 14) is performed. As the direction string output process, first, a direction string generation process in step S581 (FIGS. 14 and 15) is performed. In this specific example, since there are only two maximum and minimum points s0 and s1, the loop of steps S592 to S594 in FIG. 15 is performed once. Further, since the notation of horizontal / vertical information is Ap = V and B (p + 1) = H, the condition in step S593 corresponds to [Condition 4].
[0207]
Processing in steps S592 to S594 is as follows.
As i = s0 and j = s1,
“Xi = 190, yi = 84, xj = 311, yj = 176”
Because
xi <xj, yi <yj
Therefore, it corresponds to the first case of [Condition 4], and as a hybrid notation direction column,
(0, +) (+ 0, + 0) (+, 0)
Is generated.
[0208]
Next, by performing the separation process of the mixed notation direction sequence in step S582, four types of direction sequences are generated. By the subsequent steps S583 and S584, the same continuous direction in each direction sequence is obtained. By combining them together and then combining the same direction column into one,
(0, +) (+, 0)
When
(0, +) (+, +) (+, 0)
And get two direction rows. Next, in step S585, since only the direction column with the shortest length is adopted, finally,
(0, +) (+, 0)
Is output.
[0209]
Next, in step S493 (FIGS. 4, 17, and 18), the direction string is compared with the number, and the number of the selection candidate is output. Assuming that there is no number corresponding to the
[0210]
Next, in step S494 (FIG. 4), the confirmation screen shown in FIG. 20 is displayed to let the operator confirm whether or not the fourth selection candidate is acceptable. If the
"4: (0, +) (+, 0)"
Is stored as a history.
[0211]
Two specific examples have been described above, but the same processing is performed even when a more complicated coordinate sequence is input.
[0212]
As described above, according to the present embodiment, the input coordinate sequence is analyzed to calculate its graphical feature, and the
[0213]
Further, according to the present embodiment, the history data is obtained by associating the data indicating the type of the video special effect finally selected with the data indicating the graphic feature of the coordinate sequence used for calculating the type. Since the video special effects that have been finally selected once are considered to have a high possibility of being selected, the operator is preferentially selected as the selection target in the subsequent processing. And operability can be improved.
[0214]
In particular, according to the present embodiment, as the process of calculating the characteristics of the coordinate sequence, first, the local maximum and minimum points of the input coordinate sequence are selected, and the coordinates between the adjacent local maximum and minimum points are sequentially selected from the start point to the end point. At least one data element in the direction represented in the format of “(*, *)” having a positive, negative, or zero value in each of the X direction and the Y direction as the direction of change of the coordinate value in the column portion. One or more pieces of column data in a direction formed by combining one or more data elements in the direction are generated for each coordinate column portion between adjacent maximum and minimum points. Then, the generated one or more column data in the direction between adjacent maximum and minimum points are combined in order from the start point to the end point, and the combined one or more column data is combined with the feature of the coordinate sequence. Is output as data. Since such calculation processing is performed, the feature of the coordinate sequence is easily calculated without requiring a complicated processing technique as compared with the feature calculation and recognition technique used in OCR and the like. be able to.
[0215]
In addition, according to the feature calculation processing of the coordinate sequence of the present embodiment, when the sequence of direction elements between the local maximum and minimum points is combined, the same direction element is continuously generated in the combined single column. In such a case, since only one of the continuous direction elements is deleted and the others are deleted, the amount of data output as a feature can be reduced. Further, by reducing the data amount, it is possible to reduce the storage capacities of the
[0216]
[Second Embodiment]
Next, a second embodiment of the present invention will be described. In the following description, the same components as those in the first embodiment are denoted by the same reference numerals, and description thereof will be omitted as appropriate.
[0217]
In the first embodiment, the example of specifying the type of the video special effect by receiving the input of one coordinate string has been described. However, the present embodiment receives the input of two or more coordinate strings. In this case, it is possible to specify the type. The hardware configuration of the video special effect system according to the present embodiment is the same as that shown in FIG. The functional block configuration is basically the same as that shown in FIG. However, each functional block performs a processing operation corresponding to a case where two or more coordinate strings are input, as will be described later.
[0218]
FIGS. 24A to 24C are examples of wipes that are considered appropriate to specify the type by inputting a plurality of coordinate strings. In these figures, as in the case of FIG. 16, the types of wipes are represented graphically and schematically by their characteristics, and numbers indicating the types of wipes are attached below the figures indicating the types. ing. When specifying the types of special effects having the graphic features shown in FIGS. 24A to 24C, the method of specifying by a plurality of coordinate string input operations is performed instead of a single input. It's easy to do.
[0219]
Here, the 20th type of wipe shown in FIG. 24 (A) switches images so that two linear boundary lines rotate in opposite directions around the center of the screen. It is. The
[0220]
In the following, the processing performed by each functional block in FIG. 3 will be described only with respect to differences from the first embodiment.
[0221]
The coordinate string input operation is basically performed by an input start operation, an input coordinate movement, and an input end operation. In the first embodiment, for example, if a mouse is used as a pointing device, a mouse button is pressed (start operation), then a drag operation (movement of input coordinates) is performed, and the mouse button is returned ( A series of operations, such as “end operation”, is a single coordinate sequence input operation. On the other hand, in the coordinate
[0222]
The coordinate
[0223]
The
[0224]
The
[0225]
1: 1: (0, +),
1: 1: (+, +),
1: 1: (+,-)
[0226]
The wipes of
[0227]
20: 2: (-, +), (+, +),
21: 2: (+, 0), (+, 0),
21: 2: (+, +), (+, +),
22: 2: (+, 0), (0, +),
22: 4: (0, +) (-, 0), (0, +) (+, 0), (-, 0) (0, +), (+, 0) (0, +)
[0228]
Here, the description content of the No. 22 wipe will be briefly described. First, the direction sequence “22: 2: (+, 0), (0, +)” corresponds to the case where the coordinate sequence is input so as to draw a cross. Although this is different from the direction sequence obtained when the shape of FIG. 24C is drawn as it is, the figure (trajectory) that is input intuitively by the operator is such a coordinate sequence. In this case, the input shape is stored in correspondence with No. 22 so that it can be selected. On the other hand, the four direction rows shown in the second row correspond to the case where the coordinate row is drawn without changing the boundary line of the shape of FIG. In order from the left direction column, the boundary line shapes correspond to the upper left, lower right, lower right, and lower left border lines. Note that, for example, if a case where a coordinate sequence is input by an inclined line is considered, more combinations of direction sequences can be considered (stored contents of the
[0229]
The process after the selection candidate is listed by the
[0230]
As described above, according to the present embodiment, it is possible to specify a type even when two or more coordinate sequences are received. Even if it is an effect, it can be specified easily.
[0231]
[Third Embodiment]
Next, a third embodiment of the present invention will be described. In the following description, the same components as those in the first and second embodiments are denoted by the same reference numerals, and description thereof is omitted as appropriate.
[0232]
FIGS. 25A and 25B schematically show two different types of wipes. The wipe of
[0233]
If the two types of wipes shown in FIGS. 25A and 25B are represented by graphic features, they are both represented by one diagonal line (one diagonal line). Therefore, in the method of designating only by graphic features as in the first and second embodiments, both are input with the same coordinate string, making it difficult to distinguish between the two. In this case, the final designation must be made by the selection input in step S494 of FIG.
[0234]
The present embodiment realizes a method for distinguishing and specifying special effects that share such graphical features. In this embodiment, in order to make this distinction, in addition to the graphic feature, the moving feature of the image on the screen accompanying the execution of the special effect is used. Here, the “moving feature” intuitively indicates a trajectory when two (or more) video boundary lines move on the screen. Specifically, what is indicated by an arrow in FIGS. 25A and 25B is a moving feature.
[0235]
In this embodiment, the operator inputs a moving feature in addition to a graphical feature by the coordinate
[0236]
The
[0237]
* Figure features:
30: (-, +),
7: (-, +)
[0238]
* Moving features:
30: (-, +),
30: (+, +) (-, +)
30: (0, +) (-, +)
30: (+, 0) (0, +) (-, 0)
30: (+, +) (0, +) (-, +),
30: (+,-)
30: (-,-) (+,-)
30: (0,-) (+,-)
30: (-, 0) (0,-) (+, 0)
30: (-,-) (0,-) (+,-)
7: (+, +)
[0239]
In the following, the processing performed by each functional block in FIG. 3 will be described only with respect to differences from the first and second embodiments.
[0240]
The coordinate
[0241]
The
[0242]
FIG. 27 shows a feature comparison process (a process of searching for a matching type) regarding a graphic feature and a moving feature by the
[0243]
On the other hand, if a plurality of numbers are obtained, next, the
[0244]
If one or more numbers can be output by the process in step S704 (step S705; Y), the
[0245]
The processing after the comparison processing is the same as in the first and second embodiments.
[0246]
[Specific Example 3-1]
Next, with reference to specific numerical values, an operation until a selection candidate of a special effect type is obtained by the designation method of the present embodiment will be described.
[0247]
In this specific example, the graphic feature of the input coordinate sequence corresponds to both No. 30 and No. 7 shown in FIGS. 25A and 25B, and the moving feature corresponds to No. 30 (finally No. 30). Is shown as a selection candidate). FIG. 28 shows two input coordinate sequences (first coordinate
[0248]
(234,162), (230,168), (222,172), (212,178),
(204,186), (194,192), (184,198), (178,202),
(172,206), (166,210), (158,214), (154,215),
(153,215).
[0249]
The feature calculation processing in step S492 (FIG. 5) is performed on the first coordinate
[0250]
As for the first coordinate
[0251]
When the local maximum and minimum points are calculated from the first coordinate
(234,162), (153,215)
[0252]
For the vicinity of the maximum / minimum point of the first coordinate
(-, +)
Only can be obtained.
[0253]
On the other hand, the coordinate points constituting the second coordinate
[0254]
(220,173), (221,173), (222,173), (223,174),
(224,175), (228,179), (229,180), (233,186),
(234,187),(235,188), (235,192), (235,193),
(235,194), (235,198), (235,199), (235,200),
(235,204), (234,205), (233,206), (232,207),
(228,208), (224,209), (220,210), (216,214),
(215,214).
[0255]
For the second coordinate
(220,173), (235,188), (215,214)
[0256]
When horizontal / vertical detection and determination processing is performed in the vicinity of the maximum / minimum point in the second coordinate
(+, +) (0, +) (-, + 0)
By separating the hybrid notation direction columns, the following two direction columns are finally obtained as moving features.
(+, +) (0, +) (-, 0),
(+, +) (0, +) (-, +).
[0257]
Now, a feature comparison process shown in FIG. 27 is performed by the
30: (+, +) (0, +) (-, +)
No. 30 is output in step S704 as the moving feature matches. In this way, No. 30 is finally output as a selection candidate.
[0258]
As described above, according to the present embodiment, the type of special effect is selected by inputting the moving feature in addition to the graphical feature. Difficult types of video special effects can be easily distinguished and specified by moving features.
[0259]
[Modification]
Next, a modification of the third embodiment will be described.
[0260]
<First Modification> (Example of receiving a moving feature designation input)
In the third embodiment, among the plurality of input coordinate sequences, the last input coordinate sequence is automatically determined as the designation of the moving feature. In this modification, for each of the input coordinate sequences, whether it indicates a graphic feature or a moving feature (that is, the input coordinate sequence is converted into a graphic feature. Whether to use for calculation or to calculate a mobile feature) can be distinguished according to an instruction from an operator. In this modification, for example, when a coordinate string is input after an input by a dedicated button provided for specifying the moving feature, only the (immediately) coordinate sequence specifies the moving feature. Judge that it is. As the dedicated button, a physically provided button, a button on the screen using a GUI, a menu, or the like can be used.
[0261]
In this modification, a plurality of coordinate strings can be input in some cases (similar to the second embodiment) when designating a graphical feature. On the other hand, the designation of the moving feature is designated by only one coordinate string in this modification. When a plurality of coordinate strings are input as a moving feature, all but the last one are ignored. By such identification, the coordinate
[0262]
FIG. 29 shows coordinate string input processing until the input coordinate string is temporarily stored in the coordinate
[0263]
In the input process according to this modification, only the graphic feature may be input without inputting the moving feature. In this case, the feature calculation process is performed only for the graphic feature, not for the moving feature. The processing after the feature calculation processing is the same as that in the third embodiment.
[0264]
As described above, according to the present modification, whether the input coordinate sequence is used for calculating a graphical feature or whether it is used for calculating a moving feature is distinguished by an instruction from the operator. The operator can specify the desired video special effect more accurately. In addition, it is possible to perform processing corresponding to both the input coordinate sequence when it is desired to use only as a graphic feature and the case where it is desired to use a moving feature in addition to the graphical feature.
[0265]
<Second Modification>
In the third embodiment, it is necessary to input a plurality of input coordinate strings in order to always input a moving feature in addition to a graphical feature. Further, in the first modified example, it is necessary for the operator to alternatively specify whether the input coordinate sequence is used for calculating the graphic feature or the moving feature. In this modification, the input coordinate sequence is not necessarily plural. Further, in this modification, when inputting coordinates, there is no need for an operation input for designating whether the input coordinate string is used for calculating a graphic feature or a moving feature.
[0266]
FIG. 30 shows an overview of the overall operation in this modification. FIG. 30 corresponds to the flowchart of FIG. First, the
[0267]
Next, the
[0268]
On the other hand, if the number of input coordinate sequences is plural (step S734; N), first, it is considered that all the input coordinate sequences indicate graphic features, and the
[0269]
The subsequent processes in steps S738, S739, and S7310 correspond to steps S494, S495, and S496 in FIG. 4, respectively, and are the same processes. In the storage process to the
[0270]
As described above, according to this modification, it is automatically determined whether the data regarding the feature of the calculated coordinate sequence is treated as indicating a graphic feature or as indicating a moving feature. Thus, there is an advantage that, for example, an operation input for designating whether the input coordinate sequence is used for calculating the graphic feature or the moving feature is not required.
[0271]
<Specific Example 3-2>
Next, a specific operation example of the type designation method using the function of the second modification will be described. In the following, only the minimum things that are considered necessary are explained.
[0272]
In this specific example, the case where there are three types of wipes of Nos. 30, 7, and 20 shown in FIGS. 31A to 31C will be described as an example. The wipes shown in FIGS. 31A to 31C are of the same type as those of the same numbers shown in FIGS. 16 and 25A and 25B. Further, the
[0273]
* Figure features:
30: 1: (-, +),
7: 1: (-, +),
20: 2: (-, +), (+, +).
[0274]
* Moving features:
30: (+, +) (-, +),
7: (+, +),
20: (-,-),
20: (-, +).
[0275]
Consider two examples shown in FIGS. 32A and 32B as input coordinate strings. In FIGS. 32A and 32B, the locus of coordinate points is simplified as an input coordinate sequence. The numbers “1” and “2” given to each coordinate sequence are the input sequence of the coordinate sequence. In each example of FIGS. 32A and 32B, since there are two coordinate strings, the second coordinate string is the last input coordinate string.
[0276]
First, an example of FIG. 32A will be described. 30, (−, +) is obtained as the feature (direction direction indicating) of the first coordinate sequence, and (+, +) (−, +) is obtained as the feature of the second coordinate sequence. +) Is obtained. In this example, since there are two input coordinate strings (c = 2), the processes in steps S736 and S737 are performed. When the process of step S736 is performed (when two coordinate strings are examined as being graphic features), there is nothing that matches the content stored in the
[0277]
Next, an example of FIG. 32B will be described. 30, (−, +) is obtained as the feature (indicating direction sequence) of the first coordinate sequence, and (+, +) is obtained as the feature of the second coordinate sequence. Shall be. Also in this example, since there are two input coordinate strings (c = 2), the processes of steps S736 and S737 are performed. When the processing of step S736 is performed, it matches the graphic feature No. 20 stored in the
[0278]
[Fourth Embodiment]
Next, a fourth embodiment of the present invention will be described. In the following description, the same components as those in the first to third embodiments are denoted by the same reference numerals, and the description thereof is omitted as appropriate.
[0279]
In the present embodiment, the stored contents of the
[0280]
In each of the above embodiments, if there is no matching feature in the
[0281]
With the configuration for performing such processing, the storage content of the
[0282]
In addition, even if the combination of the characteristics of the coordinate string and the type of special effects varies depending on the operator due to the input of the coordinate string input by the operator, by additionally storing the combinations sequentially during operation, The type of desired special effect can be easily selected.
[0283]
In addition, this invention is not limited to said each embodiment, A various deformation | transformation implementation is possible. For example, in each of the above-described embodiments, the example in which the selection target of the type of special effect is wipe has been described.However, the present invention is a special effect having the property that the type can be determined by the characteristics of the input coordinate sequence. It can be applied to other than wipes. For example, the present invention can also be applied to a case where a special effect that gives subtitles to a video is specified. In this case, for example, the present invention can be applied when specifying the direction in which the caption flows or the shape of the trajectory in which the caption flows. In addition, the present invention can be applied to a case where a special effect (rotation direction) is designated to rotate an image. In each of the above embodiments, the type is selected in consideration of only the graphical feature or both the graphical feature and the movable feature. However, the feature calculated from the input coordinate sequence is the movable feature. It may be only. Furthermore, the present invention is not limited to the video special effect system, and can be widely applied to other devices that require graphic recognition.
[0284]
Further, in each of the above-described embodiments, an example has been described in which a plurality of numbers and direction sequences (sets) are stored in the
[0285]
Further, in each of the above-described embodiments, an example in which a permutation in a simple direction is obtained by processing with a relatively simple algorithm for a method for obtaining some feature from an input coordinate sequence. However, the calculation of the feature can also be realized by using various more complicated known techniques (such as handwritten character recognition techniques). For example, techniques such as a handwritten symbol recognition system described in Japanese Patent No. 2765514 can be used.
[0286]
In addition, processing that appropriately combines the processing methods described in the above embodiments may be performed.
[0287]
【The invention's effect】
As explained above,
[0288]
In particular, according to the feature calculation method of the coordinate sequence described in
[0289]
Claims7Or18A method for controlling a video special effect device according to
[0290]
In particular, the claims14Or a method for controlling the video special effect device according to claim 1.26According to the video special effect device control system described in the above, when calculating the characteristics of the coordinate sequence, for each coordinate sequence, the data indicating the graphic characteristic or the moving characteristic is calculated, and the video special effect is calculated. When selecting an image, a video special effect that matches at least one of the graphic feature or the moving feature is selected. Can be specified by moving features.
[0291]
In particular, the claims16Or a method for controlling the video special effect device according to claim 1.28According to the video special effect device control system described in the above, whether the calculated data relating to the feature of each coordinate sequence is treated as a graphic feature or a moving feature is automatically determined. For example, when inputting coordinates, there is no need for an operation input to specify whether the input coordinate sequence is used for calculating graphical features or for calculating moving features. There are advantages such as.
[0292]
In particular, the claims18Or a method for controlling the video special effect device according to claim 1.30According to the control system for the video special effect device described in the above, the data indicating the type of the video special effect finally selected is associated with the data indicating the characteristics of the coordinate sequence used for calculating the type. Since it is stored as history data, the video special effect that is finally selected once can be preferentially selected in the subsequent processing, and the operability can be improved.
[Brief description of the drawings]
FIG. 1 is a block diagram showing an overall configuration of a video special effect system according to a first embodiment of the present invention.
FIG. 2 is a block diagram showing an example of the internal structure of a video special effect unit in the video special effect system shown in FIG. 1;
FIG. 3 is a block diagram showing a functional configuration of an operation unit in the video special effect system shown in FIG. 1;
4 is a flowchart showing an outline of operation by the functional configuration shown in FIG. 3;
5 is a flowchart showing an overall procedure of feature calculation processing in FIG. 4;
6 is a flowchart showing details of processing for selecting local maximum and minimum points in the characteristic calculation processing of FIG. 5;
FIG. 7 is an explanatory diagram showing a concept of maximum and minimum points used in feature calculation processing.
8 is an explanatory diagram showing a concept of a one-dimensional figure determination process in the feature calculation process of FIG. 5, in which (A) shows a one-dimensional figure in the Y direction, and (B) shows an X The direction is a one-dimensional figure.
9 is a flowchart showing an example of a direction string output process for a one-dimensional figure in the X direction in the feature calculation process of FIG. 5;
10 is an explanatory diagram showing a specific example of a direction string output by the processing of FIG. 9, where (A) shows an example of an input coordinate string, and (B) shows the input coordinates shown in (A). The example of the direction row | line | column output based on a row | line | column is shown.
FIGS. 11A and 11B are explanatory views showing that the vicinity of the maximum and minimum points is vertical, where FIG. 11A shows an example of rear vertical, and FIGS.
12 is a flowchart illustrating an example of a vertical determination process in the feature calculation process of FIG. 5;
13 is a flowchart following the determination process shown in FIG.
FIG. 14 is a flowchart showing an outline of an output process of a direction row of a two-dimensional figure.
FIG. 15 is a flowchart showing in more detail the flow of direction string generation processing in the processing shown in FIG. 14;
FIG. 16 is an explanatory diagram showing types of wipes as an example of video special effects executed in the video special effect system shown in FIG. 1;
17 is a flowchart showing the feature comparison process of FIG. 4 in more detail.
FIG. 18 is a flowchart following the feature comparison processing shown in FIG. 17;
FIG. 19 is an explanatory diagram showing a display example of a selection screen for selecting and specifying the type of special effect.
FIG. 20 is an explanatory diagram showing a display example of a confirmation screen for confirming the type of special effect.
FIG. 21 is an explanatory diagram showing an input coordinate string in the first specific example (specific example 1-1) according to the first embodiment of the present invention;
FIG. 22 is an explanatory diagram showing a display example of a selection screen in the first specific example of the first embodiment of the invention.
FIG. 23 is an explanatory diagram showing an input coordinate string in the second specific example (specific example 1-2) according to the first embodiment of the present invention;
FIG. 24 is an explanatory diagram showing an example of a wipe in which it is appropriate that a function of the video special effect system according to the second embodiment of the present invention receives a plurality of coordinate strings and designates the type thereof. It is.
FIG. 25 shows an example of a wipe in which it is appropriate to receive the input of a coordinate sequence indicating a moving feature and specify the type by the function of the video special effect system according to the third embodiment of the present invention. It is explanatory drawing.
26 is an explanatory view schematically showing temporal changes in video due to the wipe shown in FIG. 25. FIG.
FIG. 27 is a flowchart showing a feature comparison process regarding a graphic feature and a moving feature, which is performed by the function of the feature comparison unit according to the third embodiment of the present invention;
FIG. 28 is an explanatory diagram showing an input coordinate sequence in the first specific example (specific example 3-1) according to the third embodiment of the present invention;
FIG. 29 is a flowchart showing a coordinate string input process in the first modification of the third embodiment of the present invention.
FIG. 30 is a flowchart showing an outline of the overall operation in the second modification example of the third embodiment of the present invention;
FIG. 31 is an explanatory diagram showing types of wipes used in a specific example (specific example 3-2) of the second modified example.
FIG. 32 is an explanatory diagram showing an input coordinate string in a specific example of the second modification.
FIG. 33 is a block diagram illustrating a configuration example of a conventional video special effect system.
FIG. 34 is an explanatory diagram showing an example of a menu display screen used in a conventional video special effect system.
[Explanation of symbols]
DESCRIPTION OF
Claims (30)
入力された各座標列ごとに、始点の座標点と、終点の座標点と、前記始点と前記終点との間でX方向またはY方向の少なくとも一方向について極大または極小である座標点とを、極大極小点として選出するステップと、
前記始点から前記終点に向かって順番に、隣接する極大極小点間の部分的な座標列における座標値の変位の方向を、X方向とY方向とのそれぞれについて正、負または0の値を持つ方向要素を少なくとも1つ用いて表し、その方向要素が1つ以上組み合わされて構成された方向要素の列を、前記部分的な座標列ごとに1つ以上生成するステップと、
生成された前記方向要素の1つ以上の列を、前記各座標列ごとに、前記始点から前記終点に向かって順番に結合し、その結合された1つ以上の列のデータを、前記各座標列の特徴を示すデータとして出力するステップと
を含み、
前記極大極小点を選出するステップにおいて、
自身の点の前方と後方との両方について、X方向またはY方向に所定の値以上大きいまたは小さい座標点が同時に存在し、かつ自身の点が前記所定の値の座標範囲内でX方向またはY方向の少なくとも一方向について最大または最小となっていたときに、その点を極大極小点として選出する
座標列の特徴算出方法。Inputting at least one coordinate sequence comprising a plurality of coordinate points having an X component and a Y component as coordinate components;
For each input coordinate sequence, a coordinate point of a start point, a coordinate point of an end point, and a coordinate point that is maximal or minimal between at least one direction in the X direction or the Y direction between the start point and the end point, A step of selecting the maximum and minimum points;
In order from the start point to the end point, the direction of displacement of the coordinate values in the partial coordinate sequence between adjacent maximum and minimum points has a positive, negative, or zero value for each of the X direction and the Y direction. Generating one or more directional element sequences for each of the partial coordinate sequences, represented by using at least one directional element and combining one or more directional elements;
One or more columns of the generated directional elements are combined in order from the start point to the end point for each of the coordinate columns, and data of the combined one or more columns is combined with the coordinates. and outputting as data indicating characteristics of columns seen including,
In the step of selecting the maximum and minimum points,
For both the front and rear of the own point, coordinate points that are larger or smaller than a predetermined value in the X direction or the Y direction simultaneously exist, and the own point is in the X direction or Y within the coordinate range of the predetermined value. A feature calculation method of a coordinate sequence that selects a point as a maximum or minimum point when the maximum or minimum is found in at least one direction .
入力された各座標列ごとに、始点の座標点と、終点の座標点と、前記始点と前記終点との間でX方向またはY方向の少なくとも一方向について極大または極小である座標点とを、極大極小点として選出するステップと、
前記始点から前記終点に向かって順番に、隣接する極大極小点間の部分的な座標列における座標値の変位の方向を、X方向とY方向とのそれぞれについて正、負または0の値を持つ方向要素を少なくとも1つ用いて表し、その方向要素が1つ以上組み合わされて構成された方向要素の列を、前記部分的な座標列ごとに1つ以上生成するステップと、
生成された前記方向要素の1つ以上の列を、前記各座標列ごとに、前記始点から前記終点に向かって順番に結合し、その結合された1つ以上の列のデータを、前記各座標列の特徴を示すデータとして出力するステップと
を含み、
前記特徴を示すデータを出力するステップにおいて、
方向要素の列を結合した結果、2つ以上の列のデータが得られた場合に、各列に含まれる方向要素の数が最も少ないものを優先して前記特徴を示すデータとして出力する
座標列の特徴算出方法。 Inputting at least one coordinate sequence comprising a plurality of coordinate points having an X component and a Y component as coordinate components;
For each input coordinate sequence, a coordinate point of a start point, a coordinate point of an end point, and a coordinate point that is maximal or minimal between at least one direction in the X direction or the Y direction between the start point and the end point, A step of selecting the maximum and minimum points;
In order from the start point to the end point, the direction of displacement of the coordinate values in the partial coordinate sequence between adjacent maximum and minimum points has a positive, negative, or zero value for each of the X direction and the Y direction. Generating one or more directional element sequences for each of the partial coordinate sequences, represented by using at least one directional element and combining one or more directional elements;
One or more columns of the generated directional elements are combined in order from the start point to the end point for each of the coordinate columns, and data of the combined one or more columns is combined with the coordinates. Outputting data indicating the characteristics of the column;
Including
In the step of outputting data indicating the characteristics,
When two or more columns of data are obtained as a result of combining the columns of direction elements, the data having the smallest number of direction elements included in each column is prioritized and output as data indicating the characteristics.
Feature calculation method of coordinate column.
入力された各座標列ごとに、始点の座標点と、終点の座標点と、前記始点と前記終点との間でX方向またはY方向の少なくとも一方向について極大または極小である座標点とを、極大極小点として選出するステップと、
前記始点から前記終点に向かって順番に、隣接する極大極小点間の部分的な座標列における座標値の変位の方向を、X方向とY方向とのそれぞれについて正、負または0の値を持つ方向要素を少なくとも1つ用いて表し、その方向要素が1つ以上組み合わされて構成された方向要素の列を、前記部分的な座標列ごとに1つ以上生成するステップと、
生成された前記方向要素の1つ以上の列を、前記各座標列ごとに、前記始点から前記終点に向かって順番に結合し、その結合された1つ以上の列のデータを、前記各座標列の特徴を示すデータとして出力するステップと
を含み、
前記方向要素の列を生成するステップには、
隣接する極大極小点のうち、相対的に後方に位置する極大極小点の前方に存在する所定範囲内の座標列と、相対的に前方に位置する極大極小点の後方に存在する所定範囲内の座標列とのそれぞれについて、座標値の変位の方向が水平であるか、垂直であるか、または水平、垂直のどちらでもないかを判定する処理と、
隣接する極大極小点間のX座標の大小関係とY座標の大小関係とを判定する処理と
が含まれる座標列の特徴算出方法。 Inputting at least one coordinate sequence comprising a plurality of coordinate points having an X component and a Y component as coordinate components;
For each input coordinate sequence, a coordinate point of a start point, a coordinate point of an end point, and a coordinate point that is maximal or minimal between at least one direction in the X direction or the Y direction between the start point and the end point, A step of selecting the maximum and minimum points;
In order from the start point to the end point, the direction of displacement of the coordinate values in the partial coordinate sequence between adjacent maximum and minimum points has a positive, negative, or zero value for each of the X direction and the Y direction. Generating one or more directional element sequences for each of the partial coordinate sequences, represented by using at least one directional element and combining one or more directional elements;
One or more columns of the generated directional elements are combined in order from the start point to the end point for each of the coordinate columns, and data of the combined one or more columns is combined with the coordinates. Outputting data indicating the characteristics of the column;
Including
The step of generating the sequence of direction elements includes:
Among adjacent maximum / minimum points, a coordinate string within a predetermined range that exists in front of a maximum / minimum point that is relatively rearward and a predetermined range that exists behind a local maximum / minimum point that is relatively forward For each of the coordinate sequences, processing for determining whether the direction of displacement of the coordinate value is horizontal, vertical, or neither horizontal nor vertical;
Feature calculation method of coordinates column and process for determining the magnitude relation of the magnitude relationship and Y coordinates of the X coordinates between adjacent local maximum minimum point Ru is included.
座標列が二次元的な図形であると判別された場合に、前記水平、垂直についての判定処理と、前記極大極小点間の座標の大小関係を判定する処理とを行う
請求項3記載の座標列の特徴算出方法。Further, a minimum rectangular area including each coordinate sequence is set, and whether each coordinate sequence is a one-dimensional graphic or a two-dimensional graphic is determined based on the aspect ratio of the rectangular area. Including steps for processing,
When it is determined that the coordinate sequence is a two-dimensional figure, a determination process for the horizontal and vertical directions and a process for determining the magnitude relationship of the coordinates between the maximum and minimum points are performed.
請 Motomeko 3 feature calculation method of coordinate sequence according.
1つの列内に同一の方向要素が連続して生成された場合には、連続する方向要素のうち1つのみ残す
請求項1ないし4のいずれか1項に記載の座標列の特徴算出方法。Generating the sequence of directional elements,
If the same direction element is generated continuously in one column, only one of the continuous direction elements remains.
Feature calculation method of coordinate sequence according to any one of 請 Motomeko 1-4.
出力された各座標列の特徴を示すデータに基づいて、実行させるべき映像特殊効果を選出するステップ、をさらに含む
請求項1ないし4のいずれか1項に記載の座標列の特徴算出方法。Used to specify video special effects to be executed by the video special effects device.
Selecting a video special effect to be executed based on the output data indicating the characteristics of each coordinate sequence.
Feature calculation method of coordinate sequence according to any one of 請 Motomeko 1-4.
座標成分としてX成分およびY成分を有する複数の座標点からなる少なくとも一つの座標列の入力を行うステップと、
入力された各座標列を解析して、その特徴を算出するステップと、
算出された各座標列の特徴に基づいて、実行させるべき映像特殊効果を選出するステップと、
選出された映像特殊効果を実行させるよう前記映像特殊効果装置を制御するステップと
を含み、
前記座標列の特徴を算出するステップは、
入力された各座標列ごとに、始点の座標点と、終点の座標点と、前記始点と前記終点との間でX方向またはY方向の少なくとも一方向について極大または極小である座標点とを、極大極小点として選出するステップを有し、
前記極大極小点を選出するステップにおいて、
自身の点の前方と後方との両方について、X方向またはY方向に所定の値以上大きいまたは小さい座標点が同時に存在し、かつ自身の点が前記所定の値の座標範囲内でX方向またはY方向の少なくとも一方向について最大または最小となっていたときに、その点を極大極小点として選出する
映像特殊効果の指定方法。A video special effect designation method for causing a video special effect device to execute a desired video special effect,
Inputting at least one coordinate sequence comprising a plurality of coordinate points having an X component and a Y component as coordinate components ;
Analyzing each input coordinate sequence and calculating its characteristics;
Selecting a video special effect to be executed based on the calculated characteristics of each coordinate sequence;
And controlling the video special effect apparatus so as to execute the selected video special effects seen including,
Calculating the characteristics of the coordinate sequence,
For each input coordinate sequence, a coordinate point of a start point, a coordinate point of an end point, and a coordinate point that is maximal or minimal between at least one direction in the X direction or the Y direction between the start point and the end point, Having a step of selecting as a maximal minimum point,
In the step of selecting the maximum and minimum points,
For both the front and rear of the own point, coordinate points that are larger or smaller than a predetermined value in the X direction or the Y direction simultaneously exist, and the own point is in the X direction or Y within the coordinate range of the predetermined value. A method for specifying a video special effect in which a point is selected as a maximum or minimum point when it is maximum or minimum in at least one direction .
座標成分としてX成分およびY成分を有する複数の座標点からなる少なくとも一つの座標列の入力を行うステップと、 Inputting at least one coordinate sequence comprising a plurality of coordinate points having an X component and a Y component as coordinate components;
入力された各座標列を解析して、その特徴を算出するステップと、 Analyzing each input coordinate sequence and calculating its characteristics;
算出された各座標列の特徴に基づいて、実行させるべき映像特殊効果を選出するステップと、 Selecting a video special effect to be executed based on the calculated characteristics of each coordinate sequence;
選出された映像特殊効果を実行させるよう前記映像特殊効果装置を制御するステップと Controlling the video special effects device to execute the selected video special effects; and
を含み、 Including
前記座標列の特徴を算出するステップは、 Calculating the characteristics of the coordinate sequence,
入力された各座標列ごとに、始点の座標点と、終点の座標点と、前記始点と前記終点との間でX方向またはY方向の少なくとも一方向について極大または極小である座標点とを、極大極小点として選出するステップと、 For each input coordinate sequence, a coordinate point of a start point, a coordinate point of an end point, and a coordinate point that is maximal or minimal between at least one direction in the X direction or the Y direction between the start point and the end point, A step of selecting the maximum and minimum points;
前記始点から前記終点に向かって順番に、隣接する極大極小点間の部分的な座標列における座標値の変位の方向を、X方向とY方向とのそれぞれについて正、負または0の値を持つ方向要素を少なくとも1つ用いて表し、その方向要素が1つ以上組み合わされて構成された方向要素の列を、前記部分的な座標列ごとに1つ以上生成するステップと、 In order from the start point to the end point, the direction of displacement of the coordinate values in the partial coordinate sequence between adjacent maximum and minimum points has a positive, negative, or zero value for each of the X direction and the Y direction. Generating one or more directional element sequences for each of the partial coordinate sequences, represented by using at least one directional element and combining one or more directional elements;
生成された前記方向要素の1つ以上の列を、前記各座標列ごとに、前記始点から前記終点に向かって順番に結合し、その結合された1つ以上の列のデータを、前記各座標列の特徴を示すデータとして出力するステップと One or more columns of the generated directional elements are combined in order from the start point to the end point for each of the coordinate columns, and data of the combined one or more columns is combined with the coordinates. Outputting data indicating the characteristics of the column;
を有し、 Have
前記特徴を示すデータを出力するステップにおいて、 In the step of outputting data indicating the characteristics,
方向要素の列を結合した結果、2つ以上の列のデータが得られた場合に、各列に含まれる方向要素の数が最も少ないものを優先して前記特徴を示すデータとして出力する When two or more columns of data are obtained as a result of combining the columns of direction elements, the data having the smallest number of direction elements included in each column is prioritized and output as data indicating the characteristics.
映像特殊効果の指定方法。 How to specify video special effects.
座標成分としてX成分およびY成分を有する複数の座標点からなる少なくとも一つの座標列の入力を行うステップと、 Inputting at least one coordinate sequence comprising a plurality of coordinate points having an X component and a Y component as coordinate components;
入力された各座標列を解析して、その特徴を算出するステップと、 Analyzing each input coordinate sequence and calculating its characteristics;
算出された各座標列の特徴に基づいて、実行させるべき映像特殊効果を選出するステップと、 Selecting a video special effect to be executed based on the calculated characteristics of each coordinate sequence;
選出された映像特殊効果を実行させるよう前記映像特殊効果装置を制御するステップと Controlling the video special effects device to execute the selected video special effects; and
を含み、 Including
前記座標列の特徴を算出するステップは、 Calculating the characteristics of the coordinate sequence,
入力された各座標列ごとに、始点の座標点と、終点の座標点と、前記始点と前記終点との間でX方向またはY方向の少なくとも一方向について極大または極小である座標点とを、極大極小点として選出するステップと、 For each input coordinate sequence, a coordinate point of a start point, a coordinate point of an end point, and a coordinate point that is maximal or minimal between at least one direction in the X direction or the Y direction between the start point and the end point, A step of selecting the maximum and minimum points;
前記始点から前記終点に向かって順番に、隣接する極大極小点間の部分的な座標列における座標値の変位の方向を、X方向とY方向とのそれぞれについて正、負または0の値を持つ方向要素を少なくとも1つ用いて表し、その方向要素が1つ以上組み合わされて構成された方向要素の列を、前記部分的な座標列ごとに1つ以上生成するステップと In order from the start point to the end point, the direction of displacement of the coordinate values in the partial coordinate sequence between adjacent maximum and minimum points has a positive, negative, or zero value for each of the X direction and the Y direction. Representing at least one directional element, and generating one or more directional element columns each composed of one or more directional elements for each of the partial coordinate sequences;
を有し、 Have
前記方向要素の列を生成するステップには、 The step of generating the sequence of direction elements includes:
隣接する極大極小点のうち、相対的に後方に位置する極大極小点の前方に存在する所定範囲内の座標列と、相対的に前方に位置する極大極小点の後方に存在する所定範囲内の座標列とのそれぞれについて、座標値の変位の方向が水平であるか、垂直であるか、または水平、垂直のどちらでもないかを判定する処理と、 Among adjacent maximum / minimum points, a coordinate string within a predetermined range that exists in front of a maximum / minimum point that is relatively rearward and a predetermined range that exists behind a local maximum / minimum point that is relatively forward For each of the coordinate sequences, processing for determining whether the direction of displacement of the coordinate value is horizontal, vertical, or neither horizontal nor vertical;
隣接する極大極小点間のX座標の大小関係とY座標の大小関係とを判定する処理と A process of determining the magnitude relationship of the X coordinate and the magnitude relationship of the Y coordinate between adjacent local maximum and minimum points;
が含まれる映像特殊効果の指定方法。 How to specify video special effects that contain
請求項7ないし9のいずれか1項に記載の映像特殊効果の指定方法。In the step of selecting the video special effect, the data relating to the feature of each coordinate sequence calculated in the step of calculating the feature of the coordinate sequence and the data relating to the feature for each video special effect stored in the storage unit in advance Compare and select video special effects whose characteristics match
請 Motomeko 7 to the video special method of specifying the effect of any one of 9.
請求項10に記載の映像特殊効果の指定方法。Further, in the step of selecting the video special effects, when a plurality of video special effects having the same characteristics are selected, it is specified which of the selected video special effects is to be executed. Including steps to
How to specify the video special effects described in the 請 Motomeko 10.
前記映像特殊効果を選出するステップにおいて、前記映像特殊効果の図形的な特徴と前記各座標列の図形的な特徴とが一致する映像特殊効果を選出する
請求項10に記載の映像特殊効果の指定方法。In the step of calculating the feature of the coordinate sequence, data indicating the graphical feature of each coordinate sequence is calculated,
In the step of selecting the video special effect, a video special effect in which a graphic feature of the video special effect and a graphical feature of each of the coordinate sequences are selected is selected.
How to specify the video special effects described in the 請 Motomeko 10.
前記映像特殊効果を選出するステップにおいて、前記映像特殊効果の移動的な特徴と前記各座標列の移動的な特徴とが一致する映像特殊効果を選出する
請求項10に記載の映像特殊効果の指定方法。In the step of calculating the feature of the coordinate sequence, data indicating a moving feature of each coordinate sequence is calculated,
In the step of selecting the video special effect, a video special effect in which a moving characteristic of the video special effect and a moving characteristic of each coordinate sequence are selected is selected.
How to specify the video special effects described in the 請 Motomeko 10.
前記映像特殊効果を選出するステップにおいて、図形的な特徴または移動的な特徴の少なくとも一方の特徴が一致する映像特殊効果を選出する
請求項10に記載の映像特殊効果の指定方法。In the step of calculating the feature of the coordinate sequence, for each coordinate sequence, calculate data indicating the graphic feature or the moving feature,
In the step of selecting the video special effect, a video special effect in which at least one of a graphic feature or a moving feature is selected is selected.
How to specify the video special effects described in the 請 Motomeko 10.
請求項14に記載の映像特殊効果の指定方法。In the step of inputting the coordinate sequence, designation is made as to whether the input coordinate sequence is used for calculating a graphical feature or a moving feature.
How to specify the video special effects described in the 請 Motomeko 14.
請求項14に記載の映像特殊効果の指定方法。In the step of selecting the video special effect, whether the data relating to the feature of each coordinate sequence calculated in the step of calculating the feature of the coordinate sequence is treated as indicating a graphic feature or indicating a moving feature Automatically determine whether to treat
How to specify the video special effects described in the 請 Motomeko 14.
請求項10に記載の映像特殊効果の指定方法。The storage means stores a number indicating the type of video special effect and data indicating the characteristics of the video special effect in association with each other.
How to specify the video special effects described in the 請 Motomeko 10.
を含む請求項10に記載の映像特殊効果の指定方法。Further, the method includes the step of associating the data indicating the finally selected video special effect type with the data indicating the characteristics of the coordinate sequence used for calculating the type and storing the data in the storage unit as history data. how to specify the video special effects described in the non-請 Motomeko 10.
座標成分としてX成分およびY成分を有する複数の座標点からなる少なくとも一つの座標列の入力を行うための座標列入力手段と、
前記座標列入力手段によって入力された各座標列を解析して、その特徴を算出する座標列解析手段と、
前記座標列解析手段によって算出された各座標列の特徴に基づいて、実行させるべき映像特殊効果を選出する特徴比較手段と、
前記特徴比較手段によって選出された映像特殊効果を実行させるよう前記映像特殊効果装置を制御する制御手段と
を備え、
前記座標列解析手段は、
入力された各座標列ごとに、始点の座標点と、終点の座標点と、前記始点と前記終点との間でX方向またはY方向の少なくとも一方向について極大または極小である座標点とを、極大極小点として選出する処理を行うようになされ、
前記極大極小点を選出する処理を行う際に、
自身の点の前方と後方との両方について、X方向またはY方向に所定の値以上大きいまたは小さい座標点が同時に存在し、かつ自身の点が前記所定の値の座標範囲内でX方向またはY方向の少なくとも一方向について最大または最小となっていたときに、その点を極大極小点として選出する処理を行う
映像特殊効果装置の制御システム。A control system for causing a video special effect device to execute a desired video special effect,
A coordinate sequence input means for inputting at least one coordinate sequence comprising a plurality of coordinate points having an X component and a Y component as coordinate components ;
Analyzing each coordinate sequence input by the coordinate sequence input means, and calculating the characteristics of the coordinate sequence,
Feature comparison means for selecting video special effects to be executed based on the characteristics of each coordinate sequence calculated by the coordinate sequence analysis means;
E Bei and control means for controlling the video special effect apparatus so as to execute the selected video special effect by the feature comparing means,
The coordinate sequence analyzing means includes
For each input coordinate sequence, a coordinate point of a start point, a coordinate point of an end point, and a coordinate point that is maximal or minimal between at least one direction in the X direction or the Y direction between the start point and the end point, The process of selecting as the maximum and minimum points is done,
When performing the process of selecting the maximum and minimum points,
For both the front and rear of the own point, coordinate points that are larger or smaller than a predetermined value in the X direction or the Y direction simultaneously exist, and the own point is in the X direction or Y within the coordinate range of the predetermined value. A control system for a video special effect device that performs a process of selecting a point as a maximum or minimum when it is maximum or minimum in at least one direction .
座標成分としてX成分およびY成分を有する複数の座標点からなる少なくとも一つの座標列の入力を行うための座標列入力手段と、 A coordinate sequence input means for inputting at least one coordinate sequence comprising a plurality of coordinate points having an X component and a Y component as coordinate components;
前記座標列入力手段によって入力された各座標列を解析して、その特徴を算出する座標列解析手段と、 Analyzing each coordinate sequence input by the coordinate sequence input means, and calculating the characteristics of the coordinate sequence,
前記座標列解析手段によって算出された各座標列の特徴に基づいて、実行させるべき映像特殊効果を選出する特徴比較手段と、 Feature comparison means for selecting video special effects to be executed based on the characteristics of each coordinate sequence calculated by the coordinate sequence analysis means;
前記特徴比較手段によって選出された映像特殊効果を実行させるよう前記映像特殊効果装置を制御する制御手段と Control means for controlling the video special effects device to execute the video special effects selected by the feature comparison means;
を備え、 With
前記座標列解析手段は、 The coordinate sequence analyzing means includes
入力された各座標列ごとに、始点の座標点と、終点の座標点と、前記始点と前記終点との間でX方向またはY方向の少なくとも一方向について極大または極小である座標点とを、極大極小点として選出する処理を行い、 For each input coordinate sequence, a coordinate point of a start point, a coordinate point of an end point, and a coordinate point that is maximal or minimal between at least one direction in the X direction or the Y direction between the start point and the end point, Perform the process of selecting the maximum and minimum points,
前記始点から前記終点に向かって順番に、隣接する極大極小点間の部分的な座標列における座標値の変位の方向を、X方向とY方向とのそれぞれについて正、負または0の値を持つ方向要素を少なくとも1つ用いて表し、その方向要素が1つ以上組み合わされて構成された方向要素の列を、前記部分的な座標列ごとに1つ以上生成し、 In order from the start point to the end point, the direction of displacement of the coordinate values in the partial coordinate sequence between adjacent maximum and minimum points has a positive, negative, or zero value for each of the X direction and the Y direction. Representing at least one directional element, and generating one or more directional element columns each composed of one or more directional elements for each of the partial coordinate sequences;
生成された前記方向要素の1つ以上の列を、前記各座標列ごとに、前記始点から前記終点に向かって順番に結合し、その結合された1つ以上の列のデータを、前記各座標列の特徴を示すデータとして出力する処理を行うようになされ、 One or more columns of the generated directional elements are combined in order from the start point to the end point for each of the coordinate columns, and data of the combined one or more columns is combined with the coordinates. Processing to output as data indicating the characteristics of the column,
前記特徴を示すデータを出力する際に、 When outputting data indicating the characteristics,
方向要素の列を結合した結果、2つ以上の列のデータが得られた場合に、各列に含まれる方向要素の数が最も少ないものを優先して前記特徴を示すデータとして出力する処理を行う When data of two or more columns is obtained as a result of combining the columns of direction elements, a process of giving priority to the one having the smallest number of direction elements included in each column and outputting the data indicating the characteristics Do
映像特殊効果装置の制御システム。 Control system for video special effects equipment.
座標成分としてX成分およびY成分を有する複数の座標点からなる少なくとも一つの座標列の入力を行うための座標列入力手段と、 A coordinate sequence input means for inputting at least one coordinate sequence comprising a plurality of coordinate points having an X component and a Y component as coordinate components;
前記座標列入力手段によって入力された各座標列を解析して、その特徴を算出する座標列解析手段と、 Analyzing each coordinate sequence input by the coordinate sequence input means, and calculating the characteristics of the coordinate sequence,
前記座標列解析手段によって算出された各座標列の特徴に基づいて、実行させるべき映像特殊効果を選出する特徴比較手段と、 Feature comparison means for selecting video special effects to be executed based on the characteristics of each coordinate sequence calculated by the coordinate sequence analysis means;
前記特徴比較手段によって選出された映像特殊効果を実行させるよう前記映像特殊効果装置を制御する制御手段と Control means for controlling the video special effects device to execute the video special effects selected by the feature comparison means;
を備え、 With
前記座標列解析手段は、 The coordinate sequence analyzing means includes
入力された各座標列ごとに、始点の座標点と、終点の座標点と、前記始点と前記終点との間でX方向またはY方向の少なくとも一方向について極大または極小である座標点とを、極大極小点として選出する処理を行い、 For each input coordinate sequence, a coordinate point of a start point, a coordinate point of an end point, and a coordinate point that is maximal or minimal between at least one direction in the X direction or the Y direction between the start point and the end point, Perform the process of selecting the maximum and minimum points,
前記始点から前記終点に向かって順番に、隣接する極大極小点間の部分的な座標列における座標値の変位の方向を、X方向とY方向とのそれぞれについて正、負または0の値を持つ方向要素を少なくとも1つ用いて表し、その方向要素が1つ以上組み合わされて構成された方向要素の列を、前記部分的な座標列ごとに1つ以上生成する処理を行うようになされ、 In order from the start point to the end point, the direction of displacement of the coordinate values in the partial coordinate sequence between adjacent maximum and minimum points has a positive, negative, or zero value for each of the X direction and the Y direction. A process of generating one or more directional element columns each composed of one or more directional elements represented by using at least one directional element for each of the partial coordinate strings is performed.
前記方向要素の列を生成する際に、 When generating the sequence of directional elements,
隣接する極大極小点のうち、相対的に後方に位置する極大極小点の前方に存在する所定範囲内の座標列と、相対的に前方に位置する極大極小点の後方に存在する所定範囲内の座標列とのそれぞれについて、座標値の変位の方向が水平であるか、垂直であるか、または水平、垂直のどちらでもないかを判定する処理と、 Among adjacent maximum / minimum points, a coordinate string within a predetermined range that exists in front of a maximum / minimum point that is relatively rearward and a predetermined range that exists behind a local maximum / minimum point that is relatively forward For each of the coordinate sequences, processing for determining whether the direction of displacement of the coordinate value is horizontal, vertical, or neither horizontal nor vertical;
隣接する極大極小点間のX座標の大小関係とY座標の大小関係とを判定する処理とを行う A process of determining the magnitude relationship of the X coordinate and the magnitude relationship of the Y coordinate between adjacent maximum and minimum points is performed.
映像特殊効果装置の制御システム。 Control system for video special effects equipment.
前記特徴比較手段は、前記座標列解析手段によって算出された各座標列の特徴に関するデータと、前記記憶手段に記憶されている映像特殊効果の特徴に関するデータとを比較し、その特徴が一致する映像特殊効果を選出するにようになされている
請求項19ないし21のいずれか1項に記載の映像特殊効果装置の制御システム。Furthermore, storage means for storing data relating to characteristics for each video special effect executable by the video special effect device,
The feature comparison means compares the data relating to the feature of each coordinate sequence calculated by the coordinate sequence analysis means with the data relating to the feature of the video special effect stored in the storage means, and the video having the same feature Is designed to elect special effects
請 Motomeko 19 to the control system of the video special effects apparatus as claimed in any one of 21.
請求項22に記載の映像特殊効果装置の制御システム。In the feature comparison means, when a plurality of video special effects having the same characteristics are selected, a designation means for designating which of the selected video special effects is to be executed, Further equipped
The control system of the video special effects apparatus as claimed in 請 Motomeko 22.
前記座標列解析手段は、前記各座標列の図形的な特徴を示すデータを算出するようになされ、
前記特徴比較手段は、前記映像特殊効果の図形的な特徴と前記各座標列の図形的な特徴とが一致する映像特殊効果を選出するにようになされている
請求項22に記載の映像特殊効果装置の制御システム。The storage means is configured to store data indicating graphic features for each video special effect,
The coordinate sequence analyzing means is configured to calculate data indicating a graphic feature of each coordinate sequence,
The feature comparison means selects a video special effect in which the graphic feature of the video special effect matches the graphical feature of each coordinate sequence.
The control system of the video special effects apparatus as claimed in 請 Motomeko 22.
前記座標列解析手段は、前記各座標列の移動的な特徴を示すデータを算出するようになされ、
前記特徴比較手段は、前記映像特殊効果の移動的な特徴と前記各座標列の移動的な特徴とが一致する映像特殊効果を選出するにようになされている
請求項22に記載の映像特殊効果装置の制御システム。The storage means is configured to store data indicating moving characteristics for each video special effect,
The coordinate sequence analyzing means is configured to calculate data indicating a moving characteristic of each coordinate sequence,
The feature comparison means is configured to select a video special effect in which the moving feature of the video special effect matches the moving feature of each coordinate sequence.
The control system of the video special effects apparatus as claimed in 請 Motomeko 22.
前記座標列解析手段は、各座標列ごとに、その図形的な特徴または移動的な特徴を示すデータを算出するようになされ、
前記特徴比較手段は、図形的な特徴または移動的な特徴の少なくとも一方の特徴が一致する映像特殊効果を選出するようになされている
請求項22に記載の映像特殊効果装置の制御システム。The storage means is configured to store data indicating graphic characteristics and data indicating moving characteristics for each video special effect,
The coordinate sequence analyzing means is configured to calculate, for each coordinate sequence, data indicating a graphical feature or a moving feature,
The feature comparison means selects a video special effect that matches at least one of a graphical feature and a moving feature.
The control system of the video special effects apparatus as claimed in 請 Motomeko 22.
請求項26に記載の映像特殊効果装置の制御システム。The coordinate sequence input means has a function of designating whether the input coordinate sequence is used for calculating a graphical feature or a moving feature.
The control system of the video special effects apparatus as claimed in 請 Motomeko 26.
請求項26に記載の映像特殊効果装置の制御システム。The feature comparison unit automatically determines whether the data relating to the feature of each coordinate sequence calculated by the coordinate sequence analysis unit is handled as indicating a graphic feature or a moving feature. Have the ability to
The control system of the video special effects apparatus as claimed in 請 Motomeko 26.
請求項22に記載の映像特殊効果装置の制御システム。The storage means stores a number indicating the type of video special effect and data indicating the characteristics of the video special effect in association with each other.
The control system of the video special effects apparatus as claimed in 請 Motomeko 22.
前記映像特殊効果ごとの特徴に関するデータをあらかじめ記憶する第1の記憶手段と、
最終的に選出された映像特殊効果の種類を示すデータと、その種類の算出に用いられた座標列の特徴を示すデータとを対応付けて履歴データとして記憶する第2の記憶手段と
を有する請求項22に記載の映像特殊効果装置の制御システム。The storage means
First storage means for storing in advance data relating to characteristics of each video special effect;
Second storage means for storing data indicating the type of the video special effect finally selected and data indicating the characteristics of the coordinate sequence used for calculating the type as history data in association with each other the control system of the video special effect apparatus according to that請 Motomeko 22.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001032894A JP4665317B2 (en) | 2001-02-08 | 2001-02-08 | Coordinate sequence feature calculation method, video special effect device control method, and video special effect device control system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001032894A JP4665317B2 (en) | 2001-02-08 | 2001-02-08 | Coordinate sequence feature calculation method, video special effect device control method, and video special effect device control system |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2002236926A JP2002236926A (en) | 2002-08-23 |
JP4665317B2 true JP4665317B2 (en) | 2011-04-06 |
Family
ID=18896746
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2001032894A Expired - Fee Related JP4665317B2 (en) | 2001-02-08 | 2001-02-08 | Coordinate sequence feature calculation method, video special effect device control method, and video special effect device control system |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4665317B2 (en) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101197945B (en) * | 2007-12-26 | 2010-06-02 | 北京中星微电子有限公司 | Method and device for generating special video effect |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2589175B2 (en) * | 1989-01-13 | 1997-03-12 | 三洋電機株式会社 | Figure recognition device |
JP2727975B2 (en) * | 1993-12-03 | 1998-03-18 | 日本電気株式会社 | Handwritten symbol recognition system |
JP2761679B2 (en) * | 1991-05-15 | 1998-06-04 | シャープ株式会社 | Online handwritten character recognition device |
JP2765514B2 (en) * | 1995-05-10 | 1998-06-18 | 日本電気株式会社 | Handwritten symbol recognition system |
JP2915204B2 (en) * | 1992-04-20 | 1999-07-05 | 株式会社リコー | How to represent binary figures |
JP2000148907A (en) * | 1999-01-01 | 2000-05-30 | Sharp Corp | Handwritten diagram recognition device |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0789376B2 (en) * | 1986-06-24 | 1995-09-27 | 横河電機株式会社 | Digital contour coding method |
JPS6312076A (en) * | 1986-07-02 | 1988-01-19 | Yokogawa Electric Corp | Method for encoding digital contour line |
JPS642186A (en) * | 1987-06-25 | 1989-01-06 | Fujitsu Ltd | Hand written character recognizing system |
JPH03142693A (en) * | 1989-10-30 | 1991-06-18 | Mutoh Ind Ltd | On-line character recognition method |
US5412773A (en) * | 1991-11-19 | 1995-05-02 | Sony Electronics Inc. | Computerized interactive menu-driven video signal processing apparatus and method |
US5380428A (en) * | 1992-04-22 | 1995-01-10 | Product Research & Development | Pump for reverse osmosis system |
JPH09179938A (en) * | 1995-12-25 | 1997-07-11 | Oki Electric Ind Co Ltd | On-line handwritten character recognition device |
JPH1196301A (en) * | 1997-09-22 | 1999-04-09 | Hitachi Ltd | Character recognizing device |
-
2001
- 2001-02-08 JP JP2001032894A patent/JP4665317B2/en not_active Expired - Fee Related
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2589175B2 (en) * | 1989-01-13 | 1997-03-12 | 三洋電機株式会社 | Figure recognition device |
JP2761679B2 (en) * | 1991-05-15 | 1998-06-04 | シャープ株式会社 | Online handwritten character recognition device |
JP2915204B2 (en) * | 1992-04-20 | 1999-07-05 | 株式会社リコー | How to represent binary figures |
JP2727975B2 (en) * | 1993-12-03 | 1998-03-18 | 日本電気株式会社 | Handwritten symbol recognition system |
JP2765514B2 (en) * | 1995-05-10 | 1998-06-18 | 日本電気株式会社 | Handwritten symbol recognition system |
JP2000148907A (en) * | 1999-01-01 | 2000-05-30 | Sharp Corp | Handwritten diagram recognition device |
Also Published As
Publication number | Publication date |
---|---|
JP2002236926A (en) | 2002-08-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10275152B2 (en) | Advanced methods and systems for text input error correction | |
US8131080B2 (en) | Handwriting determination apparatus and method and program | |
JP4501018B2 (en) | Portable terminal device and input device | |
CN102023784A (en) | Method and equipment for inputting characters in non-contact mode | |
US11003255B2 (en) | Context-dependent touchbands | |
JPH0887378A (en) | Command execution system by mouse operation recognition | |
JP3351213B2 (en) | Learning menu control method | |
JP4665317B2 (en) | Coordinate sequence feature calculation method, video special effect device control method, and video special effect device control system | |
JP5735823B2 (en) | Spreadsheet control program, spreadsheet control device, and spreadsheet control method | |
US5999648A (en) | Character-figure editing apparatus and method | |
JP2013182329A (en) | Information processing device, control method for information processing device, and program | |
JP7363235B2 (en) | Information processing device and information processing program | |
JPH06289834A (en) | Input device and display device | |
JP4796448B2 (en) | Man-machine device | |
JP4143529B2 (en) | Information input device, information input method, computer program, and computer-readable storage medium | |
JP2010257315A (en) | Apparatus and method for processing information, and program | |
JP3353956B2 (en) | Handwritten character input method and apparatus | |
US20120331423A1 (en) | Method for navigating a structure of data using a graphical user interface having a looped history chain | |
JP6992795B2 (en) | Chart creation program and information processing device with chart creation function | |
JP4192868B2 (en) | Scientific calculator | |
JP3653109B2 (en) | Graphic processing device | |
JP7248279B2 (en) | Computer system, program and method | |
CN113050845B (en) | Processing method and processing device | |
JP5742870B2 (en) | Electronic equipment and programs | |
JPH08202856A (en) | Picture processing method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080116 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20101005 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20101007 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20101129 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20101214 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20101227 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140121 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140121 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |