JP4165166B2 - 映像効果付与装置および映像効果付与用プログラム - Google Patents

映像効果付与装置および映像効果付与用プログラム Download PDF

Info

Publication number
JP4165166B2
JP4165166B2 JP2002281010A JP2002281010A JP4165166B2 JP 4165166 B2 JP4165166 B2 JP 4165166B2 JP 2002281010 A JP2002281010 A JP 2002281010A JP 2002281010 A JP2002281010 A JP 2002281010A JP 4165166 B2 JP4165166 B2 JP 4165166B2
Authority
JP
Japan
Prior art keywords
video
signal processing
parameter values
time
sequence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2002281010A
Other languages
English (en)
Other versions
JP2004120360A (ja
Inventor
裕之 岩瀬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yamaha Corp
Original Assignee
Yamaha Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yamaha Corp filed Critical Yamaha Corp
Priority to JP2002281010A priority Critical patent/JP4165166B2/ja
Priority to US10/664,777 priority patent/US7236210B2/en
Publication of JP2004120360A publication Critical patent/JP2004120360A/ja
Application granted granted Critical
Publication of JP4165166B2 publication Critical patent/JP4165166B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/64Circuits for processing colour signals
    • H04N9/74Circuits for processing colour signals for obtaining special effects
    • H04N9/76Circuits for processing colour signals for obtaining special effects for mixing of colour signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/64Circuits for processing colour signals
    • H04N9/74Circuits for processing colour signals for obtaining special effects

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Circuits (AREA)
  • Processing Of Color Television Signals (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、映像信号に映像効果を与える映像効果付与装置および映像効果付与用プログラムに関するものである。特に、複数系統の各映像信号に映像効果を付与してミキシングした映像信号を出力するビデオミキサー装置に適したものである。
【0002】
【従来の技術】
ビデオミキサー装置は、オペレータによって指定された複数の入力系統の映像信号をミックスしてリアルタイムで出力する。その際、入力系統の選択、複数入力系統の映像信号の混合比の設定、各入力系統の映像信号に付与する視覚的効果(映像効果)の設定が行われる。
その際、入力系統の切り替え時点において、切り替え前の映像から切り替え後の映像に徐々に変化させたい場合がある。前後の映像画面の明るさを徐々に変化させることは、クロスフェードと呼ばれている。
また、画面の切り替えタイミングに限らず、時間的に映像効果を徐々に変化させたい場合がある。
このような、映像効果を得るためには、オペレータが操作子を用いて手動で調整すればよい。しかし、複数の操作子を同時に操作する場合には、間違えやすいために、操作に習熟を要する。また、人の操作であるため、うまく操作できたときにも、同じ操作を再現するのが難しかった。
特に、リアルタイムで入力される映像信号に対してリアルタイムで出力する場合は、操作のスピードも問題となり急激に映像効果を変化させることが非常に難しい。
【0003】
下記の特許文献1等で知られているように、シーンデータの記録再生機能を有するビデオミキサー装置も知られている。ある設定タイミングにおける操作パネル上の複数の操作子による設定状態を一括してシーンデータとして記憶装置に記録しておき、その後の任意の時点において、記憶装置から読み出せば、記録時における操作パネル上の複数の操作子による設定状態を一括して再現することができる。
上述したシーンデータの記録再生機能を用いれば、自動的に映像効果を切り替えることができる。
しかし、シーンデータは、現在の操作状態から操作状態を一括して切り替える機能であるために、切り替えタイミングで直ちに、あるいは所定時間をかけて切り替わるものである。
従って、徐々に変化している過渡的な期間における映像効果の変化については記録することも再現することもできない。
【0004】
【特許文献1】
特開2002−262179号公報(図2参照)
【0005】
【発明が解決しようとする課題】
本発明は、上述した問題点を解決するためになされたもので、操作子により付与される映像効果を簡単に時間的に変化させることができる映像効果付与装置および映像効果付与用プログラムを提供することを目的とするものである。
【0006】
【課題を解決するための手段】
本発明は、請求項1に記載の発明においては、映像効果付与装置において、複数の操作子操作に応じて、それぞれ、表示画面上の映像に所定の映像効果を付与するための複数のパラメータ値を設定するパラメータ値設定手段と、手動進行操作子と、手動シーケンス再生時に、前記手動進行操作子の操作量に応じて、信号処理の時間進行を制御し、該信号処理の時間進行に応じて、前記複数のパラメータ値を出力することにより、前記表示画面上の映像に付与する映像効果を時間的に変化させるシーケンス制御手段と、映像信号を入力し、該映像信号を、前記複数の操作子操作に応じてパラメータ値を設定する再生時には、前記パラメータ値設定手段により設定される前記複数のパラメータ値、前記手動シーケンス再生時には、前記シーケンス制御手段から出力される前記複数のパラメータ値、に応じて信号処理することにより、前記所定の映像効果が付与された映像信号を出力する映像信号処理手段を有するものである。
従って、入力した映像信号に対して付与する映像効果をオペレータの操作子の操作に応じて変化させるとともに、シーケンス制御手段の出力によって同様に映像効果を時間的に変化させることができる。その結果、映像信号がリアルタイムで入力され、所定の映像効果が付与された映像信号をリアルタイムで出力する場合においても、操作子を操作することなく、映像効果を簡単に変化させることができるようになる。
オペレータが手動進行操作子を操作することにより、その操作量に応じて時間的に変化する映像効果の進行具合を任意に制御することができる。
また、ビデオミキサー装置のように、複数の入力チャンネルの映像信号からなる場合がある。この場合、映像信号処理手段は、複数の入力チャンネルの映像信号を、それぞれ、パラメータ値設定手段により設定される複数のパラメータ値のうち、各入力チャンネルに対応したもの、あるいは、シーケンス制御手段から出力される複数のパラメータ値のうち、各入力チャンネルに対応したもの、に応じて信号処理した上でミキシングすることにより、前記所定の映像効果が付与された映像信号を出力する。
【0008】
請求項に記載の発明においては、請求項1に記載の映像効果付与装置において、スキップ操作子を有し、前記シーケンス制御手段は、前記手動シーケンス再生時に、所定のタイミングで前記複数のパラメータ値を更新し、前記スキップ操作子により、前記所定のタイミングの間隔が制御されるものである。
従って、オペレータがスキップ操作子を操作することにより、映像効果の時間的変化の粗密を任意に制御することができる。
【0009】
請求項に記載の発明においては、請求項11または2に記載の映像効果付与装置において、前記シーケンス制御手段は、シーケンス記録時に、前記パラメータ値設定手段により設定される前記複数のパラメータ値を、それぞれ、信号処理の時間進行に応じて入力して記憶するとともに、前記手動シーケンス再生時に、前記手動進行操作子の操作量に応じて、信号処理の時間進行を制御し、該信号処理の時間進行に応じて、記憶された前記複数のパラメータ値を、それぞれ、読み出して出力するものである。
従って、オペレータは、予め付与する映像効果が時間的に変化するように操作子を操作して、シーケンス記録手段により記憶させることにより、同じ映像効果を再現することができる。
なお、記憶された信号処理の時間進行期間中のタイミングの個数が少なく、タイミングの間隔が長い場合、例えば、最初と最後のタイミングのパラメータ値しか記録されていない場合には、補間処理をすることにより、より細かなタイミング間隔でパラメータ値を出力することができるので、映像効果の時間的変化をきめ細かく付与することができる。
すなわち、前記シーケンス制御手段は、記憶された前記信号処理の時間進行の複数のタイミングにおけるパラメータ値に基づいて、前記信号処理の時間進行期間中の複数のタイミングにおけるパラメータ値を補間によって出力するようにすればよい。
【0010】
請求項に記載の発明においては、請求項に記載の映像効果付与装置において、前記映像信号は複数の入力チャンネルの映像信号からなり、前記映像信号処理手段は、前記複数の入力チャンネルの映像信号を、それぞれ、前記複数の操作子操作に応じてパラメータ値を設定する再生時には、前記パラメータ値設定手段により設定される前記複数のパラメータ値のうち、各入力チャンネルに対応したもの、前記手動シーケンス再生時には、前記シーケンス制御手段から出力される前記複数のパラメータ値のうち、各入力チャンネルに対応したもの、に応じて信号処理した上でミキシングすることにより、前記所定の映像効果が付与された映像信号を出力するものであり、前記シーケンス制御手段は、前記シーケンス記録時に、前記入力チャンネル毎に、前記複数の操作子のうち当該入力チャンネルに対応したものの操作に応じて、当該入力チャンネルの映像信号に設定される前記パラメータ値を、信号処理の時間進行に応じて記憶する処理を繰り返すことにより、前記複数の入力チャンネルの前記各映像信号により表示される前記表示画面上の映像に所定の映像効果を付与するための複数のパラメータ値を順次、記憶するものである。
従って、複数の入力チャンネルの映像信号を信号処理しミキシングして所定の映像効果が付与された映像信号を出力するときのように複雑な操作子操作を必要とする場合においても、オペレータは、入力チャンネル毎に操作子を操作してシーケンス制御手段により記憶させることができるので、簡単に付与する映像効果を時間的に変化させることができる。
【0011】
請求項に記載の発明においては、映像効果付与用プログラムにおいて、パラメータ値設定ステップと、手動シーケンス再生時に、該手動進行操作子の操作量に応じて、信号処理の時間進行を制御し、信号処理の時間進行に応じて、前記複数のパラメータ値を出力することにより、前記表示画面上の映像に付与する映像効果を時間的に変化させるシーケンス制御ステップと、映像信号を、前記複数の操作子操作に応じてパラメータ値を設定する再生時には、前記パラメータ値設定手段により設定される前記複数のパラメータ値、前記手動シーケンス再生時には、前記シーケンス制御手段から出力される前記複数のパラメータ値、に応じて信号処理することにより、所定の映像効果が付与された映像信号を出力する映像信号処理ステップをコンピュータに実行させるものである。
従って、このプログラムをコンピュータに実行させることにより、請求項1に記載の映像効果付与装置を実現することができる。
【0012】
【発明の実施の形態】
図1は、本発明をビデオミキサー装置に適用した場合の実施の一形態を説明するためのブロック構成図である。
時間進行に応じてオペレータによる操作子操作が変化するときのパラメータの設定状態を、シーケンスデータとして予め記憶しておき、後に、記録しておいたシーケンスデータを読み出して操作子の操作手順を再現させることにより、時間的に変化する複雑な映像効果の制御を簡単に行うことができる。
図中、1は映像信号処理部、2はパラメータ値設定部、3はシーケンス制御部である。従来のビデオミキサー装置と比べ、シーケンス制御部3を有して、映像効果の機能を拡張している。
【0013】
映像信号処理部1は、複数の入力チャンネルの映像信号を入力し、各チャンネルの映像信号を、それぞれ、パラメータ値設定部2により設定される複数のパラメータ値のうち、各入力チャンネルに対応したものに応じて信号処理した上で、ミキシング(映像合成)することにより、所定の映像効果が付与された映像信号を出力する。
あるいは、シーケンス制御部3から出力される複数のパラメータ値に応じて信号処理した上で、ミキシングすることにより、所定の映像効果が付与された映像信号を出力する。
ミキシングは、例えば、図3を参照して後述する信号経路の設定として行われる。
【0014】
ここで、複数の入力チャンネルの映像信号は、外部の映像機器、例えば、ビデオカメラ、ビデオテープレコーダ、DVD(Digital Versatile Disk)、パーソナルコンピュータ等から入力される。動画の他、静止画の場合もある。
一方、出力チャンネルの映像信号は、テレビジョン、プロジェクタ、パーソナルコンピュータ等に出力される。図示の例では、出力チャンネルの数を1としているが、オペレータのモニタ用チャンネルのように、異なるミキシング信号をして出力するチャンネルが設けられる場合もある。
また、本装置が、記憶装置を内蔵する場合、この記憶装置から読み出して入力したり、この記憶装置に映像信号処理された出力を書き込んだりしてもよい。
【0015】
パラメータ値設定部2は、複数の操作子操作に応じて、それぞれ、表示画面上の映像に所定の映像効果を付与するための複数のパラメータ値を設定する。
映像効果としては、図3を参照して後述するが、映像のレベルや色彩などの画質に関する効果や、画像配置に関する、例えば、画面の縦横のサイズ、表示画面上の配置に関する効果がある。
各入力チャンネル1〜Nに対応してチャンネル別の操作子があり、この操作入力に応じて、この入力チャンネルの映像信号に設定されるパラメータ値を設定する。
【0016】
また、2つの入力チャンネルの合成レベル比を指定するクロスフェーダや、合成後の出力チャンネルの映像信号に対して映像効果を付与するマスターフェーダもある。
一方、シーケンス制御部3は、複数のパラメータ値を、信号処理の時間進行に応じて複数のタイミングにおいて出力することにより、表示画面上の映像に付与する映像効果を時間的に変化させるシーケンスデータ再生機能を有する。このシーケンスデータは、予め記憶部にプリセットしたものを用いたり、何らかの関数を用いて計算されるものを用いたりしてもよい。
【0017】
シーケンス制御部3は、手動進行操作子(図3におけるアサイナブルフェーダ52)の操作量に応じて、信号処理の時間進行を制御する。
信号処理の時間進行中において、操作パネル上の、予め決められた操作子に応じて、それぞれ設定される複数のパラメータ値が、連動し、一括して制御される。
その結果、記憶された複数のパラメータが、1つの手動進行操作子に割り当てられたようになり、この手動進行操作子の操作で記録されたパラメータのシーケンスデータが再生される。
【0018】
なお、手動操作に代えて、所定の速度および変化曲線で時間進行を自動的に行うことも可能である。
また、所定のタイミングで複数のパラメータ値を更新し、スキップ操作子(図3におけるスキップレシオスイッチ51)により、シーケンスデータの再生の粗密を決めるパラメータ値を設定することにより、更新するタイミングの間隔を制御できるようにしてもよい。その結果、滑らかに切り替わる映像効果に加えて、跳び跳びに変化する映像効果も可能となる。
【0019】
シーケンス制御部3は、また、複数のパラメータ値を記憶部に記憶するために、シーケンスデータを記録する機能を有してもよい。
例えば、パラメータ値設定部2において、複数の操作子操作に応じて設定される複数のパラメータ値を、それぞれ、信号処理の時間進行に応じ、リアルタイムで入力して記憶する。シーケンスデータの再生時には、記憶された複数のパラメータ値を、それぞれ、信号処理の時間進行に応じて読み出す。
あるいは、タイミングの所定のステップ毎に進行を停止させて、操作子を操作しパラメータを記録するようにしてもよい。
このようなシーケンスデータは、1種類しか記憶しないのではなく、複数種類のパターンを記録できるようにし、それらを切り替えることにより、瞬時に様々な映像効果を実現することが可能となる。
【0020】
シーケンス制御部3は、全ての操作子が同時に操作したときの状態しか記録できないのではない。オーバダビングの手法を用い、録音は複数回に分けて行って行い、各回で得られるシーケンスデータを合成したシーケンスデータを再生することもできる。
例えば、入力チャンネル毎に、複数の操作子のうち、この入力チャンネルに対応したものの操作に応じて、この入力チャンネルの映像信号に設定されるパラメータ値を、信号処理の時間進行に応じて記憶する処理を繰り返すことにより、複数の入力チャンネルの各映像信号により表示される表示画面上の映像に所定の映像効果を付与するための複数のパラメータ値を順次、記憶する。
なお、同じチャンネルの同じパラメータ値を上書すれば、単純には、前のパラメータ値は消去されることになる。しかし、設定により、前のパラメータ値との加算結果、あるいは、減算結果に書き換えられるようにすれば、より複雑な映像効果の付与がなされる。
【0021】
特に、図3を参照して後述する共通操作子42〜45の場合には、複数の入力チャンネルの映像信号にある同じ映像効果を同時に与えることができない。
しかし、シーケンス制御部3は、入力チャンネル毎に、共通操作子42〜45の操作に応じて、その入力チャンネルの映像信号に設定されるパラメータ値を、信号処理の時間進行に応じて記憶する処理を繰り返すことにより、各映像信号により表示される映像に所定の映像効果を付与するための複数のパラメータ値を順次重ねて記憶して行くことができる。
【0022】
シーケンス制御部3は、信号処理の時間進行の複数のタイミングにおいて記録されたシーケンスデータだけでは、タイミング間隔が粗すぎて映像効果の時間的な変化がぎこちない場合には、記憶されたパラメータ値に基づいて、信号処理の時間進行期間中の複数のタイミングにおけるパラメータ値を補間してもよい。
例えば、映像効果を付与する開始タイミングと終了タイミングという2つのタイミングにおける操作子の操作状態に応じたパラメータ値だけが記録された場合に有効である。
【0023】
上述した映像信号処理部1,パラメータ値設定部2,シーケンス制御部3は、1台のビデオミキサー装置内に実装される場合の他、映像信号処理部1が、パラメータ値設定部2,シーケンス制御部3とは、別の装置構成になる場合もある。また、パーソナルコンピュータが接続されて、パーソナルコンピュータ側において、複数の操作子を仮想的に画面に表示して、キーボードやマウスにより仮想的な操作子を操作することにより、映像信号処理部1を制御することもできる。
パーソナルコンピュータ側から制御するには、例えば、MlDlのコントロールチェンジ等で操作子の動きをリモートコントロールできるようにして、シーケンスデータをSMF(Standard MIDI File)等のファイル形式を用いて映像信号処理部1に転送することが可能となる。
【0024】
図2は、本発明の実施の一形態のハードウエア構成例を示すブロック図である。
図中、CPU15は、ROM13に格納された動作プログラムや各種設定データを用い、RAM14をワークエリアとして、ビデオミキサー装置の制御動作を行う。
より具体的には、バス11を介して、操作パネル上の調整用操作子17、その他の操作子16の操作イベントを検出することにより、映像効果の付与およびミキシング動作をさせるために映像信号処理部21にパラメータ値の設定を行う。
シーケンスデータの書き込み、読み出しは、フラッシュメモリ等のシーケンスデータ等記憶部15に記憶可能である。プリセット値はROM13にも記憶可能である。また、インターフェース18を経由して外部装置からシーケンスデータ記憶部15にダウンロードすることもできる。
【0025】
191〜19Nは、アナログ/ディジタル変換部(ディジタルビデオデコーダ)であり、フレームバッファ201〜20Nを介して映像信号処理部21に接続される。
アナログ/ディジタル変換部191〜19Nは、アナログのコンポジット信号(映像信号,カラーバースト,複合同期信号)形式の映像信号を、ディジタルデータのコンポジット信号に変換する。その際、映像信号は、輝度信号(Y信号),色差信号(Cb信号),色差信号(Cr信号)に分離する。
複数の入力チャンネル1〜Nの映像信号は同期していないので、各入力チャンネル1〜Nの映像信号を、それぞれのフレームバッファ201〜20Nにおい取り込み、同期タイミングを合わせてから映像信号処理部21に出力する。
【0026】
信号処理部21は、例えばDSP(Digital Signal Processor)で実現される。CPU12により、パラメータの設定値やミキシング信号経路等が設定され、入力された映像信号を任意に選択してリアルタイムでミックスして出力する動作をする。
映像出力回路(ディジタルビデオエンコーダ)22は、映像信号処理部21から出力される映像信号のY信号,Cr信号,Cb信号からアナログコンポジット信号を生成し、映像表示装置に出力して、出力映像信号に応じた画面を表示させる。
【0027】
バス11には、外部のパーソナルコンピュータ等と接続するためのインターフェース(PC/IO)18を有する。外部のパーソナルコンピュータは、その表示器の表示画面に操作子を表示させ、キーボード,マウスを使用して、GUI(グラフィカルユーザインターフェース)による操作子操作を行い、CPU12と同様に、映像信号処理部21を制御することが可能である。
ROM13をフラッシュメモリとすれば、ここに記憶される制御プログラムや設定データは、シーケンスデータ等記憶部15と同様に書き換えることができる。図示しない外部記憶装置(メモリーカードやCD-ROMなど)を用いて新たな制御プログラムや設定データをインストールしたり、インターフェース18を介し、ネットワーク上のサーバコンピュータからダウンロードしたりしてもよい。
パラメータ値の設定状態やシーケンスデータの内容は、図示しない表示器に表示させるか、映像信号出力を表示する同じディスプレイに重ねて表示させるようにするとよい。
【0028】
図3は、本発明の実施の一形態における操作パネル31の一例を示す説明図である。
図中、32〜35,40は、入力チャンネルに対応したパラメータの操作子である。32はポジ表示/ネガ表示選択スイッチである。33〜35は回転式ボリュームであり、33はトリムボリューム(Y,C共通のゲインボリューム)、34は色調整ボリューム、35は色ゲイン(色合いの強さ)ボリューム、40はY,C共通のゲインを設定するフェーダ(スライダ)である。
37は各入力チャンネルに映像信号が入力されている時に点灯するLED(発光ダイオード)である。
【0029】
42〜45は共通操作子である。いずれも回転式ボリュームである。42は入力映像信号による表示画面の縦方向の場所(ポジション)を設定する縦方向位置ボリューム、43は縦方向の画面サイズを設定する縦方向サイズボリューム、44は入力映像信号による表示画面の横方向の場所を設定する横方向位置ボリューム、45は横方向のサイズを設定する横方向サイズボリュームである。
チャンネル選択スイッチ46により入力チャンネルを指定し、共通操作子42〜45によって、この入力チャンネルに対応したパラメータの設定を行う。
チャンネル選択スイッチ46がオフを選択したときには、画像配置のプリセット選択機能になり、共通操作子42〜45によってプリセット状態を設定する。
共通操作子42〜45に代えて、それぞれの調整を各チャンネル毎に独立して行う操作子に置き換えてもよい。
49はミキシングされた映像信号の出力レベルを調整する操作子であり、図示の例ではメインフェーダである。47は出力チャンネルに映像信号が出力されている時に点灯するLED(発光ダイオード)である。
【0030】
38は、各入力チャンネル対応して設けられたソロスイッチである。1つのソロスイッチ38を押すことにより、対応する入力チャンネルの映像信号のみが、映像効果を付与されて出力チャンネル(Main Out)に供給される。
39は、各入力チャンネルに対応して設けられたミュートスイッチである。対応する入力チャンネルの映像信号は、出力チャンネル(Main Out)に供給されない。
41は、各入力チャンネルに対応して設けられたプレビュースイッチである。対応する入力チャンネルの映像信号を、出力チャンネル(Preview Out)に供給し、オペレータのモニタ用のディスプレイに出力される。例えば、新たにミキシングしようとする映像信号を表示させるために用いる。この入力チャンネルの映像信号のレベルがフェーダ40によって絞りきっていた場合(Main Outに出力されない)でも基準レベルで出力されるようにするとよい。
【0031】
クロスフェーダ50は、「A入力」,「B入力」に割り当てられたチャンネルの映像信号を合成し、その際の混合比(0〜1)を設定するためのものである。
36は、各入力チャンネルに対応して設けられた、クロスフェーダアサインスイッチである。このスイッチによって、「A入力」,「B入力」に割り当てられる。いずれにも割り当てられない「スルー」に設定される場合もある。
48はクロスフェーダ50の混合比の変化カーブを切り替えるクロスフェーダカーブスイッチである。このスイッチを押す毎に異なるカーブが設定される。クロスフェーダ50の操作摘みの位置と混合比との関数関係を決める。
【0032】
最下部に枠で囲まれた範囲に、シーケンス制御機能を実現するための操作子が配置されている。
セレクトスイッチ54,55は、シーケンス番号(表示器53内に表示される)を切り替え、アサインボタン56押すことによってシーケンス番号が決定される。57は記録指示スイッチ、58は停止指示スイッチ、59は自動再生指示スイッチである。
52はアサイナブルフェーダであり、自動再生スイッチ59が操作されていない状態で、この摘みを移動させることによってシーケンスデータに含まれている複数のパラメータが同期して一斉に読み出される。その際、フェーダ40,49、クロスフェーダ50は、操作摘み部が、読み出されたパラメータに対応した操作位置になるようにモータドライブさせ、ポジ表示/ネガ表示を選択する切り替えスイッチ32、クロスフェーダアサインスイッチ36も、同様に、読み出されたパラメータに対応した操作位置になるようにモータドライブさせるようにすれば、シーケンスデータによる時間進行が完了した時点で、あるいは、途中で中断した時点で、直ちに手動操作に移ることができる。
【0033】
回転式ボリュームの形態である33〜35,42〜45についても、モータドライブさせてもよい。その代わりに、これらをロータリエンコーダ型として回転操作角の変化量によってパラメータ値を制御する場合は、操作摘み部の周囲にLEDレベルメータを設けて、このレベルメータによる値が、読み出されたパラメータ値に対応した表示になるようにしてもよい。
スキップレシオスイッチ51は、シーケンスデータの自動再生時、あるいは手動進行再生時に、シーケンスデータを更新するための読み出し間隔を設定することにより、再生時の映像効果の粗密を制御する。操作子51は、スキップレシオを段階的に切り替えるスイッチとすることができる。
【0034】
図4は、本発明の実施の一形態を説明するための信号経路図である。
以下の構成要素は、図1の映像信号処理部1、図2の映像信号処理部21の機能を等価的な電気回路として示したものである。入力チャンネル数は4チャンネルとし、出力チャンネル数を1チャンネルとし、プレビュー出力チャンネルは省略した。
611〜614は画質調整部であり、第1〜第4の入力チャンネルの画質調整を行う。図3に示したポジ表示/ネガ表示選択スイッチ32,トリムボリューム33,色調整ボリューム34,色ゲインボリューム35の各チャンネル別操作子による操作に応じて設定されるパラメータ、あるいは、図3に示した自動再生指示スイッチ59、または、アサイナブルフェーダ52の操作に応じて図2に示したシーケンスデータ記憶部15から読み出されるシーケンスデータによって制御される。
【0035】
621〜624は画像配置調整部であり、第1〜第4の入力チャンネルの画像配置調整を行う。図3に示した縦方向位置ボリューム42,縦方向サイズボリューム43,横方向位置ボリューム44,横方向サイズボリューム45の操作子による操作に応じて設定されるパラメータ、あるいは、シーケンスデータ記憶部15から読み出されるシーケンスデータによって制御される。
631〜634はゲイン調整部であり、図3に示したフェーダ40による操作に応じて設定されるパラメータ、あるいは、シーケンスデータ記憶部15から読み出されるシーケンスデータによって制御される。
641〜644はオンオフスイッチ部であり、ゲイン調整部631〜634を通した映像信号を出力するか否かを制御する。図3に示したソロスイッチ38,ミュートスイッチ39、あるいは、シーケンスデータ記憶部15から読み出されるシーケンスデータによって制御される。
【0036】
651〜654は、各入力チャンネル1〜4から、クロスゲイン調整部66への割り当ての経路を選択するスイッチ部であり、「A入力」,「B入力」または「スルー」から1つが選択される。図3に示したクロスフェーダアサインスイッチ36の操作、あるいは、シーケンスデータ記憶部15から読み出されるシーケンスデータによって制御される。
「A入力」,「B入力」,「スルー」における映像信号入力の結線は、加算合成演算されることを表す。
66は「A入力」,「B入力」に割り当てられた2つの映像信号を、互いに反対方向に変化する重みで合成して出力するクロスゲイン調整部であり、図3に示したクロスフェーダ50、あるいは、シーケンスデータ記憶部15から読み出されるシーケンスデータによって制御される。その変化特性は、図3に示したクロスフェーダカーブスイッチ48、あるいは、シーケンスデータ記憶部15から読み出されるシーケンスデータによって制御される。クロスゲイン調整部の出力および各入力チャンネルの「スルー」出力の結線は、加算合成演算されることを表す。
67はメインゲイン調整部であり、図3に示したメインフェーダ49、あるいは、シーケンスデータ記憶部15から読み出されるシーケンスデータによって制御される。
【0037】
図5は、本発明の実施の一形態の動作例のメインルーチンを示すフローチャートである。
電源投入によって起動し、S71において初期化され、S72において操作パネル31上の複数の操作子の操作状態を検出し、S73において映像制御の操作があったときには、S74(図6)に処理を進める。S75においてシーケンス制御の操作があったときには、S76(図7)に処理を進める。
S77において映像信号の加工制御を行う。S78においてはその他の処理を行いS72に処理を戻す。
【0038】
図6は、図5のS74における映像制御ステップの詳細を示すフローチャートである。S81〜S94において、操作子の操作に応じたパラメータ値のセットが行われる。S96においては、シーケンスデータの記録状態であるか否かを、シーケンス開始フラグが立っているか否かによって判定する。
そうであれば、S97において、S82,S84,S86,S90,S94において処理したパラメータ値を現在のタイミングで記録する。既に記録されているシーケンス番号のシーケンスデータに記録する設定になっていた場合には、以前のシーケンスデータに重ねて書き込まれる(上書きあるいは加算など)ことになり、複雑なシーケンス制御を行うことができる。
【0039】
図7は、図5のS76におけるシーケンス制御ステップの詳細を示すフローチャートである。
S101において、記録指示スイッチ(図3,57)の操作を検出したときには、S102において、記録開始フラグを立てる。
S103において、停止指示スイッチ(図3,58)の操作を検出したときには、S104においてシーケンスデータの記録,再生いずれも停止する。記録状態の停止であれば、記録開始フラグを倒す。再生状態の停止であれば、この時点で各パラメータ値を保持する。このパラメータ値は、図6に示した映像制御の操作子の操作によって更新される。
S105において、スキップレシオスイッチ(図3,51)の操作を検出したとき、S106において設定値を変更する。設定値は、例えば、シーケンスの進行期間中にシーケンスデータを読み出す回数あるいはタイミング間隔等を設定する。スキップさせない状態を選択することも可能とする。
【0040】
S107において、アサイナブルフェーダ(図3,52)の操作を検出したときは、S108においてスキップレシオ以上の操作量があったときに、初めてS109に処理を進め、シーケンスデータを動き量と対応するタイミングまでスキップさせた上で読み出し、その読み出したパラメータ値を、映像信号処理部(図2の21,図3)に設定する。
なお、S108においては、前回パラメータ値を変更セットしたときの操作子位置から動き量に対応する値がスキップレシオの値を超えたか否かを判定している。また、具体例は、図8,図9を参照して後述する。
S110において、自動再生指示スイッチ(図3,59)の操作を検出したときは、S111においてスキップレシオ相当の操作量があったときに、初めてS113に処理を進め、時間進行に応じたタイミングにおけるシーケンスデータの値を映像信号処理部(図2の21,図4)に設定する。
なお、具体例は、図10を参照して後述する。
S112において、その他の操作に合った指示を実行する。例えば、図3におけるセレクトスイッチ54,55、アサインボタン56の操作により、記録あるいは再生するシーケンスデータのシーケンス番号を変更したり、既に記録されているシーケンスデータを削除する。
【0041】
図8は、映像効果の一具体例を示す説明図である。
121はディスプレイに表示される全画面、左が映像効果の付与を開始するタイミングの全画面、右が映像効果の付与を終了するタイミングの全画面である。左の全画面121において、例えば、入力チャンネル1の映像信号により画面122が表示されている。図3における色調整ボリューム(Hue)34を操作して黄色が強調され、縦方向位置ボリューム42の操作により全画面121の上から約1/4に中心が位置付けされ、縦方向サイズボリューム43の操作により縦幅が全画面121の1/2にされ、横方向位置ボリューム44の操作により全画面121の左から約1/4に中心が位置付けされ、横方向サイズボリューム45の操作により横幅が全画面121の1/2にされている。
一方、右の全画面において、入力チャンネル1の映像信号により映像122が表示されている。図3における色調整ボリューム(Hue)34を操作して赤色が強調され、縦方向位置ボリューム42の操作により全画面121の上から約3/4に中心が位置付けされ、横方向位置ボリューム44の操作により全画面121の左から約3/4に中心が位置付けされる。縦方向サイズおよび横方向サイズは左の画面と同じである。
【0042】
図9は、図8に示した映像効果を実現するシーケンスデータの一具体例を示す説明図である。
図9(a)〜図9(c)には、色調整ボリューム(Hue)34による色調整パラメータをHue、縦方向位置ボリューム42による縦方向位置パラメータをVpos、横方向位置ボリューム44による横方向位置パラメータをHposとして示している。説明用のグラフであるので、図8の画面に正確に対応するものではない。
時間t=0のときにシーケンスデータの記録が開始され、時間t=Tのときに記録が終了する。この間の時間進行において、色調整ボリューム34の操作により、色調整パラメータHueは131aのようにメモリに記録され、縦方向位置ボリューム42の操作により縦方向位置パラメータをVposは132aのようにメモリに記録され、横方向位置ボリューム44の操作により横方向位置パラメータHposは133aのようにメモリに記録される。
【0043】
図示の例では、時間進行の間における離散的な複数のタイミングにおいて、各パラメータが同時にステップ的に変化する場合を示している。その結果、図9(d)に示すように、a〜kの「シーン」が含まれる。各「シーン」において各パラメータ131a〜133aは一定値をとって記録されることになる。
このようにして記録されたシーケンスデータを再生する際に、図3における自動再生スイッチ59の操作により自動再生する場合は、単純に、記録されたシーケンスデータを時間進行に従って定速度で読み出せばよい。記憶された複数のパラメータの変化に従って、入力される映像信号に映像効果が付与され、かつ、ミキシングされて出力される。
ここでは、図3におけるアサイナブルフェーダ52の操作によって、オペレータの操作によってシーケンスデータの再生をする場合を説明する。
【0044】
図9(f)に、アサイナブルフェーダ52の操作摘み134の位置を示す。操作摘み134の移動範囲と記録されたシーケンスデータの時間進行の全期間とを対応させている。従って、操作摘み134の位置が左端にあるときが、映像効果の付与を開始するタイミングとなり、右端にあるときが映像効果の付与を終了するタイミングとなる。
ここでは、図3におけるスキップレシオスイッチ51により、6段階のステップで再生する場合について説明する。このとき、t=0〜T間を5分割し、t1,t2,……,t6のタイミングを設定する。操作摘み134が、オペレータの手動操作により上述した分割タイミングt1,t2,……,t6に対応する位置に来たとき、そのタイミングにおけるシーケンスデータのパラメータ値131a〜133aを読み出す。
【0045】
結果として、131b〜133bに示したようなパラメータ値が読み出されることになる。従って、記録されていたパラメータ値は、そのパラメータ値が記録されたタイミングと同じタイミングで読み出されるとは限らないし、読み出されない場合もある。
上述した説明では、シーケンスデータの記録時に各パラメータ131a〜133aの値が離散的に、しかも同じタイミングで変化させていたが、連続的に変化させたり、異なるタイミングで変化させたりしてもよい。また、記録するタイミングを等間隔に設定するようにしてもよい。
【0046】
図10は、補間されたシーケンスデータを示す説明図である。
シーケンスデータとして、映像効果を付与する開始タイミングにおけるパラメータ値と、映像効果の付与を終了するタイミングにおけるパラメータ値とが記録されていた場合について説明する。
時間進行の途中におけるパラメータ値を補間、例えば、直線補間によって作成する。その結果、開始点と終了点との間のパラメータ値を滑らかにつなぐことができる。141〜143は直線補間処理された後のパラメータ値である。図示の例では、映像効果付与期間を10分割している。
分割数を制御することにより、映像効果の粗密を変化させることができる。
このようにして作成されたパラメータ値141〜143は、図3における自動再生スイッチ59の操作により自動再生してもよいし、また、図9と同様に、アサイナブルフェーダ52の操作摘み134を手動動作させることによって読み出すこともできる。
【0047】
図8,図9を参照した説明では、1つの入力チャンネルの映像信号に映像効果を付与する場合の具体例であった。これに対し、複数の入力チャンネルの映像信号をミキシングして表示させる場合がある。
図3におけるクロスフェーダ50を用いれば、一方の映像が徐々に消え、他方の映像が徐々に現れる機能を実現することができるが単調である。
このような場合、クロスフェーダ50で画面を切り替える動作に加えて、図3におけるトリムボリューム33を瞬間的に操作すれば、一方の映像を徐々に消えて行く前に一瞬輝度を上げて切り替わる動きを実現することができる。しかし、この操作をリアルタイムで実行することは難しい。しかし、操作をシーケンスデータとして記録する場合は、リアルタイムではなく、タイミングを細かなステップで進ませながら操作することも可能であるので、容易に操作することができる。
【0048】
また、2つの映像信号を切り替える際に、図8に示したような画像の移動を伴う場合は、クロスフェーダ50では実現できないので、他の操作子を用いて手操作で行う必要がある。
しかし、図3における画像配置関係の操作子共通操作子であるので、1つのチャンネルを指定しないと操作できない。仮に、チャンネル毎に画像配置関係の操作子が設けられたとしても、同時に2つのチャンネルの操作子を操作することは非常に困難である。このような場合でも、シーケンス制御機能を用いれば簡単に実現できる。
【0049】
まず、入力チャンネル1の画像の中心位置を中央から左端に動かす操作を行って、そのシーケンスデータをメモリに記録する。次に、入力チャンネル2の画像の中心位置を右端から中央に動かす操作を行って、そのシーケンスデータをメモリに記録する、いわば、オーバダビング処理を行う。
このシーケンスデータを自動再生、あるいは、図8に示したように手動再生すると、入力チャンネル1の映像信号による画面と入力チャンネル2の映像信号による画面とが、全画面の横方向に並んで徐々に移動して行くように切り替わる機能を実現することができる。
【0050】
【発明の効果】
本発明は、上述した説明から明らかなように、操作子により付与される映像効果を簡単に時間的に変化させることができるという効果がある。
与えることのできる映像効果の時間変化の自由度が高く、また、複雑な映像効果を設定することもできる。
【図面の簡単な説明】
【図1】 本発明をビデオミキサー装置に適用した場合の実施の一形態を説明するためのブロック構成図である。
【図2】 本発明の実施の一形態のハードウエア構成例を示すブロック図である。
【図3】 本発明の実施の一形態における操作パネルの一例を示す説明図である。
【図4】 本発明の実施の一形態を説明するための信号経路図である。
【図5】 本発明の実施の一形態の動作例のメインルーチンを示すフローチャートである。
【図6】 図5のS74における映像制御ステップの詳細を示すフローチャートである。
【図7】 図5のS76におけるシーケンス制御ステップの詳細を示すフローチャートである。
【図8】 映像効果の一具体例を示す説明図である。
【図9】 図8に示した映像効果を実現するシーケンスデータの一具体例を示す説明図である。
【図10】 補間されたシーケンスデータを示す説明図である。
【符号の説明】
1…映像信号処理部、2…パラメータ値設定部、3…シーケンス制御部、52…手動進行操作子(アサイナブルフェーダ)、54,55…セレクトスイッチ、56…アサインボタン、57…記録指示スイッチ、58…停止指示スイッチ、59…自動再生指示スイッチ

Claims (5)

  1. 複数の操作子操作に応じて、それぞれ、表示画面上の映像に所定の映像効果を付与するための複数のパラメータ値を設定するパラメータ値設定手段と、
    手動進行操作子と、
    手動シーケンス再生時に、前記手動進行操作子の操作量に応じて、信号処理の時間進行を制御し、該信号処理の時間進行に応じて、前記複数のパラメータ値を出力することにより、前記表示画面上の映像に付与する映像効果を時間的に変化させるシーケンス制御手段と、
    映像信号を入力し、該映像信号を、前記複数の操作子操作に応じてパラメータ値を設定する再生時には、前記パラメータ値設定手段により設定される前記複数のパラメータ値、前記手動シーケンス再生時には、前記シーケンス制御手段から出力される前記複数のパラメータ値、に応じて信号処理することにより、前記所定の映像効果が付与された映像信号を出力する映像信号処理手段、
    を有することを特徴とする映像効果付与装置。
  2. スキップ操作子を有し、
    前記シーケンス制御手段は、前記手動シーケンス再生時に、所定のタイミングで前記複数のパラメータ値を更新し、前記スキップ操作子により、前記所定のタイミングの間隔が制御される、
    ことを特徴とする請求項1に記載の映像効果付与装置。
  3. 前記シーケンス制御手段は、シーケンス記録時に、前記パラメータ値設定手段により設定される前記複数のパラメータ値を、それぞれ、信号処理の時間進行に応じて入力して記憶するとともに、前記手動シーケンス再生時に、前記手動進行操作子の操作量に応じて、信号処理の時間進行を制御し、該信号処理の時間進行に応じて、記憶された前記複数のパラメータ値を、それぞれ、読み出して出力する
    ことを特徴とする請求項1または2に記載の映像効果付与装置。
  4. 前記映像信号は複数の入力チャンネルの映像信号からなり、
    前記映像信号処理手段は、前記複数の入力チャンネルの映像信号を、それぞれ、前記複数の操作子操作に応じてパラメータ値を設定する再生時には、前記パラメータ値設定手段により設定される前記複数のパラメータ値のうち、各入力チャンネルに対応したもの、前記手動シーケンス再生時には、前記シーケンス制御手段から出力される前記複数のパラメータ値のうち、各入力チャンネルに対応したもの、に応じて信号処理した上でミキシングすることにより、前記所定の映像効果が付与された映像信号を出力するものであり、
    前記シーケンス制御手段は、前記シーケンス記録時に、前記入力チャンネル毎に、前記複数の操作子のうち当該入力チャンネルに対応したものの操作に応じて、当該入力チャンネルの映像信号に設定される前記パラメータ値を、信号処理の時間進行に応じて記憶する処理を繰り返すことにより、前記複数の入力チャンネルの前記各映像信号により表示される前記表示画面上の映像に所定の映像効果を付与するための複数のパラメータ値を順次、記憶する、
    ことを特徴とする請求項に記載の映像効果付与装置。
  5. 複数の操作子操作に応じて、それぞれ、表示画面上の映像に所定の映像効果を付与するための複数のパラメータ値を設定するパラメータ値設定ステップと、
    手動シーケンス再生時に、手動進行操作子の操作量に応じて、信号処理の時間進行を制御し、該信号処理の時間進行に応じて、前記複数のパラメータ値を出力することにより、前記表示画面上の映像に付与する映像効果を時間的に変化させるシーケンス制御ステップと、
    映像信号を入力し、該映像信号を、前記複数の操作子操作に応じてパラメータ値を設定する再生時には、前記パラメータ値設定手段により設定される前記複数のパラメータ値、前記手動シーケンス再生時には、前記シーケンス制御手段から出力される前記複数のパラメータ値、に応じて信号処理することにより、前記所定の映像効果が付与された映像信号を出力する映像信号処理ステップ、
    をコンピュータに実行させることを特徴とする映像効果付与用プログラム。
JP2002281010A 2002-09-26 2002-09-26 映像効果付与装置および映像効果付与用プログラム Expired - Fee Related JP4165166B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2002281010A JP4165166B2 (ja) 2002-09-26 2002-09-26 映像効果付与装置および映像効果付与用プログラム
US10/664,777 US7236210B2 (en) 2002-09-26 2003-09-17 Multi-channel video mixer for applying visual effects to video signals

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002281010A JP4165166B2 (ja) 2002-09-26 2002-09-26 映像効果付与装置および映像効果付与用プログラム

Publications (2)

Publication Number Publication Date
JP2004120360A JP2004120360A (ja) 2004-04-15
JP4165166B2 true JP4165166B2 (ja) 2008-10-15

Family

ID=32275576

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002281010A Expired - Fee Related JP4165166B2 (ja) 2002-09-26 2002-09-26 映像効果付与装置および映像効果付与用プログラム

Country Status (2)

Country Link
US (1) US7236210B2 (ja)
JP (1) JP4165166B2 (ja)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4327370B2 (ja) * 2001-02-28 2009-09-09 ヤマハ株式会社 ビデオミキサー装置
US7324166B1 (en) * 2003-11-14 2008-01-29 Contour Entertainment Inc Live actor integration in pre-recorded well known video
WO2006039357A1 (en) * 2004-09-29 2006-04-13 Technicolor Inc. Method and apparatus for color decision metadata generation
US7903172B2 (en) * 2005-03-29 2011-03-08 Snell Limited System and method for video processing
US8074581B2 (en) 2007-10-12 2011-12-13 Steelcase Inc. Conference table assembly
JP4535159B2 (ja) * 2008-04-01 2010-09-01 ソニー株式会社 信号切換装置、信号切換装置の制御方法、プログラム、及び、記録媒体
US10631632B2 (en) 2008-10-13 2020-04-28 Steelcase Inc. Egalitarian control apparatus and method for sharing information in a collaborative workspace
US20140361954A1 (en) 2013-06-07 2014-12-11 Lewis Epstein Personal control apparatus and method for sharing information in a collaboration workspace
US10884607B1 (en) 2009-05-29 2021-01-05 Steelcase Inc. Personal control apparatus and method for sharing information in a collaborative workspace
US10264213B1 (en) 2016-12-15 2019-04-16 Steelcase Inc. Content amplification system and method
US10877652B2 (en) * 2018-06-21 2020-12-29 Bose Corporation Synchronizing timed events with media
JP2022180883A (ja) 2021-05-25 2022-12-07 ローランド株式会社 映像処理装置および映像処理プログラム

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5218672A (en) * 1990-01-19 1993-06-08 Sony Corporation Of America Offline editing system with user interface for controlling edit list generation
US5262865A (en) * 1991-06-14 1993-11-16 Sony Electronics Inc. Virtual control apparatus for automating video editing stations
US5877781A (en) * 1995-11-29 1999-03-02 Roland Kabushiki Kaisha Memory control device for video editor
JP4327370B2 (ja) 2001-02-28 2009-09-09 ヤマハ株式会社 ビデオミキサー装置

Also Published As

Publication number Publication date
US20040150752A1 (en) 2004-08-05
US7236210B2 (en) 2007-06-26
JP2004120360A (ja) 2004-04-15

Similar Documents

Publication Publication Date Title
US7019788B2 (en) Video mixer apparatus
JP4855930B2 (ja) ビデオ合成のための対話型システムおよび方法
JP4165166B2 (ja) 映像効果付与装置および映像効果付与用プログラム
US7319493B2 (en) Apparatus and program for setting video processing parameters
US7476796B2 (en) Image controlling apparatus capable of controlling reproduction of image data in accordance with event
JP4345727B2 (ja) 信号加工装置及びその操作手段の機能の実行方法
US7688478B2 (en) Image processing apparatus, image processing method, and program for implementing the method
KR19990014570A (ko) 즉석 뮤직비디오 제작 시스템
JP4212688B2 (ja) 映像編集装置
JP4196705B2 (ja) 映像処理出力装置
JP4265246B2 (ja) 映像処理出力装置
JP4165262B2 (ja) 信号処理装置
JP4419627B2 (ja) 映像データ処理装置及び映像データ処理方法
JP4364048B2 (ja) 映像編集装置
JP5050424B2 (ja) エフェクトスイッチャー、エフェクトスイッチャーにおける映像再生装置の制御方法
JP4329373B2 (ja) 映像加工パラメータ設定装置
KR20010096687A (ko) 자가영상합성장치
JPH07170453A (ja) 映像信号処理方法
JPH02226973A (ja) ビデオ信号処理回路
JPH07170451A (ja) 映像信号処理方法
JPH07169183A (ja) 音声信号重畳レベル制御装置
JP2004289741A (ja) 映像加工パラメータ設定装置および映像加工パラメータ設定用プログラム
KR20010026611A (ko) 루미넌스키를 사용한 즉석 뮤직비디오 제작 시스템과 기술

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050224

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20070807

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080122

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080324

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080708

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080721

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110808

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120808

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130808

Year of fee payment: 5

LAPS Cancellation because of no payment of annual fees