JP5009497B2 - 操作器を用いた制御システム - Google Patents

Description

この発明は、操作器を用いた制御システムに関し、特にその操作性向上に関するものである。

操作器の操作出力を受けて、その操作量に基づいて制御を行う機器が用いられている。たとえば、図１に示すようなペダルコントローラと呼ばれる操作器が知られている（特許文献１）。このペダルコントローラは、基台１に設けた軸受３を介して、ペダル２が取り付けられている。ペダル２を矢印Ｆの方向に踏み込むと、ラック５が同方向に動く。このラック５により、摺動抵抗器６の回転軸に設けられたピニオン７が回転する。したがって、ペダル２の踏み込みに応じた制御信号（抵抗値）を出力することができる。

なお、ペダル２には突起４が設けられ、バネ９によって付勢されている。したがって、ペダル２の踏み込みをやめると、ペダル２は元の位置に復帰する。

また、上記ペダルコントローラの他にも、マウス、トラックボールなどの操作器が用いられている。

実開平７−０３４４８９号公報

しかしながら、これらの操作器では、作業内容によっては、制御信号の値を微妙に変化させることが困難な場合がある。たとえば、コンピュータによって映像を再生しながら編集する作業を行う場合に、ペダルコントローラを用いた場合を考える。映像に対する処理はマウスなどで行い、ペダルコントローラを操作して所望のフレームを探し出す作業を行う。

踏み込みに比例したペダルコントローラの出力信号の値は、Ａ／Ｄ変換器を通してＣＰＵに取り込まれる。ＣＰＵは、この出力信号の値に応じてフレームを送る。しかし、１フレームは極めて短い時間であり、１フレームだけを送って次のフレームを表示するという操作を行うのは極めて困難である。これを解決するため、ペダルコントローラをかなり踏み込まないと１フレーム分の送りがなされないようにすることもできる。しかし、大きく動かしたい（たくさんのフレームを送りたい）という場合に、これでは作業効率が悪くなる。

この発明は、上記のような課題を解決して、微妙な操作と大幅な操作の両立を図ることのできる制御システムを提供することを目的とする。

(1)この発明に係る映像編集システムは、操作器と、操作器からの操作量を取得する操作量取得手段と、操作器が非操作状態にあるか操作状態にあるかを判断する操作有無判断手段と、操作器が非操作状態から操作状態に変化した後に、所定時間が経過したことを判断する計時手段と、計時手段が所定時間を計時するまでに、操作器が非操作状態になった場合には、当該非操作状態への変化時に所定数のフレーム移動を示す制御信号を出力し、計時手段が所定時間を計時した後も、操作器の操作状態が維持されている場合には、操作量に応じた数のフレーム移動を示す制御信号を出力する制御信号出力手段と、制御信号出力手段からの制御信号に応じて映像の移動を行うとともに、編集入力を受ける映像編集手段とを備えている。

したがって、操作器を踏み込んで所定時間内に離せば、所定フレームの移動を簡単に行うことができる。さらに、フレーム送り量をペダルの踏み込みに応じて調整したければ、所定時間踏み続ければよい。したがって、微妙なフレーム送りも、大幅なフレーム送りも、いずれも操作が容易である。

(2)(3)(4)この発明に係る操作器を用いた制御システムは、操作器と、操作器からの操作量を取得する操作量取得手段と、操作器が非操作状態にあるか操作状態にあるかを判断する操作有無判断手段と、操作器が非操作状態から操作状態に変化した後に、所定時間が経過したことを判断する計時手段と、計時手段が所定時間を計時するまでに、操作器が非操作状態になった場合には、当該非操作状態への変化時に所定数値を示す制御信号を出力し、計時手段が所定時間を計時した後も、操作器の操作状態が維持されている場合には、操作量に応じた数値を示す制御信号を出力する制御信号出力手段とを備えている。

したがって、操作器を踏み込んで所定時間内に離せば、所定数値の制御信号を簡単に出力することができる。さらに、制御信号の数値をペダルの踏み込みに応じて調整したければ、所定時間踏み続ければよい。したがって、所定数値を出力する場合も、踏み込みに応じた数値を出力する場合も、いずれも操作が容易である。

(5)この発明に係る制御システムは、操作有無判断手段が、操作器からの操作量に基づいて、操作器が非操作状態にあるか操作状態にあるかを判断することを特徴としている。したがって、構成を簡素にすることができる。

(6)この発明に係る制御システムは、制御信号出力手段が、操作量取得手段が取得した操作量が所定のしきい値より大きい場合には、計時手段の計時に拘わらず、直ちに所定数値または操作量に応じた数値を示す制御信号を出力することを特徴としている。

したがって、大きな数値を出力したい場合には、タイムラグなくこれを出力できる。

(7)この発明に係る制御システムは、操作器が、ペダルコントローラ型の操作器であることを特徴としている。

足で操作しなければならないペダルコントローラにおいては、踏み込み量の調節が困難である。したがって、本発明を適用することの効果が大きい。

(8)この発明に係る制御システムは、第１の操作器および第２の操作器が設けられており、前記制御信号出力手段は、第１の操作器の操作に対して出力する第１の制御信号が示す数値と、第２の操作器の操作に対して出力する第２の制御信号が示す数値の符号を逆にすることを特徴としている。

２つの操作器に、異なる符号の数値を出力するように対応付ければ、直感的な操作が容易となる。

(9)この発明に係る制御システムは制御信号出力手段が、映像編集装置に向けて、数値に対応したフレーム送りを行うコマ送り信号を制御信号として出力することを特徴としている。

したがって、微妙なフレーム送りも、大幅なフレーム送りも、いずれも操作が容易となる。

(10)この発明に係る制御システムは、制御信号出力手段が、第１の制御信号として、順方向のフレーム送りを行う信号を出力し、第２の制御信号として、逆方向のフレーム送りを行う信号を出力することを特徴としている。

したがって、フレームを送ったり戻したりしながら行う編集作業などに有効である。

(11)この発明に係る制御方法は、操作器からの操作量を取得し、操作器が非操作状態にあるか操作状態にあるかを判断し、操作器が非操作状態から操作状態に変化した後に、所定時間が経過したことを判断し、上記所定時間を計時するまでに、操作器が非操作状態になった場合には、当該非操作状態への変化時に所定数値を示す制御信号を出力し、計時手段が所定時間を計時した後も、操作器の操作状態が維持されている場合には、操作量に応じた数値を示す制御信号を出力することを特徴としている。

したがって、操作器を踏み込んで所定時間内に離せば、所定数値の制御信号を簡単に出力することができる。さらに、制御信号の数値をペダルの踏み込みに応じて調整したければ、所定時間踏み続ければよい。したがって、所定数値を出力する場合も、踏み込みに応じた数値を出力する場合も、いずれも操作が容易である。

さらに、この発明に係る映像編集装置は、次のような特徴も有している。

この発明にかかる映像編集装置は、 与えられた映像データに対して、ユーザ所望の特殊効果を施すための映像編集装置であって、 (a)映像データを読み込み、所定のタイミングで画像フレームを順次表示する画像フレーム表示手段と、 (b)ユーザ操作に基づく特殊効果画像を、前記画像フレームに重ねて表示する特殊効果画像表示手段と、 (c)前記画像フレーム表示手段において表示される画像フレームの変更を検知すると、前記特殊効果画像表示手段において表示される特殊効果画像に関する情報を、所定の画像フレームと直接的または間接的に対応付けて記録する特殊効果情報記録手段と、 を備えたことを特徴とする。 したがって、映像データを再生させながら、画像フレーム上に特殊効果を施すことができる。これにより、編集効率を向上させることができる。

この発明にかかる映像編集装置においては、 (d)画像フレーム表示手段における画像フレームの変更前に、変更前の画像フレームと、特殊効果表示手段において表示している特殊効果画像とを合成して出力する画像フレーム合成出力手段 をさらに備えたことを特徴とする。 したがって、映像データを再生させながら、画像フレーム上に特殊効果を施すとともに、当該特殊効果を施す対象となる画像フレームを正確に特定して映像編集を行うことができる。これにより、編集精度を向上させることができる。

この発明にかかる映像編集装置においては、 与えられた映像データに対して、ユーザ所望の特殊効果を施すための映像編集装置であって、 (a)映像データを読み込み、所定のタイミングで画像フレームを順次表示する画像フレーム表示手段と、 (b)ユーザ操作に基づく特殊効果画像を、前記画像フレームに重ねて表示する特殊効果画像表示手段と、 (d)前記画像フレーム表示手段における画像フレームの変更前に、変更前の画像フレームと、前記特殊効果表示手段において表示している特殊効果画像とを合成して出力する合成画像フレーム出力手段と、 を備えたことを特徴とする。 したがって、映像データを再生させながら、画像フレーム上に特殊効果を施すとともに、当該特殊効果を施す対象となる画像フレームを正確に特定して映像編集を行うことができる。これにより、編集精度を向上させることができる。

この発明にかかる映像編集装置においては、 特殊効果画像表示手段は、ユーザ操作に基づいて決定した位置に特殊効果画像を表示することを特徴とする。 したがって、映像編集中の画像フレームにおいて、ユーザ所望する位置に特殊効果画像を表示させることができる。これにより、編集精度を向上させることができる。

この発明にかかる映像編集装置においては、 特殊効果画像表示手段は、ユーザ操作に基づいて決定した形状の特殊効果画像を表示することを特徴とする。 したがって、映像編集中の画像フレームにおいて、ユーザ所望する形状の特殊効果画像を表示させることができる。これにより、編集精度を向上させることができる。

この発明にかかる映像編集装置においては、 特殊効果画像表示手段は、ユーザがペンタブレットによって入力した形状に基づいて特殊効果画像の形状を決定することを特徴とする。 したがって、映像編集中の画像フレームにおいて、より精度の高い特殊効果を施すことができる。

この発明にかかる映像編集装置においては、 特殊効果情報記録手段は、同一のタイムライン上における時刻を記録することにより、特殊効果画像に関する情報と所定の画像フレームとの対応付けを行うことを特徴とする。 したがって、映像データにおける画像フレームと、当該画像フレームに施す特殊効果画像に関する情報とを、容易に関連付けることができる。また、画像フレームの実データを記録しておく必要がなく、編集作業後において、画像フレームと特殊効果画像に関する情報のタイムライン上の時刻および元の映像データに基づいて、編集済みの映像データを生成することができる。

この発明において、「プログラム」とは、ＣＰＵによって直接実行可能なプログラムだけでなく、ソース形式のプログラム、圧縮されたプログラム、暗号化されたプログラムやハードディスク等によってインストールして動作可能となるプログラムなどを含む概念である。

「操作量取得手段」は、実施形態においては、ステップＳ１、Ｓ２、Ｓ４、Ｓ７がこれに対応する。

「計時手段」は、計時が可能であれば、ハードウエアであるとソフトウエアであるとを問わない。実施形態においては、ＣＰＵ２０３の内部タイマがこれに該当する。

「制御信号出力手段」は、実施形態においては、図８のフローチャートがこれに対応する。

「映像編集手段」は、実施形態においては、図３の映像編集装置がこれに該当する。

１．全体構成
図２に、この発明の一実施形態による映像編集システムの全体構成を示す。ペダルコントローラ２の操作量を示す信号は、操作量取得手段１０によって取得される。操作有無判断手段１４は、操作量取得手段１０の取得した操作量信号に基づいて、ペダルコントローラ２が操作されているかどうか（踏み込まれているかどうか）を判断する。操作有無判断手段１４は、ペダルコントローラ２が非操作状態から操作状態に変化したことを検出すると、計時手段１６にこれを伝える。また、操作状態から非操作状態に変化したことを検出すると、これを制御信号出力手段１２に伝える。

計時手段１６は、操作有無判断手段１４が操作状態を検出すると、これを受けて計時を開始する。計時手段１６は、計時開始から所定時間経過するとタイムアップ信号を制御信号出力手段１２に与える。

制御信号出力手段１２は、計時手段１６からのタイムアップ信号を受ける前に（つまり、所定時間を経過していなければ）、操作有無判断手段１４が非操作状態を検出すると、以下のような処理を行う。制御信号出力手段１２は、予め定められたフレーム数を送る制御信号を出力する。映像編集手段１８は、この制御信号を受けて、当該フレーム数だけ画像を進める（戻す）。したがって、ペダルコントローラ２を軽く押してすぐに戻せば、所定フレームのコマ送り（戻し）を行うことができる。

制御信号出力手段１２は、操作有無判断手段１４が非操作状態を検出する前に、計時手段１６からのタイムアップ信号を受けると（つまり、所定時間を経過していれば）、以下のような処理を行う。制御信号出力手段１２は、操作量取得手段１０が取得した操作量に応じた送り（戻し）制御信号を出力する。映像編集手段１８は、この制御信号を受けて、操作量に応じた早さで画像を進める。したがって、ペダルコントローラ２を押し続ければ、その踏み込み深さに応じた早さの送り（戻し）を行うことができる。

２．第１の実施形態
２−１．機能ブロック図
図３に、映像編集手段１８である映像編集装置の機能ブロック図を示す。この映像編集装置は、画像フレーム表示手段１０１、特殊効果画像表示手段１０３、特殊効果情報記録手段１０５、画像フレーム合成手段１０７、映像データ記録部１０９、入力操作部１１１、編集データ記録部１１３を備えている。

映像データ記録部１０９は、特殊効果を施す対象となる映像データを記録する。画像フレーム表示手段１０１は、映像データ記録部１０９から映像データを読み出して、所定のタイミングで画像データを表示する。図２の制御信号出力手段１２からの制御信号は、画像フレーム表示手段１０１に与えられる。

入力操作部１１１は、ユーザの入力操作によって発生した特殊効果処理などの画像編集のための入力操作情報を取得する。特殊効果画像表示手段１０３は、入力操作部１１１によって取得した入力操作情報に基づいて、特殊効果画像を表示する。特殊効果情報記録手段１０５は、画像フレーム表示手段１０１によって表示された画像フレームと特殊効果画像表示手段１０３によって表示された特殊効果画像とを関連付けて、編集データ記録部１１３に記録する。画像フレーム合成手段１０７は、画像フレーム表示手段１０１によって表示された画像フレームと特殊効果画像表示手段１０３によって表示された特殊効果画像とを合成して出力する。

２−２．ハードウェア構成
図２および図３に示す映像編集システムをＣＰＵを用いて実現したハードウェア構成の一例を図４に示す。この映像編集装置は、ディスプレイ２０１、ＣＰＵ２０３、メモリ２０５、キーボード／マウス２０７、ハードディスク２０９、ＣＤ−ＲＯＭドライブ２１１、通信回路２１５、ジョイスティック２１３、ペダルコントローラ２１７およびペンタブレット２１９を備えている。この実施形態では、操作器としてペダルコントローラ２１７を用いている。ジョイスティック２１３、ペンタブレット２１９は、特殊効果などの編集用の入力操作部１１１としている。

ハードディスク２０９には、画像のフレームをペダルコントローラ２１７からの入力に応じて制御する送り戻し制御プログラム２０９７、映像編集処理を行うための映像編集プログラム２０９１、特殊効果を施す対象となる映像データ２０９３および特殊効果を施した後に生成される編集データを記録する。送り制御プログラム２０９７。映像編集プログラム２０９１は、ＣＤ−ＲＯＭドライブ２１１を介してＣＤ−ＲＯＭ２１２に記録されたプログラムを読み出してインストールしたものである。なお、上記インストールは、通信回路２１５を用いてインターネット２１６等からダウンロードしたプログラムを使用して行うようにしてもよい。

ジョイスティック２１３、ペダルコントローラ２１７およびペンタブレット２１９のそれぞれにおける具体例を図５に示す。図５のＡは、ジョイスティック２１３であり、スライダー部２３１およびスティック部２３３を備えている。スライダー部２３１は、前後方向の単軸操作を行うことができ、側面に４つのボタン２３２を有している。スティック部２３３は、前後方向、左右方向および左右回転方向の３軸操作を行うことができ、上部に３つのボタン２３４を有している。ユーザがジョイスティック２１３の操作を行うと、ＣＰＵ２０３は操作に応じてモザイク処理等の特殊効果画像の位置や形状を変更してディスプレイ２０１に表示する。

図５のＢは、ペダルコントローラ２１７であり、基底部２５０、左足用ペダル２５１および右足用ペダル２５３を備えている。左足用ペダル２５１および右足用ペダル２５３は可変抵抗器を有しており、ユーザのペダル踏み込み角度（操作量）に応じて当該可変抵抗器の抵抗値が変化して、抵抗値に応じたデータを出力するようになっている。なお、踏み込みに応じてパルスを発生し、そのパルスをカウントすることで踏込量を検出するものであっても良い。

ペダルコントローラ２１７は、上記のようにして、０〜１００％までの操作量信号を出力する。０％は踏み込みがない場合、１００％は完全に踏み込んだ場合である。このペダルコントローラ２１７により、映像データの再生速度および再生方向を調整できるように構成されている。

図６のＣは、ペンタブレット２１９であり、映像データを表示可能なＬＣＤを有する映像表示画面部２７１およびペン軸２７３を備えている。なお、映像表示画面部２７１の下部には回転機構が設けられており、ユーザ所望の方向に水平回転できるように構成されている。映像データが表示された映像表示画面部２７１上にペン軸２７３の先を接触させることにより、ＣＰＵ２０１は、ペンが置かれたことおよびその位置を認識する。

２−３．処理詳細
図６以下を用いて、本実施形態における処理詳細を説明する。本実施形態においては、ａｖｉ（Audio Video Interleaving）形式で作成された映像データファイルに記録されている各画像フレームについて、映像ファイルを再生させながら各画像フレームにおける所定部分に対してモザイク処理を施して、編集データおよびモザイク処理済みの合成データを作成する例について説明する。また、当該処理を行った後において、上記編集データを用いて任意の形式のモザイク処理済みの映像データを生成することが可能である。なお、ａｖｉ形式とは、Microsoft社が開発した、Windows（商標）で音声付きの動画を扱うためのフォーマットである。

２−３−１．映像編集プログラムの起動
ユーザが、キーボード／マウス２０７を用いてディスプレイ２０１上に表示された映像編集プログラム２０９１を示す所定のアイコンをダブルクリックまたは選択後実行すると、ＣＰＵ２０３は映像編集プログラム２０９１を起動し、図１２に示すような操作画面７０をディスプレイ２０１に表示する。

図１２に示すように、操作画面７０には、ユーザ操作によって選択された映像データを再生するための表示エリア７００、映像データの再生方法を指示する再生ボタン群７０１がそれぞれ表示されている。なお、再生ボタン群７０１とは、「停止」、「先頭」、「巻き戻し」、「再生」、「一時停止」、「コマ戻し」、「コマ送り」、「早送り」、「最後」、「前シーン検出」、「後シーン検出」等の各指示を行うための画面上のボタンである。

ユーザが、操作画面７０の「ＡＶＩファイルから」ボタン７０５をクリックして映像データファイル選択画面（図示せず）を開き、当該映像データファイル選択画面において所望の映像データファイル２０９３（例えば、ａａａ．ａｖｉ等。）を選択すると、ＣＰＵ２０３は当該映像データファイルの拡張子（例えば、“．ａｖｉ”等。）に関連付けられた再生アプリケーションを起動し、映像データファイルの先頭の画像フレームを、一時停止状態で表示エリア７００に表示する。例えば、図９のＡに示すような画像フレームを、表示エリア７００にする。

操作画面７０において、ユーザが「Ｐａｔｔｅｒｎ（パターン）」ボタン７０７をクリックすると、これを受けてＣＰＵ２０３はドロップダウンリストに、選択可能な特殊効果画像のパターン形状の名称を表示する。同様に、ユーザが「Ｔｙｐｅ（タイプ）」ボタン７０８をクリックすると、これを受けてＣＰＵ２０３はドロップダウンリストから選択可能な特殊効果画像のパターン種類の名称を表示する。

例えば、ユーザが「Ｐａｔｔｅｒｎ（パターン）」ボタン７０７をクリックして、「Ｅｌｌｉｐｓｅ（楕円）」を選択し、「Ｔｙｐｅ（タイプ）」ボタン７０８をクリックして、「Ｍｏｓａｉｃ（モザイク）」を選択すると、ＣＰＵ２０３は、図９のＢに示すように、表示エリア７００における画像フレームの中心付近に楕円状のモザイク画像４０１を表示する。なお、ユーザは、「Ｐａｔｔｅｒｎ（パターン）」として、長方形や三角形等のように楕円以外のものを選択してもよい。よって、特殊効果画像は、特殊効果を施したい所定部分の形状に応じて選択すればよい。また、ユーザは「Ｔｙｐｅ（タイプ）」として、カラー反転画像や所定画像等のようにモザイク以外のものを選択してもよい。よって、特殊効果画像は、特殊効果を施したい所定部分の形状に応じて選択すればよい。

ユーザが、画像フレームの特殊効果を施したい所定部分の形状に応じて、キーボード／マウス２０７またはジョイスティック２１３等を操作すると、ＣＰＵ２０３は、特殊効果画像の形状や大きさ等を変更し、これをディスプレイ２０１に表示させる。ユーザがジョイスティック２１３のスティック部２３３を前後左右方向に傾ける操作を行うと、ＣＰＵ２０３は楕円状のモザイク画像４０１の中心座標を移動させる表示を行う。なお、この場合の中心座標は、楕円を構成する画素の重心等を算出することにより求めればよい。また、ユーザがスティック部２３３において軸を中心として回転させる操作を行うと、ＣＰＵ２０３は楕円状のモザイク画像４０１を上記中心座標の画面垂直方向を軸として回転させる表示を行う。

ユーザが所定のボタン２３２を押下しながらジョイスティック２１３のスライダー部２３１を前後方向に傾ける操作を行うと、ＣＰＵ２０３は楕円状のモザイク画像４０１の大きさを変更する表示を行う。同様に、所定のボタン２３２を押下しながらジョイスティック２１３のスライダー部２３１を前後方向に傾ける操作を行うと、ＣＰＵ２０３は楕円状のモザイク画像４０１のアスペクト比（縦横の比）、ボーダーサイズ（縁部分の幅）またはモザイクのブロックサイズ（モザイクを構成する長方形の大きさ）等を変更する表示を行う。例えば、楕円状のモザイク画像４０１を、図９のＣに示すように縮小した円形状に変形し、さらに、図９のＤに示すように左方へ移動させると、人間の顔を示す所定部分４０３を上記モザイク画像４０１で完全に覆うことができる。

２−３−２．映像編集処理
映像編集処理においては、映像データの再生中にスライダー部２３１またはスティック部２３３の操作を受けて、映像データの各画像フレームにモザイク等の特殊効果を施す処理が行われる。

図６に、映像編集プログラム２０９１において、映像データにモザイク処理を施す場合における処理フローチャートの例を示す。図９のＤに示した状態から、ユーザが映像データの再生ボタン７０１を押下すると、ＣＰＵ２０３は映像編集処理を開始する。なお、再生ボタン７０１の押下は、スティック２３１のボタン２３４等を押下することによって行うことができる。

上記映像編集処理は、ユーザ操作を受けてモザイク画像の表示を更新するとともに、画像フレームとモザイク情報とを対応付けて編集データとして記録する編集データ記録処理および、映像データを入力して所定タイミングで映像データの画像フレームを表示するとともに、モザイク情報を取得して画像フレームとモザイク画像とを合成してビデオ出力する映像データ再生処理を有している。すなわち、上記編集データ記録処理および映像データ再生処理は、ＣＰＵ２０３上においてそれぞれ独立したスレッドとして起動されており、それぞれ協働して映像編集処理を構成するものである。

２−３−２−１．フレーム送り戻し処理
上記のようにして編集処理が行われるが、まず、編集を行いたい画像フレームを探す必要がある。この実施形態では、このような送り（戻し）のために、ペダルコントローラ２１７を用いるようにしている。ペダルコントローラ２１７の右のペダル２５３（図５参照）は、送りのためのペダルである。また、左のペダル２５１は、戻しのためのペダルである。

図８に、送り戻し制御プログラム２０９７のフローチャートを示す。まず、ＣＰＵ２０３は、ペダルコントローラ２１７のペダル２５３からの操作量信号を受け、ペダル２５３が踏み込まれたかどうかを判断する（ステップＳ１）。ＣＰＵ２０３は、踏み込まれたと判断すると、次に、操作量が５０％以上であるかどうかを判断する（ステップＳ２）。

５０％以上であると判断すると、ＣＰＵ２０３は、その操作量に応じた送りを行う（ステップＳ６）。この送りは、踏み込みが停止されるまで、その時点の操作量に応じて行われる（ステップＳ７）。なお、この実施形態では、操作量１０％、２０％、３０％、４０％、５０％、６０％、７０％、８０％、９０％に対して、それぞれ、１／２０、１／１０、１／４、１／２、１、２、４、８倍速での送りが行われる。ここでは、踏み込み量に応じて、１／２、１、２、４、８倍速での送りが行われる（映像データの読み出しを制御する）。

このように、素早く踏み込みを深く行うと、タイムラグなしに送りが開始される。大きく移動したい場合には、タイムラグなしに動作させたいので、理にかなっている。

ステップＳ２において、操作量が５０％未満であると判断すると、ＣＰＵ２０３はその内部タイマーをリセットして計時を開始する（ステップＳ３）。その後、タイマが３００ｍＳ（所定時間）を経過したかどうかを判断する（ステップＳ５）。タイマが３００ｍＳを経過するまでに、ペダル２５３が離されると（ステップＳ４）、所定フレーム（たとえば１フレーム）送りを実行する。

このように、軽く踏み込みを行って素早く離すと、予め定められた所定フレーム送りが行われる。特に、１フレームを送るなどの細かな動きを、ペダル２５３の操作量で制御することは困難であるから、有用である。

タイマが３００ｍS経過するまでペダル２５３が踏み続けられていると、ＣＰＵ２０３は、操作量に応じたフレーム送りを行う（ステップＳ５、Ｓ６）。この送りは、踏み込みが停止されるまで、その時点の操作量に応じて行われる（ステップＳ７）。

上記のようにして、ペダル２５３の踏み込みの仕方により、細かな送り操作と大きな送り操作の双方を容易にしている。

なお、上記では、ペダルコントローラ２５０のペダル２５３について説明した。ペダル２５１を踏み込んだ場合には、上記の「送り（順方向時間）」に変えて「戻り（逆方向時間）」が行われる点が異なるが、他の制御（フローチャート）は同じである。つまり、ペダル２５３の踏み込みにより実行される制御（出力される制御信号）と、ペダル２５１の踏み込みにより実行される制御（出力される制御信号）とは、符号が逆の関係にある。

また、上記の例では、わずかでもペダルが操作されると、直ちにペダルが離されても、所定フレーム送りが実行される。しかし、ペダルが踏まれてから離されるまでの時間が、２０ｍＳ（所定時間）以下であれば、何も動作（送り、戻り）を行わないようにしてもよい。

２−３−２−２．映像データ再生処理
ユーザが再生ボタン７０１を押下すると、ＣＰＵ２０３はこれを検知して一時停止状態で表示エリア７００に表示していた映像データの画像フレームを、所定タイミングごとに前に進める再生処理を行う。

上記再生処理を行う映像データ再生処理を、図６のフローチャートを用いて説明する。ユーザ操作から再生開始の指示を受けると、映像データ再生処理を実行するＣＰＵ２０３は、タイミングカウントのリセットを行いタイミングカウンタが所定タイミングに達するまでカウントを続ける（ステップＳ３５１〜３５５）。ここで所定タイミングとは、画像フレームの表示間隔を決定するものであり、ＮＴＳＣ（National Television Standards Committee ）方式では、３０分の１秒（1秒間に30回画面を書き換える）を採用している。なお、ＰＡＬ（Phase Alternation by Line ）方式では、２５分の１秒（1秒間に25回画面を書き換える）を採用している。

所定タイミングが来ると、ＣＰＵ２０３は、メモリ２０５上においてモザイク情報を一時的に記録しているモザイク情報ワーク３００１からモザイク情報を取得する（ステップＳ３５７）。なお、モザイク情報とは、ユーザ操作によって指定された位置、形状に基づいて画面表示された特殊効果画像であるモザイク画像に関する情報であり、その詳細については後述する。モザイク情報を取得するとＣＰＵ２０３は、画像フレームとモザイク画像とを合成してビデオ出力を行う（ステップＳ３５９）。ビデオ出力の詳細については後述する。

ＣＰＵ２０３は、映像データ２０９３から次の画像フレームを取得して、当該画像フレームをディスプレイ２０１の操作画面７０における表示エリア７００に表示させる（ステップＳ３６１）。図１０に、表示エリア７００に表示される画像フレームの再生の例を示す。例えば、状態５０１は、フレーム番号「０００１」の画像フレームおよび、モザイク情報「ａ］に基づくモザイク画像が、それぞれ表示されている状態である。この状態で再生ボタン７０１が押下されると、ＣＰＵ２０３は、状態５０１に示すフレーム番号「０００１」の画像フレームを、状態５０２に示すフレーム番号「０００２」の画像フレームに進める再生処理を行う。

次の画像フレームを表示するとＣＰＵ２０３は、画像フレームカウンタ３００５を更新する（ステップＳ３６３）。ここで、画像フレームカウンタ３００５に記録されるデータは、現在再生中の画像フレームが編集データにおいて何番目の画像フレームとなるかを示すものである。

ＣＰＵ２０３は、上記の処理（ステップＳ３５１〜３６３）を、処理の終了を検知するまで繰り返して行う。なお、処理の終了は、ユーザによって編集終了ボタン（図示せず）が押下された場合や、映像データを最後まで再生し終えた場合が該当する。

２−３−２−３．編集データ記録処理
ユーザが再生ボタン７０１を押下すると、ＣＰＵ２０３は上記再生処理を実行しつつ、ユーザが操作したジョイスティック２１３から取得したモザイク情報と、これに対応する所定の画像フレームとを対応付けて編集データを記録する処理を行う。

上記記録処理を行う編集データ記録処理を、図６のフローチャートを用いて説明する。再生開始の指示を受けると、編集データ記録処理を実行するＣＰＵ２０３は、ジョイスティック２１３の情報を取得する（ステップＳ３０１）。ＣＰＵ２０３は、スライダー部２３１における操作量の変化を検知すると（ステップＳ３０３、ＹＥＳ）、モザイク情報ワーク３００１におけるモザイクの形状情報を更新する（ステップＳ３０５）。図１１のＡに、モザイク情報ワーク３００１の例を示す。モザイク情報ワーク３００１は、ユーザが操作したジョイスティック２１３から取得したモザイク情報が記録されており、モザイクの「形状・大きさ」に関する操作量を検知した場合には、「形状・大きさ」６３が更新される。例えば、スライダー部２３１の操作量に基づいてモザイクの「形状・大きさ」６３を「円１０（大きさが１０の円）」に更新する。

なお、ＣＰＵ２０３は、ジョイスティック２１３からモザイクの「アスペクト比（縦横の比）」、「ボーダーサイズ（縁部分の幅）」または「モザイクのブロックサイズ（モザイクを構成する長方形の大きさ）」に関する操作量を検知した場合には、モザイク情報ワーク３００５における「アスペクト比」６５、「ボーダーサイズ」６７または「ブロックサイズ」６９のそれぞれの値を更新する。

一方、ＣＰＵ２０３は、スティック部２３３における操作量の変化を検知すると（ステップＳ３０７、ＹＥＳ）、モザイク情報ワーク３００１におけるモザイクの位置情報を更新する（ステップＳ３０９）。例えば、モザイクの中心座標における座標変化に関する操作量を検知して、モザイク情報ワーク３００１の「位置情報（ｘ、ｙ）」６１を「１１０，１００」に更新する。

ＣＰＵ２０３は、ジョイスティック２１３から取得したモザイク情報に変化があったと判断すると、表示エリア７００に表示したモザイク画像をモザイク情報ワーク３００１に基づいて更新する。例えば、参照時にモザイク情報ワーク３００１の内容を記録しておき、前回参照時の内容と一致するか否かに基づいてモザイク情報ワーク３００１のモザイク情報に変化が生じているか否かを判断すればよい。例えば、図１０に示す状態５０２においてモザイク画像４０１を、スティック部２３３を操作して右側に移動させると、状態５０３に示すようになる。すなわち、モザイク画像４０１が画面左から画面中央付近に移動して、人間の顔を示す所定部分４０３を覆う状態になる。

ＣＰＵ２０３は、画像フレームカウンタ３００５を読み込んで（ステップＳ３１５）、映像データ再生処理において再生処理されている画像フレームが更新されたか否かを判断する（ステップＳ３１７）。上述したように、画像フレームカウンタ３００５には、現在再生中の画像フレームが編集データにおいて何番目の画像フレームとなるかが記録されている。このため、ＣＰＵ２０３は、参照時に画像フレームカウンタ３００５の内容を記録しておき、前回参照時の内容と一致するか否かに基づいて画像フレームカウンタ３００５の画像フレームカウンタが更新されているか否かを判断すればよい。例えば、図１０の状態５０２に示すフレーム番号「０００２」から、状態５０３に示すフレーム番号「０００３」に画像フレームが更新されている場合、ＣＰＵ２０３は、画像フレームカウンタ３００５が「０００３」に更新されていることによりフレームの更新を検知する。

ＣＰＵ２０３は、画像フレームカウンタ３００５に基づいて、映像データ再生処理において再生処理されている画像フレームが更新されていると判断する場合には（ステップＳ３１７、ＹＥＳ）、モザイク情報と更新前の画像フレームとを対応付け、これらを編集データ２０９５として記録する。例えば、図１０の状態５０２に示すフレーム番号「０００２」から、状態５０３に示すフレーム番号「０００３」に画像フレームが更新されている場合、ＣＰＵ２０３は、状態５１２に示すようにモザイク情報「ｂ」およびフレーム番号「０００２」を対応付けて編集データを作成する。

図１１のＢに編集データの例を示す。この図に示すように、編集データには、タイムライン６０１、映像データファイル名６０３、フレーム番号６０５およびモザイク情報６０７が記録される。タイムライン６０１とは、当該編集データにおける時間経過を表す軸であり、画像フレームの表示間隔と同一のタイミングで設定されるものである。映像データファイル名は、ユーザが操作画面７０の映像データファイル選択画面（図示せず）において選択した映像データファイル２０９３（例えば、ａａａ．ａｖｉ等。）のファイル名である。フレーム番号６０５は、画像フレームカウンタ３００５に記録されていた前回の画像フレームのフレーム番号であり、モザイク情報６０７は、モザイク情報ワーク３００１に記録されていたモザイク情報（位置情報、形状情報等）である。例えば、モザイク情報「ｂ」およびフレーム番号「０００２」は、図１１のＢに示すレコード６５２において、同一のタイムライン「００００２」上に、フレーム番号「０００２」およびモザイク情報「『（位置情報(x,y)１２０，１００』、『（形状・大きさ）円１０』、『（アスペクト比）１：１』『（ボーダーサイズ）１０』『（ブロックサイズ）１１０』」として記録されている。

ＣＰＵ２０３は、上記の処理（ステップＳ３０１〜３１９）を処理の終了を検知するまで繰り返して行う。なお、処理の終了は、ユーザによって編集終了ボタン（図示せず）が押下された場合や、映像データを最後まで再生し終えた場合が該当する。例えば、ＣＰＵ２０３は再生処理を実行しつつ、ジョイスティック２１３から取得したモザイク情報と、これに対応する所定の画像フレームとを対応付けて編集データを記録する処理を行う。例えば、図１０の状態５０３に示すフレーム番号「０００３」から、状態５０４に示すフレーム番号「０００４」に画像フレームが更新されている場合、ＣＰＵ２０３は、状態５１３に示すようにモザイク情報「ｃ」およびフレーム番号「０００３」を対応付けて編集データを作成し、この場合、モザイク情報「ｃ」およびフレーム番号「０００３」は、図１１のＢに示すレコード６５３において、同一のタイムライン「００００３」上に、フレーム番号「０００３」およびモザイク情報「『（位置情報(x,y)１３０，１００』、『（形状・大きさ）円１０』、『（アスペクト比）１：１』『（ボーダーサイズ）１０』『（ブロックサイズ）１１０』」として記録されている。

映像データ再生処理のステップＳ３５７〜Ｓ３５９について以下説明する。映像データ再生処理を実行するＣＰＵ２０３は、編集データ記録処理においてモザイク情報が記録されたモザイク情報ワーク３００１からモザイク情報を取得する（ステップＳ３５７）。例えば、図１１のＡに示したモザイク情報ワーク３００１からモザイク情報「ａ」にかかるモザイク情報「『（位置情報(x,y)１１０，１００』、『（形状・大きさ）円１０』、『（アスペクト比）１：１』『（ボーダーサイズ）１０』『（ブロックサイズ）１１０』」を取得する。

モザイク情報を取得するとＣＰＵ２０３は、当該モザイク情報に基づいてモザイク画像を生成し、表示エリア７００に表示している画像フレームと当該モザイク画像とを合成してビデオ出力を行う（ステップＳ３５９）。ここで、ビデオ出力とは、例えば、モザイク処理を施した画像フレームを逐次的に処理できるハードウェアに出力する処理である。例えば、ビデオボードのビデオ出力機能を経由してＴＶモニタやビデオデッキに出力し、モザイク処理を施した画像フレームを再生または録画することができる。これにより、編集作業中において、モザイク画像と、これに対応して記録される画像フレームの合成状態をリアルタイムでチェックすることができる。特に、コンピュータモニタとＴＶモニタの特性の違いによる画像の差異を確実にチェックすることができる。

２−３−３．映像データ作成処理
図７に、編集データに基づいて映像データを作成する場合のフローチャートの例を示す。ユーザが、キーボード／マウス２０７を用いてディスプレイ２０１上に表示された操作画面７０（図１２）の表示エリア７００において、ファイル書きだしボタン７０９を押下すると、映像編集プログラム２０９１を実行するＣＰＵ２０３は、図１１のＢに示した編集データ２０９５の１レコードを読み込む（ステップＳ３９１）。例えば、図１１のＢに示すレコード６５１を読み込む。

ＣＰＵ２０３は、読み込んだ編集データ２０９５にかかるレコードに記録されている映像データファイル名から映像データファイル２０９３を特定し、当該映像データファイル２０９３に記録されているデータに基づいて画像フレームを取得する（ステップＳ３９３）。例えば、図１１のＢに示すレコード６５１に基づいて、映像データファイル名６０３「ａａａ．ａｖｉ」を特定し、当該映像データファイルにおけるフレーム番号６０５「０００１」の画像フレームを取得する。

ＣＰＵ２０３は、読み込んだ編集データ２０９５にかかるレコードに記録されているモザイク情報からモザイク画像を生成する（ステップＳ３９５）。例えば、図１１のＢに示すレコード６５１から取得したモザイク情報「『（位置情報(x,y)１１０，１００』、『（形状・大きさ）円１０』、『（アスペクト比）１：１』『（ボーダーサイズ）１０』『（ブロックサイズ）１１０』」に基づいてモザイク画像を生成する。

モザイク画像を生成すると、ＣＰＵ２０３は、生成したモザイク画像および取得した画像フレームとを合成し、これをモザイク付映像データ２０９９として出力する。例えば、図１０の状態５０１において示した画像を出力する。出力画像は画像フレームごとに映像データを記録するａｖｉ形式である。なお、その他の動画ファイル形式（デジタルまたはアナログ）で出力するようにしてもよい。

ＣＰＵ２０３は、上記の処理（ステップＳ３９１〜３９７）を処理の終了を検知するまで繰り返して行う。なお、処理の終了は、ユーザによって編集終了ボタン（図示せず）が押下された場合や、編集データを最後まで出力し終えた場合が該当する。

このように、映像編集処理の後において、作成された編集データを用いて映像作成処理を行うことにより、ユーザは特殊効果を施した映像をいつでも作成することができる。また、作成する動画ファイル形式を指定することができるため、必要に応じて様々な形式で映像データを作成することができる。また、映像データの確認後においても、編集データの追加・修正を容易に行うことができ汎用性を高めることができる。

以上説明したように、この発明によれば、映像データの各画像フレームを再生させながらモザイク処理を施すことができるため、編集処理を大幅に短縮することができる。また、フレーム間において画像の変化が生じている場合であってもモザイク画像の位置や形状を変更させつつ編集作業を行うことができるので、目的の位置にモザイク処理を施して特殊効果の精度を向上させることができる。したがって、映像データに特殊効果を施す場合における編集効率および編集精度を向上させることができる。

特に、図５のＢに示したペダルコントローラ２１７を用いて、映像データファイルの再生速度を調整させながら、上記の映像編集処理を行うように構成しておくことにより、編集効率および編集精度をより一層高めることができる。例えば、映像データにおける特殊効果を施したい所定箇所の動きに合わせて、再生速度（ピッチ）を速めたり遅めたりしつつ、特殊効果画像を移動または変更させることができる。

本発明は、車両のナンバープレート、人間の顔または電話番号等のように、映像データとして表示させたくない所定部分にのみモザイク処理等の特殊効果を施す編集作業に適用することができる。

３．その他の実施形態
上記実施形態では、映像にモザイクを付す場合の編集について操作器を用いた制御システムを適用している。しかし、モザイクを付す場合以外の編集に用いてもよい。

また、スポーツのフォームチェックなどにおいて、所望の画像フレームを探し出す場合に適用してもよい。さらにまた、犯罪捜査などにおいて、所望の画像フレームを探し出す場合に適用してもよい。このように、この発明に係る操作器を用いた制御システムは、ディスプレイの映像を見ながら、画像送りや戻しを行いつつ所望の画像フレームを探し出す場合に一般的に適用できる。

上記実施形態においては、ａｖｉ形式で作成された映像データファイルを用いる例について説明したが、複数の画像フレームから構成された映像データファイルであれば本発明を適用できる。例えば、任意のタグを指定できるマークアップ言語を用いればよい。また、映像データファイル自体が、複数の画像フレームから構成されていなくても、再生過程において画像フレームを構成できればよい。例えば、ＭＰＥＧ−１、ＭＰＥＧ−２、ＭＰＥＧ−４、ｒｍ、ｗｍｖ、ＤｉｖＸ、ＸＶＤ等の動画フォーマット形式がこれに該当する。

上記実施形態においては、ドロップダウンリストからパターン形状を選択することにより特殊効果画像の形状を決定するように構成したが、ユーザ操作によって取得した任意形状の特殊効果画像を用いてもよい。例えば、図５のＣに示したペンタブレット２１９において、ユーザが映像表示画面部２７１においてペン軸２７３を用いて描いた形状に基づいて決定した特殊効果画像の形状を表示エリア７００に表示してもよい。これにより、特殊効果の精度をより向上させることができる。

上記実施形態においては、映像データを順方向に再生させながらモザイク処理を施す例について説明したが、逆方向に再生させるようにしてもよい。

上記実施形態においては、画像フレームの変更があった場合に、その時点でのモザイク情報と１つ前の画像フレームとを対応付けて編集データとして記録する例について説明したが、１以上前の画像フレームと対応付けるようにしてもよい。例えば、画像の動きに合わせてモザイク画像を移動させる操作をする場合において、画像に対するユーザ操作の反応速度が遅い場合には、反応速度の遅れ分に相当する過去の画像フレームを対応付ければよい。

上記実施形態においては、画像フレームの変更があった場合に、その時点でのモザイク情報と過去に表示した画像フレームとを対応付けて編集データとして記録する例について説明したが、次に表示する予定の画像フレームと対応付けるようにしてもよい。例えば、画像の動きに合わせてモザイク画像を移動させる操作をする場合において、画像に対する未来の動きを予想して特殊効果を施したい場合には、先の特殊効果画像と特殊効果画像とを対応付ければよい。このような機能は、スポーツ等における人間の動線の予測ラインを特殊効果画像とする場合に有効である。

上記実施形態においては、映像データファイルにおける所定のフレーム番号とモザイク情報とを対応付けて記録する例について説明したが、編集データファイルから画像フレームを構成するための実データを取得して、編集データにおいて実データとモザイク情報とを対応付けて記録してもよい。

上記実施形態においては、画像フレームにおける所定部分の動きに合わせて、ユーザがモザイク画像を移動・変化させる例について説明したが、映像編集装置に形状認識機能を付加しておき、先頭の画像フレームにおいてモザイク処理を施す所定部分の形状を認識させ、形状認識処理によってモザイク画像を所定部分に自動追従させてもよい。

上記実施形態においては、特殊効果情報記録手段１０５および画像フレーム合成出力手段１０７の双方を同時に実現する映像編集装置の例について説明したが、特殊効果情報記録手段１０５または画像フレーム合成出力手段１０７のいずれか一方を実現する映像編集装置であってもよい。例えば、特殊効果情報記録手段１０５のみを実現する場合には、図６のステップＳ３５９および３６１を削除すればよい。また、画像フレーム合成出力手段１０７のみを実現する場合には、ステップＳ３１５〜３１９を削除すればよい。

なお、上記実施形態では、操作器としてペダルコントローラを用いているが、マウス、ジョイスティックなどを用いてもよい。

上記実施形態では、操作器により映像編集装置の制御を行うものとして説明したが、その他の装置（音声編集装置など）の制御を行うようにしても良い。

上記実施形態においては、図１、図３に示す各機能を実現する為に、ＣＰＵを用いソフトウェアによってこれを実現している。しかし、その一部もしくは全てを、ロジック回路等のハードウェアによって実現してもよい。なお、プログラムの一部の処理をさらに、オペレーティングシステム（ＯＳ）にさせるようにしてもよい。

ペダルコントローラを示す図である。 この発明の映像編集システムの機能ブロック図である。 この発明の映像編集装置のブロック図である。 図２および図３の各機能をコンピュータ装置によって実現した場合のハードウェア構成図の例を示す図である。 実施形態による映像編集システムを構成するコンピュータ装置のジョイスティック、ペダルコントローラおよびペンタブレットの例を示す図である。 映像編集プログラムのフローチャートを示す図である。 映像データ作成プログラムのフローチャートを示す図である。 送り戻し制御プログラムのフローチャートを示す図である。 特殊効果画像を変形させる場合の例を示す図である。 映像編集処理時の画面の例を示す図である。 映像編集処理において作成される編集データの例を示す図である。 映像編集処理の操作画面の例を示す図である。

符号の説明

１１ 操作量取得手段
１２ 制御信号出力手段
１４ 操作有無判断手段
１６ 計時手段
１８ 映像編集手段

Claims (2)

1. 操作器と、
   操作器からの可変の入力に比例した操作量を取得する操作量取得手段と、
   操作器が非操作状態にあるか操作状態にあるかを示す、前記操作器の操作態様を判断する操作判断手段と、
   操作器が非操作状態から操作状態に変化した後に、所定時間が経過したことを示す、操作タイミングを判断する操作計時手段と、
   前記操作器の操作態様、前記操作器からの前記可変の入力に比例した前記操作量、及び、前記操作器の前記操作タイミング、に基づいて、制御信号を出力する制御信号出力手段と、
   制御信号出力手段からの制御信号に応じて映像の移動を行うとともに、編集入力を受ける映像編集手段と、を備え、
   前記制御信号出力手段は、前記操作計時手段が前記所定時間の経過を判断するまでに前記操作器が非操作状態に変化した場合には、当該非操作状態への変化時に所定数のフレーム移動を示す制御信号を出力し、前記操作計時手段が前記所定時間の経過を判断した後も、前記操作器が継続して操作状態である場合には、前記操作量に応じた数のフレーム移動を示す制御信号を出力する、
   映像編集システム。
2. 操作器と、
   操作器からの可変の入力に比例した操作量を取得する操作量取得手段と、
   操作器が非操作状態にあるか操作状態にあるかを示す、前記操作器の操作態様を判断する操作判断手段と、
   操作器が非操作状態から操作状態に変化した後に、所定時間が経過したことを示す、操作タイミングを判断する操作計時手段と、
   前記操作器の操作態様、前記操作器からの前記可変の入力に比例した前記操作量、及び、前記操作器の前記操作タイミング、に基づいて、制御信号を出力する制御信号出力手段と、
   制御信号出力手段からの制御信号に応じて映像の移動を行うとともに、編集入力を受ける映像編集手段と、を備え、
   前記制御信号出力手段は、前記操作量取得手段により取得された操作量が所定の閾値を超えた場合は、操作計時手段による判断とは無関係に、操作量に応じた数のフレーム移動を示す制御信号を出力し、
   前記操作量取得手段により取得された操作量が所定の閾値を超えない場合は、前記所定時間が経過した後に、所定の数又は操作量に応じた数のフレーム移動を示す制御信号を出力する、
   映像編集システム。