JP4730059B2 - ビデオストリームにおけるユーザー・アクションを検出するためのシステムおよびコンピュータ・プログラム - Google Patents

ビデオストリームにおけるユーザー・アクションを検出するためのシステムおよびコンピュータ・プログラム Download PDF

Info

Publication number
JP4730059B2
JP4730059B2 JP2005311795A JP2005311795A JP4730059B2 JP 4730059 B2 JP4730059 B2 JP 4730059B2 JP 2005311795 A JP2005311795 A JP 2005311795A JP 2005311795 A JP2005311795 A JP 2005311795A JP 4730059 B2 JP4730059 B2 JP 4730059B2
Authority
JP
Japan
Prior art keywords
input signal
video
pointing indicator
video input
requested command
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2005311795A
Other languages
English (en)
Other versions
JP2006127519A (ja
Inventor
アドコック ジョン
ドゥヌ ローラン
トレヴァー ジョナサン
エム.ヒルバート デイビット
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Business Innovation Corp
Original Assignee
Fuji Xerox Co Ltd
Fujifilm Business Innovation Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Xerox Co Ltd, Fujifilm Business Innovation Corp filed Critical Fuji Xerox Co Ltd
Publication of JP2006127519A publication Critical patent/JP2006127519A/ja
Application granted granted Critical
Publication of JP4730059B2 publication Critical patent/JP4730059B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842Selection of displayed objects or displayed text elements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482Interaction with lists of selectable items, e.g. menus
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/472End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4728End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65Transmission of management data between client and server
    • H04N21/658Transmission by the client directed to the server
    • H04N21/6581Reference data, e.g. a movie identifier for ordering a movie or a product identifier in a home shopping application

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Digital Computer Display Output (AREA)

Description

本発明は、一般的にはユーザー入力を処理することに関する。さらに詳細には、本発明は、ビデオストリーム内におけるポインタデバイスの動作を検出すること、及びコマンドを始動させるために前記ポインタデバイスの動作を解釈することに関する。
最新のビジネス環境では、情報の転送および交換がより一層重要視されている。このように重要視されることで、コンピュータディスプレイおよびプロジェクタのようなビデオ出力装置にプレゼンテーションを表示するために使用される非常に多数のプレゼンテーション・アプリケーションが得られている。しかしながら、それらのシステムは、これらのプレゼンテーション時に、ビデオストリームを取り込み、修正し、または制御するための便利でかつ堅牢な機構を欠如していることが多い。
いくつかの解決策は、プレゼンテーション時にビデオコンテンツを傍受し、取り込み、そして必要に応じて変更するように発展しているが、そのようにすることは、通常、ビデオストリームを取り込み、変更し、かつ再生し得る別個のビデオプロキシシステムを必要とする。しかしながら、そのようなシステムを制御するためには、通常、プレゼンターが、プロキシシステムに入力および出力の両方のアクセスをしなければならず、そのことは、プロキシに接続されたディスプレイおよびマウスを必要とする。そのような、セットアップは、煩雑でかつ構成することが困難であることが多い。
特許文献1は、コンピュータを側に置かなくてもOPH表示ができるOHP投影機を開示しており、特許文献2は、静止画像を出力するパソコン等から切り離して独立して扱うことが可能な液晶プロジェクターを開示しており、そして、特許文献3は、映像記録可能で、プロジェクタ単体でプレゼンテーションを行うことができる映像表示装置を開示している。
特許第2850394号公報 特開平8−179729公報 特開2004−309690公報
必要とされているのは、個別の制御を必要とすることなしに、受信されたビデオストリーム内からユーザーコマンドを判定することができるシステムである。
本発明の実施の形態は、ポインティングインジケータの位置および動きを解釈することによって入力ビデオストリームからユーザーコマンドを検出することができるビデオプロキシサーバを含んでいる。
本発明の第1の態様は、ビデオストリームにおけるポインティングインジケータを識別しかつ追跡するための方法であって、ビデオ出力装置からビデオ入力信号を受信すること、前記ビデオ入力信号から複数のフレームを抽出すること、フレーム内におけるポインティングインジケータの位置を判定することを含む、ビデオストリームにおけるポインティングインジケータを識別しかつ追跡するための方法を提供する。
本発明の第2の態様は、コンピュータを、コンピュータシステムから、複数のフレームで構成され、連続するフレームの各々にポインティングインジケータを含むビデオ入力信号を受信する手段、前記ビデオ入力信号から複数のフレームを抽出する手段、前記複数のフレーム内におけるポインティングインジケータの位置の各々を判定する手段前記ポインティングインジケータの位置の変化に基づいて、要求されたコマンドを判定する手段、及び前記要求されたコマンドに従って、前記ビデオ入力信号を変更して、該ビデオ入力信号に応じたビデオ出力を表示するためのビデオ出力装置へ出力する手段として機能させるためのビデオストリームにおけるユーザー・アクションを検出するためのコンピュータ・プログラムを提供する。
本発明の第3の態様は、コンピュータシステムから、複数のフレームで構成され、連続するフレームの各々にポインティングインジケータを含むビデオ入力信号を受信するように構成されたビデオキャプチャモジュールと、前記ビデオ入力信号から複数のフレームを抽出するように構成された画像サンプリングモジュールと、前記複数のフレーム内におけるポインティングインジケータの位置の各々を判定するように構成された画像処理モジュールと、前記ポインティングインジケータの位置の変化に基づいて、要求されたコマンドを判定するように構成されたアクション検出モジュールと、前記要求されたコマンドに従って、前記ビデオ入力信号を変更して、該ビデオ入力信号に応じたビデオ出力を表示するためのビデオ出力装置へ出力するように構成された出力モジュールと、を具備するビデオストリームにおけるユーザー・アクションを検出するシステムを提供する。
本発明の第4の態様は、ビデオ出力装置からビデオ入力信号を受信するための命令と、前記ビデオ入力信号から複数のフレームを抽出するための命令と、フレーム内におけるポインティングインジケータの位置を判定するための命令と、を含む、ビデオストリームにおけるポインティングインジケータを識別しかつ追跡するようにコンピュータをプログラムするコンピュータ・プログラムを提供する。
プロキシはビデオ信号の順序付けられたフレームをチェックし、そしてマウス矢印のようなポインティングインジケータについての動きを決定する。ポインティングインジケータによる一定の運動が、制御動作を引き起こすことができる。
本発明の望ましい実施の形態が、図面に基づいて詳細に説明される。
本発明の実施の形態は、ポインティング・インジケータの位置および動きを解釈することによって入力ビデオストリームからユーザーコマンドを検出できるビデオプロキシサーバを含んでいる。プロキシはビデオ信号の順序付けられたフレーム群をチェックし、マウス矢印のようなポインティングインジケータについての動きを判定する。ポインティングインジケータによるある種の運動が、制御動作を引き起こすことができる。これらの運動は、プロキシサーバによって生成されるオーバレイされたインタフェースエレメントと関連付けられていることもあれば、あるいは無関係であることもある。
他の実施の形態では、コンピュータディスプレイのビデオストリームが取り込まれ、かつポインティングインジケータの位置および動きが、モニタリングの目的で追跡される。ポインタ追跡情報は、単独で又はビデオストリームにおけるアプリケーションウィンドウの使用および内容を決定するために他のビデオまたは画像解析技術と連係して、コンピュータ上で行われる動作の監視またはモニタリングを行うために使用されうる。
図1は、コンピュータシステムと、ビデオプロキシシステムと、ビデオ出力装置との間の相互作用の一つの実施の形態を示している。ラップトップコンピュータ、デスクトップコンピュータ、タブレットシステム、または他の任意のタイプのコンピュータ出力のような、コンピュータシステム105が、プロキシ115に接続されている。コンピュータシステム105は、出力ビデオ信号を、プロキシ115に伝達し、そのプロキシ115は、必要に応じてビデオ信号を変更し、かつディスプレイ装置120にそれを送出する。ビデオ信号は、ディジタルであっても又はアナログであっても良く、そして任意の数のフォーマットを含んでいても良い。他の実施の形態では、ビデオストリームは、プロキシを通過されずに、最初に、一つの信号をプロキシ115にそして一つをディスプレイ装置120に送るスプリッタに渡される。
ある実施の形態では、ビデオ信号は、従来のアナログ又はディジタルビデオ信号であるが、他の実施の形態では、ビデオ信号は、有線式または無線式のネットワークで伝送されるデータストリームである。
ディスプレイ装置120は、プレゼンテーションの観察者にビデオ出力を表示するために用いられる装置である。ディスプレイ装置は、液晶ディスプレイ(LCD)プロジェクタ、アナログプロジェクタ、ブラウン管(CRT)ディスプレイ、LCDディスプレイ又は他の任意のタイプのディスプレイであっても良い。ディスプレイ装置120は、ビデオデータストリームを受信し、かつそれを直接ビデオ信号に変換するネットワークシステムに付設されていても良い。
プロキシ115は、専用のコンピュータであっても良くまたは専用のソフトウェアを実行する従来のコンピュータであってもよい。プロキシ115は、コンピュータシステム105から出力されたビデオストリームを取り込み、かつそれをビデオ出力装置120に送出する前に必要に応じて変更する。プロキシ115は、マウスのような、ビデオストリームにおけるポインティングインジケータの存在、位置および挙動を検出し、そしてポインティングデバイスの挙動に従ってユーザーコマンドを検出するように構成されている。
図2は、コンピュータシステム105の一つの実施の形態を示している。このシステムは、プロセッサ202を含んでいる。複数のプロセッサ202があっても良い。バス204には、メモリ206、ストレージ装置208、キーボード210、グラフィックスアダプタ212、ポインティングデバイス214、スピーカ215、およびネットワークアダプタ216も接続されている。ディスプレイ218は、グラフィックスアダプタ212に結合されている。
プロセッサ202は、インテル(INTEL)×86またはパワーピーシー(POWERPC)に互換性がある中央処理ユニット(CPU)のような、任意の専用または汎用プロセッサでありうる。ストレージ装置208は、ハードドライブ、コンパクトディスク読み出し専用メモリ(CD−ROM)、DVD、または他のある形態の固定または取り外し可能ストレージ装置のような、多量のデータを保持することができる任意の装置でありうる。
図3は、ビデオプロキシシステム115のより詳細な図を示している。ビデオプロキシシステム115の構成要素は、ハードウェア、ソフトウェア、およびファームウェアの任意の組み合わせによって実装されうる。入力/出力モジュール340は、ビデオプロキシシステム115を構成するためのインタフェースを生成するために使用される。そのインタフェースは、ビデオプロキシ115自体のコンソールインタフェース、メディアシステムに接続されたキーボードおよびモニタのような入力/出力装置を通してアクセスされるグラフィカルユーザーインタフェース、またはネットワーク上でアクセスされるウエブインタフェースであってもよい。
ビデオキャプチャモジュール305は、スプリッタ110またはコンピュータシステム105からのビデオ信号を受信する。画像サンプリングモジュール310は、ビデオキャプチャモジュール305によって取り込まれたビデオから一連の画像を生成する(入力ビデオ信号から複数のフレームを抽出する)。アクション検出モジュール320は、画像サンプリングモジュール310によって生成される複数の画像を比較してポインティングインジケータによる挙動を判定する。なお、前記フレームにおけるポインティングインジケータの位置および挙動を追跡するように構成された画像処理モジュールが含まれている。
アクション検出モジュール320が、ポインティングインジケータによる挙動を検出すると、その挙動が制御要求を示すものであるかどうかを判定することができるが、ある実施の形態では、このアクション検出モジュールは、単にポインティングインジケータの挙動を追跡するように構成されており、制御要求を検出しようとはしない。それが制御要求を検出するならば、それは制御要求によりビデオストリームを変更するよう変更モジュール325に指示し、またはさもなければビデオプロキシの機能性を変更する。制御要求は、ビデオに対する変化、ビデオに対するオーバレイの付加、およびビデオプロキシに対する制御コマンド(レコーディング停止/開始)を含んでいても良い。
レコーディングモジュール315は、変更されたビデオストリーム及び/又はプレゼンテーションストレージ330におけるオリジナルのビデオストリームを必要に応じてレコーディングすることができる。出力モジュール328は、変更されたビデオストリームをビデオ出力装置120に送出する。
図4は、マウスの動き追跡のためのプロセスの一つの実施の形態を示している。アクション検出モジュールは、フレーム毎にマウス位置の内部表示を維持している。内部表示は、各画像毎にポインティングインジケータのためのXおよびY座標を含んでいる。画像は、マウスの動きの時間的計測を許容するタイムスタンプに関連付けられて格納される。以下のプロセスは、どのように内部表示が更新されるかの一つの実施の形態である。
ステップ405において、画像サンプリングモジュール310は、ビデオキャプチャモジュールを通して受信されたビデオストリームから画像を取り込む。ステップ410において、アクション検出モジュール320は、その画像を先に取り込まれた画像と比較する。先に取り込まれた画像は、予め決定された時間マージン(例えば、2秒)だけ前にビデオから取り込まれた画像である。
ステップ415において、画像検出モジュール320は、2つの画像の間に差異があるかどうか判定する。ある実施の形態では、差異が肯定の判定となり、他の実施の形態では、差異は、所定の量よりも大きくなければならず及び/又は選択された差異がフィルタリングされる。差異が検出されなければ、処理は、ステップ405に戻る。
差異が検出されれば、ステップ425において、画像検出モジュール320は、変化された画像の領域をさらに詳細にチェックする。ステップ430において、アクション検出モジュール320は、マウス矢印または他のポインティングインジケータが画像の変化された領域内で検出されたかどうかを判定する。
ポインティングインジケータが検出されなければ、プロセスはステップ405に戻る。ポインティングインジケータが検出されたら、アクション検出モジュール320は、それのポインティングインジケータの位置の内部表示をアップグレードする。
ある実施の形態において、図4に関して検出される運動は、後述するような、より複雑なポインタ運動であり、そしてプロキシによって生成されるオーバレイされたインタフェースに対して受け入れられる。他の実施の形態では、運動は、オーバレイとは無関係であり、休止状態からプロキシを除去するまたはプロキシによるレコーディングを開始/停止する単純な運動であってもよい。例えば、ポインティングインジケータの振動運動は、停止状態から出るためのコマンドを表示しうる。
図5は、ボタンまたは図形上に停留するポインティングインジケータからの要求を検出するためのプロセスの一つの実施の形態を示すフローチャートである。このプロセスは、高いレベルのユーザー関与を必要としないので、特に有用である。ユーザーは、アイコンの上にポインティングインジケータを移動させ、それをその場所においたままにすればよい。
ステップ500において、アクション検出モジュールは、タイマによって計測される一定の時間の間にポインティングインジケータが位置を変化したかどうかを判定する。図7を参照すれば、このステップは、特にポインティングインジケータ715がボタンまたはアイコン705から離れたかどうかを照会している。ある実施の形態において、アイコン705は、ビデオプロキシによって生成され、そしてオーバレイとしてビデオストリームに与えられる。
ある実施の形態では、ステップ500は、図4のプロセスを通じて実行される。ポインティングインジケータ位置が変化しなかったら、タイマは、ステップ525でリセットされ、ステップ500が繰り返される。
ポインティングインジケータ715位置が変化したら、アクション検出モジュール320は、ステップ505において、ポインティングインジケータが、アイコンまたはボタンの上にあるかどうかを判定する。ポインティングインジケータが、アイコンまたはボタン705の上にあれば、ステップ510において、タイマはインクリメントされる。ステップ515において、タイマによって計測される時間が、予め決定された時間限界を超えたかどうかを、アクション検出モジュール320が、判定する。この限界は、予め設定されていても、あるいはユーザーが設定可能であっても良い。
時間が時間限界に達していなければ、プロセスは、ステップ500に戻り、そこでシステムは、ポインティングインジケータが移動したかどうかを再度チェックする。時間が限界に達していれば、ステップ520において、システムは、選択を終了し、選択操作に関連付けられた要求を開始する。
図6は、ポインタ挙動から要求を検出するための他のプロセスを示すフローチャートである。このプロセスは、特に、図8に示されるように、アイコン805のまわりにおけるポインティングインジケータ815による円運動を検出することに関するものである。ユーザーがこのタイプの動作を偶発的に開始することはありそうもないから、このプロセスは、虚偽の肯定が無い場合に特に有用である。
ステップ600において、アクション検出モジュールは、ポインティングインジケータ805位置が変化したかどうかを判定する。ある実施の形態では、この判定は、図4に示されたプロセスに従ってなされる。ポインティングインジケータ位置が変化していなければ、プロセスは、ステップ600に戻る。ステップ610において、システムは、ポインティングインジケータが、目下、アイコン805を取り囲む円形軌道の途中にあるかどうかを判定する。アクション検出モジュール320は、ポインティングインジケータが、円形軌道内を動かされているかどうかの指標を維持している。ポインティングインジケータが、目下、円形軌道の途中になければ、ステップ625において新たな軌道が開始され、そしてシステムは、ステップ600を繰り返す。
ポインティングインジケータが、目下、円形軌道の途中にあれば、システムは、ステップ615において、ポインティングインジケータが、円形軌道上の新たなポイントに移動したかどうかを判定する。ある実施の形態では、純粋な円形軌道からの許される許容偏差が存在して、不完全な円を容認する。ポインティングインジケータが、円形軌道820から充分に外れておれば、ステップ625において、軌道は内部表示からクリアされ、そしてプロセスは、ステップ600に戻る。
ポインティングインジケータが、円形軌道内で移動され続けているならば、ステップ620において、アクション検出モジュールは、軌道は完成されたかどうかを判定する。ある実施の形態では、システムは、円が閉じられることを必要とし、他の実施の形態では、軌道の終点が、始点のある一定の最小距離以内になければならない。
軌道が完成していなければ、ステップ635において、軌道が更新され、プロセスは、ステップ600に戻る。軌道が完成していれば、ステップ630において、システムは、選択を終了して、円を描く操作に関連付けられた変更要求を開始させる。
本発明の他の特徴、態様、および目的は、図面および特許請求の範囲について検討することによって理解できる。本発明の他の実施の形態が開発可能であり、かつそれらの実施形態は本発明の精神及び範囲ならびに特許請求の範囲に入るものであることを理解すべきである。
本発明の好ましい実施の形態についての上記の記述は、例示および説明の目的のために提供されたものである。それは、網羅的であることを意図されたものではなく、また開示された厳密な形態に本発明を限定することを意図されたものでもない。明らかに、多くの変更および変形が、当業者には明白であろう。実施の形態は、本発明の原理およびその実際的な応用を最も良く説明するために選択され、記述されたものであり、それによって、当業者は、本発明をその種々の実施の形態について、かつ意図された特定の用途に適する種々の変更と共に理解することができる。本発明の範囲は、下記の請求項およびそれらの均等物によって規定されるものと意図されている。
特別に設計された集積回路または他のエレクトロニクスからなる実施の形態に加えて、本発明は、コンピュータ技術の熟練者には明白になるように、本開示の教示に従ってプログラムされた従来の汎用または専用のディジタルコンピュータまたはマイクロプロセッサを用いて、都合よく実施することができる。
ソフトウェア技術の熟練者には明白であろうように、適切なソフトウェアコード化は、熟練したプログラマであれば、本開示の教示に基づいて容易に行うことができる。当業者には容易に明らかであろうように、本発明は、アプリケーション特定集積回路の提供により、又は従来のコンポーネント回路の適切なネットワークを相互接続することによって実施することもできる。
本発明は、コンピュータをプログラムするために、または本発明のプロセスのうちの何れかを実行するために用いることのできる命令を格納された格納媒体であるコンピュータプログラム製品を含む。その格納媒体は、それに限定されるものではないが、フロッピー(登録商標)ディスク、光学ディスク、DVD、CD−ROM、マイクロドライブ、および磁気光学(MO)ディスクを含む任意のタイプのディスク、ROM、RAM、EPROM、EEPROM、DRAM、VRAM、フラッシュメモリデバイス、磁気または光学カード、ナノシステム(分子メモリICを含む)、又は命令及び/又はデータを格納するのに適した任意のタイプのメディアまたはデバイスを含むものでありうる。
コンピュータ可読媒体の任意の1つに格納されて、本発明は、汎用/専用コンピュータまたはマイクロプロセッサのハードウェアを制御するための、そして本発明の結果を利用してコンピュータまたはマイクロプロセッサがユーザーまたは他のメカニズムと対話できるようにするためのソフトウェアを含む。そのようなソフトウェアは、それに限定されものではないが、デバイスドライバ、オペレーティングシステムおよびユーザープリケーションを含んでいても良い。
汎用/専用コンピュータまたはマイクロプロセッサのプログラミング(ソフトウェア)には、本発明の教示を実行するためのソフトウェアモジュールが含まれる。
コンピュータシステムと、ビデオプロキシシステムと、ビデオ出力装置との間の相互作用の一つの実施の形態を示している。 コンピュータシステムの1つの実施の形態を示している。 ビデオプロキシシステムのさらに詳細な図を示している。 マウスの動き追跡のためのプロセスの一つの実施の形態を示している。 ポインタ挙動からコマンドを検出するためのプロセスの一つの実施の形態を示すフローチャートである。 ポインタ挙動からコマンドを検出するための他のプロセスを示すフローチャートである。 ビデオプロキシサーバによる動作を引き起こし得るポインタ挙動の一つの実施の形態を示している。 ビデオプロキシサーバによる動作を引き起こし得るポインタ挙動の他の実施の形態を示している。
符号の説明
105 コンピュータシステム
115 プロキシ
120 ディスプレイ装置
202 プロセッサ
204 バス
206 メモリ
208 ストレージ装置
210 キーボード
212 グラフィクスアダプタ
214 ポインティングデバイス
215 スピーカ
216 ネットワークアダプタ
218 ディスプレイ
305 ビデオキャプチャモジュール
310 画像サンプリングモジュール
315 レコーディングモジュール
320 アクション検出モジュール
325 変更モジュール
330 プレゼンテーションストレージ
340 入力/出力モジュール

Claims (23)

  1. コンピュータシステムから、複数のフレームで構成され、連続するフレームの各々にポインティングインジケータを含むビデオ入力信号を受信するように構成されたビデオキャプチャモジュールと、
    前記ビデオ入力信号から複数のフレームを抽出するように構成された画像サンプリングモジュールと、
    前記複数のフレーム内におけるポインティングインジケータの位置の各々を判定するように構成された画像処理モジュールと、
    前記ポインティングインジケータの位置の変化に基づいて、要求されたコマンドを判定するように構成されたアクション検出モジュールと、
    前記要求されたコマンドに従って、前記ビデオ入力信号を変更して、該ビデオ入力信号に応じたビデオ出力を表示するためのビデオ出力装置へ出力するように構成された出力モジュールと、
    を具備するビデオストリームにおけるユーザー・アクションを検出するシステム。
  2. 前記アクション検出モジュールは、要求されたコマンドを判定するときに、1つのフレームの特定の領域におけるポインティングインジケータの配置を検出する請求項1に記載のシステム。
  3. 前記アクション検出モジュールは、要求されたコマンドを判定するときに、ポインティングインジケータの振動運動を検出する請求項1に記載のシステム。
  4. 前記アクション検出モジュールは、前記要求されたコマンドを判定するときに、前記複数のフレームにおけるアイコン上でのポインティングインジケータの配置を検出する請求項1に記載のシステム。
  5. 前記アクション検出モジュールは、前記要求されたコマンドを判定するときに、ポインティングインジケータの挙動を検出する請求項1に記載のシステム。
  6. 前記アクション検出モジュールは、前記要求されたコマンドを判定するときに、アイコンのまわりでのポインティングインジケータの取り囲み運動を検出する請求項1に記載のシステム。
  7. 前記要求されたコマンドは、1つのフレームの一部分の拡大を含む請求項1〜請求項6のいずれか1項に記載のシステム。
  8. 前記要求されたコマンドは、単一のフレームが継続的に出力される一時停止操作を含む請求項1〜請求項6のいずれか1項に記載のシステム。
  9. 前記要求されたコマンドは、入力信号にオーバレイを補充することを含む請求項1〜請求項6のいずれか1項に記載のシステム。
  10. 前記要求されたコマンドに従って、受信されたビデオ入力信号または変更されたビデオ入力信号のレコーディングを開始するレコーディングモジュールを更に具備する請求項1〜請求項9のいずれか1項に記載のシステム。
  11. 前記レコーディングモジュールは、前記要求されたコマンドに従って、受信されたビデオ入力信号または変更されたビデオ入力信号のレコーディングを停止する請求項10に記載のシステム。
  12. 前記ポインティングインジケータは、マウス矢印を含む請求項1〜請求項11のいずれか1項に記載のシステム。
  13. コンピュータを、
    コンピュータシステムから、複数のフレームで構成され、連続するフレームの各々にポインティングインジケータを含むビデオ入力信号を受信する手段
    前記ビデオ入力信号から複数のフレームを抽出する手段
    前記複数のフレーム内におけるポインティングインジケータの位置の各々を判定する手段
    前記ポインティングインジケータの位置の変化に基づいて、要求されたコマンドを判定する手段、及び
    前記要求されたコマンドに従って、前記ビデオ入力信号を変更して、該ビデオ入力信号に応じたビデオ出力を表示するためのビデオ出力装置へ出力する手段
    として機能させるためのビデオストリームにおけるユーザー・アクションを検出するためのコンピュータ・プログラム。
  14. 前記要求されたコマンドを判定する手段、前記複数のフレームにおけるアイコン上のポインティングインジケータの配置を検出する請求項13に記載のコンピュータ・プログラム。
  15. 前記ポインティングインジケータの位置の変化は、1つのフレームの特定の領域におけるポインティングインジケータの配置を含む請求項13に記載のコンピュータ・プログラム。
  16. 前記ポインティングインジケータの位置の変化は、ポインティングインジケータの振動運動を含む請求項13に記載のコンピュータ・プログラム。
  17. 前記要求されたコマンドを判定する手段、ポインティングインジケータの挙動を検出する請求項13に記載のコンピュータ・プログラム。
  18. 前記要求されたコマンドを判定する手段、アイコンのまわりでのポインティングインジケータの取り囲み運動を検出する請求項13に記載のコンピュータ・プログラム。
  19. 前記要求されたコマンドは、1つのフレームの一部分の拡大を含む請求項13〜請求項18のいずれか1項に記載のコンピュータ・プログラム。
  20. 前記要求されたコマンドは、単一のフレームが継続的に出力される一時停止操作を含む請求項13〜請求項18のいずれか1項に記載のコンピュータ・プログラム。
  21. 前記要求されたコマンドは、入力信号にオーバレイを補充することを含む請求項13〜請求項18のいずれか1項に記載のコンピュータ・プログラム。
  22. 前記コンピュータを、さらに、前記要求されたコマンドに従って、受信されたビデオ入力信号または変更されたビデオ入力信号のレコーディングを開始するレコーディング手段として機能させるための請求項13〜請求項18のいずれか1項に記載のコンピュータ・プログラム。
  23. 前記レコーディング手段は、前記要求されたコマンドに従って、受信されたビデオ入力信号または変更されたビデオ入力信号のレコーディングを停止する請求項22に記載のコンピュータ・プログラム。
JP2005311795A 2004-10-26 2005-10-26 ビデオストリームにおけるユーザー・アクションを検出するためのシステムおよびコンピュータ・プログラム Expired - Fee Related JP4730059B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US10/973,198 US8117544B2 (en) 2004-10-26 2004-10-26 System and method for detecting user actions in a video stream
US10/973,198 2004-10-26

Publications (2)

Publication Number Publication Date
JP2006127519A JP2006127519A (ja) 2006-05-18
JP4730059B2 true JP4730059B2 (ja) 2011-07-20

Family

ID=36207392

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005311795A Expired - Fee Related JP4730059B2 (ja) 2004-10-26 2005-10-26 ビデオストリームにおけるユーザー・アクションを検出するためのシステムおよびコンピュータ・プログラム

Country Status (2)

Country Link
US (1) US8117544B2 (ja)
JP (1) JP4730059B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010061433A (ja) * 2008-09-04 2010-03-18 Casio Comput Co Ltd 投影装置、投影方法及びプログラム
US9179096B2 (en) 2013-10-11 2015-11-03 Fuji Xerox Co., Ltd. Systems and methods for real-time efficient navigation of video streams

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05224863A (ja) * 1992-02-10 1993-09-03 Hitachi Ltd マルチウインドウ動画表示装置
JP2000222130A (ja) * 1999-02-02 2000-08-11 Toshiba Corp 入力装置および方法および記憶媒体
JP2001125738A (ja) * 1999-09-21 2001-05-11 Seiko Epson Corp プレゼンテーション制御システム及びその制御方法
JP2002132438A (ja) * 2000-10-27 2002-05-10 Sharp Corp 手書入力装置および方法、ならびに手書入力プログラムが記録されたコンピュータで読取可能な記録媒体

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5594469A (en) * 1995-02-21 1997-01-14 Mitsubishi Electric Information Technology Center America Inc. Hand gesture machine control system
US5900872A (en) * 1995-05-05 1999-05-04 Apple Computer, Inc. Method and apparatus for controlling the tracking of movable control elements in a graphical user interface
US5708845A (en) * 1995-09-29 1998-01-13 Wistendahl; Douglass A. System for mapping hot spots in media content for interactive digital media program
US20010012025A1 (en) * 1998-03-20 2001-08-09 Toshiba America Information Systems, Inc. Display scrolling system using pointing device
JP3804302B2 (ja) * 1998-11-11 2006-08-02 セイコーエプソン株式会社 表示装置及び情報記録媒体
CN100505076C (zh) * 1999-03-30 2009-06-24 提维股份有限公司 多媒体可视的播放进度指示系统
KR20030017997A (ko) * 2001-04-17 2003-03-04 코닌클리케 필립스 일렉트로닉스 엔.브이. 이미지 시퀀스 내의 위치를 선택하기 위한 방법 및 시스템
JP4667639B2 (ja) * 2001-05-10 2011-04-13 パナソニック株式会社 映像プロクシサーバ
JP3738843B2 (ja) * 2002-06-11 2006-01-25 ソニー株式会社 画像検出装置、画像検出方法および画像検出プログラム
US20040021684A1 (en) * 2002-07-23 2004-02-05 Dominick B. Millner Method and system for an interactive video system
US20040233233A1 (en) * 2003-05-21 2004-11-25 Salkind Carole T. System and method for embedding interactive items in video and playing same in an interactive environment
US7623722B2 (en) * 2003-10-24 2009-11-24 Eastman Kodak Company Animated display for image manipulation and correction of digital image
US7954129B2 (en) * 2004-09-24 2011-05-31 Smartvue Corporation Wireless video surveillance system and method with remote viewing
US20060095867A1 (en) * 2004-11-04 2006-05-04 International Business Machines Corporation Cursor locator on a display device

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05224863A (ja) * 1992-02-10 1993-09-03 Hitachi Ltd マルチウインドウ動画表示装置
JP2000222130A (ja) * 1999-02-02 2000-08-11 Toshiba Corp 入力装置および方法および記憶媒体
JP2001125738A (ja) * 1999-09-21 2001-05-11 Seiko Epson Corp プレゼンテーション制御システム及びその制御方法
JP2002132438A (ja) * 2000-10-27 2002-05-10 Sharp Corp 手書入力装置および方法、ならびに手書入力プログラムが記録されたコンピュータで読取可能な記録媒体

Also Published As

Publication number Publication date
US8117544B2 (en) 2012-02-14
JP2006127519A (ja) 2006-05-18
US20060090134A1 (en) 2006-04-27

Similar Documents

Publication Publication Date Title
US6774886B2 (en) Display system, cursor position indication method, and recording medium
JP2005509973A (ja) ジェスチャに基づくユーザインタフェース用の方法及び装置
JP2013529802A (ja) コンテンツジェスチャー
US9544556B2 (en) Projection control apparatus and projection control method
JP2009098774A (ja) 人物追跡システム及び人物追跡方法及び人物追跡プログラム
US20030052859A1 (en) Laser and digital camera computer pointer device system
US20090066664A1 (en) Touch screen and display method thereof
WO2019104476A1 (zh) 一种监护仪及其显示屏幕切换方法
US20130342448A1 (en) Information processing apparatus, information processing method, and program product
US20090219290A1 (en) Image display processing appartus, image display processing method, and recording medium
JP4730059B2 (ja) ビデオストリームにおけるユーザー・アクションを検出するためのシステムおよびコンピュータ・プログラム
JP2006004093A (ja) 切替装置
US20170038947A1 (en) Zooming and panning within a user interface
US20090235169A1 (en) Digital video record device with touch-panel human machine interface
JP3804302B2 (ja) 表示装置及び情報記録媒体
US11009991B2 (en) Display control apparatus and control method for the display control apparatus
JP7106346B2 (ja) 情報処理装置及び情報処理プログラム
US9483125B2 (en) Position information obtaining device and method, and image display system
US10455145B2 (en) Control apparatus and control method
JPH0643851A (ja) 画像表示装置
JPH11212724A (ja) 画像投影方法ならびにシステム及び同方法がプログラムされ記録される記録媒体
US20150253948A1 (en) Non-transitory computer readable medium storing an application program
US20190121534A1 (en) Non-transitory computer-readable recording medium, information control method, and terminal device
JP2009163500A (ja) タッチパネルシステム
JP2015527659A (ja) プレゼンテーションを強化するための方法、サーバ、およびポインティング・デバイス

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080924

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100909

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100921

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101116

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110322

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110404

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140428

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4730059

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees