JP4984583B2 - Display device, projector, display system, display method, display program, and recording medium - Google Patents
Display device, projector, display system, display method, display program, and recording medium Download PDFInfo
- Publication number
- JP4984583B2 JP4984583B2 JP2006071862A JP2006071862A JP4984583B2 JP 4984583 B2 JP4984583 B2 JP 4984583B2 JP 2006071862 A JP2006071862 A JP 2006071862A JP 2006071862 A JP2006071862 A JP 2006071862A JP 4984583 B2 JP4984583 B2 JP 4984583B2
- Authority
- JP
- Japan
- Prior art keywords
- command
- face
- motion
- unit
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Image Analysis (AREA)
- Image Processing (AREA)
- Control Of Indicators Other Than Cathode Ray Tubes (AREA)
- Controls And Circuits For Display Device (AREA)
- User Interface Of Digital Computer (AREA)
Description
本発明は、画像を用いてコンテンツの再生動作を指示する表示装置、プロジェクタ、表示システム、表示方法、表示プログラム、および記録媒体に関するものである。 The present invention relates to a display device, a projector, a display system, a display method, a display program, and a recording medium that instruct a content reproduction operation using an image.
従来、オペレータによる操作指示を画像および/または音声の解析によって認識するシステムが用いられている。 Conventionally, a system for recognizing an operation instruction by an operator by analyzing an image and / or sound has been used.
特許文献1には、ユーザをモニタし、動作からインタラクション情報を決定してコンテンツ提示方法を変更するデジタルコンテンツ表示方法が開示されている。当該デジタルコンテンツ表示方法では、ユーザ動作からインタラクション情報を特定し、コンテンツの表示を変えることが示されている。
特許文献2には、目線、顔のポーズ、体の姿勢、手振り、顔の表情等の視覚的キューでイベントを予測する方法及び装置について開示されている。
特許文献3には、オペレータを撮影した画像を解析することによって、オペレータの行動に応じた指示命令を実行する情報処理装置について開示されている。当該情報処理装置では、オペレータごとに任意の行動と指示命令とを対応づけて登録することでオペレータの好みに合った行動で希望する処理を実行できるようにしている。
特許文献4には、従来のデバイスにおける入力の煩わしさや使用者の負担を軽減することが可能な人物顔動作検出方法が開示されている。上記の人物顔動作検出方法では、顔画像を含む画像を入力し、画像から人物の注目方向を抽出し、顔内部の部品の変化を検出し、検出された変化が操作コマンドであるか否かを判定している。
特許文献5には、撮影した画像に基づいて利用者のジェスチャーの内容を特定し、複数のコマンド候補を抽出し、音声の入力から複数のコマンド候補を出力する操作指示装置が開示されている。
しかしながら、上記のようなシステムでは、例えば、プレゼンテーションを行う際に、講演者を撮影した画像からコマンドを特定することが困難であり、また、容易な動作をコマンドと対応付けた場合には、コマンドの誤認識が増加するという問題が生じる。 However, in the system as described above, for example, when giving a presentation, it is difficult to specify a command from an image of a lecturer, and when an easy operation is associated with a command, The problem of increased misrecognition occurs.
本発明は上記の問題点に鑑みてなされたものであり、その目的は、顔を用いた容易な動作によるコマンドの指定をより確実に行うことができる表示装置、プロジェクタ、表示システム、表示方法、表示プログラム、および該プログラムを記録した記録媒体を提供することにある。 The present invention has been made in view of the above problems, and its purpose is to provide a display device, a projector, a display system, a display method, and a display device that can more reliably specify a command by an easy operation using a face. The object is to provide a display program and a recording medium on which the program is recorded.
本発明の表示装置は、上記の問題を解決するために、顔画像を入力する画像入力部と、前記顔画像から顔動作を認識する顔画像認識手段と、コンテンツの再生を指示するコマンドを前記顔動作に基づいて決定するコマンド決定手段と、前記コマンドに基づいて再生されたコンテンツを表示出力する出力部とを備えることを特徴としている。 In order to solve the above problem, the display device of the present invention includes an image input unit that inputs a face image, a face image recognition unit that recognizes a face motion from the face image, and a command that instructs content reproduction. Command determining means for determining based on a face motion and an output unit for displaying and outputting content reproduced based on the command are provided.
上記の構成によれば、画像入力部から顔画像を入力し、顔画像を時系列に沿って追跡することで顔動作を認識し、顔動作からコンテンツの再生を指示するコマンドを決定し、コマンドに基づいて再生されたコンテンツを出力部が表示出力する。これによって、一連の顔動作を用いてコンテンツを表示させる再生操作を指示するコマンドを決定することができる。 According to the above configuration, the face image is input from the image input unit, the face motion is recognized in time series, the face motion is recognized, the command for instructing the content reproduction from the face motion is determined, and the command The output unit displays and outputs the content reproduced based on the above. As a result, it is possible to determine a command for instructing a playback operation for displaying content using a series of face motions.
上記の構成を用いることで、表示装置の画像入力部に向かって顔動作を行うことによって、例えば、リモートコントローラなどの物理的な入力デバイスを用いることなく、ハンドフリーな状態で操作制御することができる表示装置を実現することができる。 By using the above configuration, by performing a face motion toward the image input unit of the display device, for example, operation control can be performed in a hands-free state without using a physical input device such as a remote controller. A display device that can be realized is realized.
本発明の表示装置では、上記の構成において、前記顔動作を前記コマンドと対応付けて記憶するコマンド記憶部をさらに備え、前記コマンド決定手段は、前記コマンド記憶部を参照して、前記顔動作に対応する前記コマンドを決定することを特徴としている。 In the display device of the present invention, in the above configuration, the display device further includes a command storage unit that stores the face motion in association with the command, and the command determination unit refers to the command storage unit to perform the face motion. It is characterized in that the corresponding command is determined.
上記の構成によれば、コマンド記憶部に顔動作とコマンドとを対応付けたテーブルを記憶し、コマンド決定手段はテーブルを参照してコマンドを決定する。これにより、顔動作およびコマンドを独自に設定することができるので、例えば、表示装置や表示するコンテンツに応じたコマンドを設定し、表示出力を指示するユーザごとに顔動作を独自に設定することができる。 According to said structure, the table which matched the face motion and the command was memorize | stored in the command memory | storage part, and a command determination means determines a command with reference to a table. As a result, the face motion and the command can be set independently. For example, a command corresponding to the display device or the content to be displayed can be set, and the face motion can be set independently for each user who instructs display output. it can.
本発明の表示装置では、前記コマンド決定手段は、第1の顔動作が入力されたとき、コマンドの入力を受け付けるコマンド入力状態となり、前記コマンド入力状態となった後に認識された第2の顔動作に基づいてコマンドの決定を行うことを特徴としている。 In the display device of the present invention, when the first face motion is input, the command determining means enters a command input state for accepting a command input, and the second face motion recognized after the command input state is reached. It is characterized by determining a command based on the above.
上記の構成によれば、第1の顔動作を入力することでコマンドの入力を受け付ける状態にし、その後、第2の顔動作を入力することで、コマンドの誤認識を低減させることができる。このため、例えば、第1の顔動作として頻繁に同様の動作を行うことの少ない、特徴のある動作を設定し、第2の顔動作として簡単な動作を設定することで、簡単な動作の組み合わせによって、偶然、同様の動作を行うことによる誤認識および誤動作を低減することができるという効果を奏する。 According to said structure, it can be in the state which receives the input of a command by inputting a 1st face action, and can reduce the misrecognition of a command by inputting a 2nd face action after that. For this reason, for example, a combination of simple movements is set by setting a characteristic movement that does not frequently perform the same movement as the first facial movement and setting a simple movement as the second facial movement. Therefore, it is possible to reduce erroneous recognition and malfunction caused by performing the same operation accidentally.
本発明の表示装置では、前記第1の顔動作は、顔が所定の方向に向いて静止する動作であり、前記第2の顔動作は顔の少なくとも一部が動く動作であることを特徴としている。 In the display device of the present invention, the first face motion is a motion in which the face is stationary in a predetermined direction, and the second face motion is a motion in which at least a part of the face moves. Yes.
上記の構成によれば、顔を所定の方向に向けて静止することでコマンドの入力を受け付ける状態にし、その後、顔の一部を動かすことによってコマンドの種類を確定することで、コマンド入力の誤認識を低減させることができる。 According to the above configuration, an error in command input can be obtained by setting the command type by moving a part of the face after moving the face to a state where the face is allowed to stand still in a predetermined direction. Recognition can be reduced.
なお、上記の所定の方向の具体例をあげると、例えば、表示装置の方向があげられる。 A specific example of the predetermined direction is, for example, the direction of the display device.
本発明の表示装置では、コマンド入力状態に入ったことをユーザに通知する入力状態通知手段をさらに備え、前記コマンド決定手段は、前記コマンド入力状態となった場合に、前記入力状態通知手段に通知させることを特徴としている。 The display device of the present invention further includes an input state notifying unit for notifying a user that the command input state has been entered, and the command determining unit notifies the input state notifying unit when the command input state is entered. It is characterized by letting.
上記の構成によれば、入力状態通知手段を用いてコマンド入力状態にはいったことをユーザに通知するので、ユーザはコマンド入力状態であることを確認し、その後、第2の顔動作を入力することができる。これによって、ユーザはコマンド入力状態であることを把握し、確認した上で第2のコマンドの入力を確実に行うことができるという効果を奏する。 According to the above configuration, the user is notified that the command input state has been entered using the input state notifying means, so the user confirms that the command input state has been entered, and then inputs the second facial motion. be able to. Thus, there is an effect that the user can surely input the second command after grasping and confirming the command input state.
本発明の表示装置では、前記顔画像認識手段は、人物を識別するために登録された識別情報と、前記顔画像から抽出された特徴情報とが一致するかを認識し、前記コマンド決定手段は、前記識別情報と一致する前記特徴情報が抽出される前記顔画像から認識された顔動作に基づいてコマンドを決定することを特徴としている。 In the display device of the present invention, the face image recognition means recognizes whether the identification information registered for identifying a person matches the feature information extracted from the face image, and the command determination means A command is determined based on a face motion recognized from the face image from which the feature information matching the identification information is extracted.
上記の構成によれば、識別情報に基づいて顔画像を識別した上でコマンドを決定するので、指示を出しているユーザを特定して、特定したユーザからの指示のみを受け付けるようにすることができる。これによって、複数の人物の顔画像が画像データ内に存在する場合でも、ユーザを識別してコマンドの決定を行うことができるという効果を奏する。 According to the above configuration, since the command is determined after identifying the face image based on the identification information, it is possible to identify the user who has issued the instruction and accept only the instruction from the identified user. it can. As a result, even when face images of a plurality of persons exist in the image data, it is possible to identify the user and determine the command.
本発明の表示装置では、音声を入力する音声入力部と、入力された前記音声を認識する音声認識手段とをさらに備え、前記コマンド決定手段は、前記顔動作および認識された前記音声に基づいて前記コマンドを決定することを特徴としている。 The display device of the present invention further includes a voice input unit that inputs voice and voice recognition means that recognizes the inputted voice, and the command determination means is based on the face motion and the recognized voice. The command is determined.
上記の構成によれば、顔画像による認識に加えて、音声認識手段による音声の認識結果に基づいてコマンドを決定するので、顔画像によるコマンドの認識に失敗した場合でも、音声によるコマンド入力によってコマンドを訂正することができる。 According to the above configuration, in addition to the recognition by the face image, the command is determined based on the voice recognition result by the voice recognition means. Therefore, even if the command recognition by the face image fails, the command is input by the voice command input. Can be corrected.
上述の表示装置と、再生する前記コンテンツを記憶するコンテンツ記憶部と、前記表示装置からのコマンドに基づいて前記コンテンツ記憶部からコンテンツを再生し、前記表示装置の出力部に入力する再生部とを備えることによって、プロジェクタを構成することができる。 A display unit, a content storage unit that stores the content to be played back, and a playback unit that plays the content from the content storage unit based on a command from the display device and inputs the content to the output unit of the display device By providing, a projector can be configured.
上記の構成によれば、プロジェクタに上述の効果を適用することができる。 According to said structure, the above-mentioned effect is applicable to a projector.
上述の表示装置と、当該表示装置からのコマンドに基づいて前記コンテンツを再生する再生装置とを備えることで表示システムを構成することができる。 A display system can be configured by including the display device described above and a playback device that plays back the content based on a command from the display device.
上記の構成によれば、上述のものと同様の効果を奏する表示システムを容易に構築することができる。 According to said structure, the display system which has an effect similar to the above-mentioned thing can be constructed | assembled easily.
本発明の表示方法は、上記の問題を解決するために、顔画像を入力する画像入力部と、コンテンツの再生を指示するコマンドに基づいて再生されたコンテンツを表示出力する出力部とを備えた表示装置における表示方法であって、顔画像認識手段が、前記顔画像から顔動作を認識するステップと、コマンド決定手段が、前記コマンドを前記顔動作に基づいて決定するステップとを備えることを特徴としている。 In order to solve the above problem, the display method of the present invention includes an image input unit that inputs a face image, and an output unit that displays and outputs the content reproduced based on a command for instructing the reproduction of the content. A display method in a display device, comprising: a face image recognizing unit recognizing a face motion from the face image; and a command determining unit determining the command based on the face motion. It is said.
上記の構成によれば、顔画像を入力し、入力された顔画像から顔動作を認識し、顔動作に基づいてコンテンツの再生動作を指示するコマンドを決定することができる。これによって、一連の顔動作を用いてコンテンツを表示させる再生操作を指示するコマンドを決定することができる。 According to the above configuration, it is possible to input a face image, recognize a face motion from the input face image, and determine a command for instructing a content reproduction operation based on the face motion. As a result, it is possible to determine a command for instructing a playback operation for displaying content using a series of face motions.
上記の方法を用いることで、表示装置の画像入力手段に向かって顔動作を行うことによって、例えば、リモートコントローラなどの物理的な入力デバイスを用いることなく、ハンドフリーな状態で操作制御することができる表示方法を実現することができる。 By using the above method, it is possible to control the operation in a hands-free state without using a physical input device such as a remote controller by performing a face motion toward the image input means of the display device. A display method that can be realized.
なお、上記表示方法を、コンピュータの制御によりコンピュータ上で実行させることができる。さらに、上記表示プログラムをコンピュータ読み取り可能な記録媒体に記憶させることにより、任意のコンピュータ上で実行させることができる。 Note that the above display method can be executed on a computer under the control of the computer. Furthermore, by storing the display program in a computer-readable recording medium, the display program can be executed on any computer.
以上のように、本発明に係る表示装置は、画像入力部から顔画像を入力し、顔画像を時系列に沿って追跡することで顔動作を認識し、顔動作からコンテンツの再生を指示するコマンドを決定し、コマンドに基づいて再生されたコンテンツを出力部が表示出力する。これによって、一連の顔動作を用いてコンテンツの再生操作を指示するコマンドを決定することができる。 As described above, the display device according to the present invention inputs a face image from the image input unit, recognizes the face motion by tracking the face image in time series, and instructs the playback of content from the face motion. The command is determined, and the output unit displays and outputs the content reproduced based on the command. As a result, a command for instructing a content reproduction operation can be determined using a series of face movements.
本発明の一実施形態について、図1〜図7に基づいて説明すると以下の通りである。本実施形態では表示装置として、以下で説明する各部の機能を備えたプロジェクタを例に説明するが、これに限るものではない。外部のコンテンツ再生装置に、以下で説明する各部の機能を備えた表示装置を接続することで表示システムとして機能させてもよい。 An embodiment of the present invention will be described below with reference to FIGS. In the present embodiment, a projector having a function of each unit described below will be described as an example of a display device, but is not limited thereto. You may make it function as a display system by connecting the display apparatus provided with the function of each part demonstrated below to an external content reproduction apparatus.
図1は、本実施形態におけるプロジェクタ10の各部の概略構成を示したブロック図である。プロジェクタ(表示装置)10は、再生部(再生手段)20、入出力部30、処理部40、および、記憶部50を備えている。入出力部30は、動画入力部(画像入力手段)32、音声入力部(音声入力手段)34、通知部(入力通知手段)36、および、出力部(映像出力手段)38を備える構成である。処理部40は、時系列画像記録部42、顔画像認識部(顔画像認識手段)44、音声認識部(音声認識手段)46、および、コマンド決定部(コマンド決定手段)48を備える構成である。記憶部50は、時系列画像記憶部52、識別画像記憶部54、コマンド記憶部(コマンド記録手段)56、および、コンテンツ記憶部(コンテンツ記憶手段)58を備える構成である。
FIG. 1 is a block diagram illustrating a schematic configuration of each unit of the
まず、再生部20について説明する。再生部20は、処理部40のコマンド決定部48からの指示に基づいてコンテンツ記憶部58からコンテンツを読み出し、出力部38に出力する。出力するコンテンツは、画像データを順に表示するスライドショーであってもよいし、操作に基づいてスライド内のアクションが進行するプレゼンテーションデータであってもよい。コマンド決定部48からの指示に基づいて操作することが可能なコンテンツであれば、どのようなコンテンツであってもよい。
First, the reproducing
次に、入出力部30の各部について説明する。動画入力部32は、外部から映像を画像データとして入力するための映像入力デバイスである。具体的には、入出力部30は、例えば、CCD(Charge Coupled Devices)やCMOS(Complementary Metal Oxide Semiconductor)などを用いたカメラであってもよいし、外部のAV(Audio Visual)機器や外部カメラから映像を入力するための入力端子であってもよい。プロジェクタ10の再生操作を指示するユーザの映像を入力することができるものであれば、どのような入力デバイスでもよい。
Next, each part of the input /
音声入力部34は、外部から音声を音声データとして入力するための音声入力デバイスである。具体的には、音声入力部34は、ダイナミックマイクやコンデンサマイクなどを用いた音声入力装置である。この音声入力部34は、主としてユーザからのコンテンツ再生指示を音声によって入力するために用いられる。
The
通知部36は、処理部40のコマンド決定部48がコマンド入力状態になった際に、コマンド入力状態になったことをユーザに対して通知するための表示手段である。具体的には、通知部36は、ライトやLED(light emitting diode)などを用いて光線や点滅によってユーザに通知する発光手段や、発信音や音声合成出力などを用いて音声によってユーザに通知する発呼手段などを用いた出力デバイスである。なお、通知部36は、ユーザに対してコマンド入力状態であることを通知できれば、どのようなデバイスであっても良い。
The
出力部38は、再生部20から出力されたコンテンツを外部に表示するための表示出力デバイスである。本実施形態では、光学レンズを用いてスクリーンに映像を投影する投影手段を用いるものとする。なお、出力部36は、コンテンツをコマンドに応じて出力することができれば、どのような出力装置であっても良い。
The
次に、処理部40の各部について説明する。時系列画像記録部42は、動画入力部32から入力された映像を、連続する静止画像、または、ストリームで入力される動画像などとして時系列画像記憶部52に記録する。本実施形態では、100msの間隔で撮影された静止画を時系列に沿って並べて記録するものとするが、これに限るものではない。
Next, each part of the
顔画像認識部44は、動画入力部32から入力される現在の入力画像から顔画像の領域を特定し、コマンド決定部48に入力する。なお、画像認識部44は、顔画像の特定のために、時系列画像記憶部52から過去の画像を参照して、特定の人物の顔画像を追跡してもよいし、識別画像記憶部54に登録された識別画像に基づいて特定人物の顔画像の領域を特定してもよい。過去の画像や識別画像に基づくことによって、顔画像認識部44による顔画像の特定をより容易に、また確実にすることができる。
The face
音声認識部46は、音声入力部34から入力された音声を認識してコマンド決定部48に音声信号を入力する。なお、音声認識部46は、入力された音声から雑音を除去し、複数の音声を分離し、特定の周波数で発信される音声のみを選択する処理を行っても良い。
The
コマンド決定部48は、顔画像認識部44からの顔画像、および/または、音声認識部46からの音声信号からコマンドを決定する。具体的には、入力された複数の顔画像に基づいて顔動作を識別し、対応するコマンドを選択する。あるいは、入力された音声信号を識別し、対応するコマンドを選択する。複数の顔画像から顔動作を識別する方法について、詳細は後述する。
The
次に、記憶部50の各部について説明する。なお、記憶部50内の各記憶部は、同じ記憶装置内を分類して記憶してもよいし、用途に応じて別の記憶素子を用いて構成してもよい。また、フラッシュメモリや光ディスクなどの外部記憶用メディアであってもよいし、半導体メモリ、磁気記憶媒体、および光記憶媒体などの記録装置であってもよい。
Next, each part of the
時系列画像記憶部53は、時系列画像記録部42から入力された時系列画像を記録するための記憶部である。本実施形態では、時系列画像記憶部53には、時系列に沿って連続する画像を静止画として保存するものとする。なお、保存形式は、過去の画像との差分をとった形式で保存されていてもよいし、ストリーミング形式など保存してもよい。また、静止画ごとに顔領域を検出し、顔領域の画像だけを記録してもよいし、顔領域の画像を解析し、目や口の開閉状態など、後述するコマンドの要素となる特徴量を抽出して記録してもよい。
The time series image storage unit 53 is a storage unit for recording the time series image input from the time series
識別画像記憶部54は、顔画像認識部54に参照されてユーザを識別するための識別情報をあらかじめ登録するための記憶装置である。なお、識別情報は顔画像または音声情報として記録してもよいし、顔画像および音声情報から取り出した特徴量を識別情報として記録してもよい。
The identification
コマンド記憶部56は、顔動作と操作コマンドとを対応付けたテーブルを記憶するための記憶装置である。顔動作および操作コマンドの対応付けは、ユーザごとに行っても良いし、共通の標準コマンドを設定しても良い。また、操作コマンドは、再生部20で行う動作にあわせて適時設定しても良い。
The
コンテンツ記憶部58は、再生部20で再生するコンテンツデータを蓄積するための記憶装置である。なお、コンテンツ記憶部58は、各種記録メディアからコンテンツデータを読み出すためのドライブ装置であっても良いし、ネットワークを介してデータをダウンロードするものであっても良い。再生部20の要求に応じてコンテンツデータを提供することができれば、コンテンツ記憶部58は、どのような記憶装置であっても良い。
The
なお、上述の例では、プロジェクタ10内に全ての機能部を備えている構成を示したが、これに限るものではない。図2は、本発明の別の実施形態におけるプロジェクタ10の各部の概略構成を示したブロック図である。図1の実施形態と同じ機能を持つブロックについては、同じ符号を付し、その説明を省略するものとする。
In the above-described example, the
プロジェクタ10は、入出力部30、処理部40、および、記憶部50を備えている。PC60は、再生部20およびコンテンツ記憶部58をそなえている。図1の実施形態に比べて、本実施形態では、再生部20およびコンテンツ記憶部58をPC60内に備えている点が相違し、その他の構成は同様である。
The
プロジェクタ10は、PC60の再生部20に対して操作を指示するコマンドを送信し、PC60はコマンドに対応するコンテンツをコンテンツ記憶部58から取り出して再生し、プロジェクタ10内の出力部38に出力させる。再生部20は、PC60上で実行されるプレゼンテーションソフトウェアであっても良いし、コンテンツ記憶部58は、PC60に備え付けられた記憶メディアの読取ドライブであっても良い。
The
次に、本実施形態のプロジェクタ10を用いて、実際にプレゼンテーションを行う様子について、図3を参照して説明を行う。図3は、図2に示されたプロジェクタ10およびPC60を用いてプレゼンテーションを行う際の様子を示す概略図である。
Next, how a presentation is actually performed using the
プロジェクタ10は、講演者70の顔領域72を動画入力部32のカメラを用いて入力しつつ、スクリーン80上にコンテンツを投影する。講演者70は、スクリーン80上に投影されたコンテンツを確認しながら、プロジェクタ10の動画入力部32のカメラに向かって顔動作を行う。プロジェクタ10は、動画入力部32によって撮影した講演者70の顔領域72から、時系列に沿った複数の顔画像領域を取り出し、顔動作を認識する。
The
その後、プロジェクタ10は、顔動作に対応するコマンドをトリガ信号としてPC60に送信する。PC60は、トリガ信号を受け取ると、対応するコンテンツを再生し、表示データとしてプロジェクタ10に送信する。プロジェクタ10は表示データを受け取って、プロジェクタ10内の出力部38からスクリーン80にコンテンツを投影する。
Thereafter, the
以上のように、講演者70がプロジェクタ10に向かって顔動作を行うことによって、PC60で再生するコンテンツを制御するためのコマンドをトリガ信号として送信し、表示データをプロジェクタ10が受け取りスクリーン80に投影することで、コンテンツの再生操作を行う操作者を準備する必要なく、また、講演者70がリモートコントローラなどを手に持つ必要なくコンテンツを制御しプレゼンテーションを進行することができる。
As described above, when the
次に、顔動作の認識処理の流れについて、図4を参照して説明する。図4は、顔動作の認識処理の流れを示すフロー図である。認識処理が開始されると、まず、各種パラメータのリセットが行われる。 Next, the flow of facial motion recognition processing will be described with reference to FIG. FIG. 4 is a flowchart showing the flow of facial motion recognition processing. When the recognition process is started, first, various parameters are reset.
S101において、顔画像認識部48は、カウンタおよびシーケンス履歴のリセットを行う。S102において、顔画像認識部48は、タイマのカウントを開始して、100msごとに顔検出処理を実行する。
In S101, the face
なお、シーケンス履歴とは、一連の顔動作を時系列の流れに沿って繋げたもので、具体例をあげると、顔を静止する動作、顔を傾ける動作、口を開閉する動作、瞼を開閉する動作、頷く動作、顔を横に振る動作などの顔動作である。また、シーケンス履歴では、同じ動作であっても、各動作における時間経過の長さによって別のシーケンスと見なしても良い。 Note that the sequence history is a series of face movements connected in a time-series manner. Specific examples include face movement, face tilting, mouth opening / closing, and eyelid opening / closing. Face motions such as a motion to move, a motion to whisper and a motion to shake the face. In the sequence history, even the same operation may be regarded as a different sequence depending on the length of time elapsed in each operation.
S103において、前回の画像データおよび今回の画像データを比較することで、顔領域の移動を追跡する。顔領域の移動が前回の検出位置から一定以下の場合(S103でYES)、処理はS104に進む。顔領域の移動が前回の検出位置から一定の値を超えた場合(S103でNO)、処理はS101に戻ってカウンタのリセットを行う。 In S103, the movement of the face area is tracked by comparing the previous image data and the current image data. When the movement of the face area is not more than a certain value from the previous detection position (YES in S103), the process proceeds to S104. If the movement of the face area exceeds a certain value from the previous detection position (NO in S103), the process returns to S101 to reset the counter.
S104において、顔画像認識部48はカウンタを+1し、S105において、カウンタの値から経過時間を判断する。そして、顔画像認識部48は経過時間に基づいて、ユーザが一定時間顔を静止させる動作(コマンド入力動作)を行ったかどうか判断する。カウンタが20以上だった場合(S105でYES)、処理はS106へ進む。カウンタが20より少ない場合(S105でNO)、顔の静止時間が2秒を越していないと判断し、処理はS102に戻ってカウントを再開する。
In S104, the face
なお、上記の例では、顔を一定時間、カメラに向かって静止させる顔動作をコマンド入力動作として説明したが、これに限るものではない。カメラに向かって一定時間、瞼を閉じる顔動作であっても良いし、2回頷く顔動作であっても良い。ただし、顔をカメラに向かって静止させる動作であった場合、より少ない顔動作で容易にコマンドを入力することができ、誤認識を起こしにくいコマンド入力動作とすることができる。 In the above-described example, the face motion that stops the face toward the camera for a certain period of time has been described as the command input operation. However, the present invention is not limited to this. It may be a face action that closes the eyelid for a certain time toward the camera, or a face action that whips twice. However, when the operation is to make the face stand still toward the camera, a command can be easily input with fewer face motions, and a command input operation that is less likely to cause erroneous recognition can be achieved.
S106において、顔画像認識部44は、口の開度を計測し、開/閉状態を判断する。S107において、顔の静止と、口の開閉の各顔動作とを一連のシーケンスとして、シーケンス履歴として更新を行う。なお、ここでは、顔の静止および口の開閉を連続する顔動作としてシーケンス履歴に記録したが、これに限らない。顔を用いる連続する動作の組み合わせであれば、どのようなものでもよい。また、顔動作およびコマンド操作の対応テーブルの例について、詳細は後述する。
In S106, the face
S108において、コマンド認識部48は、シーケンス履歴が規定のものと一致するか判断する。すなわち、一連の顔動作がコマンドと対応付けられているか判断する。シーケンス履歴が規定通りの場合(S108でYES)、処理はS109へ進む。シーケンス履歴が規定通りでない場合(S108でNO)、処理はS102に戻り、再びカウントを進める処理を繰り返す。
In S108, the
S109において、コマンド認識部48は、一連の顔動作に対応するコマンドをトリガ信号として再生部20に送信する。その後、処理はS101に戻り、再びカウンタおよびシーケンス履歴をリセットして、プロジェクタ10によるコンテンツの表示が終了するまで、上記の処理を繰り返す。
In S109, the
次に、顔動作が規定通りであるかを判定するためのアルゴリズムについて、一例を図5および図6を参照して説明する。図5は、人間の顔の特徴を示すための模式図である。図6は、本実施形態で用いるアルゴリズムによって算出される画素値を示すグラフである。 Next, an example of an algorithm for determining whether the face motion is as specified will be described with reference to FIGS. 5 and 6. FIG. 5 is a schematic diagram for illustrating the characteristics of a human face. FIG. 6 is a graph showing pixel values calculated by the algorithm used in this embodiment.
図5内の大きい円は、人間の顔を模式的に示すものである。大きい円の中にある2つの小さい円は、人間の眼を模式的に示すものである。小さい2つの円の下にある円弧は、人間の口を模式的に示すものである。 A large circle in FIG. 5 schematically shows a human face. Two small circles within the large circle schematically represent the human eye. The arc under the two small circles schematically represents the human mouth.
ここで、図5内の矩形は、顔領域を示す枠線とする。顔領域は正方形で特定され、縦および横の幅はDで示される。この場合、人間の口は顔領域として特定した矩形内の、下辺からD/3以内の距離に存在するものとして、口の開閉について検出を行う。Dは、ここでは179画素とする。なお、顔領域の特定には、従来使用されている各種のアルゴリズムを適用できる。ここでは、両目および唇を含む正方形の顔領域を特定したものとして、説明を行う。 Here, the rectangle in FIG. 5 is a frame line indicating the face area. The face area is specified by a square, and the vertical and horizontal widths are indicated by D. In this case, the opening / closing of the mouth is detected on the assumption that the human mouth exists within a distance of D / 3 from the lower side in the rectangle specified as the face region. Here, D is 179 pixels. Note that various algorithms conventionally used can be applied to the identification of the face area. Here, description will be made assuming that a square face area including both eyes and lips is specified.
図6は、検出した顔領域を示す矩形内の画素値から算出した値を示している。具体的には、顔領域の矩形内において、垂直な直線を領域内の中心に、当該領域内の下辺から1/3の位置まで引いた直線L上の画素値Pについて、次の式(1)を適用したものである。 FIG. 6 shows values calculated from pixel values in a rectangle indicating the detected face area. Specifically, for the pixel value P on the straight line L obtained by drawing a vertical straight line from the lower side in the region to the position of 1/3 within the rectangle of the face region, the following formula (1 ) Is applied.
P=R/(G+B)…(1)
なお、縦軸は画素値Pの値を示し、横軸は顔領域を示す矩形のY座標を示している。ここで、R、G、およびBは、各画素における赤色、緑色、および青色の強度を示す値である。本実施形態では、RGBの各値は0から255の範囲を取るものとして説明する。なお、ここでは、0が暗い側の画素値を、255が明るい側の画素値を示すものとする。
P = R / (G + B) (1)
The vertical axis indicates the pixel value P, and the horizontal axis indicates the rectangular Y coordinate indicating the face area. Here, R, G, and B are values indicating red, green, and blue intensities in each pixel. In the present embodiment, description will be made assuming that each value of RGB takes a range from 0 to 255. Here, 0 indicates a pixel value on the dark side, and 255 indicates a pixel value on the bright side.
図6内において、画素値Pが0.5〜1の間に水平に引かれた太い直線Mは下記の式(2)および式(1)から計算される値である。 In FIG. 6, a thick straight line M drawn horizontally between pixel values P of 0.5 to 1 is a value calculated from the following equations (2) and (1).
M=(ΣP(V1)+ΣP(V2))/(V1+V2)×1.3…(2)
すなわち、直線Lの両端から、それぞれ略3%のエリアV1(Y=0〜5)およびV2(Y=174〜179)の範囲内における画素値Pに対して、平均をとり1.3倍したものである。上記(2)式に実際の数値を当てはめると、Mの値は略0.89となる。
M = (ΣP (V 1 ) + ΣP (V 2 )) / (V 1 + V 2 ) × 1.3 (2)
In other words, from both ends of the straight line L, an average of 1.3% is obtained with respect to the pixel value P within the range of approximately 3% of the areas V 1 (Y = 0 to 5) and V 2 (Y = 174 to 179). It is doubled. When an actual numerical value is applied to the above equation (2), the value of M is approximately 0.89.
上記の計算式において、Y座標の両端からP>Mを満たすYの最小値および最大値を検索する。Y=61のとき、P=Mとなる。また、Y=122のとき、P=Mとなる。直線M上で、Y=61の点をa、Y=122の点をbとした場合、a−b間をNとする。N>179/2を満たすとき、顔画像に示される人物は口を開けていると判断する。 In the above formula, the minimum value and the maximum value of Y satisfying P> M are searched from both ends of the Y coordinate. When Y = 61, P = M. When Y = 122, P = M. On the straight line M, when the point of Y = 61 is a and the point of Y = 122 is b, it is N between a and b. When N> 179/2 is satisfied, it is determined that the person shown in the face image is open.
上記のアルゴリズム中の各数値は一例であり、異なっていても良い。また、計算式や割合なども、別のもので実現することができる。アルゴリズムとして、例えば、顔器官の輪郭抽出技術を用いても良い。 Each numerical value in the above algorithm is an example and may be different. Also, the calculation formulas and ratios can be realized by other things. For example, a facial organ contour extraction technique may be used as the algorithm.
次に、再生部20に指示するコマンドと、顔動作との対応について、図7を参照して説明する。図7の(a)および(b)は、それぞれ、コマンドおよび顔動作の対応の一例を示す表である。
Next, the correspondence between the command instructed to the
図7(a)では、「コマンド1」として、「プレゼンテーションを次に進める」コマンドを、口を閉じた状態から、0.5秒未満の間隔で口を開け、閉じる顔動作に対応付けている。また、「コマンド2」として、「プレゼンテーションを前に進める」コマンドを、口を閉じた状態から、0.5秒以上の期間だけ口を開けて、再び口を閉じ、さらに、0.5秒未満の期間だけ口を開けた後、口を閉じる顔動作と対応付けている。
In FIG. 7A, as “
また、「コマンド3」として、「音声/動画の停止」コマンドを、口を閉じた状態から、0.5秒以上の期間だけ口を開けた後、口を閉じる顔動作と対応付けている。また、「コマンド4」として、「音声/動画の再生」コマンドを、口を閉じた状態から、0.5秒以上の期間だけ口を開けた後、また口を閉じて、さらに0.5秒以上の期間だけ口を開けた後、また口を閉じる顔動作と対応付けている。
In addition, as “
上記のように、口を開いている時間を0.5秒より長いものと短いものとで区別すると、2回までの口の開閉で4通りのコマンドを規定できる。上記の例では、よく使うコマンドに対して短いアクションを割り当てている。また、口の開時間が長短入り混じっている場合には、エラーとしてコマンド扱いしないものとする。 As described above, when the mouth open time is distinguished from those longer than 0.5 seconds and those shorter than 0.5 seconds, four commands can be defined by opening and closing the mouth up to two times. In the above example, short actions are assigned to frequently used commands. Also, if the mouth open time is mixed, the command is not treated as an error.
図7(b)では、「コマンド1」として、「プレゼンテーションを次に進める」コマンドを、「顔を正面→顔を右向き→顔を正面→顔を右向き→顔を正面」という一連の顔動作に対応付けている。また、「コマンド2」として、「プレゼンテーションを前に進める」コマンドを、「顔を正面→顔を左向き→顔を正面→顔を左向き→顔を正面」という一連の顔動作と対応付けている。
In FIG. 7B, as “
また、「コマンド3」として、「音声/動画の停止」コマンドを、「顔を正面→顔を下向き→顔を正面」という一連の顔動作と対応付けている。また、「コマンド4」として、「音声/動画の再生」コマンドを、「顔を正面→顔を下向き→顔を正面→顔を下向き→顔を正面」という顔動作と対応付けている。
Further, as “
以上のように、本実施形態のプロジェクタ10は、顔画像を入力する動画入力部32と、顔画像から顔動作を認識する顔画像認識部44と、コンテンツの再生を指示するコマンドを顔動作に基づいて決定するコマンド決定部46と、前記コマンドに基づいて再生されたコンテンツを表示出力する出力部38とを備えているので、動画入力部32から画像データを入力し、画像データの中から顔画像が含まれる領域を検索し、時系列に沿った複数の顔画像を追跡することでコマンドを指示する講演者70を特定し、追跡した顔画像から再生装置を指示するコマンドを決定することで一連の顔動作を用いてコンテンツの再生操作を指示するコマンドを決定することができる。
As described above, the
上記の構成を用いることで、プロジェクタ10の動画入力部32に向かって顔動作を行うことによって、リモートコントローラなどの物理的な入力デバイスを用いることなく、ハンドフリーな状態で操作制御することができるプロジェクタを実現することができる。
By using the above configuration, by performing a face motion toward the moving
また、本実施形態のプロジェクタ10では、顔動作をコマンドと関連付けて記録するコマンド記録部56をさらに備え、コマンド決定部48は、コマンド記録部56を参照して対応するコマンドを決定するので、コマンド記録部48に顔動作とコマンドとを対応付けたテーブルを記憶し、コマンド決定部48はテーブルを参照してコマンドを決定することによって、顔動作およびコマンドを独自に設定することができる。そのため、プロジェクタ10や表示するコンテンツに応じたコマンドを設定し、表示出力を指示する講演者70ごとに顔動作を独自に設定することができる。
Further, the
また、本実施形態のプロジェクタ10では、コマンド決定部48は、第1の顔動作に基づいてコマンドの入力を受け付けるコマンド入力状態に入り、コマンド入力状態になった後に第2の顔動作が入力されることによってコマンドの決定を行うので、第1の顔動作を入力することでコマンドの入力を受け付ける状態にし、その後、第2の顔動作を入力することで、コマンドの誤認識を低減させることができる。このため、例えば、第1の顔動作として頻繁に同様の動作を行うことの少ない、特徴のある動作を設定し、第2の顔動作として簡単な動作を設定することで、簡単な動作の組み合わせによって、偶然、同様の動作を行うことによる誤認識および誤動作を低減することができるという効果を奏する。
Further, in the
また、本実施形態のプロジェクタ10では、第1の顔動作は、顔を所定の方向に向けて静止する動作であり、第2の顔動作は、顔の少なくとも一部を動かす動作であるので、顔を所定の方向に向けて静止することでコマンドの入力を受け付ける状態にし、その後、顔の一部を動かすことによってコマンドの種類を確定することで、コマンド入力の誤認識を低減させることができる。なお、上記の所定の方向には、プロジェクタ10に備えられたカメラの方向があげられる。
Further, in the
また、本実施形態のプロジェクタ10では、コマンド入力状態に入ったことを講演者70に通知する通知部36をさらに備え、コマンド決定部48は、コマンド入力状態に入った場合に、通知部36に通知させるので、入力状態通知手段を用いてコマンド入力状態にはいったことを講演者70に通知し、講演者70はコマンド入力状態であることを確認し、その後、第2の顔動作を入力することができる。これによって、講演者70はコマンド入力状態であることを把握し、確認した上で第2のコマンドの入力を確実に行うことができるという効果を奏する。
The
また、本実施形態のプロジェクタ10では、顔画像認識部44は、人物を識別するために識別画像54に登録された識別情報と、顔画像から抽出された特徴情報とが一致するかを判断し、コマンド決定部48は、識別情報と一致する抽出情報が抽出される顔画像から認識された顔動作に基づいてコマンドを決定するので、識別情報に基づいて顔画像を識別した上でコマンドを決定するため、指示を出している講演者70を特定して、特定した講演者70からの指示のみを受け付けるようにすることができる。これによって、複数の人物の顔画像が画像データ内に存在する場合でも、講演者70を識別してコマンドの決定を行うことができるという効果を奏する。
In the
また、本実施形態のプロジェクタ10では、音声を入力する音声入力部34と、入力された音声を認識する音声認識部46とをさらに備え、コマンド認識部48は、顔動作に加え、認識された音声に基づいてコマンドを決定するので、顔画像による認識に加えて、音声認識手段による音声の認識結果に基づいてコマンドを決定するため、顔画像によるコマンドの認識に失敗した場合でも、音声によるコマンド入力によってコマンドを訂正することができる。
The
最後に、プロジェクタ10の各ブロック、特に処理部40の顔画像認識部44、音声認識部46、および、コマンド決定部48は、ハードウェアロジックによって構成してもよいし、次のようにCPUを用いてソフトウェアによって実現してもよい。
Finally, each block of the
すなわち、処理部40は、各機能を実現する制御プログラムの命令を実行するCPU(central processing unit)、上記プログラムを格納したROM(read only memory)、上記プログラムを展開するRAM(random access memory)、上記プログラムおよび各種データを格納するメモリ等の記憶装置(記録媒体)などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアである再生装置1の制御プログラムのプログラムコード(実行形式プログラム、中間コードプログラム、ソースプログラム)をコンピュータで読み取り可能に記録した記録媒体を、上記プロジェクタ10に供給し、そのコンピュータ(またはCPUやMPU)が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。
That is, the
上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ系、フロッピー(登録商標)ディスク/ハードディスク等の磁気ディスクやCD−ROM/MO/MD/DVD/CD−R等の光ディスクを含むディスク系、ICカード(メモリカードを含む)/光カード等のカード系、あるいはマスクROM/EPROM/EEPROM/フラッシュROM等の半導体メモリ系などを用いることができる。 Examples of the recording medium include a tape system such as a magnetic tape and a cassette tape, a magnetic disk such as a floppy (registered trademark) disk / hard disk, and an optical disk such as a CD-ROM / MO / MD / DVD / CD-R. Card system such as IC card, IC card (including memory card) / optical card, or semiconductor memory system such as mask ROM / EPROM / EEPROM / flash ROM.
また、プロジェクタ10を通信ネットワークと接続可能に構成し、通信ネットワークを介して上記プログラムコードを供給してもよい。この通信ネットワークとしては、特に限定されず、例えば、インターネット、イントラネット、エキストラネット、LAN、ISDN、VAN、CATV通信網、仮想専用網(Virtual Private Network)、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、通信ネットワークを構成する伝送媒体としては、特に限定されず、例えば、IEEE1394、USB、電力線搬送、ケーブルTV回線、電話線、ADSL回線等の有線でも、IrDAやリモコンのような赤外線、Bluetooth(登録商標)、802.11無線、HDR、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。
Further, the
以上のように、本発明に係るプロジェクタ10は、一連の顔動作を用いてコンテンツを表示させる再生操作を指示するコマンドを決定することが出来るので、プレゼンテーションシステムなどの任意の表示装置に適用できる。
As described above, the
10 プロジェクタ(表示装置)
20 再生部(再生手段)
30 入出力部
32 動画入力部(画像入力装置)
34 音声入力部(音声入力装置)
36 通知部(入力通知手段)
38 出力部(映像出力手段)
40 処理部
42 時系列画像記録部
44 顔画像認識部(顔画像認識手段)
46 音声認識部(音声認識手段)
48 コマンド決定部(コマンド決定手段)
50 記憶部
52 時系列画像記憶部
54 識別画像記憶部
56 コマンド記憶部(コマンド記憶装置)
58 コンテンツ記憶部(コンテンツ記憶装置)
10 Projector (display device)
20 Reproduction unit (reproduction means)
30 Input /
34 Voice input unit (voice input device)
36 Notification section (input notification means)
38 Output unit (video output means)
40
46 Voice recognition unit (voice recognition means)
48 Command decision part (command decision means)
50
58 Content storage unit (content storage device)
Claims (9)
前記顔画像から顔動作を認識する顔画像認識手段と、
コンテンツの再生を指示するコマンドを前記顔動作に基づいて決定するコマンド決定手段と、
前記コマンドに基づいて再生されたコンテンツを表示出力する出力部とを備え、
前記顔画像認識手段は、人物を識別するために登録された識別情報と、前記顔画像から抽出された特徴情報とが一致するかを認識し、
前記コマンド決定手段は、前記識別情報と一致する前記特徴情報が抽出される前記顔画像から認識された顔動作に基づいてコマンドを決定するものであり、
さらに、前記コマンド決定手段は、第1の顔動作が入力されたとき、コマンドの入力を受け付けるコマンド入力状態となり、前記コマンド入力状態となった後に認識された第2の顔動作に基づいてコマンドの決定を行い、
前記第1の顔動作は、顔が所定の方向に向いて静止する動作であり、前記第2の顔動作は顔の少なくとも一部が動く動作であることを特徴とする表示装置。 An image input unit for inputting a face image;
Facial image recognition means for recognizing facial motion from the facial image;
Command determining means for determining a command for instructing reproduction of content based on the face motion;
An output unit that displays and outputs the content reproduced based on the command,
The face image recognition means recognizes whether the identification information registered for identifying a person matches the feature information extracted from the face image;
The command determining means determines a command based on a facial motion recognized from the facial image from which the feature information that matches the identification information is extracted ,
Further, when the first face motion is inputted, the command determining means enters a command input state for accepting command input, and based on the second face motion recognized after the command input state is entered. Make a decision,
The display device according to claim 1, wherein the first face motion is a motion in which the face is stationary in a predetermined direction, and the second face motion is a motion in which at least a part of the face moves .
前記コマンド決定手段は、前記コマンド記憶部を参照して、前記顔動作に対応する前記コマンドを決定することを特徴とする請求項1に記載の表示装置。 A command storage unit that stores the face motion in association with the command;
The display device according to claim 1, wherein the command determination unit determines the command corresponding to the face motion with reference to the command storage unit.
前記コマンド決定手段は、前記コマンド入力状態となった場合に、前記入力状態通知手段に通知させることを特徴とする請求項1または2に記載の表示装置。 It further comprises an input state notification means for notifying the user that the command input state has been entered,
The command determination means, wherein when a command input state, the display device according to claim 1 or 2, characterized in that to notify the input state notification means.
入力された前記音声を認識する音声認識手段とをさらに備え、
前記コマンド決定手段は、前記顔動作および認識された前記音声に基づいて前記コマンドを決定することを特徴とする請求項1から3のいずれか1項に記載の表示装置。 A voice input unit for inputting voice;
Voice recognition means for recognizing the input voice,
The command determination means, the face operation and recognized the display device according to any one of claims 1 3, characterized by determining the command based on the voice.
再生する前記コンテンツを記憶するコンテンツ記憶部と、
前記表示装置からのコマンドに基づいて前記コンテンツ記憶部からコンテンツを再生し、前記表示装置の出力部に入力する再生部とを備えることを特徴とするプロジェクタ。 A display device according to any one of claims 1 to 4 ,
A content storage unit for storing the content to be reproduced;
A projector comprising: a reproduction unit that reproduces content from the content storage unit based on a command from the display device and inputs the content to an output unit of the display device.
顔画像認識手段が、前記顔画像から顔動作を認識するステップと、
コマンド決定手段が、前記コマンドを前記顔動作に基づいて決定するステップとを含み、
前記顔画像認識手段が行うステップでは、前記顔画像認識手段は、人物を識別するために登録された識別情報と、前記顔画像から抽出された特徴情報とが一致するかを認識し、
前記コマンド決定手段が行うステップでは、前記コマンド決定手段は、前記識別情報と一致する前記特徴情報が抽出される前記顔画像から認識された顔動作に基づいてコマンドを決定するものであり、
さらに、前記コマンド決定手段が行うステップでは、第1の顔動作が入力されたとき、コマンドの入力を受け付けるコマンド入力状態となり、前記コマンド入力状態となった後に認識された第2の顔動作に基づいてコマンドの決定を行い、
前記第1の顔動作は、顔が所定の方向に向いて静止する動作であり、前記第2の顔動作は顔の少なくとも一部が動く動作であることを特徴とする表示装置における表示方法。 A display method in a display device comprising: an image input unit for inputting a face image; and an output unit for displaying and outputting content reproduced based on a command for instructing reproduction of the content,
A step of recognizing a face motion from the face image;
Command determining means including determining the command based on the facial motion;
In the step performed by the face image recognition means, the face image recognition means recognizes whether the identification information registered for identifying a person matches the feature information extracted from the face image;
In the step performed by the command determining means, the command determining means determines a command based on a facial motion recognized from the face image from which the feature information that matches the identification information is extracted ,
Further, in the step performed by the command determining means, when a first facial motion is input, a command input state for accepting command input is entered, and based on the second facial motion recognized after entering the command input state. To determine the command,
The display method of a display device, wherein the first face motion is a motion in which the face is stationary in a predetermined direction, and the second face motion is a motion in which at least a part of the face moves .
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006071862A JP4984583B2 (en) | 2006-03-15 | 2006-03-15 | Display device, projector, display system, display method, display program, and recording medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006071862A JP4984583B2 (en) | 2006-03-15 | 2006-03-15 | Display device, projector, display system, display method, display program, and recording medium |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2007249595A JP2007249595A (en) | 2007-09-27 |
JP4984583B2 true JP4984583B2 (en) | 2012-07-25 |
Family
ID=38593817
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006071862A Active JP4984583B2 (en) | 2006-03-15 | 2006-03-15 | Display device, projector, display system, display method, display program, and recording medium |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4984583B2 (en) |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4831632B2 (en) * | 2008-09-16 | 2011-12-07 | 国立大学法人 鹿児島大学 | Image processing apparatus, image processing method, program, and storage medium |
JP5061074B2 (en) * | 2008-09-26 | 2012-10-31 | 株式会社デンソーアイティーラボラトリ | In-vehicle device control apparatus and in-vehicle device control method |
JP5360406B2 (en) * | 2009-10-29 | 2013-12-04 | 株式会社ニコン | Image display device |
JP2011209928A (en) * | 2010-03-29 | 2011-10-20 | Ntt Docomo Inc | Mobile terminal |
JP5323770B2 (en) * | 2010-06-30 | 2013-10-23 | 日本放送協会 | User instruction acquisition device, user instruction acquisition program, and television receiver |
JP5783441B2 (en) * | 2011-03-09 | 2015-09-24 | 日本電気株式会社 | Input device and input method |
CN103065379B (en) * | 2012-10-25 | 2015-11-04 | 北京腾逸科技发展有限公司 | Intelligent video passenger flow analysing method and system |
TW201501044A (en) * | 2013-06-24 | 2015-01-01 | Utechzone Co Ltd | Apparatus, method and computer readable recording medium of generating signal by detecting facial action |
JP6344032B2 (en) * | 2013-09-26 | 2018-06-20 | 富士通株式会社 | Gesture input device, gesture input method, and gesture input program |
KR101819589B1 (en) * | 2016-06-20 | 2018-01-17 | 연세대학교 산학협력단 | Ar system using mobile projection technique and operating method thereof |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07191796A (en) * | 1993-12-27 | 1995-07-28 | Canon Inc | Sight line input system |
JP3048927B2 (en) * | 1996-07-29 | 2000-06-05 | 北海道日本電気ソフトウェア株式会社 | Pointing device for large screen presentation system |
JP2000010722A (en) * | 1998-06-18 | 2000-01-14 | Mr System Kenkyusho:Kk | Sight line/user interface device and its interface method, computer device and its control method, and program storage medium |
JP5048890B2 (en) * | 1998-10-13 | 2012-10-17 | ソニー エレクトロニクス インク | Motion detection interface |
JP2001128134A (en) * | 1999-11-01 | 2001-05-11 | Atr Media Integration & Communications Res Lab | Presentation device |
JP2001216069A (en) * | 2000-02-01 | 2001-08-10 | Toshiba Corp | Operation inputting device and direction detecting method |
JP2002023716A (en) * | 2000-07-05 | 2002-01-25 | Pfu Ltd | Presentation system and recording medium |
JP4275304B2 (en) * | 2000-11-09 | 2009-06-10 | シャープ株式会社 | Interface device and recording medium recording interface processing program |
JP2002251235A (en) * | 2001-02-23 | 2002-09-06 | Fujitsu Ltd | User interface system |
JP2002269544A (en) * | 2001-03-09 | 2002-09-20 | Sensor:Kk | Character input device using shape recognition of eye movement and mouth |
JP4025516B2 (en) * | 2001-04-25 | 2007-12-19 | 日本電信電話株式会社 | Mouse replacement method, mouse replacement program, and recording medium recording the program |
JP3673834B2 (en) * | 2003-08-18 | 2005-07-20 | 国立大学法人山口大学 | Gaze input communication method using eye movement |
US7705877B2 (en) * | 2004-01-28 | 2010-04-27 | Hewlett-Packard Development Company, L.P. | Method and system for display of facial features on nonplanar surfaces |
JP4206053B2 (en) * | 2004-03-31 | 2009-01-07 | 株式会社国際電気通信基礎技術研究所 | User interface device and user interface program |
-
2006
- 2006-03-15 JP JP2006071862A patent/JP4984583B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2007249595A (en) | 2007-09-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4984583B2 (en) | Display device, projector, display system, display method, display program, and recording medium | |
US11119577B2 (en) | Method of controlling an operation of a camera apparatus and a camera apparatus | |
US8199208B2 (en) | Operation input apparatus, operation input method, and computer readable medium for determining a priority between detected images | |
JP4618166B2 (en) | Image processing apparatus, image processing method, and program | |
US10083710B2 (en) | Voice control system, voice control method, and computer readable medium | |
US8482651B2 (en) | Image processing device and image processing method | |
US7817914B2 (en) | Camera configurable for autonomous operation | |
JP4384240B2 (en) | Image processing apparatus, image processing method, and image processing program | |
US7676145B2 (en) | Camera configurable for autonomous self-learning operation | |
JP6374986B2 (en) | Face recognition method, apparatus and terminal | |
CN111480156A (en) | System and method for selectively storing audiovisual content using deep learning | |
JP4877762B2 (en) | Facial expression guidance device, facial expression guidance method, and facial expression guidance system | |
KR101537948B1 (en) | Photographing method and apparatus using pose estimation of face | |
US9014475B2 (en) | Image pickup apparatus and photographing method of image pickup apparatus | |
JP2008219449A (en) | Imaging device and control method thereof | |
KR102209070B1 (en) | Apparatus and method for providing thumbnail image of moving picture | |
US11819996B2 (en) | Expression feedback method and smart robot | |
CN109302631A (en) | Video clip display methods and device | |
US10389947B2 (en) | Omnidirectional camera display image changing system, omnidirectional camera display image changing method, and program | |
JP2001028046A (en) | Image recognizing device | |
JP4945617B2 (en) | Image processing apparatus, image processing method, and image processing program | |
JP2008219451A (en) | Imaging device and control method thereof | |
JP2020115679A (en) | Object detection device, detection control method, and program | |
KR20190142290A (en) | Method for control a camera apparatus and the camera apparatus | |
KR20070072252A (en) | Mobile phone with eyeball sensing function and display processing method there of |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20090114 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20101203 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20101207 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110127 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110614 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110804 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20111101 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120117 |
|
A911 | Transfer of reconsideration by examiner before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20120124 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120403 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120416 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4984583 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150511 Year of fee payment: 3 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: R3D02 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: R3D04 |