WO2011027397A1 - ユーザーインターフェース装置 - Google Patents

ユーザーインターフェース装置 Download PDF

Info

Publication number
WO2011027397A1
WO2011027397A1 PCT/JP2009/004364 JP2009004364W WO2011027397A1 WO 2011027397 A1 WO2011027397 A1 WO 2011027397A1 JP 2009004364 W JP2009004364 W JP 2009004364W WO 2011027397 A1 WO2011027397 A1 WO 2011027397A1
Authority
WO
WIPO (PCT)
Prior art keywords
unit
recognition
target
shape
image
Prior art date
Application number
PCT/JP2009/004364
Other languages
English (en)
French (fr)
Inventor
池司
岡田隆三
浅野三恵子
登内洋次郎
大平英貴
Original Assignee
株式会社 東芝
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社 東芝 filed Critical 株式会社 東芝
Priority to PCT/JP2009/004364 priority Critical patent/WO2011027397A1/ja
Publication of WO2011027397A1 publication Critical patent/WO2011027397A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures

Definitions

  • the present invention relates to a user interface device using a gesture.
  • an interface device for controlling devices such as a television and a computer is generally operated using an instruction device such as a remote controller, a keyboard, or a mouse.
  • an instruction device such as a remote controller, a keyboard, or a mouse.
  • these interface devices are not always intuitive and easy to understand because operations are performed via the pointing device. Further, if the pointing device is lost, the interface device cannot be used.
  • UI User Interface
  • an object of the present invention is to suppress the occurrence of erroneous recognition of an object.
  • One aspect of the present invention relates to a UI, and includes a target object identifying unit that identifies whether a target object has a predetermined shape from a plurality of images, and when the target object is identified as having a predetermined shape, the target object In response to an instruction to start recognition from the start determination unit, a recognition unit that recognizes the movement of the object, and when the movement of the object is no longer recognized, An end determination unit that instructs the recognition unit to end recognition of the object.
  • FIG. 1 is a block diagram showing a configuration of a UI device according to a first embodiment.
  • the figure for demonstrating 1st Embodiment. The figure for demonstrating 1st Embodiment.
  • the figure for demonstrating 1st Embodiment. The figure which shows the flowchart showing operation
  • FIG. 1 is a block diagram of a UI device 10 according to the first embodiment of the present invention.
  • the UI device 10 includes a start determination unit 30 that determines whether or not a target object (for example, an image of a hand) to be recognized exists in a plurality of images captured by the imaging unit 20, and a target gesture A recognition unit 40 that recognizes whether or not the object is moving (hereinafter, gesture recognition), and an end determination unit that instructs the recognition unit 40 to end recognition of the gesture recognition for the object when the movement of the object is no longer recognized. 50 and a control unit 60 that controls a control target unit (not shown) based on the movement of the object.
  • the control target unit refers to an object controlled by the control unit 60.
  • the control target unit may be configured with hardware such as a control circuit of a television or an air conditioner, for example. Further, for example, it may be configured by software such as a mouse cursor of basic software (OS) operating on a computer or application software.
  • OS basic software
  • the imaging unit 20 includes an imaging device such as an image sensor, and sends the captured time-series images to the UI device 10.
  • the start determination unit 30 determines whether or not the target object exists by detecting the feature amount of the target object from a plurality of time-series images sent from the imaging unit 20.
  • the start determination unit 30 instructs the start of recognition of an object when the object exists in a plurality of images sent from the imaging unit 20.
  • the object for example, a part of the user's body (for example, the user's hand) can be used.
  • the start determination unit 30 includes a region setting unit 31, at least one object identification unit 32, and a start detection unit 33.
  • the area setting unit 31 sets an identification area in the image sent from the imaging unit 20, cuts out the set identification area as an image, and sends the image to the object identification unit 32. Specifically, as shown in FIG. 3, a window frame 70 corresponding to an identification region of an arbitrary shape of n types (n is a positive integer) is prepared for an image sent from the imaging unit 20. Then, each of the prepared window frames is scanned over the entire screen to cut out the image.
  • the object identifying unit 32 identifies whether the cut-out image of the window frame 70 sent from the region setting unit 31 is an image of the object. For example, when detecting a hand of a predetermined shape, a large number of luminance patterns that are likely to be held by the hand of the detection target shape are selected and cut out in advance by learning using sample images of a large number of hands as the detection target shape. The user's hand is identified by evaluating each luminance pattern selected in the image. In addition to this, for example, a method of generating a contour image from a cutout image and evaluating the similarity to the model image, a method of evaluating the pattern similarity of the colors in the cutout image, and the like can be used.
  • the luminance pattern indicates a combination of two regions having a high possibility of satisfying a predetermined condition when a difference in average luminance value in the region is a hand of a detection target shape.
  • each of the plurality of object identification units 32 holds the hand and opens the hand. Status can be identified.
  • the start detection unit 33 instructs the recognition unit 40 to recognize the object when the object identification unit 32 identifies that the object is present. If the presence of the object cannot be recognized, the recognition unit 40 is not instructed to recognize the object.
  • the start detection unit 33 may notify the recognition unit 40 and the control unit 60 of the type of the detected object.
  • the recognition unit 40 recognizes the movement of the object in response to the instruction to start recognition from the start determination unit 30 (gesture recognition).
  • the recognition unit 40 includes a recognition control unit 41, one or more feature point recognition units 42, a shape recognition unit 43, and a locus recognition unit 44.
  • the recognition unit 40 includes both the shape recognition unit 43 and the trajectory recognition unit 44 as constituent elements. Even when these are not included as constituent elements, the recognition unit 40 performs control to give a predetermined command to the control target unit. Is possible.
  • the recognition control unit 41 holds a recognition flag indicating whether the object is being recognized, and updates the state of the recognition flag based on notifications from the start determination unit 30 and the end determination unit 50.
  • the recognition flag is set, the feature point recognition unit 42 is instructed to recognize the target object, and the image sent from the imaging unit 20 is sent.
  • the feature point recognizing unit 42 detects an area where the object exists from the image sent from the recognition control unit 41 as the object area. When the object is detected, the position of the feature point of the object present in the image sent from the recognition control unit 41 is output to the shape recognition unit 43 or the trajectory recognition unit 44 and the image is also detected by the shape recognition unit 43. Send to.
  • a motion vector is calculated from a change in luminance value for each partial region between the time-series images from a series of time-series images sent from the recognition control unit 41, and the motion region It is possible to use a method of determining whether or not the hand is a hand from the area and the operation speed, and setting the region as an object region when it is determined that the hand is a hand. In this way, the user can operate without being aware of the hand shape, and the user's feeling of fatigue during the operation can be reduced.
  • an image at the start of recognition of a hand that is a recognition target is stored as a template image, and each time-series image sent from the imaging unit 20 is stored in the feature point recognition unit 42. It is also possible to use a method that limits the shape of the detectable hand to some extent, such as a method of detecting a region most similar to the placed template image.
  • the feature point recognition unit 42 includes a plurality of feature point recognition units 42, and different feature point recognition units 42 are provided depending on the type of the detected object.
  • the precision of recognition can be improved. For example, for a recognition target with a relatively small wrist swing width and little shape change on the image, the object is recognized by detecting a region similar to the template image, and the wrist swing width is large and the shape is also displayed on the image.
  • the object is recognized by determining whether or not the hand is a hand based on the area of the motion region where the hand moves in the image and the motion speed.
  • the shape recognizing unit 43 recognizes the shape of the image of the object area obtained by the feature point recognizing unit 42 while recognizing the movement of the object, and determines the type of the object region.
  • the control unit 60 is notified.
  • a shape recognition method for example, a method is provided in which an object identification unit 33 constituting the start determination unit 30 is provided for each shape of an object, and an image of the object region obtained by the feature point recognition unit 42 is identified. Can be used.
  • the trajectory recognition unit 44 recognizes the trajectory drawn by the shape of the object by the time-series change of the position of the feature point of the target obtained by the feature point recognition unit 42, and when the obtained trajectory becomes a predetermined shape
  • the control unit 60 is notified that the locus of the object has been detected along with the type of the locus.
  • the control unit 60 controls the control target based on the shape of the target notified from the recognition unit 40, the type of the trajectory that the target has moved, and the position of the feature point of the target existing in the image captured by the image capturing unit 20.
  • the device (not shown) to be used is controlled. For example, if the device is a TV and the user's hand is the target, change to the next channel and the previous channel for the trajectory that the user's hand moves to the right or left by a certain amount, and For the trajectory corresponding to the handwriting, the channel number corresponding to the number is changed.
  • volume adjustment is started and the hand position is stored as the initial position.
  • the angle of the arc drawn after the start of volume adjustment is calculated by comparing the position of the hand detected in the next image sent and the position of the hand stored as the initial position. Control the size of. Furthermore, while the electronic program guide is being displayed, a cursor for selecting a rectangular area corresponding to the program is displayed, and the cursor is moved according to the position of the hand. Control is performed such that the detailed information of the program corresponding to the rectangular area being displayed is displayed.
  • the control content can be changed depending on the shape of the object at the start of the gesture. For example, if the user's hand moves a certain amount in the right or left direction, the channel is changed if the hand shape at the start of the gesture is a palm, and broadcast if the hand shape at the start of the gesture is a fist. It is possible to change the type of wave.
  • the end determination unit 50 determines whether or not the object gesture has ended from the image sent from the imaging unit 20.
  • the end determination unit 50 includes an operation detection unit 51 and an end detection unit 52, as shown in FIG.
  • the motion detection unit 51 detects the motion of the target object from the image sent from the imaging unit 20 and outputs the detection result to the end detection unit 52.
  • the motion of the user's hand that is the object is detected from a series of time-series images sent from the imaging unit 20 using a difference image between the time-series images. It is determined whether or not.
  • a difference in luminance value from the corresponding pixel in the image at the immediately previous time is calculated.
  • the difference in luminance value exceeds a predetermined first threshold value
  • the pixel in that state is processed as a motion detection pixel.
  • the end detection unit 52 is notified that an operation has been detected.
  • the first and second threshold values do not need to be fixed values.
  • the first and second threshold values are dynamically changed according to the size of the detected hand, the size of the white noise included in the time-series image, and the like. May be.
  • the motion detection can be performed on the entire image sent from the imaging unit 20, or can be performed only on the periphery of the object.
  • the end detection unit 52 determines whether or not the operation of the object has ended based on the output of the motion detection unit 51, and when determining that the operation has ended, instructs the recognition unit 40 not to recognize. If it is determined that the operation has not ended, the recognition unit 40 is not instructed to update the recognition state.
  • the determination as to whether or not the operation has been completed can be performed by, for example, determining that the operation has been completed when no operation has been detected in a predetermined number of input images.
  • FIG. 6 is a flowchart illustrating the operation of the UI device 10. The description will be given below with the object as the user's hand.
  • step S10 the imaging unit 20 captures an image including the user's hand and sends it to the UI device 10.
  • step S15 the start determination unit 30 and the end determination unit 50 check the recognition flag of the recognition unit 40. If the recognition flag is set (“YES” in step S15), the process proceeds to step S20. If the recognition flag is not set (“NO” in step S15), the process proceeds to step S21.
  • step S ⁇ b> 20 the end determination unit 50 determines whether or not the gesture motion is no longer recognized from the time-series image captured by the imaging unit 20, and if the gesture motion is no longer recognized, the recognition unit 40. Is instructed not to recognize. Receiving this, the recognition unit 40 clears the recognition flag.
  • step S ⁇ b> 21 the start determination unit 30 determines whether or not the user has started the gesture from the time-series image captured by the imaging unit 20. If the start determination unit 30 determines that the user has started, the recognition unit 40 recognizes the gesture. Instruct them to In response to this, the recognition unit 40 sets a recognition flag.
  • step S25 the recognition unit 40 checks the recognition flag. If the recognition flag is set (“YES” in step S25), the process proceeds to step S30. If the recognition flag is not set (“NO” in step S25), the recognition process is terminated.
  • step S ⁇ b> 30 the recognition unit 40 detects the target, outputs the position of the feature point of the target existing in the image captured by the imaging unit 20 to the control unit 60, and the target is predetermined.
  • the shape becomes a shape or when a predetermined locus is formed by a time-series change in the position of the feature point of the object, this is notified to the control unit 60.
  • step S40 the control unit 60 controls a device (not shown) to be controlled based on the result of gesture recognition notified from the recognition unit.
  • the above embodiment is an example for carrying out the present invention, and the present invention is not limited to the above embodiment.
  • the above embodiment can be variously modified without departing from the gist of the present invention.
  • the UI device 10 may be configured by hardware or software.
  • various programs executed by the UI device 10 are stored on a computer connected to a network such as the Internet and are provided by being downloaded via the network. You may do it.
  • the program is recorded in a computer-readable recording medium as a file in an installable or executable format, and configured as a computer-readable recording medium having a program including a plurality of instructions executable by the computer May be.

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

　ＵＩ装置１０は、複数の画像から対象物が所定の形状であるかどうかを識別する対象物識別部を備え、所定の形状であると識別された場合に、前記対象物の認識開始を指示する開始判定部３０と、開始判定部３０からの認識開始の指示に応じて、対象物の動きを認識する認識部４０と、前記対象物の動きが認識されなくなった場合、対象物の認識終了を認識部４０に指示する終了判定部５０と、を備える。

Description

ユーザーインターフェース装置
　本発明は、ジェスチャを用いたユーザーインターフェース装置に関する。
　現在、テレビやコンピュータ等の機器を制御するためのインターフェース装置としては、リモコンやキーボード、マウスなどの指示装置を用いて操作を行うものが一般的である。しかしながら、これらのインターフェース装置では、指示装置を介して操作を行うために必ずしも直感的で分かりやすいものとはなっていない。また、指示装置を紛失してしまうとインターフェース装置を利用できなくなってしまう。
　そこで、上記課題を解決するためのインターフェース装置の一つとして、ユーザーが手を動かしたり手の形状を変化させたりすることにより、指示装置を用いることなく機器の制御を可能とする、ジェスチャを用いたユーザーインターフェース（以下、ＵＩ（Ｕｓｅｒ　Ｉｎｔｅｒｆａｃｅ）と称する）装置に関する技術が提案されている。
　例えば、特開２００２－８３３０２号公報では、ディスプレイに内蔵されたＣＣＤカメラによって撮影した時系列画像内の全体、もしくは所定の部分領域においてユーザーの手の動きを検出してその時系列変化から軌跡を認識し、軌跡の種類に応じて制御対象機器を制御する情報処理装置が開示されている。
特開２００２－８３３０２号公報
　しかしながら、特開２００２－８３３０２号公報に開示された発明では、手の動きだけから軌跡を認識するため、検出された手の動きが、例えば、ユーザーが髪をかけあげる動作など、制御対象機器に対する制御を意図しない手の動きであってもその軌跡を認識してしまう恐れがある。
　そこで、本発明は、対象物の誤認識の発生を抑えることを目的とする。
　本発明の一側面は、ＵＩに係り、複数の画像から対象物が所定の形状であるかどうかを識別する対象物識別部を備え、所定の形状であると識別された場合に、前記対象物の認識開始を指示する開始判定部と、前記開始判定部からの認識開始の指示に応じて、前記対象物の動きを認識する認識部と、前記対象物の動きが認識されなくなった場合、前記対象物の認識終了を前記認識部に指示する終了判定部と、を備える。
　本発明によれば、対象物の誤認識の発生を抑えることができる。
第１の実施形態に係るＵＩ装置の構成を示すブロック図。 第１の実施形態を説明するための図。 第１の実施形態を説明するための図。 第１の実施形態を説明するための図。 第１の実施形態を説明するための図。 第１の実施形態の動作を表すフローチャートを示す図。
　以下、図面を参照しつつ本発明の実施形態について説明する。また、以下説明する図面において、同一の符号は、同様のものを示しており、重複した説明は省略する。
（第１の実施形態）
　図１は、本発明の第１の実施形態に係るＵＩ装置１０のブロック図である。
　ＵＩ装置１０は、撮像部２０で撮像された複数の画像中に認識すべき対象物（たとえば、手の画像）が存在するか否かを判定する開始判定部３０と、対象物のジェスチャがどのような動きをしているかを認識する（以下、ジェスチャ認識）認識部４０と、対象物の動きが認識されなくなった場合、対象物に対するジェスチャ認識の認識終了を認識部４０に指示する終了判定部５０と、対象物の動きに基づいて制御対象部（図示せず）を制御する制御部６０とを備える。ここで、制御対象部は、制御部６０によって制御される対象物を指す。制御対象部は、例えば、テレビやエアコンの制御回路など、ハードウェアで構成されてもよい。また、例えば、コンピュータ上で動作する基本ソフトウェア（ＯＳ)のマウスカーソルや、応用ソフトウェアといったソフトウェアで構成されてもよい。
　撮像部２０は、イメージセンサ等の撮像デバイスを備え、撮像した時系列画像をＵＩ装置１０へ送る。
　開始判定部３０は、撮像部２０から送られた時系列の複数の画像から対象物の特徴量を検出して対象物が存在するか否かを判定する。開始判定部３０は、撮像部２０から送られた複数の画像中に対象物が存在する場合、対象物の認識開始を指示する。対象物としては、例えば、ユーザーの体の部位（例えば、ユーザの手など）を用いることができる。開始判定部３０は、図２に示すように、領域設定部３１と、少なくとも１つの対象物識別部３２と、開始検出部３３とを備える。
　領域設定部３１は、撮像部２０から送られた画像に識別領域を設定し、設定した識別領域を画像として切り出して対象物識別部３２へ送る。具体的には、図３に示すように、撮像部２０から送られた画像に対して、ｎ種類（ｎは正の整数）の任意の形状の識別領域に相当する窓枠７０を用意して、用意した窓枠のそれぞれを画面全体に渡って走査して、画像を切り出していく。
　対象物識別部３２は、領域設定部３１から送られた窓枠７０の切り出し画像が対象物の画像であるか否かを識別する。例えば、所定の形状の手を検出する場合、検出対象形状である多数の手のサンプル画像を用いた学習により、事前に検出対象形状の手が有する可能性の高い輝度パターンを多数選択し、切り出し画像中で選択された各輝度パターンの評価を行うことにより、ユーザーの手を識別する。これ以外にも、例えば、切り出し画像から輪郭画像を生成して、模範画像との類似性を評価する方法や、切り出し画像中の色彩のパターン類似性を評価する方法などを用いることができる。輝度パターンとは、領域内の輝度平均値の差が、切り出し画像が検出対象形状の手である場合に、所定の条件を満たす可能性の高い２個の領域の組み合わせを示す。
　また、複数の対象物識別部３２を用いることにより、複数の対象物のパターンを識別してもよい。例えば、ユーザーが手を握っている状態と、手を開いている状態の２つの状態を識別しようとする場合、複数の対象物識別部３２のそれぞれで、手を握っている状態と手を開いている状態を識別することができる。
　開始検出部３３は、対象物識別部３２で対象物が存在すると識別した場合、認識部４０に対象物を認識するように指示する。対象物の存在を認識することができない場合は、認識部４０に対象物を認識するように指示しない。なお、開始判定部３０が、複数個の対象物識別部３２によって構成される場合、開始検出部３３は検出した対象物の種類を認識部４０及び制御部６０に通知してもよい。
　認識部４０は、開始判定部３０からの認識開始の指示に応じて、対象物の動きを認識する（ジェスチャ認識）。対象物を認識中の場合、撮像部２０から送られた画像に基づいて、対象物を認識するとともに、対象物が描く軌跡を認識する。認識部４０は、図４に示すように、認識制御部４１と、１つ以上の特徴点認識部４２と、形状認識部４３と、軌跡認識部４４とを備える。また、認識部４０は形状認識部４３と軌跡認識部４４の双方を構成要素として含んでいるが、これらを構成要素として含まない場合も制御対象部に対して所定の命令を与えるような制御を行うことが可能である。
　認識制御部４１は、対象物が認識中かどうかを示す認識フラグを保持し、開始判定部３０及び終了判定部５０からの通知に基づき認識フラグの状態を更新する。認識フラグが立っている場合、対象物を認識するように、特徴点認識部４２に指示し、さらに、撮像部２０から送られてきた画像を送る。
　特徴点認識部４２は、認識制御部４１から送られた画像から対象物の存在する領域を対象物領域として検出する。対象物が検出された場合は、認識制御部４１から送られた画像中に存在する対象物の特徴点の位置を形状認識部４３又は軌跡認識部４４へ出力すると共に、画像を形状認識部４３へ送る。例えば、ユーザーの手の動きを認識する場合、認識制御部４１から送られた一連の時系列画像から、その時系列の画像間の部分領域ごとに輝度値の変化から動きベクトルを算出し、動き領域の面積及び動作速度から手であるかどうかを判断し、手であると判断した場合にその領域を対象物領域とする方法を用いることができる。このようにすることによって、ユーザーは手形状を意識せず操作をすることが可能となり、操作時のユーザーの疲労感を低減することができる。
　他にも例えば、認識対象である手の認識開始時の画像をテンプレート画像として保存しておき、撮像部２０から送られてきた時系列画像の各画像において、特徴点認識部４２に保存しておいたテンプレート画像と最も類似した領域を検出する方法など、検出可能な手の形状にある程度制限のある方法を用いることもできる。
　また、検出した対象物の種類を通知するように開始検出部３３を構成されている場合、特徴点認識部４２を複数個備え、検出した対象物の種類に応じて異なる特徴点認識部４２を用いることで、対象物の種類に応じて最適な認識処理を行えるため、認識の精度を高めることできる。例えば、手首のふり幅が比較的小さく画像上での形状変化の少ない認識対象については、テンプレート画像と類似した領域を検出することにより対象物を認識し、手首のふり幅が大きく画像上でも形状変化が大きい認識対象については、画像中を手が動く動き領域の面積及び動作速度から手であるかどうかを判断することにより対象物を認識する、といったことが考えられる。
　形状認識部４３は、対象物の動きを認識している間に特徴点認識部４２によって得られた対象物領域の画像が所定の形状になった場合に、その形状を認識してその種類を制御部６０に通知する。形状認識の方法としては、例えば、対象物の形状毎に開始判定部３０を構成する対象物識別部３３を備えておき、特徴点認識部４２によって得られた対象物領域の画像を識別する方法を用いることができる。
　軌跡認識部４４は、特徴点認識部４２によって得られる対象物の特徴点の位置の時系列変化によって対象物の形状が描く軌跡を認識し、得られた軌跡が所定の形状になった場合に、対象物の軌跡が検出されたことを、その軌跡の種類とともに制御部６０に通知する。
　制御部６０は、認識部４０から通知された対象物の形状、対象物が移動した軌跡の種類、及び撮像部２０が撮像した画像中に存在する対象物の特徴点の位置に基づき、制御対象となる機器（図示せず）の制御を行う。例えば、機器がテレビであり、ユーザーの手を対象物とする場合、ユーザーの手が右方向、又は左方向に一定量移動する軌跡に対しては次のチャンネル及び前のチャンネルへ変更し、数字の筆跡に対応する軌跡に対しては数字に対応するチャンネル番号へ変更する。また、所定角度の円弧状の軌跡が検出された場合は音量調整を開始するとともに手の位置を初期位置として記憶しておく。その後、次に送られてきた画像で検出された手の位置と初期位置として記憶した手の位置とを比較することにより、音量調整開始後に描いた円弧の角度を算出し、角度に応じて音量の大きさを制御する。さらに、電子番組表を表示中は、番組に対応する矩形領域を選択するためのカーソルを表示しておき、手の位置に応じてカーソルを移動させ、握り拳の形状が検出された場合に、選択されている矩形領域に対応する番組の詳細情報を表示する、といった制御を行う。
　また、開始検出部３３が検出した対象物の形状の種類を認識部４０又は制御部６０に通知することにより、ジェスチャ開始時の対象物の形状によって制御内容を変更することもできる。例えば、ユーザーの手が右方向、又は左方向に一定量移動する軌跡に対して、ジェスチャ開始時の手形状が掌の場合はチャンネルを変更し、ジェスチャ開始時の手形状が拳の場合は放送波の種類を変更する、ということが考えられる。
　終了判定部５０は、撮像部２０から送られた画像から対象物のジェスチャが終了したか否かを判定する。終了判定部５０は、図５に示すように、動作検出部５１と、終了検出部５２とを備える。
　動作検出部５１は、撮像部２０から送られた画像から対象物の動作を検出し、検出結果を終了検出部５２に出力する。例えば、ユーザーの手を対象物とする場合、撮像部２０から送られた一連の時系列画像から、その時系列の画像間の差分画像を用いて、対象物であるユーザーの手の動作が検出されたか否かを判定する。
　例えば、現時刻の画像を構成する各画素について、直前の時刻の画像における対応する画素との輝度値の差を算出する。画像中のノイズを除去するために、輝度値の差が所定の第１しきい値を超えた場合、そのときの状態の画素を動き検出画素として処理する。さらに、動き検出画素の数が所定の第２しきい値を超えた場合に、動作が検出されたことを終了検出部５２に通知する。なお、第１及び第２しきい値は、固定値である必要はなく、例えば検出されている手の大きさや、時系列画像に含まれる白色雑音の大きさなどに応じて動的に変化させてもよい。また、動作の検出は、撮像部２０から送られた画像全体に対して行うこともでき、対象物の周辺に限定して行うこともできる。
　終了検出部５２は、動作検出部５１の出力に基づき対象物の動作が終了したかどうかを判定し、動作が終了したと判定した場合、認識部４０に認識をしないように指示する。動作が終了していないと判定した場合は、認識部４０に認識状態の更新を指示しない。動作が終了したかどうかの判定は、例えば、所定の枚数の入力画像において動作が検出されなかった場合に、動作が終了したと判定する、といった方法を用いることができる。
　図６は、ＵＩ装置１０の動作を表すフローチャートを示す図である。対象物をユーザーの手として以下説明をする。
　ステップＳ１０において、撮像部２０は、ユーザーの手を含む画像を撮像し、ＵＩ装置１０に送る。
　ステップＳ１５において、開始判定部３０及び終了判定部５０は、認識部４０の認識フラグをチェックする。認識フラグが立っている場合は（ステップＳ１５で「ＹＥＳ」）、ステップＳ２０に進む。認識フラグが立っていない場合は（ステップＳ１５で「ＮＯ」）、ステップＳ２１に進む。
　ステップＳ２０において、終了判定部５０は、撮像部２０によって撮像された時系列画像から、ジェスチャの動きが認識されなくなったかどうかを判定し、ジェスチャの動きが認識されなくなったと場合には、認識部４０に対して認識をしないように指示する。これを受けて、認識部４０は認識フラグをクリアする。
　ステップＳ２１において、開始判定部３０は、撮像部２０によって撮像された時系列画像から、ユーザーがジェスチャを開始したかどうかを判定し、開始したと判定した場合は、認識部４０に対してジェスチャ認識をするように指示する。これを受けて、認識部４０は認識フラグを立てる。
　ステップＳ２５において、認識部４０は、認識フラグをチェックする。認識フラグが立っている場合は（ステップＳ２５で「ＹＥＳ」）、ステップＳ３０に進む。認識フラグが立っていない場合は（ステップＳ２５で「ＮＯ」）、認識処理を終了する。
　ステップＳ３０において、認識部４０は、対象物を検出して、撮像部２０が撮像した画像中に存在する対象物の特徴点の位置を制御部６０に対して出力するとともに、対象物が所定の形状になった場合や、対象物の特徴点の位置の時系列変化により所定の軌跡が形成された場合に、これを制御部６０に対して通知する。
　ステップＳ４０において、制御部６０は、認識部より通知されたジェスチャ認識の結果に基づき、制御対象となる機器（図示せず）を制御する。
　上記実施形態は本発明を実施するための一例であり、本発明は上記各実施形態に限られるものではない。本発明の主旨を逸脱しない限り、上記実施形態を様々に変更することができる。
　上述した各実施の形態において、ＵＩ装置１０は、ハードウェアで構成されてもよいし、ソフトウェアで構成されてもよい。ＵＩ装置１０がソフトウェアで構成される場合には、ＵＩ装置１０で実行される各種プログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。また、当該プログラムを、インストール可能な形式又は実行可能な形式のファイルでコンピュータで読み取り可能な記録媒体に記録し、コンピュータで実行可能な複数の命令を含むプログラムを有するコンピュータ読取り可能な記録媒体として構成されても良い。
　１０　…　ＵＩ装置、２０　…　撮像部、３０　…　開始判定部、３１　…　領域設定部、３２　…　対象物識別部、３３　…　開始検出部、４０　…　認識部、４１　…　認識制御部、４２　…　特徴点認識部、４３　…　形状認識部、４４　…　軌跡認識部、５０　…　終了判定部、５１　…　動作検出部、５２　…　終了検出部、６０　…　制御部、７０　…　窓枠

Claims (4)

  1. 　複数の画像から対象物が所定の形状であるかどうかを識別する対象物識別部を備え、所定の形状であると識別された場合に、前記対象物の認識開始を指示する開始判定部と、
    　前記開始判定部からの認識開始の指示に応じて、前記対象物の動きを認識する認識部と、
    　前記対象物の動きが認識されなくなった場合、前記対象物の認識終了を前記認識部に指示する終了判定部と、
    　を備えることを特徴とするユーザーインターフェース装置。
  2. 　前記認識部は、
    前記対象物の動きを認識している間に前記対象物の形状を認識する形状認識部と、
    前記対象物の形状が描く軌跡を認識する軌跡認識部と、
    　を備えることを特徴とする請求項２に記載のユーザーインターフェース装置。
  3. 　制御対象部を制御する制御部を更に備え、
    　前記対象物識別部は、前記対象物の種類に応じて識別し、
    　前記制御部は、前記対象物識別部が識別した前記対象物の種類に応じて前記制御対象部の制御内容を変更することを特徴とする請求項２に記載のユーザーインターフェース装置。
  4. 　前記開始判定部は、前記複数の画像中に識別領域を設定する領域設定部を備え、
    　前記対象物識別部は、前記識別領域内で前記対象物が所定形状であると識別した場合に、前記認識部に前記対象物の認識開始を指示する開始検出部を備えることを特徴とする請求項１に記載のユーザーインターフェース装置。
PCT/JP2009/004364 2009-09-03 2009-09-03 ユーザーインターフェース装置 WO2011027397A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2009/004364 WO2011027397A1 (ja) 2009-09-03 2009-09-03 ユーザーインターフェース装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2009/004364 WO2011027397A1 (ja) 2009-09-03 2009-09-03 ユーザーインターフェース装置

Publications (1)

Publication Number Publication Date
WO2011027397A1 true WO2011027397A1 (ja) 2011-03-10

Family

ID=43648959

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2009/004364 WO2011027397A1 (ja) 2009-09-03 2009-09-03 ユーザーインターフェース装置

Country Status (1)

Country Link
WO (1) WO2011027397A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013200815A (ja) * 2012-03-26 2013-10-03 Yahoo Japan Corp 操作入力装置、操作入力方法、及び、プログラム
JP2013200784A (ja) * 2012-03-26 2013-10-03 Yahoo Japan Corp 操作入力装置、操作入力方法およびプログラム
JP2014512620A (ja) * 2011-04-20 2014-05-22 クゥアルコム・インコーポレイテッド 仮想キーボードおよびその提供方法
WO2019235263A1 (ja) * 2018-06-06 2019-12-12 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008269174A (ja) * 2007-04-18 2008-11-06 Fujifilm Corp 制御装置、方法およびプログラム

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008269174A (ja) * 2007-04-18 2008-11-06 Fujifilm Corp 制御装置、方法およびプログラム

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014512620A (ja) * 2011-04-20 2014-05-22 クゥアルコム・インコーポレイテッド 仮想キーボードおよびその提供方法
JP2013200815A (ja) * 2012-03-26 2013-10-03 Yahoo Japan Corp 操作入力装置、操作入力方法、及び、プログラム
JP2013200784A (ja) * 2012-03-26 2013-10-03 Yahoo Japan Corp 操作入力装置、操作入力方法およびプログラム
WO2019235263A1 (ja) * 2018-06-06 2019-12-12 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
JPWO2019235263A1 (ja) * 2018-06-06 2021-07-08 ソニーグループ株式会社 情報処理装置、情報処理方法、及びプログラム
US11570017B2 (en) 2018-06-06 2023-01-31 Sony Corporation Batch information processing apparatus, batch information processing method, and program
JP7306386B2 (ja) 2018-06-06 2023-07-11 ソニーグループ株式会社 情報処理装置、情報処理方法、及びプログラム

Similar Documents

Publication Publication Date Title
JP4929109B2 (ja) ジェスチャ認識装置及びその方法
JP4267648B2 (ja) インターフェース装置及びその方法
US9405373B2 (en) Recognition apparatus
KR101437760B1 (ko) 제스처 인식 장치, 전자기기, 제스처 인식 방법, 및 제어 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체
JP5197777B2 (ja) インターフェイス装置、方法、およびプログラム
KR101500843B1 (ko) 태블릿 단말기, 조작 접수 방법 및 조작 접수 프로그램을 기록한 기록매체
US9330304B2 (en) Information processing apparatus and method for controlling the same
US8644556B2 (en) Image processing apparatus and method and program
KR101631011B1 (ko) 제스처 인식 장치 및 제스처 인식 장치의 제어 방법
JP2004258837A (ja) カーソル操作装置、その方法およびそのプログラム
KR101631015B1 (ko) 제스처 인식 장치 및 제스처 인식 장치의 제어 방법
JP2012027515A (ja) 入力方法及び入力装置
JP2017510875A (ja) ジェスチャー装置、その動作方法及びこれを備えた車両
JP5358548B2 (ja) ジェスチャ認識装置
WO2011027397A1 (ja) ユーザーインターフェース装置
JP4789885B2 (ja) インタフェース装置、インタフェース方法及びインタフェースプログラム
JP2015127976A (ja) 認識装置
JP2013191011A (ja) 画像処理装置、画像処理方法及びプログラム
JP2007128158A (ja) 情報表示装置
JP7062930B2 (ja) 制御装置およびプログラム
JP5988161B2 (ja) ジェスチャ認識装置
JP5697351B2 (ja) プロジェクタシステム
EP2296081A1 (en) Image processing apparatus and method of controlling the same
JP2015122124A (ja) 仮想マウスによるデータ入力機能を有する情報装置
JP2008112360A (ja) ユーザインタフェイス装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 09848928

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 09848928

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP