JP4565200B2 - Hand operation segmentation method and apparatus - Google Patents

Hand operation segmentation method and apparatus Download PDF

Info

Publication number
JP4565200B2
JP4565200B2 JP27112299A JP27112299A JP4565200B2 JP 4565200 B2 JP4565200 B2 JP 4565200B2 JP 27112299 A JP27112299 A JP 27112299A JP 27112299 A JP27112299 A JP 27112299A JP 4565200 B2 JP4565200 B2 JP 4565200B2
Authority
JP
Japan
Prior art keywords
operation
hand
transition
code
non
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP27112299A
Other languages
Japanese (ja)
Other versions
JP2000172163A (en
Inventor
山 呂
英明 松尾
誠二 猪木
祐二 長嶋
雄二 高田
Original Assignee
パナソニック株式会社
独立行政法人情報通信研究機構
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to JP10-273966 priority Critical
Priority to JP27396698 priority
Application filed by パナソニック株式会社, 独立行政法人情報通信研究機構 filed Critical パナソニック株式会社
Priority to JP27112299A priority patent/JP4565200B2/en
Publication of JP2000172163A publication Critical patent/JP2000172163A/en
Application granted granted Critical
Publication of JP4565200B2 publication Critical patent/JP4565200B2/en
Application status is Active legal-status Critical
Anticipated expiration legal-status Critical

Links

Images

Description

【0001】 [0001]
【発明の属する技術分野】 BACKGROUND OF THE INVENTION
本発明は、手動作分節方法および装置に関し、より特定的には、手話等のための手動作を自動的に認識する際に、その手動作を単語単位に自動的に分節する方法および装置に関する。 The present invention relates to a finger movement segmentation method and apparatus, and more specifically, when recognizing automatically the hand operation for sign language, etc., a method and apparatus for automatically segment the hand operation word by word .
【0002】 [0002]
【従来の技術】 BACKGROUND OF THE INVENTION
近年、パーソナル・コンピュータは、面倒なキーボード操作を行わなくてもポインティングデバイス等を用いて簡単に入力が行えるようになり、専門家以外の利用者にも広く用いられるようになった。 In recent years, personal computer, even without troublesome keyboard operation should be able to be easily input using a pointing device, etc., it came to be widely used also to users of non-specialists.
そして、最近では、利用者の音声を自動的に認識する技術の開発に伴い、音声入力が可能なパーソナル・コンピュータや、音声で操作指示を行えるマイクロ・コンピュータを用いた家電製品なども登場している(以下、パーソナル・コンピュータや、マイクロ・コンピュータを用いた家電製品などを、コンピュータ装置と呼ぶことにする)。 And, in recent years, with the development of automatically recognizing technology the voice of the user, and a personal computer capable of voice input, as well, such as home appliances using a micro-computer that can perform an operation instruction by voice appeared are (hereinafter, and personal computers, household appliances using a micro-computer, to be referred to as computer device). この技術がさらに進歩すれば、利用者は、コンピュータ装置の入力操作を、対人のコミュニケーションに近い態様で行えるようになる。 If this technique is more advanced, the user input operation of the computer device, will allow in a manner close to the interpersonal communication. また、手操作が困難な利用者が音声入力によって気軽にコンピュータ装置を使用できるようになる。 Moreover, manual operation is difficult to the user will be able to use freely the computer apparatus by the voice input.
【0003】 [0003]
さて、人と人とのコミュニケーションでは、音声に加えて、手や頭の動き、顔の表情なども用いられる。 Well, in the communication between people, in addition to the voice, hands and head movements, as well, such as facial expressions used. コンピュータ装置が、こうした利用者の体の特定の部分の動きをも自動的に認識することができれば、利用者は、対人のコミュニケーションにさらに近い態様で入力操作を行えるようになる。 Computing device, if it is possible to automatically recognize even the movement of a particular portion of such user's body, the user will allow an input operation in a manner closer to interpersonal communication. また、音声操作が困難な利用者が手話入力によって気軽にコンピュータ装置を使用できるようになり、例えば、それを用いて手話を翻訳することも可能となる。 Further, the user voice operation is difficult to be able to use freely the computer apparatus by the sign language input, for example, it is also possible to translate the sign language with it.
こうした要請に応えるべく、本出願人等によって、手話等のための手動作をはじめ、利用者の体の特定の部分の動きを認識するコンピュータ装置が開発されている。 To meet these demands, the present applicants, including hand operation for sign language, etc., recognizes the computer system the movement of certain parts of the user's body have been developed. この従来のコンピュータ装置で行われる処理は、例えば手話のための手動作を認識しようとする場合、次のようなものである。 Processing performed in this conventional computer device, for example when trying to recognize a hand operation for sign language is as follows.
すなわち、最初、利用者を撮影して、その画像を記憶する。 That is, first, by photographing the user, and stores the image. 次に、画像のどの部分が手であるかを特定する。 Then, which part of the image to identify whether a hand. そして、手の動きを検出し、検出した手の動きに基づいて手話単語を判定する。 Then, to detect the movement of the hand, it judges the sign language words based on the movement of the detected hand. 判定は、手話の動作的特徴を記述した辞書を参照して行う。 Determination is performed with reference to the dictionary that describes the operational characteristics of the sign language. こうして、コンピュータ装置は、利用者の行う手話を”認識”する。 In this way, the computer device, to "recognize" the sign language performed by the user.
【0004】 [0004]
以下、上記の一連の処理のうち、手の動きに基づいて手話単語を判定する処理を、具体的に説明する。 Hereinafter, a series of processes described above, the process of determining the sign language words based on the movement of the hand, specifically described.
一般に、手話単語は、いくつかの単位動作およびそれらの組み合わせによって表現される。 Generally, sign language word is expressed by a number of units operating, and combinations thereof. ここで単位動作とは、上げる、下げる、曲げるなどの、分割可能な最小の動作をいう。 Here the unit operation and raises, lowers, such as bending, refers to minimum operating divisible. 各単位動作をA,B,C,…とすると、手話単語は、(A),(B),(C),…,(A,B),(A,C),(B,C),…,(A,B,C),…のように表現される。 When each unit operation for A, B, C, ... and sign language words, (A), (B), (C), ..., (A, B), (A, C), (B, C), ..., (a, B, C), ... it is expressed as. そして、これら手話単語を組み合わせることによって手話が行われる。 The sign language is performed by combining these sign language words.
例えば、手話単語(A)が「電源」、手話単語(B,C)が「切断する」を意味するとすると、手話単語(A)および(B,C)を提示する、すなわち単位動作A,BおよびCを連続して行うことによって、「電源を切断する」意が表現される。 For example, sign language word (A) is "power", the sign language word (B, C) if is to mean "cutting", presents a sign language word (A) and (B, C), i.e. the unit operation A, B and by continuously performing C, "power down" meaning it is expressed.
【0005】 [0005]
人と人との間で行う手話の場合、話し手が、手話単語(A)および(B,C)を意図して、単位動作A、BおよびCを連続して行ったとすると、受け手は、その一連の単位動作を、通常、直感的に手話単語(A)および(B,C)と認識できる。 If sign language performed between between people, speaker, sign language word (A) and (B, C) with the intention of the unit operation A, when the B and C was continuously performed, recipient, its the series of unit operations, can be recognized normally, intuitively sign language (a) and (B, C) and. しかし、コンピュータ装置に対して手話入力をする場合、利用者が、手話単語(A)および(B,C)を意図して単位動作A、BおよびCを連続して行っても、コンピュータ装置は、その一連の単位動作A、BおよびCを、手話単語(A)および(B,C)であると認識することができない。 However, when the sign language input to the computer device, the user, the sign language word (A) and (B, C) units operation with the intention of A, be carried out continuously B and C, the computer system , the series of unit operations a, B and C, the sign language word (a) and (B, C) can not be recognized as.
【0006】 [0006]
そこで、従来、利用者は、手話単語(A)と手話単語(B,C)との間に、静止等の予め決められた動作(以下、分節動作a)を挿入するようにしていた。 Therefore, conventionally, the user, the sign language word (A) and the sign language word (B, C) between, a predetermined operation of a still like (hereinafter, segmentation operation a) was to insert a. すなわち、「電源を切断する」と入力したい場合、利用者は、手話単語(A)、分節動作aおよび手話単語(B,C)を提示、つまり単位動作A,分節動作a,および単位動作BおよびCを連続して実行する。 In other words, if you want to enter "power off", the user, sign language word (A), segment operation a and the sign language word (B, C) the presentation, that is a unit operation A, segmental operation a, and the unit operation B and continuously performing C. コンピュータ装置は、提示される一連の動作を検出して、分節動作aを挟んでその前後で分節(セグメンテーション)し、手話単語(A)と手話単語(B,C)とを得る。 Computer device detects the series of operations to be presented, and segments (segmentation) in the longitudinal sides of the segmental operation a, obtaining sign language word (A) and the sign language word (B, C) and a.
【0007】 [0007]
【発明が解決しようとする課題】 [Problems that the Invention is to Solve
上記のように、コンピュータ装置において行われる従来の動作認識方法では、利用者は、例えば、複数の単語からなる文章を、手話のための手動作によってコンピュータ装置に入力しようとする場合、ある単語と対応する手動作と次の単語と対応する手動作との間に分節動作を逐一挿入しつつ、入力を行わなければならなかった。 As described above, in the conventional gesture recognition method performed in a computer system, the user, for example, a sentence including a plurality of words, if you try to enter into the computer device by the hand operation for sign language, and a word while one by one insert the segmented operation between the corresponding finger movement with a corresponding hand operation and the next word, I had to perform input. なぜなら、従来の動作認識方法では、検出される動作を、単語単位に自動的に分節することができなかったからである。 This is because the conventional gesture recognition method is an operation to be detected, because it was not possible to automatically segmenting a word unit.
【0008】 [0008]
なお、検出される一連の単位動作(動作コード列)を単語単位に分節する方法としては、例えば、文字コード列を単語単位に分節して文字に変換するワードプロセッサで行われるものと同様の処理を行うことが考えられる。 As a method of segmenting a series of unit operations to be detected (operation code string) in units of words, for example, the same process as that performed in a word processor for converting to segment the character code string in the word unit in the character it is conceivable to do.
しかし、この場合、単語を登録した辞書を参照することによって、動作コード列中の分節位置を求めるので、分節位置が一義的に求まらないことがある。 However, in this case, by referring to the dictionary registered words, since obtaining the segment position in the operation code string, which may segment position is not determined uniquely. その場合、コンピュータ装置は、いくつかの分節位置に基づく選択肢を利用者に提示し、利用者が、提示された選択肢の中から、自らの意図するものを選ばねばならない。 In that case, the computer device, some of the choices presented to the user based on the segment position, the user, from the presented choices, we must choose those that own intention. そのため、利用者は、入力に手間がかかり、入力速度も上がらない。 Therefore, the user, time-consuming to input, does not increase even when the input speed.
【0009】 [0009]
例えば、利用者が、手話単語(A)および(B,C)を意図して単位動作A、BおよびCを連続して行ったとき、コンピュータ装置の辞書に手話単語(A),(B),(C),…,(A,B),(A,C),(B,C),…,(A,B,C),…が登録されているとすると、この辞書を参照して分節位置を求めたのでは、分節位置が1つに決まらない。 For example, the user, the sign language word (A) and (B, C) units operation A is intended, when the continuously performed B and C, sign language word dictionary of the computer apparatus (A), (B) , (C), ..., (a, B), with reference to (a, C), (B, C), ..., (a, B, C), ... is When registered, the dictionary than was determined segment position, segment position is not determined to one. そこで、コンピュータ装置は、可能ないくつかの位置で分節を行い、手話単語(A)および(B,C)や、手話単語(A,B)および(C)、手話単語(A,B,C)などからなる選択肢を提示する。 Therefore, the computer apparatus performs segmentation on some possible position, sign language word (A) and (B, C) and, sign language word (A, B) and (C), sign language word (A, B, C ) presents the options and the like. 応じて、利用者は、提示された選択肢の中から、自らが意図するものを選び、それをコンピュータ装置に通知する。 In response, the user, from the presented options, choose the one that itself is intended to notify it to the computer device.
つまり、こうした動作コード列に基づいて分節位置を求める方法では、検出される一連の動作を単語単位に自動的に分節することはできない。 That is, in the method of obtaining the segment position based on this operation code string can not automatically segment the series of operations are detected word units.
【0010】 [0010]
それゆえに、本発明の目的は、利用者の手動作を認識する際に行われ、利用者側が分節位置を提示しなくても、検出される手動作を単語単位に自動的に分節することができるような手動作分節方法および装置を提供することである。 An object of the present invention is performed when recognizing the user's finger movement, without presenting the user side segments positioned, can automatically segment the finger movement is detected word units it is to provide a finger movement segmentation method and apparatus as possible.
【0011】 [0011]
【課題を解決するための手段および発明の効果】 [Effect of the unit and the invention for solving the problems]
第1の発明は、 利用者の身体に、一つの単語を示す動作の途中には現れず、ある単語を示す動作から別の単語を示す動作へと遷移する際に、無意識的に現れる遷移動作の特徴である瞬き、頷き、閉口、胴体静止、手と顔の接触の少なくとも1つに関する特徴を動作コードとして記述した遷移特徴データを予め記憶する遷移動作記憶手段と撮影手段と画像記憶手段と抽出手段と検出手段と手動作分節手段とを備える手動作分節装置において、利用者が行う手動作を認識する際に当該手動作を単語単位または複数の単語からなる有意味単位に自動的に分節するために実行する手動作分節方法であって、撮影手段が、利用者を撮影して、その画像データをフレーム単位で画像記憶手段に記憶する撮影ステップと、抽出手段が、画像記憶手段から画像 The first invention, the body of the user, not appear in the middle of the operation shown one word, when the transition from the operation shown a certain word to the operation shown another word, unconsciously appear transition operation It is characteristic blinking, nodding, closing, torso stationary, the transition operation storage means and imaging means and image storage means for previously storing transition feature data describing a feature as an operation code for at least one contact of the hands and face extraction in manual operation segment and means the detection means and the finger movement segmentation means, automatically segmented into meaningful units comprising the hand operation from word by word or several words when recognizing the hand operation which the user performed a hand gesture segmentation method to run to, shooting means, by photographing the user, an imaging step of storing in the image storage means the image data in units of frames, extracting means, the image from the image storage unit ータを取り出し、当該画像データから、遷移動作の現れる身体部位の色と対応する画像データをフレームごとに抽出する遷移動作抽出ステップと、検出手段が、遷移動作抽出ステップで抽出した画像データを相互に比較して、遷移動作の現れる身体部位の動きを検出し、動作コード化する遷移動作検出ステップと、手動作分節手段が、遷移動作記憶ステップで記憶した動作コードを遷移動作記憶手段から取り出し、当該動作コードと、遷移動作検出ステップで動作コード化した動作コードとを比較して、遷移動作が現れた時間位置を求め、当該時間位置に基づいて手動作を分節する分節位置を決定する手動作分節ステップとを含んでいる。 Taken out over data, cross from the image data, and a transition operation extraction step of extracting image data corresponding to the color of the body part of appearance of the transition operation for each frame, the detection means, the image data extracted in the transition operation extraction step compared to detect movement of the body part of appearance of the transition operation, a transition operation detecting step of operating coding, the finger movement segmentation means retrieves the operation code stored in the transition operation storage step from the transition operation storage means, and the operation code, by comparing the operation code operation coded in the transition operation detecting step, the transition operation is determined time positions appearing, hand operation of determining the segmental position to segment the hand operation on the basis of the time position and a segment step.
【0012】 [0012]
上記第1の発明によれば、利用者の身体に、一つの単語を示す動作の途中には現れず、ある単語を示す動作から別の単語を示す動作へと遷移する際に現れる遷移動作に基づいて手動作を分節するので、利用者側が分節位置を提示しなくても、検出される手動作を単語単位または複数の単語からなる有意味単位に自動的に分節することができるようになる。 According to the first aspect, the body of the user, not appear in the middle of the operation shown one word, the transition operation that appears when the transition from the operation shown a certain word to the operation shown another word since segmenting the hand operation based, without presenting the user side segments positioned, automatically it is possible to segment the meaningful unit comprising a finger movement is detected from a word unit or a plurality of words .
【0022】 [0022]
第2の発明は、第1の発明において、 利用者の身体に、ある単語を示す動作から別の単語を示す動作への遷移時には現れず、一つの単語を示す動作の途中に現れる非遷移動作の特徴を記述した非遷移特徴データを予め記憶する非遷移動作記憶手段をさらに備え、手動作分節方法は、抽出手段が、画像記憶手段から画像データを取り出し、当該画像データから、非遷移動作の現れる身体部位の色と対応する画像データをフレームごとに抽出する非遷移動作抽出ステップと、検出手段が、非遷移動作抽出ステップで抽出した画像データを相互に比較して、非遷移動作の現れる身体部位の動きを検出し、動作コード化する非遷移動作検出ステップと、手動作分節手段が、非遷移動作記憶ステップで記憶した動作コードを非遷移動作記憶手段から取り The second invention is the first invention, the body of the user, not appear from operation shown a certain word at the time of transition to the operation shown another word, non-transition operations appearing in the middle of the operation shown one word wherein further comprising a non-transition operation storage means for previously storing non-transition feature data describing a hand operation segmentation method extraction means extracts the image data from the image storage means, from the image data, non-transition operation a non-transition operation extraction step of extracting image data corresponding to the color of the body part for each frame of appearance of the detection means, the image data extracted in non-transition operation extraction step compared to each other, coming of non-transition operation detects movement of the body part, the non-transition operation detecting step of operating coding, the finger movement segmentation means, takes the operation code stored in the non-transition operation storage step from the non-transition operation storage means し、当該動作コードと、非遷移動作検出ステップで動作コード化した動作コードとを比較して、非遷移動作が現れた時間位置を求める非遷移動作分節ステップとをさらに含み、手動作分節ステップでは、遷移動作が現れた時間位置であっても、非遷移動作が現れた時間位置においては分節を行わないことを特徴としている。 And a corresponding action code, compares the operation code operation coded in non-transition operation detecting step further comprises a non-transition operation segment determining a time-transition operation appeared position, the finger movement segmentation step even position time transition operation appeared in the non-transition operation appears time position is characterized by not performing segment.
【0023】 [0023]
上記第の発明によれば、利用者の身体に、ある単語を示す動作から別の単語を示す動作への遷移時には現れず、一つの単語を示す動作の途中に現れる非遷移動作が現れる時間位置では分節を行わないので、誤って単語を分節することがなくなり、分節処理の精度を高めることができる。 According to the second aspect, the body of the user, not appear from operation shown a certain word at the time of transition to the operation shown another word, non-transition operation appears time appearing in the middle of the operation shown one word since the position is not performed segmental accidentally words no longer be segmented, it is possible to improve the accuracy of segmentation process.
【0027】 [0027]
第3の発明は、第1の発明において、撮影ステップでは、当該利用者を立体的に撮影して、その3次元画像データを画像記憶手段に記憶し、抽出手段が、画像記憶手段から3次元画像データを取り出し、当該3次元画像データから、右手および左手と対応する3次元画像データを抽出する非遷移動作抽出ステップと、検出手段が、3次元画像データに基づいて、右手および左手の動きを示す3次元ベクトルを検出する非遷移動作検出ステップと、手動作分節手段が、3次元ベクトルに基づいて、右手の動作面および左手の動作面の変化を検出し、右手の動作面および左手の動作面がどちらも変化しない場合、一つの単語を示す動作の途中であることを示す非遷移動作が現れたと判定して、その時間位置を求める非遷移動作分節ステップとをさ The third aspect, in the first aspect, in shooting step is to sterically photographing the user, and stores the 3-dimensional image data in the image storage means, extracting means, 3 from the image storage unit It extracts the dimension image data, from the three-dimensional image data, and a non-transition operation extracting a three-dimensional image data corresponding to the right hand and left hand, the detection means, based on the three-dimensional image data, the right hand and left hand movement a non-transition operation detection step of detecting a three-dimensional vector indicating the hand operation segmentation means, based on the three-dimensional vector, and detecting a change in the right hand operation surface and left operation plane, the right-hand operation surface and left hand If the operation surface does not change either, it is determined that the non-transition operation indicating the middle of operation shown one word appeared, and a non-transition operation segment determining the time position に含み、手動作分節ステップでは、遷移動作が現れた時間位置であっても、非遷移動作が現れた時間位置においては分節を行わないことを特徴としている。 To include, in the finger movement segmentation step, even the position time transition operation appeared in the non-transition operation appears time position is characterized by not performing segment.
【0028】 [0028]
の発明は、第の発明において、非遷移動作分節ステップでは、右手の動作面および左手の動作面の変化を、それら動作面の法線ベクトルの変化に基づいて検出することを特徴としている。 A fourth invention, in the third invention, the non-transition operations segmented step, a change in the right hand operation surface and left operation plane, as characterized by detecting based on the change in the normal vector thereof operation surface there.
【0029】 [0029]
の発明は、第の発明において、 手動作分節装置はさらに、同一動作面テーブル作成手段と、3次元コード列変換手段とを備え、同一動作面テーブル作成手段が、それぞれ互いに異なる方向を持つ3次元ベクトルと対応する複数の3次元動作コードに関し、1つの面内に含まれるような3次元動作コードの組み合わせを記載した同一動作面テーブルを、予め作成するステップと、 3次元コード列変換手段が、右手および左手の動きを、複数の3次元動作コードで表現された3次元動作コード列に変換するステップとをさらに含み非遷移動作分節ステップでは、右手の動作面および左手の動作面の変化を、 3次元動作コード列と、同一動作面テーブルに基づいて検出することを特徴としている。 A fifth invention, in the third invention, the finger movement segmentation apparatus further identical operation surface table generating means, and a three-dimensional code string transforming means, the same operation surface table creating means, in different directions, respectively relates plurality of 3-dimensional operation code corresponding to the three-dimensional vector having the same operation surface table describing the combination of three-dimensional operation code as contained in one plane, and creating in advance, the three-dimensional code string conversion means the right and left hand movement, further comprising a step of converting a plurality of 3-dimensional operation code 3-dimensional operation code string expressed, in the non-transition operations segmented step, the right-hand operation surface and left operation plane the change, the three-dimensional operation code string, is characterized by detecting based on the same operation surface table.
【0034】 [0034]
第6の発明は、 利用者の身体に、一つの単語を示す動作の途中には現れず、ある単語を示す動作から別の単語を示す動作へと遷移する際に、無意識的に現れる遷移動作の特徴である瞬き、頷き、閉口、胴体静止、手と顔の接触の少なくとも1つに関する特徴を動作コードとして記述した遷移特徴データを予め記憶している遷移動作記憶手段を備えるコンピュータを、 Sixth invention is the body of the user, not appear in the middle of the operation shown one word, when the transition from the operation shown a certain word to the operation shown another word, unconsciously appear transition operation features and is blinking, nodding, closing, torso still, the computer having a transition operation storage means stores in advance a transition feature data describing a feature as an operation code for at least one contact of the hands and face,
利用者を撮影して、その画像データをフレーム単位で画像記憶手段に記憶する撮影手段と、 By photographing the user, and imaging means for storing in the image storage means in units of frames of the image data,
前記画像記憶手段から前記画像データを取り出し、当該画像データから、前記遷移動作の現れる身体部位の色と対応する画像データをフレームごとに抽出する抽出手段と、 Taking out said image data from said image storage means, extracting means for extracting from the image data, the image data corresponding to the color of the body part of appearance of the transition operation for each frame,
前記抽出手段で抽出した画像データを相互に比較して、前記遷移動作の現れる身体部位の動きを検出し、動作コード化する検出手段と、 By comparing the image data extracted by the extraction means with each other, to detect the movement of the body part of appearance of the transition operation, a detection unit which operates encoding,
前記遷移動作記憶手段から前記動作コードを取り出し、当該動作コードと、前記検出手段で動作コード化した動作コードとを比較して、前記遷移動作が現れた時間位置を求め、当該時間位置に基づいて前記手動作を分節する手動作分節手段として機能させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体である。 Taking out said operation code from said transition operation storage means, and the operation code, by comparing the operation code operation coded in the detecting means, obtains a time position where the transition operation appears, on the basis of the time position wherein a computer readable recording medium recording a program for functioning as a finger movement segmentation means for the manual operation to segment.
【0037】 [0037]
の発明は、利用者が行う手動作を認識する際に当該手動作を単語単位または複数の単語からなる有意味単位に自動的に分節するための手動作分節装置であって、利用者の身体に、一つの単語を示す動作の途中には現れず、ある単語を示す動作から別の単語を示す動作へと遷移する際に、無意識的に現れる遷移動作の特徴である瞬き、頷き、閉口、胴体静止、手と顔の接触の少なくとも1つに関する特徴動作コードとして記述した遷移特徴データを予め記憶している遷移動作記憶手段と、利用者を撮影して、その画像データをフレーム単位で画像記憶手段に記憶する撮影手段と、 画像記憶手段から画像データを取り出し、当該画像データから、遷移動作の現れる身体部位の色と対応する画像データフレームごとに抽出する抽出手段と、 A seventh invention is a finger movement segmentation device for automatically segmented into meaningful units comprising the hand operation from word by word or several words when recognizing the hand operation which the user performs user the body, does not appear in the middle of the operation shown one word, when the transition from the operation shown a certain word to the operation shown another word, blinking is characteristic of the transition operation appearing unconsciously, nodding, closed, the body still, a transition operation storage means stores in advance a transition feature data describing a feature as an operation code for at least one contact of the hands and face, by photographing the user, each frame of the image data and imaging means for storing in the image storing means in extracts the image data from the image storage means, from the image data, an extraction means for extracting image data corresponding to the color of the body part of appearance of the transition operation for each frame, 出手段で抽出した画像データを相互に比較して、遷移動作の現れる身体部位の動きを検出し、動作コード化する検出手段と、 遷移動作記憶手段から動作コードを取り出し、当該動作コードと、検出手段で動作コード化した動作コードとを比較して、遷移動作が現れた時間位置を求め、当該時間位置に基づいて手動作を分節する手動作分節手段とを備えている。 The image data extracted in unit output as compared with each other, to detect the body portion position of the movement of appearance of the transition operation, a detection unit which operates encoding, the operation code from the transition operation storage unit is taken out, and the operation code, by comparing the operation code operates encoded by the detection means, obtains a time transition operation appeared position, and a hand operation segmentation means for segmentation of the hand operation on the basis of the time position.
【0038】 [0038]
の発明は、第の発明において、 利用者の身体に、ある単語を示す動作から別の単語を示す動作への遷移時には現れず、一つの単語を示す動作の途中に現れる非遷移動作の特徴を記述した非遷移特徴データを予め記憶する非遷移動作記憶手段をさらに備え、抽出手段は、さらに、画像記憶手段から画像データを取り出し、当該画像データから、非遷移動作の現れる身体部位の色と対応する画像データをフレームごとに抽出し、検出手段は、さらに、抽出手段で抽出した非遷移動作の現れる身体部位と対応する画像データを相互に比較して、非遷移動作の現れる身体部位の動きを検出し、動作コード化し、手動作分節手段は、さらに、非遷移動作記憶手段から非遷移特徴データの動作コードを取り出し、当該動作コードと、検出手段で動作 Eighth aspect of the present invention, in the seventh, the body of the user, not appear from operation shown a certain word at the time of transition to the operation shown another word, non-transition operations appearing in the middle of the operation shown one word wherein further comprising a non-transition operation storage means for previously storing non-transition feature data describing the extraction means further extracts the image data from the image storage means, from the image data, the body part of appearance of non-transition operation extracting image data corresponding to the color for each frame, the detection unit further image data and corresponding body part of appearance of non-transition operation extracted by the extraction means and compared with each other, the body appears a non-transition operation site detecting a motion operates coded, the finger movement segmentation means further retrieves the operation code of the non-transition feature data from the non-transition operation storage means, and the operation code, the operation by the detection means ード化した非遷移動作の現れる身体部位と対応する画像の動きを示す動作コードとを比較して、非遷移動作が現れた時間位置を求め、遷移動作が現れた時間位置であっても、非遷移動作が現れた時間位置においては分節を行わないことを特徴としている。 By comparing the operation code indicating the motion of the image corresponding to the body part of appearance of non-transition operation with over De of, determine the time-transition operation appeared position, even time position where the transition operation appeared, It is characterized by not performing segmental in time position where the non-transition operation appeared.
【0039】 [0039]
の発明は、 第7の発明において、撮影手段は、当該利用者を立体的に撮影して、その3次元画像データを画像記憶手段に記憶し、抽出手段は、さらに、画像記憶手段から3次元画像データを取り出し、当該3次元画像データから、非遷移動作の現れる右手および左手と対応する3次元画像データを抽出し、検出手段は、さらに、抽出手段で抽出した3次元画像データに基づいて、右手および左手の動きを示す3次元ベクトルを検出し、手動作分節手段は、さらに、3次元ベクトルに基づいて、右手の動作面および左手の動作面の変化を検出し、右手の動作面および左手の動作面がどちらも変化しない場合、一つの単語を示す動作の途中であることを示す非遷移動作が現れたと判定して、その時間位置を求め、遷移動作が現れた時間位置で A ninth aspect of the invention of the seventh, imaging means, sterically photographing the user, and stores the 3-dimensional image data in the image storage means, extracting means further from the image storage unit It extracts the 3-dimensional image data, from the three-dimensional image data, extracts the 3-dimensional image data corresponding to the right and left appears the non-transition operation, the detecting means, further based on the three-dimensional image data extracted by the extraction means Te detects a three-dimensional vector indicating the right and left movement, the finger movement segmentation unit further based on the three-dimensional vector, and detecting a change in the right hand operation surface and left operation plane, the right hand of the operation surface and when the operation surface of the left hand does not change either, it is determined that the non-transition operation indicating that the course of action that indicates the single word appeared at the determined time positions, time position where the transition operation appeared っても、非遷移動作が現れた時間位置においては分節を行わないことを特徴としている。 What is also in the non-transition operation appears time position is characterized by not performing segment.
【0040】 [0040]
10の発明は、第の発明において、 手動作分節手段は、右手の動作面および左手の動作面の変化を、それら動作面の法線ベクトルの変化に基づいて検出することを特徴としている。 In a tenth aspect based on the ninth invention, the finger movement segmentation means, it is be characterized by a change in the right hand operation surface and left operation plane is detected based on a change in the normal vector thereof operation surface .
【0041】 [0041]
11の発明は、 第9の発明において、手動作分節装置はさらに、それぞれ互いに異なる方向を持つ3次元ベクトルと対応する複数の3次元動作コードに関し、1つの面内に含まれるような3次元動作コードの組み合わせを記載した単一動作面テーブルを、予め作成する手段と、右手および左手の動きを、複数の3次元動作コードで表現された3次元動作コード列に変換する手段とをさらに備え、手動作分節手段は、右手の動作面および左手の動作面の変化を、同一動作面テーブルに基づいて検出することを特徴としている。 Eleventh aspect of the present invention, first in the ninth invention, the finger movement segmentation apparatus further relates plurality of 3-dimensional operation code corresponding with the three-dimensional vector having different directions from each other, three-dimensional, such as contained in one plane single operation surface table describing the combined operation code, further comprising means for creating in advance, the right hand and left hand movement, and means for converting the 3-dimensional operation code string represented by a plurality of 3-dimensional operation code , finger movement segmentation means, a change in the right hand operation surface and left operation plane, is characterized by detecting based on the same operation surface table.
【0045】 [0045]
【発明の実施の形態】 DETAILED DESCRIPTION OF THE INVENTION
以下、本発明の実施の形態について、図面を参照しながら説明する。 Hereinafter, embodiments of the present invention will be described with reference to the drawings.
(第1の実施形態) (First Embodiment)
図1は、本発明の第1の実施形態に係る手動作分節方法を用いた手動作認識方法を示すフローチャート、図2は、図1の方法を実現するコンピュータ装置の構成の一例を示すブロック図である。 Figure 1 is a flowchart showing the hand operation recognition method using a hand operation segmentation method according to the first embodiment of the present invention, FIG. 2 is a block diagram showing an example of the configuration of the computer for implementing the method of FIG. 1 it is.
図2において、コンピュータ装置は、CPU201と、RAM202と、プログラム記憶部203と、入力部204と、出力部205と、撮像部206と、画像記憶部207と、手話用手動作記憶部208と、遷移動作記憶部209とを備えている。 2, the computer system includes a CPU 201, a RAM202, a program storage unit 203, an input unit 204, an output unit 205, an imaging unit 206, an image storage unit 207, a sign language for the hand operation storage unit 208, and a transition operation storage unit 209.
【0046】 [0046]
図2のコンピュータ装置は、利用者が行う手話のための手動作を認識して所定の処理を実行する装置である。 The computer system of FIG. 2 recognizes the hand operation for sign language user performs a device for executing a predetermined process. 具体的には、例えば、所定のプログラムデータをインストールすると共に、テレビカメラを接続することによって、手話入力や手話の自動翻訳を実現する汎用的なパーソナル・コンピュータ・システムを想定している。 Specifically, for example, while installing a predetermined program data, by connecting a TV camera, it assumes a generic personal computer system for realizing the automatic translation of sign language input and sign language. あるいは、利用者の手動作に応じて電源のon/offや動作モードの切替などを行うマイクロ・コンピュータを備えた家電製品等であってもよい。 Alternatively, it may be a home appliance or the like having a micro-computer for such switching of a power supply on / off and operation mode in accordance with the user's finger movement.
図1に示される手動作認識方法には、利用者の手動作を認識する際に、検出された手動作を単語単位または複数の単語からなる有意味単位に分節するための手動作分節処理が含まれる。 Hand operation recognition method shown in FIG. 1, when recognizing the user's finger movement, finger movement segmentation process to segment the meaningful units comprising the detected hand operation from word by word or words included.
【0047】 [0047]
ここで、本願発明の理解を容易にする目的で、予めその概要を説明しておく。 Here, for the purpose of easy understanding of the present invention, previously described in advance overview.
従来の技術の項目において説明したように、手話では一般に、文章は、複数の手話単語を用いて表現される。 As described in the item of the prior art, generally in sign language, writing is expressed by using a plurality of sign language words. そして、各手話単語は、それぞれ1以上の単位動作の組み合わせによって構成されている。 Each sign language word is constituted by a combination of one or more respective units operation. 一方、コンピュータ装置は、利用者の手動作を一連の単位動作として検出するので、コンピュータ装置に手動作を認識させるには、何らかの方法で、一連の単位動作を利用者の意図する単語単位に分節することが必要となる。 On the other hand, the computer device, and detects the user's finger movement as a series of unit operations, in order to recognize a hand operation to the computer device, in some way, segmented word by word intended by the user a series of unit operations it is necessary to.
従来の分節方法では、利用者が、ある単語と対応する動作と次の単語と対応する動作との間に静止動作等を挿入し、コンピュータ装置は、静止動作等の検出を行うことによって、一連の単位動作を分節していた。 By the conventional segmental method, the user inserts the stationary operation or the like between the operation corresponding to the operation and the next word corresponding to a word, the computer device, for detecting a static operation, such as a series the unit operations have been segment. つまり、利用者側が、意図的に分節位置を提示する必要があった。 In other words, the user side, it is necessary to present a deliberately segment position.
【0048】 [0048]
一方、人同士が行う自然な手話では、各単語は、連続的に提示される。 On the other hand, in the natural sign language performed by the people with each other, each word is continuously presented. 本願の発明者は、このような自然な手話において、手話者がある単語と対応する動作を終えてから次の単語と対応する動作を開始するまでの間に、利用者の体に無意識的にある特定の動きが現れることに着目した。 The inventor of the present application, in such a natural sign language, between the finishing of the corresponding operation and word in the signer to the start of the next word with the corresponding operation, unconsciously the body of the user It was focused on the fact that a particular movement appears. 例えば、瞬き、閉口、頷きなどである(以下では、こうした単語と単語の切れ目で利用者が無意識的に行う動作を、遷移動作と呼ぶ)。 For example, blinking, closing, in which like nod (hereinafter, a user operation performed unconsciously at a break of such words and words, referred to as a transition operation). 単語と単語の切れ目に挿入される自然な静止動作も、遷移動作に含まれる。 Natural quiescent operating inserted into the slit of the word and the word is also included in the transition operation. これらの遷移動作は、一つの単語と対応する手動作の最中に行われることは少ない。 These transition operation, it seldom performed during hand operation corresponding to one word. そこで、本願の発明者は、遷移動作を、手動作の分節に利用することを発案した。 Accordingly, the inventors of the present application, a transition operation was devised to utilize the segment of the hand operation.
【0049】 [0049]
つまり、図1の方法では、コンピュータ装置は、利用者が行う手話のための手動作を検出する際に、それと平行して遷移動作の検出をも行う。 That is, in the method of FIG. 1, the computer device, when detecting the finger movement for sign language user performs therewith also performs detection of parallel to transit motion. そして、遷移動作が現れる時間位置を求めることによって、手動作(つまり一連の単位動作)を単語ないしは有意味単位に分節する。 Then, by determining the time position where the transition operation appears, segmenting hand operated (i.e. series of unit operations) in word or meaningful units. そのため、上記従来の分節方法と異なり、利用者は、意図的に分節位置を提示する必要がなくなる。 Therefore, unlike the conventional segmentation method, the user is not required to present a deliberately segment position.
【0050】 [0050]
さて、図2において、プログラム記憶部203には、図1のフローチャートに示されるような処理を実現するためのプログラムデータが格納されている。 Now, in FIG. 2, the program storage unit 203, program data for realizing the processing shown in the flowchart of FIG. 1 is stored. CPU201は、プログラム記憶部203に格納されたプログラムデータに従って、図1に示す処理を実行する。 CPU201 in accordance with a program data stored in the program storage unit 203, executes the process shown in FIG. RAM202は、CPU201の処理に必要なデータ類や処理中に生じる作業データ等を記憶する。 RAM202 stores such work data generated during the data such or processing required CPU201 processes.
【0051】 [0051]
入力部204は、キーボードやマウスを含み、オペレータの操作に応じて、各種指示やデータをCPU201に入力する。 Input unit 204 includes a keyboard and a mouse, in accordance with the operation of the operator, to input various instructions and data to the CPU 201. 出力部205は、ディスプレイやスピーカを含み、CPU201の処理結果等を、映像や音声などの形態で出力する。 The output unit 205 includes a display and a speaker, the CPU201 of the processing result, and outputs in the form of video and audio.
【0052】 [0052]
撮像部206は、少なくとも1台のテレビカメラを含み、利用者の動作を撮像する。 Imaging unit 206 includes at least one television camera, captures the operation of the user. ここで、テレビカメラの台数は、利用者の動きを2次元的に捉える場合は1台でよいが、3次元的に捉える場合は2台必要となる。 Here, the number of television cameras may be one when capturing the movement of the user in two dimensions, if the three-dimensional capture is required two.
画像記憶部207は、撮像部206の出力画像を複数フレーム分記憶する。 Image storage unit 207, a plurality of frames storing the output image of the imaging unit 206. 手話用手動作記憶部208には、手話のための手動作の特徴を示す手話特徴データが格納されている。 The sign language for the hand operation storage unit 208, the sign language feature data indicating a feature of a hand operation for sign language are stored. 遷移動作記憶部209には、遷移動作の特徴を示す遷移特徴データが格納されている。 The transition operation storage unit 209, the transition feature data indicating a feature of a transition operation are stored.
【0053】 [0053]
ここで、プログラム記憶部203へプログラムデータを格納する方法としては、次の3つの方法がある。 Here, as a method of storing program data into the program storage unit 203, there are three ways. 第1は、プログラムデータを記録した記録媒体からそのプログラムデータを読み取って、プログラム記憶部203へ格納する方法である。 First reads the program data from the recording medium storing the program data, a method for storing the program storage unit 203. 第2は、通信回線を通じて伝送されてくるプログラムデータを受信して、プログラム記憶部203に格納する方法である。 The second receives the program data transmitted through a communication line, a method for storing the program storage unit 203. 第3は、本コンピュータ装置の出荷時に、予めプログラム記憶部203へプログラムデータを格納しておく方法である。 Third, at the time of shipment of the computer system, a method for storing program data to a pre-program storage unit 203.
なお、手話特徴データおよび遷移特徴データも、上記第1〜第3の方法と同様の方法により、それぞれ手話用手動作記憶部208、遷移動作記憶部209に格納することができる。 Note that the sign language feature data and the transition feature data also by the first to third methods similar sign language for the hand operation storage unit 208, respectively, may be stored in the transition operation storage unit 209.
【0054】 [0054]
以下、上記のように構成されたコンピュータ装置の動作について、図1のフローチャートを用いて説明する。 The operation of the configured computing device as described above will be described with reference to the flowchart of FIG.
まず、撮像部206によって、利用者の撮像が開始される(ステップS101)。 First, the imaging unit 206, the imaging of the user is started (step S101). 撮像部206から出力される画像データは、所定のサンプリング周期(例えば30分の1秒間隔)で画像記憶部207に格納される(ステップS102)。 Image data output from the imaging unit 206 is stored in the image storage unit 207 at a predetermined sampling period (e.g. 1 second intervals of 30 minutes) (step S102). 画像記憶部207に格納される画像データの各フレームには、時系列的に連続番号(フレーム番号)が付される。 Each frame of the image data stored in the image storage unit 207, a time series continuous number (frame number) is assigned.
【0055】 [0055]
次に、CPU201は、ステップS102で画像記憶部207に格納された画像データの各フレームから、利用者の手に対応するデータを抽出する(ステップS103)。 Next, CPU 201 from each frame of the image data stored in the image storage unit 207 at step S102, extracts the data corresponding to the hand of the user (step S103). そして、ステップS103で抽出されたデータに基づいて、利用者の手の動きを検出する(ステップS104)。 Then, based on the data extracted in step S103, it detects the movement of a user's hand (step S104). これらステップS103およびS104の詳細については、後述する。 Details of these steps S103 and S104, described later.
【0056】 [0056]
次に、CPU201は、ステップS102で画像記憶部207に格納された画像データから、利用者の体の特定の部位に対応するデータを抽出する(ステップS105)。 Next, CPU 201 from the image data stored in the image storage unit 207 at step S102, extracts the data corresponding to a specific site of the user's body (step S105). ここで、特定の部位は、利用者の体のうち前述の遷移動作が現れる部位であり、例えば、目、口、顔(の輪郭)、胴体などである。 Here, a specific site is the site where the aforementioned transition operation appears out of the user's body, for example, eyes, mouth, face (outline), the fuselage and the like. ステップS105では、これら特定の部位のうち少なくとも1つの部位、好ましくは複数の部位について、各部位に対応するデータの抽出が行われる。 In step S105, at least one site of these specific sites, preferably for a plurality of sites, the extraction of the data corresponding to each part is performed. 以下の説明では、目、口、顔および胴体と対応するデータが抽出されるものとする。 In the following description, the eyes, mouth, and that the data corresponding to the face and body are extracted.
【0057】 [0057]
次に、CPU201は、ステップS105で抽出したデータに基づいて、上記各部位の動きを検出する(ステップS106)。 Next, CPU 201 based on the extracted data in step S105, detects the movement of the respective portions (step S106). なお、遷移動作は、目、口、顔および胴体だけでなく手にも現れるが、手の動きについては、ステップS104の検出結果を転用する。 Incidentally, the transition operation, the eyes, mouth, but also appears in the hand as well as the face and body, for movement of the hand, diverted the detection result of the step S104.
【0058】 [0058]
ここで、上記ステップS103およびS105のデータ抽出処理、およびステップS104およびS106の動き検出処理について具体的に説明する。 Here it will be specifically described the data extraction processing in steps S103 and S105, and the motion detection processing in step S104 and S106.
ステップS103およびS105のデータ抽出処理は、例えば、次のようにして行われる。 Data extraction processing in steps S103 and S105 is performed, for example, as follows.
最初、CPU201は、画像記憶部207に格納された画像データを、利用者の体の各部位に対応付けられた複数の領域に分割する。 First, CPU 201 divides the image data stored in the image storage unit 207, into a plurality of regions associated with each part of the user's body. ここでは、手を含む手領域、顔を含む顔領域、胴体を含む胴体領域の3つの領域に分割する。 Here, divides hand region including hands, the face region including the face, the three regions of the body region including a body. この領域分割は、例えば、次のようにして行う。 This region division is performed, for example, as follows.
【0059】 [0059]
次に、利用者が、抽出したい部位の色を、入力部204を通じてCPU201に入力する。 Next, the user, the extraction color region to be, through the input unit 204 is input to CPU 201. すなわち、ステップS103では、手の色(例えば肌色)が入力され、一方、ステップS105では、目の白目部分の色(例えば白色)、唇の色(例えば暗赤色)、顔の色(例えば肌色)、および衣服の色(例えば青)が入力される。 That is, in step S103, the hand of the colors (e.g., skin color) is input, whereas, in step S105, the white eye portion of the eye color (e.g. white), lip colors (e.g., dark red), the face color (e.g. skin color) , and clothing color (e.g., blue) are inputted.
【0060】 [0060]
応じて、CPU201は、各領域内の画像データを構成する複数の画素データについて、各画素データの示す色が、利用者によって指定された色と一致ないしは近接するか否かを判定し、判定結果が肯定である画素データだけを選択する。 In response, CPU 201, for a plurality of pixel data constituting the image data in each region, color indicated by the pixel data, determines whether the match or close to the color specified by the user, the determination result There selects only the pixel data is positive.
すなわち、ステップS103では、手領域に属する画像データから肌色を示すデータだけが選択されるので、手と対応するデータを抽出することができる。 That is, in step S103, since only the data indicating the flesh color from the image data belonging to the hand area is selected, it is possible to extract data corresponding to the hands.
一方、ステップS105では、顔領域から白色を示すデータだけが選択されるので、目(白目部分)と対応するデータを抽出することができる。 On the other hand, in step S105, since only the data indicating white from the face area is selected, it is possible to extract data corresponding to the eyes (whites portion). 同様に、顔領域から暗赤色を示すデータだけが選択されので、口(唇部分)と対応するデータを抽出することができ、顔領域から肌色を示すデータだけが選択されので、顔と対応するデータを抽出することができ、胴体領域から青色を示すデータだけが選択されるので、胴体(衣服)と対応するデータを抽出することができる。 Similarly, only the data indicating dark red from the face area is that is selected, the mouth can extract data corresponding to (lip portion), only the data indicating the skin color from the face area is that is selected corresponds to the face data can be extracted, because only the data indicating blue from the body area is selected, it is possible to extract data corresponding to the body (clothes).
【0061】 [0061]
ステップS104の動き検出処理は、次のようにして行われる。 Motion detection processing in step S104 is performed as follows.
CPU201は、ステップS103で各フレームから抽出されたデータを相互に比較することによって、各フレームにおける手の動きを検出する。 CPU201 by comparing the data extracted from each frame in step S103 with each other, to detect the movement of the hand in each frame. そして、検出した動きを所定の手順でコード化する。 Then, encoding the detected motion in a predetermined procedure.
従って、ステップS104で検出された手の動きは、手に関して決められた複数の動作コードからなるコード列の形態を有する。 Thus, movement of the hand detected in step S104 has the form of a code string composed of a plurality of operation code that is determined with respect to the hand. この動作コード列は、RAM202に一時記憶される。 The operation code sequence is temporarily stored in the RAM 202.
【0062】 [0062]
ステップS106の動き検出処理は、次のようにして行われる。 Motion detection processing in step S106 is performed as follows.
CPU201は、ステップS105で各フレームから抽出されたデータを相互に比較することによって、各フレームにおける目、口、顔および胴体の動きを検出する。 CPU201 by comparing the data extracted from each frame in step S105 with each other, the eyes of each frame, the mouth, detects the face and torso movements. そして、検出した動きを所定の手順でコード化する。 Then, encoding the detected motion in a predetermined procedure.
従って、ステップS106で検出された各部位(目、口、顔および胴体)の動きは、それら各部位に関して決められた複数の動作コードからなるコード列の形態を有する。 Thus, movement of each portion is detected (eyes, mouth, face and body) in step S106 has the form of a code string composed of a plurality of operation code that is determined with respect to their respective sites. これらの動作コード列は、RAM202に一時記憶される。 These operations code string is temporarily stored in the RAM 202.
【0063】 [0063]
再び図2に戻り、ステップS107以降の処理を説明する。 Again back to FIG. 2, illustrating the step S107 and subsequent steps.
次に、CPU201は、遷移動作記憶部209から遷移特徴データを読み出してきて、ステップS106で検出した各部位の動きと比較する。 Next, CPU 201 is getting read transition feature data from the transition operation storage unit 209, compares the movement of each part detected in step S106. ここで、遷移特徴データは、上記ステップS104およびS106で利用者の体の各部位の動きを表現するのに用いられた複数の動作コードを用いて記述されている。 Here, the transition feature data is described using a plurality of operation code used to represent the motion of each part of the user's body in the steps S104 and S106. そして、各部位(目、口、顔、手および胴体)の動きにおいて、遷移動作(瞬き動作、閉口動作、頷き動作、手静止および胴体静止)に一致ないしは近似している箇所があるか否かを判定する(ステップS107)。 Each site in the movements (eyes, mouth, face, hands and body), the transition operation whether there is a location match or approximate to (blinking operation, closing operation, nodding operation, the hand still and torso stationary) determining (step S107).
具体的には、CPU201は、RAM202に記憶されている各部位の動作コード列を検索して、遷移特徴データの動作コードまたは動作コード列と一致する箇所があるか否かを判定する。 Specifically, CPU 201 determines whether there is a portion where to find the operation code string of each part stored in the RAM202, consistent with the operation code or opcode column of the transition feature data.
ステップS107の判定結果が否定である場合、CPU201は、ステップS109に進む。 If the determination result of step S107 is negative, CPU 201 proceeds to step S109.
【0064】 [0064]
ステップS107の判定結果が肯定である場合、CPU201は、ステップS104で検出した手動作を単語単位に分節するための分節位置を決定する(ステップS108)。 If the determination result of step S107 is affirmative, CPU 201 determines the segment position for segmenting the hand operation detected in step S104 in units of words (step S108). この分節位置決定処理は、次のようにして行われる。 The segment position determination process is carried out as follows.
最初、CPU201は、各部位の動きにおいて、遷移動作に一致ないしは近似している箇所を、分節位置の候補としてピックアップする。 First, CPU 201, in the motion of each part, the part match or approximate to the transition operation, to pick up a candidate segmental position. 具体的には、RAM202に記憶されている各部位の動作コード列を検索して、遷移特徴データの動作コードまたは動作コード列に一致ないしは類似する箇所を検出し、それら一致ないしは類似箇所の時間位置を、フレーム番号を用いて特定する。 Specifically, by searching the operation code string of each part stored in the RAM202, it detects a match or similar locations to the operation code or opcode column of the transition feature data, the time positions of matching or similar locations and identified using frame numbers. こうして特定された時間位置を、以下、分節位置候補と呼ぶことにする。 Thus the identified time position, hereinafter, will be referred to as segment position candidate.
【0065】 [0065]
次に、CPU201は、上記のようにして各部位毎にピックアックした分節位置候補を相互に比較して、その比較結果に基づいて、ステップS104で検出した手動作(一連の単位動作)における分節位置を決定する。 Next, CPU 201 compares with one another the segment position candidates Pikkuakku as described above for each site based on the comparison result, segmental position in the hand operation (a series of unit operations) detected at step S104 to determine.
【0066】 [0066]
具体的には、瞬き動作の場合、例えば瞼が閉じた(すなわち白目領域が消失した)瞬間を分節位置候補とする。 Specifically, if the blink operation, for example, eyelid is closed (i.e. whites region has disappeared) the moment the segmental position candidate. 閉口動作の場合、例えば唇が閉じた瞬間を分節位置とする。 For closing operation, for example, the moment when the lips are closed with segmental position. 頷き動作の場合、例えば顔の下端の動きが下向きから上向きに転じる瞬間(顎の先端が最下点に達した瞬間)を分節位置候補とする。 For operation nodding, for example the moment the movement of the lower end of the face turns from downward to upward (the moment when the tip of the chin reaches the lowest point) and segmental position candidate. 手静止の場合、例えば手の動きが停止した瞬間を分節位置候補とする。 If the hand rest, for example, the moment when the movement of the hand is stopped and segmental position candidate. 胴体静止の場合、例えば胴体の動きが停止した瞬間を分節位置候補とする。 For torso stationary, for example, the moment when body motion is stopped and segmental position candidate.
こうしてピックアップされた各部位毎の分節位置候補を相互に比較して、例えば2以上の部位において、ピックアップされた分節位置候補が互いに一致ないしは予め決められた間隔よりも近接している場合、その位置を、分節位置に決定する。 Thus in comparison to each other segment position candidates for each site that was picked up, for example, in 2 or more sites, when approximated than picked up interval segment position candidates is determined match or advance each other, their position and to determine the segmental position. より正確には、2以上の部位の分節位置候補が互いに一致した場合は、その一致した位置を分節位置とする。 More precisely, segment position candidates of two or more sites if they match each other, to the matched position and segment position. 2以上の部位の分節位置候補が互いに近接している場合は、それら近接する2以上の位置の平均位置を分節位置とする(または、近接する2以上の位置のいずれか1つを分節位置としてもよい)。 If two or more sites segmental position candidates are close to each other, the mean position of the two or more positions to their proximity to the segment position (or 2 one or more locations proximate a segment position it may also be).
【0067】 [0067]
ステップS109では、ステップS108で決定された分節位置を参照して、ステップS104で検出された手動作を翻訳する処理が行われる。 In step S109, with reference to the determined segment position in step S108, the process of translating is performed the detected finger movement in step S104.
すなわち、CPU201は、ステップS104で検出した手動作を、ステップS108で決定した分節位置で分節し、それによって得られた各手話単語を、手話用手動作記憶部208に格納されている手話特徴データと比較しつつ翻訳する。 That, CPU 201 is the detected finger movement in step S104, the segment with the determined segment position in step S108, the sign language words obtained thereby, the sign language feature data stored in the sign language for the hand operation storage unit 208 while compared to translation and. ここで、手話特徴データは、上記ステップS104で手動作を表現するのに用いられた複数の動作コードを用いて記述されている。 Here, sign language feature data is described using a plurality of operation code used to represent the hand operation in step S104.
その後、動作を終了するか否かが判断され(ステップS110)、判断結果が否定であればステップS101に戻って上記と同様の処理が繰り返され、肯定であれば、処理が終了される。 Then, whether the operation is terminated is determined (step S110), the determination result is the same processing as the flow returns to step S101 if the negative is repeated, if yes, the process is terminated.
【0068】 [0068]
以上のように、本実施形態によれば、利用者の身体に、一つの単語を示す動作の途中には現れず、ある単語を示す動作から別の単語を示す動作へと遷移する際に現れる遷移動作に基づいて手動作を分節するので、利用者側が意図的に分節位置を提示しなくても、コンピュータ装置は、検出される手動作を単語単位または複数の単語からなる有意味単位に自動的に分節することができるようになる。 As described above, according to this embodiment, the body of the user, not appear in the middle of the operation shown one word appears in a transition from the operation shown a certain word to the operation shown another word since segmenting the hand operation based on the transition operation, without presenting intentionally segmented position the user side, the computer device, automatic meaningfully unit comprising a finger movement is detected from a word unit or a plurality of words to be able to be segmented.
【0069】 [0069]
なお、第1の実施形態では、画像データを、そこから利用者の体の各部位と対応するデータを抽出する処理に関連して、手を含む手領域、顔を含む顔領域、胴体を含む胴体領域の3つの領域に分割したが、代わりに、それら3つの領域にさらに死手領域を加えた4つの領域に分割してもよい。 In the first embodiment, including image data, in connection with the process of extracting the corresponding data with each part of the user's body therefrom, the hand region including hands, the face region including the face, the body was divided into three regions of the body regions, alternatively, may be divided into four regions is further added Cite areas these three areas. ここで、死手領域とは、利用者が腕を下ろした状態で手がその領域内にあるような、出力部205の画面の底辺近縁に相当する領域である。 Here, the shite areas is an area which the user such as hands is in the region in a state in which lower the arm, corresponding to the bottom near the edge of the screen of the output unit 205.
この場合、手が死手領域内に存在する期間は利用者が手話を行っていないと判断され、手が死手領域外に出た瞬間が手動作開始と判断される。 In this case, during the lifetime of the Tegashi hand area it is judged that the user is not performing sign language, the moment that go out Tegashi hand region is determined to hand operation start. これによって、コンピュータ装置は、利用者が手動作を開始したことを明確に認識できるようになる。 Thus, the computer system will be able to clearly recognize that the user has started the hand operation. さらには、死手領域への手の出入を検出するようにして、それを遷移動作として分節に利用してもよい。 Furthermore, so as to detect and out of the hand of the shite areas, may be used to segment it as a transition operation.
【0070】 [0070]
また、第1の実施形態では、分節位置を決定するための遷移動作として、瞬き動作、閉口動作、頷き動作、手静止および胴体静止(の少なくとも1つ)を検出したが、遷移動作は、これらの動作に限らない。 In the first embodiment, as the transition operation for determining the segmental position, blinking operation, closing operation, nodding operation has been detected the hand still and torso still (at least one), the transition operation, these not limited to the operation. 例えば、手と顔との接触動作を遷移動作に加えてもよい。 For example, the contact operation between the hands and the face may be added to the transition operation. なぜなら、手話では、互いに離れていた手と顔とを接触させたり、互いに接触していた手と顔とを離したりする動作は、単語の先頭や末尾で行われることが多いからである。 This is because, in sign language, or by contacting the hands and face was away from each other, because the operation or release the hands and face were in contact with each other, is often performed at the beginning or end of a word.
【0071】 [0071]
また、第1の実施形態において、分節位置を決定する際に、遷移動作の継続時間を考慮するようにしてもよい。 In the first embodiment, when determining the segmental position, it may be taken into consideration the duration of the transition operation. 例えば、手静止の継続時間を計測して、予め決められたしきい値と比較する。 For example, by measuring the duration of the hand still, compared to the predetermined threshold. そして、継続時間がしきい値よりも長ければ、その手静止を遷移動作と判断して分節位置の決定に利用し、継続時間がしきい値よりも短ければ、その手静止を遷移動作でないと判断して無視する。 Then, the longer duration than the threshold, then used to determine the segment positions to determine its hands stationary and transition operation, if the duration is shorter than the threshold, the non-transition work his hand still to ignore it is determined. これによって、分節処理の精度を高めることができる。 This can increase the accuracy of the segmentation process.
【0072】 [0072]
また、第1の実施形態において、遷移動作に加え、非遷移動作をもさらに記憶しておき、それら遷移動作および非遷移動作に基づいて分節位置を決定してもよい。 In the first embodiment, in addition to the transition operation, it leaves even further store non-transition operation, may determine the segment position based on their transition operation and non-transition operations. ここで、非遷移動作とは、一つの単語と対応する手動作を行っている最中に行われ、かつ、ある単語から次の単語へと移行する際には行われることがまれであるような動作である。 Here, the non-transition operation is performed in the middle of performing a hand operation corresponding to one word, and so it is rarely performed in the time of transition from one word to the next word a Do not operate. 例えば、両手を互いに接近させる動作、口形を変化させる動作などである。 For example, the operation of approaching each other hands, or the like operation for changing the mouth shape.
【0073】 [0073]
具体的には、図2のコンピュータ装置に非遷移動作記憶部(図示せず)をさらに設け、そこに非遷移動作の特徴を示す非遷移特徴データを格納しておく。 Specifically, further provided non-transition operation storage unit (not shown) in the computer system of FIG. 2, storing non-transition feature data indicating a feature of a non-transition operations therein. その上で、図1のステップS106において、遷移動作に加え、非遷移動作をも検出する。 On top of that, in step S106 of FIG. 1, in addition to the transition operation, to detect the non-transition operations. 非遷移動作の検出は、遷移動作の検出と同様にして行える。 Detection of non-transition operation is performed in the same manner as the detection of the transition operation. そして、ステップS108において、ステップS106で検出した遷移動作および非遷移動作に基づいて、手動作の分節を行う。 Then, in step S108, based on the transition operation and non-transition operation detected in step S106, it performs segmentation of the hand operation.
【0074】 [0074]
すなわち、第1の実施形態では、ピックアップされた各部位毎の分節位置候補を相互に比較して、例えば2以上の部位において、ピックアップされた分節位置候補が互いに一致ないしは予め決められた間隔よりも近接している場合、それら分節位置候補に基づいて分節位置を決定した(具体的には、一致した位置、ないしは近接する2以上の位置の平均値を分節位置に決定した)。 That is, in the first embodiment, by comparing the segment position candidates for each site that was picked up with each other, for example in 2 or more sites, than pick-up intervals that segment position candidates is determined match or advance each other If you are close, to determine the segmental position based on their segment position candidate (specifically, matched positions, or 2 or more the average value of the position proximate determined to segment positions). これに対し、非遷移動作をも考慮する場合、たとえ2以上の部位において、ピックアップされた分節位置候補が互いに一致ないしは予め決められた間隔よりも近接しても、同時に非遷移動作が検出されていれば、それら分節位置候補に基づいて分節位置を決定することはしない。 In contrast, when considering also the non-transition operation, in even 2 or more sites, even closer than the pickup interval for segment position candidates is determined match or advance each other, it has been detected non-transition operation time lever, not possible to determine the segmental position based on their segment position candidate. つまり、非遷移動作が行われている期間は、たとえ遷移動作が検出されても、分節が実行されないことになる。 In other words, the period of non-transition operation is being performed, even if the transition operation is detected, so that the segment is not executed. これにより、分節処理の精度を高めることができる。 Thus, it is possible to improve the accuracy of segmentation process.
【0075】 [0075]
また、第1の実施形態において、コンピュータ装置が遷移動作の検出を正確に行えるようにするために、出力部205の画面を通じ、正しい(つまりコンピュータ装置が認識しやすいような)遷移動作を行わせるよう利用者を誘導するためのアニメーション画像を提示するようにしてもよい。 In the first embodiment, since the computer device to allow accurate detection of the transition operation, through the screen of the output unit 205, the correct (i.e., such as a computer device is easily recognized) to perform the transition operation it may be presented animated images for guiding the user as.
【0076】 [0076]
具体的には、図2のコンピュータ装置において、各遷移動作を示すアニメーションの画像データを、図示しないアニメーション記憶部に予め記憶しておく。 Specifically, in the computer system of FIG. 2, the image data of an animation representing each transition operation, previously stored in the animation storage part (not shown). そして、遷移動作の検出状況(例えば特定の遷移動作の検出頻度が著しく低いことなど)と、手動作の認識状況(検出した遷移動作に基づいて手動作を分節したときに、その手動作を認識できたか否か)とに基づいて、どの遷移動作を利用者に提示すべきかをCPU201が判断し、その遷移動作を示すアニメーションの画像データをアニメーション記憶部から読み出して出力部205へと与える。 Then, a detection state transition operation (e.g., it is markedly lower detection frequency of a particular transition operation), the finger movement based on the recognition situation (detected transition operation of the hand operation when segmented, recognizes the hand gesture based on or not not) and, what should be presented which transition operation to the user to determine the CPU 201, it gives the image data of an animation representing the transition operation to the output unit 205 reads out from the animation storage unit. こうして、出力部205の画面上には、遷移動作を示すアニメーションが表示され、利用者は、表示されたアニメーションを参照ながら、遷移動作を矯正する。 Thus, on the screen of the output unit 205, animation is displayed showing the transition operation, the user, with reference to the displayed animation, to correct a transition operation.
【0077】 [0077]
(第2の実施形態) (Second Embodiment)
図3は、本発明の第2の実施形態に係る手話動作セグメンテーション装置の構成を示すブロック図である。 Figure 3 is a block diagram showing the structure of a sign language operation segmentation apparatus according to the second embodiment of the present invention.
図3において、手話動作セグメンテーション装置は、画像入力部301、身体特徴抽出部302、特徴運動追跡部303、セグメント位置判定部304およびセグメント要素記憶部305を備えている。 3, the sign language operation segmentation device includes an image input unit 301, a body feature extraction part 302, feature movement tracking part 303, a segment position determination part 304 and the segment element storage part 305.
【0078】 [0078]
手話動作セグメンテーション装置は、例えば手話認識装置(図示せず)に設けられる。 Sign language operation segmentation unit is provided, for example, sign language recognition device (not shown). そのほか、家電製品や駅の券売機等のようなコンピュータ装置にも設けられる。 In addition, also provided to the computer device, such as a ticket vending machine or the like of consumer electronics products and the train station.
画像入力部301へは、テレビカメラ等の画像入力装置を通じて取り込まれた画像が与えられる。 To the image input unit 301 is supplied with an image captured through the image input device such as a TV camera. ここでは、特に断らない限り、手話者の動作を2次元的に捉えるので、画像入力装置は1台でよい。 Here, unless otherwise specified, since capture operation of the signer two-dimensionally, the image input apparatus may be one.
【0079】 [0079]
画像入力部301は、手話者の身体画像を入力する。 Image input unit 301, to enter the body image of the signer. 画像入力部301から入力された画像(以下、入力画像)は、フレーム毎に番号を付与され、身体特徴抽出部302に送られる。 Image input from the image input unit 301 (hereinafter, input image) is numbered for each frame is transmitted to the body feature extraction part 302. セグメント要素記憶部305には、予め、分節を行うための要素(以下、セグメント要素)として、身体特徴と動き特徴とが記憶されている。 The segment element storage part 305, in advance, elements for performing segment (hereinafter, segment element) as, are stored and body features and motion features.
身体特徴抽出部302は、入力画像から、セグメント要素記憶部305に記憶されている身体特徴と対応する画像を抽出する。 Body feature extraction part 302, from the input image, extracts a corresponding image with the body features stored in the segment element storage part 305. 特徴運動追跡部303は、抽出された画像に基づいて、身体特徴の動きを計算し、その計算結果を示す動き情報を、セグメント位置判定部304に送る。 Feature movement tracking part 303, based on the extracted image, and calculates the movement of the body features, and sends the motion information indicating the calculation result, the segment position determination part 304.
セグメント位置判定部304は、送られてきた動き情報と、セグメント要素記憶部305に記憶されている動き特徴とに基づいて、セグメント位置を判定し、そのセグメント位置を示すフレーム番号を出力する。 Segment position determination unit 304, the motion information transmitted, based on the motion features stored in the segment element storage part 305, to determine the segment position, outputs a frame number indicating the segment position.
【0080】 [0080]
ここで、画像入力部301、身体特徴抽出部302、特徴運動追跡部303およびセグメント位置判定部304は、1台もしくは複数台のコンピュータによって実現可能である。 Here, the image input unit 301, the body feature extraction part 302, feature movement tracking part 303 and the segment position determination part 304 can be realized by one or more computers. セグメント要素記憶部305は、コンピュータに接続されるハードディスクやCD−ROM、DVD等の記録装置によって実現可能である。 Segment element storage part 305 can be realized as a hard disk or CD-ROM is connected to a computer, the recording apparatus such as a DVD.
【0081】 [0081]
以下、上記のように構成された手話動作セグメンテーション装置の処理手順について説明する。 Hereinafter, a procedure of the constructed sign language operation segmentation apparatus as described above.
図4は、図3の手話動作セグメンテーション装置の処理の流れの一例を示すフローチャートである。 Figure 4 is a flowchart illustrating an example of a process flow of the sign-language operation segmentation device in FIG.
図4の各ステップでは、それぞれ以下のような処理が行われる。 At each step in FIG. 4, the following processing is performed respectively.
【0082】 [0082]
[ステップS401] [Step S401]
画像入力部301への入力画像があれば、画像入力部301は、1フレーム分の入力画像を取り込む。 If there is an input image to the image input unit 301, an image input unit 301 captures an input image of one frame. そして、フレーム番号iに「1」が加えられ、その後、入力画像は、身体特徴抽出部302に送られる。 Then, "1" is added to the frame number i, then the input image is transmitted to the body feature extraction part 302. その後、手話動作セグメンテーション装置は、ステップS402に進む。 Then, sign language behavior segmentation system, the process proceeds to step S402.
入力画像がない場合、フレーム番号iに「0」が加えられ、次いで、判定コード番号jに「1」が加えられる。 If there is no input image, "0" is added to the frame number i, then "1" is added to the determination code number j. その後、手話動作セグメンテーション装置では、ステップS401が繰り返される。 Thereafter, in sign language operation segmentation device, step S401 is repeated.
【0083】 [0083]
[ステップS402] [Step S402]
身体特徴抽出部302は、手話者の身体に応じて空間領域を分割する。 Body feature extraction part 302 divides a spatial region according to the body of the signer. 空間領域の分割は、例えば「動作開始位置検出方法」(特開平9−44668号公報)に記述されている方法と同様の方法によって行う。 Division of the spatial region is carried out for example by a method similar to the method described in the "operation start position detection method" (Japanese Unexamined Patent Publication No. 9-44668).
すなわち、身体特徴抽出部302は、最初、画像データにおいて、背景と人物との色の違い等に基づいて人物領域を検出し、次に、検出した人物領域の輪郭線に沿って、手話者を取り巻く空間領域を分割する。 That is, the body feature extraction part 302, first, the image data to detect a person area based on such differences in color between the background and the person, then, along the contour of the detected person area, the signer dividing the spatial area surrounding. そして、分割して得られる領域毎に、領域コードを設定する。 Then, for each region obtained by dividing sets an encoding.
図5は、身体特徴抽出部302が設定する領域コードの一例を示す図である。 Figure 5 is a diagram showing an example of a region encoding the body feature extraction part 302 sets.
図5において、入力画像501(空間領域)は、人物領域の輪郭線502、頭部外接矩形503、首ライン504、胴体左ライン505、胴体右ライン506、および死手決定ライン507によって分割される。 5, an input image 501 (spatial region) is divided by the human region contour 502, the head circumscribing rectangle 503, a neck line 504, the fuselage left line 505, fuselage right lines 506 and Cite decision line 507, .
【0084】 [0084]
具体的には、身体特徴抽出部302は、最初、人物領域の輪郭線502から首の位置を検出し、この首の高さにおいて、X軸に平行に首ライン504をひく。 Specifically, the body feature extraction part 302 first detects the position of the neck from the contour line 502 of the human region, the height of the neck, draw neck line 504 parallel to the X axis.
次に、画面下端から、首ライン504の高さに死手決定比率をかけた高さの位置に、X軸に水平に死手決定ライン507をひく。 Then, from the bottom of the screen, the position of height multiplied by the Cite determined ratio height of the neck line 504, draw horizontally Cite determined line 507 in the X-axis. ここで、死手決定比率は、手の有効性を確定するためのパラメータであって、死手決定ライン507より下に手が入った場合、たとえ手動作が行われていても、その手動作は無効、つまり手が使われていないのと同様であると判断される。 Here, Cité decision ratio is a parameter for determining the effectiveness of the hand, when entering the hand below the Cite decision line 507, even though the hand operation is performed, the manual operation disabled, i.e. it is determined that is the same as no hand is used. 本実施形態では、死手決定比率は、およそ1/5に設定される。 In the present embodiment, Cite determined ratio is set to approximately 1/5.
【0085】 [0085]
次に、上記のようにして分割して得られる各領域に、領域コードが設定される。 Then, in each area obtained by dividing in the manner described above, the area code is set. 図中の丸内の数字が、領域コードである。 Numbers in circles in the figure, a region code. 本実施形態では、領域コードは、例えば図5に示されるように設定される。 In the present embodiment, the region code is set as shown in FIG. 5, for example. すなわち、頭部外接矩形503の外側にあってかつ首ライン504より上の領域が▲1▼、頭部外接矩形503の内側の領域が▲2▼、首ライン504と死手決定ライン507との間にあってかつ胴体左ライン505の左の領域が▲3▼、首ライン504と死手決定ライン507との間にあってかつ胴体左ライン505と胴体右ライン506との間に挟まれた領域が▲4▼、首ライン504と死手決定ライン507との間にあってかつ胴体右ライン506の右の領域が▲5▼、そして、死手決定ライン507の下の領域が▲6▼のように設定される。 That is, the head circumscribed area above there are and from the neck line 504 outside the rectangle 503 ▲ 1 ▼, the region inside the head circumscribing rectangle 503 ▲ 2 ▼, the neck line 504 and Cite decision line 507 in time with and at left region of the fuselage left line 505 ▲ 3 ▼, region sandwiched between the trunk left line 505 and the body right line 506 and be between the neck line 504 and Cite decision line 507 ▲ 4 ▼, there are and the right area of ​​the fuselage right line 506 ▲ 5 ▼ between the neck line 504 and Cite decision line 507, and is set as area under the ▲ 6 ▼ Cite decision line 507 .
その後、手話動作セグメンテーション装置は、ステップS403に進む。 Then, sign language operation segmentation device goes to step S403.
【0086】 [0086]
[ステップS403] [Step S403]
身体特徴抽出部302は、入力画像から、セグメント要素記憶部305に記憶されている身体特徴と対応する画像を抽出する。 Body feature extraction part 302, from the input image, extracts a corresponding image with the body features stored in the segment element storage part 305. こうして抽出された画像を、以下、抽出身体特徴と呼ぶ。 The extracted image thus, hereinafter, referred to as extraction body features.
図6は、セグメント要素記憶部305に記憶されるセグメント要素データの一例を示す図である。 Figure 6 is a diagram showing an example of a segment element data stored in the segment element storage part 305.
図6において、セグメント要素データは、身体特徴601と、動き特徴602とを含む。 6, the segment element data includes a body feature 601 and a motion feature 602. 身体特徴601には、1以上の身体特徴、ここでは、顔領域と、目と、口と、手領域および胴体と、手領域および顔領域と、手領域とがセットされる。 The body feature 601, one or more body features, here, the face area, eyes, and mouth, and hand region and body, a hand region and face region, and the hand region is set.
【0087】 [0087]
一方、動き特徴602には、身体特徴601にセットされた各身体特徴と対応する動き特徴がセットされる。 On the other hand, the movement feature 602, motion characteristics corresponding to each body feature is set to the body feature 601 is set. すなわち、顔領域と対応して頷き頂点がセットされ、目と対応して瞬きがセットされ、口と対応して口形変化がセットされ、手領域および胴体と対応して動作静止がセットされ、手領域および顔領域と対応して手顔接触がセットされ、手領域と対応して手有効性変化点がセットされる。 That is set vertices nodding corresponds to the face area, blinking corresponds to the eye is set, mouth shape changes in accordance with the mouth is set, operation still is set in correspondence with the hand region and body, hands Tekao contact is set in correspondence with the region and face region, hand effectiveness change point corresponds to the hand region is set.
身体特徴抽出部302は、身体特徴601にセットされた身体特徴を、抽出身体特徴として検出する。 Body feature extraction part 302, the body feature is set to the body feature 601 is detected as an extraction body features. 例えば、身体特徴601に「顔領域」がセットされている場合、身体特徴抽出部302は、抽出身体特徴として顔領域を抽出する。 For example, if the body feature 601 "face area" is set, the body feature extraction part 302 extracts the face region as the extracted body features.
【0088】 [0088]
ここで、顔領域の抽出方法について説明する。 Here, a method extracting the face area.
身体特徴抽出部302は、最初、入力画像から、RGB色情報を元に、肌色領域を抽出する。 Body feature extraction unit 302, first, from the input image, based on the RGB color information, extracts a skin color region. 次に、抽出した肌色領域のうち、ステップS402で分割して得られた、領域コードが▲2▼である領域(頭部領域)と重なる部分を取り出し、それを顔領域とする。 Then, among the extracted skin color area, obtained by dividing at the step S402, it retrieves the portion overlapping the region area code is ▲ 2 ▼ (head region), to which the face area.
【0089】 [0089]
図7は、身体特徴抽出部302によって抽出された肌色領域の一例を示す図である。 Figure 7 is a diagram showing an example of the extracted skin color region by the body feature extraction part 302.
図7に示すように、肌色領域には、顔の肌色領域702および手の肌色領域703がある。 As shown in FIG. 7, in the skin color region, there is a skin color area 702 and the hand of the skin color area 703 of the face. そのため、単にRGB色情報に基づいて肌色領域を抽出したのでは、顔の肌色領域702および手の肌色領域703が抽出され、両者の区別が付かない。 Therefore, of simply extracting the skin color area based on the RGB color information is extracted skin-colored area 702 and the hand of the skin color area 703 of the face, both distinction is not attached. そこで、図5に示すように、予め入力画像を領域▲1▼〜▲6▼に分割しておき、抽出された肌色領域のうち、頭部領域701(図5の領域▲2▼)と重なる部分だけを取り出す。 Therefore, as shown in FIG. 5, in advance by dividing the previously input image area ▲ 1 ▼ ~ ▲ 6 in ▼, among the extracted skin color area overlaps the head region 701 (region ▲ 2 ▼ in FIG. 5) take out only the parts. それによって、顔の肌色領域702が得られる。 Thereby, the skin color area 702 of the face is obtained.
【0090】 [0090]
次に、身体特徴抽出部302は、顔領域情報を生成する。 Next, the body feature extraction part 302 generates face region information. すなわち、抽出した顔領域に関し、その重心、面積、X軸方向最大長およびY軸方向最大長を、i番目の顔領域情報face[i]にセットする。 That relates to the extracted face region, the center of gravity, area, the X-axis direction maximum length and the Y-axis direction maximum length is set to the i-th face region information face [i].
図8は、身体特徴抽出部302が生成する顔領域情報の一例を示す図である。 Figure 8 is a diagram showing an example of a face region information body feature extraction part 302 generates.
図8において、顔領域情報には、顔領域の重心座標801、顔領域の面積802、顔領域のX軸方向最大長803、および顔領域のY軸方向最大長804が含まれる。 8, the face region information, barycentric coordinates 801 of the face region, an area 802 of the face region includes the X-axis direction maximum length 803 and the face region of the Y-axis direction maximum length 804, of the face area.
その後、手話動作セグメンテーション装置は、ステップS404に進む。 Then, sign language operation segmentation device goes to step S404.
【0091】 [0091]
[ステップS404] [Step S404]
フレーム番号iが1の場合、手話動作セグメンテーション装置は、ステップS401に進む。 If the frame number i is 1, the sign language operation segmentation device goes to step S401. 一方、フレーム番号iが1でない場合、ステップS405に進む。 On the other hand, if the frame number i is not 1, the process proceeds to step S405.
【0092】 [0092]
[ステップS405] [Step S405]
特徴運動追跡部303は、<式1>を用いて、i番目の顔領域情報face[i]と、i−1番目の顔領域情報face[i−1]とから、顔領域の特徴運動コードを求める。 Feature movement tracking part 303, with <Equation 1>, and the i-th face region information face [i], because the i-1 th face region information face [i-1], wherein movement code of the face region the seek. また、i番目の顔領域情報face[i]の重心g_face[i]と、i−1番目の顔領域情報face[i−1]の重心g_face[i−1]とから、i番目の顔領域の顔運動方向ベクトルV_face[i]を求める。 Further, the center of gravity g_face [i] of the i-th face region information face [i], because the center of gravity g_face [i-1] of the i-1 th face region information face [i-1], the i-th face region determination of the face direction of motion vectors V_face [i].
【数1】 [Number 1]
【0093】 [0093]
次に、特徴運動追跡部303は、i番目の顔運動方向ベクトルV_face[i]から、特徴運動コードを決定する図9は、特徴運動追跡部303が特徴運動コードを決定するための、顔による特徴運動決定条件を示す図である。 Next, the feature movement tracking part 303, the i-th face direction of motion vectors V_face [i], Figure 9 to determine the feature movement code, the feature movement tracking part 303 to determine the feature movement code, using face it is a view schematically showing a motion determining condition.
図9において、顔による特徴運動決定条件は、運動コード901と、条件902とを含む。 9, wherein the motion determination condition by the face includes a motion code 901, and a condition 902. 運動コード901には、番号「1」〜「8」がセットされ、条件902には、運動コード901にセットされた各番号と対応して、各々、顔による特徴運動決定条件がセットされる。 Exercise code 901 is set number "1" to "8", the condition 902, corresponding to each number set in motion code 901, respectively, wherein movement determination condition by the face is set.
つまり、特徴運動追跡部303は、i番目の顔運動方向ベクトルV_face[i]を、図9の条件902と比較して、i番目の顔運動方向ベクトルV_face[i]と一致するような顔による特徴運動決定条件を選択する。 That is, feature movement tracking part 303, the i-th face direction of motion vectors V_face [i], by the face as compared to the condition 902 in FIG. 9, coincides with the i-th face direction of motion vectors V_face [i] to select a feature motion determination conditions. そして、図9の運動コード901のうち、選択した顔による特徴運動決定条件と対応する番号を取り出すことによって、特徴運動コードを決定する。 Of the motion code 901 of FIG. 9, by retrieving the corresponding number, wherein motion determining condition according to the selected face, to determine the characteristics motion code.
その後、手話動作セグメンテーション装置は、ステップS406に進む。 Then, sign language operation segmentation device goes to step S406.
【0094】 [0094]
[ステップS406] [Step S406]
セグメント位置判定部304は、特徴運動コードを、セグメント要素記憶部305に記憶されているセグメント要素データ(図6参照)と比較して、特徴運動コードが、動き特徴602と一致するかどうかをチェックする。 Segment position determination unit 304, a feature movement code, compared to the segment element data stored (see FIG. 6) in the segment element storage part 305, check whether the feature movement code coincides with the motion feature 602 to. 動き特徴602には、セグメント確定のための動き特徴(動き特徴)を示すパラメータ(動き特徴パラメータ)がセットされている。 The movement feature 602, a parameter indicating the motion feature (movement characteristics) for the segment determined (motion feature parameter) is set.
【0095】 [0095]
図10は、動き特徴602にセットされる動き特徴パラメータの一例を示す図である。 Figure 10 is a diagram showing an example of motion feature parameters to be set in motion feature 602.
図10において、動き特徴パラメータには、動き特徴1001、判定コード1002、時間1003およびセグメント位置1004が含まれる。 10, the motion feature parameter, the motion feature 1001, determination code 1002, which includes the time 1003 and segment position 1004. 動き特徴1001は、動き特徴の種別を示す。 Motion feature 1001 indicates a type of motion feature. 判定コード1002は、動き特徴を判定する条件となるコード列である。 Determination code 1002 is a code string becomes a condition determining motion characteristics. 時間1003は、動き特徴を判定する条件となる時間である。 Time 1003 is the time the condition for determining motion characteristics. セグメント位置1004は、動き特徴におけるセグメント位置を示す。 Segment position 1004 indicates a segment position in the motion feature.
【0096】 [0096]
判定コード1002に含まれるコード列では、各コードは、図9の運動コード901(特徴運動コード)と同様の番号「1」〜「8」と、動作静止を示す番号「0」とを用いて表現され、コードとコードの間が”−”で結ばれている。 In the code string included in the determination code 1002, each code is used motion code 901 (feature movement code) and similar numbers "1" to 9 "8", the number "0" indicating the operation still is expressed, between code and code "-" it is connected by.
そして、ステップS405で決定された特徴運動コードと、例えば「1−0−2」が一致するか否かは、「1」の次に「0」、「2」という順番でコードが続くか否かで判定され、その順番でコードが続いた場合に、一致と判定される。 Then, whether the feature movement code determined in step S405, whether, for example, "1-0-2" match, "1", "0" to the next, code in the order of "2" is followed whether is determined by either, if the code is followed in that order, it is determined consistent with.
【0097】 [0097]
なお、( )内のコードについては、それがなくても一致するとみなされる。 Incidentally, () the code in, it is considered also to match without. 例えば、「7−(0)−3」は、コード「7」の次に「0」、「3」と続いた場合も、コード「7」の次に「3」と続いた場合も、条件一致とみなされる。 For example, "7- (0) -3" is "0" following the code "7", even if followed as "3", even when subsequently "3" following the code "7", the condition It is considered a match.
また、”/”を間に挟んだコードは、どちらのコードでもよいことを示す”/”は図示していない。 Also, "/" code sandwiched therebetween indicate that it may be either a code "/" is not shown. 例えば、「0/3」となっている場合、「0」でも「3」でも条件一致とみなされる。 For example, if it is a "0/3" is considered a condition match any "0" nor "3".
一方、”*”は、どのコードでもよいことを表す。 On the other hand, "*" indicates that may be any code.
【0098】 [0098]
頷き運動を検出する場合、図6の身体特徴601は「顔領域」であり、動き特徴602として「頷き頂点」がセットされている。 If nods detecting motion, the body feature 601 in FIG. 6 is "face region", "nod vertex" is set as the motion feature 602. このとき、セグメント位置判定部304は、ステップS405で決定された顔の特徴運動コードが、図10の「頷き頂点」と対応するコード列「7−(0)−3」と一致するかどうかを判定する。 In this case, the segment position determination part 304, characterized motion code of the determined face in step S405 is, if it matches the code string "7- (0) -3" corresponding to the "nodding apex" of FIG. 10 judge.
手話動作セグメンテーション装置は、jが1であるか否かを判定し、j=1の場合、ステップS407に進む。 Sign language operation segmentation device determines whether j is 1, in the case of j = 1, the process proceeds to step S407.
j>1の場合、ステップS409に進む。 In the case of j> 1, the process proceeds to step S409.
【0099】 [0099]
[ステップS407] [Step S407]
手話動作セグメンテーション装置は、特徴運動コードが判定コード1002の最初のコードと一致しているか否かを判定し、一致している場合、ステップS408に進む。 Sign language operation segmentation apparatus, when the characteristic motion code determines whether matches the first code of the determination code 1002 coincides, the flow advances to step S408. 一致していない場合、S401に進む。 If they do not match, the process proceeds to S401.
【0100】 [0100]
[ステップS408] [Step S408]
セグメント位置判定部304は、判定コードデータを作成する。 Segment position determination part 304 generates determination code data. すなわち、1番目の判定コードデータCode_data[1]のコード番号に、特徴運動コードをセットし、1番目の判定コードデータCode_data[1]のコード開始フレーム番号に、iをセットする。 That is, in the first determination code code number of the data Code_Data [1], set the feature movement code, the first determination code code start frame number of the data Code_Data [1], sets i.
図11は、セグメント位置判定部304が作成する判定コードデータの一例を示す図である。 Figure 11 is a diagram showing an example of the determination code data segment position determination part 304 creates.
図11において、判定コードデータには、コード番号1101、コード開始フレーム番号1102、およびコード終了フレーム番号1103が含まれる。 11, the determination code data includes a code number 1101, code start frame number 1102, and code end frame number 1103, is included.
【0101】 [0101]
例えば、図10の例の場合、特徴運動コードが「7」であれば、1番目の判定コードデータCode_data[1]のコード番号に「7」をセットし、1番目の判定コードデータCode_data[1]のコード開始フレーム番号にiをセットする。 For example, in the example of FIG. 10, if the feature movement code is "7", set to "7" to the code number of the first determination code data Code_Data [1], the first determination code data Code_Data [1 to set the i in the code start frame number of].
その後、jに2がセットされ、手話動作セグメンテーション装置は、ステップS401に進む。 Then, 2 is set to j, sign language operation segmentation device goes to step S401.
【0102】 [0102]
[ステップS409] [Step S409]
特徴運動コードがj−1番目の判定コードデータCode#data[j−1]のコード番号と一致しているか否かが判断され、一致している場合、手話動作セグメンテーション装置は、ステップS401に進む。 Wherein movement code is determined whether they match with the j-1 th determination code data Code # data [j-1] code number is, if they match, sign language operation segmentation device goes to step S401 .
特徴運動コードがj−1番目の判定コードデータCode#data[j−1]のコード番号と一致していない場合、ステップS410に進む。 When the characteristic motion code does not match the j-1 th determination code data Code # code number data [j-1], the process proceeds to step S410.
【0103】 [0103]
[ステップS410] [Step S410]
セグメント位置判定部304は、j−1番目の判定コードデータCode#data[j−1]のコード終了フレーム番号に、i−1をセットする。 Segment position determination unit 304, the code end frame number of the j-1 th determination code data Code # data [j-1], and sets the i-1. その後、手話動作セグメンテーション装置は、ステップS411に進む。 Then, sign language operation segmentation device goes to step S411.
【0104】 [0104]
[ステップS411] [Step S411]
判定コード1002のコード数がj個以上であるか否かが判定され、j個以上の場合、手話動作セグメンテーション装置は、ステップS412に進む。 Code number of the determination code 1002 is determined whether or not j or more, when j or more, sign language operation segmentation device goes to step S412.
判定コード1002のコード数がj−1個の場合、ステップS417に進む。 If the code number of the determination code 1002 is j-1 one, the process proceeds to step S417.
【0105】 [0105]
[ステップS412] [Step S412]
判定コード1002のj番目のコードと特徴運動コードとが一致しているか否かが判定され、一致していない場合、手話動作セグメンテーション装置は、ステップS413に進む。 It is determined whether or not the j-th code and the feature movement code determined code 1002 is matched, if they do not match, sign language operation segmentation device goes to step S413.
一致している場合、ステップS416に進む。 If they match, the process proceeds to step S416.
【0106】 [0106]
[ステップS413] [Step S413]
判定コード1002のj番目のコードが( )付であるか否かが判定され、()付である場合、手話動作セグメンテーション装置は、ステップS414に進む。 Whether j-th code of the determination code 1002 is attached () is determined, if it is attached (), sign language operation segmentation device goes to step S414.
( )付でない場合、ステップS415に進む。 (If) it is not with, the process proceeds to step S415.
【0107】 [0107]
[ステップS414] [Step S414]
判定コード1002のj+1番目のコードと特徴運動コードとが一致しているか否かが判定され、一致していない場合、手話動作セグメンテーション装置は、ステップS415に進む。 Determining whether the j + 1 th code and feature movement code in 1002 matches are determined, if they do not match, sign language operation segmentation device goes to step S415.
一致している場合、jに1が加えられ、その後、ステップS416に進む。 If they match, 1 is added to j, then the process proceeds to step S416.
【0108】 [0108]
[ステップS415] [Step S415]
jに1がセットされ、その後、手話動作セグメンテーション装置は、ステップS401に進む。 j 1 is set to, then sign operation segmentation device goes to step S401.
【0109】 [0109]
[ステップS416] [Step S416]
j番目の判定コードデータCode#data[j]のコード番号に、特徴運動コードがセットされる。 The j-th determination code data Code # code number data [j], characterized motion code is set. また、j番目の判定コードデータCode#data[j]のコード開始フレーム番号に、iがセットされる。 Further, the j-th determination code data Code # code start frame number of the data [j], i is set. そして、jに1が加えられる。 Then, 1 is added to j. その後、手話動作セグメンテーション装置は、ステップS401に進む。 Then, sign language operation segmentation device goes to step S401.
【0110】 [0110]
[ステップS417] [Step S417]
セグメント位置判定部304は、動き特徴1001およびセグメント位置1004(図10参照)に基づき、動き特徴におけるセグメント位置を求める。 Segment position determination part 304, based on the movement feature 1001 and segment position 1004 (see FIG. 10) to determine the segment position in the motion feature.
動き特徴が「頷き頂点」の場合、「頷き頂点」と対応するセグメント位置は、Y座標最下点であり、セグメント位置判定部304は、Y座標最下点と対応するフレーム番号を求める。 If the motion feature is "nodding vertex", the segment position corresponding to the "nodding vertex" is the Y coordinate lowest point, the segment position determination part 304 finds the frame number corresponding to the Y coordinate lowest point.
すなわち、1番目の判定コードデータCode#data[1]のコード開始フレーム番号から、j−1番目の判定コードデータCode#data[j−1]のコード終了フレーム番号までに該当する各フレームについて、顔領域の重心のY座標を相互に比較する。 That is, from the first decision code data Code # code start frame number of the data [1], for each frame corresponding to up code end frame number of the j-1 th determination code data Code # data [j-1], comparing the center of gravity of the Y-coordinate of the face area to each other. そして、Y座標が最小となる(つまり顔領域の重心が最下点にくる)ようなフレームのフレーム番号を、動き特徴におけるセグメント位置とする。 Then, Y-coordinate is the smallest (the center of gravity of that is the face region comes to the lowest point) of the frame number of such frames, the segment position in the motion feature.
なお、Y座標最下点に該当するフレーム番号が複数出てきた場合は、最初の(番号が最も若い)フレーム番号を、セグメント位置とする。 Incidentally, if the frame number corresponding to the Y coordinate nadir came out more, (the lowest number) first frame number, the segment location.
その後、手話動作セグメンテーション装置は、ステップS418に進む。 Then, sign language operation segmentation device goes to step S418.
【0111】 [0111]
[ステップS418] [Step S418]
手話動作セグメンテーション装置は、セグメント位置を出力する。 Sign language operation segmentation device outputs the segment position. その後、ステップS401に戻り、上記と同様の処理を繰り返す。 Thereafter, the flow returns to step S401, and repeats the same processing as described above.
以上の手順により、頷き運動の検出による手話動作セグメンテーション方法が実現できる。 By the above procedure, the sign language operation segmentation method according to the detection of motion nod can be realized.
【0112】 [0112]
次に、瞬き運動の検出による手話動作セグメンテーション方法について説明する。 It will now be described sign language operation segmentation method according to the detection of blinking movements.
瞬き運動の検出による手話動作セグメンテーション方法では、前述の頷き運動の検出による手話動作セグメンテーション方法(図4参照)において、ステップS403の処理を、次のように変更する。 Blink The sign operation segmentation method according to the detection of motion in the detection sign language operation by the segmentation method of nod motion described above (see FIG. 4), the processing in step S403, modified as follows.
[ステップS403a] [Step S403a]
身体特徴抽出部302は、入力画像から、セグメント要素記憶部305に記憶されている身体特徴601(図6参照)と対応する画像を抽出する。 Body feature extraction part 302, from the input image, extracts a corresponding image with the body feature 601 (refer to FIG. 6) stored in the segment element storage part 305.
瞬き運動を検出する場合、身体特徴601に「目」が設定され、身体特徴抽出部302は、抽出身体特徴として目を抽出する。 When detecting blinking movement, "eyes" is set to the body feature 601, the body feature extraction part 302 extracts eyes as the extracted body features.
【0113】 [0113]
ここで、目の抽出方法について説明する。 Here will be described the eye extraction method.
最初、上記ステップS403と同様の方法で、顔領域を抽出する。 First, in the same manner as in step S403, it extracts the face region. 次に、抽出された顔領域から、以下のようにして、目を抽出する。 Then, from the extracted face region, as described below, it extracts the eye.
図12は、身体特徴抽出部302によって抽出された顔領域の一例を示す図である。 Figure 12 is a diagram showing an example of the face region extracted by the body feature extraction part 302.
図12において、抽出された顔領域1201には、眉毛による穴領域1202、目による穴領域1203、および口による穴領域1204が存在する(網掛けした部分が肌色領域)。 12, the extracted face region 1201, a hole region 1202 by the eyebrows, the hole region 1203 by the eye, and there is a hole region 1204 by the mouth (hatched portion skin color area).
【0114】 [0114]
図中、参照番号1205で示される直線は、顔上下分割ラインである。 In the figure, a straight line indicated by reference numeral 1205 is a face vertical division line. 顔上下分割ライン1205は、抽出された顔領域1201を上下に分割するラインである。 Face vertical dividing line 1205 is a line that divides the extracted face region 1201 vertically.
最初、この顔上下分割ライン1205が、顔の上端から顔の下端の間の、顔上下分割比率で指定される位置にひかれる。 First, the face vertical dividing line 1205, between the upper end face of the lower end face, run over to the position specified by the face vertical dividing ratio. ここで、顔上下分割比率は、パラメータであり、目の穴領域1203が顔上下分割ライン1205の上側の領域に入るように設定される。 Here, the face vertical dividing ratio is a parameter, the eye hole region 1203 is set to enter the upper region of the face vertical division line 1205. 本実施形態では、例えば、顔上下分割比率を「1/2」に設定する。 In the present embodiment, for example, sets a face vertical division ratio "1/2".
【0115】 [0115]
次に、顔上下分割ライン1205より上側の顔領域中の穴領域を検出する。 Next, to detect the hole area in the upper face region from the face vertical dividing line 1205.
検出された穴領域が2つの場合、それらの穴領域を眉毛と判定し、目は閉じられていると判定する。 If the detected hole area is two, it determines that eyebrows their holes region, determines that the eyes are closed.
検出された穴領域が3つの場合、片目が閉じられていると判定し、3つの穴領域のうち下にある1つを目と判定する。 If the detected hole area of ​​three, determines that one eye is closed, it is determined that the eye one under ones of three holes areas.
検出された穴領域が4つの場合、両目が開かれていると判定し、4つの穴領域のうち下にある2つを目と判定する。 If the detected hole area is four, it determines that both eyes are open, determines two under ones of four holes area eye and.
図12の例の場合、穴領域が4つあるため、下の2つの穴領域が、目による穴領域1203とわかる。 In the example of FIG. 12, since the hole area is four, two holes area under the, seen the hole region 1203 by the eye.
【0116】 [0116]
次に、身体特徴抽出部302は、目領域情報を生成する。 Next, the body feature extraction part 302 generates eye region information. すなわち、抽出した目の数と、目の面積とを、i番目の目領域情報eye[i]にセットする。 That is, the number of the extracted eyes and the eye area, is set to i-th eye region information eye [i].
図13は、身体特徴抽出部302によって生成される目領域情報の一例を示す図である。 Figure 13 is a diagram showing an example of the eye region information generated by the body feature extraction part 302.
図13において、目領域情報は、目の数1301、1つめの(目の)面積1302、および2つめの面積1303を含む。 13, the eye region information eye number 1301,1 nail (eye) area 1302, and a second area 1303.
身体特徴抽出部302は、最初、抽出した目の数を、目の数1301にセットする。 Body feature extraction part 302, first, the number of the extracted eyes is set to the number 1301 of the eye. そして、抽出した目の数に応じ、次のようにして目の面積をセットする。 Then, depending on the number of the extracted eyes, and sets the area of ​​the eye in the following manner.
【0117】 [0117]
抽出した目の数が0の場合、1つめの面積1302、および2つめの面積1303にそれぞれ0をセットする。 When the number of the extracted eyes is 0, 0 is set respectively to first one of the area 1302, and second area 1303.
抽出した目の数が1の場合、目(目による穴領域1203)の面積を計算して、1つめの面積1302にセットする。 When the number of the extracted eyes is 1, to calculate the area of ​​the eye (hole region 1203 by the eye), it is set to 1 claw area 1302. 2つめの面積1303には、0をセットする。 The second area 1303, is set to zero.
抽出した目の数が2の場合、2つの目の面積を各々計算して、1つめの面積1302には、左目(目による穴領域1203の左側の方)の面積をセットし、2つめの面積1303には、右目の面積をセットする。 When the number of the extracted eyes is 2, and each calculate the area of ​​the two eyes, the first one of the area 1302, and sets the area of ​​the left eye (towards the left side of the hole region 1203 by the eye), the second the area 1303, and sets the area of ​​the right eye.
その後、手話動作セグメンテーション装置は、ステップS404に進む。 Then, sign language operation segmentation device goes to step S404.
【0118】 [0118]
瞬き運動の検出による手話動作セグメンテーション方法では、上記のステップS405の処理を、次のように変更する。 The sign language operation segmentation method according to the detection of blinking movement, the processing of steps S405, modified as follows.
[ステップS405a] [Step S405a]
特徴運動追跡部303は、<式2>を用いて、i番目の目領域情報eye[i]と、i−1番目の目領域情報eye[i−1]とから、目の特徴運動コードを求める。 Feature movement tracking part 303, with <Equation 2>, and the i-th eye region information eye [i], because the i-1 th eye region information eye [i-1], a feature movement code for eyes Ask. また、i番目の目領域情報eye[i]の1つめの面積s1_eye[i]と、i−1番目の目領域情報eye[i−1]の1つめの面積s1_eye[i−1]とから、i番目の目の1つめの目の目領域面積変化d1_eye[i]を求める。 Further, the i-th eye region information The first area S1_eye the eye [i] [i], because the i-1 th eye region information eye [i-1] The first of the area s1_eye [i-1] , obtaining the i-th eye first one eye of the eye region area changing d1_eye [i]. また、i番目の目領域情報eye[i]の2つめの面積s2_eye[i]と、i−1番目の目領域情報eye[i−1]の2つめの面積s2_eye[i−1]とから、i番目の目の2つめ目領域面積変化d2_eye[i]を求める。 Further, the i-th eye region information The second area s2_eye the eye [i] [i], because the i-1 th eye region information The second area s2_eye the eye [i-1] [i-1] , obtaining the i-th eye second eye region area change d2_eye [i].
【数2】 [Number 2]
【0119】 [0119]
図14は、特徴運動追跡部303が特徴運動コードを決定するための、目による特徴運動決定条件を示す図である。 14, for the feature movement tracking part 303 to determine the feature movement code is a diagram showing a characteristic motion determining condition by eye.
図14において、目による特徴運動決定条件は、運動コード1401と、条件1402とを含む。 14, wherein the motion determining condition by eye includes a motion code 1401, and a condition 1402. 運動コード1401には、番号「0」〜「6」がセットされ、条件1402には、運動コード1401にセットされた各番号と対応して、各々、目による特徴運動決定条件がセットされる。 Exercise code 1401 is set numbers "0" to "6", the condition 1402, correspond to the respective numbers set to the movement code 1401, respectively, wherein movement determination condition by the eye is set.
条件1402中のαは、目が閉じているかどうかを判定する目面積閾値であり、例えば「1」がセットされる。 α in conditions 1402 are determined first area threshold value whether the eyes are closed, for example, "1" is set. βは、目の大きさが変化しているかどうかを判定する目大きさ変化閾値であり、例えば「5」がセットされる。 β is determined first size variation threshold if the size of the eye is changed, for example, "5" is set.
【0120】 [0120]
つまり、特徴運動追跡部303は、i番目の目領域情報eye[i]、i番目の1つめの目領域面積変化d1_eye[i]、および2つめの目領域面積変化d2_eye[i]を、図14の条件1402と比較して、i番目の目領域情報eye[i]、i番目の1つめの目領域面積変化d1_eye[i]、および2つめの目領域面積変化d2_eye[i]と一致するような目による特徴運動決定条件を選択する。 That is, feature movement tracking part 303, i-th eye region information eye [i], i th first one of the eye region area changing d1_eye [i], and the second eye region area change d2_eye [i], Figure compared to the conditions 1402 of 14, i-th eye region information eye [i], i th first one of the eye region area changing d1_eye [i], and matching the second eye region area change d2_eye [i] selecting a feature motion determining condition by eyes like. そして、図14の運動コード1401のうち、選択した目による特徴運動決定条件と対応する番号を取り出すことによって、特徴運動コードを決定する。 Of the motion code 1401 of FIG. 14, by retrieving the corresponding number, wherein motion determining condition according to the selected eyes, determining characteristics motion code.
例えば、目が両方閉じている場合、s1_eye[i]≦α、s2_eye[i]≦αとなり、このとき、特徴運動コードは、0となる。 For example, if the eyes are closed both, s1_eye [i] ≦ α, s2_eye [i] ≦ α, and this time, feature movement code is zero.
その後、手話動作セグメンテーション装置は、ステップS406に進む。 Then, sign language operation segmentation device goes to step S406.
【0121】 [0121]
瞬き運動の検出による手話動作セグメンテーション方法では、上記ステップS417の処理を、次のように変更する。 The sign language operation segmentation method according to the detection of blinking movement, the process of step S417, modified as follows.
[ステップS417a] [Step S417a]
セグメント位置判定部304は、動き特徴1001およびセグメント位置1004(図10参照)に基づき、動き特徴におけるセグメント位置を求める。 Segment position determination part 304, based on the movement feature 1001 and segment position 1004 (see FIG. 10) to determine the segment position in the motion feature.
動き特徴が「瞬き」の場合、「瞬き」と対応するセグメント位置は、目領域消失点であり、セグメント位置判定部304は、目領域消失点と対応するフレーム番号を求める。 If the motion feature is "blinking", the segment position corresponding to "blinking" is a eye region vanishing point, the segment position determination part 304 finds the frame number corresponding to the eye region vanishing point.
すなわち、2番目の判定コードデータCode#data[2]のコード開始フレーム番号を、セグメント位置とする。 That is, the second determination code data Code # code start frame number of the data [2], and the segment position.
その後、手話動作セグメンテーション装置は、ステップS418に進む。 Then, sign language operation segmentation device goes to step S418.
以上の手順により、瞬き運動の検出による手話動作セグメンテーション方法が実現できる。 By the above procedure, the sign language operation segmentation method according to the detection of the blink motion can be realized.
【0122】 [0122]
次に、口形変化(閉口)の検出による手話動作セグメンテーション方法について説明する。 Will now be described sign language operation segmentation method according to the detection of mouth shape changes (closed).
この場合、前述の頷き運動の検出による手話動作セグメンテーション方法(図4参照)において、ステップS403の処理を、次のように変更する。 In this case, the sign language operation segmentation method according to the detection of the aforementioned nodding motion (see Fig. 4), the processing in step S403, modified as follows.
[ステップS403b] [Step S403b]
身体特徴抽出部302は、入力画像から、セグメント要素記憶部305に記憶されている身体特徴601(図6参照)と対応する画像を抽出する。 Body feature extraction part 302, from the input image, extracts a corresponding image with the body feature 601 (refer to FIG. 6) stored in the segment element storage part 305.
口形変化(閉口)を検出する場合、身体特徴601に「口」が設定され、身体特徴抽出部302は、抽出身体特徴として口を抽出する。 When detecting a mouth shape change (closed), "mouth" is set to the body feature 601, the body feature extraction part 302 extracts the mouth as the extraction body features.
【0123】 [0123]
ここで、口の抽出方法について説明する。 Here, a method extracting the mouth.
最初、上記ステップS403と同様の方法で、顔領域を抽出する。 First, in the same manner as in step S403, it extracts the face region. 次に、抽出された顔領域から、以下のようにして、口を抽出する。 Then, from the extracted face region, as described below, it extracts the mouth.
図12において、最初、ステップS403と同様にして、顔上下分割ライン1205がひかれる。 12, first, as in step S403, run over the face vertical division line 1205. 次に、顔上下分割ライン1205より下側の顔領域中の穴領域を検出する。 Next, to detect the hole area in the lower face area from the face vertical dividing line 1205.
【0124】 [0124]
検出された穴領域が2つ以上の場合、それらの穴領域のうち、顔領域の下端との間の距離が口高さ条件に最も近いものを口とする。 If the detected hole area is two or more, of those holes region, the distance between the lower end of the face region and mouth closest to the mouth height conditions. ここで、口高さ条件は、パラメータであり、標準的な人の口の位置を、顔領域の下端との間の距離によって表したものである。 Here, the mouth height condition is a parameter, in which the position of the standard human mouth, represented by the distance between the lower end of the face area. 本実施形態では、口高さ条件を「10」に設定する。 In the present embodiment, to set the mouth height conditions to "10".
検出された穴領域が1つの場合、その穴領域を口とする。 If the detected hole area is one, and mouth the hole area.
穴領域が検出されない場合、口を閉じているとみなす。 If the hole area is not detected, it regarded as closing the mouth.
図12の例の場合、顔上下分割ライン1205より下側には、穴領域が1つだけなので、その穴領域が、口による穴領域1204とわかる。 For example in FIG. 12, the lower side of the face vertical dividing line 1205, the hole area is only one, the hole area is seen a hole region 1204 by mouth.
【0125】 [0125]
次に、身体特徴抽出部302は、口領域情報を生成する。 Next, the body feature extraction part 302 generates mouth region information. すなわち、抽出した口の面積と、口のY軸方向最大長とを、i番目の口領域情報mouth[i]にセットする。 That is, the area of ​​the extracted mouth, and a Y-axis direction maximum length of the mouth, is set to i-th mouth region information mouth [i].
図15は、身体特徴抽出部302が生成する口領域情報の一例を示す図である。 Figure 15 is a diagram showing an example of the mouth region information body feature extraction part 302 generates.
図15において、口領域情報は、口の面積1501、および口のY軸方向最大長1502を含む。 15, the mouth region information includes a Y-axis direction maximum length 1502 of the mouth area 1501, and mouth.
身体特徴抽出部302は、抽出した口の面積を計算して、口の面積1501にセットし、さらに、口のY軸方向の長さの最大長を計算して、口のY軸方向最大長1502にセットする。 Body feature extraction part 302 extracts the mouth area of ​​and calculations, to set the mouth area 1501 further calculates the maximum length of the length of the mouth of the Y-axis direction, Y axis direction maximum length of the mouth It is set to 1502.
その後、手話動作セグメンテーション装置は、ステップS404に進む。 Then, sign language operation segmentation device goes to step S404.
【0126】 [0126]
口形変化の検出による手話動作セグメンテーション方法では、上記のステップS405の処理を、次のように変更する。 The sign language operation segmentation method according to the detection of mouth shape changes, the processing of steps S405, modified as follows.
[ステップS405b] [Step S405b]
特徴運動追跡部303は、<式3>を用いて、i番目の口領域情報mouth[i]と、i−1番目の口領域情報mouth[i−1]とから、口の特徴運動コードを求める。 Feature movement tracking part 303, with <Equation 3>, and the i-th mouth region information mouth [i], because the i-1 th mouth region information mouth [i-1], the mouth feature movement code Ask. また、i番目の口領域情報mouth[i]の面積s_mouth[i]と、i−1番目の口領域情報mouth[i−1]の面積s_mouth[i−1]とから、i番目の口の口領域面積変化d_mouth[i]を求める。 Also, the area s_mouth [i] of the i-th mouth region information mouth [i], because the area s_mouth [i-1] of the i-1 th mouth region information mouth [i-1], the i-th mouth Request mouth area area change d_mouth [i].
【数3】 [Number 3]
【0127】 [0127]
また、<式4>を用いて、i番目の口領域情報mouth[i]のY軸方向最大長h_mouth[i]と、i−1番目の口領域情報mouth[i−1]のY軸方向最大長h_mouth[i−1]とから、i番目の口のY軸方向変化y_mouth[i]を求める。 Further, Y-axis direction by using the <Equation 4>, a i-th mouth region information mouth Y axis direction maximum length h_mouth of [i] [i], i-1-th mouth region information mouth [i-1] since the maximum length h_mouth [i-1], obtaining the i-th mouth of the Y-axis direction change y_mouth [i].
【数4】 [Number 4]
【0128】 [0128]
図16は、特徴運動追跡部303が特徴運動コードを決定するための、口による特徴運動決定条件を示す図である。 16, for the feature movement tracking part 303 to determine the feature movement code is a diagram showing a characteristic motion determining condition by mouth.
図16において、口による特徴運動決定条件は、運動コード1601と、条件1602とを含む。 16, wherein the motion determining condition by mouth comprises a motion code 1601, and a condition 1602. 運動コード1601には、番号「0」および「1」がセットされ、条件1602には、運動コード1601にセットされた各番号と対応して、各々、口による特徴運動決定条件がセットされる。 Exercise code 1601 is set number "0" and "1", the condition 1602, correspond to the respective numbers set to the movement code 1601, respectively, wherein movement determination condition by mouth is set.
条件1602中のγは、口形の変化の有無を判定するための口面積変化閾値であり、本実施形態では、例えば「5」がセットされる。 The γ in conditions 1602, a mouth area variation threshold for determining the presence or absence of mouth shape changes, in the present embodiment, for example, "5" is set. λは、口Y軸方向変化閾値であり、例えば「3」がセットされる。 λ is the mouth Y-axis direction change threshold, for example, "3" is set.
【0129】 [0129]
つまり、特徴運動追跡部303は、i番目の口領域面積変化d_mouth[i]およびY軸方向最大長h_mouth[i]を、図16の条件1602と比較して、i番目の口領域面積変化d_mouth[i]およびY軸方向最大長h_mouth[i]と一致するような口による特徴運動決定条件を選択する。 That is, feature movement tracking part 303, i-th mouth region area change d_mouth [i] and the Y-axis direction maximum length h_mouth [i], as compared to the condition 1602 in FIG. 16, i-th mouth region area change D_mouth [i] and selects the feature movement determining condition according to the Y-axis direction maximum length H_mouth [i] and the mouth to conform. そして、図16の運動コード1601のうち、選択した口による特徴運動決定条件と対応する番号を取り出すことによって、特徴運動コードを決定する。 Of the motion code 1601 in FIG. 16, by retrieving the corresponding number, wherein motion determining condition according to the selected mouth, determining characteristics motion code.
例えば、口が閉じている場合は、s_mouth[i]≦γとなり、このとき、特徴運動コードは、「0」となる。 For example, if the mouth is closed, s_mouth [i] ≦ γ, and this time, feature movement code is "0".
その後、手話動作セグメンテーション装置は、ステップS406に進む。 Then, sign language operation segmentation device goes to step S406.
【0130】 [0130]
口形変化の検出による手話動作セグメンテーション方法では、上記のステップS417の処理を、次のように変更する。 The sign language operation segmentation method according to the detection of mouth shape changes, the processing of steps S417, modified as follows.
[ステップS417b] [Step S417b]
セグメント位置判定部304は、動き特徴1001およびセグメント位置1004(図10参照)に基づき、動き特徴におけるセグメント位置を求める。 Segment position determination part 304, based on the movement feature 1001 and segment position 1004 (see FIG. 10) to determine the segment position in the motion feature.
動き特徴が「口形変化」の場合、「口形変化」と対応するセグメント位置は、変化始点終点であり、セグメント位置判定部304は、変化始点終点と対応するフレーム番号を求める。 If the motion feature is "mouth shape change", the segment position corresponding to the "mouth shape change" is the change starting and ending points, the segment position determination part 304 finds the frame number corresponding to the changed starting and ending points.
すなわち、2番目の判定コードデータCode#data[2]のコード開始フレーム番号と、2番目の判定コードデータCode#data[2]のコード終了フレーム番号とを、セグメント位置として出力する。 That is, the second determination code data Code # code start frame number of the data [2], and a second determination code data Code # code end frame number of the data [2], is output as the segment position.
その後、手話動作セグメンテーション装置は、ステップS418に進む。 Then, sign language operation segmentation device goes to step S418.
以上の手順により、口形変化の検出による手話動作セグメンテーション方法が実現できる。 By the above procedure, the sign language operation segmentation method according to the detection of mouth shape changes can be achieved.
【0131】 [0131]
次に、手および胴体の静止動作の検出による手話動作セグメンテーション方法について説明する。 It will now be described sign language operation segmentation method according to the detection of the hand and the body of the stationary operation.
この場合、前述の頷き動作の検出による手話動作セグメンテーション方法(図4参照)において、ステップS403の処理を、次のように変更する。 In this case, the sign language operation segmentation method according to the detection of the aforementioned nodding operation (see FIG. 4), the processing in step S403, modified as follows.
[ステップS403c] [Step S403c]
身体特徴抽出部302は、入力画像から、セグメント要素記憶部305に記憶されている身体特徴601(図6参照)と対応する画像を抽出する。 Body feature extraction part 302, from the input image, extracts a corresponding image with the body feature 601 (refer to FIG. 6) stored in the segment element storage part 305.
手および胴体の静止動作を検出する場合、身体特徴601に「手領域、胴体」が設定され、身体特徴抽出部302は、抽出身体特徴として手領域および胴体を抽出する。 When detecting a hand and torso of stationary operation, "hand region, body" to the body feature 601 is set, the body feature extraction part 302 extracts the hand region and body as the extracted body features.
【0132】 [0132]
ここで、手領域および胴体の抽出方法について説明する。 Here will be described the hand region and body extraction method.
最初、身体特徴抽出部302は、上記ステップS403と同様の方法で、手領域を抽出する。 First, the body feature extraction part 302, in the same manner as in step S403, extracts the hand region. すなわち、入力画像から肌色領域を抽出して、抽出された肌色領域のうち頭部領域と重複しない部分を取り出し、それを手領域とする。 In other words, by extracting a skin color area from the input image, the portion that does not overlap the head region of the extracted skin color region extraction to it with the hand region.
図7の場合、肌色領域のうち頭部領域と重複しない領域、すなわち手の肌色領域703が抽出される。 In FIG. 7, a region that does not overlap the head region of the skin color area, i.e. the hand of the skin color region 703 is extracted.
胴体については、ステップS402で検出された人物領域を、そのまま胴体とする。 The body, the human region detected in step S402, it is a body.
【0133】 [0133]
次に、身体特徴抽出部302は、手領域情報を生成する。 Next, the body feature extraction part 302 generates hand region information. すなわち、抽出した手領域に関し、その重心、面積、X軸方向最大長およびY軸方向最大長を、i番目の手領域情報hand[i]にセットする。 That relates to the extracted hand region, the center of gravity, area, the X-axis direction maximum length and the Y-axis direction maximum length is set to the i-th hand region information hand [i]. 次いで、抽出した胴体に関し、その重心、面積、X軸方向最大長およびY軸方向最大長を、i番目の胴体情報body[i]にセットする。 Then it relates extracted body, its center of gravity, area, the X-axis direction maximum length and the Y-axis direction maximum length is set to the i-th body information body [i].
図17は、身体特徴抽出部302が生成する手領域情報の一例を示す図である。 Figure 17 is a diagram showing an example of a hand region information body feature extraction part 302 generates.
図17において、手領域情報には、手の数1701、1つめの手の重心座標1702、1つめの手の面積1703、2つめの手の重心座標1704、および2つめの手の面積1705が含まれる。 17, the hand region information, barycentric coordinates of the number 1701,1 fingernail hand 1702,1 fingernail area 1703,2 fingernail of barycentric coordinates 1704, and second hand area 1705 included.
身体特徴抽出部302は、最初、抽出した手の数を、手の数1701にセットする。 Body feature extraction part 302, first, the number of extracted hands, and sets the number 1701 of the hand. そして、抽出した手の数に応じ、次のようにして手の重心座標および手の面積をセットする。 Then, depending on the number of extracted hands, and sets the area of ​​the center of gravity coordinates and hands hands in the following manner.
【0134】 [0134]
抽出した手の数1701が0の場合、1つめの手の重心座標1702、および2つめの手の重心座標1704に、それぞれ(0,0)を設定し、また、1つめの手の面積1703、および2つめの手の面積1705に、それぞれ0を設定する。 If the number 1701 of the extracted hand is 0, 1 fingernail of barycentric coordinates 1702, and the second center of gravity coordinate 1704 of the hand, set respectively (0,0), also the first one hand area 1703 , and the second hand area 1705, respectively set to 0.
抽出した手の数1701が「1」の場合、手領域の重心座標および面積を計算して、1つめ手の重心座標1702、および1つめの手の面積1703にセットする。 If the extracted number 1701 of the hand is "1", to calculate the barycentric coordinates and the area of ​​the hand region, set in the first one hand barycentric coordinates 1702 and 1 fingernail area 1703. また、2つめの手の重心座標1704に(0、0)をセットし、2つめの手の面積1705に0をセットする。 Also, it sets (0,0) to the center coordinates 1704 of second hand, sets 0 to the second hand area 1705.
抽出した手の数1701が「2」の場合、2つの手領域のうち左側の領域の重心座標および面積を計算して、1つめ手の重心座標1702、および1つめの手の面積1703にセットする。 If the extracted number 1701 of the hand is "2", the two by calculating the barycentric coordinates and the area of ​​the left area of ​​the hand region, set in first one hand barycentric coordinates 1702 and 1 fingernail area 1703, to. また、2つの手領域のうち右側の領域の重心座標および面積を計算して、2つめ手の重心座標1704、および2つめの手の面積1705にセットする。 Moreover, the barycentric coordinates and the area of ​​the right region of the two hand region calculated and set to the barycentric coordinates 1704, and second hand area 1705 of second hand.
胴体情報body[i]は、顔領域情報face[i]と同様、図8の構成で実現できる。 Body information body [i] is similar to the face-area information face [i], can be realized in the configuration of FIG.
その後、手話動作セグメンテーション装置は、ステップS404に進む。 Then, sign language operation segmentation device goes to step S404.
【0135】 [0135]
手および胴体の静止動作の検出による手話動作セグメンテーション方法では、上記のステップS405の処理を、次のように変更する。 The sign language operation segmentation method according to the detection of the hand and the body of the stationary operation, the processing of steps S405, modified as follows.
[ステップS405c] [Step S405c]
特徴運動追跡部303は、<式5>を用いて、i番目の手領域情報hand[i]と、i−1番目の手領域情報hand[i−1]と、i番目の胴体情報body[i]と、i−1番目の胴体情報body[i−1]とから、手領域および胴体の特徴運動コードを求める。 Feature movement tracking part 303, with <Equation 5>, a i-th hand region information hand [i], the i-1 th hand region information hand [i-1], the i-th body information body [ i] and, from the i-1 th body information body [i-1], determining the hand region and body features movement code. また、i番目の手領域情報hand[i]の1つめの手の重心g1_hand[i]と、i−1番目の手領域情報hand[i−1]の1つめの手の重心g1_hand[i−1]とから、i番目の手領域の1つめの手の移動量m1_hand[i]を求める。 Moreover, i-th hand region information hand [i] of the first one between the center of gravity g1_hand [i] hand, i-1-th hand region information hand [i-1] of 1 fingernail centroid g1_hand [i- from 1], obtaining the i th 1 fingernail hand region of the movement amount m1_hand [i]. また、i番目の手領域情報hand[i]の2つめの手の重心g2_hand[i]と、i−1番目の手領域情報hand[i−1]の2つめの手の重心g2_hand[i−1]とから、i番目の手領域の2つめの手の移動量m2_hand[i]を求める。 Further, the i-th hand region information hand [i] of the second hand of the center of gravity g2_hand [i], the center of gravity G2_hand the second hand (i-1) th hand region information hand [i-1] [i- from 1], obtaining the i-th second hand hand area of ​​the movement amount m2_hand [i].
【数5】 [Number 5]
【0136】 [0136]
また、<式6>を用いて、i番目の手領域情報hand[i]の1つめの手の面積s1_hand[i]と、i−1番目の手領域情報hand[i−1]の1つめの手の面積s1_hand[i−1]とから、i番目の手領域の1つめの手の面積変化量d1_hand[i]を求める。 Further, The first of using <Equation 6>, the i-th hand region information hand [i] of the first one of the hand area s1_hand [i], i-1-th hand region information hand [i-1] since the hand area s1_hand [i-1], obtaining the i-th area change amount of one fingernail hand region d1_hand [i]. また、i番目の手領域情報hand[i]の2つめの手の面積s2_hand[i]と、i−1番目の手領域情報hand[i−1]の2つめの手の面積s2_hand[i−1]とから、i番目の手領域の2つめの手の面積変化量d2_hand[i]を求める。 Moreover, i-th and the area of ​​the second hand of the hand region information hand [i] s2_hand [i], i-1-th hand region information hand [i-1] of the second hand area s2_hand [i- from 1], obtaining the i-th area change amount of second hand hand area d2_hand [i].
【数6】 [6]
【0137】 [0137]
また、<式7>を用いて、i番目の胴体情報body[i]の重心g_body[i]と、i−1番目の胴体情報body[i−1]の重心g_body[i−1]とから、i番目の胴体の移動量m_body[i]を求める。 Further, by using the <Equation 7>, and i th centroid G_body fuselage information body [i] [i], because the center of gravity g_body [i-1] of the i-1 th body information body [i-1] , obtaining the i-th body movement amount m_body [i].
【数7】 [Equation 7]
【0138】 [0138]
図18は、胴体および手領域による特徴運動決定条件を示す図である。 Figure 18 is a diagram showing a characteristic motion determining condition according to the body and hand region.
図18において、胴体および手領域による特徴運動決定条件は、運動コード1801と、条件1802とを含む。 18, wherein the motion determination condition according to the body and hand region include a movement code 1801 and a condition 1802. 運動コード1801には、番号「0」および「1」がセットされ、条件1802には、運動コード1801にセットされた各番号と対応して、各々、胴体および手領域による特徴運動決定条件がセットされる。 Exercise code 1801 is set number "0" and "1", the condition 1802, correspond to the respective numbers set to the movement code 1801, respectively, wherein movement determination condition according to the body and hand region are set It is.
条件1802中のχは、手領域の停止判定閾値であり、本実施形態では、例えば「5」がセットされる。 The χ in conditions 1802, a stop determination threshold value of the hand region, in the present embodiment, for example, "5" is set. δは、手領域の形状変化判定閾値であり、例えば「10」がセットされる。 δ is the shape change determination threshold of the hand region, for example, "10" is set. εは、胴体の停止判定閾値であり、例えば「5」がセットされる。 ε is the torso stop determination threshold value, for example "5" is set.
【0139】 [0139]
つまり、特徴運動追跡部303は、i番目の手領域の1つめの手の移動量m1_hand[i]、i番目の手領域の2つめの手の移動量m2_hand[i]、i番目の手領域の1つめの手の面積変化量d1_hand[i]、i番目の手領域の2つめの手の面積変化量d2_hand[i]、およびi番目の胴体の移動量m_body[i]を、図18の条件1802と比較して、i番目の手領域の1つめの手の移動量m1_hand[i]、i番目の手領域の2つめの手の移動量m2_hand[i]、i番目の手領域の1つめの手の面積変化量d1_hand[i]、i番目の手領域の2つめの手の面積変化量d2_hand[i]、およびi番目の胴体の移動量m_body[i]と一致するような手領域および胴体による特徴運動 That is, feature movement tracking part 303, i-th moving amount of 1 fingernail hand region m1_hand [i], i-th second hand hand area of ​​the movement amount m2_hand [i], i-th hand region the area change amount of one fingernail d1_hand [i], i-th area change amount of second hand hand area d2_hand [i], and the i-th body movement amount m_body [i], in FIG. 18 compared to the conditions 1802, the i-th 1 fingernail hand region of the movement amount m1_hand [i], i-th second hand hand area of ​​the movement amount m2_hand [i], 1 of the i-th hand region fingernail of area change amount d1_hand [i], i-th area change amount of second hand hand area d2_hand [i], and the i-th body movement amount m_body [i] and hand region to conform wherein movement and by the fuselage 定条件を選択する。 To select a constant conditions. そして、図18の運動コード1801のうち、選択した手領域および胴体による特徴運動決定条件と対応する番号を取り出すことによって、特徴運動コードを決定する。 Of the motion code 1801 in FIG. 18, by retrieving the corresponding number, wherein motion determining condition according to the selected hand region and body, determining characteristics motion code.
例えば、手領域が左右に移動中の場合、i番目の手領域の移動量m_hand[i]>χとなり、このとき、特徴運動コードは、「1」となる。 For example, if the hand region is moving to the left or right movement amount m_hand of i-th hand region [i]> chi, and this time, feature movement code is "1".
その後、手話動作セグメンテーション装置は、ステップS406に進む。 Then, sign language operation segmentation device goes to step S406.
【0140】 [0140]
手および胴体の静止動作の検出による手話動作セグメンテーション方法では、上記のステップS417の処理を、次のように変更する。 The sign language operation segmentation method according to the detection of the hand and the body of the stationary operation, the processing of steps S417, modified as follows.
[ステップS417c] [Step S417c]
セグメント位置判定部304は、動き特徴1001およびセグメント位置1004(図10参照)に基づき、動き特徴におけるセグメント位置を求める。 Segment position determination part 304, based on the movement feature 1001 and segment position 1004 (see FIG. 10) to determine the segment position in the motion feature.
動き特徴が「動作静止」の場合、「動作静止」と対応するセグメント位置は、動作静止始点であり、セグメント位置判定部304は、動作静止始点と対応するフレーム番号を求める。 If the motion feature is "operational at rest", the segment position corresponding to the "operation stationary" is an operation still start, the segment position determination part 304 finds the frame number corresponding to the operating stationary starting point.
または、静止区間の中間点と対応するフレーム番号を求めてもよい。 Or may be obtained frame number and the corresponding midpoint of the stationary section. この場合、1番目の判定コードデータCode_data[1]のコード開始フレーム番号と、1番目の判定コードデータCode_data[1]のコード終了フレーム番号とを求めて、それらの中間値を計算すればよい。 In this case, the first determination code data Code_Data code start frame number of [1], the first determination code data Code_Data [1] seeking the code end frame number, may be calculated and their intermediate values.
その後、手話動作セグメンテーション装置は、ステップS418に進む。 Then, sign language operation segmentation device goes to step S418.
以上の手順により、手および胴体の静止動作の検出による手話動作セグメンテーション方法が実現できる。 By the above procedure, the sign language operation segmentation method according to the detection of the hand and the body of the stationary operation can be realized.
【0141】 [0141]
次に、手と顔との接触動作の検出による手話動作セグメンテーション方法について説明する。 It will now be described sign language operation segmentation method according to the detection of the contact operation of the hand and face.
この場合、前述の頷き動作の検出による手話動作セグメンテーション方法(図4参照)において、ステップS403の処理を、次のように変更する。 In this case, the sign language operation segmentation method according to the detection of the aforementioned nodding operation (see FIG. 4), the processing in step S403, modified as follows.
[ステップS403d] [Step S403d]
身体特徴抽出部302は、入力画像から、セグメント要素記憶部305に記憶されている身体特徴601(図6参照)と対応する画像を抽出する。 Body feature extraction part 302, from the input image, extracts a corresponding image with the body feature 601 (refer to FIG. 6) stored in the segment element storage part 305.
手と顔との接触動作を検出する場合、身体特徴601に「顔領域、手領域」が設定され、抽出身体特徴として顔領域および手領域を抽出する。 When detecting the contact operation between the hand and face, "face region, hand region" in the body feature 601 is set to extract the face region and hand region as the extraction body features.
【0142】 [0142]
ここで、顔領域および手領域の抽出方法について説明する。 Here, a method extracting the face region and hand region.
最初、上記ステップS403と同様の方法で、顔領域を抽出し、また、上記ステップS403cと同様の方法で、手領域を抽出する。 First, in the same manner as in step S403, it extracts a face region, in step S403c and the same method to extract the hand region.
次に、抽出した顔領域に関し、その重心、面積、X軸方向最大長およびY軸方向最大長を、i番目の顔領域情報face[i]にセットする。 Next, it relates the extracted face region, the center of gravity, area, the X-axis direction maximum length and the Y-axis direction maximum length is set to the i-th face region information face [i]. また、抽出した手領域に関し、その重心、面積、X軸方向最大長およびY軸方向最大長を、i番目の手領域情報hand[i]にセットする。 Also relates extracted hand region, the center of gravity, area, the X-axis direction maximum length and the Y-axis direction maximum length is set to the i-th hand region information hand [i].
その後、手話動作セグメンテーション装置は、ステップS404に進む。 Then, sign language operation segmentation device goes to step S404.
【0143】 [0143]
手と顔との接触動作の検出による手話動作セグメンテーション方法では、上記のステップS405の処理を、次のように変更する。 The sign language operation segmentation method according to the detection of the contact operation between hand and face, the processing of steps S405, modified as follows.
[ステップS405d] [Step S405d]
特徴運動追跡部303は、<式8>を用いて、i番目の手領域情報hand[i]と、i番目の顔領域情報face[i]とから、手領域および顔領域の特徴運動コードを求める。 Feature movement tracking part 303, with <Equation 8>, and the i-th hand region information hand [i], because the i-th face region information face [i], a feature movement code for the hand region and face region Ask. また、i番目の手領域情報hand[i]の1つめの手の重心g1_hand[i]と、i番目の顔領域情報face[i]の重心g_face[i]とから、i番目の手領域の1つめの手と顔との距離l1_fh[i]を求める。 Further, the first one of the i-th hand region information hand [i] between the center of gravity g1_hand [i] hand, because the center of gravity g_face [i] of the i-th face region information face [i], the i-th hand region determining the distance l1_fh [i] of the first one of the hands and face. また、i番目の手領域情報hand[i]の2つめの手の重心g2_hand[i]と、i番目の顔領域情報face[i]の重心g_face[i−1]とから、i番目の手領域の2つめの手と顔との距離l2_fh[i]を求める。 Further, the i-th second hand centroid g2_hand hand region information hand [i] and [i], because the i-th face region information centroid g_face the face [i] [i-1], i-th hand determining the distance l2_fh [i] of the second hand and face area.
【数8】 [Equation 8]
【0144】 [0144]
ただし、i番目の手領域情報hand[i]の1つめの手の面積s1_hand[i]が0の場合は、l1_fh[i−1]≦Φであれば、l1_fh[i]=0とする。 However, if the i-th hand region information hand [i] of the first one of the hand area s1_hand [i] is 0, if l1_fh [i-1] ≦ Φ, and l1_fh [i] = 0. l1_fh[i−1]>Φであれば、l1_fh[i]=1000とする。 If l1_fh [i-1]> Φ, and l1_fh [i] = 1000.
同様に、i番目の手領域情報hand[i]の2つめの手の面積s2_hand[i]が0の場合、l2_fh[i−1]≦Φであれば、l2_fh[i]=0とする。 Similarly, if the i-th hand region information hand [i] of the second hand area s2_hand [i] is 0, if l2_fh [i-1] ≦ Φ, and l2_fh [i] = 0. l2_fh[i−1]>Φであれば、l2_fh[i]=1000とする。 If l2_fh [i-1]> Φ, and l2_fh [i] = 1000. ここで、Φは、顔と手との距離閾値であり、本実施形態では、例えば「20」がセットされる【0145】 Here, [Phi is the distance threshold between the face and hands, in the present embodiment, [0145] that "20" is set for example
図19は、特徴運動追跡部303が特徴運動コードを決定するための、手と顔との接触動作による特徴運動決定条件を示す図である。 19, for the feature movement tracking part 303 to determine the feature movement code is a diagram showing a characteristic motion determining condition due to contact operation with the hands and face.
図19において、手と顔との接触動作による特徴運動決定条件は、運動コード1901と、条件1902とを含む。 19, wherein the motion determining condition due to contact operation with the hands and face, includes a motion code 1901, and a condition 1902. 運動コード1901には、番号「0」および「1」がセットされ、条件1902には、運動コード1901にセットされた各番号と対応して、各々、手と顔との接触動作による特徴運動決定条件がセットされる。 Exercise code 1901 is set number "0" and "1", the condition 1902, correspond to the respective numbers set to the movement code 1901, respectively, wherein movement determined by the contact operation between the hand and face conditions are set.
条件1902中のωは、手領域と顔領域の接触閾値であり、本実施形態では、例えば「5」がセットされる。 The ω in conditions 1902, a contact threshold of the hand region and face region, in the present embodiment, for example, "5" is set.
【0146】 [0146]
つまり、特徴運動追跡部303は、i番目の手領域の1つめの手と顔との距離l1_fh[i]、およびi番目の手領域の2つめの手と顔との距離l2_fh[i]を、図19の条件1902と比較して、i番目の手領域の1つめの手と顔との距離l1_fh[i]、およびi番目の手領域の2つめの手と顔との距離l2_fh[i]と一致するような特徴運動決定条件を選択する。 That is, feature movement tracking part 303, the distance between the first one of the hands and face of the i-th hand region l1_fh [i], and i-th distance between second hand and face hand region l2_fh [i] a , as compared to the condition 1902 in FIG. 19, the distance between the first one of the hands and face of the i-th hand region l1_fh [i], and i-th distance between second hand and face hand region L2_fh [i selecting a feature movement determination conditions to match. そして、図19の運動コード1901のうち、選択した特徴運動決定条件と対応する番号を取り出すことによって、特徴運動コードを決定する。 Of the motion code 1901 of FIG. 19, by retrieving the corresponding number, wherein motion determination conditions selected, determining characteristics motion code.
例えば、右手が顔と重なっている場合、i番目の手領域の一つめの手と顔の距離l1_fh[i]=0となり、このとき、特徴運動コードは、「0」となる。 For example, if the right hand overlaps the face, i-th distance Firstly hands and face of the hand region l1_fh [i] = 0, and this time, feature movement code is "0".
その後、手話動作セグメンテーション装置は、ステップS406に進む。 Then, sign language operation segmentation device goes to step S406.
【0147】 [0147]
手と顔との接触動作の検出による手話動作セグメンテーション方法では、上記のステップS417の処理を、次のように変更する。 The sign language operation segmentation method according to the detection of the contact operation between hand and face, the processing of steps S417, modified as follows.
[ステップS417d] [Step S417d]
セグメント位置判定部304は、動き特徴1001およびセグメント位置1004(図10参照)に基づき、動き特徴におけるセグメント位置を求める。 Segment position determination part 304, based on the movement feature 1001 and segment position 1004 (see FIG. 10) to determine the segment position in the motion feature.
動き特徴が「手と顔との接触動作」の場合、「手顔接触」と対応するセグメント位置は、「接触始点終点」であり、セグメント位置判定部304は、手顔接触区間の始点および終点と対応するフレーム番号を求める。 If the motion feature is "contact operation between the hand and the face", the segment position corresponding to the "Tekao contact" a "contact start point the end point", the segment position determination part 304, the start and end points of Tekao contact zone determine the frame number and the corresponding.
すなわち、1番目の判定コードデータCode#data[1]のコード開始フレーム番号と、1番目の判定コードデータCode#data[1]のコード終了フレーム番号とを、セグメント位置とする。 That is, the first determination code data Code # code start frame number of the data [1], and the first determination code data Code # code end frame number of the data [1], and the segment position.
その後、手話動作セグメンテーション装置は、ステップS401に進む。 Then, sign language operation segmentation device goes to step S401.
以上の手順により、手と顔との接触動作の検出による手話動作セグメンテーション方法が実現できる。 By the above procedure, the sign language operation segmentation method according to the detection of the contact operation of the hand and face can be realized.
【0148】 [0148]
次に、手の有効性変化の検出による手話動作セグメンテーション方法について説明する。 It will now be described sign language operation segmentation method according to the detection of the effectiveness of changes in hand.
この場合、前述の頷き動作の検出による手話動作セグメンテーション方法(図4参照)において、ステップS403の処理を、次のように変更する。 In this case, the sign language operation segmentation method according to the detection of the aforementioned nodding operation (see FIG. 4), the processing in step S403, modified as follows.
[ステップS403e] [Step S403e]
身体特徴抽出部302は、入力画像から、セグメント要素記憶部305に記憶されている身体特徴601(図6参照)と対応する画像を抽出する。 Body feature extraction part 302, from the input image, extracts a corresponding image with the body feature 601 (refer to FIG. 6) stored in the segment element storage part 305.
手の有効性変化を検出する場合、身体特徴601に「手領域」が設定され、身体特徴抽出部302は、抽出身体特徴として手領域を抽出する。 When detecting the effectiveness of changes in the hand, is set to "hand region" in the body feature 601, the body feature extraction part 302 extracts the hand region as the extracted body features.
【0149】 [0149]
なお、手領域は、上記ステップS403cと同様の方法で抽出する。 Note that the hand region is extracted in step S403c and the same method.
次に、身体特徴抽出部302は、抽出した手領域に関し、その重心、面積、X軸方向最大長およびY軸方向最大長を、i番目の手領域情報hand[i]にセットする。 Next, the body feature extraction part 302 relates extracted hand region, the center of gravity, area, the X-axis direction maximum length and the Y-axis direction maximum length is set to the i-th hand region information hand [i].
その後、手話動作セグメンテーション装置は、ステップS404に進む。 Then, sign language operation segmentation device goes to step S404.
【0150】 [0150]
手の有効性変化の検出による手話動作セグメンテーション方法では、上記のステップS405の処理を、次のように変更する。 The sign language operation segmentation method according to the detection of the effectiveness of the change of the hand, the processing of steps S405, modified as follows.
[ステップS405e] [Step S405e]
特徴運動追跡部303は、前述の<式5>を用いて、i番目の手領域情報hand[i]から、手の有効性および動きによる特徴運動コードを求める。 Feature movement tracking part 303, with the aforementioned <Equation 5>, the i-th hand region information hand [i], calculates a characteristic movement code by effectiveness and movement of the hand.
また、i番目の手領域情報hand[i]の1つめの手の重心g1_hand[i]から、1つめの手が、上記ステップS402で空間分割して得られた複数の領域(図5参照)のうちどの領域に属するかを判定して、その領域コードを求め、一つめの手の手領域空間コードsp1_hand[i]にセットする。 Moreover, i-th from the hand region information hand [i] of one fingernail of the center of gravity g1_hand [i], 1 claw hand, a plurality obtained by space division in step S402 region (see FIG. 5) and determine belongs to which region of, Searching for the area code, and sets the first one of the hand the hand region spatial code of sp1_hand [i]. なお、i番目の手領域情報hand[i]の1つめの手の面積s1_hand[i]が0の場合、1つめの手の手領域空間コードsp1_hand[i]に「6」をセットする。 In the case the i-th hand region information hand [i] of the first one of the hand area s1_hand [i] is 0, sets "6" to the first one of the hand of the hand region spatial code sp1_hand [i].
【0151】 [0151]
また、i番目の手領域情報hand[i]の2つめの手の重心g2_hand[i]から、領域コードを求めて、2つめの手の手領域空間コードsp2_hand[i]にセットする。 Moreover, the second hand of the center of gravity g2_hand [i] of the i-th hand region information hand [i], seeking region code is set in second hand hand area spatial code sp2_hand [i]. なお、i番目の手領域情報hand[i]の2つめの手の面積s2_hand[i]が0の場合、2つめの手の手領域空間コードsp2_hand[i]に「6」をセットする。 In the case the i-th hand region information hand [i] of the second hand area s2_hand [i] is 0, sets "6" to the second hand of the hand region spatial code sp2_hand [i].
【0152】 [0152]
また、i番目の手領域情報hand[i]の1つめの手の重心g1_hand[i]と、i−1番目の手領域情報hand[i−1]の1つめの手の重心g1_hand[i−1]とから、i番目の手領域の1つめの手の移動量m1_hand[i]を求める。 Moreover, i-th hand region information hand [i] of the first one between the center of gravity g1_hand [i] hand, i-1-th hand region information hand [i-1] of 1 fingernail centroid g1_hand [i- from 1], obtaining the i th 1 fingernail hand region of the movement amount m1_hand [i].
また、i番目の手領域情報hand[i]の2つめの手の重心g2_hand[i]と、i−1番目の手領域情報hand[i−1]の2つめの手の重心g2_hand[i−1]とから、i番目の手領域の2つめの手の移動量m2_hand[i]を求める。 Further, the i-th hand region information hand [i] of the second hand of the center of gravity g2_hand [i], the center of gravity G2_hand the second hand (i-1) th hand region information hand [i-1] [i- from 1], obtaining the i-th second hand hand area of ​​the movement amount m2_hand [i].
【0153】 [0153]
図20は、特徴運動追跡部303が特徴運動コードを決定するための、手の有効性変化による特徴運動決定条件を示す図である。 Figure 20, for the feature movement tracking part 303 to determine the feature movement code is a diagram showing a characteristic motion determining condition by the validity change hands.
図20において、手の有効性変化による特徴運動決定条件は、運動コード2001と、条件2002とを含む。 In Figure 20, wherein the motion determination condition by the validity change hand, includes a motion code 2001, and a condition 2002. 運動コード2001には、番号「0」〜「5」がセットされ、条件2002には、運動コード2001にセットされた各番号と対応して、各々、手と顔との接触動作による特徴運動決定条件がセットされる。 The movement code 2001 is set numbers "0" to "5", the condition 2002, correspond to the respective numbers set to the movement code 2001, respectively, wherein movement determined by the contact operation between the hand and face conditions are set.
条件2002中のχは、手領域の停止判定閾値であり、本実施形態では、例えば「5」がセットされる。 The χ conditions in 2002, a stop determination threshold value of the hand region, in the present embodiment, for example, "5" is set.
【0154】 [0154]
つまり、特徴運動追跡部303は、i番目の手領域の1つめの手の手領域空間コードsp1_hand[i]、i番目の手領域の1つめの手の移動量m1_hand[i]、i番目の手領域の2つめの手の手領域空間コードsp2_hand[i]、およびi番目の手領域の2つめの手の移動量m2_hand[i]を、図20の条件2002と比較して、i番目の手領域の1つめの手の手領域空間コードsp1_hand[i]、i番目の手領域の1つめの手の移動量m1_hand[i]、i番目の手領域の2つめの手の手領域空間コードsp2_hand[i]、およびi番目の手領域の2つめの手の移動量m2_hand[i]と一致するような手と顔との接触動作による特徴運動決定条件を選択する。 That is, feature movement tracking part 303, i th 1 fingernail hand region spatial code sp1_hand hand area [i], i th 1 fingernail hand region of the movement amount m1_hand [i], i th the second hand of the hand region spatial code sp2_hand hand area [i], and the second of the i-th hand region and the movement amount m2_hand [i] hand, as compared to the condition 2002 in FIG. 20, the i-th the first hand of the hand region spatial code sp1_hand hand area [i], i-th moving amount of 1 fingernail hand region m1_hand [i], i-th second hand hand area spatial code of the hand region sp2_hand [i], and the i-th selecting features motion determining condition due to contact operation between hand and face, such as to match the amount of movement of the second hand of the hand region m2_hand [i].
例えば、右手が移動中で、かつ左手が入力画像501(図5参照)の一番下の位置まで降りた状態の場合、i番目の手領域の1つめの手の移動量m1_hand[i]>χとなり、i番目の手領域の2つめの手の手領域空間コードsp2_hand[i]=7となり、このとき、特徴運動コードは、「2」となる。 For example, right hand in the movement, and the left hand input image 501 when in a state of down to its lowermost position (see FIG. 5), i th 1 fingernail hand region of the movement amount m1_hand [i]> next chi, i th second hand hand area spatial code sp2_hand hand area [i] = 7, and this time, feature movement code is "2".
その後、手話動作セグメンテーション装置は、ステップS406に進む。 Then, sign language operation segmentation device goes to step S406.
【0155】 [0155]
手の有効性変化の検出による手話動作セグメンテーション方法では、上記のステップS417の処理を、次のように変更する。 The sign language operation segmentation method according to the detection of the effectiveness of the change of the hand, the processing of steps S417, modified as follows.
[ステップS417e] [Step S417e]
セグメント位置判定部304は、動き特徴1001およびセグメント位置1004(図10参照)に基づき、動き特徴におけるセグメント位置を求める。 Segment position determination part 304, based on the movement feature 1001 and segment position 1004 (see FIG. 10) to determine the segment position in the motion feature.
動き特徴が「手の有効性変化点」の場合、「手有効性変化点」と対応するセグメント位置は、「コード変化点」であり、セグメント位置判定部304は、コード変化点と対応するフレーム番号を求める。 If the motion feature is "validity changing point of the hand", the segment position corresponding to the "hand validity changing point" is "a chord change point", the segment position determination part 304 corresponds to the code change point frame determine the number.
すなわち、1番目の判定コードデータCode_data[1]のコード開始フレーム番号と、1番目の判定コードデータCode_data[1]のコード終了フレーム番号とを、セグメント位置とする。 That is, the first determination code code start frame number of the data Code_Data [1], and the first determination code code end frame number of the data Code_Data [1], and the segment position.
その後、ステップS418に進む。 Thereafter, the process proceeds to step S418.
以上の手順により、手の有効性変化の検出による手話動作セグメンテーション方法が実現できる。 By the above procedure, the sign language operation segmentation method according to the detection of the effectiveness of the change of the hand can be realized.
【0156】 [0156]
次に、上記の各動作の検出の組み合わせによる手話動作セグメンテーション方法について説明する。 It will now be described sign language operation segmentation method according to the combination of detection of each operation of the.
この場合、前述の頷き動作の検出による手話動作セグメンテーション方法(図4参照)において、ステップS403を次のように変更する。 In this case, the sign language operation segmentation method according to the detection of the aforementioned nodding operation (see FIG. 4), to change the step S403 as follows.
[ステップS403f] [Step S403f]
身体特徴抽出部302は、入力画像から、セグメント要素記憶部305に記憶されている身体特徴601(図6参照)と対応する画像を抽出する。 Body feature extraction part 302, from the input image, extracts a corresponding image with the body feature 601 (refer to FIG. 6) stored in the segment element storage part 305.
上記の各動作を検出する場合、身体特徴601に「顔領域」、「目」、「口」、「手領域、胴体」、「手領域、顔領域」および「手領域」が設定され、身体特徴抽出部302は、抽出身体特徴として、顔領域、目、口、手領域および胴体を抽出する。 When detecting the operation of the "face area" in the body feature 601, "eyes", "mouth", "hand region, body", "hand region, face region" and "hand region" is set, the body feature extraction unit 302, as the extraction body feature, extracts a face region, eyes, mouth, and hand region and body.
なお、顔領域は、上記ステップS403と同様の方法で抽出する。 Note that the face region is extracted in the same manner as in step S403. 目は、上記ステップS403aと同様の方法で抽出する。 Eyes is extracted in step S403a same manner. 口は、上記ステップS403bと同様の方法で抽出する。 Mouth is extracted in step S403b the same method. 手領域および胴体は、上記ステップS403cと同様の方法で抽出する。 Hand region and body are extracted in step S403c and the same method.
【0157】 [0157]
次に、身体特徴抽出部302は、抽出した顔領域、目、口、手領域および胴体に関する情報を、各々、顔領域情報face[i]、目領域情報eye[i]、口領域情報mouth[i]、手領域情報hand[i]、および胴体情報body[i]にセットする。 Next, the body feature extraction part 302 extracts the face region, eyes, mouth, information on the hand region and body, respectively, the face region information face [i], the eye region information eye [i], the mouth region information mouth [ i], the hand region information hand [i], and sets the body information body [i].
その後、手話動作セグメンテーション装置は、ステップS404に進む。 Then, sign language operation segmentation device goes to step S404.
【0158】 [0158]
そして、手話動作セグメンテーション装置は、上記ステップS405からステップS417までを処理し、続いて、上記ステップS405bからステップS417bまでを処理する。 The sign language operation segmentation device processes from step S405 to step S417, Then, the process from step S405b to step S417b. 以降、上記ステップS405cからステップS417cまでの処理、上記ステップS405dからステップS417dまでの処理、および上記ステップS405eからステップS417dまでの処理を、順番に処理する。 Thereafter, the processes from step S405c to step S417c, the processing from step S405d to step S417d, and the processing from step S405e to step S417d, is processed in turn.
これにより、上記の各動作の検出の組み合わせによる手話動作セグメンテーション方法が実現できる。 Thus, the sign language operation segmentation method according to the combination of detection of each operation described above can be realized.
【0159】 [0159]
次に、上記各方法において、検出した動作の継続時間を考慮してセグメンテーションを行うような手話動作セグメンテーション方法について説明する。 Then, in the above method, considering the duration of the detected operation will be described sign language operation segmentation method performs segmentation.
図21は、頷き動作の検出による手話動作セグメンテーション方法(図4参照)において、検出した動作の継続時間を考慮してセグメンテーションを行う場合の処理の流れを示すフローチャートである。 Figure 21, in a nod detection by sign language operation segmentation method of operation (see FIG. 4), is a flow chart showing the flow of processes performed when considering the duration of the detected operation to segment.
図21の方法は、図4の方法において、ステップS411を次のように変更し、さらにステップS2101を追加したものである。 The method of FIG. 21, in the method of FIG. 4, to change the step S411, as follows: and further adding a step S2101.
[ステップS411a] [Step S411a]
判定コード1002のコード数がj個以上か否かが判定され、j個以上の場合、ステップS412に進む。 Code number of the determination code 1002 is determined whether j or more, when j or more, the process proceeds to step S412.
j−1個の場合、ステップS2101に進む。 j-1 one case, the process proceeds to step S2101.
【0160】 [0160]
[ステップS2101] [Step S2101]
最初、1番目の判定コードデータCode_data[1]のコード開始フレーム番号と対応するフレームから、j−1番目の判定コードデータCode_data[j−1]のコード終了フレーム番号と対応するフレームまでのフレーム数が、特徴継続時間にセットされる。 First, from the first decision code data Code_Data [1] code start frame number and the corresponding frame of the number of frames until the frame corresponding to the j-1 th determination code data Code_Data [j-1] code end frame number of There, it is set to feature the duration.
次に、動き特徴パラメータ(図10参照)の時間1003に、値が設定されているか否かが判定され、さらに、特徴継続時間が、時間1003に設定された値より小さいか否かが判定される。 Then, the time 1003 of the motion feature parameter (refer to FIG. 10), it is determined whether the value has been set, further characterized duration, it is determined whether less than the value set in the time 1003 that.
そして、時間1003に値が設定されており、かつ特徴継続時間が時間1003に設定された値より小さい場合、ステップS415に進む。 It is approved value is set to a time 1003, and when the feature duration is smaller than the value set in the time 1003, the process proceeds to step S415.
時間1003に何も設定されていないか、特徴継続時間が時間1003に設定された値以上の場合、ステップS417に進む。 Or nothing is set to the time 1003, when the feature duration is equal to or greater than the value set for the time 1003, the process proceeds to step S417.
以上の手順により、検出した動作の継続時間を考慮してセグメンテーションを行うような手話動作セグメンテーション方法が実現できる。 By the above procedure, the sign language operation segmentation method performs segmentation by considering the duration of the detected operation can be realized.
【0161】 [0161]
次に、セグメント要素に加えて、非セグメント要素を検出してセグメンテーションを行うような手話動作セグメンテーション方法について説明する。 Then, in addition to the segment element, will be described sign language operation segmentation method performs segmentation by detecting the non-segment element.
(第3の実施形態) (Third Embodiment)
図22は、本発明の第3の実施形態に係る手話動作セグメンテーション装置の構成を示すブロック図である。 Figure 22 is a block diagram showing the structure of a sign language operation segmentation apparatus according to a third embodiment of the present invention.
図22の装置は、図3の装置において、非セグメント要素記憶部2201をさらに備えている。 The apparatus of FIG. 22, in the apparatus of FIG. 3, further comprising a non-segment element storage part 2201. 非セグメント要素記憶部2201には、セグメントを行わない条件となる非セグメント要素が、予め記憶されている。 The non-segment element storage part 2201, the non-segment element which is a condition that does not perform segment is prestored. 他の構成要素は、図3のものと同様のものである。 The other components are similar to those of FIG.
すなわち、図22の装置は、セグメント要素に加えて、非セグメント要素をも検出し、それらに基づいて手話動作のセグメンテーションを行うような手話動作セグメンテーション方法を実行する。 That is, the device of FIG. 22, in addition to the segment element, and detect the non-segment element, performing sign language operation segmentation method performs segmentation sign language operation based on them.
【0162】 [0162]
以下、上記のように構成された手話動作セグメンテーション装置の処理手順について説明する。 Hereinafter, a procedure of the constructed sign language operation segmentation apparatus as described above.
最初、非セグメント要素として、両手の接近を検出する場合を説明する。 First, as the non-segment element, the case of detecting the approach of hands.
図23および24は、図22の手話動作セグメンテーション装置の処理の流れの一例を示すフローチャートである。 23 and 24 are flowcharts illustrating an example of a process flow of the sign-language operation segmentation device in FIG. 22.
図23および24の方法は、図21の方法において、ステップS403の後にステップS2401を追加し、また、ステップS405の後にステップS2402〜S2405を追加し、さらに、ステップS418をステップS418aのように変更したものである。 The method of FIG. 23 and 24, in the method of FIG. 21, by adding steps S2401 after step S403, also, by adding steps S2402~S2405 after step S405, further, to change the step S418, as in step S418a it is intended.
これら各ステップ(S2401〜S2405,S418a)では、以下のような処理が行われる。 At each of these steps (S2401~S2405, S418a), is carried out the following processing.
【0163】 [0163]
[ステップS2401] [Step S2401]
身体特徴抽出部302は、入力画像から、非セグメント要素記憶部2201に記憶されている身体特徴と対応する画像を抽出する。 Body feature extraction part 302, from the input image, extracts a corresponding image with the body features stored in the non-segment element storage part 2201.
図25は、非セグメント要素記憶部2201に記憶されている非セグメント要素データの一例を示す図である。 Figure 25 is a diagram showing an example of the non-segment element data stored in the non-segment element storage part 2201.
図25において、非セグメント要素データは、身体特徴2501と、非セグメント動き特徴2502とを含む。 In Figure 25, the non-segment element data includes a body feature 2501 and a non-segment motion feature 2502.
例えば、両手の接近を検出する場合、「手領域」が身体特徴2501にセットされている。 For example, when detecting the approach of hands, "hand region" is set to the body feature 2501.
身体特徴抽出部302は、手領域を非セグメント身体特徴として抽出する。 Body feature extraction part 302 extracts the hand region as the non-segment body features. 手領域は、上記ステップS403cの手順で抽出できる。 Hand region can be extracted in the procedure of step S403c.
その後、手話動作セグメンテーション装置は、ステップS404に進む。 Then, sign language operation segmentation device goes to step S404.
【0164】 [0164]
[ステップS2402] [Step S2402]
次の手順で、非セグメント特徴運動コードが決定される。 In the next step, the non-segment feature movement code is determined.
i番目の手領域情報hand[i]の手の数が2の場合、特徴運動追跡部303は、<式9>を用いて、i番目の手領域情報hand[i]の1つめの手の重心g1_hand[i]と、2つめの手の重心g2_hand[i]とから、i番目の手領域の手間距離l_hand[i]を求める。 If the i-th number of hands of the hand region information hand [i] is 2, the feature movement tracking part 303, with <Equation 9>, one fingernail of the i-th hand region information hand [i] the center of gravity g1_hand [i], because the of the second hand center of gravity g2_hand [i], determining the time of the i-th hand region distance l_hand [i].
【数9】 [Equation 9]
【0165】 [0165]
次に、<式10>を用いて、i番目の手領域の手間距離l_hand[i]と、i−1番目の手領域の手間距離l_hand[i−1]とから、手間距離変化量dl_hand[i]を求める。 Next, using the <Equation 10>, the i-th time distance l_hand hand area [i], because the time distance l_hand the i-1 th hand region [i-1], time distance variation Dl_hand [ seek i].
【数10】 [Number 10]
【0166】 [0166]
i番目の手領域情報hand[i]の手の数が2でないか、または、i番目の手領域情報hand[i]の手の数と、i−1番目の手領域情報hand[i−1]の手の数とが異なる場合、特徴運動追跡部303は、手間距離変化量dl_hand[i]に、負でない値、例えば1000をセットする。 Or i-th number of hands of the hand region information hand [i] is not 2, or the number of hands of the i-th hand region information hand [i], i-1-th hand region information hand [i-1 If] the number of hands of different, characteristic motion tracking unit 303, a time distance variation dl_hand [i], set value, for example 1000 to non-negative.
手間距離変化量dl_hand[i]≦−θの場合、非セグメント特徴運動コードは、「1」となる。 For trouble distance variation dl_hand [i] ≦ -θ, the non-segment feature movement code is "1". 手間距離変化量dl_hand[i]>−θの場合、非セグメント特徴運動コードは、「0」となる。 Time distance change amount dl_hand [i]> - For theta, unsegmented feature movement code is "0". ここで、θは、手間距離変化閾値であり、本実施形態では、例えば「5」がセットされる。 Here, theta is the time distance variation threshold, in this embodiment, for example, "5" is set.
非セグメントコード番号kに何もセットされていない場合、非セグメントコード番号kに「1」がセットされ、非セグメント特徴フレーム数に「0」がセットされる。 If the non-segment code number k nothing is set, "1" to the non-segment code number k is set, "0" is set to the number of non-segment feature frames.
ここで非セグメントコード番号kは、非セグメント特徴運動コードを構成するコードの個数を示し、非セグメント特徴フレーム数は、非セグメント動き特徴の検出期間に相当するフレーム数、つまり検出開始フレームから検出終了フレームまでのフレーム数を示す。 Here unsegmented code number k denotes the number of codes constituting the non-segment feature movement code, non-segment feature number of frames, the number of frames corresponding to a detection period of the non-segment motion feature, i.e. the detection end of the detection start frame It indicates the number of frame to frame.
その後、手話動作セグメンテーション装置は、ステップ3003に進む。 Then, sign language operation segmentation device goes to step 3003.
【0167】 [0167]
[ステップS2403] [Step S2403]
セグメント位置判定部304は、非セグメント特徴運動コードを、非セグメント要素記憶部2201に記憶されている非セグメント要素データ(図25参照)と比較して、非セグメント特徴運動コードが、非セグメント動き特徴2502と一致するかどうかをチェックする。 Segment position determination unit 304, the non-segment feature movement code, as compared to the non-segment element data stored in the non-segment element storage part 2201 (see FIG. 25), the non-segment feature movement code, non-segment motion feature to check whether or not to coincide with the 2502. 非セグメント動き特徴2502には、非セグメント確定のための動き特徴(非セグメント動き特徴)を示すパラメータ(非セグメント動き特徴パラメータ)がセットされている。 The non-segment motion feature 2502, a parameter indicating the motion feature for non-segment confirmation (non-segmented motion feature) (non-segment motion feature parameter) is set.
【0168】 [0168]
図26は、非セグメント動き特徴2502にセットされる非セグメント動き特徴パラメータの一例を示す図である。 Figure 26 is a diagram showing an example of a non-segmented motion feature parameters set to a non-segment motion feature 2502.
図26において、非セグメント動き特徴パラメータは、非セグメント動き特徴2601、判定コード2602、および時間2603を含む。 In Figure 26, the non-segment motion feature parameters, non-segment motion feature 2601, determination code 2602, and time 2603. 非セグメント動き特徴2601は、非セグメント動き特徴の種別を示す。 Non-segment motion feature 2601 indicates a type of the non-segment motion features. 判定コード2602は、非セグメント動き特徴を判定する条件となるコード列である。 Determination code 2602 is a code string becomes a condition determines the non-segment motion features. 時間2603は、非セグメント動き特徴を判定する条件となる時間である。 Time 2603 is a condition for determining to become time non-segment motion features.
判定コード2602は、図10の動き特徴パラメータ中の判定コード1002と同様の方法で記述される。 Determination code 2602 is described in a similar manner to the determination code 1002 in the motion feature parameter in FIG. 10. 時間2603には、非セグメント動き特徴2601の最低継続時間が設定される。 The time 2603, a minimum duration of the non-segment motion feature 2601 is set.
【0169】 [0169]
判定コード2602と、ステップS2402で決定された非セグメント特徴運動コードのk番目のコード、つまり非セグメント特徴運動コードを構成する最後のコードとが異なる場合、手話動作セグメンテーション装置は、ステップS2404に進む。 A determination code 2602, k-th code of the non-segment feature movement code determined in step S2402, i.e. if the last code constituting the non-segment feature movement code is different, sign language operation segmentation device goes to step S2404.
同じ場合、ステップS2405に進む。 The same case, the process proceeds to step S2405.
【0170】 [0170]
[ステップS2404] [Step S2404]
非セグメント特徴フレーム数に「0」がセットされ、非セグメントコード番号kに「1」がセットされる。 The number of non-segment feature frames "0" is set, "1" is set in the non-segment code number k.
その後、手話動作セグメンテーション装置は、ステップS406に進む。 Then, sign language operation segmentation device goes to step S406.
【0171】 [0171]
[ステップS2405] [Step S2405]
非セグメント特徴フレーム数に「1」が加算される。 "1" is added to the number of non-segment feature frames.
k>2ので非セグメント確定コード列条件のk−1番目のコードと、非セグメント特徴運動コードとが異なる場合、kに「1」が加算される。 k> and 2 because k-1 th code of the non-segment confirmation code string condition, if the non-segment feature movement code is different, "1" is added to k.
その後、手話動作セグメンテーション装置は、ステップS406に進む。 Then, sign language operation segmentation device goes to step S406.
【0172】 [0172]
[ステップS418a] [Step S418a]
非セグメント動き特徴パラメータ(図26参照)中の時間2603に値が設定されていない場合、非セグメント時間最小値に0がセットされる。 If the value in the time 2603 in the non-segment motion feature parameter (refer to FIG. 26) is not set, 0 to non-segment time minimum value is set.
時間2603に値が設定されている場合、非セグメント時間最小値に、時間2603の値をセットする。 If the time 2603 is the value is set, the non-segment time minimum, it sets the value of time 2603.
非セグメント特徴フレーム数が、非セグメント時間最小値に相当するフレーム数より小さい場合は、ステップS417でセットしたセグメント位置を出力する。 Number unsegmented feature frame is less than the number of frames corresponding to the non-segment time minimum value, it outputs a segment position set at step S417.
その後、手話動作セグメンテーション装置は、ステップS401に進む。 Then, sign language operation segmentation device goes to step S401.
以上の手順により、セグメント要素に加えて、非セグメント要素(両手接近)をも検出し、それらに基づいてセグメンテーションを行うような手話動作セグメンテーション方法が実現できる。 By the above procedure, in addition to the segment element, the non-segment element (hands close) was detected, sign language operation segmentation method performs segmentation on the basis of them can be realized.
【0173】 [0173]
次に、非セグメント要素として口形変化を検出する場合を説明する。 Next, the case of detecting a mouth shape changes as the non-segment element.
この場合、上記のステップS2401を次のように変更する。 In this case, to change the above step S2401 as follows.
[ステップS2401a] [Step S2401a]
身体特徴抽出部302は、入力画像から、非セグメント要素記憶部2201に記憶されている身体特徴と対応する画像を抽出する。 Body feature extraction part 302, from the input image, extracts a corresponding image with the body features stored in the non-segment element storage part 2201.
図25において、口形変化を検出する場合、「口」が身体特徴2501にセットされている。 In Figure 25, when detecting a mouth shape changes, "mouth" is set to the body feature 2501.
身体特徴抽出部302は、口を非セグメント身体特徴として抽出する。 Body feature extraction part 302 extracts the mouth as non-segment body features. 口は、上記ステップS403bの手順で抽出できる。 Mouth, can be extracted in the procedure of step S403b.
その後、手話動作セグメンテーション装置は、ステップS404に進む。 Then, sign language operation segmentation device goes to step S404.
【0174】 [0174]
また、上記のステップS2402を次のように変更する。 Further, to modify the above step S2402 as follows.
[ステップS2402a] [Step S2402a]
次の手順で、非セグメント特徴運動コードが決定される。 In the next step, the non-segment feature movement code is determined.
特徴運動追跡部303は、最初、上記のステップS405bと同様の手順で、i番目の口領域情報の口領域面積変化d_mouth[i]、およびi番目の口領域情報のY軸方向変化y_mouth[i]を求める。 Feature movement tracking part 303, first, in the above step S405b the same procedure, the i-th mouth region area change d_mouth mouth region information [i], and the i-th mouth region information Y-axis direction changes Y_mouth [i seek].
次に、i番目の口領域情報の口領域面積変化d_mouth[i]、およびi番目の口領域情報のY軸方向変化y_mouth[i]を、図16の条件1602と比較して、i番目の口領域情報の口領域面積変化d_mouth[i]、およびi番目の口領域情報のY軸方向変化y_mouth[i]と一致するような口による特徴運動決定条件を選択する。 Then, i-th mouth region area change d_mouth mouth region information [i], and i th the Y-axis direction change y_mouth mouth region information [i], as compared to the condition 1602 in FIG. 16, the i-th mouth area area change d_mouth mouth region information [i], and i-th mouth region information in the Y-axis direction change y_mouth [i] and the mouth for selecting features motion determining condition according to conform. そして、図16の運動コード1601のうち、選択した口による特徴運動決定条件と対応する番号を取り出すことによって、非セグメント特徴運動コードを決定する。 Of the motion code 1601 in FIG. 16, by retrieving the corresponding number, wherein motion determining condition according to the selected mouth, to determine the non-segment feature movement code.
例えば、口を動かしていない場合、口の面積およびY軸方向最大長が変化せず、このとき、非セグメント特徴運動コードは、「0」となる。 For example, if you are not moving the mouth, it does not change the area and the Y-axis direction maximum length of the mouth, this time, the non-segment feature movement code is "0".
非セグメントコード番号kに何もセットされていない場合、非セグメントコード番号kに「1」がセットされ、非セグメント特徴フレーム数に「0」がセットされる。 If the non-segment code number k nothing is set, "1" to the non-segment code number k is set, "0" is set to the number of non-segment feature frames.
その後、手話動作セグメンテーション装置は、ステップS2403に進む。 Then, sign language operation segmentation device goes to step S2403.
以上の手順により、セグメント要素に加えて、非セグメント要素(口形変化)をも検出して、それらに基づいてセグメンテーションを行うような手話動作セグメンテーション方法が実現できる。 By the above procedure, in addition to the segment element, the non-segment element (the mouth shape change) was detected, sign language operation segmentation method performs segmentation on the basis of them can be realized.
【0175】 [0175]
次に、非セグメント要素として、右手と左手との動作の対称性を検出する場合を説明する。 Then, as the non-segment element, the case of detecting the symmetry of operation of the right and left hands.
この場合、上記のステップS2402を次のように変更する。 In this case, to change the above step S2402 as follows.
[ステップS2402b] [Step S2402b]
次の手順で、非セグメント特徴運動コードが決定される。 In the next step, the non-segment feature movement code is determined.
特徴運動追跡部303は、最初、i番目の手領域情報hand[i]の手の数が1以下か否かを判定し、1以下の場合、非セグメント特徴運動コードに0をセットする。 Feature movement tracking part 303, first, the number of i-th hand hand region information hand [i] it is determined whether 1 or less, when more than 1, 0 is set to the non-segment feature movement code. その後、手話動作セグメンテーション装置は、ステップS2403に進む。 Then, sign language operation segmentation device goes to step S2403.
i番目の手領域情報hand[i]の手の数が2の場合、特徴運動追跡部303は、〈式11〉を用いて、i番目の手領域情報hand[i]の1つめの手の重心g1_hand[i]と、2つめの手の重心g2_hand[i]と、i−1番目の手領域情報hand[i−1]の1つめの手の重心g1_hand[i−1]と、2つめの手の重心g2_hand[i−1]とから、i番目の1つめの手領域運動方向ベクトルvh[1][i]、およびi番目の2つめの手領域運動方向ベクトルvh[2][i]を求める。 If the i-th number of hands of the hand region information hand [i] is 2, the feature movement tracking part 303, with <Equation 11>, the first one hand of the i-th hand region information hand [i] the center of gravity g1_hand [i], the barycenter g2_hand of second hand [i], the i-1 th hand region information hand centroid G1_hand one claw hand [i-1] [i-1], second because of the hand of the center of gravity g2_hand [i-1], i th 1 fingernail area motion direction vector vh [1] [i], and i th second hand region motion direction vector vh [2] [i seek].
【数11】 [Number 11]
【0176】 [0176]
次に、特徴運動追跡部303は、<式12>により、i番目の1つめの手領域の移動量dvh[1][i]、およびi番目の2つめの手領域の移動量dvh[2][i]を求める。 Next, the feature movement tracking part 303, with <Equation 12>, the moving amount DVH [1] of the i-th 1 fingernail area [i], and the movement amount DVH of the i-th second hand region [2 ] seek [i].
【数12】 [Number 12]
【0177】 [0177]
図27は、特徴運動追跡部303が非セグメント特徴運動コードを決定するための、手話動作の対称性による非セグメント特徴運動決定条件である。 27, for the feature movement tracking part 303 to determine the non-segment feature movement code is a non-segment feature movement determination condition according to the symmetry of sign language operation.
図27において、手話動作の対称性による非セグメント特徴運動決定条件は、運動コード2701と、条件2702とを含む。 27, the non-segment feature movement determination condition according to the symmetry of sign language operation includes a motion code 2701, and a condition 2702. 運動コード2701には、番号「0」〜「8」がセットされ、条件2702には、運動コード2701にセットされた各番号と対応して、各々、手話動作の対称性による非セグメント特徴運動決定条件がセットされる。 Exercise code 2701 is set numbers "0" to "8", the condition 2702, correspond to the respective numbers set to the movement code 2701, respectively, non-segment feature movement determined by the symmetry of sign language operation conditions are set.
次に、特徴運動追跡部303は、図27の手話動作の対称性による非セグメント特徴運動決定条件により、i番目の1つめの手領域運動コードCh[1][i]、およびi番目の2つめの手領域運動コードCh[2][i]を求める。 Next, the feature movement tracking part 303, the non-segment feature movement determination condition according to the symmetry of sign language operation of FIG. 27, the i-th 1 fingernail region movement code Ch [1] [i], and i th 2 fingernail region movement code Ch [2] obtaining a [i].
非セグメント特徴フレーム数が0の場合、1つめの非セグメント条件始点Psh[1]に、i−1番目の手領域情報hand[i−1]の1つめの手の重心g1_hand[i−1]をセットし、2つめの非セグメント条件始点Psh[2]に、i−1番目の手領域情報hand[i−1]の2つめの手の重心g2_hand[i−1]をセットする。 If the number of non-segment feature frames is 0, the first one of the non-segment condition starting Psh [1], i-1-th hand region information hand centroid g1_hand one claw hand [i-1] [i-1] sets, the second non-segment condition starting Psh [2], and sets the center of gravity g2_hand [i-1] of the second hand (i-1) th hand region information hand [i-1].
【0178】 [0178]
ここで、非セグメント要素記憶部2201には、予め、手話動作の対称性による非セグメントコード決定条件が記憶されている。 Here, the non-segment element storage part 2201, in advance, the non-segment code determining conditions according to the symmetry of sign language operation are stored.
図28は、非セグメント要素記憶部2201に記憶される、手話動作の対称性による非セグメントコード決定条件の一例を示す図である。 Figure 28 is stored in the non-segment element storage part 2201, which is a diagram illustrating an example of a non-segmented code determination condition according to the symmetry of sign language operation.
図28の非セグメントコード決定条件には、図示しない手話認識装置が認識対象とする動作(手話動作)において現れるような対照性が、番号1〜10の条件として設定される。 The non-segment code determination conditions in FIG 28, the control properties as it appears in the operation sign language recognition device (not shown) be recognized (sign language operation) is set as a condition of numbers 1-10.
例えば、手話動作の場合、左右の手は、胴体と垂直または平行な面に対して、互いに対称的な軌跡をとることが多い。 For example, if the sign language operation, the left and right hands, relative to the fuselage and perpendicular or parallel to the plane, often take a symmetrical trajectory each other. なお、認識対象となる、手動作以外の動作についても、同様の条件を設定することができる。 Incidentally, it is recognized, for the operation other than the hand operation, it is possible to set the same conditions.
【0179】 [0179]
次に、セグメント位置判定部304は、1つめの非セグメント条件始点Psh[1]=(Xps1,Yps1)と、2つめのセグメント条件始点Psh[2]=(Xps2、Yps2)と、i番目の1つめの手領域運動コードCh[1][i]と、i番目の2つめの手領域運動コードCh[2][i]とをもとに、手話動作の対称性の特徴運動コード(すなわち、i番目の1つめの手領域運動コードCh[1][i]、およびi番目の2つめの手領域運動コードCh[2][i])が、図28の条件(番号1〜10のいずれかの条件)に一致するか否かを判定し、一致する場合、非セグメント特徴コードに1をセットする。 Then, the segment position determination part 304, a first one of the non-segment condition starting Psh [1] = (Xps1, Yps1), 2 claw segments conditions starting Psh [2] = a (Xps2, Yps2), i-th a first one of the hand region movement code Ch [1] [i], i-th second hand region movement code Ch [2] [i] on the basis of the, sign language operation symmetry feature movement code (i.e. , i th 1 fingernail region movement code Ch [1] [i], and i th second hand region movement code Ch [2] [i]) is, in FIG. 28 conditions (number 1-10 determines whether matches any of the conditions), if there is a match, 1 is set to non-segment feature code. 一致しない場合、非セグメント特徴コードに0をセットする。 If they do not match, 0 is set to the non-segment feature code.
その後、手話動作セグメンテーション装置は、ステップ2403に進む。 Then, sign language operation segmentation device goes to step 2403.
以上の手順により、セグメント要素に加えて、非セグメント要素(右手と左手の動作の対称性)をも検出して、それらに基づいてセグメンテーションを行うような手話動作セグメンテーション方法が実現できる。 By the above procedure, in addition to the segment element, the non-segment element (symmetry of the right and left hand operation) was also detected, sign language operation segmentation method performs segmentation on the basis of them can be realized.
【0180】 [0180]
ところで、上記の、セグメント要素に加えて、非セグメント要素(右手と左手の動作の対称性)をも検出して、それらに基づいてセグメンテーションを行うような手話動作セグメンテーション方法では、右手と左手の動作の対称性を検出する際に、手話者の動作が平面的に捉えられおり、従って、検出可能な右手と左手の動作の対称性は、2次元的なものに限られる。 Incidentally, the above-mentioned, in addition to the segment element, the non-segment element (symmetry of the right and left hand operation) was also detected in the sign language operation segmentation method performs segmentation on the basis of their right hand and left hand operation when detecting the symmetry operation of the signer are captured in a plane, therefore the symmetry of the detectable right and left hand operation is limited to two-dimensional ones.
そこで、次に、手話者の動作を立体的に捉えて、右手と左手の動作の3次元的な対称性を検出する方法を説明する。 Accordingly, next, it captures the operation of the signer stereoscopically, a method of detecting the three-dimensional symmetry of the right and left hand operation.
【0181】 [0181]
図22において、画像入力部301は、2台のテレビカメラを含み、3次元画像を入力する。 In Figure 22, the image input unit 301 includes two television cameras, and inputs three-dimensional images. それによって、手話者の動作が立体的に捉えられる。 Thereby, the operation of the signer is captured stereoscopically.
この場合も、図22の装置の処理動作は、図23および24と基本的には同様であるが、以下の点が変更される。 Again, the processing operation of the apparatus of FIG. 22 is similar to FIGS. 23 and 24 basically, following points are changed.
すなわち、図23のステップS403において、身体特徴抽出部302は、2台のテレビカメラによる3次元入力画像から、身体特徴、ここでは手領域の画像を抽出する。 That is, in step S403 of FIG. 23, the body feature extraction part 302, the three-dimensional input image by the two television cameras, body characteristics, wherein extracting the image of the hand region.
3次元画像から手領域を抽出するには、2次元画像から手領域を抽出する場合と同様、RGB色情報をもとに肌色領域を抽出すればよい。 From the three-dimensional image to extract the hand region, as in the case of extracting the hand region from the two-dimensional image, may be extracted skin color area based on the RGB color information. ただしこの場合、RGB色情報には、例えば、3次元画像を構成する各画素のRGB色情報が、3次元座標の関数として記述される。 However, in this case, the RGB color information, for example, RGB color information for each pixel constituting the 3D images is described as a function of the three-dimensional coordinates.
その他、「ファジイパターン照合を用いた色彩画像からの顔検出システム」(呉,陳,谷内田;電子情報通信学会論文誌 D−II Vol.J80−D−II No.7 pp.1774〜1785,1997.7)に記載されている方法を用いてもよい。 Other, "fuzzy pattern face detection system from color image using the matching" (Wu, Chen, Yachida; IEICE D-II Vol.J80-D-II No.7 pp.1774~1785,1997 may be used methods described in .7).
【0182】 [0182]
手領域を抽出すると、身体特徴抽出部302は、i番目の1つめの手領域の3次元座標h[1][i]、およびi番目の2つめの手領域の3次元座標h[2][i]を求める。 When extracting the hand region, the body feature extraction part 302, the three-dimensional coordinates h [1] of the i-th 1 fingernail area [i], and i-th three-dimensional coordinates h of second hand region [2] seek [i].
2台のテレビカメラによる3次元画像から抽出された手領域の3次元位置座標を求めるには、一方のテレビカメラによる2次元画像と、他方のテレビカメラによる2次元画像との間に生じる視差を利用すればよい。 To obtain the three-dimensional position coordinates of the extracted hand region from the three-dimensional image by the two television cameras, and two-dimensional image by one of the television cameras, a parallax generated between the 2D images by the other television camera it may be utilized.
【0183】 [0183]
また、上記のステップS2402bを、次のように変更する。 Further, the above step S2402b, modified as follows.
[ステップS2402c] [Step S2402c]
2台のテレビカメラのうちの一方、たとえば左側のテレビカメラの画像から算出した手領域の情報を使って、ステップS2402bと同様の処理が行われる。 One of the two television cameras, for example, using the information of the hand area calculated from the left side of the television camera image, the same processing as step S2402b is performed.
ただし、特徴運動追跡部303は、i番目の1つめの手領域の3次元移動ベクトルVth[1][i]、i番目の2つめの手領域の3次元移動ベクトルVth[2][i]を求める際、〈式13〉を使って求める。 However, feature movement tracking part 303, 3-dimensional movement vector Vth [1] of the i-th 1 fingernail area [i], 3-dimensional movement vectors Vth of the i-th second hand region [2] [i] when determining the, found using the <equation 13>.
【数13】 [Number 13]
非セグメント特徴フレーム数が3より小さい場合、手話動作セグメンテーション装置は、ステップS2403に進む。 If non-segment feature number of frames is less than 3, the sign language operation segmentation device goes to step S2403.
以上の手順で、右手と左手との動作の3次元的な対称性を検出することができる。 In the above procedure, it is possible to detect the three-dimensional symmetry of the operation of the right and left hands.
【0184】 [0184]
次に、前述の、セグメント要素に加えて、非セグメント要素(右手と左手の動作の対称性)をも検出して、それらに基づいてセグメンテーションを行うような手話動作セグメンテーション方法において、右手と左手との動作の対称性の変化をどのようにして検出するかを説明する。 Next, the above-mentioned, in addition to the segment element, the non-segment element (symmetry of the right and left hand operation) was also detected, the sign language operation segmentation method performs segmentation on the basis of them the right and left hand to explain how the symmetry of the change in the operation of how the detected.
【0185】 [0185]
動作の対称性の変化は、例えば、動作面の変化を捉えることにより検出することができる。 Symmetry changes in operation, for example, can be detected by capturing a change in the operation surface. ここで、動作面とは、動作の軌跡を含むような面をいう。 Here, the operation surface means a surface that includes a locus of operation.
例えば、手の動作面は、手動作の軌跡を含むような面である。 For example, the operation surface of the hand is the plane that includes the trajectory of the finger movement. そして、左手および右手の少なくとも一方の動作面が変化した場合、動作の対称性の変化が生じたとみなす。 Then, it regarded as left and right hands of at least one of the operation surface may have changed, the symmetry of the variation of operation has occurred.
【0186】 [0186]
動作面の変化を検出するには、例えば、動作面の法線ベクトルの変化を検出すればよい。 To detect changes in the operation surface may be, for example, detecting a change in the normal vector of the operation surface.
そこで、次に、動作面が変化したことを、動作面の法線ベクトルの変化によって検出する方法を説明する。 Accordingly, next, that the operation surface is changed, a method of detecting a change in the normal vector of the operation surface.
動作面が変化したことを、動作面の法線ベクトルの変化によって検出する場合、上記のステップS2402を、次のように変更する。 That the operation surface is changed, when detecting a change in the normal vector of the operation surface, the above steps S2402, modified as follows.
【0187】 [0187]
[ステップS2402d] [Step S2402d]
特徴運動追跡部303は、〈式14〉を使って、i番目の1つめの手領域の3次元移動ベクトルVth[1][i]と、i−1番目の1つめの手領域の3次元移動ベクトルVth[1][i−1]とから、i番目の1つめの手領域運動面の法線ベクトルVch[1][i]を求め、i番目の2つめの手領域の3次元移動ベクトルVth[2][i]と、i−1番目の2つめの手領域の3次元移動ベクトルVth[2][i−1]とから、i番目の2つめの手領域運動面の法線ベクトルVch[2][i]を求める。 Feature movement tracking part 303 uses the <Equation 14>, i-th 3-dimensional movement vector Vth [1] of the first one of the hand region [i] and a three-dimensional (i-1) th 1 fingernail region since the movement vector Vth [1] [i-1], the normal vector Vch of the i-th first one of the hand region moving surface [1] seek [i], 3-dimensional movement of the i-th second hand region vector Vth [2] [i], i-1 th second of from three-dimensional movement vector Vth of the hand region [2] [i-1], i th second of the normal of the hand region moving surface vector Vch [2] obtaining a [i].
【数14】 [Number 14]
【0188】 [0188]
また、〈式15〉を使って、i番目の1つめの手領域運動面の法線ベクトルVch[1][i]と、i−1番目の1つめの手領域運動面の法線ベクトルVch[1][i−1]とから、i番目の1つめの手領域運動余弦CosΘh[1][i]を求め、i番目の2つめの手領域運動面の法線ベクトルVch[2][i]と、i−1番目の2つめの手領域運動面の法線ベクトルVch[2][i−1]とから、i番目の2つめの手領域運動余弦CosΘh[2][i]を求める。 Further, by using the <Equation 15>, i th first one of the normal vector Vch hand region moving surface [1] [i], i-1 th first one of the normal vectors Vch hand region moving surface [1] since [i-1] and, i th 1 fingernail region movement cosine Cosshitah [1] [i] look, normal vectors Vch of the i-th second of the hand region moving surface [2] [ i] and, from the i-1 th second normal vectors Vch hand region moving surface [2] [i-1], i th second hand region movement cosine CosΘh [2] [i] a Ask.
【数15】 [Number 15]
【0189】 [0189]
i番目の1つめの手領域運動余弦CosΘh[1][i]、およびi番目の2つめの手領域運動余弦CosΘh[2][i]が、〈式16〉の条件の少なくとも一方を満たさない場合、非セグメント特徴コードに0をセットする。 i th 1 fingernail region movement cosine CosΘh [1] [i], and i th second hand region movement cosine CosΘh [2] [i] does not satisfy at least one condition of the <Equation 16> If, sets 0 to the non-segment feature code. ここで、α_vcは、法線方向変化閾値であり、例えば、0.1がセットされる。 Here, Arufa_vc are normal direction change threshold, for example, 0.1 is set.
【数16】 [Number 16]
その後、手話動作セグメンテーション装置は、ステップS2403に進む。 Then, sign language operation segmentation device goes to step S2403.
以上の手順により、動作面が変化したことを、動作面の法線ベクトルの変化によって検出することができる。 By the above procedure, that the operation surface is changed, it can be detected by a change in the normal vector of the operation surface.
【0190】 [0190]
上記の方法の他に、動作面の変化を検出するのに、動作コードベクトルを用いる方法がある。 In addition to the above methods, to detect the change of the operating surface, there is a method using an operation code vectors.
そこで、次に、動作面が変化したことを、動作コードベクトルを用いて検出する方法を説明する。 Accordingly, next, that the operation surface is changed, a method for detecting will be described with reference to the operation code vectors.
動作面が変化したことを、動作コードベクトルを用いて検出する場合、上記のステップS2402を、次のように変更する。 That the operation surface is changed, when detected using operation code vectors, the above steps S2402, modified as follows.
【0191】 [0191]
[ステップS2402e] [Step S2402e]
特徴運動追跡部303は、i番目の1つめの3次元座標h1[i]と、i−1番目の1つめの3次元座標位置h1[i−1]とから、i番目の1つめの手領域3次元運動コードCode_h1[i]を求める。 Feature movement tracking part 303, i-th and first one of the three-dimensional coordinates h1 [i], because i-1 th three-dimensional coordinate position of the first one of h1 [i-1] and, i th 1 fingernail region 3 dimensional motion code Code_h1 Request [i]. i番目の2つめの3次元座標h2[i]と、i−1番目の2つめの3次元座標位置h2[i−1]とから、i番目の2つめの手領域3次元運動コードCode_h2[i]を求める。 i-th and second three-dimensional coordinates h2 [i], because the i-1 th dimensional coordinate position of the second of h2 [i-1], the i-th second hand region 3 dimensional motion code Code_h2 [ seek i].
【0192】 [0192]
ここで、3次元運動コードの算出方法は、例えば、「動作認識装置」(特開平7−282235号公報)に記載されている。 Here, the method for calculating the three-dimensional motion code, for example, described in "motion recognition apparatus" (JP-A-7-282235). この方法では、手領域の運動が、0から26の27個のコードによって表現される。 In this way, movement of the hand region are represented by the 27 pieces of code 0 from 26. これら27個のコードは、それぞれ互いに異なる方向を持つ3次元ベクトルと対応している。 These 27 pieces of codes correspond with the three-dimensional vectors each having different directions from each other.
一方、非セグメント要素記憶部2201には、予め、同一動作面テーブルが記憶されている。 On the other hand, the non-segment element storage part 2201, in advance, the same operation surface table is stored.
【0193】 [0193]
図29は、非セグメント要素記憶部2201に記憶される同一動作面テーブルの一例を示す図である。 Figure 29 is a diagram showing an example of the same operation surface table stored in the non-segment element storage part 2201.
図29において、同一動作面テーブルには、9個の同一動作面(動作面番号「1」〜「9」)が記載されている。 29, the same operation surface table, nine same operation surface (operation surface numbers "1" to "9") is described. 各同一動作面は、上記27個のコードと同様のコードを用いて表現されている。 Each same operation surface is represented using the same code and the 27 code.
特徴運動追跡部303は、i番目の1つめの3次元座標h1[i]に基づいて、図29のテーブルから、i番目の1つめの手領域が含まれる動作面番号と、i番目の2つめの手領域が含まれる動作面番号とを抽出する。 Feature movement tracking part 303, based on the i-th first one of the three-dimensional coordinates h1 [i], from the table of FIG. 29, the operation plane number including the i-th 1 fingernail area, i th 2 extracts the operation surface numbers include fingernail region.
【0194】 [0194]
1つめの手領域動作面候補Move_plane1に何も設定されていない場合、抽出した1つめの手領域の動作面番号を全て、1つめの手領域動作面候補Move_plane1にセットし、また、抽出した2つめの手領域の動作面番号を全て、2つめの手領域動作面候補Move_plane2にセットする。 If the first one of the hand region working surfaces candidate Move_plane1 nothing is set, all the operation surface number of the extracted first one hand region, set in a first one of the hand region operation face candidate Move_plane1, also extracted 2 all the operation surface numbers fingernail region, is set to second hand area working surfaces candidate Move_plane2. その後、手話動作セグメンテーション装置は、ステップS2403に進む。 Then, sign language operation segmentation device goes to step S2403.
【0195】 [0195]
次に、特徴運動追跡部303は、抽出した1つめの手領域の動作面番号の中に、Move_plane1に設定されている動作面番号と一致するものがあるか否か、および、抽出した2つめの手領域の動作面番号の中に、Move_plane2に設定されている動作面番号と一致するものがあるか否かを判定する。 Next, the feature movement tracking part 303, in the extracted first one operating surface number of the hand area, whether there is a match with the operation surface number set in Move_plane1, and extracted second was some operating surface number of the hand area of, determines whether there is a match with the operation surface number set in Move_plane2.
【0196】 [0196]
判定の結果、抽出した1つめの手領域の動作面番号の中に、Move_plane1に設定されている動作面番号と一致するものがない場合、もしくは、抽出した2つめの手領域の動作面番号の中に、Move_plane2に設定されている動作面番号と一致するものがない場合、特徴運動追跡部303は、Move_plane1に設定されている動作面番号を全て削除し、また、Move_plane2に設定されている動作面番号を全て削除し、さらに、非セグメント特徴コードに0をセットする。 As a result of the determination, among the extracted first one operating surface number of the hand region, if not matched with the operation surface number set in Move_plane1, or the extracted second operating surface number of the hand region during, if not matched with the operation surface number set in Move_plane2, characterized motion tracking unit 303 deletes all of the operation surface number set in Move_plane1, also, operation set in Move_plane2 remove all surface numbers, further, it sets 0 to the non-segment feature code. その後、手話動作セグメンテーション装置は、ステップS2403に進む。 Then, sign language operation segmentation device goes to step S2403.
【0197】 [0197]
一方、抽出した1つめの手領域の動作面番号の中に、Move_plane1に設定されている動作面番号と一致するものがある場合、1つめの手領域の動作面番号のうち一致する番号のみをMove_plane1に設定し、一致しない番号をMove_plane1から削除する。 On the other hand, among the extracted first one operating surface number of the hand area, if there is a match with the operation surface number set in Move_plane1, only numbers that match in the operation surface numbers 1 fingernail region set in Move_plane1, to delete the unmatched number from Move_plane1.
また、抽出した2つめの手領域の動作面番号の中に、Move_plane1に設定されている動作面番号と一致するものがある場合、2つめの手領域動作面候補Move_plane2に、1つ以上の動作面番号が設定されていれば、2つめの手領域の動作面番号のうち一致する番号のみを、Move_plane2に設定し、一致しない番号を、Move_plane2から削除する。 Further, in the extracted second operating surface number of the hand area, if there is a match with the operation surface number set in Move_plane1, the second hand area working surfaces candidate Move_plane2, 1 or more operations if surface number is set, only the number that matches in the operation surface numbers second hand region, set in Move_plane2, unmatched number, deleting from Move_plane2. その後、手話動作セグメンテーション装置は、ステップS2403に進む。 Then, sign language operation segmentation device goes to step S2403.
以上の手順により、動作面が変化したことを、動作コードベクトルを用いて検出することができる。 By the above procedure, that the operation surface is changed, it can be detected using the operation code vectors.
【0198】 [0198]
次に、図示しない手話認識装置と、図3または図22の手話動作セグメンテーション装置とに付随して設けられ、アニメーション画面を通じ、手話動作セグメンテーション装置がセグメンテーションを行いやすいような遷移動作を行わせるよう利用者を誘導するセグメント要素誘導装置について説明する。 Next, a sign language recognition device (not shown) provided in association with the sign language operation segmentation device in FIG. 3 or FIG. 22, through the animation screen, as sign language operation segmentation device to perform the transition operation as easily perform segmentation available It explained segment component induction device for inducing a user.
(第4の実施形態) (Fourth Embodiment)
図30は、本発明の第4の実施形態に係るセグメント要素誘導装置の構成を示すブロック図である。 Figure 30 is a block diagram showing the structure of a segment element induction device according to a fourth embodiment of the present invention.
図30のセグメント要素誘導装置は、図示しない手話認識装置と、図3または図22の手話動作セグメンテーション装置とに付随して設けられる。 Segment component induction device in FIG. 30, the sign language recognition device (not shown) is provided in association with the sign language operation segmentation device in FIG. 3 or FIG. 22.
図30において、セグメント要素誘導装置は、認識結果入力部3001、セグメント結果入力部3002、誘導制御情報生成部3003、出力部3004および誘導規則記憶部3005を備えている。 In Figure 30, the segment element induction device includes a recognition result input part 3001, the segment result input part 3002, the guiding control information generation unit 3003, an output unit 3004 and an inductive rule storage part 3005.
【0199】 [0199]
認識結果入力部3001に接続された手話認識装置から、現在の認識状況情報が認識結果入力部3001に入力される。 From the recognition result input part 3001 connected to sign language recognition device, current recognition status information inputted into the recognition result input part 3001. セグメント結果入力部3002に接続された手話動作セグメンテーション装置から、現在のセグメント状況情報がセグメント結果入力部3002に入力される。 From the connected sign language operation segmentation device to the segment result input part 3002, the current segment status information inputted into the segment result input part 3002.
【0200】 [0200]
認識結果入力部3001は、入力された認識状況情報を、誘導制御情報生成部3003に送る。 Recognition result input part 3001, a recognition status information inputted, and sends the derived control information generation unit 3003. セグメント結果入力部3002は、入力されたセグメント状況情報を、誘導制御情報生成部3003に送る。 Segment result input part 3002, the segment status information inputted, and sends the derived control information generation unit 3003. 誘導制御情報生成部3003は、認識状況情報とセグメント状況情報とをもとに、誘導規則記憶部3005に記憶された誘導規則を使って誘導制御情報を生成し、出力部3004に送る。 Inductive control information generation unit 3003, based on the recognition status information and the segment status information, generates guidance control information using an inductive rule stored in the inductive rule storage part 3005, sent to the output unit 3004. 出力部3004は、出力部3004に接続された手話アニメーション装置等(図示せず)に、誘導制御情報を出力する。 The output unit 3004, connected sign language animation device such as the output section 3004 (not shown), and outputs the derived control information.
【0201】 [0201]
以下、上記のように構成されたセグメント要素誘導装置の処理について説明する。 The following describes processing of the configuration segment element induction device as described above.
図31は、図30のセグメント要素誘導装置の処理の流れを示すフローチャートである。 Figure 31 is a flowchart showing a process flow of segment component induction device in FIG. 30.
図31の各ステップでは、それぞれ以下のような処理が行われる。 At each step in FIG. 31, the following processing is performed respectively.
[ステップS3101] [Step S3101]
認識結果入力部3001は、認識結果入力部3001に接続された手話認識装置から入力される認識状況情報をチェックする。 Recognition result input part 3001 checks the recognition status information inputted from the recognition result input part connected sign language recognition device 3001.
図32は、認識結果入力部3001に入力される認識状況情報の一例を示す図である。 Figure 32 is a diagram showing an example of a recognition status information inputted into the recognition result input part 3001.
図32において、認識状況情報は、フレーム番号3201、および状況フラグ3202を含む。 In Figure 32, the recognition status information includes a frame number 3201, and status flags 3202. フレーム番号3201には、カレントフレーム、つまり手話認識装置が認識状況情報作成時に処理中のフレームのフレーム番号がセットされる。 The frame number 3201, the current frame, i.e. the sign language recognition device is the frame number is set of frames being processed when creating recognition status information. 状況フラグ3202には、認識に成功していれば「0」、失敗していれば「1」がセットされる。 The status flag 3202, if successful recognition "0", if it fails "1" is set.
認識状況情報が入力されると、認識結果入力部3001は、その認識状況情報を誘導制御情報生成部3003に送る。 When recognition status information is input, the recognition result input part 3001 transmits the recognition status information to the inductive control information generation unit 3003.
その後、セグメント要素誘導装置は、ステップS3102に進む。 Thereafter, the segment element induction device goes to step S3102.
【0202】 [0202]
[ステップS3102] [Step S3102]
セグメント結果入力部3002は、手話動作セグメンテーション装置から入力されたセグメント状況情報をチェックする。 Segment result input part 3002 checks the segment status information inputted from the sign-language operation segmentation device.
図33は、セグメント結果入力部3002に入力されるセグメント状況情報の一例を示す図である。 Figure 33 is a diagram showing an example of the segment status information inputted into the segment result input part 3002.
図33において、セグメント状況情報は、フレーム番号3301、および未セグメントフレーム数3302を含む。 In Figure 33, the segment status information includes a frame number 3301, and the non-segment frame number 3302. フレーム番号3301には、カレントフレーム、つまり手話動作セグメンテーション装置がセグメント状況情報作成時に処理中のフレームのフレーム番号がセットされる。 The frame number 3301, the current frame, i.e. sign language operation segmentation apparatus frame number of the frame being processed at the time of creating the segment status information is set. 未セグメントフレーム数3302には、最後にセグメント対象となったフレームから、カレントフレームまでのフレーム数がセットされる。 The non-segment frame number 3302, the last from the frame became segment target, the number of frames until the current frame is set.
セグメント状況情報が入力されると、セグメント結果入力部3002は、そのセグメント情報を誘導制御情報生成部3003に送る。 When the segment status information is inputted, the segment result input part 3002 transmits the segment information to the inductive control information generation unit 3003.
その後、セグメント要素誘導装置は、ステップS3103に進む。 Thereafter, the segment element induction device goes to step S3103.
【0203】 [0203]
[ステップS3103] [Step S3103]
誘導制御情報生成部3003は、誘導規則記憶部3005に記憶されている誘導規則を使って、誘導制御情報を作成する。 Inductive control information generation unit 3003, using the inductive rule stored in the inductive rule storage unit 3005, to create a derived control information.
図34は、誘導制御情報生成部3003が作成する誘導制御情報の一例を示す図である。 Figure 34 is a diagram showing an example of guidance control information derived control information generating unit 3003 creates.
図34において、誘導制御情報は、制御部位数3401、制御部位3402、および制御動作3403を含む。 In Figure 34, induction control information, the control part number 3401, the control part 3402, and a control operation 3403. 制御部位数3401には、CGキャラクタ(アニメーション)において、制御対象となる部位の数がセットされる。 The control part number 3401, the CG character (animation), the number of sites to be controlled is set. 制御部位3402には、CGキャラクタにおいて、制御対象となる部位がセットされる。 The control portion 3402, the CG character, the site to be controlled is set. 制御動作3403には、制御対象となる部位の動作がセットされる。 The control operation 3403, the operation of the site to be controlled is set. なお、制御部位3402、および制御動作3403については、制御部位数3401にセットされた部位数に等しい回数、続けてセットが行われる。 The control portion 3402, and the control operation 3403, the number of times equal to the number of sites that have been set in the control site number 3401, a set continues performed.
【0204】 [0204]
次に、誘導制御情報生成部3003は、現在入力されている認識状況情報およびセグメント状況情報に応じて、誘導規則記憶部3005から誘導規則を抽出する。 Next, the induction control information generating unit 3003, in response to the recognition status information and segment status information currently input, extracts the inductive rule from the inductive rule storage part 3005.
図35は、誘導規則記憶部3005に記憶される誘導規則の一例を示す図である。 Figure 35 is a diagram showing an example of derivation rules to be stored in the inductive rule storage part 3005.
図35において、誘導規則は、認識状況3501、非セグメントフレーム数3502、制御部位3503、および制御動作3504を含む。 In Figure 35, induction rules, recognition status 3501, the non-segment frame number 3502, the control part 3503, and a control operation 3504.
例えば、図32の認識状況情報と、図33のセグメント状況情報とが入力されているとき、認識状況およびグメント状況は、図35の認識状況3501および非セグメントフレーム数3502の第2行目に記載の条件と一致する。 For example, when the recognition status information in FIG. 32, and the segment status information of FIG. 33 is inputted, the recognition status and segment status, according to a second line of the recognition status 3501 and a non-segment frame number 3502 in FIG. 35 to match the conditions. よって、図34の誘導制御情報では、制御部位数3401に「1」が、制御部位3402に「頭」が、制御動作3403に「頷き」が、それぞれセットされる。 Therefore, the induction control information of FIG. 34, "1" to the control site number 3401, "head" in the control site 3402, the control operation 3403 "nod" is set, respectively.
こうして生成された誘導制御情報は、出力部3004に送られる。 Derived control information thus generated is sent to the output unit 3004.
その後、セグメント要素誘導装置は、ステップS3104に進む。 Thereafter, the segment element induction device goes to step S3104.
【0205】 [0205]
[ステップS3104] [Step S3104]
出力部3004は、誘導制御情報生成部3003から送られてきた誘導制御情報を、アニメーション生成装置等に出力する。 The output unit 3004, an inductive control information transmitted from the inductive control information generation unit 3003, and outputs the animation generating device or the like. その際、出力部3004は、必要に応じ、誘導制御情報を、アニメーション生成装置等から要求される形式に変形する。 At that time, the output unit 3004, as necessary, the inductive control information, is deformed into a form requested by the animation generating device or the like.
その後、セグメント要素誘導装置は、ステップS3101に進む。 Thereafter, the segment element induction device goes to step S3101.
以上の手順により、セグメント要素誘導方法が実現できる。 By the above procedure, the segment element induction method can be realized.
【0206】 [0206]
次に、上記のセグメント要素誘導方法において、手話動作の認識率に応じて、アニメーションの速度を変化させる場合を説明する。 Then, in the segment element induction method, in accordance with the recognition rate of the sign language operation, a case of changing the speed of the animation.
すなわち、手話認識装置の手話動作認識率を、セグメント要素誘導装置側に与える。 In other words, sign language operation recognition rate of the sign language recognition device, on segment element induction device side. セグメント要素誘導装置には、手話動作認識率が悪い場合、提示するアニメーションの速度を下げ、それによって、遷移動作をゆっくり行うよう、手話者を誘導するためのアニメーション速度調整装置を設ける。 The segment element induction device, when a bad sign language gesture recognition rate, presenting lower the speed of the animation, thereby to perform slow transition operation, providing the animation speed adjustment device for inducing signer.
【0207】 [0207]
図36は、図30のセグメント要素誘導装置に設けられるアニメーション速度調整装置の構成を示すブロック図である。 Figure 36 is a block diagram showing the structure of an animation speed adjustment device provided to the segment element induction device in FIG. 30.
図36において、アニメーション速度調整装置は、認識結果入力部3601と、セグメント結果入力部3602と、速度調整情報生成部3603と、速度調整規則記憶部3604と、出力部3605とを備えている。 In Figure 36, the animation speed adjustment device, the recognition result input part 3601, a segment result input part 3602, a speed adjustment information generation part 3603, and a speed adjustment rule storage unit 3604, and an output section 3605.
認識結果入力部3601へは、図示しない手話認識装置からの認識結果情報が入力される。 To the recognition result input part 3601, the recognition result information from the sign language recognition device (not shown) is input. セグメント結果入力部3602へは、図3または図22の手話動作セグメンテーション装置からのセグメンテーション結果情報が入力される。 To the segment result input part 3602, a segmentation result information from the sign language operation segmentation device in FIG. 3 or FIG. 22 are input. 速度調整規則記憶部3604には、予め、速度調整規則が記憶されている。 The speed adjustment rule storage unit 3604 in advance, the speed adjustment rule stored. 速度調整情報生成部3603は、速度調整規則を参照しつつ、少なくとも認識結果情報、好ましくは、識結果情報およびセグメンテーション結果情報に基づいて、アニメーションの速度を制御するための制御情報(アニメーション速度調整情報)を生成する。 Speed ​​adjustment information generation part 3603, referring to the speed adjustment rule, at least the recognition result information, preferably on the basis of the identification result information and segmentation result information, the control information (animation speed adjustment information for controlling the speed of the animation ) to generate.
なお、ここでは、速度調整情報生成部3603は、認識結果情報に基づいてアニメーション速度調整情報を生成する場合を説明する。 Here, the speed adjustment information generation unit 3603, a case of generating the animation speed adjustment information based on the recognition result information.
【0208】 [0208]
上記のように構成されたアニメーション速度調整装置が設けられたセグメント要素誘導装置では、図31と同様の処理が行われる。 In the segment element induction device configured animation speed adjustment device is provided as described above, the same processing as FIG. 31 is performed. ただし、以下の点が異なる。 However, the following points are different.
図31のステップS3103を、次のように変更する。 Step S3103 in Fig. 31, modified as follows.
[ステップS3103a] [Step S3103a]
速度調整情報生成部3603は、誤認識フラグflag_recに何も設定されていない場合、0を設定する。 Speed ​​adjustment information generation part 3603, if nothing is set to the erroneous recognition flag Flag_rec, sets a 0. 認識結果情報に含まれる状況フラグが1の場合、誤認識フラグflag_recに1を加える。 If the status flag included in the recognition result information is 1, 1 is added to the erroneous recognition flag Flag_rec. 状況フラグが0で、誤認識フラグflag_rec>0の場合、誤認識フラグflag_recから1を引く。 In status flag is 0, if the erroneous recognition flag Flag_rec> 0, subtract 1 from the erroneous recognition flag Flag_rec.
【0209】 [0209]
図37は、速度調整規則記憶部3604に記憶される速度調整規則の一例を示す図である。 Figure 37 is a diagram showing an example of a speed adjustment rule stored in the speed adjustment rule storage unit 3604.
図37において、速度調整規則は、速度調整量3701と、条件3702とを含む。 In Figure 37, the speed adjustment rule includes a speed adjustment amount 3701 and a condition 3702. 条件3702は、速度調整量を決めるための条件である。 Condition 3702 is a condition for determining the speed adjustment amount. 条件3702中のd_spdは、速度調整パラメータであり、例えば、50がセットされる。 d_spd in conditions 3702 is a speed adjustment parameter, for example, 50 is set.
速度調整情報生成部3603は、速度調整規則記憶部3604に記憶されている速度調整規則を参照しつつ、誤認識フラグflag_recに応じた速度調整量d_spdを求める。 Speed ​​adjustment information generation part 3603, referring to the speed adjustment rule stored in the speed adjustment rule storage unit 3604, obtains the speed adjustment amount d_spd corresponding to erroneous recognition flag Flag_rec.
こうして求められた速度調整量は、出力部3605に送られる。 Speed ​​adjustment amount obtained in this way is sent to the output unit 3605.
なお、上記以外の処理は、ステップS3103と同様であり、省略する。 The processing other than the above are similar to steps S3103, omitted.
【0210】 [0210]
また、ステップS3104を、次のように変更する。 In addition, the step S3104, to change in the following manner.
[ステップS3104a] [Step S3104a]
出力部3605は、速度調整量d_spdを、図示しないアニメーション生成装置に送る。 The output unit 3605 transmits the speed adjustment amount D_spd, the animation generating device (not shown). アニメーション生成装置は、デフォルトのアニメーション速度Spd_defから、速度調整量d_spdの分だけ、アニメーションの速度が遅くなるよう調整する。 Animation generating apparatus, from the default animation speed Spd_def, by the amount of speed adjustment amount D_spd, adjusted so that the speed of the animation is slow.
以上の手順により、手話動作認識率が悪い場合に、提示するアニメーションの速度を下げ、それによって、遷移動作をゆっくり行うよう、手話者を誘導することができる。 By the above procedure, if the bad sign language operation recognition rate, lowering the speed of the animation to be presented, thereby to perform slow transition operation, it can induce signer.
【0211】 [0211]
次に、上記のセグメント要素誘導装置(図22参照;なお、図36のアニメーション速度調整装置は、設けられていてもいなくてもよい)において、手話者からテレビカメラが見えないように、テレビカメラ隠蔽部を設けた場合を説明する。 Next, the above-mentioned segment component induction device (refer to FIG. 22; Note that the animation speed adjustment device 36 is provided may or may not be) at from signer as a television camera can not see the television camera explaining the case in which the veils.
なお、テレビカメラが露出していると、手話者がテレビカメラを意識して緊張し、手話動作がぎこちなくなることがある。 It should be noted that, when the TV camera is exposed, sign language's tense aware of the television camera, there is that sign language operation becomes awkward. その結果、セグメンテーションが正しく行われず、手話認識装置の認識率が悪くなることがある。 As a result, the segmentation is not performed correctly, there is the recognition rate of the sign language recognition device is deteriorated.
【0212】 [0212]
図38は、図22のセグメント要素誘導装置に設けられるテレビカメラ隠蔽部の構成の一例を示す模式図である。 Figure 38 is a schematic diagram showing an example of a configuration of a television camera hiding part provided to the segment element induction device in FIG. 22.
図38において、テレビカメラ3802は、手話者3801と対向して設置され、モニタ3803は、テレビカメラ3802と手話者3801とを結ぶ直線の鉛直下方に、鉛直上方を向いて設置される。 In Figure 38, a television camera 3802 is installed to face the signer 3801, monitor 3803, vertically below the straight line connecting the TV camera 3802 and signer 3801 is disposed facing vertically upward.
テレビカメラ隠蔽部は、順方向からの光を透過させ、かつ逆方向からの光を反射するようなハーフミラー3804を備え、このハーフミラー3804を、手話者3801とテレビカメラ3802とを結ぶ直線上であって、かつモニタ3803の鉛直上方の位置に、その直線に対して45度となるような角度で設置することによって実現される。 Television camera hiding part transmits light from the forward direction and includes a half mirror 3804 so as to reflect light from the reverse direction, the half mirror 3804, a straight line connecting the signer 3801 and the television camera 3802 a is, and vertically above the position of the monitor 3803 is realized by installing at an angle such that 45 degrees with respect to the straight line.
【0213】 [0213]
すなわち、モニタ3803からの光は、ハーフミラー3804で反射されて手話者3801に到達するので、手話者3801は、モニタ3803(に表示されるアニメーション)を見ることができる。 That is, the light from the monitor 3803, so is reflected by the half mirror 3804 to reach the signer 3801, signer 3801 (animation displayed on) the monitor 3803 can be seen.
一方、手話者3801からテレビカメラ3802へ向かう光は、ハーフミラー3804を透過するが、テレビカメラ3802から手話者3801へ向かう光は、ハーフミラーで反射される。 On the other hand, the light directed from the signer 3801 to the television camera 3802 is transmitted through the half mirror 3804, the light directed from the television camera 3802 to signer 3801 is reflected by the half mirror. よって、テレビカメラ3802で手話者3801を撮影できるにもかかわらず、撮影の際、手話者3801からは、テレビカメラ3802が見えない。 Thus, in spite of the can photograph the signer 3801 by a television camera 3802, at the time of shooting, from the signer 3801, can not see the TV camera 3802.
このようなテレビカメラ隠蔽部を設けることにより、手話者からテレビカメラが見えないようにすることができる。 By providing such a TV camera hiding part, it is possible to make a TV camera can not be seen from the signer.
【図面の簡単な説明】 BRIEF DESCRIPTION OF THE DRAWINGS
【図1】本発明の第1の実施形態に係る手動作分節方法を用いた手動作認識方法を示すフローチャートである。 1 is a flowchart showing the hand operation recognition method using a hand operation segmentation method according to the first embodiment of the present invention.
【図2】図1の方法を実現するコンピュータ装置の構成の一例を示すブロック図である。 Is a block diagram showing an example of the configuration of Figure 2 the computer system implementing the method of FIG.
【図3】本発明の第2の実施形態に係る手話動作セグメンテーション装置の構成を示すブロック図である。 3 is a block diagram showing the structure of a sign language operation segmentation apparatus according to the second embodiment of the present invention.
【図4】図3の手話動作セグメンテーション装置の処理の流れの一例を示すフローチャートである。 It is a flowchart illustrating an example of a process flow of the sign-language operation segmentation apparatus of FIG. 3. FIG.
【図5】身体特徴抽出部302が設定する領域コードの一例を示す図である。 5 is a diagram showing an example of a region encoding the body feature extraction part 302 sets.
【図6】セグメント要素記憶部305に記憶されるセグメント要素データの一例を示す図である。 6 is a diagram showing an example of a segment element data stored in the segment element storage part 305.
【図7】身体特徴抽出部302によって抽出された肌色領域の一例を示す図である。 7 is a diagram showing an example of a skin color region extracted by the body feature extraction part 302.
【図8】身体特徴抽出部302が生成する顔領域情報の一例を示す図である。 8 is a diagram showing an example of a face region information body feature extraction part 302 generates.
【図9】特徴運動追跡部303が特徴運動コードを決定するための、顔による特徴運動決定条件を示す図である。 [9], wherein the motion tracking unit 303 for determining the characteristic motion code is a diagram showing a characteristic motion determining condition by the face.
【図10】動き特徴602にセットされる動き特徴パラメータの一例を示す図である。 10 is a diagram showing an example of motion feature parameters to be set in motion feature 602.
【図11】セグメント位置判定部304が作成する判定コードデータの一例を示す図である。 11 is a diagram showing an example of the determination code data segment position determination part 304 creates.
【図12】身体特徴抽出部302によって抽出された顔の肌色領域の一例を示す図である。 12 is a diagram showing an example of a skin color region of the face extracted by the body feature extraction part 302.
【図13】身体特徴抽出部302によって作成される目領域情報の一例を示す図である。 13 is a diagram showing an example of the eye region information generated by the body feature extraction part 302.
【図14】特徴運動追跡部303が特徴運動コードを決定するための、目による特徴運動決定条件を示す図である。 [Figure 14], wherein the motion tracking unit 303 for determining the characteristic motion code is a diagram showing a characteristic motion determining condition by eye.
【図15】身体特徴抽出部302が生成する口領域情報の一例を示す図である。 15 is a diagram showing an example of the mouth region information body feature extraction part 302 generates.
【図16】特徴運動追跡部303が特徴運動コードを決定するための、口による特徴運動決定条件を示す図である。 [16], wherein the motion tracking unit 303 for determining the characteristic motion code is a diagram showing a characteristic motion determining condition by mouth.
【図17】身体特徴抽出部302が生成する手領域情報の一例を示す図である。 17 is a diagram showing an example of a hand region information body feature extraction part 302 generates.
【図18】特徴運動追跡部303が特徴運動コードを決定するための、胴体と手領域とによる特徴運動決定条件を示す図である。 [Figure 18] for feature movement tracking part 303 to determine the feature movement code is a diagram showing a characteristic motion determining condition according to the body and hand region.
【図19】特徴運動追跡部303が特徴運動コードを決定するための、手と顔との接触動作による特徴運動決定条件を示す図である。 [Figure 19] for feature movement tracking part 303 to determine the feature movement code is a diagram showing a characteristic motion determining condition due to contact operation with the hands and face.
【図20】特徴運動追跡部303が特徴運動コードを決定するための、手の有効性変化による特徴運動決定条件を示す図である。 [Figure 20] for feature movement tracking part 303 to determine the feature movement code is a diagram showing a characteristic motion determining condition by the validity change hands.
【図21】頷き動作の検出による手話動作セグメンテーション方法(図4参照)において、検出した動作の継続時間を考慮してセグメンテーションを行う場合の処理の流れを示すフローチャートである。 In Figure 21 nods detection by sign language operation segmentation method of operation (see FIG. 4), is a flow chart showing the flow of processes performed when considering the duration of the detected operation to segment.
【図22】本発明の第3の実施形態に係る手話動作セグメンテーション装置の構成を示すブロック図である。 FIG. 22 is a block diagram showing the structure of a sign language operation segmentation apparatus according to a third embodiment of the present invention.
【図23】図22の手話動作セグメンテーション装置の処理の流れの一例を示すフローチャートである。 23 is a flowchart showing an example of the flow process of sign-language operation segmentation device in FIG. 22.
【図24】図22の手話動作セグメンテーション装置の処理の流れの一例を示すフローチャートである。 Is a flowchart illustrating an example of a process flow of the sign-language operation segmentation device of Figure 24] Figure 22.
【図25】非セグメント要素記憶部2201に記憶されている非セグメント要素データの一例を示す図である。 25 is a diagram showing an example of a non-segment element data stored in the non-segment element storage part 2201.
【図26】非セグメント動き特徴2502にセットされる非セグメント動き特徴パラメータの一例を示す図である。 26 is a diagram showing an example of a non-segmented motion feature parameters set to a non-segment motion feature 2502.
【図27】特徴運動追跡部303が特徴運動コードを決定するための、手話動作の対称性による非セグメント特徴運動決定条件である。 [Figure 27] for feature movement tracking part 303 to determine the feature movement code is a non-segment feature movement determination condition according to the symmetry of sign language operation.
【図28】非セグメント要素記憶部2201に記憶される、手話動作の対称性による非セグメントコード決定条件の一例を示す図である。 [Figure 28] is stored in the non-segment element storage part 2201, which is a diagram illustrating an example of a non-segmented code determination condition according to the symmetry of sign language operation.
【図29】非セグメント要素記憶部2201に記憶される同一動作面テーブルの一例を示す図である。 29 is a diagram showing an example of the same operation surface table stored in the non-segment element storage part 2201.
【図30】本発明の第4の実施形態に係るセグメント要素誘導装置の構成を示すブロック図である(図示しない手話認識装置と、図3または図22の手話動作セグメンテーション装置とに付随して設けられる)。 30 is a block diagram showing the structure of a segment element induction device according to a fourth embodiment of the present invention (the sign language recognition device (not shown), in association with the sign language operation segmentation device in FIG. 3 or FIG. 22 is provided It is).
【図31】図30のセグメント要素誘導装置の処理の流れを示すフローチャートである。 31 is a flowchart showing the flow of processing of a segment element induction device in FIG. 30.
【図32】認識結果入力部3001に入力される認識状況情報の一例を示す図である。 32 is a diagram showing an example of the recognition status information inputted into the recognition result input part 3001.
【図33】セグメント結果入力部3002に入力されるセグメント状況情報の一例を示す図である。 33 is a diagram showing an example of a segment status information inputted into the segment result input part 3002.
【図34】誘導制御情報生成部3003が作成する誘導制御情報の一例を示す図である。 34 is a diagram showing an example of guidance control information derived control information generating unit 3003 creates.
【図35】誘導規則記憶部3005に記憶される誘導規則の一例を示す図である。 35 is a diagram showing an example of derivation rules to be stored in the inductive rule storage part 3005.
【図36】図30のセグメント要素誘導装置に設けられるアニメーション速度調整装置の構成を示すブロック図である。 FIG. 36 is a block diagram showing the structure of an animation speed adjustment device provided to the segment element induction device in FIG. 30.
【図37】速度調整規則記憶部3604に記憶される速度調整規則の一例を示す図である。 37 is a diagram showing an example of a speed adjustment rule stored in the speed adjustment rule storage unit 3604.
【図38】図22のセグメント要素誘導装置に設けられるテレビカメラ隠蔽部の構成の一例を示す模式図である。 38 is a schematic diagram showing an example of a television camera hiding part of the structure provided in the segment element induction device in FIG. 22.
【符号の説明】 DESCRIPTION OF SYMBOLS
201 CPU 201 CPU
202 RAM 202 RAM
203 プログラム記憶部204 入力部205,3004,3605 出力部206 撮像部207 画像記憶部208 手話用手動作記憶部209 遷移動作記憶部301 画像入力部302 身体特徴抽出部303 特徴運動追跡部304 セグメント位置判定部305 セグメント要素記憶部2201 非セグメント要素記憶部3001,3601 認識結果入力部3002,3602 セグメント結果入力部3003 誘導制御情報生成部3005 誘導規則記憶部3603 速度調整情報生成部3604 速度調整規則記憶部3801 手話者3802 テレビカメラ3803 モニタ3804 ハーフミラー 203 program storage unit 204 input unit 205,3004,3605 output unit 206 imaging unit 207 an image storage unit 208 sign language for the hand operation storage unit 209 transition operation storage unit 301 image input unit 302 the body feature extraction part 303 feature movement tracking part 304 segment location determination unit 305 segment component storage unit 2201 non-segment element storage unit 3001,3601 recognition result input unit 3002,3602 segment result input part 3003 derived control information generation unit 3005 inductive rule storage unit 3603 speed adjustment information generation part 3604 speed adjustment rule storage unit 3801 sign language's 3802 television camera 3803 monitor 3804 half mirror

Claims (11)

  1. 利用者の身体に、一つの単語を示す動作の途中には現れず、ある単語を示す動作から別の単語を示す動作へと遷移する際に、無意識的に現れる遷移動作の特徴である瞬き、頷き、閉口、胴体静止、手と顔の接触の少なくとも1つに関する特徴を動作コードとして記述した遷移特徴データを予め記憶する遷移動作記憶手段と撮影手段と画像記憶手段と抽出手段と検出手段と手動作分節手段とを備える手動作分節装置において、利用者が行う手動作を認識する際に当該手動作を単語単位または複数の単語からなる有意味単位に自動的に分節するために実行する手動作分節方法であって In the body of the user, not appear in the middle of the operation shown one word, when the transition from the operation shown a certain word to the operation shown another word, which is a characteristic of the transition operation appearing unconsciously blink, nod, closed, body still, at least one detector and the transition operation storage means and imaging means and the image storage means and extracting means for previously storing transition feature data describing a feature as the operation code relates to means and hand hand contact and face in manual operation segmentation device comprising an operation segment means, the hand operation to be executed for automatically segmented into meaningful units comprising the hand operation from word by word or several words when recognizing the hand operation which the user performed a segmented way,
    記撮影手段が、利用者を撮影して、その画像データをフレーム単位で前記画像記憶手段に記憶する撮影ステップと、 Before SL photographing means, by photographing the user, an imaging step of storing in the image storage means the image data in frame units,
    前記抽出手段が、前記画像記憶手段から前記画像データを取り出し、当該画像データから、前記遷移動作の現れる身体部位の色と対応する画像データをフレームごとに抽出する遷移動作抽出ステップと、 It said extracting means retrieves the image data from said image storage means, from the image data, and a transition operation extraction step of extracting image data corresponding to the color of the body part of appearance of the transition operation for each frame,
    前記検出手段が、前記遷移動作抽出ステップで抽出した画像データを相互に比較して、前記遷移動作の現れる身体部位の動きを検出し、動作コード化する遷移動作検出ステップと、 The detection means compares the image data extracted by the transition operation extraction step with each other, to detect the movement of the body part of appearance of the transition operation, a transition operation detecting step of operation codes,
    前記手動作分節手段が、前記遷移動作記憶ステップで記憶した動作コードを前記遷移動作記憶手段から取り出し、当該動作コードと、前記遷移動作検出ステップで動作コード化した動作コードとを比較して、前記遷移動作が現れた時間位置を求め、当該時間位置に基づいて前記手動作を分節する分節位置を決定する手動作分節ステップとを含む、手動作分節方法。 The finger movement segmentation means, the operation code stored in the transition operation storage step removed from the transition operation storage means, compares the said operation code and operation code operation coded in the transition operation detecting step, the determine a time position which appears transition operation, based on the time position and a finger movement segmentation step of determining a segment position that segment the hand operation, the finger movement segmentation method.
  2. 前記手動作分節装置はさらに、 利用者の身体に、ある単語を示す動作から別の単語を示す動作への遷移時には現れず、一つの単語を示す動作の途中に現れる非遷移動作の特徴を記述した非遷移特徴データを予め記憶する非遷移動作記憶手段を備え、 The finger movement segmentation apparatus further the body of the user, not appear from operation shown a certain word at the time of transition to the operation shown another word, describes the characteristics of the non-transition operations appearing in the middle of the operation shown one word comprising a non-transition operation storage means for storing non-transition feature data in advance,
    前記手動作分節方法は The hand operation segmentation method,
    記抽出手段が、前記画像記憶手段から前記画像データを取り出し、当該画像データから、前記非遷移動作の現れる身体部位の色と対応する画像データをフレームごとに抽出する非遷移動作抽出ステップと、 Before Symbol extracting means retrieves the image data from said image storage means, from the image data, and a non-transition operation extraction step of extracting image data corresponding to the body parts of appearance of non-transition operations colors per frame,
    前記検出手段が、前記非遷移動作抽出ステップで抽出した画像データを相互に比較して、非遷移動作の現れる身体部位の動きを検出し、動作コード化する非遷移動作検出ステップと、 The detection means compares the image data extracted by the non-transition operation extraction step with each other, to detect the movement of the body part of appearance of non-transition operation, a non-transition operation detecting step of operation codes,
    前記手動作分節手段が、前記非遷移動作記憶ステップで記憶した動作コードを前記非遷移動作記憶手段から取り出し、当該動作コードと、前記非遷移動作検出ステップで動作コード化した動作コードとを比較して、前記非遷移動作が現れた時間位置を求める非遷移動作分節ステップとをさらに含み、 The finger movement segmentation means, said operation code stored in the non-transition operation storage step removed from the non-transition operation storage means, compares the operation code and operation code operation encoded in the non-transition operation detecting step Te, further comprising a non-transition operation segment determining a time position where said non-transition operation is encountered,
    前記手動作分節ステップでは、前記遷移動作が現れた時間位置であっても、前記非遷移動作が現れた時間位置においては分節を行わないことを特徴とする、請求項1に記載の手動作分節方法。 In the manual operation segmentation step, even the position time the transition operation appears, characterized in that said not to perform segmentation in non-transition operation time position appeared, the finger movement segment of claim 1 Method.
  3. 記撮影ステップでは、当該利用者を立体的に撮影して、その3次元画像データを前記画像記憶手段に記憶し、 In the previous SL photographing step, sterically photographing the user, and stores the 3-dimensional image data in the image storage means,
    前記抽出手段が、前記画像記憶手段から前記3次元画像データを取り出し、当該3次元画像データから、右手および左手と対応する3次元画像データを抽出する非遷移動作抽出ステップと、 The extraction means extracts the said 3-dimensional image data from said image storage means, from the 3-dimensional image data, and a non-transition operation extracting a three-dimensional image data corresponding to the right hand and left hand,
    前記検出手段が、前記3次元画像データに基づいて、右手および左手の動きを示す3次元ベクトルを検出する非遷移動作検出ステップと、 The detection means, on the basis of the three-dimensional image data, and a non-transition operation detection step of detecting a three-dimensional vector indicating the right and left hand movement,
    前記手動作分節手段が、前記3次元ベクトルに基づいて、右手の動作面および左手の動作面の変化を検出し、右手の動作面および左手の動作面がどちらも変化しない場合、一つの単語を示す動作の途中であることを示す非遷移動作が現れたと判定して、その時間位置を求める非遷移動作分節ステップとをさらに含み、 The finger movement segmentation means, based on the three-dimensional vector, and detecting a change in the right hand operation surface and left operation plane, when the operation surface and left operation plane of the right hand does not change either, one word it is determined that the non-transition operation appeared indicating that the course of the operation shown, further comprises a non-transition operation segment determining the time position,
    前記手動作分節ステップでは、前記遷移動作が現れた時間位置であっても、前記非遷移動作が現れた時間位置においては分節を行わないことを特徴とする、請求項1に記載の手動作分節方法。 In the manual operation segmentation step, even the position time the transition operation appears, characterized in that said not to perform segmentation in non-transition operation time position appeared, the finger movement segment of claim 1 Method.
  4. 前記非遷移動作分節ステップでは、右手の動作面および左手の動作面の変化を、それら動作面の法線ベクトルの変化に基づいて検出することを特徴とする、請求項3に記載の手動作分節方法。 Wherein the non-transition operations segmented step, a change in the right hand operation surface and left operation plane, and detecting based on the change in the normal vector thereof operation face, the finger movement segment of claim 3 Method.
  5. 前記手動作分節装置はさらに、同一動作面テーブル作成手段と、3次元コード列変換手段とを備え、 The finger movement segmentation apparatus further comprises the same active surface table generation means, and a three-dimensional code string transforming means,
    前記同一動作面テーブル作成手段が、それぞれ互いに異なる方向を持つ3次元ベクトルと対応する複数の3次元動作コードに関し、1つの面内に含まれるような3次元動作コードの組み合わせを記載した同一動作面テーブルを、予め作成するステップと、 Wherein the same operation surface tabulation means relates a plurality of 3-dimensional operation code corresponding with the three-dimensional vector having different directions from each other, the same operation surface that describes the combination of a three-dimensional operation code as contained in one plane the table and creating in advance,
    前記3次元コード列変換手段が、右手および左手の動きを、前記複数の3次元動作コードで表現された3次元動作コード列に変換するステップとをさらに含み、 The three-dimensional code sequence conversion means further comprises converting the right hand and left hand movement, the 3-dimensional operation code string represented by said plurality of 3-dimensional operation code,
    前記非遷移動作分節ステップでは、右手の動作面および左手の動作面の変化を、前記3次元動作コード列と、前記同一動作面テーブルに基づいて検出することを特徴とする、請求項3に記載の手動作分節方法。 Wherein the non-transition operations segmented step, a change in the right hand operation surface and left operation plane, the a 3-dimensional operation code sequence, and detecting, based on the same operation surface table, according to claim 3 hand operation segmentation method of.
  6. 利用者の身体に、一つの単語を示す動作の途中には現れず、ある単語を示す動作から別の単語を示す動作へと遷移する際に、無意識的に現れる遷移動作の特徴である瞬き、頷き、閉口、胴体静止、手と顔の接触の少なくとも1つに関する特徴を動作コードとして記述した遷移特徴データを予め記憶している遷移動作記憶手段を備えるコンピュータを、 In the body of the user, not appear in the middle of the operation shown one word, when the transition from the operation shown a certain word to the operation shown another word, which is a characteristic of the transition operation appearing unconsciously blink, nod, closed, body still, the computer having a transition operation storage means stores in advance a transition feature data describing a feature as an operation code for at least one contact of the hands and face,
    利用者を撮影して、その画像データをフレーム単位で画像記憶手段に記憶する撮影手段と、 By photographing the user, and imaging means for storing in the image storage means in units of frames of the image data,
    前記画像記憶手段から前記画像データを取り出し、当該画像データから、前記遷移動作の現れる身体部位の色と対応する画像データをフレームごとに抽出する抽出手段と、 Taking out said image data from said image storage means, extracting means for extracting from the image data, the image data corresponding to the color of the body part of appearance of the transition operation for each frame,
    前記抽出手段で抽出した画像データを相互に比較して、前記遷移動作の現れる身体部位の動きを検出し、動作コード化する検出手段と、 By comparing the image data extracted by the extraction means with each other, to detect the movement of the body part of appearance of the transition operation, a detection unit which operates encoding,
    前記遷移動作記憶手段から前記動作コードを取り出し、当該動作コードと、前記検出手段で動作コード化した動作コードとを比較して、前記遷移動作が現れた時間位置を求め、当該時間位置に基づいて前記手動作を分節する手動作分節手段として機能させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。 Taking out said operation code from said transition operation storage means, and the operation code, by comparing the operation code operation coded in the detecting means, obtains a time position where the transition operation appears, on the basis of the time position a computer-readable recording medium a program for functioning as a finger movement segmentation means for segmentation of the hand operation.
  7. 利用者が行う手動作を認識する際に当該手動作を単語単位または複数の単語からなる有意味単位に自動的に分節するための手動作分節装置であって、 A hand gesture segmentation device for automatically segmented into meaningful units comprising the hand operation from word by word or several words when recognizing the hand operation the user performs,
    利用者の身体に、一つの単語を示す動作の途中には現れず、ある単語を示す動作から別の単語を示す動作へと遷移する際に、無意識的に現れる遷移動作の特徴である瞬き、頷き、閉口、胴体静止、手と顔の接触の少なくとも1つに関する特徴を動作コードとして記述した遷移特徴データを予め記憶している遷移動作記憶手段と、 In the body of the user, not appear in the middle of the operation shown one word, when the transition from the operation shown a certain word to the operation shown another word, which is a characteristic of the transition operation appearing unconsciously blink, nod, it closed, and the body rest, hands and face transition operation storage means stores in advance a transition feature data describing a feature as an operation code for at least one contact,
    利用者を撮影して、その画像データをフレーム単位で画像記憶手段に記憶する撮影手段と、 By photographing the user, and imaging means for storing in the image storage means in units of frames of the image data,
    前記画像記憶手段から前記画像データを取り出し、当該画像データから、前記遷移動作の現れる身体部位の色と対応する画像データをフレームごとに抽出する抽出手段と、 Taking out said image data from said image storage means, extracting means for extracting from the image data, the image data corresponding to the color of the body part of appearance of the transition operation for each frame,
    前記抽出手段で抽出した画像データを相互に比較して、前記遷移動作の現れる身体部位の動きを検出し、動作コード化する検出手段と、 By comparing the image data extracted by the extraction means with each other, to detect the movement of the body part of appearance of the transition operation, a detection unit which operates encoding,
    前記遷移動作記憶手段から前記動作コードを取り出し、当該動作コードと、前記検出手段で動作コード化した動作コードとを比較して、前記遷移動作が現れた時間位置を求め、当該時間位置に基づいて前記手動作を分節する手動作分節手段とを備える、手動作分節装置。 Taking out said operation code from said transition operation storage means, and the operation code, by comparing the operation code operation coded in the detecting means, obtains a time position where the transition operation appears, on the basis of the time position and a hand operation segmentation means for segmentation of the hand operation, the finger movement segmentation device.
  8. 前記手動作分節装置はさらに、利用者の身体に、ある単語を示す動作から別の単語を示す動作への遷移時には現れず、一つの単語を示す動作の途中に現れる非遷移動作の特徴を記述した非遷移特徴データを予め記憶する非遷移動作記憶手段を備え、 The finger movement segmentation apparatus further the body of the user, not appear from operation shown a certain word at the time of transition to the operation shown another word, describes the characteristics of the non-transition operations appearing in the middle of the operation shown one word comprising a non-transition operation storage means for storing non-transition feature data in advance,
    前記抽出手段は、さらに、前記画像記憶手段から前記画像データを取り出し、当該画像データから、前記非遷移動作の現れる身体部位の色と対応する画像データをフレームごとに抽出し、 Said extraction means further retrieves the image data from said image storage means, and extracting from the image data, the image data corresponding to the body parts of appearance of non-transition operations colors per frame,
    前記検出手段は、さらに、前記抽出手段で抽出した前記非遷移動作の現れる身体部位と対応する画像データを相互に比較して、非遷移動作の現れる身体部位の動きを検出し、動作コード化し、 It said detecting means further compares the image data corresponding to the body part of appearance of the non-transition operation extracted by the extraction means with each other, to detect the movement of the body part of appearance of non-transition operation, and operation codes,
    前記手動作分節手段は、さらに、前記非遷移動作記憶手段から前記非遷移特徴データの動作コードを取り出し、当該動作コードと、前記検出手段で動作コード化した前記非遷移動作の現れる身体部位と対応する画像の動きを示す動作コードとを比較して、前記非遷移動作が現れた時間位置を求め、前記遷移動作が現れた時間位置であっても、前記非遷移動作が現れた時間位置においては分節を行わないことを特徴とする、請求項7に記載の手動作分節装置。 The finger movement segmentation means further said removed operation code of said non-transition feature data from the non-transition operation storage means, corresponding with the operation code, and operation coded body part of appearance of the non-transition operation by the detecting means by comparing the operation code indicating a motion of an image to be, the determined non-transition operation appears time position, the even transition operation appears time position, said at non-transition operation appears time position characterized in that it does not perform segment, the finger movement segmentation apparatus according to claim 7.
  9. 前記撮影手段は、当該利用者を立体的に撮影して、その3次元画像データを前記画像記憶手段に記憶し、 The imaging means is sterically photographing the user, and stores the 3-dimensional image data in the image storage means,
    前記抽出手段は、さらに、前記画像記憶手段から前記3次元画像データを取り出し、当該3次元画像データから、前記非遷移動作の現れる右手および左手と対応する3次元画像データを抽出し、 It said extraction means further retrieves the 3-dimensional image data from said image storage means, from the 3-dimensional image data, extracts the 3-dimensional image data corresponding to the right hand and left hand coming of the non-transition operation,
    前記検出手段は、さらに、前記抽出手段で抽出した3次元画像データに基づいて、右手および左手の動きを示す3次元ベクトルを検出し、 The detection means is further based on the three-dimensional image data extracted by the extraction means, to detect a three-dimensional vector indicating the right and left hand movement,
    前記手動作分節手段は、さらに、 The finger movement segmentation means further comprises
    前記3次元ベクトルに基づいて、右手の動作面および左手の動作面の変化を検出し、 Based on the three-dimensional vector, and detecting a change in the right hand operation surface and left operation plane,
    右手の動作面および左手の動作面がどちらも変化しない場合、一つの単語を示す動作の途中であることを示す非遷移動作が現れたと判定して、その時間位置を求め、 If the operating surface and left operation plane of the right hand does not change either, it is determined that the non-transition operation indicating the middle of operation shown one word appears, asking the time position,
    前記遷移動作が現れた時間位置であっても、前記非遷移動作が現れた時間位置においては分節を行わないことを特徴とする、請求項7に記載の手動作分節装置。 The even transition operation appears time position, characterized in that it does not perform the segmental in time position where said non-transition operation is encountered, the finger movement segmentation apparatus according to claim 7.
  10. 前記手動作分節手段は、右手の動作面および左手の動作面の変化を、それら動作面の法線ベクトルの変化に基づいて検出することを特徴とする、請求項9に記載の手動作分節装置。 The finger movement segmentation means, a change in the right hand operation surface and left operation plane, and detecting based on the change in the normal vector thereof operation face, the finger movement segmentation apparatus according to claim 9 .
  11. 前記手動作分節装置はさらに、 The finger movement segmentation apparatus further
    それぞれ互いに異なる方向を持つ3次元ベクトルと対応する複数の3次元動作コードに関し、1つの面内に含まれるような3次元動作コードの組み合わせを記載した単一動作面テーブルを、予め作成する手段と、 Relates plurality of 3-dimensional operation code corresponding with the three-dimensional vector having different directions from each other, a single operation surface table describing the combination of three-dimensional operation code as contained in one plane, means for creating in advance ,
    右手および左手の動きを、前記複数の3次元動作コードで表現された3次元動作コード列に変換する手段とをさらに備え、 The right hand and left hand movement, and means for converting the 3-dimensional operation code string represented by said plurality of 3-dimensional operation code,
    前記手動作分節手段は、右手の動作面および左手の動作面の変化を、前記同一動作面テーブルに基づいて検出することを特徴とする、請求項9に記載の手動作分節装置。 The finger movement segmentation means, a change in the right hand operation surface and left operation plane, and detects on the basis of the same operation surface table, finger movement segmentation apparatus according to claim 9.
JP27112299A 1998-09-28 1999-09-24 Hand operation segmentation method and apparatus Active JP4565200B2 (en)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP10-273966 1998-09-28
JP27396698 1998-09-28
JP27112299A JP4565200B2 (en) 1998-09-28 1999-09-24 Hand operation segmentation method and apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP27112299A JP4565200B2 (en) 1998-09-28 1999-09-24 Hand operation segmentation method and apparatus

Publications (2)

Publication Number Publication Date
JP2000172163A JP2000172163A (en) 2000-06-23
JP4565200B2 true JP4565200B2 (en) 2010-10-20

Family

ID=26549546

Family Applications (1)

Application Number Title Priority Date Filing Date
JP27112299A Active JP4565200B2 (en) 1998-09-28 1999-09-24 Hand operation segmentation method and apparatus

Country Status (1)

Country Link
JP (1) JP4565200B2 (en)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005310068A (en) * 2004-04-26 2005-11-04 Noritsu Koki Co Ltd Method for correcting white of eye, and device for executing the method
JP4792824B2 (en) * 2004-11-05 2011-10-12 富士ゼロックス株式会社 Motion analysis apparatus
JP2006301906A (en) * 2005-04-20 2006-11-02 Nec Corp Portable telephone terminal with camera, and operation method and operation program therefor
KR100817298B1 (en) 2005-12-08 2008-03-27 한국전자통신연구원 Method for detecting and tracking both hands
JP2007310914A (en) * 2007-08-31 2007-11-29 Nippon Telegr & Teleph Corp <Ntt> Mouse alternating method, mouse alternating program and recording medium
WO2009155465A1 (en) * 2008-06-18 2009-12-23 Oblong Industries, Inc. Gesture-based control system for vehicle interfaces
JP5598751B2 (en) * 2010-03-05 2014-10-01 日本電気株式会社 Recognition device
JP5915000B2 (en) 2011-06-13 2016-05-11 ソニー株式会社 Information processing apparatus and program
JP6132925B2 (en) * 2013-09-30 2017-05-24 株式会社ソニー・インタラクティブエンタテインメント The information processing apparatus, information processing method, program, and information storage medium
JP6177655B2 (en) * 2013-10-11 2017-08-09 株式会社Nttドコモ Image recognition apparatus and an image recognition method
JP6144192B2 (en) * 2013-12-27 2017-06-07 株式会社Nttドコモ Image recognition apparatus, and an image recognition method
WO2016017101A1 (en) * 2014-07-30 2016-02-04 ソニー株式会社 Information processing device, information processing method and program
CN104616028B (en) * 2014-10-14 2017-12-12 北京中科盘古科技发展有限公司 Human limb movement posture recognition method based learning space division

Also Published As

Publication number Publication date
JP2000172163A (en) 2000-06-23

Similar Documents

Publication Publication Date Title
Valstar et al. Fully automatic recognition of the temporal phases of facial actions
Van den Bergh et al. Combining RGB and ToF cameras for real-time 3D hand gesture interaction
Chai et al. Vision-based control of 3d facial animation
Yang et al. Face detection and gesture recognition for human-computer interaction
Fasel et al. Automatic facial expression analysis: a survey
US6504546B1 (en) Method of modeling objects to synthesize three-dimensional, photo-realistic animations
US7764828B2 (en) Method, apparatus, and computer program for processing image
EP1650711B1 (en) Image processing device, imaging device, image processing method
Ding et al. Features versus context: An approach for precise and detailed detection and delineation of faces and facial features
JP3512992B2 (en) Image processing apparatus and image processing method
Li et al. Learning to predict gaze in egocentric video
JP5887775B2 (en) Human Computer Interaction System, Hands designated point positioning method, and the gesture determination method of hand
DE69936620T2 (en) Method and apparatus for segmenting hand gestures
US7876931B2 (en) Face recognition system and method
Aleksic et al. Automatic facial expression recognition using facial animation parameters and multistream HMMs
Decarlo et al. Optical flow constraints on deformable models with applications to face tracking
US9213890B2 (en) Gesture recognition system for TV control
US6147678A (en) Video hand image-three-dimensional computer interface with multiple degrees of freedom
Ye et al. Accurate 3d pose estimation from a single depth image
US8655021B2 (en) Systems and methods for tracking human hands by performing parts based template matching using images from multiple viewpoints
Pavlovic et al. Visual interpretation of hand gestures for human-computer interaction: A review
US8582037B2 (en) System and method for hand gesture recognition for remote control of an internet protocol TV
Tomasi et al. 3d tracking= classification+ interpolation
Micilotta et al. Detection and Tracking of Humans by Probabilistic Body Part Assembly.
US20080018595A1 (en) Video-based image control system

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060824

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060825

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090924

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20091117

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100414

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100528

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100614

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100709

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20100709

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130813

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250