JP4717445B2 - Image processing system, image processing device, game device, program, information storage medium, and image processing method - Google Patents
Image processing system, image processing device, game device, program, information storage medium, and image processing method Download PDFInfo
- Publication number
- JP4717445B2 JP4717445B2 JP2005001579A JP2005001579A JP4717445B2 JP 4717445 B2 JP4717445 B2 JP 4717445B2 JP 2005001579 A JP2005001579 A JP 2005001579A JP 2005001579 A JP2005001579 A JP 2005001579A JP 4717445 B2 JP4717445 B2 JP 4717445B2
- Authority
- JP
- Japan
- Prior art keywords
- reference area
- image
- predetermined
- region
- imaging
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims description 48
- 238000003672 processing method Methods 0.000 title claims description 14
- 238000003384 imaging method Methods 0.000 claims description 74
- 238000001514 detection method Methods 0.000 claims description 35
- 238000004364 calculation method Methods 0.000 claims description 9
- 238000000034 method Methods 0.000 description 15
- 230000008569 process Effects 0.000 description 11
- 230000006870 function Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 238000012544 monitoring process Methods 0.000 description 3
- 230000009471 action Effects 0.000 description 1
- 238000009395 breeding Methods 0.000 description 1
- 230000001488 breeding effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000007429 general method Methods 0.000 description 1
- 230000005389 magnetism Effects 0.000 description 1
- 230000035807 sensation Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Landscapes
- Position Input By Displaying (AREA)
- Image Analysis (AREA)
Description
本発明は、撮像画像における撮像対象の位置を決定するための画像処理システム、画像処理装置、ゲーム装置、プログラム、情報記憶媒体および画像処理方法に関する。 The present invention relates to an image processing system for determining the position of the imaging Target in the captured image, the image processing apparatus, a game device, a program, an information storage medium and image processing method.
例えば、ゲーム装置は、ゲームのプレイヤーを撮像し、プレイヤーの手の動きに応じてゲーム画像内のキャラクター等を移動させる場合、撮像データに含まれるプレイヤーの手の位置を正確に追跡する必要がある。 For example, when a game device images a player of a game and moves a character or the like in the game image in accordance with the movement of the player's hand, it is necessary to accurately track the position of the player's hand included in the imaging data. .
例えば、特許文献1では、画像処理装置が、撮像画像における操作者の手の画像をテンプレート画像として記憶し、撮像画像を複数の領域に分割して各領域からテンプレート画像に最も類似する領域の画像を探索することが記載されている。 For example, in Patent Document 1, an image processing apparatus stores an image of an operator's hand in a captured image as a template image, divides the captured image into a plurality of regions, and images of regions most similar to the template image from each region. Searching for is described.
そして、特許文献1の画像処理装置は、フレームごとに上記最も類似する領域の画像を新たなテンプレート画像として更新する処理を行い、操作者の手の動きに画像内のカーソル画像を追従させ、当該カーソル画像の位置がメニュー画像の位置に一致した場合に当該メニュー画像に応じた処理を実行する。
しかし、このように撮像画像から対象物と適合する画像を探索する際に、対象物が一様な画像の場合、画像処理装置は、撮像画像に含まれるノイズ部分を誤って対象物として決定してしまう場合がある。 However, when searching for an image that matches the target object from the captured image in this way, if the target object is a uniform image, the image processing apparatus erroneously determines the noise portion included in the captured image as the target object. May end up.
また、特許文献1の画像処理装置のように、テンプレート画像を順次更新する画像処理を行っている場合、テンプレート画像が最初のテンプレート画像と徐々に乖離していき、画像処理装置が、撮像画像内の対象物とは異なる物を対象物として決定してしまう場合がある。 Further, when image processing for sequentially updating template images is performed as in the image processing device of Patent Document 1, the template image gradually deviates from the first template image, and the image processing device In some cases, an object different from the target object is determined as the target object.
特に、プレイヤーの動作位置に応じてゲーム画像内のキャラクター等を移動させる場合、プレイヤーの動作位置を正確に決定することが重要となる。 In particular, when moving a character or the like in the game image in accordance with the player's movement position, it is important to accurately determine the player's movement position.
本発明は、上記課題に鑑みなされたものであり、その目的は、撮像画像における撮像対象の位置をより正確に決定することができる画像処理システム、画像処理装置、ゲーム装置、プログラム、情報記憶媒体および画像処理方法を提供することにある。 The present invention has been made in view of the above problems, an image processing system which can more accurately determine the position of the imaging Target in the captured image, the image processing apparatus, a game device, a program, an information storage To provide a medium and an image processing method.
上記課題を解決するため、本発明に係る画像処理システムは、撮像対象者の一部分または全体を撮像して撮像画像を示す撮像データを生成する撮像手段と、
前記撮像データに基づき、前記撮像画像における類似領域を検出する類似領域検出手段と、
前記撮像データに基づき、前記撮像画像における参照領域内のエッジ量を演算する演算手段と、
前記エッジ量が所定値以上の場合、前記類似領域を新たな参照領域として設定する参照領域設定手段と、
前記新たな参照領域の位置に応じて画像を生成する画像生成手段と、
を含み、
前記類似領域検出手段は、前記撮像画像において、前記前回の参照領域と最も類似する領域を前記類似領域として検出することを特徴とする。
In order to solve the above problems, an image processing system according to the present invention includes an imaging unit that captures a part or the whole of an imaging target person and generates imaging data indicating a captured image;
Similar region detection means for detecting a similar region in the captured image based on the captured data;
An arithmetic means for calculating an edge amount in a reference area in the captured image based on the imaging data;
A reference area setting means for setting the similar area as a new reference area when the edge amount is a predetermined value or more;
Image generating means for generating an image according to the position of the new reference region;
Including
The similar area detecting means detects an area most similar to the previous reference area as the similar area in the captured image.
また、本発明に係るゲーム装置は、上記画像処理システムを有することを特徴とする。 A game device according to the present invention includes the image processing system.
また、本発明に係るプログラムは、撮像部を有するコンピュータにより読み取り可能なプログラムであって、
前記コンピュータを、
前記撮像部に撮像対象者の一部分または全体を撮像させて撮像画像を示す撮像データを生成させる撮像制御手段と、
前記撮像データに基づき、前記撮像画像における類似領域を検出する類似領域検出手段と、
前記撮像データに基づき、前記撮像画像における参照領域内のエッジ量を演算する演算手段と、
前記エッジ量が所定値以上の場合、前記類似領域を新たな参照領域として設定する参照領域設定手段と、
前記新たな参照領域の位置に応じて画像を生成する画像生成手段として機能させ、
前記類似領域検出手段は、前記撮像画像において、前記前回の参照領域と最も類似する領域を前記類似領域として検出することを特徴とする。
Further, the program according to the present invention is a program readable by a computer having an imaging unit,
The computer,
Imaging control means for causing the imaging unit to capture a part or the whole of an imaging target person and generating imaging data indicating a captured image;
Similar region detection means for detecting a similar region in the captured image based on the captured data;
An arithmetic means for calculating an edge amount in a reference area in the captured image based on the imaging data;
A reference area setting means for setting the similar area as a new reference area when the edge amount is a predetermined value or more;
Function as an image generation means for generating an image according to the position of the new reference region;
The similar area detecting means detects an area most similar to the previous reference area as the similar area in the captured image.
また、本発明に係る情報記憶媒体は、上記プログラムを記憶したことを特徴とする。 An information storage medium according to the present invention stores the above program.
また、本発明に係る画像処理方法は、撮像部を有するコンピュータによる画像処理方法であって、
前記コンピュータは、
前記撮像部を制御することによって撮像対象者の一部分または全体を撮像して撮像画像を示す撮像データを生成し、
前記撮像データに基づき、前記撮像画像における参照領域内のエッジ量を演算し、
前記撮像データに基づき、前記撮像画像における所定の類似領域を設定し、
前記エッジ量が所定値以上の場合、前記類似領域を新たな参照領域として設定し、
前記新たな参照領域の位置に応じて画像を生成するとともに、
前記撮像画像において、前記前回の参照領域と最も類似する領域を前記類似領域として検出することを特徴とする。
An image processing method according to the present invention is an image processing method by a computer having an imaging unit,
The computer
By controlling the image capturing unit to capture a part or the whole of the person to be imaged to generate imaging data indicating a captured image,
Based on the imaging data, calculate the edge amount in the reference area in the captured image,
Based on the imaging data, set a predetermined similar region in the captured image,
If the edge amount is greater than or equal to a predetermined value, set the similar region as a new reference region,
Generating an image according to the position of the new reference region;
In the captured image, an area most similar to the previous reference area is detected as the similar area.
本発明によれば、画像処理システム等は、撮像画像内の参照領域におけるエッジ量が少ない場合は、参照領域を移動しない処理を実行することができる。これにより、画像処理システム等は、撮像画像内の対象物の誤認識を低減することができるため、対象物の位置をより正確に決定することができる。 According to the present invention, an image processing system or the like can execute a process that does not move a reference area when the amount of edges in the reference area in the captured image is small. Accordingly, the image processing system or the like can reduce erroneous recognition of the target object in the captured image, and thus can determine the position of the target object more accurately.
また、前記画像処理システムおよび前記ゲーム装置は、前記撮像データに基づき、前記撮像画像内の所定領域を初回参照領域として設定する初回参照領域設定手段を含み、
前記演算手段は、前記所定領域内の動き検出量を演算し、
前記初回参照領域設定手段は、前記動き検出量が閾値を超える状態が所定時間以上続いた場合に前記所定領域を前記初回参照領域として設定してもよい。
Further, the image processing system and the game device include initial reference area setting means for setting a predetermined area in the captured image as an initial reference area based on the imaging data,
The calculation means calculates a motion detection amount in the predetermined area,
The first reference area setting means may set the predetermined area as the first reference area when a state where the motion detection amount exceeds a threshold value continues for a predetermined time or longer.
また、前記プログラムおよび前記情報記憶媒体は、前記コンピュータを、前記撮像データに基づき、前記撮像画像内の所定領域を初回参照領域として設定する初回参照領域設定手段として機能させ、
前記演算手段は、前記所定領域内の動き検出量を演算し、
前記初回参照領域設定手段は、前記動き検出量が閾値を超える状態が所定時間以上続いた場合に前記所定領域を前記初回参照領域として設定してもよい。
Further, the program and the information storage medium cause the computer to function as an initial reference area setting unit that sets a predetermined area in the captured image as an initial reference area based on the imaging data,
The calculation means calculates a motion detection amount in the predetermined area,
The first reference area setting means may set the predetermined area as the first reference area when a state where the motion detection amount exceeds a threshold value continues for a predetermined time or longer.
また、前記画像処理方法において、
前記コンピュータは、
前記撮像画像内の所定領域内の動き検出量を演算し、
前記動き検出量が閾値を超える状態が所定時間以上続いた場合に前記所定領域を前記初回参照領域として設定してもよい。
In the image processing method,
The computer
Calculating a motion detection amount in a predetermined region in the captured image;
The predetermined area may be set as the first reference area when the state in which the motion detection amount exceeds the threshold value continues for a predetermined time or longer.
これによれば、画像処理システム等は、初期段階においても、撮像画像における対象物の位置をより正確に決定することができる
また、前記画像処理システム、前記ゲーム装置、前記プログラムおよび前記情報記憶媒体において、前記参照領域設定手段は、前記前回の参照領域の位置と前記新たな参照領域の位置が一致する場合、最新の前記撮像画像において、前記初回参照領域における所定画像信号値と最も類似する所定画像信号値を有する領域を前記新たな参照領域として設定してもよい。
According to this, the image processing system or the like can determine the position of the object in the captured image more accurately even in the initial stage. Also, the image processing system, the game device, the program, and the information storage medium When the position of the previous reference area coincides with the position of the new reference area, the reference area setting means has a predetermined image signal value most similar to the predetermined image signal value in the first reference area in the latest captured image. An area having an image signal value may be set as the new reference area.
また、前記画像処理方法において、
前記コンピュータは、
前記前回の参照領域の位置と前記新たな参照領域の位置が一致する場合、最新の前記撮像画像において、前記初回参照領域における所定画像信号値と最も類似する所定画像信号値を有する領域を前記新たな参照領域として設定してもよい。
In the image processing method,
The computer
If the position of the previous reference area matches the position of the new reference area, the area having the predetermined image signal value that is most similar to the predetermined image signal value in the initial reference area in the latest captured image is the new image. The reference area may be set.
これによれば、画像処理システム等は、参照領域の位置が変化しない場合に前回の参照領域とは異なる領域を新たな参照領域として設定することができる。これにより、画像処理システム等は、参照領域の内容が最初の参照領域の内容と徐々に乖離していき、画像処理装置が、撮像画像内の対象物とは異なる物を対象物として決定してしまう事態の発生を防止することができる。 According to this, the image processing system or the like can set an area different from the previous reference area as a new reference area when the position of the reference area does not change. As a result, the content of the reference region gradually deviates from the content of the first reference region, and the image processing apparatus determines an object different from the object in the captured image as the object. Can be prevented from occurring.
また、前記画像処理システム、前記ゲーム装置、前記プログラム、前記情報記憶媒体および前記画像処理方法において、前記所定画像信号値は、前記初回参照領域を構成する画素の画像信号値の平均値であってもよい。 In the image processing system, the game device, the program, the information storage medium, and the image processing method, the predetermined image signal value is an average value of image signal values of pixels constituting the initial reference area. Also good.
これによれば、画像処理システム等は、画像信号値(例えば、RGB信号値等)の平均値を用いることにより、より簡易かつ高速に判定を行うことができる。 According to this, an image processing system or the like can perform determination more easily and at high speed by using an average value of image signal values (for example, RGB signal values).
また、前記画像処理システム、前記ゲーム装置、前記プログラムおよび前記情報記憶媒体において、前記参照領域設定手段は、前記エッジ量が前記所定値未満の場合、最新の前記撮像画像から前記初回参照領域における所定画像信号値と最も類似する所定画像信号値を有する領域を決定し、当該領域における前記所定画像信号値と前記初回参照領域における所定画像信号値との差異が所定範囲内である場合、当該領域を前記新たな参照領域として設定し、前記差異が所定範囲内でない場合、前回の参照領域を前記新たな参照領域として設定してもよい。 Further, in the image processing system, the game device, the program, and the information storage medium, the reference area setting unit may determine a predetermined area in the initial reference area from the latest captured image when the edge amount is less than the predetermined value. When an area having a predetermined image signal value that is most similar to the image signal value is determined, and the difference between the predetermined image signal value in the area and the predetermined image signal value in the initial reference area is within a predetermined range, If the difference is not within a predetermined range, the previous reference area may be set as the new reference area.
また、前記画像処理方法において、前記コンピュータは、
前記エッジ量が前記所定値未満の場合、最新の前記撮像画像から前記初回参照領域における所定画像信号値と最も類似する所定画像信号値を有する領域を決定し、
当該領域における前記所定画像信号値と前記初回参照領域における所定画像信号値との差異が所定範囲内である場合、当該領域を前記新たな参照領域として設定し、前記差異が所定範囲内でない場合、前回の参照領域を前記新たな参照領域として設定してもよい。
In the image processing method, the computer
If the edge amount is less than the predetermined value, determine a region having a predetermined image signal value most similar to the predetermined image signal value in the initial reference region from the latest captured image;
When the difference between the predetermined image signal value in the region and the predetermined image signal value in the initial reference region is within a predetermined range, the region is set as the new reference region, and the difference is not within the predetermined range, The previous reference area may be set as the new reference area.
これによれば、画像処理システム等は、撮像画像内の動きが少ない場合であっても、より正確に対象物を追跡することができる。 According to this, the image processing system or the like can track the target more accurately even when the movement in the captured image is small.
また、前記画像処理システム、前記ゲーム装置、前記プログラムおよび前記情報記憶媒体において、前記画像生成手段は、前記撮像データに基づき、前記撮像対象者の撮像画像に前記新たな参照領域の位置に所定物体を配置した画像を生成してもよい。 Further, in the image processing system, the game device, the program, and the information storage medium, the image generation unit is configured to determine a predetermined object at a position of the new reference area in the captured image of the person to be imaged based on the imaging data. You may generate the image which arranged.
また、前記画像処理方法において、前記コンピュータは、前記撮像データに基づき、前記撮像対象者の撮像画像に前記新たな参照領域の位置に所定物体を配置した画像を生成してもよい。 In the image processing method, the computer may generate an image in which a predetermined object is arranged at a position of the new reference area in the captured image of the person to be imaged based on the imaging data.
これによれば、画像処理システム等は、撮像対象者の動きに所定物体をより正確に追随させる画像を生成することができる。 According to this, the image processing system or the like can generate an image that causes a predetermined object to follow the movement of the person to be imaged more accurately.
以下、本発明を、画像処理システムを有するゲーム装置に適用した場合を例に採り、図面を参照しつつ説明する。なお、以下に示す実施形態は、特許請求の範囲に記載された発明の内容を何ら限定するものではない。また、以下の実施形態に示す構成の全てが、特許請求の範囲に記載された発明の解決手段として必須であるとは限らない。 Hereinafter, a case where the present invention is applied to a game apparatus having an image processing system will be described as an example with reference to the drawings. In addition, the embodiment shown below does not limit the content of the invention described in the claim at all. In addition, all of the configurations shown in the following embodiments are not necessarily essential as means for solving the problems described in the claims.
図1は、本実施例におけるゲーム装置10の外観図である。
FIG. 1 is an external view of a
ゲーム装置10は、ゲームROM1206からゲームプログラム等を読み取ることにより、キャラクター育成型ゲームを実行する。
The
また、ゲーム装置10は、USBケーブルを介して撮像手段として機能するUSBカメラ20と接続され、別のケーブルを介してTV30と接続されている。
The
プレイヤーは、USBカメラ20によって撮像され、プレイヤーの撮像画像とペット(キャラクター)の画像を含むゲーム画像がTV30に表示される。
The player is imaged by the
ゲーム装置10は、プレイヤーがペットに餌を与えるゲーム画像を生成する。
The
図2は、本実施例におけるペットに餌を与える場合の第1のゲーム画像430を示す図である。また、図3は、本実施例におけるペットに餌を与える場合の第2のゲーム画像432を示す図である。また、図4は、本実施例におけるペットに餌を与える場合の第3のゲーム画像434を示す図である。また、図5は、本実施例におけるペットに餌を与える場合の第4のゲーム画像436を示す図である。なお、図2〜図5においては、説明を簡略化するため、プレイヤーの片腕のみ描いており、その他の部分を省略している。
FIG. 2 is a diagram showing a
ゲーム装置10は、プレイヤーがペットの餌(食べ物)に関する画像を選択した場合、撮像画像におけるプレイヤーの手の先端に食べ物画像710が表示されるように、ゲーム画像700を生成する。
When the player selects an image related to pet food (food), the
そして、ゲーム装置10は、プレイヤーが食べ物画像710の位置(所定領域)で一定時間手を振ったと判定した場合、プレイヤーが食べ物画像710の移動を選択したと判定し、食べ物画像710の泡がはじけた食べ物画像710を含むゲーム画像432を生成する。
When the
そして、ゲーム装置10は、プレイヤー画像600の動きに合わせて食べ物画像710を移動するゲーム画像434を生成する。これにより、ゲーム装置10は、例えば、図4に示すように、プレイヤー画像600の手の動きに連動して食べ物画像710を移動させることができる。
Then, the
そして、ゲーム装置10は、図5に示すゲーム画像436のように、プレイヤーが食べ物画像710をペット画像700の位置まで移動させたと判定した場合、ペット画像700を食べ物画像710に近づけた画像や、ペット画像700で表現されるペットが食べ物画像710で表現される餌を食べる画像を生成する。
When the
このようなゲーム画像436等を生成して表示することにより、プレイヤーは、自分がペットに餌を与えていることを実感できる。
By generating and displaying such a
次に、このような機能を実装するためのゲーム装置10の機能ブロックについて説明する。
Next, functional blocks of the
図6は、本実施例におけるゲーム装置10の機能ブロック図である。
FIG. 6 is a functional block diagram of the
ゲーム装置10は、USBカメラ20、情報記憶媒体200、TV30、ゲームROM1206と種々の情報を入出力するインターフェース部190と、処理部110と、記憶部120と、タイマー部130とを含んで構成されている。
The
また、処理部110は、撮像画像における類似領域を検出する類似領域検出部112と、参照領域内のエッジ量等を演算する演算部113と、撮像画像内の所定領域を初回参照領域として設定する初回参照領域設定部114と、エッジ量が所定値以上の場合、類似領域を新たな参照領域として設定し、エッジ量が所定値未満の場合、前回の参照領域を新たな参照領域として設定する参照領域設定部115と、新たな参照領域の位置に応じて画像を生成する画像生成部116を含む。
In addition, the
また、記憶部120は、撮像データ121、初回平均色データ123、参照領域データ124等のデータを記憶する。
Further, the
なお、ゲーム装置10のハードウェアとしては、一般的な家庭用ゲーム装置、業務用ゲーム装置等で用いられているハードウェアを用いて上述した各部の機能をコンピュータに実装可能である。例えば、処理部110としては、CPUや、画像処理回路等、記憶部120としては、HDDや、RAM等、タイマー部130としては、システムタイマー等、インターフェース部190としては、入出力プロセッサや入出力ポート等を用いて実装可能である。
As the hardware of the
さらに、コンピュータが、情報記憶媒体200やネットワーク上のサーバーからプログラムを読み取ることにより、類似領域検出部112等の機能を実装することも可能である。なお、情報記憶媒体200としては、例えば、CD−ROM、DVD−ROM、ICカード、ROM、RAM、メモリカード、HDD等のレーザーや磁気等を用いた記憶媒体を適用できる。また、情報記憶媒体200としてゲームROM1206を適用してもよい。また、情報記憶媒体200からのプログラムの読み取り方式は、接触式でも非接触式でもよい。
Furthermore, it is possible to implement functions such as the similar
なお、USBカメラ20は、撮像対象者であるプレイヤーの一部分または全体を撮像して撮像画像を示す撮像データ121を生成するように構成されている。
Note that the
次に、上述した各部を用いたゲーム画像生成処理の流れについて説明する。 Next, the flow of the game image generation process using each unit described above will be described.
図7は、本実施例におけるゲーム画像生成処理の流れを示すフローチャートである。 FIG. 7 is a flowchart showing the flow of the game image generation process in the present embodiment.
USBカメラ20は、所定時間間隔でUSBカメラ20の正面のプレイヤーを撮像し、撮像する度に撮像データ121を生成する(ステップS1)。
The
初回参照領域設定部114は、演算部113による撮像画像内の所定領域内の動き検出量とタイマー部130のタイマー値に基づき、動き検出量が閾値を超える状態が所定時間(例えば、数秒等)以上続いた場合、初回参照領域の設定処理を開始する。なお、演算部113は、動き検出量として、所定領域における撮像画像間差分値を用いてもよいし、撮像画像ごとの所定領域におけるエッジ量を用いてもよい。
The first reference
図8は、本実施例における撮像画像410を示す図である。
FIG. 8 is a diagram illustrating a captured
例えば、ゲーム装置10は、図2に示すゲーム画像430を用いる場合、撮像画像410における食べ物画像710付近の領域に相当する領域を所定領域として設定してもよい。
For example, when using the
初回参照領域設定部114は、初回参照領域500の設定処理を開始した初回の場合(ステップS3)、所定領域を初回参照領域500として設定する(ステップS4)。さらに、初回参照領域設定部114は、初回参照領域500を構成する画素の画像信号値(例えば、RGB信号値等)の平均値を示す初回平均色データ123として記憶部120に記憶する。また、初回参照領域設定部114は、初回参照領域500に関するデータ(例えば、画素ごとの画像信号値等)を参照領域データ124として記憶部120に記憶する。
In the first time when the
一方、初回ではない場合(ステップS3)、演算部113は、撮像データ121に基づき、撮像画像410における参照領域(例えば、参照領域500、512等)内のエッジ量を演算する(ステップS6)。
On the other hand, when it is not the first time (step S3), the calculating
なお、エッジ量の演算手法は一般的な手法を採用可能である。より具体的には、例えば、演算部113は、ロバートフィルタ、ラプラシアンフィルタ等の微分フィルタを用いてエッジとなる画素を検出し、当該画素数を数えることによってエッジ量を求めてもよい。
It should be noted that a general method can be employed as the edge amount calculation method. More specifically, for example, the
そして、参照領域設定部115は、エッジ量が所定値(例えば、参照領域を構成する全画素の数十%等)以上かどうかを判定する(ステップS7)。
Then, the reference
エッジ量が所定値以上の場合、類似領域検出部112は、類似領域を検出し(ステップS8)、参照領域設定部115は、類似領域を新たな参照領域512として設定する。また、エッジ量が所定値未満の場合、参照領域設定部115は、前回の参照領域510を新たな参照領域512として設定する(ステップS13)。より具体的には例えば、参照領域設定部115は、類似領域を新たな参照領域512として設定する場合、類似領域内の画像情報に基づいて参照領域データ124を更新し、前回の参照領域510を新たな参照領域512として設定する場合、参照領域データ124を更新しない処理を実行してもよい。
If the edge amount is greater than or equal to the predetermined value, the similar
ゲーム装置10は、このような処理を実行することにより、図8に示す前回の参照領域510、最新の参照領域512のようにプレイヤーの動きに合わせて参照領域の位置を変化させることができる。また、ゲーム装置10は、このような処理を実行することにより、参照領域のエッジ量が少ない場合、すなわち、プレイヤーの動作が少ない場合には参照領域512の位置を変更しないで済む。
By executing such processing, the
なお、類似領域を検出する具体的な手法としては、例えば、参照領域を構成する全画素と比較する手法、参照領域を構成する代表画素(例えば、中央の画素および4隅の画素等)と比較する手法等を採用してもよい。より具体的には、類似領域検出部112は、例えば、撮像画像410において、参照領域に相当する領域を含み、参照領域よりも大きな領域を判定対象領域として、当該判定対象領域に含まれる参照画像と同じ大きさの比較対象領域の全画素の画像信号値と、参照領域の全画素の画像信号値との差分値を、比較対象領域を1画素ずつずらしながら演算することによって差分値が最も小さい比較対象領域を類似領域として検出してもよい。また、類似領域検出部112は、類似領域を示す画素位置を示す情報を記憶部120に記憶することによって類似領域を設定してもよい。
In addition, as a specific method for detecting a similar region, for example, a method for comparing with all pixels constituting the reference region, a comparison with representative pixels (for example, the central pixel and the four corner pixels) constituting the reference region. You may employ | adopt the technique to do. More specifically, for example, the similar
そして、参照領域設定部115は、類似領域を示す画素位置と、参照領域510を示す画素位置とが一致するかどうかを判定する(ステップS10)。
Then, the reference
参照領域設定部115は、類似領域を示す画素位置と、参照領域510を示す画素位置とが一致する場合、撮像データ121と、初回平均色データ123に基づいて撮像画像410における初回平均色を有する領域を新たな参照領域512として設定する(ステップS11)。より具体的には例えば、参照領域設定部115は、撮像画像410における初回参照領域500と同じ大きさの領域を構成する画素の画像信号値の平均値を演算して初回平均値と一致する領域を探索してもよい。なお、参照領域設定部115は、平均値同士が一致する場合だけでなく、平均値同士が所定の範囲内であれば一致すると判定してもよい。
When the pixel position indicating the similar area matches the pixel position indicating the
ゲーム装置10は、このような処理を実行することにより、対象物の位置を適切に決定することができる。
The
そして、画像生成部116は、参照領域データ124に基づき、新たな参照領域512の位置に応じて画像を生成する(ステップS12)。より具体的には例えば、画像生成部116は、図4等に示すように、食べ物画像710をプレイヤー画像600の手先に追随させる画像を生成することができる。
Then, the
以上のように、本実施例のゲーム装置10は、参照領域におけるエッジ量が少ない場合は、参照領域を移動しない処理を実行することができる。これにより、ゲーム装置10は、撮像画像410内の対象物(例えば、手等)の誤認識を低減することができるため、対象物の位置をより正確に決定することができる。
As described above, the
また、本実施例のゲーム装置10は、初回参照領域500に関する処理を実行することにより、初期段階においても、撮像画像410における対象物の位置をより正確に決定することができる
また、本実施例のゲーム装置10は、参照領域512の位置が変化しない場合に前回の参照領域510とは異なる領域を新たな参照領域512として設定することができる。これにより、本実施例のゲーム装置10は、参照領域512の内容が初回参照領域500の内容と徐々に乖離していき、ゲーム装置10が、撮像画像410内の対象物とは異なる物を対象物として決定してしまう事態の発生を防止することができる。
In addition, the
また、本実施例のゲーム装置10は、画像信号値(例えば、RGB信号値等)の平均値を用いることにより、より簡易かつ高速に判定を行うことができる。
In addition, the
また、本実施例のゲーム装置10は、プレイヤーの動きに食べ物画像710等をより正確に追随させる画像を生成することができる。
Further, the
以上、本発明を適用した好適な実施例について説明したが、本発明は上述した実施例に限定されず、種々の変形が可能である。 As mentioned above, although the suitable Example to which this invention was applied was described, this invention is not limited to the Example mentioned above, A various deformation | transformation is possible.
例えば、上述した実施例では、参照領域設定部115は、エッジ量が所定値未満の場合、前回の参照領域510を新たな参照領域512として設定したが(ステップS13)、以下の処理を実行してもよい。
For example, in the above-described embodiment, the reference
例えば、参照領域設定部115は、エッジ量が所定値未満の場合、撮像データ121と、初回平均値データ123に基づき、撮像画像410から初回平均値と最も類似した平均値を有する領域を探索し、探索した平均値と初回平均値との差が小さい場合(例えば、−数%〜数%の範囲内等)、当該平均値を有する領域を新たな参照領域512として設定してもよい。
For example, when the edge amount is less than a predetermined value, the reference
これによれば、ゲーム装置10は、撮像画像410内の動きが少ない場合であっても、より正確に対象物を追跡することができる。
According to this, the
また、撮像手段は、USBカメラ20に限定されず、種々のカメラを採用可能である。また、例えば、ゲーム装置10は、デジタルカメラやデジタルビデオカメラで生成される撮像データを、有線または無線の通信回線を介して受信して上述した処理を実行してもよい。
Further, the imaging means is not limited to the
また、ゲーム装置10は、ゲーム画像400だけでなく、ゲーム音声を生成してもよく、TV30が当該ゲーム音声を出力してもよい。
Further, the
また、ゲームの種類はキャラクター育成型ゲームに限定されず、例えば、体感型ゲーム、アクションゲーム等の種々のゲームを採用可能である。 Moreover, the kind of game is not limited to a character upbringing type game, For example, various games, such as a bodily sensation type | mold game and an action game, are employable.
また、上述した実施例では、画像処理システムとしてUSBカメラ20とゲーム装置10とを別の装置として構成したが、一体化したゲーム装置としてもよい。
In the above-described embodiment, the
また、画像処理システムとしては、ゲーム装置10に限定されず、例えば、PC、監視装置、いわゆるプリクラ等の撮像装置、デジタルカメラ、デジタルビデオカメラ等の種々の画像処理装置を適用可能である。例えば、本発明を監視装置に適用する場合、監視対象をより正確に追跡することができるので、本発明は効果的である。
Further, the image processing system is not limited to the
10 ゲーム装置(画像処理システム)
20 USBカメラ(撮像手段)
112 類似領域検出部
113 演算部
114 初回参照領域設定部
115 参照領域設定部
116 画像生成部
121 撮像データ
123 初回平均値データ
124 参照領域データ
200 情報記憶媒体
410 撮像画像
500 初回参照領域
510、512 参照領域
10 Game device (image processing system)
20 USB camera (imaging means)
112 Similar
Claims (13)
当該撮像手段によって生成された初回の撮像データに基づき、前記撮像画像内の所定領域を初回参照領域として設定する初回参照領域設定手段と、
前記撮像手段によって生成された2回目以降の撮像データに基づき、前記撮像画像における現在の参照領域内の動き検出量を演算する演算手段と、
前記動き検出量が所定値以上の場合のみ、前記現在の参照領域における撮像データと、比較対象の撮像データとに基づき、前記比較対象の撮像データで表される撮像画像において、前記現在の参照領域と類似する類似領域を検出する類似領域検出手段と、
前記動き検出量が前記所定値以上の場合、前記類似領域を新たな参照領域として設定し、前記動き検出量が前記所定値未満の場合、前記現在の参照領域を新たな参照領域として適用する参照領域設定手段と、
を含み、
前記動き検出量は、撮像画像間差分値であって、
前記参照領域設定手段は、前記新たな参照領域の位置を、前記撮像画像における前記撮像対象の位置として決定することを特徴とする画像処理システム。 Imaging means for imaging a part or the whole of an imaging target at predetermined time intervals and generating imaging data indicating a captured image that is a still image a plurality of times;
First reference area setting means for setting a predetermined area in the captured image as an initial reference area based on initial imaging data generated by the imaging means;
Based on the second and subsequent imaging data generated by the imaging means, computing means for computing a motion detection amount in the current reference area in the captured image;
Only when the motion detection amount is greater than or equal to a predetermined value, the current reference area in the captured image represented by the comparison target imaging data based on the imaging data in the current reference area and the comparison target imaging data. A similar region detecting means for detecting a similar region similar to
When the motion detection amount is equal to or greater than the predetermined value, the similar region is set as a new reference region, and when the motion detection amount is less than the predetermined value, the current reference region is applied as a new reference region. Region setting means;
Including
The motion detection amount is a difference value between captured images ,
The reference area setting means determines the position of the new reference area as the position of the imaging target in the captured image.
前記初回参照領域設定手段は、前記動き検出量が閾値を超える状態が所定時間以上続いた場合に前記所定領域を前記初回参照領域として設定することを特徴とする画像処理システム。 In claim 1,
The first reference area setting means sets the predetermined area as the first reference area when the motion detection amount exceeds a threshold for a predetermined time or longer.
前記参照領域設定手段は、前記現在の参照領域の位置と前記新たな参照領域の位置が一致する場合、最新の前記撮像画像において、前記初回参照領域における前記撮像データで表される所定画像信号値と最も類似する所定画像信号値を有する領域を前記新たな参照領域として設定することを特徴とする画像処理システム。 In claim 2,
The reference area setting means, when the position of the current reference area matches the position of the new reference area, in the latest captured image, a predetermined image signal value represented by the imaging data in the initial reference area An image processing system characterized in that an area having a predetermined image signal value that is most similar to is set as the new reference area.
前記所定画像信号値は、前記初回参照領域における前記撮像データを構成する画素の画像信号値の平均値であることを特徴とする画像処理システム。 In claim 3,
The image processing system according to claim 1, wherein the predetermined image signal value is an average value of image signal values of pixels constituting the imaging data in the initial reference area.
前記参照領域設定手段は、前記動き検出量が前記所定値未満の場合、最新の前記撮像画像から前記初回参照領域における所定画像信号値と最も類似する所定画像信号値を有する領域を決定し、当該領域における前記所定画像信号値と前記初回参照領域における所定画像信号値との差異が所定範囲内である場合、当該領域を前記新たな参照領域として設定し、前記差異が所定範囲内でない場合、前記現在の参照領域を前記新たな参照領域として適用することを特徴とする画像処理システム。 In any one of Claims 3 and 4,
The reference region setting means determines a region having a predetermined image signal value most similar to the predetermined image signal value in the initial reference region from the latest captured image when the motion detection amount is less than the predetermined value, When the difference between the predetermined image signal value in the region and the predetermined image signal value in the initial reference region is within a predetermined range, the region is set as the new reference region, and when the difference is not within the predetermined range, An image processing system, wherein a current reference area is applied as the new reference area.
前記参照領域設定手段によって決定された前記撮像対象の位置に相当する位置に前記撮像対象とは異なる物体を配置した画像を生成する画像生成手段と、
当該画像を表示する手段と、
を含む画像処理装置。 An image processing system according to any one of claims 1 to 5,
Image generating means for generating an image in which an object different from the imaging target is arranged at a position corresponding to the position of the imaging target determined by the reference area setting means;
Means for displaying the image;
An image processing apparatus.
前記コンピュータを、
前記撮像部に撮像対象の一部分または全体を所定時間間隔で撮像させて静止画像である撮像画像を示す撮像データを複数回生成させる撮像制御手段と、
前記撮像部によって生成された初回の撮像データに基づき、前記撮像画像内の所定領域を初回参照領域として設定する初回参照領域設定手段と、
前記撮像部によって生成された2回目以降の撮像データに基づき、前記撮像画像における現在の参照領域内の動き検出量を演算する演算手段と、
前記動き検出量が所定値以上の場合のみ、前記現在の参照領域における撮像データと、比較対象の撮像データとに基づき、前記比較対象の撮像データで表される撮像画像において、前記現在の参照領域と類似する類似領域を検出する類似領域検出手段と、
前記動き検出量が前記所定値以上の場合、前記類似領域を新たな参照領域として設定し、前記動き検出量が前記所定値未満の場合、前記現在の参照領域を新たな参照領域として適用する参照領域設定手段として機能させ、
前記動き検出量は、撮像画像間差分値であって、
前記参照領域設定手段は、前記新たな参照領域の位置を、前記撮像画像における前記撮像対象の位置として決定することを特徴とするプログラム。 A program readable by a computer that controls the imaging unit,
The computer,
Imaging control means for causing the imaging unit to capture a part or the whole of an imaging target at predetermined time intervals and generating imaging data indicating a captured image that is a still image a plurality of times;
First reference area setting means for setting a predetermined area in the captured image as an initial reference area based on initial imaging data generated by the imaging unit;
A calculation means for calculating a motion detection amount in the current reference area in the captured image based on the second and subsequent imaging data generated by the imaging unit;
Only when the motion detection amount is greater than or equal to a predetermined value, the current reference area in the captured image represented by the comparison target imaging data based on the imaging data in the current reference area and the comparison target imaging data. A similar region detecting means for detecting a similar region similar to
When the motion detection amount is equal to or greater than the predetermined value, the similar region is set as a new reference region, and when the motion detection amount is less than the predetermined value, the current reference region is applied as a new reference region. Function as a region setting means,
The motion detection amount is a difference value between captured images ,
The reference area setting means determines the position of the new reference area as the position of the imaging target in the captured image.
前記コンピュータは、
前記撮像部を制御することによって撮像対象の一部分または全体を所定時間間隔で撮像させて静止画像である撮像画像を示す撮像データを複数回生成させ、
前記撮像部によって生成された初回の撮像データに基づき、前記撮像画像内の所定領域を初回参照領域として設定し、
前記撮像部によって生成された2回目以降の撮像データに基づき、前記撮像画像における現在の参照領域内の撮像画像間差分値を示す動き検出量を演算し、
前記動き検出量が所定値以上の場合のみ、前記現在の参照領域における撮像データと、比較対象の撮像データとに基づき、前記比較対象の撮像データで表される撮像画像において、前記現在の参照領域と類似する類似領域を検出し、
前記動き検出量が前記所定値以上の場合、前記類似領域を新たな参照領域として設定し、
前記動き検出量が前記所定値未満の場合、前記現在の参照領域を新たな参照領域として適用し、
前記新たな参照領域の位置を、前記撮像画像における前記撮像対象の位置として決定することを特徴とする画像処理方法。 An image processing method by a computer that controls an imaging unit,
The computer
By controlling the imaging unit, a part or the whole of the imaging target is imaged at predetermined time intervals to generate imaging data indicating a captured image that is a still image a plurality of times,
Based on the initial imaging data generated by the imaging unit, a predetermined area in the captured image is set as an initial reference area,
Based on the second and subsequent imaging data generated by the imaging unit, a motion detection amount indicating a difference value between captured images in the current reference region in the captured image is calculated,
Only when the motion detection amount is greater than or equal to a predetermined value, the current reference area in the captured image represented by the comparison target imaging data based on the imaging data in the current reference area and the comparison target imaging data. To detect similar regions similar to
When the motion detection amount is equal to or greater than the predetermined value, the similar region is set as a new reference region,
If the motion detection amount is less than the predetermined value, apply the current reference area as a new reference area,
A position of the new reference area is determined as a position of the imaging target in the captured image.
前記コンピュータは、前記動き検出量が閾値を超える状態が所定時間以上続いた場合に前記所定領域を前記初回参照領域として設定することを特徴とする画像処理方法。 In claim 10,
The image processing method, wherein the computer sets the predetermined area as the first reference area when a state where the motion detection amount exceeds a threshold value continues for a predetermined time or longer.
前記コンピュータは、
前記現在の参照領域の位置と前記新たな参照領域の位置が一致する場合、最新の前記撮像画像において、前記初回参照領域における前記撮像データで表される所定画像信号値と最も類似する所定画像信号値を有する領域を前記新たな参照領域として設定することを特徴とする画像処理方法。 In claim 11,
The computer
When the position of the current reference area matches the position of the new reference area, a predetermined image signal most similar to the predetermined image signal value represented by the imaging data in the first reference area in the latest captured image An image processing method, wherein an area having a value is set as the new reference area.
前記コンピュータは、
前記動き検出量が前記所定値未満の場合、最新の前記撮像画像から前記初回参照領域における所定画像信号値と最も類似する所定画像信号値を有する領域を決定し、
当該領域における前記所定画像信号値と前記初回参照領域における所定画像信号値との差異が所定範囲内である場合、当該領域を前記新たな参照領域として設定し、前記差異が所定範囲内でない場合、前記現在の参照領域を前記新たな参照領域として適用することを特徴とする画像処理方法。 In claim 12,
The computer
If the motion detection amount is less than the predetermined value, determine a region having a predetermined image signal value most similar to the predetermined image signal value in the initial reference region from the latest captured image,
When the difference between the predetermined image signal value in the region and the predetermined image signal value in the initial reference region is within a predetermined range, the region is set as the new reference region, and the difference is not within the predetermined range, An image processing method, wherein the current reference area is applied as the new reference area.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005001579A JP4717445B2 (en) | 2005-01-06 | 2005-01-06 | Image processing system, image processing device, game device, program, information storage medium, and image processing method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005001579A JP4717445B2 (en) | 2005-01-06 | 2005-01-06 | Image processing system, image processing device, game device, program, information storage medium, and image processing method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2006190091A JP2006190091A (en) | 2006-07-20 |
JP4717445B2 true JP4717445B2 (en) | 2011-07-06 |
Family
ID=36797235
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005001579A Active JP4717445B2 (en) | 2005-01-06 | 2005-01-06 | Image processing system, image processing device, game device, program, information storage medium, and image processing method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4717445B2 (en) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4700702B2 (en) * | 2008-01-30 | 2011-06-15 | 株式会社スクウェア・エニックス | Video game program and video game apparatus |
US20090247293A1 (en) | 2008-03-26 | 2009-10-01 | Aristocrat Technologies Australia Pty Limited | Gaming machine |
AU2009201551A1 (en) | 2008-05-02 | 2009-11-19 | Aristocrat Technologies Australia Pty Limited | A gaming system and a method of monitoring a gaming device |
JP2010142592A (en) * | 2008-12-22 | 2010-07-01 | Nintendo Co Ltd | Game program and game device |
JP5689103B2 (en) * | 2012-11-07 | 2015-03-25 | 任天堂株式会社 | GAME PROGRAM, GAME SYSTEM, GAME DEVICE, AND GAME CONTROL METHOD |
JP5979450B2 (en) * | 2014-07-28 | 2016-08-24 | 株式会社クラス・マイスター | Game device control program |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001504619A (en) * | 1996-11-25 | 2001-04-03 | シーメンス アクチエンゲゼルシヤフト | Method and apparatus for computer assisted motion estimation or motion compensation |
JP2002196855A (en) * | 2000-10-06 | 2002-07-12 | Sony Computer Entertainment Inc | Image processor, image processing method, recording medium, computer program and semiconductor device |
JP2004280856A (en) * | 2000-10-06 | 2004-10-07 | Sony Computer Entertainment Inc | Image processing apparatus, image processing method, record medium, computer program and semiconductor device |
-
2005
- 2005-01-06 JP JP2005001579A patent/JP4717445B2/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001504619A (en) * | 1996-11-25 | 2001-04-03 | シーメンス アクチエンゲゼルシヤフト | Method and apparatus for computer assisted motion estimation or motion compensation |
JP2002196855A (en) * | 2000-10-06 | 2002-07-12 | Sony Computer Entertainment Inc | Image processor, image processing method, recording medium, computer program and semiconductor device |
JP2004280856A (en) * | 2000-10-06 | 2004-10-07 | Sony Computer Entertainment Inc | Image processing apparatus, image processing method, record medium, computer program and semiconductor device |
Also Published As
Publication number | Publication date |
---|---|
JP2006190091A (en) | 2006-07-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108537112B (en) | Image processing apparatus, image processing system, image processing method, and storage medium | |
JP7003628B2 (en) | Object tracking program, object tracking device, and object tracking method | |
CN104583902B (en) | The identification of improved gesture | |
US9734612B2 (en) | Region detection device, region detection method, image processing apparatus, image processing method, program, and recording medium | |
JP5175755B2 (en) | Gesture recognition device, method and program thereof | |
JP4717445B2 (en) | Image processing system, image processing device, game device, program, information storage medium, and image processing method | |
JP6141829B2 (en) | Movie analysis apparatus, movie analysis method, program, and integrated circuit | |
US10281979B2 (en) | Information processing system, information processing method, and storage medium | |
US20060245649A1 (en) | Method and system for recognizing objects in an image based on characteristics of the objects | |
JP6362085B2 (en) | Image recognition system, image recognition method and program | |
US10986287B2 (en) | Capturing a photo using a signature motion of a mobile device | |
EP2966591A1 (en) | Method and apparatus for identifying salient events by analyzing salient video segments identified by sensor information | |
CN109767453A (en) | Information processing unit, background image update method and non-transient computer readable storage medium | |
KR20130064039A (en) | Silhouette correction method and system and silhouette extraction method and system | |
JP2008287691A5 (en) | ||
JP2008288684A (en) | Person detection device and program | |
US20200134840A1 (en) | Image processing apparatus, image processing method, and non-transitory computer-readable storage medium | |
CN111986229A (en) | Video target detection method, device and computer system | |
CN114360047A (en) | Hand-lifting gesture recognition method and device, electronic equipment and storage medium | |
JP6991045B2 (en) | Image processing device, control method of image processing device | |
TW202042179A (en) | Method and computing device for adjusting region of interest | |
CN107767712B (en) | Method and device for adjusting matching degree, storage medium and electronic equipment | |
WO2022137450A1 (en) | Information processing device, information processing method, and program | |
CN114463835A (en) | Behavior recognition method, electronic device and computer-readable storage medium | |
JP7173535B2 (en) | Motion extraction device, motion extraction method, and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20071210 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20101005 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20101013 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20101210 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110105 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110228 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110316 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110330 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4717445 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140408 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140408 Year of fee payment: 3 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R360 | Written notification for declining of transfer of rights |
Free format text: JAPANESE INTERMEDIATE CODE: R360 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
R370 | Written measure of declining of transfer procedure |
Free format text: JAPANESE INTERMEDIATE CODE: R370 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |