JP4807879B2 - Image recognition apparatus, method, program, and information recording medium for extracting at least one recognition target image from input image data - Google Patents
Image recognition apparatus, method, program, and information recording medium for extracting at least one recognition target image from input image data Download PDFInfo
- Publication number
- JP4807879B2 JP4807879B2 JP2006171264A JP2006171264A JP4807879B2 JP 4807879 B2 JP4807879 B2 JP 4807879B2 JP 2006171264 A JP2006171264 A JP 2006171264A JP 2006171264 A JP2006171264 A JP 2006171264A JP 4807879 B2 JP4807879 B2 JP 4807879B2
- Authority
- JP
- Japan
- Prior art keywords
- pixel
- contour
- recognition target
- target image
- pixel information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Image Analysis (AREA)
Description
本発明は、入力された画像データから少なくとも1以上の認識対象画像を抽出するための画像認識装置、方法、プログラム及び情報記録媒体に関する。 The present invention relates to an image recognition apparatus, method, program, and information recording medium for extracting at least one recognition target image from input image data.
従来から、カメラで撮像した画像からタロットカード等の認識対象画像を抽出するパターン処理装置が知られている(例えば、特許文献1参照)。
しかしながら、上記パターン処理装置では、単一色のシート部材の上にタロットカードを並べて撮像した画像データから上記タロットカードに対応する認識対象画像を抽出しており、認識対象画像の背景が単一色であることを前提としている。 However, in the pattern processing apparatus, a recognition target image corresponding to the tarot card is extracted from image data obtained by arranging the tarot cards on a single color sheet member and the background of the recognition target image is a single color. It is assumed that.
従って、上記単一色のシート部材を用いず撮像した場合には、認識対象画像の背景にある認識対象画像以外の画像を除去することができず、認識対象画像を正確に抽出することができないという問題点があった。 Therefore, when an image is captured without using the single color sheet member, it is impossible to remove an image other than the recognition target image in the background of the recognition target image, and the recognition target image cannot be accurately extracted. There was a problem.
本発明は、以上のような課題に鑑みてなされたものであり、その目的とするところは、画像データから認識対象画像以外の画像を効果的に除去し、認識対象画像を確実に抽出することができる画像認識装置、方法、プログラム及び情報記録媒体を提供することにある。 The present invention has been made in view of the problems as described above, and an object thereof is to effectively remove images other than the recognition target image from the image data and reliably extract the recognition target image. It is an object to provide an image recognition apparatus, method, program, and information recording medium.
(1)入力された画像データから認識対象画像を抽出するためのコンピュータが実行可能なプログラムであって、前記画像データから所定の画素条件を満たす画素情報をもち連続する画素からなる画素群の輪郭を抽出する輪郭抽出処理を行う輪郭抽出部と、前記輪郭抽出部によって抽出された輪郭の軌跡が所定の軌跡条件を満たすか否かを判定する輪郭判定部と、前記輪郭判定部によって所定の軌跡条件を満たさないと判定された場合に、前記輪郭抽出部によって抽出された輪郭を構成する各画素の画素情報を前記所定の画素条件を満たす画素情報以外の画素情報に変更する画素情報変更部と、前記輪郭判定部によって所定の軌跡条件を満たすと判定された場合に、前記輪郭抽出部によって抽出された輪郭の内部領域に対応する画像データを前記認識対象画像として抽出する認識対象画像抽出部と、としてコンピュータを機能させることを特徴とする。 (1) A computer-executable program for extracting a recognition target image from input image data, the contour of a pixel group consisting of continuous pixels having pixel information satisfying a predetermined pixel condition from the image data A contour extraction unit that performs a contour extraction process, a contour determination unit that determines whether or not a contour trajectory extracted by the contour extraction unit satisfies a predetermined trajectory condition, and a predetermined trajectory by the contour determination unit A pixel information changing unit that changes pixel information of each pixel constituting the contour extracted by the contour extracting unit to pixel information other than the pixel information satisfying the predetermined pixel condition when it is determined that the condition is not satisfied; When the contour determination unit determines that a predetermined trajectory condition is satisfied, image data corresponding to the inner region of the contour extracted by the contour extraction unit is obtained. A recognition target image extracting unit that extracts a serial recognition target image, and characterized by causing a computer to function as a.
また本発明は上記各部を含む画像認識装置に関係する。また本発明はコンピュータ読み取り可能な情報記憶媒体であって、上記各部としてコンピュータを機能させるプログラムを記憶した情報記憶媒体に関係する。また本発明は上記各部の処理を行う画像認識方法に関係する。 The present invention also relates to an image recognition apparatus including the above-described units. The present invention is also a computer-readable information storage medium, and relates to an information storage medium storing a program that causes a computer to function as each of the above-described units. The present invention also relates to an image recognition method for performing the processing of each of the above parts.
画素情報とは画素のもつ情報であって、例えば3色(RGB)の色データや、グレースケールの階調データ、白色または黒色を表す二値データ、輝度データ、色差データ等をいう。 Pixel information is information held by a pixel, for example, color data of three colors (RGB), grayscale gradation data, binary data representing white or black, luminance data, color difference data, and the like.
画素情報が所定の画素条件を満たすか否かは、画像情報の値が特定の値であるか否かに基づき決定してもよいし、画像情報の値が所定の閾値以上であるか(または以下であるか)に基づいて決定してもよい。 Whether the pixel information satisfies a predetermined pixel condition may be determined based on whether the value of the image information is a specific value, or whether the value of the image information is equal to or greater than a predetermined threshold (or It may be determined based on whether or not:
輪郭の軌跡が所定の軌跡条件を満たすか否かは、輪郭の軌跡の形状が所定の形状であるか否かに基づき判定してもよい。 Whether or not the contour locus satisfies a predetermined locus condition may be determined based on whether or not the shape of the contour locus is a predetermined shape.
連続する画素からなる画素群とは、その画素群に属する各画素が他のいずれかの画素と上下方向、左右方向、または斜め方向に隣接している画素群をいう。 A pixel group composed of continuous pixels refers to a pixel group in which each pixel belonging to the pixel group is adjacent to any other pixel in the vertical direction, the horizontal direction, or the diagonal direction.
本発明によれば、画像データから認識対象画像以外の画像を効果的に除去し、認識対象画像を確実に抽出することができる。また認識対象画像が認識対象画像以外の画像に囲まれているような場合であっても認識対象画像を確実に抽出することができる。 According to the present invention, it is possible to effectively remove images other than the recognition target image from the image data and reliably extract the recognition target image. Even if the recognition target image is surrounded by images other than the recognition target image, the recognition target image can be reliably extracted.
(2)本発明に係るプログラム及び情報記憶媒体では、前記輪郭抽出部は、前記画像データから所定の画素条件を満たす画素情報をもつ画素を検出し、検出した画素を開始点として再び開始点に到達するまで前記所定の画素条件を満たす画素情報をもち隣接する画素を所定の規則に従ってトレースし、トレースした各画素の座標値に基づき前記輪郭抽出処理を行うことを特徴とする。 (2) In the program and the information storage medium according to the present invention, the contour extraction unit detects a pixel having pixel information satisfying a predetermined pixel condition from the image data, and uses the detected pixel as a start point and sets it as a start point again. The adjacent pixels having the pixel information satisfying the predetermined pixel condition are traced according to a predetermined rule until reaching the predetermined pixel, and the contour extraction processing is performed based on the coordinate value of each traced pixel.
隣接する画素とは、上下方向、左右方向、または斜め方向に隣接する画素をいう。 An adjacent pixel refers to a pixel adjacent in the vertical direction, the horizontal direction, or the diagonal direction.
所定の規則とは、所定の画素条件を満たす画素情報をもち隣接する画素の内、次にトレースすべき画素を決定するために用いられる規則をいい、例えば次にトレースすべき画素の位置についての優先順番でもよい。 The predetermined rule is a rule used to determine a pixel to be traced next among neighboring pixels having pixel information satisfying a predetermined pixel condition. Priority order may be used.
本発明によれば、画像データから認識対象画像以外の画像を効果的に除去し、認識対象画像を確実に抽出することができる。 According to the present invention, it is possible to effectively remove images other than the recognition target image from the image data and reliably extract the recognition target image.
(3)本発明に係るプログラム及び情報記憶媒体では、前記輪郭抽出部は、前記画像データを構成する各画素を所定の順番で走査し、前記走査において所定の画素条件を満たす画素情報をもつ画素を検出した場合に前記輪郭抽出処理を行い、輪郭抽出処理後に前記検出した画素の次に走査すべき画素から走査を再開する処理を、全画素の走査が終わるまで繰り返し行うことを特徴とする。 (3) In the program and the information storage medium according to the present invention, the contour extraction unit scans each pixel constituting the image data in a predetermined order, and has pixel information satisfying a predetermined pixel condition in the scanning. In this case, the contour extraction process is performed when the pixel is detected, and the process of restarting scanning from the pixel to be scanned next to the detected pixel after the contour extraction process is repeated until the scanning of all the pixels is completed.
走査を再開する処理は、前記輪郭抽出処理に引き続いて行われる前記輪郭判定部、前記画素情報変更部、前記認識対象画像抽出部による処理の後に行われる。 The process of resuming scanning is performed after the processes by the contour determination unit, the pixel information change unit, and the recognition target image extraction unit performed subsequent to the contour extraction process.
本発明によれば、画像データに認識対象画像が複数ある場合であっても、全ての認識対象画像を抽出することができる。 According to the present invention, even when there are a plurality of recognition target images in the image data, all the recognition target images can be extracted.
(4)本発明に係るプログラム及び情報記憶媒体では、前記輪郭判定部は、前記輪郭抽出部によって抽出された輪郭を構成する画素列が多角形の頂点を構成するか否か判定することで前記輪郭の頂点を検出し、検出した前記輪郭の頂点に基づき前記輪郭の軌跡が所定の軌跡条件を満たすか否かを判定することを特徴とする。 (4) In the program and the information storage medium according to the present invention, the contour determination unit determines whether or not the pixel sequence that forms the contour extracted by the contour extraction unit forms a vertex of a polygon. A vertex of the contour is detected, and it is determined based on the detected vertex of the contour whether or not the contour locus satisfies a predetermined locus condition.
輪郭の頂点に基づく輪郭の軌跡の判定は、検出した頂点の数に基づき行ってもよいし、頂点の位置、頂点の角度、またはそれらの組み合わせに基づき行ってもよい。 The determination of the contour trajectory based on the contour vertices may be performed based on the number of detected vertices, or based on the vertex position, the vertex angle, or a combination thereof.
本発明によれば、認識対象画像の形状が多角形である場合に、形状の判定を容易に行うことができ、画像データから認識対象画像とは異なる形状の画像を効果的に除去し、認識対象画像を確実に抽出することができる。 According to the present invention, when the shape of the recognition target image is a polygon, the shape can be easily determined, and an image having a shape different from the recognition target image is effectively removed from the image data and recognized. The target image can be reliably extracted.
(5)本発明に係るプログラム及び情報記憶媒体では、前記認識対象画像抽出部によって抽出された認識対象画像が所定の条件を満たす認識対象画像であるか否かを判定する認識対象画像判定部としてコンピュータを機能させ、前記画素情報変更部は、前記認識対象画像判定部によって所定の条件を満たす認識対象画像であると判定された場合に、前記輪郭抽出部によって抽出された輪郭の内部領域にある各画素の画素情報を前記所定の画素条件を満たす画素情報以外の画素情報に変更し、前記認識対象画像判定部によって所定の条件を満たす認識対象画像でないと判定された場合に、前記輪郭抽出部によって抽出された輪郭を構成する各画素の画素情報を前記所定の画素条件を満たす画素情報以外の画素情報に変更することを特徴とする。 (5) In the program and the information storage medium according to the present invention, as a recognition target image determination unit that determines whether the recognition target image extracted by the recognition target image extraction unit is a recognition target image satisfying a predetermined condition. The computer is made to function, and the pixel information changing unit is in an inner area of the contour extracted by the contour extracting unit when the recognition target image determining unit determines that the image is a recognition target image satisfying a predetermined condition. When the pixel information of each pixel is changed to pixel information other than the pixel information that satisfies the predetermined pixel condition, and the recognition target image determination unit determines that the image is not a recognition target image that satisfies the predetermined condition, the contour extraction unit The pixel information of each pixel constituting the contour extracted by the above is changed to pixel information other than the pixel information satisfying the predetermined pixel condition.
認識対象画像が所定の条件を満たすか否かは、認識対象画像から所定の情報を読み出せるか否かに基づいて判定してもよい。 Whether or not the recognition target image satisfies a predetermined condition may be determined based on whether or not predetermined information can be read from the recognition target image.
本発明によれば、認識対象画像の抽出が行われた領域からは所定の条件を満たす画素情報を持つ画素を再び検出しないようにすることができ、処理負担の軽減が可能になる。また画像データに認識対象画像と同じ形状の画像がある場合であっても、このような画像を効果的に除去し、正規の認識対象画像のみを確実に抽出することができる。 According to the present invention, a pixel having pixel information satisfying a predetermined condition can be prevented from being detected again from the region where the recognition target image has been extracted, and the processing burden can be reduced. Further, even when there is an image having the same shape as the recognition target image in the image data, such an image can be effectively removed and only the regular recognition target image can be reliably extracted.
(6)本発明に係るプログラム及び情報記憶媒体では、前記画像データに対して二値化処理を行う二値化処理部としてコンピュータを機能させ、前記輪郭抽出部は、前記二値化処理部により二値化処理が行われた画像データから前記輪郭を抽出することを特徴とする。 (6) In the program and the information storage medium according to the present invention, a computer functions as a binarization processing unit that performs binarization processing on the image data, and the contour extraction unit is The contour is extracted from the image data that has been binarized.
本発明によれば、二値化処理が行われた画像データを用いることにより、処理の簡略化や処理負担の軽減が可能になる。 According to the present invention, it is possible to simplify processing and reduce processing load by using image data that has been subjected to binarization processing.
(7)本発明に係るプログラム及び情報記憶媒体では、前記画像データに対して微分処理を行う微分処理部と、前記微分処理部によって微分処理が行われた画像データに対して、着目画素とその周辺に配置された周囲画素の画素情報を平均化して着目画素の新たな画素情報とするぼかし処理を行うぼかし処理部としてコンピュータを機能させ、前記二値化処理部は、前記ぼかし処理部によってぼかし処理が行われた画像データに対して二値化処理を行うことを特徴とする。 (7) In the program and the information storage medium according to the present invention, the differential processing unit that performs differential processing on the image data, and the pixel of interest and the image data that is subjected to differential processing by the differential processing unit The computer is caused to function as a blurring processing unit that performs blurring processing that averages pixel information of surrounding pixels arranged in the periphery to obtain new pixel information of the pixel of interest, and the binarization processing unit blurs by the blurring processing unit. A binarization process is performed on the processed image data.
本発明によれば、画像データに対して微分処理、ぼかし処理、二値化処理を行うことにより、照明ムラ、照明不足やカメラの性能に起因するノイズを抑制し、輪郭抽出処理以降の処理に適した画像データを得ることができる。 According to the present invention, by performing differential processing, blurring processing, and binarization processing on image data, noise due to uneven illumination, insufficient lighting, and camera performance is suppressed, and processing after the contour extraction processing is performed. Suitable image data can be obtained.
以下、本実施形態について説明する。なお、以下に説明する本実施形態は、特許請求の範囲に記載された本発明の内容を不当に限定するものではない。また本実施形態で説明される構成の全てが、本発明の必須構成要件であるとは限らない。 Hereinafter, this embodiment will be described. In addition, this embodiment demonstrated below does not unduly limit the content of this invention described in the claim. In addition, all the configurations described in the present embodiment are not necessarily essential configuration requirements of the present invention.
図1に本実施形態の画像認識装置を適用したゲームシステムの機能ブロック図の例を示す。なお本実施形態のゲーム装置は図1の構成要素(各部)の一部を省略した構成としてもよい。 FIG. 1 shows an example of a functional block diagram of a game system to which the image recognition apparatus of this embodiment is applied. Note that the game device of this embodiment may have a configuration in which some of the components (each unit) in FIG. 1 are omitted.
撮像部150は、認識対象物を撮像するためのものであり、その機能は撮像素子としてCCDが用いられたカメラなどにより実現できる。また撮像部150は、撮像範囲の各座標の画素に対応するグレースケールの階調データ(画素情報)の集合である画像データを処理部100に出力する処理を行う。 The imaging unit 150 is for imaging a recognition object, and the function can be realized by a camera using a CCD as an imaging element. In addition, the imaging unit 150 performs a process of outputting image data, which is a set of grayscale gradation data (pixel information) corresponding to pixels of each coordinate in the imaging range, to the processing unit 100.
図2(A)は撮像部150による認識対象物の撮像について説明するための図である。撮像部150はプレーヤによってステージ12に並べられた複数のカード14(認識対象物)をステージ12の下方から撮像する。ステージ12は撮像部150がカード14を撮像できるように透明なガラス板等からなる。 FIG. 2A is a diagram for describing imaging of a recognition target by the imaging unit 150. The imaging unit 150 images a plurality of cards 14 (recognition objects) arranged on the stage 12 by the player from below the stage 12. The stage 12 is made of a transparent glass plate or the like so that the imaging unit 150 can image the card 14.
図2(B)は本実施形態において認識対象物となるカードについて説明するための図である。カード14の裏面(ステージ12に接する面)には各カードを識別するための模様16が印刷されている。また模様16の周囲には所定幅の空白部分18が設けられている。本実施形態では複数のカード14を撮像した画像データから各カード14に表された模様16の外縁の形状(長方形)を判定し、模様16の領域(空白部分18で囲まれた領域)に対応する画像データを認識対象画像として抽出する処理を行う。 FIG. 2B is a diagram for explaining a card that is a recognition object in the present embodiment. A pattern 16 for identifying each card is printed on the back surface of the card 14 (the surface in contact with the stage 12). A blank portion 18 having a predetermined width is provided around the pattern 16. In the present embodiment, the shape (rectangle) of the outer edge of the pattern 16 represented on each card 14 is determined from image data obtained by imaging a plurality of cards 14, and corresponds to the area of the pattern 16 (area surrounded by the blank portion 18). The image data to be extracted is extracted as a recognition target image.
操作部160は、プレーヤが操作データを入力するためのものであり、その機能は、レバー、方向指示キー、或いはボタンなどにより実現できる。 The operation unit 160 is used by the player to input operation data, and the function can be realized by a lever, a direction instruction key, a button, or the like.
記憶部170は、処理部100や通信部196などのワーク領域となるもので、その機能はRAM(VRAM)などにより実現できる。 The storage unit 170 serves as a work area for the processing unit 100, the communication unit 196, and the like, and its function can be realized by a RAM (VRAM) or the like.
情報記憶媒体180(コンピュータにより読み取り可能な媒体)は、プログラムやデータなどを格納するものであり、その機能は、光ディスク(CD、DVD)、メモリーカード、ハードディスク、或いはメモリー(ROM)などにより実現できる。処理部100は、情報記憶媒体180に格納されるプログラム(データ)に基づいて本実施形態の種々の処理を行う。即ち情報記憶媒体180には、本実施形態の各部としてコンピュータを機能させるためのプログラム(各部の処理をコンピュータに実行させるためのプログラム)が記憶される。 An information storage medium 180 (a computer-readable medium) stores programs, data, and the like, and the function can be realized by an optical disk (CD, DVD), a memory card, a hard disk, a memory (ROM), or the like. . The processing unit 100 performs various processes of the present embodiment based on a program (data) stored in the information storage medium 180. That is, the information storage medium 180 stores a program for causing a computer to function as each unit of the present embodiment (a program for causing a computer to execute processing of each unit).
ディスプレイ190は、本実施形態により生成された画像を表示出力するためのものである。 The display 190 is for displaying and outputting an image generated according to the present embodiment.
音出力部192は、本実施形態により生成された音を出力するものであり、その機能は、スピーカ、或いはヘッドフォンなどにより実現できる。 The sound output unit 192 outputs the sound generated by the present embodiment, and its function can be realized by a speaker, headphones, or the like.
携帯型情報記憶装置194は、プレーヤの個人データやゲームのセーブデータなどが記憶されるものであり、この携帯型情報記憶装置194としては、メモリーカードや携帯型ゲームシステムなどがある。
The portable information storage device 194 stores player personal data, game save data, and the like. Examples of the portable information storage device 194 include a memory card and a portable game system.
通信部196は外部(例えばホスト装置や他のゲームシステム)との間で通信を行うための各種制御を行うものであり、その機能は、各種プロセッサ又は通信用ASICなどのハードウェアや、プログラムなどにより実現できる。 The communication unit 196 performs various controls for communicating with the outside (for example, a host device or other game system), and functions thereof include hardware such as various processors or communication ASICs, programs, and the like. Can be realized.
なお本実施形態の各部としてコンピュータを機能させるためのプログラム(データ)は、ホスト装置(サーバー)が有する情報記憶媒体からネットワーク及び通信部196を介して情報記憶媒体180(記憶部170)に配信してもよい。このようなホスト装置(サーバー)の情報記憶媒体の使用も本発明の範囲内に含めることができる。 Note that a program (data) for causing a computer to function as each unit of this embodiment is distributed from the information storage medium of the host device (server) to the information storage medium 180 (storage unit 170) via the network and communication unit 196. May be. Use of the information storage medium of such a host device (server) can also be included in the scope of the present invention.
処理部100(プロセッサ)は、操作部160からの操作データやプログラムなどに基づいて、ゲーム演算処理、画像生成処理、或いは音生成処理などを行う。この処理部100は記憶部170をワーク領域として各種処理を行う。処理部100の機能は各種プロセッサ(CPU、DSP等)、ASIC(ゲートアレイ等)などのハードウェアや、プログラムにより実現できる。 The processing unit 100 (processor) performs game calculation processing, image generation processing, sound generation processing, and the like based on operation data from the operation unit 160, a program, and the like. The processing unit 100 performs various processes using the storage unit 170 as a work area. The functions of the processing unit 100 can be realized by hardware such as various processors (CPU, DSP, etc.), ASIC (gate array, etc.), and programs.
処理部100は、ゲーム演算部110、画像生成部130、音生成部140を含む。 The processing unit 100 includes a game calculation unit 110, an image generation unit 130, and a sound generation unit 140.
ゲーム演算部110は、ゲーム画像やゲーム音を生成するためのゲーム演算処理を行う。ここでゲーム演算処理としては、ゲームの内容やゲームモードを決定する処理、ゲーム開始条件が満たされた場合にゲームを開始する処理、ゲームを進行させる処理、ゲームプレイにより変化するゲームパラメータを演算する処理、或いはゲーム終了条件が満たされた場合にゲームを終了する処理などがある。 The game calculation unit 110 performs game calculation processing for generating game images and game sounds. Here, as the game calculation process, a process for determining the game content and game mode, a process for starting the game when the game start condition is satisfied, a process for proceeding with the game, and a game parameter that changes depending on the game play are calculated. There is a process or a process of ending a game when a game end condition is satisfied.
ゲーム演算部110は、画像認識部120を含む。画像認識部120は、撮像部150によって出力される画像データからカードの模様部分に対応する画像データを認識対象画像として抽出し、抽出した認識対象画像から撮像されたカードの識別情報や位置等を取得する処理を行う。そしてゲーム演算部110は、取得したカードの識別情報や位置情報等に基づきゲーム演算を行う。 The game calculation unit 110 includes an image recognition unit 120. The image recognizing unit 120 extracts image data corresponding to the pattern portion of the card from the image data output by the image capturing unit 150 as a recognition target image, and identifies identification information and position of the card imaged from the extracted recognition target image. Perform the acquisition process. And the game calculation part 110 performs game calculation based on the identification information, position information, etc. of the acquired card | curd.
画像認識部120は、微分処理部121、ぼかし処理部122、二値化処理部123、輪郭抽出部125、輪郭判定部126、画素情報変更部127、認識対象画像抽出部128、認識対象画像判定部129を含む。 The image recognition unit 120 includes a differentiation processing unit 121, a blur processing unit 122, a binarization processing unit 123, a contour extraction unit 125, a contour determination unit 126, a pixel information change unit 127, a recognition target image extraction unit 128, and a recognition target image determination. Part 129.
微分処理部121は、撮像部150から出力される画像データに対して、着目画素とその周囲の画素の階調データ(画素情報)を用いた2次微分処理を行う。 The differential processing unit 121 performs secondary differential processing using the gradation data (pixel information) of the pixel of interest and surrounding pixels on the image data output from the imaging unit 150.
図3は、2次微分処理を行う際に用いられる3×3の2次微分オペレータの具体例を示す図である。本実施形態では、中央の着目画素に重み付け係数「8」が、8個の隣接画素のそれぞれに重み付け係数「−1」が設定されており、これらの各画素に重み付け係数を乗算した値を合計した後に所定の利得(例えば1)を乗算することにより、この着目画素に対応する2次微分データが得られる。なお、周囲に8個の隣接画素が存在しない外周部分の着目画素については、各着目画素と同じ階調データの隣接画素が存在するものとして計算を行うようにしてもよいし、外周部の各画素については2次微分処理を行わないようにしてもよい。 FIG. 3 is a diagram illustrating a specific example of a 3 × 3 secondary differential operator used when performing the secondary differential processing. In this embodiment, the weighting coefficient “8” is set for the pixel of interest at the center, and the weighting coefficient “−1” is set for each of the eight adjacent pixels, and the sum of the values obtained by multiplying these pixels by the weighting coefficient is the sum. Then, by multiplying by a predetermined gain (for example, 1), secondary differential data corresponding to this pixel of interest is obtained. It should be noted that for the target pixel in the outer peripheral portion where there are no eight adjacent pixels in the surrounding area, the calculation may be performed on the assumption that there are adjacent pixels having the same gradation data as each target pixel. The secondary differentiation process may not be performed on the pixel.
ぼかし処理部122は、微分処理部121によって2次微分処理が行われた2次微分データに対して、着目画素とその周囲の画素の2次微分データを用いたぼかし処理を行う。 The blurring processing unit 122 performs blurring processing on the secondary differential data that has been subjected to the secondary differential processing by the differential processing unit 121, using the secondary differential data of the pixel of interest and its surrounding pixels.
図4は、ぼかし処理において用いられるぼかしフィルタの具体例を示す図である。本実施形態では、中央の着目画素とその周囲の8個の隣接画素のそれぞれに同じ重み付けがなされている。具体的には、着目画素と8個の隣接画素のそれぞれの2次微分データに係数値「1」を乗算した値を合計した後に所定の利得(例えば1/9)を乗算することにより、この着目画素の新たな2次微分データが得られる。すなわち、着目画素を含む9画素分の階調データを平均化するぼかし処理が行われる。なお、周囲に8個の隣接画素が存在しない外周部分の着目画素については、この着目画素と同じ階調データの隣接画素が存在するものとして計算が行われる。またこのぼかし処理は複数回適用してもよい。 FIG. 4 is a diagram illustrating a specific example of a blur filter used in the blur process. In the present embodiment, the same weighting is applied to each of the pixel of interest at the center and eight neighboring pixels around it. Specifically, by summing the values obtained by multiplying the secondary differential data of the pixel of interest and each of the eight adjacent pixels by the coefficient value “1”, this is multiplied by a predetermined gain (for example, 1/9). New secondary differential data of the pixel of interest is obtained. That is, a blurring process for averaging the gradation data for nine pixels including the target pixel is performed. Note that the calculation is performed on the target pixel in the outer peripheral portion where there are no eight adjacent pixels in the periphery, assuming that there is an adjacent pixel having the same gradation data as the target pixel. This blurring process may be applied multiple times.
二値化処理部123は、ぼかし処理部122から出力される新たな2次微分データを所定の閾値STHと比較することにより、二値データに変換する。2次微分データ>STHの場合には、二値データ=1に設定される。また、2次微分データ≦STHの場合には、二値データ=0に設定される。 The binarization processing unit 123 converts the new secondary differential data output from the blurring processing unit 122 into binary data by comparing it with a predetermined threshold value STH. When secondary differential data> STH, binary data = 1 is set. When secondary differential data ≦ STH, binary data = 0 is set.
尚、ぼかし処理部122から出力される新たな2次微分データについて、符号なし整数へ型変換(キャスト)を行って上記二値化処理を行ってもよい。符号なし整数への型変換を行うことにより、新たな2次微分データのマイナス値をプラスの最大値付近にすることができ、二値化処理後の画像のコントラストを高めることができる。 Note that the new binarized data output from the blurring processing unit 122 may be subjected to the above binarization processing by performing type conversion (cast) to an unsigned integer. By performing type conversion to an unsigned integer, the negative value of the new secondary differential data can be made near the maximum positive value, and the contrast of the image after binarization processing can be increased.
図5は、上述した微分処理部121、ぼかし処理部122、二値化処理部123による処理の内容を説明するための図である。図5(A)に示すように画素の色が白から黒、そして黒から白へと変化する2つの境界部分についての画像データに対して、図3に示す2次微分オペレータを用いて2次微分処理を行うと、図5(B)に示す形状に対応する2次微分データが得られる。この2次微分データに対して図4に示すぼかしフィルタを3回適用すると、図5(C)に示す形状に対応する新たな2次微分データが得られる。このぼかし処理された2次微分データを符号なし整数にキャストすると図5(D)に示すように境界部分のマイナス値がプラスの最大値付近になった2次微分データが得られる。このキャストされた2次微分データを閾値STH=0として二値化処理を行うと、図5(E)に示すような境界部分が強調された二値データを得ることができる。また図5(A)では白から黒、黒から白へと変化する形状がゆるやかな右肩上がりになっているが、このような照明ムラによる影響を排除して最終的に正確な二値データを得ることができる。二値化処理後の二値データと図5(A)に示す当初の画像データとを比較すると画素の色が白黒反転しているのがわかる。 FIG. 5 is a diagram for explaining the contents of processing by the differentiation processing unit 121, the blurring processing unit 122, and the binarization processing unit 123 described above. As shown in FIG. 5A, the second order differential operator shown in FIG. 3 is used for the image data for the two boundary portions where the pixel color changes from white to black and from black to white. When differential processing is performed, secondary differential data corresponding to the shape shown in FIG. 5B is obtained. When the blur filter shown in FIG. 4 is applied three times to the secondary differential data, new secondary differential data corresponding to the shape shown in FIG. 5C is obtained. When the blurred second-order differential data is cast to an unsigned integer, second-order differential data in which the negative value of the boundary portion is close to the maximum positive value as shown in FIG. 5D is obtained. When binarization processing is performed with the cast secondary differential data as the threshold value STH = 0, binary data in which the boundary portion is emphasized as shown in FIG. 5E can be obtained. In FIG. 5 (A), the shape that changes from white to black and from black to white has a gentle rise to the right. Can be obtained. Comparing the binary data after the binarization processing with the original image data shown in FIG. 5A, it can be seen that the color of the pixel is reversed in black and white.
図6は二値化処理が行われた画像(二値化画像)の具体例を示す図である。図6において、各正方形領域が各画素に対応している。また、ハッチングが付された領域の画素が二値データ(画素情報)=0の画素であり、それ以外の領域が二値データ(画素情報)=1の画素である。なお、図6に示した二値化画像は、二値化処理および後述する輪郭抽出処理の説明を簡略化するために画素数を減らした場合であって、一例として1枚のカード14がステージ12上に並べられた場合が示されている。尚この例ではカード14だけでなくカード以外の画像も混ざっている。以下では、二値データ=1の画素を「白画素」、二値データ=0の画素を「黒画素」と称して説明を行うものとする。 FIG. 6 is a diagram illustrating a specific example of an image (binarized image) on which binarization processing has been performed. In FIG. 6, each square area corresponds to each pixel. In addition, pixels in the hatched area are pixels with binary data (pixel information) = 0, and other areas are pixels with binary data (pixel information) = 1. The binarized image shown in FIG. 6 is a case where the number of pixels is reduced in order to simplify the binarization processing and the contour extraction processing described later. The case of being arranged on 12 is shown. In this example, not only the card 14 but also images other than the card are mixed. In the following description, a pixel with binary data = 1 is referred to as a “white pixel”, and a pixel with binary data = 0 is referred to as a “black pixel”.
輪郭抽出部125は、二値化画像を構成する各画素を所定の順番でスキャンして最初に到達する白画素を検出し、この白画素に隣接する他の白画素を最初の白画素に戻ってくるまで順番に辿る(トレースする)ことにより、隣接する白画素からなる画素群の輪郭を抽出する処理を行う。 The contour extraction unit 125 scans each pixel constituting the binarized image in a predetermined order to detect the first white pixel that reaches first, and returns other white pixels adjacent to the white pixel to the first white pixel. The process of extracting the outline of the pixel group consisting of adjacent white pixels is performed by tracing (tracing) in order until it comes.
図7は、輪郭抽出処理の具体例を示す図である。図7に示した例では、スキャン開始点SSが二値化画像の左上に設定されており、右方向に順番に各画素のスキャンが行われ、最終的に右下のスキャン終了点SEで終了する。輪郭抽出部125は、このようなスキャン動作において、最初に検出した白画素をトレース開始点TS1として抽出し、図7の実線の矢印で示した順番に、再びこのトレース開始点TSに到達するまで白画素を辿っていく処理を行う。 FIG. 7 is a diagram illustrating a specific example of the contour extraction process. In the example shown in FIG. 7, the scan start point SS is set at the upper left of the binarized image, each pixel is scanned sequentially in the right direction, and finally ends at the lower right scan end point SE. To do. In such a scanning operation, the contour extraction unit 125 extracts the first detected white pixel as the trace start point TS1, and again reaches the trace start point TS in the order indicated by the solid line arrow in FIG. A process of tracing white pixels is performed.
以下、輪郭抽出処理の詳細について説明する。まず、輪郭抽出部125は、その時点における白画素の位置を中心にその周囲の8画素を調べ、次に辿るべき白画素の位置を決定する。 Details of the contour extraction process will be described below. First, the contour extraction unit 125 examines the surrounding eight pixels centering on the position of the white pixel at that time, and determines the position of the white pixel to be traced next.
図8は、上述した輪郭抽出処理において次の白画素を決定する手法を説明するための図である。図8において、「C」は現在の着目画素(白画素)を、「P」は現在の画素に至る直前の画素(白画素)の位置をそれぞれ示している。また、「1」〜「8」のそれぞれの数字は、次に辿っていく白画素の選択の優先順番を示している。例えば、直前の白画素が現在の着目画素の真上に位置する場合には、左上、左、左下、下、右下、右、右上、上の各画素を順番に見ていって、最初に現れる白画素が、次に辿るべき白画素として決定される。但し、直前の白画素がどの位置にあった場合であっても、「1」に対応する画素が、次に辿る白画素となることはないため、実際には最も多い場合であっても「2」〜「8」の7個の画素を調べればよい。 FIG. 8 is a diagram for explaining a method of determining the next white pixel in the contour extraction process described above. In FIG. 8, “C” indicates the current pixel of interest (white pixel), and “P” indicates the position of the pixel (white pixel) immediately before the current pixel. The numbers “1” to “8” indicate the priority order of selection of white pixels to be followed next. For example, if the immediately preceding white pixel is located directly above the current pixel of interest, look at each of the upper left, left, lower left, lower, lower right, right, upper right, and upper pixels in order. The white pixel that appears is determined as the white pixel to be followed next. However, since the pixel corresponding to “1” will not be the white pixel to be traced next no matter where the immediately preceding white pixel is located, It is sufficient to examine seven pixels “2” to “8”.
このようにして、トレース開始点TS1から順番に白画素を辿っていく処理が一巡すると、輪郭抽出部125は、順番に辿った各白画素の座標値に基づいて輪郭を抽出したことになる。 In this way, when the process of tracing the white pixels in order from the trace start point TS1 is completed, the contour extracting unit 125 extracts the contour based on the coordinate values of the white pixels traced in order.
さらに輪郭抽出部125は、後述する画素情報変更部127によって輪郭を構成する各白画素を黒画素に変更する処理が行われた後、または輪郭の内部領域にある各画素を黒画素に変更する処理が行われた後に、トレース開始点TS1の右隣の画素(次のスキャン対象画素)から輪郭抽出処理を再開させる。 Further, the contour extracting unit 125 changes each pixel in the inner region of the contour to a black pixel after processing for changing each white pixel constituting the contour to a black pixel by the pixel information changing unit 127 described later. After the process is performed, the contour extraction process is restarted from the pixel (next scan target pixel) on the right side of the trace start point TS1.
図9〜図12は、輪郭抽出処理の流れについて説明するための図である。図9では、図7において抽出された輪郭の軌跡の形状が所定の形状でないと判定されたために、後述する画素情報変更部127によって、トレース開始点TS1から始まる輪郭を構成していた白画素が黒画素に変更されている。輪郭抽出部125は、トレース開始点TS1の右隣の画素からスキャン動作を再開し、次に検出した白画素をトレース開始点TS2として抽出し、実線の矢印で示した順番に白画素を辿っていく処理を行い、辿った各白画素の座標値に基づいて輪郭を抽出する処理を行う。 9 to 12 are diagrams for explaining the flow of the contour extraction process. In FIG. 9, since it is determined that the shape of the contour locus extracted in FIG. 7 is not a predetermined shape, the pixel information changing unit 127 described later determines the white pixels that have formed the contour starting from the trace start point TS1. It has been changed to black pixels. The contour extraction unit 125 resumes the scanning operation from the pixel immediately to the right of the trace start point TS1, extracts the next detected white pixel as the trace start point TS2, and traces the white pixels in the order indicated by the solid line arrows. A process for extracting a contour based on the coordinate value of each traced white pixel is performed.
図10では、図9において抽出された輪郭の軌跡の形状が所定の形状でないと判定されたために、後述する画素情報変更部127によって、トレース開始点TS2から始まる輪郭を構成していた白画素が黒画素に変更されている。輪郭抽出部125は、トレース開始点TS2の右隣の画素からスキャン動作を再開し、次に検出した白画素をトレース開始点TS3として抽出し、実線の矢印で示した順番に白画素を辿っていく処理を行い、辿った各白画素の座標値に基づいて輪郭を抽出する処理を行う。 In FIG. 10, since it is determined that the shape of the contour locus extracted in FIG. 9 is not a predetermined shape, the pixel information changing unit 127 described later determines the white pixels that have formed the contour starting from the trace start point TS2. It has been changed to black pixels. The contour extraction unit 125 restarts the scanning operation from the pixel immediately to the right of the trace start point TS2, extracts the next detected white pixel as the trace start point TS3, and traces the white pixels in the order indicated by the solid line arrows. A process for extracting a contour based on the coordinate value of each traced white pixel is performed.
図11では、図10において抽出された輪郭の軌跡の形状が所定の形状でないと判定されたために、後述する画素情報変更部127によって、トレース開始点TS3から始まる輪郭を構成していた白画素が黒画素に変更されている。輪郭出部125は、トレース開始点TS3の右隣の画素からスキャン動作を再開し、次に検出した白画素をトレース開始点TS4として抽出し、実線の矢印で示した順番に白画素を辿っていく処理を行い、辿った各白画素の座標値に基づいて輪郭を抽出する処理を行う。 In FIG. 11, since it is determined that the shape of the contour locus extracted in FIG. 10 is not a predetermined shape, the pixel information changing unit 127 described later determines the white pixels that have formed the contour starting from the trace start point TS3. It has been changed to black pixels. The contour extraction unit 125 resumes the scanning operation from the pixel right next to the trace start point TS3, extracts the next detected white pixel as the trace start point TS4, and traces the white pixels in the order indicated by the solid line arrows. A process for extracting a contour based on the coordinate value of each traced white pixel is performed.
図12では、図11において抽出された輪郭の軌跡の形状が所定の形状であり、かつ正規の認識対象画像であると判定されたために、認識対象画像の抽出後、後述する画素情報変更部127によって輪郭の内部領域にある各画素が黒画素に変更されている。輪郭抽出部125は、トレース開始点TS4の右隣の画素からスキャン動作を再開し、スキャン終了点SEまでスキャンして終了する。 In FIG. 12, since the shape of the contour locus extracted in FIG. 11 is a predetermined shape and is determined to be a regular recognition target image, a pixel information changing unit 127 described later is extracted after the recognition target image is extracted. Thus, each pixel in the inner area of the contour is changed to a black pixel. The contour extraction unit 125 restarts the scanning operation from the pixel adjacent to the right of the trace start point TS4, scans to the scan end point SE, and ends.
輪郭判定部126は、輪郭抽出部125によって抽出された輪郭の軌跡の形状が所定の形状であるか否かを判定する処理を行う。本実施形態では、認識対象画像としてカード12に印刷された模様16を抽出するために、前記輪郭の軌跡の形状が長方形であるか否かを判定する。ここで長方形であるか否かの判断は、前記輪郭を構成する画素列に含まれる長方形の頂点を検出することにより行う。 The contour determination unit 126 performs a process of determining whether or not the shape of the contour locus extracted by the contour extraction unit 125 is a predetermined shape. In this embodiment, in order to extract the pattern 16 printed on the card 12 as the recognition target image, it is determined whether or not the shape of the contour locus is a rectangle. Here, the determination as to whether or not the object is a rectangle is made by detecting the vertices of the rectangle included in the pixel row constituting the contour.
以下、形状を判定する処理の詳細について説明する。輪郭判定部126は、輪郭抽出部125によって抽出された輪郭に沿って所定の長さLの部分画素列を移動させながら、この部分画素列の頭部(先頭部分)と尾部(末尾部分)のそれぞれに対応するように設定された2つのベクトルの内積値IPの計算を行う。 Details of the process for determining the shape will be described below. The contour determination unit 126 moves the partial pixel sequence having a predetermined length L along the contour extracted by the contour extraction unit 125, and moves the head (leading portion) and tail (tail portion) of the partial pixel sequence. The inner product value IP of two vectors set to correspond to each is calculated.
図13は、輪郭に沿って移動する部分画素列の具体例を示す図である。例えば長さL=10とすると、輪郭に沿った10個の画素からなる部分画素列が生成される。また、この部分画素列の頭部と尾部のそれぞれには、所定の長さMの2つのベクトルA、B(頭部のベクトルAをVA、尾部のベクトルBをVBとする)が設定されている。例えば長さM=3とすると、VAは、部分画素列の先頭の画素を終点とし、3個目の画素を始点とする向きを有する。また、VBは、部分画素列の最後尾の画素を始点とし、後ろから3個目の画素を終点とする向きを有する。 FIG. 13 is a diagram illustrating a specific example of a partial pixel column that moves along an outline. For example, assuming that the length L = 10, a partial pixel string composed of 10 pixels along the contour is generated. In addition, two vectors A and B having a predetermined length M (head vector A is VA and tail vector B is VB) are set in the head and tail of this partial pixel column, respectively. Yes. For example, when the length M = 3, the VA has a direction in which the first pixel of the partial pixel column is the end point and the third pixel is the start point. VB has a direction in which the last pixel in the partial pixel column is the start point and the third pixel from the back is the end point.
ところで、VAとVBのそれぞれは以下のように表すことができる。 By the way, each of VA and VB can be expressed as follows.
VA=(VAのX成分の差,VAのY成分の差)
=(vax,vay)
VB=(VBのX成分の差,VBのY成分の差)
=(vbx,vby)
したがって、VAとVBの内積値IPは、
IP=VA・VB=vax×vbx+vay×vby
となる。輪郭判定部126は、この内積値IPと所定の閾値TIPとを比較し、|IP|≦TIPの場合には、VAとVBとのなす角がほぼ直角であって、長方形の頂点が部分画素列に含まれていると判断し、|IP|>TIPの場合には長方形の頂点が部分画素列に含まれていないと判断する。
VA = (difference of X component of VA, difference of Y component of VA)
= (Vax, vay)
VB = (VB X component difference, VB Y component difference)
= (Vbx, vby)
Therefore, the inner product IP of VA and VB is
IP = VA / VB = vax × vbx + vay × vby
It becomes. Contour determining unit 126 compares the inner product value IP and a predetermined threshold TIP, | IP | in the case of ≦ TIP is a right angle crucible angle Gaho between VA and VB, the apex of the rectangular portion It is determined that it is included in the pixel column, and if | IP |> TIP, it is determined that the vertex of the rectangle is not included in the partial pixel column.
なお、正確には、VAとVBとのなす角θはarccos(IP/(|VA|×|VB|))の式で計算されるため、ベクトルの長さを計算したり、除算等を行う必要があるが、VA、VBについて考えた場合にはベクトルの長さは2から2√2までの範囲に含まれることがわかっているので、本実施形態ではTIPの値を2とすることにより、これらの面倒な計算を省略している。 More precisely, since the angle θ formed by VA and VB is calculated by the equation arccos (IP / (| VA | × | VB |)), the length of the vector is calculated or division is performed. Although it is necessary, since it is known that the length of the vector is included in the range of 2 to 2√2 when considering VA and VB, in this embodiment, the value of TIP is set to 2. These troublesome calculations are omitted.
このようにして、部分画素列を輪郭に沿って移動させることにより長方形の頂点を検出し、部分画素列を輪郭に沿って一周移動する間に4つの長方形の頂点を検出した場合に輪郭の軌跡の形状が長方形であると判定し、それ以外の場合には輪郭の軌跡の形状が長方形でないと判定する。 In this way, when the vertex of a rectangle is detected by moving the partial pixel row along the contour, and the four rectangular vertices are detected while the partial pixel row is moved along the contour, the contour locus is detected. It is determined that the shape of the contour is a rectangle. Otherwise, it is determined that the shape of the contour locus is not a rectangle.
認識対象画像抽出部128は、輪郭判定部126によって輪郭の軌跡の形状が長方形であると判定された場合に、当該輪郭の内部領域にある各画素に対応する二値データを認識対象画像として抽出する処理を行う。 When the contour determination unit 126 determines that the shape of the contour locus is a rectangle, the recognition target image extraction unit 128 extracts binary data corresponding to each pixel in the inner region of the contour as a recognition target image. Perform the process.
認識対象画像判定部129は、認識対象画像抽出部128によって抽出された認識対象画像が所定の条件を満たす認識対象画像であるか(正規の認識対象画像であるか)否かを判定する処理を行う。ここで抽出された認識対象画像(輪郭の内部領域にある各画素に対応する二値データ)からカードの識別情報等を読み取れる場合に、正規の認識対象画像であると判定してもよい。 The recognition target image determination unit 129 performs a process of determining whether the recognition target image extracted by the recognition target image extraction unit 128 is a recognition target image satisfying a predetermined condition (whether it is a regular recognition target image). Do. If the identification information of the card can be read from the recognition target image extracted here (binary data corresponding to each pixel in the inner region of the contour), it may be determined that the image is a regular recognition target image.
画素情報変更部127は、輪郭判定部126によって輪郭の軌跡の形状が長方形でないと判定された場合に、当該輪郭を構成する各白画素を黒画素に変更する処理を行う。ここで黒画素への変更は、輪郭抽出部125が順番に辿った各白画素に対応する二値データを0に設定することにより行う。 When the contour determining unit 126 determines that the shape of the contour locus is not rectangular, the pixel information changing unit 127 performs a process of changing each white pixel constituting the contour to a black pixel. Here, the change to the black pixel is performed by setting the binary data corresponding to each white pixel traced in order by the contour extraction unit 125 to 0.
また画素情報変更部127は、認識対象画像判定部129によって所定の条件を満たす認識対象画像である(正規の認識対象画像である)と判定された場合に、輪郭抽出部125によって抽出された輪郭の内部領域にある各画素を黒画素に変更する処理を行う。例えば、図14に示すように輪郭を構成する各白座標のX座標の最小値Xminと最大値Xmaxと、Y座標の最小値Yminと最大値Ymaxを抽出し、YminからYmaxまでの各Y座標について、対応するXminからXmaxまでの各画素に対応する二値データを0に設定する。 The pixel information changing unit 127 also extracts the contour extracted by the contour extracting unit 125 when the recognition target image determining unit 129 determines that the image is a recognition target image that satisfies a predetermined condition (a regular recognition target image). A process of changing each pixel in the inner area to a black pixel is performed. For example, as shown in FIG. 14, the minimum value Xmin and the maximum value Xmax of the X coordinate of each white coordinate constituting the contour, the minimum value Ymin and the maximum value Ymax of the Y coordinate are extracted, and each Y coordinate from Ymin to Ymax is extracted. , The binary data corresponding to each pixel from the corresponding Xmin to Xmax is set to 0.
また画素情報変更部127は、認識対象画像判定部129によって所定の条件を満たす認識対象画像でない(正規の認識対象画像でない)と判定された場合に、輪郭抽出部125によって抽出された輪郭を構成する各白画素を黒画素に変更する処理を行う。 In addition, the pixel information changing unit 127 configures the contour extracted by the contour extracting unit 125 when the recognition target image determining unit 129 determines that the image is not a recognition target image satisfying a predetermined condition (not a regular recognition target image). A process of changing each white pixel to be a black pixel is performed.
画像生成部130は、処理部100で行われる種々の処理(ゲーム処理、画像認識処理)の結果に基づいて描画処理を行い、ディスプレイ190に出力する。この場合、画像生成部130が生成する画像は、いわゆる2次元画像であってもよいし、3次元画像であってもよい。 The image generation unit 130 performs drawing processing based on the results of various processing (game processing and image recognition processing) performed by the processing unit 100 and outputs the result to the display 190. In this case, the image generated by the image generation unit 130 may be a so-called two-dimensional image or a three-dimensional image.
音生成部140は、処理部100で行われる種々の処理の結果に基づいて音処理を行い、BGM、効果音、又は音声などのゲーム音を生成し、音出力部192に出力する。 The sound generation unit 140 performs sound processing based on the results of various processes performed by the processing unit 100, generates game sounds such as BGM, sound effects, or sounds, and outputs the game sounds to the sound output unit 192.
図15は本実施形態の処理の一例について説明するためのフローチャート図である。ここでは、二値化処理部123によって二値化処理が行われた後の処理について説明する。 FIG. 15 is a flowchart for explaining an example of processing of this embodiment. Here, the processing after the binarization processing unit 123 performs the binarization processing will be described.
二値化処理部123によって得られた二値化画像を構成する各画素のスキャンを開始し、全画素をスキャンしたか否かを判定する(ステップS110)。全画素をスキャンしていなければ次の画素をスキャンする(ステップS120)。スキャンした画素の画素情報が所定の画素条件を満たすか(白画素であるか)否か判断し(ステップS130)、満たさなければ(黒画素であれば)ステップS110に戻る。 Scanning of each pixel constituting the binarized image obtained by the binarization processing unit 123 is started, and it is determined whether or not all the pixels have been scanned (step S110). If all the pixels have not been scanned, the next pixel is scanned (step S120). It is determined whether the pixel information of the scanned pixel satisfies a predetermined pixel condition (whether it is a white pixel) (step S130). If not satisfied (if it is a black pixel), the process returns to step S110.
スキャンした画素の画素情報が所定の画素条件を満たせば(白画素であれば)、当該画素をトレース開始点として抽出し、トレース開始点から再びトレース開始点に到達するまで順番に所定の画素条件を満たす画素情報をもつ画素(白画素)をトレースする(ステップS140)。次にトレースした各画素(各白画素)の座標値に基づき輪郭を抽出する(ステップS150)。次に抽出した輪郭の頂点を検出し、検出した頂点に基づき輪郭の軌跡の形状が所定の形状(長方形)であるか否か判定する(ステップS160)。輪郭の軌跡の形状が所定の形状(長方形)でなければ、輪郭を構成する画素(トレースした白画素)の画素情報を所定の画素条件を満たす画素情報以外の画素情報(二値データ=0)に変更する処理を行い(ステップS170)、ステップS110に戻る。 If the pixel information of the scanned pixel satisfies a predetermined pixel condition (if it is a white pixel), the pixel is extracted as a trace start point, and the predetermined pixel condition is sequentially reached from the trace start point to the trace start point again. A pixel (white pixel) having pixel information that satisfies the above is traced (step S140). Next, a contour is extracted based on the coordinate value of each traced pixel (each white pixel) (step S150). Next, the vertex of the extracted contour is detected, and it is determined whether or not the shape of the contour locus is a predetermined shape (rectangle) based on the detected vertex (step S160). If the shape of the contour locus is not a predetermined shape (rectangular), pixel information other than pixel information satisfying a predetermined pixel condition (binary data = 0) is used for pixel information of pixels constituting the contour (traced white pixels). (Step S170), and the process returns to step S110.
抽出した輪郭の軌跡の形状が所定の形状(長方形)であれば、輪郭の内部領域にある各画素に対応する二値データを認識対象画像として抽出する処理を行う(ステップS180)。次に抽出した認識対象画像が正規の認識対象画像であるか否か判定する(ステップS185)。正規の認識対象画像でなければステップS170の処理を行い、ステップS110に戻る。 If the shape of the extracted contour locus is a predetermined shape (rectangular), a process of extracting binary data corresponding to each pixel in the inner region of the contour as a recognition target image is performed (step S180). Next, it is determined whether or not the extracted recognition target image is a regular recognition target image (step S185). If it is not a regular recognition target image, the process of step S170 is performed, and the process returns to step S110.
抽出した認識対象画像が正規の認識対象画像であると判定された場合には、抽出した認識対象画像からカードの識別番号、位置等を取得する処理を行う(ステップS190)。次に輪郭の内部領域にある各画素の画素情報を所定の画素条件を満たす画素情報以外の画素情報(二値データ=0)に変更する処理を行い(ステップS200)、ステップS110に戻る。そして全ての画素をスキャンした場合に処理を終了する。 When it is determined that the extracted recognition target image is a regular recognition target image, a process of acquiring a card identification number, position, and the like from the extracted recognition target image is performed (step S190). Next, a process of changing the pixel information of each pixel in the inner region of the outline to pixel information (binary data = 0) other than the pixel information that satisfies a predetermined pixel condition is performed (step S200), and the process returns to step S110. Then, when all the pixels have been scanned, the process ends.
なお本発明は、上記実施形態で説明したものに限らず、種々の変形実施が可能である。例えば、明細書又は図面中の記載において広義や同義な用語として引用された用語は、明細書又は図面中の他の記載においても広義や同義な用語に置き換えることができる。 The present invention is not limited to that described in the above embodiment, and various modifications can be made. For example, terms cited as broad or synonymous terms in the description in the specification or drawings can be replaced with broad or synonymous terms in other descriptions in the specification or drawings.
100 処理部
110 ゲーム演算部
120 画像認識部
121 微分処理部
122 ぼかし処理部
123 二値化処理部
125 輪郭抽出部
126 輪郭判定部
127 画素情報変更部
128 認識対象画像抽出部
129 認識対象画像判定部
130 画像生成部
140 音生成部
160 操作部
170 記憶部
180 情報記憶媒体
190 ディスプレイ
192 音出力部
194 携帯型情報記憶装置
196 通信部
100 processing unit 110 game calculation unit 120 image recognition unit 121 differentiation processing unit 122 blur processing unit 123 binarization processing unit 125 contour extraction unit 126 contour determination unit 127 pixel information change unit 128 recognition target image extraction unit 129 recognition target image determination unit 130 Image generation unit 140 Sound generation unit 160 Operation unit 170 Storage unit 180 Information storage medium 190 Display 192 Sound output unit 194 Portable information storage device 196 Communication unit
Claims (9)
前記画像データから所定の画素条件を満たす画素情報をもち連続する画素からなる画素群の輪郭を抽出する輪郭抽出処理を行う輪郭抽出部と、
前記輪郭抽出部によって抽出された輪郭の軌跡が所定の軌跡条件を満たすか否かを判定する輪郭判定部と、
前記輪郭判定部によって所定の軌跡条件を満たさないと判定された場合に、前記輪郭抽出部によって抽出された輪郭を構成する各画素の画素情報を前記所定の画素条件を満たす画素情報以外の画素情報に変更する画素情報変更部と、
前記輪郭判定部によって所定の軌跡条件を満たすと判定された場合に、前記輪郭抽出部によって抽出された輪郭の内部領域に対応する画像データを前記認識対象画像として抽出する認識対象画像抽出部と、
前記認識対象画像抽出部によって抽出された認識対象画像が所定の条件を満たす認識対象画像であるか否かを判定する認識対象画像判定部としてコンピュータを機能させ、
前記画素情報変更部は、
前記認識対象画像判定部によって所定の条件を満たす認識対象画像であると判定された場合に、前記輪郭抽出部によって抽出された輪郭の内部領域にある各画素の画素情報を前記所定の画素条件を満たす画素情報以外の画素情報に変更し、
前記認識対象画像判定部によって所定の条件を満たす認識対象画像でないと判定された場合に、前記輪郭抽出部によって抽出された輪郭を構成する各画素の画素情報を前記所定の画素条件を満たす画素情報以外の画素情報に変更することを特徴とするプログラム。 A computer-executable program for extracting a recognition target image from input image data,
A contour extraction unit that performs a contour extraction process for extracting a contour of a pixel group including continuous pixels having pixel information satisfying a predetermined pixel condition from the image data;
A contour determining unit that determines whether or not a contour locus extracted by the contour extracting unit satisfies a predetermined locus condition;
Pixel information other than the pixel information satisfying the predetermined pixel condition is set as the pixel information of each pixel constituting the outline extracted by the contour extraction unit when the contour determination unit determines that the predetermined locus condition is not satisfied. A pixel information changing unit to be changed to,
A recognition target image extraction unit that extracts, as the recognition target image, image data corresponding to an inner region of the contour extracted by the contour extraction unit when the contour determination unit determines that a predetermined trajectory condition is satisfied;
Causing the computer to function as a recognition target image determination unit that determines whether or not the recognition target image extracted by the recognition target image extraction unit is a recognition target image that satisfies a predetermined condition;
The pixel information changing unit
When the recognition target image determination unit determines that the image is a recognition target image that satisfies a predetermined condition, the pixel information of each pixel in the inner region of the contour extracted by the contour extraction unit is set as the predetermined pixel condition. Change to pixel information other than satisfying pixel information,
Pixel information of each pixel constituting the contour extracted by the contour extraction unit when the recognition target image determination unit determines that the image is not a recognition target image satisfying a predetermined condition, pixel information satisfying the predetermined pixel condition A program characterized by changing to pixel information other than .
前記輪郭抽出部は、
前記画像データから所定の画素条件を満たす画素情報をもつ画素を検出し、検出した画素を開始点として再び開始点に到達するまで前記所定の画素条件を満たす画素情報をもち隣接する画素を所定の規則に従ってトレースし、トレースした各画素の座標値に基づき前記輪郭抽出処理を行うことを特徴とするプログラム。 In claim 1,
The contour extraction unit
A pixel having pixel information satisfying a predetermined pixel condition is detected from the image data, and an adjacent pixel having pixel information satisfying the predetermined pixel condition is determined from the detected pixel as a start point until reaching the start point again. A program that traces according to a rule and performs the contour extraction process based on the coordinate value of each traced pixel.
前記輪郭抽出部は、
前記画像データを構成する各画素を所定の順番で走査し、前記走査において所定の画素条件を満たす画素情報をもつ画素を検出した場合に前記輪郭抽出処理を行い、輪郭抽出処理後に前記検出した画素の次に走査すべき画素から走査を再開する処理を、全画素の走査が終わるまで繰り返し行うことを特徴とするプログラム。 In claim 1 or 2,
The contour extraction unit
The pixels constituting the image data are scanned in a predetermined order, and when the pixels having pixel information satisfying a predetermined pixel condition are detected in the scanning, the contour extraction process is performed, and the detected pixels after the contour extraction process A program characterized by repeatedly performing a process of restarting scanning from a pixel to be scanned next until scanning of all pixels is completed.
前記輪郭判定部は、
前記輪郭抽出部によって抽出された輪郭を構成する画素列が多角形の頂点を構成するか否か判定することで前記輪郭の頂点を検出し、検出した前記輪郭の頂点に基づき前記輪郭の軌跡が所定の軌跡条件を満たすか否かを判定することを特徴とするプログラム。 In any one of Claims 1 thru | or 3,
The contour determination unit
The vertex of the contour is detected by determining whether or not the pixel sequence constituting the contour extracted by the contour extraction unit forms a polygonal vertex, and the locus of the contour is determined based on the detected vertex of the contour. A program for determining whether or not a predetermined locus condition is satisfied.
前記画像データに対して二値化処理を行う二値化処理部としてコンピュータを機能させ、
前記輪郭抽出部は、
前記二値化処理部により二値化処理が行われた画像データから前記輪郭を抽出することを特徴とするプログラム。 In any one of Claims 1 thru | or 4 ,
Causing a computer to function as a binarization processing unit that performs binarization processing on the image data;
The contour extraction unit
A program for extracting the contour from image data that has been binarized by the binarization processing unit.
前記画像データに対して微分処理を行う微分処理部と、
前記微分処理部によって微分処理が行われた画像データに対して、着目画素とその周辺に配置された周囲画素の画素情報を平均化して着目画素の新たな画素情報とするぼかし処理を行うぼかし処理部としてコンピュータを機能させ、
前記二値化処理部は、
前記ぼかし処理部によってぼかし処理が行われた画像データに対して二値化処理を行うことを特徴とするプログラム。 In claim 5 ,
A differential processing unit for performing differential processing on the image data;
A blur process for performing blur processing on the image data that has been subjected to differentiation processing by the differentiation processing unit, by averaging pixel information of the pixel of interest and surrounding pixels arranged in the vicinity thereof to obtain new pixel information of the pixel of interest. The computer as a part,
The binarization processing unit
A program for performing binarization processing on image data subjected to blur processing by the blur processing section.
前記輪郭抽出部が、前記画像データから所定の画素条件を満たす画素情報をもち連続する画素からなる画素群の輪郭を抽出する輪郭抽出処理を行う輪郭抽出ステップと、
前記輪郭判定部が、前記輪郭抽出部によって抽出された輪郭の軌跡が所定の軌跡条件を満たすか否かを判定する輪郭判定ステップと、
前記画素情報変更部が、前記輪郭判定部によって所定の軌跡条件を満たさないと判定された場合に、前記輪郭抽出部によって抽出された輪郭を構成する各画素の画素情報を前記所定の画素条件を満たす画素情報以外の画素情報に変更する画素情報変更ステップと、
前記認識対象画像抽出部が、前記輪郭判定部によって所定の軌跡条件を満たすと判定された場合に、前記輪郭抽出部によって抽出された輪郭の内部領域に対応する画像データを前記認識対象画像として抽出する認識対象画像抽出ステップと、
認識対象画像判定部が、前記認識対象画像抽出部によって抽出された認識対象画像が所定の条件を満たす認識対象画像であるか否かを判定する認識対象画像判定ステップとを含み、
前記画素情報変更ステップでは、
前記画素情報変更部が、前記認識対象画像判定部によって所定の条件を満たす認識対象画像であると判定された場合に、前記輪郭抽出部によって抽出された輪郭の内部領域にある各画素の画素情報を前記所定の画素条件を満たす画素情報以外の画素情報に変更し、前記認識対象画像判定部によって所定の条件を満たす認識対象画像でないと判定された場合に、前記輪郭抽出部によって抽出された輪郭を構成する各画素の画素情報を前記所定の画素条件を満たす画素情報以外の画素情報に変更することを特徴とする画像認識方法。 Image recognition for extracting a recognition target image from input image data using an image recognition apparatus including a contour extraction unit, a contour determination unit, a pixel information change unit, a recognition target image extraction unit, and a recognition target image determination unit A method,
A contour extracting step in which the contour extracting unit performs a contour extracting process of extracting a contour of a pixel group composed of continuous pixels having pixel information satisfying a predetermined pixel condition from the image data;
A contour determining step for determining whether the contour trajectory extracted by the contour extracting unit satisfies a predetermined trajectory condition;
If the pixel information changing unit determines that the predetermined trajectory condition is not satisfied by the contour determining unit , the pixel information of each pixel constituting the contour extracted by the contour extracting unit is changed to the predetermined pixel condition. A pixel information changing step for changing to pixel information other than the pixel information to be satisfied;
When the recognition target image extraction unit determines that a predetermined trajectory condition is satisfied by the contour determination unit , image data corresponding to the inner region of the contour extracted by the contour extraction unit is extracted as the recognition target image. A recognition target image extraction step,
A recognition target image determination unit including a recognition target image determination step of determining whether or not the recognition target image extracted by the recognition target image extraction unit is a recognition target image satisfying a predetermined condition;
In the pixel information changing step,
Pixel information of each pixel in the inner region of the contour extracted by the contour extraction unit when the pixel information changing unit determines that the recognition target image determination unit determines that the recognition target image satisfies a predetermined condition Is changed to pixel information other than the pixel information satisfying the predetermined pixel condition, and the contour extracted by the contour extraction unit when the recognition target image determination unit determines that the image is not a recognition target image satisfying the predetermined condition The pixel information of each pixel which comprises is changed to pixel information other than the pixel information which satisfy | fills the said predetermined pixel conditions, The image recognition method characterized by the above-mentioned .
前記画像データから所定の画素条件を満たす画素情報をもち連続する画素からなる画素群の輪郭を抽出する輪郭抽出処理を行う輪郭抽出部と、
前記輪郭抽出部によって抽出された輪郭の軌跡が所定の軌跡条件を満たすか否かを判定する輪郭判定部と、
前記輪郭判定部によって所定の軌跡条件を満たさないと判定された場合に、前記輪郭抽出部によって抽出された輪郭を構成する各画素の画素情報を前記所定の画素条件を満たす画素情報以外の画素情報に変更する画素情報変更部と、
前記輪郭判定部によって所定の軌跡条件を満たすと判定された場合に、前記輪郭抽出部によって抽出された輪郭の内部領域に対応する画像データを前記認識対象画像として抽出する認識対象画像抽出部と、
前記認識対象画像抽出部によって抽出された認識対象画像が所定の条件を満たす認識対象画像であるか否かを判定する認識対象画像判定部とを含み、
前記画素情報変更部は、
前記認識対象画像判定部によって所定の条件を満たす認識対象画像であると判定された場合に、前記輪郭抽出部によって抽出された輪郭の内部領域にある各画素の画素情報を前記所定の画素条件を満たす画素情報以外の画素情報に変更し、
前記認識対象画像判定部によって所定の条件を満たす認識対象画像でないと判定された場合に、前記輪郭抽出部によって抽出された輪郭を構成する各画素の画素情報を前記所定の画素条件を満たす画素情報以外の画素情報に変更することを特徴とする画像認識装置。 An image recognition apparatus for extracting a recognition target image from input image data,
A contour extraction unit that performs a contour extraction process for extracting a contour of a pixel group including continuous pixels having pixel information satisfying a predetermined pixel condition from the image data;
A contour determining unit that determines whether or not a contour locus extracted by the contour extracting unit satisfies a predetermined locus condition;
Pixel information other than the pixel information satisfying the predetermined pixel condition is set as the pixel information of each pixel constituting the outline extracted by the contour extraction unit when the contour determination unit determines that the predetermined locus condition is not satisfied. A pixel information changing unit to be changed to,
A recognition target image extraction unit that extracts, as the recognition target image, image data corresponding to an inner region of the contour extracted by the contour extraction unit when the contour determination unit determines that a predetermined trajectory condition is satisfied;
A recognition target image determination unit that determines whether or not the recognition target image extracted by the recognition target image extraction unit is a recognition target image that satisfies a predetermined condition;
The pixel information changing unit
When the recognition target image determination unit determines that the image is a recognition target image that satisfies a predetermined condition, the pixel information of each pixel in the inner region of the contour extracted by the contour extraction unit is set as the predetermined pixel condition. Change to pixel information other than satisfying pixel information,
Pixel information of each pixel constituting the contour extracted by the contour extraction unit when the recognition target image determination unit determines that the image is not a recognition target image satisfying a predetermined condition, pixel information satisfying the predetermined pixel condition An image recognition apparatus characterized by changing to pixel information other than the above .
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006171264A JP4807879B2 (en) | 2006-06-21 | 2006-06-21 | Image recognition apparatus, method, program, and information recording medium for extracting at least one recognition target image from input image data |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006171264A JP4807879B2 (en) | 2006-06-21 | 2006-06-21 | Image recognition apparatus, method, program, and information recording medium for extracting at least one recognition target image from input image data |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2008003765A JP2008003765A (en) | 2008-01-10 |
JP4807879B2 true JP4807879B2 (en) | 2011-11-02 |
Family
ID=39008103
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006171264A Active JP4807879B2 (en) | 2006-06-21 | 2006-06-21 | Image recognition apparatus, method, program, and information recording medium for extracting at least one recognition target image from input image data |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4807879B2 (en) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7002729B2 (en) * | 2017-07-31 | 2022-01-20 | 株式会社アイシン | Image data generator, image recognition device, image data generation program, and image recognition program |
CN110246173B (en) * | 2018-08-14 | 2023-11-03 | 浙江大华技术股份有限公司 | Method and device for judging shape area |
CN110276262A (en) * | 2019-05-23 | 2019-09-24 | 福建师范大学 | The determination method of wrist in a kind of palm image |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2561931B2 (en) * | 1987-10-02 | 1996-12-11 | 株式会社リコー | Dot character pattern vectorization method |
JPH02260078A (en) * | 1989-03-31 | 1990-10-22 | Ricoh Co Ltd | Automatic picture noise eliminating device |
JP2513365B2 (en) * | 1993-01-22 | 1996-07-03 | 日本電気株式会社 | Contour tracking method |
JP2000214101A (en) * | 1999-01-20 | 2000-08-04 | Nissan Motor Co Ltd | Surface defect-inspecting device |
JP3950777B2 (en) * | 2002-09-30 | 2007-08-01 | キヤノン株式会社 | Image processing method, image processing apparatus, and image processing program |
JP2005242600A (en) * | 2004-02-26 | 2005-09-08 | Namco Ltd | Pattern recognition processing apparatus, method, and program |
-
2006
- 2006-06-21 JP JP2006171264A patent/JP4807879B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2008003765A (en) | 2008-01-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4042563B2 (en) | Image noise reduction | |
JP4375322B2 (en) | Image processing apparatus, image processing method, program thereof, and computer-readable recording medium recording the program | |
KR102084343B1 (en) | Background removal | |
JP5671928B2 (en) | Learning device, learning method, identification device, identification method, and program | |
JP2011097251A (en) | Image processor, image processing method, image processing program, and recording medium with image processing program recorded thereon | |
CN107018407B (en) | Information processing device, evaluation chart, evaluation system, and performance evaluation method | |
JP2018137636A (en) | Image processing device and image processing program | |
JP4807879B2 (en) | Image recognition apparatus, method, program, and information recording medium for extracting at least one recognition target image from input image data | |
JP5870745B2 (en) | Image processing apparatus, binarization threshold value calculation method, and computer program | |
US8285036B2 (en) | Image processing method, image processing apparatus, and computer-readable storage medium for computer program | |
JP5286215B2 (en) | Outline extracting apparatus, outline extracting method, and outline extracting program | |
JP4941568B2 (en) | Image processing apparatus and program | |
JP7030425B2 (en) | Image processing device, image processing method, program | |
US8254693B2 (en) | Image processing apparatus, image processing method and program | |
JP2010074342A (en) | Image processing apparatus, image forming apparatus, and program | |
CN111445402A (en) | Image denoising method and device | |
EP2541469B1 (en) | Image recognition device, image recognition method and image recognition program | |
JP5264956B2 (en) | Two-dimensional code reading apparatus and method | |
JP2011155365A (en) | Image processing apparatus and image processing method | |
JP4775599B2 (en) | Eye position detection method | |
JP2003219180A (en) | Image processing method, image processing device, recording medium capable of reading computer and computer program | |
JP2003274180A (en) | Image processor, image processing method, printer driver, computer readable storage medium and computer program | |
JP5337844B2 (en) | Region detection apparatus, region detection method, and program | |
JPS63153682A (en) | Method and apparatus for processing contrast picture | |
CN110378248B (en) | Pie chart identification method, device, equipment and computer readable storage medium |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20090303 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110217 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110302 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110502 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110810 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110815 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140826 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 4807879 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140826 Year of fee payment: 3 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |