JP5409910B2 - 非製品画像識別 - Google Patents

非製品画像識別 Download PDF

Info

Publication number
JP5409910B2
JP5409910B2 JP2012518528A JP2012518528A JP5409910B2 JP 5409910 B2 JP5409910 B2 JP 5409910B2 JP 2012518528 A JP2012518528 A JP 2012518528A JP 2012518528 A JP2012518528 A JP 2012518528A JP 5409910 B2 JP5409910 B2 JP 5409910B2
Authority
JP
Japan
Prior art keywords
image
source image
color
main color
product
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2012518528A
Other languages
English (en)
Other versions
JP2012532377A (ja
JP2012532377A5 (ja
Inventor
ジア・メングレイ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alibaba Group Holding Ltd
Original Assignee
Alibaba Group Holding Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba Group Holding Ltd filed Critical Alibaba Group Holding Ltd
Publication of JP2012532377A publication Critical patent/JP2012532377A/ja
Publication of JP2012532377A5 publication Critical patent/JP2012532377A5/ja
Application granted granted Critical
Publication of JP5409910B2 publication Critical patent/JP5409910B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/56Extraction of image or video features relating to colour

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Color Image Communication Systems (AREA)

Description

[関連出願の相互参照]
本出願は、あらゆる目的のために参照によって本明細書に組み込まれる、発明の名称を「IMAGE RECOGNITION METHOD AND DEVICE(画像認識の方法及び装置)」とする2009年7月2日付けで出願された中国特許出願第200910149552.8号の優先権を主張する。
本出願は、画像処理の分野に関し、特に、画像認識に関する。
マルチメディア技術の発展は、ソフトウェアアプリケーションにおける情報の提示を充実させてきた。コンピュータの応用のために、なかでも特にインターネットのために、多くの画像処理技術が開発されてきた。
電子商取引の応用を一例として挙げると、既存の電子商取引システムは、通常、製品に写真を添付する機能をサポートしている。ネットワークを通じて自身の製品提供を発表する売主は、テキスト記述に加えて製品の写真をアップロードすることができる。画像は、単なるテキストよりも、より直観的に製品を提示することができ、多くの場合、製品の写真は、買主がそれに基づいて製品に関する情報の信頼性を確認するための重要な基準にもなる。
大半の製品カテゴリでは、製品の写真として、製品の外観及び特性を直観的に示すゆえに製品の実際の写真が使用されるのが理想的なはずである。しかしながら、売主によっては、売主の広告、販売記録、ユーザマニュアルを含む写真など、製品自体の特性を正確に反映していない無関係な写真をアップロードすることが多々ある。更に、このような写真は、ウェブサイト所有者によるデータマイニングの努力を妨げ、外観に基づく製品の効果的な分類を阻む。更に、ウェブサイト所有者によっては、実際の製品に関係のない画像を、製品を表す画像とは区別して分類することを望む場合がある。異なるタイプの画像を識別及び区別するための技術が必要とされている。
以下の詳細な説明及び添付の図面において発明の様々な実施形態が開示される。
非製品画像の例を示した図である。
非製品画像の例を示した図である。
画像認識プロセスの一実施形態を示したフローチャートである。
ソース画像が非製品画像であるかどうかを決定するためのプロセスの一実施形態を示したフローチャートである。
画像が非製品画像であるかどうかを決定するためにブロック分割されたソース画像の一例を示した図である。
ソース画像が非製品であるかどうかをその画像ブロックに基づいて決定するためのプロセスの一実施形態を示したフローチャートである。
非製品画像を認識するように構成されたシステムの一実施形態を示したブロック図である。
非製品画像を認識するように構成されたシステムの別の一実施形態を示したブロック図である。
発明は、プロセス、装置、システム、合成物、コンピュータによって読み取り可能なストレージメディアに実装されたコンピュータプログラム製品、並びに/又は結合先のメモリに格納された命令及び/若しくは結合先のメモリによって提供される命令を実行するように構成されたプロセッサなどのプロセッサを含む、数々の形態で実装することができる。本明細書では、これらの実装形態、又は発明がとりえるその他のあらゆる形態を、技術と称することができる。総じて、開示されたプロセスのステップの順序は、発明の範囲内で変更されえる。別途明記されない限り、タスクを実施するように構成されているものとして説明されるプロセッサ又はメモリなどのコンポーネントは、所定時にタスクを実施するように一時的に構成された汎用コンポーネントとして、又はタスクを実施するように製造された特殊コンポーネントとして実装されえる。ここで使用される「プロセッサ」という用語は、コンピュータプログラム命令などのデータを処理するように構成された1つ又は複数の、デバイス、回路、及び/又は処理コアを言う。
発明の原理を示した添付の図面とともに、以下で、発明の1つ又は2つ以上の実施形態の詳細な説明が提供される。発明は、このような実施形態に関連して説明されているが、いかなる実施形態にも限定されず、発明の範囲は、特許請求の範囲によってのみ限定され、発明は、数々の代替形態、変更形態、及び均等物を内包している。以下の説明では、発明の完全な理解を可能にするために、数々の詳細が明記されている。これらの詳細は、例示を目的として提供されており、発明は、これらの詳細の一部又は全部を伴わずとも、特許請求の範囲にしたがって実施されえる。明瞭さを期するために、発明に関係した技術分野で知られている技工物は、発明が不必要に不明瞭にされないように詳細な説明を省略されている。
図1A及び図1Bは、電子商取引ウェブサイトで見つけられた非製品画像の例を示している。図1Aは、店の方針(ポリシー)を示す画像を例示しており、図1Bは、衣服を測るためのサイズ表の画像を例示している。これらの写真は、販売されている製品を表したものではなく、したがって、その製品についての情報とともに含められている場合は、非製品画像だとみなされる。一部の既存のシステムでは、非製品画像が手動で認識及び除去される。
以下の説明では、非製品画像を識別するための自動化された画像解析技術が開示される。一部の実施形態では、画像が非製品画像であるかどうかを決定するために、画像のメイン色又は画像の小ブロックのメイン色などの、画像の1つ又は2つ以上の色特徴が取得及び使用される。一部の実施形態では、決定を下すために、これらの色特徴に対して1つ又は2つ以上のルールが適用される。
図2は、画像認識プロセスの一実施形態を示したフローチャートである。プロセス200は、図6のシステム600などのシステムにおいて実施されえる。プロセスは、コンピュータによって実行される、例えばプログラムモジュールなどのコンピュータ実行可能命令を一般的な背景として説明することができる。通常、プログラムモジュールは、特定のタスクを実行する又は特定の抽象データ型を盛り込んだルーチン、プログラム、オブジェクト、コンポーネント、データ構造などを含む。プロセスは、通信ネットワークを介してつながれているリモート処理装置によってタスクが実行される分散コンピューティング環境でも実施することができる。分散コンピューティング環境では、プログラムモジュールは、ストレージデバイスを含むローカル又はリモートのコンピュータストレージメディア内に配することができる。
ステップ201では、ソース画像の中の画素の色特性値が取得される。ソース画像は、二値画像又はグレースケール画像ではなくカラー画像であるとする。一部の実施形態では、色特性値は、ソース画像ファイルからの読み出しによって取得される。一部の実施形態では、色特性値は、ソース画像ファイルを格納するために使用される画像サーバなどの送信者から受信される。一部の実施形態では、ソース画像は、色特性値が取得される前に、随意に、均一なフォーマットで認識されるべく変換されるとともに均一なサイズに拡大縮小される。
ここで言うカラーモデルとは、通例3成分又は4成分である組数としてどのように色を表すことができるかを記述した数学モデルである。よく使用されるカラーモデルの例に、RGB及びCMYKがある。カラーモデルと所定の基準色空間との間にマッピング機能を追加することによって、基準色空間内に明確な「フットプリント」が得られる。三次元の色空間では、三次元の座標軸が3つの独立した色パラメータに対応するので、各色は、対応する空間位置を有しており、その逆もまた、同様である。空間内における一点が、特定の色に対応する。例えば、コンピュータモニタ上に色が表示されるとき、それらの色は、RGB(赤、緑、青)色空間で定められるのが通例である。これは、ほぼ同じ色(蛍光体(CRT)又はフィルタとバックライト(LCD)などの再現媒体によって制限される)を作るもう1つの方法であり、赤、緑、青を、X軸、Y軸、Z軸とみなすことができる。同じ色を作るもう1つの方法は、それらの色相(X軸)、彩度(Y軸)、及び明度値(Z軸)を使用する方法である。これは、HSV色空間と称される。その他の色空間の例には、YUVやYCbCrなどがある。色空間の多くは、このようにして、三次元(X、Y、Z)の値として表すことができる。
RGBベースのカラーモデルは、例示を目的として、以下の議論で広く論じられる。その他のカラーモデルも、同様に使用することができる。例えば、黒色及び白色は、通常は、黒画素及び白画素のみからなる二値画像においてそれぞれ0及び1を使用して表され、グレースケール画像における画素の色特性値は、グレースケール値で示される。黒色及び白色の値、並びにグレースケール値は、RGB値の特殊なケースだとみなすことができ、RGB値との間に変換関係を有する。更に、カラー画像の場合、その色は、例えばYCrCb(明度/色相/彩度)の値などのように、RGBから導き出されるものとは異なる形で表すことができる。
ステップ202では、色特性値に少なくとも部分的に基づいて、ソース画像のメイン色(主要色)が決定される。一部の実施形態では、各色特性値について、その色特性値に対応する画素数がカウントされる。その結果は、ソース画像のメイン色を決定するために比較される。ここで使用されるメイン色という用語は、画像内において最も高い頻度で発生する色を言う。つまり、それは、最も高い画素カウント数を有する色特性値に対応する色である。
ステップ203では、ソース画像のメイン色に対応する色特性値の大きさに少なくとも部分的に基づいて、ソース画像が非製品画像であるかどうかが決定される。一部の実施形態では、決定を下すために複数のルールが適用される。ルールの例が、以下でより詳しく説明される。
非製品画像は、様々なやり方で扱うことができる。例えば、非製品画像を付随させている製品情報からその非製品画像が自動的に削除されてよい、又は非製品画像をアップロードしたユーザに対して警告が送信されてよい。一部の実施形態では、非製品画像が削除される前に、(システム管理者などの)人による確認又は追加の画像処理システムによる確認が必要とされる。一部の実施形態では、非製品画像は、製品を表す製品画像と異なる画像カテゴリに分類される。
図3は、ソース画像が非製品画像であるかどうかを決定するためのプロセスの一実施形態を示したフローチャートである。プロセス300は、図2のステップ203を実行に移すために使用されえる。図に示された例では、プロセスは、ソース画像が非製品画像であるかどうかの決定を下すために、幾つかのルールを適用する。
先ず、決定されたソース画像のメイン色に基づいて予備決定を下すために、一般的なルールが適用される。通常は、黒又は白以外のメイン色を持つカラーソース画像を製品画像だとみなすことができる、すなわち、換言すれば、黒又は白のメイン色を持つカラーソース画像は、非製品画像である可能性が非常に大きい。したがって、ステップ302では、メイン色が黒又は白であるかどうかが決定される。
一部の実施形態では、色は、閾値Aを下回る色特性値を有する場合は黒であるとみなされ、閾値Bを上回る色特性値を有する場合は白であるとみなされる。閾値AとBとの間の色特性値を有する一連の色は、まとめて「その他の色」と呼ばれる。閾値A及びBは、色空間をどのように量子化するかに応じて特定の値をとり、実装形態によって可変である。
メイン色が黒でも白でもない場合は、ステップ304において、ソース画像は、製品画像だとみなされる。そうでない場合は、追加のルールが適用される。具体的には、ステップ306において、ソース画像は、幾つかの画像ブロックに分割され、それぞれの画像ブロックの中のそれぞれの色特性値に対応する画素数にしたがって、それぞれの画像ブロックのメイン色が決定される。
ステップ308では、それぞれの画像ブロックのメイン色に少なくとも部分的に基づいて、ソース画像が非製品画像であるかどうかが決定される。画像ブロックのメイン色の決定プロセスは、ソース画像全体のメイン色を決定するためのプロセスと同様である。画像を幾つかのブロックに分割し、画像ブロックの中の色の分布に基づいて非製品画像状態を判断することによって、画像が非製品画像であるかどうかをより正確に決定することができる。
例えば、ソース画像のメイン色が黒又は白であるときは、特定のメイン色を持つ画像ブロックの数、及び/又は特定のメイン色を持つ画像ブロックのソース画像内における相対的な位置にしたがって、更なる決定を実施することができる。
この例では、ソース画像は、RGBベースであり、3つの主要色であるR(赤)、G(緑)、及びB(青)のそれぞれに8つの異なる強度レベルがある。したがって、色特性値は、RGB000からRGB777までの幅があり、色空間全体は、512の色で量子化される。例えば、RGB235は、赤色の強度値が2であり、緑色の強度値が3であり、青色の強度値が5であることを表している。
この例では、後の説明に便利なように、一部の特定の色が、色空間を量子化するための上記方法にしたがって以下のように定義される。すなわち、R値、G値、B値がそれぞれ1以下である色が黒として定義され、R値、G値、B値がそれぞれ6以上である色が白として定義される。黒及び白は、更に、以下のように規定される。
RGB000は、純粋な黒を表す。
RGB001、RGB010、RGB011、RGB100、RGB101、及びRGB110は、暗い黒を表す。
RGB666、RGB667、RGB676、及びRGB766は、暗い白を表し、より具体的には、RGB666は、灰白も表す。
RGB777、RGB677、RGB767、及びRGB776は、明るい白を表し、より具体的には、RGB777は、純粋な白も表す。
人の視覚システムに基づいて、本実施形態は、より妥当で且つ正確な認識のために有効色の概念を導入する。非灰色の画素数対全画素数の比が閾値を上回る場合には、その色は、有効色だとみなすことができる。有効色は、主に、画像がどの程度カラフルであるかを測るために使用される。ここで言う灰色とは、R、G、及びBの値が等しい色として定義される。上で定められた純粋な黒(RGB000)、灰白(RGB666)、及び純粋な白(RGB777)もまた、灰色のカテゴリに入る。実際には、R、G、及びBの値が等しい色は、暗い色であることが一般的であり、したがって、本実施形態は、そのようなカテゴリの色も考慮に入れている。閾値は、画像内において滅多に生じない一部の色を無視する目的で設定され、実験データによって、およそ5/1000に設定可能であることが証明されている。その他の閾値が使用されてもよい。
図4は、画像が非製品画像であるかどうかを決定するためにブロック分割されたソース画像の一例を示した図である。この例では、画像は、3×3格子のレイアウトにしたがって、9つの画像ブロックに分割されている。この分割は、ソース画像のサイド、コーナー、及びセンターの色が別々に評価されることを保証するとともに、過度に複雑な決定ルールを回避することによって認識速度を向上させる。その他の実施形態では、その他の分割が可能である。
この例では、説明に便利なように、ソース画像は、図4に示されるように左から右へ且つ上から下へ順番に「ブロック0」、「ブロック1」、…… 、「ブロック8」で記された9つの画像ブロックに分割される。それぞれの画像ブロックのメイン色が、それぞれ決定される。
図5は、ソース画像が非製品であるかどうかをその画像ブロックに基づいて決定するためのプロセスの一実施形態を示したフローチャートである。プロセス500は、図3のステップ308を実行に移すために使用されえる。
ステップ502では、ソース画像のメイン色が純粋な黒、純粋な白、又はそれ以外であるかどうかが決定される。
ステップ530において、ソース画像のメイン色が純粋な黒でも純粋な白でもないと決定された場合、そのソース画像は、製品画像である。
ステップ504において、ソース画像のメイン色が純粋な黒であると決定された場合、そのソース画像は、恐らくは製品に無関係であり、ステップ506において、9つの画像ブロックの全てのメイン色が黒であるかどうかが更に決定される。そうである場合は、ステップ510において、その画像は、非製品画像であるとみなされ、それ以外の場合は、ステップ508において、その画像は、製品画像であるとみなされる。
ステップ514において、ソース画像のメイン色が純粋な白であると決定された場合には、ステップ516において、更に、9つの画像ブロックの全てのメイン色が白であるかどうかが更に決定される。そうでない場合には、ステップ508において、その画像は、製品画像であるとみなされる。それ以外の場合には、ステップ518において、灰白のブロックの数が0で、且つ純粋な白のブロックの数が6よりも大きく、且つ明るい白のブロックの数が7よりも大きいかどうかが決定される。そうである場合には、ステップ520に制御が引き渡され、それ以外の場合は、ステップ522に制御が引き渡される。
ステップ520では、ブロック4が明るい白で、且つブロック1、4、及び7の少なくとも1つが純粋な白であるかどうかが決定される。そうである場合は、ステップ510において、画像は、非製品画像であるとみなされ、それ以外の場合は、ステップ508において、画像は、製品画像であるとされる。
ステップ522では、暗い白のブロックの数が9で、且つ灰白のブロックの数が6よりも大きいか決定される。そうである場合には、画像は、非製品画像であり、それ以外の場合は、更なる決定が実行される。ステップ524では、有効色の数が5未満であるか決定され、そうである場合は、画像は、製品画像であり、それ以外の場合は、ステップ526において、以下の条件(a)〜(d)のいずれかが満たされるか否かが決定される。満たされる場合は、画像は、非製品画像であり、それ以外の場合は、画像は、製品画像である。条件(a)〜(d)は、(a)明るい白のブロックの数が9であり、純粋な白のブロックの数が3であり、ブロック4が純粋な白ではないこと、(b)純粋な白のブロックの数が7よりも大きく、ブロック4が純粋な白であり、ブロック1、3、5、及び7が灰白ではないこと、(c)有効色の数が1であり、純粋な白のブロックの数が3であり、ブロック1及び7が灰白であること、並びに(d)ブロック1、3、4、及び5が全て灰白であり、ブロック0が純粋な白ではないことである。
プロセス500は、図1A及び図1Bに示された画像に関連して以下で説明される。
図1Aは、純粋な白のメイン色と、5よりも少ない有効色とを持つ画像を示している。図4に示された方式にしたがって分割されたとき、それぞれの画像ブロックの色特性値は、以下のように示される。

666 666 666

666 666 666

666 666 666
プロセス500にしたがうと、ステップ516において、白いブロックの数は9である。したがって、ステップ518において、灰白のブロックの数0で、且つ純粋な白のブロックの数が6よりも大きく、且つ明るい白のブロックの数が7よりも大きいかどうかが決定される。答えは「No」であるので、暗い白のブロックの数が9で、且つ灰白のブロックの数が6よりも大きいか決定される。このケースでは、条件は真であるので、画像は、非製品画像であると決定される。
図1Bは、純粋な白のメイン色と、5よりも少ない有効色とを持つ画像を示している。図4に示された方式にしたがって分割されたとき、それぞれの画像ブロックの色特性値は、以下のように示される。

777 777 777

777 777 777

777 777 777
プロセス500にしたがうと、ステップ516において、白ブロックの数は9であると決定される。更に、ステップ518において、灰白のブロックの数0で、且つ純粋な白のブロックの数が6よりも大きく、且つ明るい白のブロックの数が7よりも大きいかどうかが決定される。このケースでは、答えは「Yes」であるので、ステップ520において、ブロック4が明るい白で、且つブロック1、4、及び7の少なくとも1つが純粋な白であるかどうかが決定される。これらの条件もやはり真であるゆえに、画像は、非製品であるとみなされる。
上記の解決手段は、先ず画像の色特徴を抽出し、次いで既定の決定ルールと組み合わせてその画像が非製品画像であるかどうかを決定するために、デジタル画像解析技術を適用することによって、製品の写真のうち非製品画像を製品画像から自動的に区別し、システムがそれらを別々に処理することができるようにする。もちろん、本実施形態で説明されている決定ルールは、実際のデータから導き出された特定のルールに過ぎず、当業者ならば、種々の応用要求にしたがって様々な決定ルールを定めることができ、応用は、この点において制限されない。
上記の応用にしたがった技術的解決策は、ユーザから写真がアップロードされる段階に適用することができ、ユーザからアップロードされた写真が非製品画像であることが検出されたとき、システムは、その写真の受け入れを拒絶する又はその非製品画像をアップロードしているユーザにメッセージを返してアップロードのしなおしを促すことによって、システムにおける写真の妥当性を保証することができる。上記の解決策は、非製品画像を排除することによってデータマイニングに対する影響を軽減するために、データマイニングに先立って適用することもできる。また、認識された非製品画像は、システムのストレージスペースを節約するために削除することもできる。
図6は、非製品画像を認識するように構成されたシステムの一実施形態を示したブロック図である。システム600は、パソコン、サーバコンピュータ、ハンドヘルドデバイスすなわち携帯用デバイス、フラットパネルデバイス、マルチプロセッサシステム、マイクロプロセッサベースのシステム、セットトップボックス、プログラム可能な家庭用電子デバイス、ネットワークPC、ミニコンピュータ、大型コンピュータ、特殊用途向けデバイス、上記のシステム若しくはデバイスのうちの任意を含む分散コンピューティング環境、又は1つ若しくは2つ以上のプロセッサと該プロセッサにつながれたメモリとを含みプロセッサに命令を提供するように構成されたその他のハードウェア/ソフトウェア/ファームウェアの組み合わせなどの、1つ又は2つ以上のコンピューティングデバイスを使用して実装されえる。
図に示された例では、システム600は、ソース画像の中のそれぞれの画素の色特性値を得るように適応された特徴値取得ユニット810を含む。システムは、更に、ソース画像のメイン色を決定するように適応されたソース画像メイン色決定ユニット820を含む。一部の実施形態では、メイン色決定ユニットは、それぞれの色特性値に対応する画素の数をカウントするように及びカウント結果に基づいて決定を下すように構成される。システムにやはり含まれるのは、ソース画像が非製品画像であるかどうかをソース画像のメイン色の色特性値に基づいて認識するように適応された第1の認識ユニット830である。
図7は、非製品画像を認識するように構成されたシステムの別の実施形態を示したブロック図である。システム600と同様に、システム700もやはり、特徴値取得ユニット810と、メイン色決定ユニット820と、第1の認識ユニット830とを含む。システムは、更に、特性値取得ユニット810が特性値を取得する前にソース画像を既定のフォーマットに変換するように適応された画像変換ユニット800と、ソース画像を幾つかの画像ブロックに分割してそれぞれの画像ブロックのメイン色を決定するように適応された画像ブロック処理ユニット840とを含む。また、システムは、それぞれの画像ブロックのメイン色にしたがってソース画像が非製品画像であるかどうかを認識するように適応された第2の認識ユニット850を含む。
上述されたユニットは、1つ又は2つ以上の汎用プロセッサ上で実行されるソフトウェアコンポーネントとして、プログラマブルロジックデバイス及び/若しくは所定の機能を実施するように設計された特殊用途向け集積回路などのハードウェアとして、又はそれらの組み合わせとして実装することができる。一部の実施形態では、ユニットは、本発明の実施形態で説明されている方法をコンピュータデバイス(パソコン、サーバ、ネットワーク機器など)に実行させるための幾つかの命令を含み且つ不揮発性のストレージメディア(光ディスク、フラッシュストレージデバイス、モバイルハードディスクなど)に格納することができるソフトウェア製品の形で具現化することができる。ユニットは、1つのデバイス上に実装されてよい、又は複数のデバイスに分散されてよい。ユニットの機能は、互いに合体されてよい、又は更に複数のサブユニットに分割されてよい。
以上の実施形態は、理解を明瞭にする目的で幾らか詳細に説明されてきたが、本発明は、提供された詳細に限定されず、本発明を実施するには、多くの代替的手法がある。開示された実施形態は、例示的であって限定的ではない。
適用例1:画像認識方法であって、ソース画像の中の画素の色特性値を取得し、前記色特性値に少なくとも部分的に基づいて、前記ソース画像のメイン色を決定し、前記ソース画像の前記メイン色に少なくとも部分的に基づいて、前記ソース画像が非製品画像であるか否かを決定すること、を備える方法。
適用例2:適用例1に記載の方法であって、前記ソース画像の前記メイン色を決定することは、前記ソース画像の中の画素の前記色特性値に対応する画素の数を決定し、最も高い画素カウント数を有する前記色特性値に対応する色を識別することを含む、方法。
適用例3:適用例1に記載の方法であって、前記ソース画像の前記メイン色に少なくとも部分的に基づいて、前記ソース画像が非製品画像であるかどうかを決定することは、前記ソース画像の前記メイン色に少なくとも部分的に基づいて、前記ソース画像が非製品画像である見込みがあるか否かの予備決定を実行し、前記ソース画像が非製品画像である見込みがあると決定された場合に、前記ソース画像を複数の画像ブロックに分割し、前記それぞれの画像ブロックのメイン色を決定し、前記それぞれの画像ブロックの前記メイン色に少なくとも部分的に基づいて、前記ソース画像が非製品画像であるか否かを決定することと、を含む、方法。
適用例4:適用例3に記載の方法であって、前記それぞれの画像ブロックの前記メイン色に少なくとも部分的に基づいて、前記ソース画像が非製品画像であるか否かを決定することは、特定のメイン色を持つ画像ブロックの数に少なくとも部分的に基づいて、前記ソース画像が非製品画像であるか否かを決定することを含む、方法。
適用例5:適用例3に記載の方法であって、前記それぞれの画像ブロックの前記メイン色に少なくとも部分的に基づいて、前記ソース画像が非製品画像であるか否かを決定することは、前記ソース画像内における、特定のメイン色を持つ画像ブロックの相対的な位置に少なくとも部分的に基づいて、前記ソース画像が非製品画像であるか否かを決定することを含む、方法。
適用例6:適用例3に記載の方法であって、前記ソース画像を複数の画像ブロックに分割することは、前記ソース画像を3×3レイアウトの9つの画像ブロックに分割することを含む、方法。
適用例7:適用例1に記載の方法であって、更に、前記ソース画像を既定のフォーマットにしたがって変換することを備え、前記ソース画像の中の前記画素の前記色特性値を取得することは、前記画素の前記色特性値を前記変換されたフォーマットにおいて得ることを含む、方法。
適用例8:適用例1に記載の方法であって、前記色特性値は、RGB値である、方法。
適用例9:適用例1に記載の方法であって、前記ソース画像の前記メイン色に少なくとも部分的に基づいて、前記ソース画像が非製品画像であるか否かを決定することは、前記メイン色が黒又は白であるか否かを決定し、前記メイン色が黒又は白である場合に、前記ソース画像を製品画像として認識すること、を含む、方法。
適用例10:適用例9に記載の方法であって、前記メイン色が黒又は白である場合に、前記方法は、更に、前記ソース画像を3×3レイアウトの9つの画像ブロックに分割することを備える方法。
適用例11:適用例10に記載の方法であって、前記メイン色が黒又は白である場合に、前記方法は、更に、特定のメイン色を持つ画像ブロックの数にしたがって、前記ソース画像が非製品画像であるか否かを認識することを備える方法。
適用例12:適用例10に記載の方法であって、前記メイン色が黒又は白である場合に、前記方法は、更に、前記ソース画像内における特定のメイン色を持つ画像ブロックの相対的な位置にしたがって、前記ソース画像が非製品画像であるか否かを認識することを備える方法。
適用例13:画像認識システムであって、1つ又は2つ以上のプロセッサであって、ソース画像の中の画素の色特性値を取得し、前記色特性値に少なくとも部分的に基づいて、前記ソース画像のメイン色を決定し、前記ソース画像の前記メイン色に少なくとも部分的に基づいて、前記ソース画像が非製品画像であるか否かを決定するように、構成された1つ又は2つ以上のプロセッサと、前記1つ又は2つ以上のプロセッサに接続され、前記1つ又は2つ以上のプロセッサに命令を提供するように構成されている、1つ又は2つ以上のメモリと、を備えるシステム。
適用例14:適用例13に記載のシステムであって、前記ソース画像の前記メイン色を決定することは、前記ソース画像の中の画素の前記色特性値に対応する画素の数を決定し、最も高い画素カウント数を有する前記色特性値に対応する色を識別することを含む、システム。
適用例15:適用例13に記載のシステムであって、前記ソース画像の前記メイン色に少なくとも部分的に基づいて、前記ソース画像が非製品画像であるか否かを決定することは、前記ソース画像の前記メイン色に少なくとも部分的に基づいて、前記ソース画像が非製品画像である見込みがあるか否かの予備決定を実行し、前記ソース画像が非製品画像である見込みがあると決定された場合に、前記ソース画像を複数の画像ブロックに分割し、前記それぞれの画像ブロックのメイン色を決定し、前記それぞれの画像ブロックの前記メイン色に少なくとも部分的に基づいて、前記ソース画像が非製品画像であるか否かを決定すること、を含む、システム。
適用例16:適用例15に記載のシステムであって、前記それぞれの画像ブロックの前記メイン色に少なくとも部分的に基づいて、前記ソース画像が非製品画像であるかどうかを決定することは、特定のメイン色を持つ画像ブロックの数に少なくとも部分的に基づいて、前記ソース画像が非製品画像であるか否かを決定することを含む、システム。
適用例17:適用例15に記載のシステムであって、前記それぞれの画像ブロックの前記メイン色に少なくとも部分的に基づいて、前記ソース画像が非製品画像であるかどうかを決定することは、前記ソース画像内における特定のメイン色を持つ画像ブロックの相対的な位置に少なくとも部分的に基づいて、前記ソース画像が非製品画像であるか否かを決定することを含む、システム。
適用例18:適用例15に記載のシステムであって、前記ソース画像を複数の画像ブロックに分割することは、前記ソース画像を3×3レイアウトの9つの画像ブロックに分割することを含む、システム。
適用例19:適用例13に記載のシステムであって、前記1つ又は2つ以上のプロセッサは、更に、前記ソース画像を既定のフォーマットにしたがって変換するように構成され、前記ソース画像の中の前記画素の前記色特性値を取得することは、前記画素の前記色特性値を前記変換されたフォーマットにおいて得ることを含む、システム。
適用例20:適用例13に記載のシステムであって、前記ソース画像の前記メイン色に少なくとも部分的に基づいて、前記ソース画像が非製品画像であるか否かを決定することは、前記メイン色が黒又は白であるか否かを決定し、前記メイン色が黒又は白である場合に、前記ソース画像を製品画像として認識することと、を含む、システム。
適用例21:適用例9に記載の方法であって、前記メイン色が黒又は白である場合に、前記方法は、更に、前記ソース画像を3×3レイアウトの9つの画像ブロックに分割することを備える方法。
適用例22:適用例10に記載の方法であって、前記メイン色が黒又は白である場合に、前記方法は、更に、特定のメイン色を持つ画像ブロックの数にしたがって、前記ソース画像が非製品画像であるか否かを認識することを備える方法。
適用例23:適用例10に記載の方法であって、前記メイン色が黒又は白である場合に、前記方法は、更に、前記ソース画像内における特定のメイン色を持つ画像ブロックの相対的な位置にしたがって、前記ソース画像が非製品画像であるか否かを認識することを備える方法。

Claims (18)

  1. 画像認識方法であって、
    ソース画像の中の画素の色特性値を取得し、
    前記色特性値に少なくとも部分的に基づいて、前記ソース画像のメイン色を決定し、
    前記ソース画像の前記メイン色に少なくとも部分的に基づいて、前記ソース画像が非製品画像であるか否かを決定すること、を備え
    前記ソース画像の前記メイン色に少なくとも部分的に基づいて、前記ソース画像が非製品画像であるかどうかを決定することは、
    前記ソース画像の前記メイン色に少なくとも部分的に基づいて、前記ソース画像が非製品画像である見込みがあるか否かの予備決定を実行し、
    前記ソース画像が非製品画像である見込みがあると決定された場合に、
    前記ソース画像を複数の画像ブロックに分割し、
    前記それぞれの画像ブロックのメイン色を決定し、
    前記それぞれの画像ブロックの前記メイン色に少なくとも部分的に基づいて、前記ソース画像が非製品画像であるか否かを決定することと、
    を含む、
    方法。
  2. 請求項1に記載の方法であって、
    前記ソース画像の前記メイン色を決定することは、前記ソース画像の中の画素の前記色特性値に対応する画素の数を決定し、最も高い画素カウント数を有する前記色特性値に対応する色を識別することを含む、方法。
  3. 請求項に記載の方法であって、
    前記それぞれの画像ブロックの前記メイン色に少なくとも部分的に基づいて、前記ソース画像が非製品画像であるか否かを決定することは、特定のメイン色を持つ画像ブロックの数に少なくとも部分的に基づいて、前記ソース画像が非製品画像であるか否かを決定することを含む、方法。
  4. 請求項に記載の方法であって、
    前記それぞれの画像ブロックの前記メイン色に少なくとも部分的に基づいて、前記ソース画像が非製品画像であるか否かを決定することは、前記ソース画像内における、特定のメイン色を持つ画像ブロックの相対的な位置に少なくとも部分的に基づいて、前記ソース画像が非製品画像であるか否かを決定することを含む、方法。
  5. 請求項に記載の方法であって、
    前記ソース画像を複数の画像ブロックに分割することは、前記ソース画像を3×3レイアウトの9つの画像ブロックに分割することを含む、方法。
  6. 請求項1に記載の方法であって、更に、
    前記ソース画像を既定のフォーマットにしたがって変換することを備え、前記ソース画像の中の前記画素の前記色特性値を取得することは、前記画素の前記色特性値を前記変換されたフォーマットにおいて得ることを含む、方法。
  7. 請求項1に記載の方法であって、
    前記色特性値は、RGB値である、方法。
  8. 画像認識方法であって、
    ソース画像の中の画素の色特性値を取得し、
    前記色特性値に少なくとも部分的に基づいて、前記ソース画像のメイン色を決定し、
    前記ソース画像の前記メイン色に少なくとも部分的に基づいて、前記ソース画像が非製品画像であるか否かを決定すること、を備え、
    前記ソース画像の前記メイン色に少なくとも部分的に基づいて、前記ソース画像が非製品画像であるかどうかを決定することは、
    前記メイン色が黒又は白であるか否かを決定し、
    前記メイン色が黒および白でない場合に、前記ソース画像を製品画像として認識し、
    前記メイン色が黒又は白である場合に、前記ソース画像を3×3レイアウトの9つの画像ブロックに分割し、
    定のメイン色を持つ画像ブロックの数にしたがって、前記ソース画像が非製品画像であるか否かを認識することを含む、方法。
  9. 画像認識方法であって、
    ソース画像の中の画素の色特性値を取得し、
    前記色特性値に少なくとも部分的に基づいて、前記ソース画像のメイン色を決定し、
    前記ソース画像の前記メイン色に少なくとも部分的に基づいて、前記ソース画像が非製品画像であるか否かを決定すること、を備え、
    前記ソース画像の前記メイン色に少なくとも部分的に基づいて、前記ソース画像が非製品画像であるかどうかを決定することは、
    前記メイン色が黒又は白であるか否かを決定し、
    前記メイン色が黒および白でない場合に、前記ソース画像を製品画像として認識し、
    前記メイン色が黒又は白である場合に、前記ソース画像を3×3レイアウトの9つの画像ブロックに分割し、
    前記ソース画像内における特定のメイン色を持つ画像ブロックの相対的な位置にしたがって、前記ソース画像が非製品画像であるか否かを認識することを含む、方法。
  10. 画像認識システムであって、
    1つ又は2つ以上のプロセッサであって、
    ソース画像の中の画素の色特性値を取得し、
    前記色特性値に少なくとも部分的に基づいて、前記ソース画像のメイン色を決定し、
    前記ソース画像の前記メイン色に少なくとも部分的に基づいて、前記ソース画像が非製品画像であるか否かを決定することであって
    前記ソース画像の前記メイン色に少なくとも部分的に基づいて、前記ソース画像が非製品画像である見込みがあるか否かの予備決定を実行し、
    前記ソース画像が非製品画像である見込みがあると決定された場合に、
    前記ソース画像を複数の画像ブロックに分割し、
    前記それぞれの画像ブロックのメイン色を決定し、
    前記それぞれの画像ブロックの前記メイン色に少なくとも部分的に基づいて、前記ソース画像が非製品画像であるか否かを決定するように、
    構成された1つ又は2つ以上のプロセッサと、
    前記1つ又は2つ以上のプロセッサに接続され、前記1つ又は2つ以上のプロセッサに命令を提供するように構成されている、1つ又は2つ以上のメモリと、
    を備えるシステム。
  11. 請求項10に記載のシステムであって、
    前記ソース画像の前記メイン色を決定することは、前記ソース画像の中の画素の前記色特性値に対応する画素の数を決定し、最も高い画素カウント数を有する前記色特性値に対応する色を識別することを含む、システム。
  12. 請求項10に記載のシステムであって、
    前記それぞれの画像ブロックの前記メイン色に少なくとも部分的に基づいて、前記ソース画像が非製品画像であるかどうかを決定することは、特定のメイン色を持つ画像ブロックの数に少なくとも部分的に基づいて、前記ソース画像が非製品画像であるか否かを決定することを含む、システム。
  13. 請求項10に記載のシステムであって、
    前記それぞれの画像ブロックの前記メイン色に少なくとも部分的に基づいて、前記ソース画像が非製品画像であるかどうかを決定することは、前記ソース画像内における特定のメイン色を持つ画像ブロックの相対的な位置に少なくとも部分的に基づいて、前記ソース画像が非製品画像であるか否かを決定することを含む、システム。
  14. 請求項10に記載のシステムであって、
    前記ソース画像を複数の画像ブロックに分割することは、前記ソース画像を3×3レイアウトの9つの画像ブロックに分割することを含む、システム。
  15. 請求項10に記載のシステムであって、
    前記1つ又は2つ以上のプロセッサは、更に、前記ソース画像を既定のフォーマットにしたがって変換するように構成され、前記ソース画像の中の前記画素の前記色特性値を取得することは、前記画素の前記色特性値を前記変換されたフォーマットにおいて得ることを含む、システム。
  16. 画像認識システムであって、
    1つ又は2つ以上のプロセッサであって、
    ソース画像の中の画素の色特性値を取得し、
    前記色特性値に少なくとも部分的に基づいて、前記ソース画像のメイン色を決定し、
    前記ソース画像の前記メイン色に少なくとも部分的に基づいて、前記ソース画像が非製品画像であるか否かを決定することであって、
    前記メイン色が黒および白でない場合に、前記ソース画像を製品画像として認識し、
    前記メイン色が黒又は白である場合に、前記ソース画像を3×3レイアウトの9つの画像ブロックに分割し、
    特定のメイン色を持つ画像ブロックの数にしたがって、前記ソース画像が非製品画像であるか否かを認識するように構成されている1つ又は2つ以上のプロセッサを備える、画像認識システム。
  17. 画像認識システムであって、
    1つ又は2つ以上のプロセッサであって、
    ソース画像の中の画素の色特性値を取得し、
    前記色特性値に少なくとも部分的に基づいて、前記ソース画像のメイン色を決定し、
    前記ソース画像の前記メイン色に少なくとも部分的に基づいて、前記ソース画像が非製品画像であるか否かを決定することであって、
    前記メイン色が黒および白でない場合に、前記ソース画像を製品画像として認識し、
    前記メイン色が黒又は白である場合に、前記ソース画像を3×3レイアウトの9つの画像ブロックに分割し、
    前記ソース画像内における特定のメイン色を持つ画像ブロックの相対的な位置にしたがって、前記ソース画像が非製品画像であるか否かを認識するように構成されている1つ又は2つ以上のプロセッサを備える、画像認識システム。
  18. 画像認識のためのコンピュータプログラムであって、
    ソース画像の中の画素の色特性値を取得する機能と、
    前記色特性値に少なくとも部分的に基づいて、前記ソース画像のメイン色を決定する機能と、
    前記ソース画像の前記メイン色に少なくとも部分的に基づいて、前記ソース画像が非製品画像であるか否かを決定するための機能であって、
    前記ソース画像の前記メイン色に少なくとも部分的に基づいて、前記ソース画像が非製品画像である見込みがあるか否かの予備決定を実行するための機能と、
    前記ソース画像が非製品画像である見込みがあると決定された場合に、
    前記ソース画像を複数の画像ブロックに分割し、
    前記それぞれの画像ブロックのメイン色を決定し、
    前記それぞれの画像ブロックの前記メイン色に少なくとも部分的に基づいて、前記ソース画像が非製品画像であるか否かを決定するための機能と、を含む、
    前記ソース画像の前記メイン色に少なくとも部分的に基づいて、前記ソース画像が非製品画像であるか否かを決定するための機能とを、コンピュータによって実現させるコンピュータプログラム。
JP2012518528A 2009-07-02 2010-07-01 非製品画像識別 Expired - Fee Related JP5409910B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
CN2009101495528A CN101599122B (zh) 2009-07-02 2009-07-02 一种图像识别方法及装置
CN200910149552.8 2009-07-02
US12/803,599 US8515164B2 (en) 2009-07-02 2010-06-30 Non-product image identification
US12/803,599 2010-06-30
PCT/US2010/001898 WO2011002524A1 (en) 2009-07-02 2010-07-01 Non-product image identification

Publications (3)

Publication Number Publication Date
JP2012532377A JP2012532377A (ja) 2012-12-13
JP2012532377A5 JP2012532377A5 (ja) 2013-11-07
JP5409910B2 true JP5409910B2 (ja) 2014-02-05

Family

ID=41420563

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012518528A Expired - Fee Related JP5409910B2 (ja) 2009-07-02 2010-07-01 非製品画像識別

Country Status (6)

Country Link
US (1) US8515164B2 (ja)
EP (1) EP2449506A4 (ja)
JP (1) JP5409910B2 (ja)
CN (1) CN101599122B (ja)
HK (1) HK1137552A1 (ja)
WO (1) WO2011002524A1 (ja)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104298982B (zh) * 2013-07-16 2019-03-08 深圳市腾讯计算机系统有限公司 一种文字识别方法及装置
CN103927513A (zh) * 2014-03-26 2014-07-16 广州品唯软件有限公司 Logo识别方法和装置
CN104200219B (zh) * 2014-08-20 2017-12-08 深圳供电局有限公司 一种变电站刀闸位开关位指示自动识别方法及装置
CN104298970B (zh) 2014-09-26 2017-10-27 博奥生物集团有限公司 一种基于颜色特征的摄像头识别和检测方法
CN104266673B (zh) 2014-09-26 2016-06-08 博奥生物集团有限公司 一种利用摄像头识别反应单元种类的方法
WO2016101767A1 (zh) * 2014-12-24 2016-06-30 北京奇虎科技有限公司 图片裁剪的方法和装置以及图片检测方法和装置
CN107103330A (zh) * 2017-03-31 2017-08-29 深圳市浩远智能科技有限公司 一种指示灯状态识别方法和装置
CN110490250A (zh) * 2019-08-19 2019-11-22 广州虎牙科技有限公司 一种人工智能训练集的获取方法及装置
WO2021127963A1 (en) * 2019-12-24 2021-07-01 Intel Corporation Image content classification
CN115018565A (zh) * 2022-08-08 2022-09-06 长沙朗源电子科技有限公司 一种广告传媒图像识别方法、系统、设备及可读存储介质

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2872285B2 (ja) * 1989-08-02 1999-03-17 キヤノン株式会社 画像処理装置及び画像処理方法
JPH0366516A (ja) 1989-08-04 1991-03-22 Ryobi Ltd 手持ち式糸鋸装置
JP3100391B2 (ja) * 1990-08-15 2000-10-16 株式会社リコー カラー画像の領域分離装置
JP3258122B2 (ja) * 1993-03-31 2002-02-18 株式会社東芝 画像処理装置
US5493386A (en) * 1995-01-03 1996-02-20 Eastman Kodak Company Multi-toner image forming apparatus and method having pattern recognition
US6108098A (en) * 1995-12-28 2000-08-22 Canon Kabushiki Kaisha Image processing apparatus and method
JP3222091B2 (ja) * 1997-05-27 2001-10-22 シャープ株式会社 画像処理装置及び画像処理装置制御プログラムを記憶した媒体
JPH11296672A (ja) * 1998-04-07 1999-10-29 Dainippon Screen Mfg Co Ltd 画像色情報抽出方法
US7006708B1 (en) * 1998-06-23 2006-02-28 Sharp Kabushiki Kaisha Image processor, image processing method, and medium on which image processing program is recorded
DE60034554T2 (de) * 1999-02-05 2007-12-27 Samsung Electronics Co., Ltd., Suwon Verfahren und vorrichtung zur bearbeitung von farbbildern
US6778697B1 (en) * 1999-02-05 2004-08-17 Samsung Electronics Co., Ltd. Color image processing method and apparatus thereof
US7016532B2 (en) * 2000-11-06 2006-03-21 Evryx Technologies Image capture and identification system and process
JP3626679B2 (ja) * 2000-12-06 2005-03-09 株式会社ガーラ コンピュータ画像処理により猥褻ヌード画像を弁別する方法
JP3970052B2 (ja) * 2002-02-27 2007-09-05 キヤノン株式会社 画像処理装置
US7263220B2 (en) * 2003-02-28 2007-08-28 Eastman Kodak Company Method for detecting color objects in digital images
CN100565523C (zh) 2007-04-05 2009-12-02 中国科学院自动化研究所 一种基于多分类器融合的敏感网页过滤方法及系统
CN100568283C (zh) 2007-12-07 2009-12-09 北京搜狗科技发展有限公司 一种图片主色调分析方法及其装置

Also Published As

Publication number Publication date
EP2449506A4 (en) 2017-03-15
US20110002535A1 (en) 2011-01-06
CN101599122A (zh) 2009-12-09
CN101599122B (zh) 2013-06-19
JP2012532377A (ja) 2012-12-13
HK1137552A1 (en) 2010-07-30
US8515164B2 (en) 2013-08-20
WO2011002524A1 (en) 2011-01-06
EP2449506A1 (en) 2012-05-09

Similar Documents

Publication Publication Date Title
JP5409910B2 (ja) 非製品画像識別
US10049466B2 (en) Color name generation from images and color palettes
US10127688B2 (en) System and process for automatically finding objects of a specific color
CN110544258B (zh) 图像分割的方法、装置、电子设备和存储介质
US9317732B2 (en) Method and apparatus of determining air quality
US9135719B1 (en) Color name generation from images and color palettes
TWI629675B (zh) 影像辨識系統及其資訊顯示方法
CN105808645B (zh) 一种图片处理方法、装置及电子设备
CN110070551A (zh) 视频图像的渲染方法、装置和电子设备
US20160140157A1 (en) Aesthetics data identification and evaluation
JP2019095886A (ja) 建物被害推定装置
CN110969602A (zh) 一种图像清晰程度检测方法及装置
CN105740820B (zh) 辨别用图片的获取方法和辨别用图片的获取系统
CN114359685A (zh) 一种物流件识别模型的训练方法、装置以及设备
CN108898169B (zh) 图片处理方法、图片处理装置及终端设备
CN108776959B (zh) 图像处理方法、装置及终端设备
CN114926464B (zh) 在双录场景下的图像质检方法、图像质检装置及系统
CN106402717B (zh) 一种ar播放控制方法及智能台灯
US10552888B1 (en) System for determining resources from image data
CN114463168A (zh) 数据脱敏处理的方法、装置和电子设备
US10713792B1 (en) System and apparatus for image processing
US10636137B1 (en) System for determining object orientations in an image
CN105843972A (zh) 产品属性信息的比对方法及装置
Gao et al. Color image retrieval and analysis using image color measures
US11238595B2 (en) System to prepare images for presentation

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130626

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130626

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130920

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20130920

TRDD Decision of grant or rejection written
A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20131001

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20131008

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20131105

R150 Certificate of patent or registration of utility model

Ref document number: 5409910

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees