JPWO2017006648A1 - 画像判別装置、画像判別方法、及びコンピュータ読み取り可能な記録媒体 - Google Patents

画像判別装置、画像判別方法、及びコンピュータ読み取り可能な記録媒体 Download PDF

Info

Publication number
JPWO2017006648A1
JPWO2017006648A1 JP2017527120A JP2017527120A JPWO2017006648A1 JP WO2017006648 A1 JPWO2017006648 A1 JP WO2017006648A1 JP 2017527120 A JP2017527120 A JP 2017527120A JP 2017527120 A JP2017527120 A JP 2017527120A JP WO2017006648 A1 JPWO2017006648 A1 JP WO2017006648A1
Authority
JP
Japan
Prior art keywords
image
index
subject
query image
color information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017527120A
Other languages
English (en)
Other versions
JP6478301B2 (ja
Inventor
雅高 水澤
雅高 水澤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Solution Innovators Ltd
Original Assignee
NEC Solution Innovators Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Solution Innovators Ltd filed Critical NEC Solution Innovators Ltd
Publication of JPWO2017006648A1 publication Critical patent/JPWO2017006648A1/ja
Application granted granted Critical
Publication of JP6478301B2 publication Critical patent/JP6478301B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

画像判別装置１０は、クエリ画像と参照画像との関係を判別するための装置である。画像判別装置１０は、クエリ画像中の被写体の外縁を明示するマスク画像を取得する、画像取得部１１と、マスク画像から、クエリ画像中の被写体について、その線形性を示す第１の指標、及びその対称性を示す第２の指標を算出する、指標算出部１２と、指標算出部によって算出された第１の指標及び第２の指標と、予め登録されている参照画像それぞれにおける被写体の第１の指標及び第２の指標とを比較し、比較の結果に基づいて、クエリ画像と参照画像との関係を判別する、画像判別部１３とを備えている。

Description

本発明は、クエリ画像中の対象物の判別を行なう、画像判別装置、画像判別方法、及びこれらを実現するためのプログラムを記録したコンピュータ読み取り可能な記録媒体に関する。
近年、デジタルカメラの普及に伴い、ユーザが利用可能な画像データの量が著しく増加している。そして、このため、大量の参照画像の中から、クエリ画像と同一又は類似の画像を検索する画像検索システムの利用が増加している。また、画像検索システムにおいては、クエリ画像と参照画像との関係（同一、類似、又は非類似）を判別する判別エンジンの性能が重要であり、各種判別エンジンが提案されている（例えば、特許文献１参照。）。
具体的には、特許文献１に開示された判別エンジンは、まず、クエリ画像上に特徴点を設定し、設定した特徴点の座標と、所定領域内の画素の輝度値とに基づいて、局所特徴量を算出する。次に、判別エンジンは、クエリ画像の局所特徴量と、参照画像の予め算出された局所特徴量とのそれぞれについて、ベクトル量子化ヒストグラムを作成する。その後、判別エンジンは、クエリ画像及び参照画像それぞれのベクトル量子化ヒストグラムを比較することによって、両者の類似度を算出する。
このように特許文献１に開示された判別エンジンによれば、クエリ画像と参照画像との類似度を算出できるので、この判別エンジンを検索システムに用いれば、精度良く画像を検索することができると考えられる。
特開２０１３−５４５２９号公報
しかしながら、特許文献１に開示された判別エンジンでは、クエリ画像の局所特徴量を算出し、局所特徴量を用いて類似判定をする必要があるので、処理にかかる時間が長いという問題点がある。また、特許文献１に開示された判別エンジンでは、大量の参照画像それぞれについて予め局所特徴量を算出する必要があり、画像のデータベースの構築にコストがかかるという問題がある。
本発明の目的の一例は、上記問題を解消し、画像検索において、処理速度の向上と、データベース構築にかかるコストの低減化とを図り得る、画像判別装置、画像判別方法、及びコンピュータ読み取り可能な記録媒体を提供することにある。
上記目的を達成するため、本発明の一側面における画像判別装置は、クエリ画像と参照画像との関係を判別するための装置であって、
前記クエリ画像中の被写体の外縁を明示するマスク画像を取得する、画像取得部と、
前記マスク画像から、前記クエリ画像中の被写体について、その線形性を示す第１の指標、及びその対称性を示す第２の指標を算出する、指標算出部と、
前記指標算出部によって算出された前記第１の指標及び前記第２の指標と、予め登録されている前記参照画像それぞれにおける被写体の前記第１の指標及び前記第２の指標とを比較し、比較の結果に基づいて、前記クエリ画像と前記参照画像との関係を判別する、画像判別部と、
を備えている、ことを特徴とする。
また、上記目的を達成するため、本発明の一側面における画像判別方法は、クエリ画像と参照画像との関係を判別するための方法であって、
（ａ）前記クエリ画像中の被写体の外縁を明示するマスク画像を取得する、ステップと、
（ｂ）前記マスク画像から、前記クエリ画像中の被写体について、その線形性を示す第１の指標、及びその対称性を示す第２の指標を算出する、ステップと、
（ｃ）前記（ｂ）のステップによって算出された前記第１の指標及び前記第２の指標と、予め登録されている前記参照画像それぞれにおける被写体の前記第１の指標及び前記第２の指標とを比較し、比較の結果に基づいて、前記クエリ画像と前記参照画像との関係を判別する、ステップと、
を有する、ことを特徴とする。
更に、上記目的を達成するため、本発明の一側面におけるコンピュータ読み取り可能な記録媒体は、コンピュータによって、クエリ画像と参照画像との関係を判別するためのプログラムを記録した記録媒体であって、
前記コンピュータに、
（ａ）前記クエリ画像中の被写体の外縁を明示するマスク画像を取得する、ステップと、
（ｂ）前記マスク画像から、前記クエリ画像中の被写体について、その線形性を示す第１の指標、及びその対称性を示す第２の指標を算出する、ステップと、
（ｃ）前記（ｂ）のステップによって算出された前記第１の指標及び前記第２の指標と、予め登録されている前記参照画像それぞれにおける被写体の前記第１の指標及び前記第２の指標とを比較し、比較の結果に基づいて、前記クエリ画像と前記参照画像との関係を判別する、ステップと、
を実行させる命令を含む、プログラムを記録していることを特徴とする。
以上のように、本発明によれば、画像検索において、処理速度の向上と、データベース構築にかかるコストの低減化とを図ることができる。
図１は、本発明の実施の形態における画像判別装置の概略構成を示すブロック図である。 図２は、本発明の実施の形態における画像判別装置の具体的構成を示すブロック図である。 図３は、本発明の実施の形態で用いられる画像及びマスク画像の一例を示す図である。 図４は、本発明の実施の形態で対象となる被写体の線形性及び対称性の一例を示す図である。 図５は、本発明の実施の形態で作成される色ヒストグラムの一例を示す図である。 図６は、本発明の実施の形態における画像判別装置１０の動作を示すフロー図である。 図７は、本発明の実施の形態における画像判別装置の変形例の具体的構成を示すブロック図である。 図８は、本発明の実施の形態における画像判別装置を実現するコンピュータの一例を示すブロック図である。
（実施の形態）
以下、本発明の実施の形態における、画像判別装置、画像判別方法、及びプログラムについて、図１〜図８を参照しながら説明する。
［装置構成］
最初に、本実施の形態における画像判別装置の概略構成について図１を用いて説明する。 図１は、本発明の実施の形態における画像判別装置の概略構成を示すブロック図である。
図１に示す本実施の形態における画像判別装置１０は、クエリ画像と参照画像との関係を判別するための装置である。図１に示すように、画像判別装置１０は、画像取得部１１と、指標算出部１２と、画像判別部１３とを備えている。
また、画像取得部１１は、クエリ画像中の被写体の外縁を明示するマスク画像を取得する。指標算出部１２は、マスク画像から、クエリ画像中の被写体について、その線形性を示す第１の指標（以下「線形性指標」と表記する。）、及びその対称性を示す第２の指標（以下「対称性指標」と表記する。）を算出する。
画像判別部１３は、まず、指標算出部１２によって算出された線形性指標及び対称性指標と、予め登録されている参照画像それぞれにおける被写体の線形性指標及び対称性指標とを比較する。次に、画像判別部１３は、比較の結果に基づいて、クエリ画像と参照画像との関係を判別する。
このように、画像判別装置１０では、画像中の被写体の形状から算出した指標によって、画像間の関係を判別することができる。従って、画像判別装置１０を用いて画像検索システムを構築すれば、処理速度の向上と、データベース構築にかかるコストの低減化とを図ることができる。
ここで、本実施の形態における画像判別装置の構成について図２〜図５を用いて更に具体的に説明する。図２は、本発明の実施の形態における画像判別装置の具体的構成を示すブロック図である。図３は、本発明の実施の形態で用いられる画像及びマスク画像の一例を示す図である。図４は、本発明の実施の形態で対象となる被写体の線形性及び対称性の一例を示す図である。図５は、本発明の実施の形態で作成される色ヒストグラムの一例を示す図である。
図２に示すように、本実施の形態では、画像判別装置１０は、参照画像を蓄積する画像データベース２１と共に、検索システム２０を構築している。更に、画像判別装置１０は、画像検索サービスを利用するユーザの端末装置３０に、インターネット等のネットワーク（図２において図示せず）を介して接続されている。
そして、この構成により、ユーザは、端末装置３０から画像判別装置１０へと、画像検索に用いるクエリ画像を送信する。また、本実施の形態では、ユーザは、端末装置３０上で、クエリ画像を視認しながら、検索対象となる被写体の外縁を指定する。例えば、端末装置３０が、入力デバイスとしてタッチパネルを備える場合であれば、ユーザは、画面に表示されたクエリ画像上で被写体の外縁をなぞることによって、外縁を指定することができる。外縁の指定が終了すると、端末装置３０は、被写体の外縁を特定する情報、具体的には、外縁に指定された部分の座標の集合（以下「外縁特定情報」と表記する。）も、画像判別装置１０へと送信する。
また、図２に示すように、画像判別装置１０は、上述した、画像取得部１１、指標算出部１２及び画像判別部１３に加えて、入力受付部１４と、色情報作成部１５と、出力部１６とを更に備えている。
入力受付部１４は、端末装置３０から、クエリ画像及び外縁特定情報が送信されてくると、これらを受け付ける。また、入力受付部１４は、受け付けたクエリ画像及び外縁特定情報を、画像取得部１１に受け渡す。
画像取得部１１は、本実施の形態では、クエリ画像及び外縁特定情報を受け取り、これらを用いて、クエリ画像の被写体の外縁を明示するマスク画像を生成する。具体的には、画像取得部１１は、外縁の外側に相当する外側領域と外縁の内側に相当する内側領域とがそれぞれ異なる単一の色で塗り潰された画像を生成し、これをマスク画像として取得する。
例えば、クエリ画像が、図３の上段に示すキアゲハの画像であり、この画像において、点線で示すように外縁が指定されているとする。この場合、画像取得部１１は、図３の下段に示すように、マスク画像として、キアゲハのシルエットが白抜きで表された白黒の画像を生成する。また、画像取得部１１は、生成したマスク画像を指標算出部１２に受け渡し、生成したマスク画像とクエリ画像とを色情報作成部１５に受け渡す。
なお、本実施の形態においては、マスク画像の生成は、端末装置３０によって行なわれていても良い。この場合は、端末装置３０は、クエリ画像と対応するマスク画像とを、画像判別装置１０へと送信する。
また、本実施の形態では、指標算出部１２は、線形性指標として、マスク画像における内側領域の垂直方向の長さと水平方向の長さとの関係を示す係数を算出する。具体的には、指標算出部１２は、内側領域上にｎ個の点をランダムに設定し、設定した点の座標（ｘｉ，ｙｉ）を下記の数１に代入して、係数Ａを算出し、これを線形性指標とする。得られた線形性指標は０から１の値をとり、１に近い程、被写体が細長いことを示し、０に近い程、被写体が丸いこと（不定形であること）を示している。
Figure 2017006648
更に、指標算出部１２は、対称性指標として、マスク画像における内側領域の点対称の程度を表す係数を算出する。具体的には、まず、指標算出部１２は、内側領域を、その重心を中心に１８０度回転させ、回転前の内側領域と回転後の内側領域との重なり合う部分の面積ｓを算出する。次に、内側領域の面積Ｓと重なり合う部分の面積ｓとの比Ｂ（＝ｓ／Ｓ）を算出し、これを対称性指標とする。
ここで、図４を用いて、被写体が昆虫である場合の線形性指標と対称性指標とについて説明する。図４は、横軸を線形性指標とし、縦軸を対称性指標として、各被写体の指標の値をプロットすることによって得られた２次元散布図である。図４に示すように、線形性指標と対称性指標とを組み合せれば、各昆虫を簡単に区別することができる。従って、クエリ画像の被写体が昆虫である場合は、線形性指標と対称性指標とを用いれば、クエリ画像と参照画像との関係を高精度に判定することができる。
また、色情報作成部１５は、クエリ画像上の外縁の内側に相当する領域（以下「色情報作成領域」と表記する。）を対象にして、クエリ画像の被写体の色情報を作成する。色情報の具体例として、色ヒストグラム及び色コリログラムが挙げられる。
ここで、色情報として色ヒストグラムが作成される場合について図５を用いて説明する。図５に示すように、色情報作成部１５は、色情報作成領域を構成する各画素を、その色に基づいて、予め設定されたグループ（図５の例では１６色の色毎のグループ）に分類する。そして、色情報作成部１５は、グループ毎に、グループに属する画素の数の割合を算出し、算出した割合の値をビンの値（縦軸の値）としては、図５に示す色ヒストグラムを作成する。なお、本実施の形態において、色ヒストグラムを作成する際のグループの数（色数）は特に限定されるものではない。
また、色情報作成部１５は、色情報として色コリログラムを作成する場合は、まず、色情報作成領域の各画素から、存在する色の組合せを特定し、特定した組合せ毎に、共起頻度を算出する。そして、色情報作成部１５は、算出した各共起頻度の値をビンの値として、色コリログラムを作成する。
画像データベース２１は、多数の参照画像を蓄積すると共に、参照画像毎に、線形性指標、対称性指標、タグ情報、及び色情報も蓄積している。このうち、タグ情報は、被写体についての情報、例えば、被写体が昆虫であるならば、名称、幼虫成虫の区別、生息地域、成虫となる時期、食料となる植物、発見しやすい場所等を含む。
また、参照画像の線形性指標及び対称性指標は、クエリ画像の場合と同様に、予め、参照画像の被写体のマスク画像を生成することによって算出される。更に、参照画像の色情報は、クエリ画像の場合と同様に、参照画像上の色情報作成領域を対象にして作成される。なお、参照画像の線形性指標及び対称性指標は、画像判別装置１０の指標算出部１２によって予め算出されていても良い。参照画像の色情報は、画像判別装置１０の色情報作成部１５によって予め算出されていても良い。
また、図２の例では、画像データベース２１は、画像判別装置１０とは別の装置（コンピュータ）によって構築されているが、本実施の形態は、この態様に限定されるものではない。画像データベース２１は、画像判別装置１０の内部に構築されていても良い。
画像判別部１３は、本実施の形態では、色情報作成部１５によって作成された、クエリ画像の被写体の色情報と、予め登録されている参照画像それぞれにおける被写体の色情報とを比較する。そして、画像判別部１３は、色情報の比較の結果と、線形性指標及び対称性指標の比較の結果とに基づいて、クエリ画像と参照画像との関係を判別する。本実施の形態では、画像判別部１３は、クエリ画像と参照画像との類似度を算出することによって、両者の関係を判別する。
具体的には、画像判別部１３は、まず、図４に示した２次元散布図に、参照画像毎に、その線形性指標と対称性指標とを用いて各参照画像の点をプロットする。次に、画像判別部１３は、図４に示した２次元散布図に、クエリ画像の線形性指標と対称性指標とを用いて、クエリ画像の点もプロットする。そして、画像判別部１３は、参照画像毎に、クエリ画像の点とのユークリッド距離を算出し、ユークリッド距離が小さい程値が高くなるように類似度（以下「形状類似度」と表記する。）を算出する。
画像データベース２１に、色情報として、色ヒストグラムが蓄積されているとする。この場合、画像判別部１３は、参照画像毎に、その色ヒストグラムと、クエリ画像の色ヒストグラムとから、対応する各ビンの値のうち小さい方の値を取得し、すべてのビンについての合計値を算出する。そして、画像判別部１３は、参照画像毎に、得られた合計値が高い程、値が高くなるように、クエリ画像との類似度（以下「色類似度」と表記する。）を算出する。
また、画像データベース２１に、色情報として、色コリログラムが蓄積されている場合も、画像判別部１３は、上記と同様に、合計値を算出することによって、類似度を算出する。なお、色コリログラムでは、画像の模様の相違が反映されることから、色情報として色コリログラムが作成される場合は、判別精度の向上が図られることになる。
そして、画像判別部１３は、参照画像毎に、形状類似度と色類似度とを用いて、最終的な類似度を算出する。具体的には、画像判別部１３は、例えば、形状類似度及び色類似度それぞれに重み係数（０以上１以下）を乗算し、得られた各乗算値を合計して、最終的な類似度を算出する。なお、重み係数の値は、被写体の種類などによって適宜設定される。
また、画像判別部１３は、本実施の形態では、最終的な類似度の値が大きい上位ｍ個（ｍ：自然数）の参照画像を特定し、特定した参照画像の画像データとタグ情報とを、出力部１６に受け渡す。これにより、出力部１６は、受け取った画像データとタグ情報とを、検索結果として、端末装置３０に送信する。
これにより、例えば、ユーザが、クエリ画像として昆虫の画像を入力していたとすると、クエリ画像の昆虫に類似する昆虫の画像データとタグ情報とが、検索結果として、端末装置３０に送信される。よって、端末装置３０の画面には、参照画像と、タグ情報である昆虫の名称等が表示される。この場合、ユーザは、クエリ画像の被写体である昆虫が何であるかを知ることができる。
［装置動作］
次に、本発明の実施の形態における画像判別装置１０の動作について図６を用いて説明する。図６は、本発明の実施の形態における画像判別装置１０の動作を示すフロー図である。以下の説明においては、適宜図１〜図５を参酌する。また、本実施の形態では、画像判別装置１０を動作させることによって、画像判別方法が実施される。よって、本実施の形態における画像判別方法の説明は、以下の画像判別装置１０の動作説明に代える。
まず、前提として、画像データベースには、多数の参照画像が、それぞれ対応する、線形性指標、対称性指標、タグ情報、及び色情報と共に蓄積されているとする。そして、ユーザが、端末装置３０から、クエリ画像と外縁特定情報とを送信したとする。
図６に示すように、最初に、画像判別装置１０において、入力受付部１４は、クエリ画像及び外縁特定情報が送信されてくると、これらを受け付けて、これらを画像取得部１１に受け渡す（ステップＡ１）。
次に、画像取得部１１は、クエリ画像及び外縁特定情報を用いて、クエリ画像の被写体の外縁を明示するマスク画像を生成する（ステップＡ２）。具体的には、画像取得部１１は、外側領域と外縁の内側に相当する内側領域とがそれぞれ異なる単一の色で塗り潰されたマスク画像を生成する。
次に、指標算出部１２は、ステップＡ２で生成されたマスク画像を用いて、クエリ画像の線形性指標と対称性指標とを算出する（ステップＡ３）。次に、色情報作成部１５は、クエリ画像上の色情報作成領域を対象にして、クエリ画像の被写体の色情報を作成する（ステップＡ４）。
次に、画像判別部１３は、ステップＡ３及びＡ４の結果を用いて、クエリ画像と各参照画像との類似度を算出する（ステップＡ５）。具体的には、画像判別部１３は、線形性指標及び対称性指標を用いて形状類似度を算出し、色情報を用いて色類似度を算出し、更に、これらを用いて、最終的な類似度を算出する。そして、画像判別部１３は、最終的な類似度の値が大きい上位ｍ個（ｍ：自然数）の参照画像の画像データとタグ情報とを、出力部１６に受け渡す。
次に、出力部１６は、受け取った画像データとタグ情報とを、検索結果として、端末装置３０に送信する（ステップＡ６）。これにより、端末装置３０の画面には、クエリ画像の被写体に類似した被写体の参照画像と、タグ情報とが表示される。
以上のように、本実施の形態によれば、比較的軽い演算処理によって、クエリ画像と参照画像との関係が判別されるので、処理速度の向上が図られることになる。また、画像データベース２１の構築においては、参照画像毎に、線形性指標、対称性指標、及び色情報を求めておくだけで良いので、画像データベース２１の構築にかかるコストの低減化が図られる。
また、上記特許文献１で用いられる局所特徴量は、画素の変化といった画像上の特徴をベクトルによって表現するものであり、ヒトが直感的に理解できるものではない。このため、局所特徴量を用いた判別においては、判別基準の調整及び設定が難しいという問題がある。これに対して、本実施の形態では、「細長い」、「丸い」、「対称的」といったヒトが直感的に理解できるものを指標として用いるため、判別基準の調整及び設定は容易となる。
また、上述したように、本実施の形態によれば、ユーザは、それが何であるかを知りたいものの画像をクエリ画像として入力すれば、類似度が高い参照画像とその情報とを受け取ることができる。よって、本実施の形態における画像判別装置１０は、教育現場、農業現場等においても有用である。
［プログラム］
本実施の形態におけるプログラムは、コンピュータに、図６に示すステップＡ１〜Ａ６を実行させるプログラムであれば良い。このプログラムをコンピュータにインストールし、実行することによって、本実施の形態における画像判別装置と画像判別方法とを実現することができる。この場合、コンピュータのＣＰＵ（Central Processing Unit）は、画像取得部１１、指標算出部１２、画像判別部１３、入力受付部１４、及び色情報作成部１５、及び出力部１６として機能し、処理を行なう。
（変形例）
ここで、本発明の実施の形態における画像判別装置の変形例について説明する。図７は、本発明の実施の形態における画像判別装置の変形例の具体的構成を示すブロック図である。
図７に示すように、本変形例では、画像判別装置１０は、図２に示した構成に加えて、局所特徴量算出部１７を備えている。局所特徴量算出部１７は、クエリ画像上の外縁の内側に相当する領域（色情報作成領域）を対象にして、クエリ画像の局所特徴量を算出する。局所特徴量は、回転及びスケールの変更に対して不変的な特徴量である。
具体的には、局所特徴量算出部１７は、色情報作成領域における特徴点な部分、例えば、濃淡の変化が大きい部分等を特定し、特定した部分の画素値又は微分値等を抽出する。そして、局所特徴量算出部１７は、抽出した値を用いて、特徴ベクトルを生成する（下記のURL(1)参照）。なお、本変形例では、局所特徴量としては、既知の「ＳＩＦＴ」（下記のURL(2)、(3)参照）、「ＳＵＲＦ」（下記のURL(4)、(5)参照）、「ＡＫＡＺＥ」（下記のURL(6)、(7)参照）、「Ｇａｂｏｒ」（下記のURL(8)、(9)参照）等を利用することができる。
URL(1):http://dbsj.org/wp-content/uploads/journal/vol8/no1/dbsj-journal-08-01-119.pdf
URL(2):https://www.cs.ubc.ca/~lowe/papers/ijcv04.pdf
URL(3):http://www.hci.iis.u-tokyo.ac.jp/~ysato/class14/supplements/sift_tutorial-Fujiyoshi.pdf
URL(4):http://www.vision.ee.ethz.ch/~surf/eccv06.pdf
URL(5):http://www.topic.ad.jp/sice/papers/280/280-4.pdf
URL(6):http://www.robesafe.com/personal/pablo.alcantarilla/papers/Alcantarilla13bmvc.pdf
URL(7):http://poly.hatenablog.com/entry/2014/01/06/063012
URL(8):http://www.neuro-it.net/pdf_dateien/summer_2004/Jones%201987.pdf
URL(9):http://www.me.cs.scitec.kobe-u.ac.jp/~takigu/pdf/2010/OS8-2.pdf
また、本変形例では、画像データベース２１は、参照画像毎に、線形性指標、対称性指標、タグ情報、及び色情報に加え、局所特徴量（特徴ベクトル）も蓄積している。よって、本変形例では、画像判別部１３は、参照画像毎に、その特徴ベクトルとクエリ画像の特徴ベクトルとの類似度（以下「特徴類似度」と表記する。）を算出する。
そして、画像判別部１３は、参照画像毎に、形状類似度、色類似度、及び特徴類似度を用いて、最終的な類似度を算出する。具体的には、画像判別部１３は、例えば、形状類似度、色類似度、及び特徴類似度それぞれに重み係数（０以上１以下）を乗算し、得られた各乗算値を合計して、最終的な類似度を算出する。なお、本変形例においても、重み係数の値は、被写体の種類などによって適宜設定される。
このように、本変形例では、局所特徴量も用いてクエリ画像と参照画像との関係が判別されるため、判別精度の向上を図ることができる。本変形例は、高い判別精度が必要となる分野に有用である。
（物理構成）
ここで、本実施の形態におけるプログラムを実行することによって、画像判別装置１０を実現するコンピュータについて図８を用いて説明する。図８は、本発明の実施の形態における画像判別装置を実現するコンピュータの一例を示すブロック図である。
図８に示すように、コンピュータ１１０は、ＣＰＵ１１１と、メインメモリ１１２と、記憶装置１１３と、入力インターフェイス１１４と、表示コントローラ１１５と、データリーダ／ライタ１１６と、通信インターフェイス１１７とを備える。これらの各部は、バス１２１を介して、互いにデータ通信可能に接続される。
ＣＰＵ１１１は、記憶装置１１３に格納された、本実施の形態におけるプログラム（コード）をメインメモリ１１２に展開し、これらを所定順序で実行することにより、各種の演算を実施する。メインメモリ１１２は、典型的には、ＤＲＡＭ（Dynamic Random Access Memory）等の揮発性の記憶装置である。また、本実施の形態におけるプログラムは、コンピュータ読み取り可能な記録媒体１２０に格納された状態で提供される。なお、本実施の形態におけるプログラムは、通信インターフェイス１１７を介して接続されたインターネット上で流通するものであっても良い。
また、記憶装置１１３の具体例としては、ハードディスクドライブの他、フラッシュメモリ等の半導体記憶装置が挙げられる。入力インターフェイス１１４は、ＣＰＵ１１１と、キーボード及びマウスといった入力機器１１８との間のデータ伝送を仲介する。表示コントローラ１１５は、ディスプレイ装置１１９と接続され、ディスプレイ装置１１９での表示を制御する。
データリーダ／ライタ１１６は、ＣＰＵ１１１と記録媒体１２０との間のデータ伝送を仲介し、記録媒体１２０からのプログラムの読み出し、及びコンピュータ１１０における処理結果の記録媒体１２０への書き込みを実行する。通信インターフェイス１１７は、ＣＰＵ１１１と、他のコンピュータとの間のデータ伝送を仲介する。
また、記録媒体１２０の具体例としては、ＣＦ（Compact Flash（登録商標））及びＳＤ（Secure Digital）等の汎用的な半導体記憶デバイス、フレキシブルディスク（Flexible Disk）等の磁気記憶媒体、又はＣＤ−ＲＯＭ（Compact Disk Read Only Memory）などの光学記憶媒体が挙げられる。
なお、本実施の形態における画像判別装置１０は、プログラムがインストールされたコンピュータではなく、各部に対応したハードウェアを用いることによっても実現可能である。更に、画像処理装置１０は、一部がプログラムで実現され、残りの部分がハードウェアで実現されていてもよい。
また、上述した実施の形態の一部又は全部は、以下に記載する（付記１）〜（付記１８）によって表現することができるが、以下の記載に限定されるものではない。
（付記１）
クエリ画像と参照画像との関係を判別するための装置であって、
前記クエリ画像中の被写体の外縁を明示するマスク画像を取得する、画像取得部と、
前記マスク画像から、前記クエリ画像中の被写体について、その線形性を示す第１の指標、及びその対称性を示す第２の指標を算出する、指標算出部と、
前記指標算出部によって算出された前記第１の指標及び前記第２の指標と、予め登録されている前記参照画像それぞれにおける被写体の前記第１の指標及び前記第２の指標とを比較し、比較の結果に基づいて、前記クエリ画像と前記参照画像との関係を判別する、画像判別部と、
を備えている、ことを特徴とする画像判別装置。
（付記２）
前記画像取得部が、前記マスク画像として、前記外縁の外側に相当する外側領域と前記外縁の内側に相当する内側領域とがそれぞれ異なる単一の色で塗り潰された画像を取得し、
前記指標算出部が、前記第１の指標として、前記マスク画像における前記内側領域の垂直方向の長さと水平方向の長さとの関係を示す係数を算出し、前記第２の指標として、前記マスク画像における前記内側領域の点対称の程度を表す係数を算出する、
付記１に記載の画像判別装置。
（付記３）
前記クエリ画像上の前記外縁の内側に相当する領域を対象として、前記クエリ画像の被写体の色を特定する色情報を作成する、色情報作成部を更に備え、
前記画像判別部は、更に、前記色情報作成部によって作成された、前記クエリ画像の被写体の色情報と、予め登録されている前記参照画像それぞれにおける被写体の色情報とを比較し、前記色情報の比較の結果と、前記第１の指標及び前記第２の指標の比較の結果とに基づいて、前記クエリ画像と前記参照画像との関係を判別する、
付記１に記載の画像判別装置。
（付記４）
前記色情報作成部が、前記色情報として、前記クエリ画像上の前記外縁の内側に相当する領域から、前記クエリ画像の被写体の色ヒストグラムを作成する、
付記３に記載の画像判別装置。
（付記５）
前記色情報作成部が、前記色情報として、前記クエリ画像上の前記外縁の内側に相当する領域から、前記クエリ画像の被写体の色コリログラムを作成する、
付記３に記載の画像判別装置。
（付記６）
クエリ画像と参照画像との関係を判別するための方法であって、
（ａ）前記クエリ画像中の被写体の外縁を明示するマスク画像を取得する、ステップと、
（ｂ）前記マスク画像から、前記クエリ画像中の被写体について、その線形性を示す第１の指標、及びその対称性を示す第２の指標を算出する、ステップと、
（ｃ）前記（ｂ）のステップによって算出された前記第１の指標及び前記第２の指標と、予め登録されている前記参照画像それぞれにおける被写体の前記第１の指標及び前記第２の指標とを比較し、比較の結果に基づいて、前記クエリ画像と前記参照画像との関係を判別する、ステップと、
を有する、ことを特徴とする画像判別方法。
（付記７）
前記（ａ）のステップにおいて、前記マスク画像として、前記外縁の外側に相当する外側領域と前記外縁の内側に相当する内側領域とがそれぞれ異なる単一の色で塗り潰された画像を取得し、
前記（ｂ）のステップにおいて、前記第１の指標として、前記マスク画像における前記内側領域の垂直方向の長さと水平方向の長さとの関係を示す係数を算出し、前記第２の指標として、前記マスク画像における前記内側領域の点対称の程度を表す係数を算出する、
付記６に記載の画像判別方法。
（付記８）
（ｄ）前記クエリ画像上の前記外縁の内側に相当する領域を対象として、前記クエリ画像の被写体の色を特定する色情報を作成する、ステップを更に有し、
前記（ｃ）のステップにおいて、更に、前記（ｄ）のステップによって作成された、前記クエリ画像の被写体の色情報と、予め登録されている前記参照画像それぞれにおける被写体の色情報とを比較し、前記色情報の比較の結果と、前記第１の指標及び前記第２の指標の比較の結果とに基づいて、前記クエリ画像と前記参照画像との関係を判別する、
付記６に記載の画像判別方法。
（付記９）
前記（ｄ）のステップにおいて、前記色情報として、前記クエリ画像上の前記外縁の内側に相当する領域から、前記クエリ画像の被写体の色ヒストグラムを作成する、
付記８に記載の画像判別方法。
（付記１０）
前記（ｄ）のステップにおいて、前記色情報として、前記クエリ画像上の前記外縁の内側に相当する領域から、前記クエリ画像の被写体の色コリログラムを作成する、
付記８に記載の画像判別方法。
（付記１１）
コンピュータによって、クエリ画像と参照画像との関係を判別するためのプログラムを記録した記録媒体であって、
前記コンピュータに、
（ａ）前記クエリ画像中の被写体の外縁を明示するマスク画像を取得する、ステップと、
（ｂ）前記マスク画像から、前記クエリ画像中の被写体について、その線形性を示す第１の指標、及びその対称性を示す第２の指標を算出する、ステップと、
（ｃ）前記（ｂ）のステップによって算出された前記第１の指標及び前記第２の指標と、予め登録されている前記参照画像それぞれにおける被写体の前記第１の指標及び前記第２の指標とを比較し、比較の結果に基づいて、前記クエリ画像と前記参照画像との関係を判別する、ステップと、
を実行させる、プログラムを記録したコンピュータ読み取り可能な記録媒体。
（付記１２）
前記（ａ）のステップにおいて、前記マスク画像として、前記外縁の外側に相当する外側領域と前記外縁の内側に相当する内側領域とがそれぞれ異なる単一の色で塗り潰された画像を取得し、
前記（ｂ）のステップにおいて、前記第１の指標として、前記マスク画像における前記内側領域の垂直方向の長さと水平方向の長さとの関係を示す係数を算出し、前記第２の指標として、前記マスク画像における前記内側領域の点対称の程度を表す係数を算出する、
付記１１に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。
（付記１３）
前記コンピュータに、
（ｄ）前記クエリ画像上の前記外縁の内側に相当する領域を対象として、前記クエリ画像の被写体の色を特定する色情報を作成する、ステップを更に実行させ、
前記（ｃ）のステップにおいて、更に、前記（ｄ）のステップによって作成された、前記クエリ画像の被写体の色情報と、予め登録されている前記参照画像それぞれにおける被写体の色情報とを比較し、前記色情報の比較の結果と、前記第１の指標及び前記第２の指標の比較の結果とに基づいて、前記クエリ画像と前記参照画像との関係を判別する、
付記１１に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。
（付記１４）
前記（ｄ）のステップにおいて、前記色情報として、前記クエリ画像上の前記外縁の内側に相当する領域から、前記クエリ画像の被写体の色ヒストグラムを作成する、
付記１３に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。
（付記１５）
前記（ｄ）のステップにおいて、前記色情報として、前記クエリ画像上の前記外縁の内側に相当する領域から、前記クエリ画像の被写体の色コリログラムを作成する、
付記１３に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。
以上、実施の形態を参照して本願発明を説明したが、本願発明は上記実施の形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
この出願は、２０１５年７月３日に出願された日本出願特願２０１５−１３４２７４を基礎とする優先権を主張し、その開示の全てをここに取り込む。
以上のように、本発明によれば、画像検索において、処理速度の向上と、データベース構築にかかるコストの低減化とを図ることができる。本発明は、画像検索の分野に有用である。
１０ 画像判別装置
１１ 画像取得部
１２ 指標算出部
１３ 画像判別部
１４ 入力受付部
１５ 色情報作成部
１６ 出力部
１７ 局所特徴量算出部
２０ 検索システム
２１ 画像データベース
３０ 端末装置
１１０ コンピュータ
１１１ ＣＰＵ
１１２ メインメモリ
１１３ 記憶装置
１１４ 入力インターフェイス
１１５ 表示コントローラ
１１６ データリーダ／ライタ
１１７ 通信インターフェイス
１１８ 入力機器
１１９ ディスプレイ装置
１２０ 記録媒体
１２１ バス

Claims (15)

  1. クエリ画像と参照画像との関係を判別するための装置であって、
    前記クエリ画像中の被写体の外縁を明示するマスク画像を取得する、画像取得部と、
    前記マスク画像から、前記クエリ画像中の被写体について、その線形性を示す第１の指標、及びその対称性を示す第２の指標を算出する、指標算出部と、
    前記指標算出部によって算出された前記第１の指標及び前記第２の指標と、予め登録されている前記参照画像それぞれにおける被写体の前記第１の指標及び前記第２の指標とを比較し、比較の結果に基づいて、前記クエリ画像と前記参照画像との関係を判別する、画像判別部と、
    を備えている、ことを特徴とする画像判別装置。
  2. 前記画像取得部が、前記マスク画像として、前記外縁の外側に相当する外側領域と前記外縁の内側に相当する内側領域とがそれぞれ異なる単一の色で塗り潰された画像を取得し、
    前記指標算出部が、前記第１の指標として、前記マスク画像における前記内側領域の垂直方向の長さと水平方向の長さとの関係を示す係数を算出し、前記第２の指標として、前記マスク画像における前記内側領域の点対称の程度を表す係数を算出する、
    請求項１に記載の画像判別装置。
  3. 前記クエリ画像上の前記外縁の内側に相当する領域を対象として、前記クエリ画像の被写体の色を特定する色情報を作成する、色情報作成部を更に備え、
    前記画像判別部は、更に、前記色情報作成部によって作成された、前記クエリ画像の被写体の色情報と、予め登録されている前記参照画像それぞれにおける被写体の色情報とを比較し、前記色情報の比較の結果と、前記第１の指標及び前記第２の指標の比較の結果とに基づいて、前記クエリ画像と前記参照画像との関係を判別する、
    請求項１または２に記載の画像判別装置。
  4. 前記色情報作成部が、前記色情報として、前記クエリ画像上の前記外縁の内側に相当する領域から、前記クエリ画像の被写体の色ヒストグラムを作成する、
    請求項３に記載の画像判別装置。
  5. 前記色情報作成部が、前記色情報として、前記クエリ画像上の前記外縁の内側に相当する領域から、前記クエリ画像の被写体の色コリログラムを作成する、
    請求項３に記載の画像判別装置。
  6. クエリ画像と参照画像との関係を判別するための方法であって、
    （ａ）前記クエリ画像中の被写体の外縁を明示するマスク画像を取得する、ステップと、
    （ｂ）前記マスク画像から、前記クエリ画像中の被写体について、その線形性を示す第１の指標、及びその対称性を示す第２の指標を算出する、ステップと、
    （ｃ）前記（ｂ）のステップによって算出された前記第１の指標及び前記第２の指標と、予め登録されている前記参照画像それぞれにおける被写体の前記第１の指標及び前記第２の指標とを比較し、比較の結果に基づいて、前記クエリ画像と前記参照画像との関係を判別する、ステップと、
    を有する、ことを特徴とする画像判別方法。
  7. 前記（ａ）のステップにおいて、前記マスク画像として、前記外縁の外側に相当する外側領域と前記外縁の内側に相当する内側領域とがそれぞれ異なる単一の色で塗り潰された画像を取得し、
    前記（ｂ）のステップにおいて、前記第１の指標として、前記マスク画像における前記内側領域の垂直方向の長さと水平方向の長さとの関係を示す係数を算出し、前記第２の指標として、前記マスク画像における前記内側領域の点対称の程度を表す係数を算出する、
    請求項６に記載の画像判別方法。
  8. （ｄ）前記クエリ画像上の前記外縁の内側に相当する領域を対象として、前記クエリ画像の被写体の色を特定する色情報を作成する、ステップを更に有し、
    前記（ｃ）のステップにおいて、更に、前記（ｄ）のステップによって作成された、前記クエリ画像の被写体の色情報と、予め登録されている前記参照画像それぞれにおける被写体の色情報とを比較し、前記色情報の比較の結果と、前記第１の指標及び前記第２の指標の比較の結果とに基づいて、前記クエリ画像と前記参照画像との関係を判別する、
    請求項６または７に記載の画像判別方法。
  9. 前記（ｄ）のステップにおいて、前記色情報として、前記クエリ画像上の前記外縁の内側に相当する領域から、前記クエリ画像の被写体の色ヒストグラムを作成する、
    請求項８に記載の画像判別方法。
  10. 前記（ｄ）のステップにおいて、前記色情報として、前記クエリ画像上の前記外縁の内側に相当する領域から、前記クエリ画像の被写体の色コリログラムを作成する、
    請求項８に記載の画像判別方法。
  11. コンピュータによって、クエリ画像と参照画像との関係を判別するためのプログラムを記録した記録媒体であって、
    前記コンピュータに、
    （ａ）前記クエリ画像中の被写体の外縁を明示するマスク画像を取得する、ステップと、
    （ｂ）前記マスク画像から、前記クエリ画像中の被写体について、その線形性を示す第１の指標、及びその対称性を示す第２の指標を算出する、ステップと、
    （ｃ）前記（ｂ）のステップによって算出された前記第１の指標及び前記第２の指標と、予め登録されている前記参照画像それぞれにおける被写体の前記第１の指標及び前記第２の指標とを比較し、比較の結果に基づいて、前記クエリ画像と前記参照画像との関係を判別する、ステップと、
    を実行させる命令を含む、プログラムを記録したコンピュータ読み取り可能な記録媒体。
  12. 前記（ａ）のステップにおいて、前記マスク画像として、前記外縁の外側に相当する外側領域と前記外縁の内側に相当する内側領域とがそれぞれ異なる単一の色で塗り潰された画像を取得し、
    前記（ｂ）のステップにおいて、前記第１の指標として、前記マスク画像における前記内側領域の垂直方向の長さと水平方向の長さとの関係を示す係数を算出し、前記第２の指標として、前記マスク画像における前記内側領域の点対称の程度を表す係数を算出する、
    請求項１１に記載のコンピュータ読み取り可能な記録媒体。
  13. 前記コンピュータに、
    （ｄ）前記クエリ画像上の前記外縁の内側に相当する領域を対象として、前記クエリ画像の被写体の色を特定する色情報を作成する、ステップを更に実行させ、
    前記（ｃ）のステップにおいて、更に、前記（ｄ）のステップによって作成された、前記クエリ画像の被写体の色情報と、予め登録されている前記参照画像それぞれにおける被写体の色情報とを比較し、前記色情報の比較の結果と、前記第１の指標及び前記第２の指標の比較の結果とに基づいて、前記クエリ画像と前記参照画像との関係を判別する、
    請求項１１または１２に記載のコンピュータ読み取り可能な記録媒体。
  14. 前記（ｄ）のステップにおいて、前記色情報として、前記クエリ画像上の前記外縁の内側に相当する領域から、前記クエリ画像の被写体の色ヒストグラムを作成する、
    請求項１３に記載のコンピュータ読み取り可能な記録媒体。
  15. 前記（ｄ）のステップにおいて、前記色情報として、前記クエリ画像上の前記外縁の内側に相当する領域から、前記クエリ画像の被写体の色コリログラムを作成する、
    請求項１３に記載のコンピュータ読み取り可能な記録媒体。
JP2017527120A 2015-07-03 2016-05-30 画像判別装置、画像判別方法、及びプログラム Active JP6478301B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015134274 2015-07-03
JP2015134274 2015-07-03
PCT/JP2016/065934 WO2017006648A1 (ja) 2015-07-03 2016-05-30 画像判別装置、画像判別方法、及びコンピュータ読み取り可能な記録媒体

Publications (2)

Publication Number Publication Date
JPWO2017006648A1 true JPWO2017006648A1 (ja) 2018-04-05
JP6478301B2 JP6478301B2 (ja) 2019-03-06

Family

ID=57685360

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017527120A Active JP6478301B2 (ja) 2015-07-03 2016-05-30 画像判別装置、画像判別方法、及びプログラム

Country Status (2)

Country Link
JP (1) JP6478301B2 (ja)
WO (1) WO2017006648A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113536019A (zh) 2017-09-27 2021-10-22 深圳市商汤科技有限公司 一种图像检索方法、装置及计算机可读存储介质
JP7412575B2 (ja) * 2020-08-26 2024-01-12 株式会社Ｎｔｔドコモ 情報処理装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0528273A (ja) * 1991-05-13 1993-02-05 Nikon Corp 画像処理方法および装置
JPH08320930A (ja) * 1995-05-24 1996-12-03 Toshiba Corp テクスチャ解析処理装置
JP2001092835A (ja) * 1999-09-21 2001-04-06 Minolta Co Ltd 画像記録再生装置及び画像記録再生システム
JP2009080522A (ja) * 2007-09-25 2009-04-16 Mitsubishi Electric Corp 物体画像認識装置
JP2014016968A (ja) * 2012-07-11 2014-01-30 Toshiba Corp 人物検索装置及びデータ収集装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0528273A (ja) * 1991-05-13 1993-02-05 Nikon Corp 画像処理方法および装置
JPH08320930A (ja) * 1995-05-24 1996-12-03 Toshiba Corp テクスチャ解析処理装置
JP2001092835A (ja) * 1999-09-21 2001-04-06 Minolta Co Ltd 画像記録再生装置及び画像記録再生システム
JP2009080522A (ja) * 2007-09-25 2009-04-16 Mitsubishi Electric Corp 物体画像認識装置
JP2014016968A (ja) * 2012-07-11 2014-01-30 Toshiba Corp 人物検索装置及びデータ収集装置

Also Published As

Publication number Publication date
WO2017006648A1 (ja) 2017-01-12
JP6478301B2 (ja) 2019-03-06

Similar Documents

Publication Publication Date Title
CN108140032B (zh) 用于自动视频概括的设备和方法
Ju et al. Depth-aware salient object detection using anisotropic center-surround difference
JP5782404B2 (ja) 画質評価
JP6458394B2 (ja) 対象追跡方法及び対象追跡装置
JP5229744B2 (ja) 画像分類装置および画像分類プログラム
Gygli et al. The interestingness of images
JP5621897B2 (ja) 処理方法、コンピュータプログラム及び処理装置
JP6267224B2 (ja) 最良の写真を検出及び選択する方法及びシステム
CN110413816B (zh) 彩色草图图像搜索
US20140254934A1 (en) Method and system for mobile visual search using metadata and segmentation
US20080025647A1 (en) Image management methods, image management systems, and articles of manufacture
US20120269425A1 (en) Predicting the aesthetic value of an image
US20110064301A1 (en) Textual attribute-based image categorization and search
US10032091B2 (en) Spatial organization of images based on emotion face clouds
US9025889B2 (en) Method, apparatus and computer program product for providing pattern detection with unknown noise levels
CN111008935B (zh) 一种人脸图像增强方法、装置、系统及存储介质
JP4772819B2 (ja) 画像検索装置および画像検索方法
JP2010531010A (ja) 画像と形状記述子とのマッチング
JP6365024B2 (ja) サービス提供装置、方法、及びプログラム
CN111598149B (zh) 一种基于注意力机制的回环检测方法
JP6478301B2 (ja) 画像判別装置、画像判別方法、及びプログラム
JP2021086438A (ja) 画像検索装置、画像検索方法、及びプログラム
JP6546385B2 (ja) 画像処理装置及びその制御方法、プログラム
JP2013008142A (ja) 画像処理装置、画像処理方法及び画像処理プログラム
JP6778625B2 (ja) 画像検索システム、画像検索方法及び画像検索プログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171220

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20171220

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190108

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190131

R150 Certificate of patent or registration of utility model

Ref document number: 6478301

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150