JPWO2017109946A1 - 形状弁別装置、形状弁別方法及び形状弁別プログラム - Google Patents

形状弁別装置、形状弁別方法及び形状弁別プログラム Download PDF

Info

Publication number
JPWO2017109946A1
JPWO2017109946A1 JP2017523561A JP2017523561A JPWO2017109946A1 JP WO2017109946 A1 JPWO2017109946 A1 JP WO2017109946A1 JP 2017523561 A JP2017523561 A JP 2017523561A JP 2017523561 A JP2017523561 A JP 2017523561A JP WO2017109946 A1 JPWO2017109946 A1 JP WO2017109946A1
Authority
JP
Japan
Prior art keywords
distance
approximate curve
shape
partial
contour line
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017523561A
Other languages
English (en)
Other versions
JP6204634B1 (ja
Inventor
永男 蔡
永男 蔡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Rakuten Group Inc
Original Assignee
Rakuten Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Rakuten Inc filed Critical Rakuten Inc
Application granted granted Critical
Publication of JP6204634B1 publication Critical patent/JP6204634B1/ja
Publication of JPWO2017109946A1 publication Critical patent/JPWO2017109946A1/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • G06T7/564Depth or shape recovery from multiple images from contours
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • G06T7/64Analysis of geometric attributes of convexity or concavity
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • G06T2207/30124Fabrics; Textile; Paper

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

形状弁別装置は、輪郭線の近似曲線を算出する近似曲線算出手段であって、前記輪郭線は、画像に表された物体の輪郭の一部を表す有限の長さの線であり、前記近似曲線は、前記輪郭線に近似する線であって前記輪郭線を構成する座標に基づいて算出される、近似曲線算出手段と、前記輪郭線の第1及び第2の端部のそれぞれと対応する前記近似曲線の第1及び第2の端部との間の距離である第1の距離及び第2の距離を算出する距離算出手段と、前記輪郭線の中央部と前記近似曲線との一致の度合いである中央一致度を算出する一致度算出手段と、前記第1の距離、前記第2の距離及び前記中央一致度に基づいて、前記物体または前記物体の一部の形状を特定する特定手段と、前記特定手段により特定された物体または物体の一部の形状に関する情報を出力する出力手段と、を備える。

Description

本発明は、形状弁別装置、形状弁別方法及び形状弁別プログラムに関する。
洋服等の商品が表された画像が蓄積されているデータベースから、類似する洋服の画像を検索するシステムが知られている。例えば、特許文献1に記載されたシステムでは、入力された画像全体から特徴情報を抽出し、この特徴情報の類似度が高い画像を類似画像として検索する。
国際公開第2011/078174号
しかしながら、例えば、洋服に例示されるように、全体としては類似していても、ネックラインのような一部の形状が異なる場合に、その形状が類似する画像を抽出することは困難であった。
そこで本発明は、画像に表された物体または物体の一部の形状を適切に推定することを目的とする。
上記課題を解決するために、本発明の一形態に係る形状弁別装置は、輪郭線の近似曲線を算出する近似曲線算出手段であって、輪郭線は、画像に表された物体の輪郭の一部を表す有限の長さの線であり、近似曲線は、輪郭線に近似する線であって輪郭線を構成する座標に基づいて算出される、近似曲線算出手段と、輪郭線の第1及び第2の端部のそれぞれと対応する近似曲線の第1及び第2の端部との間の距離である第1の距離及び第2の距離を算出する距離算出手段と、輪郭線の中央部と近似曲線との一致の度合いである中央一致度を算出する一致度算出手段と、第1の距離、第2の距離及び中央一致度に基づいて、物体または物体の一部の形状を特定する特定手段と、特定手段により特定された物体または物体の一部の形状に関する情報を出力する出力手段と、を備える。
本発明の一形態に係る形状弁別方法は、形状弁別装置における形状弁別方法であって、輪郭線の近似曲線を算出する近似曲線算出ステップであって、輪郭線は、画像に表された物体の輪郭の一部を表す有限の長さの線であり、近似曲線は、輪郭線に近似する線であって輪郭線を構成する座標に基づいて算出される、近似曲線算出ステップと、輪郭線の第1及び第2の端部のそれぞれと対応する近似曲線の第1及び第2の端部との間の距離である第1の距離及び第2の距離を算出する距離算出ステップと、輪郭線の中央部と近似曲線との一致の度合いである中央一致度を算出する一致度算出ステップと、第1の距離、第2の距離及び中央一致度に基づいて、物体または物体の一部の形状を特定する特定ステップと、特定ステップにおいて特定された物体または物体の一部の形状に関する情報を出力する出力ステップと、を有する。
本発明の一形態に係る形状弁別プログラムは、コンピュータを、輪郭線の近似曲線を算出する近似曲線算出手段であって、輪郭線は、画像に表された物体の輪郭の一部を表す有限の長さの線であり、近似曲線は、輪郭線に近似する線であって輪郭線を構成する座標に基づいて算出される、近似曲線算出手段、輪郭線の第1及び第2の端部のそれぞれと対応する近似曲線の第1及び第2の端部との間の距離である第1の距離及び第2の距離を算出する距離算出手段、輪郭線の中央部と近似曲線との一致の度合いである中央一致度を算出する一致度算出手段、第1の距離、第2の距離及び中央一致度に基づいて、物体または物体の一部の形状を特定する特定手段、及び、特定手段により特定された物体または物体の一部の形状に関する情報を出力する出力手段、として機能させる。
上記の形態によれば、画像に表された物体の輪郭の一部を示す輪郭線に近似された近似曲線が算出され、近似曲線及び輪郭線のそれぞれの対応する端部間の距離である第1及び第2の距離、並びに輪郭線の中央部と近似曲線との一致の度合いである中央一致度が算出される。第1及び第2の距離並びに中央一致度には、物体の一部の形状の特徴が反映される。そして、第1及び第2の距離並びに中央一致度に基づいて物体等の形状が特定されるので、物体等の形状を適切に推定することが可能となる。
さらに別の形態に係る形状弁別装置では、輪郭線の第1の端部と第2の端部との間の距離である端部間距離に対する、第1の端部と第2の端部とを結ぶ線と近似曲線上の点との距離のうち最も長い距離により示される深度の割合であるアスペクトを算出するアスペクト算出手段を更に備え、特定手段は、第1の距離、第2の距離、中央一致度及びアスペクトに基づいて、物体または物体の一部の形状を特定することとしてもよい。
上記形態によれば、物体の一部の形状が反映されたアスペクトが算出され、第1及び第2の距離並びに中央一致度に加えてアスペクトに基づいて物体または物体の一部の形状が特定されるので、アスペクトに特徴が現れるような物体等の形状を適切に推定することが可能となる。
さらに別の形態に係る形状弁別装置では、近似曲線算出手段は、輪郭線上の点のうち輪郭線の第1の端部と第2の端部とを結ぶ線との距離が最も遠い点である最深点を境界として輪郭線を分割した第1の部分輪郭線及び第2の部分輪郭線のそれぞれの近似曲線である、第1の部分近似曲線及び第2の部分近似曲線を算出し、特定手段は、第1の部分近似曲線及び第2の部分近似曲線の傾きを更に用いて、物体または物体の一部の形状を特定することとしてもよい。
上記形態によれば、第1の部分近似曲線及び第2の部分近似曲線が算出され、それらの傾きに基づいて物体の一部の形状が特定されるので、輪郭線における最深点を境界として分割された2つの部分輪郭線の傾きに特徴が現れるような物体等の形状を適切に推定することが可能となる。
さらに別の形態に係る形状弁別装置では、近似曲線算出手段は、輪郭線における近似曲線との一定以上の一致度合いを有する部分の両端部のそれぞれを境界として輪郭線を分割した第3の部分輪郭線、第4の部分輪郭線及び第5の部分輪郭線のそれぞれの近似曲線である、第3の部分近似曲線、第4の部分近似曲線及び第5の部分近似曲線を算出し、特定手段は、第3の部分近似曲線、第4の部分近似曲線及び第5の部分近似曲線のそれぞれと、第3の部分輪郭線、第4の部分輪郭線及び第5の部分輪郭線との一致度合いを更に用いて、物体または物体の一部の形状を特定することとしてもよい。
上記形態によれば、第3の部分近似曲線、第4の部分近似曲線及び第5の部分近似曲線が算出され、それぞれ対応する部分輪郭線との一致度合いに基づいて物体または物体の一部の形状が特定されるので、3つの部分輪郭線に特徴が現れるような物体等の形状を適切に推定することが可能となる。
さらに別の形態に係る形状弁別装置では、近似曲線算出手段は、輪郭線上の任意の3点に基づいて2次曲線を複数算出し、算出した複数の2次曲線のうち、輪郭線との一致度が最も高い2次曲線を近似曲線として算出することとしてもよい。
上記形態によれば、輪郭線上の3点に基づいて算出された複数の2次曲線のうち、当該輪郭線との一致度が最も高い2次曲線が近似曲線として算出される。これにより、画像から抽出された輪郭線にノイズが含まれる場合であっても、ノイズを含んで算出された2次曲線は近似曲線として採用されないので、物体の一部の形状により精度よく近似された近似曲線を算出することが可能となる。
さらに別の形態に係る形状弁別装置では、物体の一部の形状は、衣服のネックラインの形状であることとしてもよい。
上記形態によれば、衣服の一部の形状であるネックラインの形状を適切に弁別することができる。
さらに別の形態に係る形状弁別装置では、特定手段は、第1の距離及び第2の距離が共に所定値未満であり、且つ、中央一致度が所定の度合い以上である場合に、物体または物体の一部の形状が第1の形状であることを特定することとしてもよい。
上記形態によれば、物体または物体の一部の形状が、第1及び第2の距離並びに中央一致度に特徴を有する第1の形状であることを適切に弁別できる。
さらに別の形態に係る形状弁別装置では、特定手段は、第1の距離及び第2の距離が共に所定値以上であり、且つ、アスペクトが所定値未満である場合に、物体または物体の一部の形状が第1の形状であることを特定することとしてもよい。
上記形態によれば、物体または物体の一部の形状が、第1及び第2の距離並びにアスペクトに特徴を有する第1の形状であることを適切に弁別できる。
さらに別の形態に係る形状弁別装置では、特定手段は、第1の距離及び第2の距離が共に所定値未満であり、中央一致度が所定の度合い未満であり、第1の部分近似曲線の傾きと第2の部分近似曲線の傾きとが所定の程度以上一致している場合に、物体または物体の一部の形状が第2の形状であることを特定し、第1の距離及び第2の距離の一方が所定値未満であり、他方が所定値以上であり、中央一致度が所定の度合い未満であり、第1の部分近似曲線の傾きと第2の部分近似曲線の傾きとが所定の程度以上一致している場合に、物体の一部の形状が第2の形状であることを特定し、第1の距離及び第2の距離の一方が所定値未満であり、他方が所定値以上であり、中央一致度が所定の度合い未満であり、第1の部分近似曲線の傾きと第2の部分近似曲線の傾きとが所定の程度以上一致していない場合に、物体または物体の一部の形状が第3の形状であることを特定することとしてもよい。
上記形態によれば、第1及び第2の距離、中央一致度及び第1の部分近似曲線の傾きと第2の部分近似曲線の傾きとの一致度に基づいて、物体または物体の一部の形状が、第2の形状または第3の形状を有することを適切に特定できる。
さらに別の形態に係る形状弁別装置では、特定手段は、第1の距離及び第2の距離の一方が所定値未満であり、他方が所定値以上であり、中央一致度が所定の度合い以上であり、第3の部分近似曲線、第4の部分近似曲線及び第5の部分近似曲線のそれぞれと、第3の部分輪郭線、第4の部分輪郭線及び第5の部分輪郭線との一致度合いが所定の度合い以上である場合、又は、第1の距離及び第2の距離が共に所定値以上であり、輪郭線の第1の端部と第2の端部との間の距離である端部間距離に対する、第1の端部と第2の端部とを結ぶ線と近似曲線上の点との距離のうち最も長い距離により示される深度の割合であるアスペクトが所定値以上であり、第3の部分近似曲線、第4の部分近似曲線及び第5の部分近似曲線のそれぞれと、第3の部分輪郭線、第4の部分輪郭線及び第5の部分輪郭線との一致度合いが所定の度合い以上である場合に、物体または物体の一部の形状が第4の形状であることを特定することとしてもよい。
上記形態によれば、物体または物体の一部の形状が、第1及び第2の距離のうち一方が所定値未満であり他方が所定値以上であり、中央一致度が所定の度合い以上であるような特徴を有する第4の形状であることを適切に特定できる。また、物体または物体の一部の形状が、第1及び第2の距離が共に所定値以上であり、アスペクトが所定値以上であるような特徴を有する第4の形状であることを適切に特定できる。さらに、また、第3の部分近似曲線、第4の部分近似曲線及び第5の部分近似曲線のそれぞれと、第3の部分輪郭線、第4の部分輪郭線及び第5の部分輪郭線との一致度合いが所定の度合い以上であることをもって、物体または物体の一部の形状が第4の形状であることが特定されるので、精度よく形状を特定することが可能となる。
本発明の一側面によれば、画像に表された物体または物体の一部の形状を適切に推定することが可能となる。
形状弁別装置の機能構成を示すブロック図である。 形状弁別装置のハードウェア構成を示す図である。 衣服画像から、ネックラインが表された部分の2値化画像を取得する処理を示す図である。 部分2値化画像から、衣服の肩の部分を検出する処理を示す図である。 画像に表された衣服の肩部を特定する処理を示す図である。 衣服画像の傾きを補正する処理を説明する図である。 輪郭線及び近似曲線の算出の例を示す図である。 第1及び第2の距離の算出について説明する図である。 中央一致度の算出について説明する図である。 アスペクトの算出について説明する図である。 コンセンサスの算出を説明する図である。 画像表示装置において実施される形状弁別方法の処理内容を示すフローチャートである。 図12のフローチャートのステップS5の特定処理の内容を表すフローチャートである。 形状の弁別の対象である衣服画像の例である。 形状の弁別の対象である衣服画像の例である。 形状の弁別の対象である衣服画像の例である。 形状の弁別の対象である衣服画像の例である。 形状の弁別の対象である衣服画像の例である。 形状の弁別の対象である衣服画像の例である。 形状弁別プログラムの構成を示す図である。
以下、添付図面を参照しながら本発明の実施形態を詳細に説明する。なお、図面の説明において同一又は同等の要素には同一の符号を付し、重複する説明を省略する。
図1は、本実施形態に係る形状弁別装置1の機能的構成を示すブロック図である。形状弁別装置1は、画像に表された物体の一部の形状を弁別する装置である。図1に示すように、形状弁別装置1は、画像記憶部3にアクセス可能である。なお、画像記憶部3は、形状弁別装置1内に構成されてもよい。
形状弁別装置1は、例えば、ネットワークを介して販売する商品のユーザからの注文を受け付ける電子商取引サイトの一部として構成される装置であって、販売される衣服等の商品の形状を弁別する。本実施形態の形状弁別装置1は、衣服の形状を弁別する装置である。
図1に示すように、形状弁別装置1は、機能的には、輪郭線抽出部11、近似曲線算出部12(近似曲線算出手段)、距離算出部13(距離算出手段)、一致度算出部14(一致度算出手段)、アスペクト算出部15(アスペクト算出手段)、特定部16(手段)及び出力部17(出力手段)、を備える。
図2は、形状弁別装置1のハードウェア構成図である。形状弁別装置1は、物理的には、図2に示すように、CPU101、RAM及びROMといったメモリにより構成される主記憶装置102、ハードディスク等で構成される補助記憶装置103、ネットワークカード等で構成される通信制御装置104などを含むコンピュータシステムとして構成されている。形状弁別装置1は、入力デバイスであるキーボード、マウス等の入力装置105及びディスプレイ等の出力装置106をさらに含むこととしてもよい。
図1に示した各機能は、図2に示すCPU101、主記憶装置102等のハードウェア上に所定のコンピュータソフトウェアを読み込ませることにより、CPU101の制御のもとで通信制御装置104等を動作させるとともに、主記憶装置102や補助記憶装置103におけるデータの読み出し及び書き込みを行うことで実現される。処理に必要なデータやデータベースは主記憶装置102や補助記憶装置103内に格納される。
再び図2を参照して、形状弁別装置1の各機能部の説明に先だって、画像記憶部3を説明する。
上述のとおり、形状弁別装置1が衣服の形状を弁別する装置として構成される場合には、画像記憶部3は、衣服が表された画像を複数記憶している。本実施形態では、特に、形状弁別装置1は、衣服のネックラインの形状を弁別する。
再び図2を参照して、形状弁別装置1の各機能部について説明する。輪郭線抽出部11は、衣服が表された画像から、輪郭線を抽出する。輪郭線は、画像に表された物体の輪郭の一部を表す有限の長さの線である。本実施形態では、輪郭線は、画像に表された衣服のネックラインの輪郭を表す。
図3〜図6を参照して、衣服画像から輪郭線を抽出する一連の処理を説明する。図3は、衣服画像から、ネックラインが表された部分の2値化画像を取得する処理を示す図である。まず、輪郭線抽出部11は、処理対象の衣服画像A11を画像記憶部3から取得する。衣服画像A11には、シャツの画像が表されている。続いて、輪郭線抽出部11は、衣服画像A11に対して2値化処理を行い、2値化画像A12を生成する。2値化画像A12では、シャツが表された部分が白色で表され、背景が黒色で表されている。そして、輪郭線抽出部11は、2値化画像A12から、ネックラインが示された部分を含む部分2値化画像A13を抽出する。具体的には、輪郭線抽出部11は、例えば、2値化画像A12における衣服が表された部分のうちの上方の3分の1を含む一定の領域を抽出して、部分2値化画像A13を生成する。
図4は、部分2値化画像A13から、衣服の肩の部分を検出する処理を示す図である。まず、輪郭線抽出部11は、部分2値化画像A13を、図示横方向に分割する。輪郭線抽出部11は、部分2値化画像A13を分割して、縦方向の長さが例えば10ピクセルの分割画像L〜Lを生成する。
続いて、輪郭線抽出部11は、各分割画像を、縦方向10ピクセルに亘る全ての画素が白色である部分を白色画素として、それ以外の部分を黒色画素として、縦方向の長さが1ピクセルのデータに圧縮する。具体的には、輪郭線抽出部11は、分割画像LA1には白色部分WPが含まれるので、この白色部分WPに相当する部分を白色画素として、それ以外の部分を黒色画素とした、縦方向の長さが1ピクセルの圧縮分割画像LA2を生成する。また、輪郭線抽出部11は、分割画像LB1には白色部分WPB1,WPB2が含まれるので、これらの白色部分WPB1,WPB2に相当する部分を白色画素として、それ以外の部分を黒色画素とした、縦方向の長さが1ピクセルの圧縮分割画像LB2を生成する。
次に、輪郭線抽出部11は、分割画像L〜Lから生成された圧縮分割画像を上方から順に調べて、1箇所の白色部分WPを含む圧縮分割画像LA2を抽出する。続いて、輪郭線抽出部11は、さらに下方の分割画像を順に調べ、白色部分WPを2箇所含む圧縮分割画像LB2を抽出する。
そして、輪郭線抽出部11は、部分2値化画像A13における圧縮分割画像LA2に対応する位置を、肩部分の一方が表された位置として特定する。また、輪郭線抽出部11は、部分2値化画像A13における圧縮分割画像LB2に対応する位置を、肩部分の他方が表された位置として特定する。そして、輪郭線抽出部11は、特定した肩部分の位置に基づいて、部分2値化画像A13における肩部分S,Sを特定する。
図5〜図6は、画像に表された衣服の両肩部分を結ぶ線の傾きを取得し、衣服画像の傾きを補正する処理を説明する図である。図5は、肩部をより精密に特定する処理を示す図である。輪郭線抽出部11は、画像A31において、図4において説明した処理により特定された肩部分Sに基づいて、衣服が表された白色の部分と衣服が表されていない黒色の部分との境界を図示上方向にトレースし、その境界のうち最も上方の点を肩部分Hとして特定する。
また、輪郭線抽出部11は、肩部分Hから図示水平方向(X方向)に延ばした線と、白色部分及び黒色部分の境界との交点HABを特定し、白色部分と黒色部分との境界を交点HABから肩部分Hと反対の方向にトレースし、画像A32に示すように、境界のうち最も上方の点(Y座標が最大となる点)を肩部分Hとして特定する。そして、衣服の両肩の部分を示す肩部分H及び肩部分Hを結ぶ線Hが定義される。なお、肩部分H及び肩部分Hは、輪郭線の一方の端部及び他方の端部となる。即ち、輪郭線は、肩部分H及び肩部分Hを両端部とする有限の長さの線である。
図6は、衣服画像の傾きを補正する処理を説明する図である。画像A41における線Hを延長した線HL1に示されるように、画像A41に示される衣服は、水平方向の線Hに対して傾いている。輪郭線抽出部11は、画像A41に示される衣服の画像を、線Hが水平方向の線HL1に沿うように、回転させ画像A42を得る。
図7は、輪郭線の抽出及び近似曲線の算出の例を示す図である。輪郭線抽出部11は、画像A51に示すように、肩部分H及び肩部分Hを両端とするネックラインの輪郭(白色部分及び黒色部分の境界線)を、輪郭線LO1として抽出する。
近似曲線算出部12は、輪郭線の近似曲線を算出する部分である。近似曲線算出部12は、輪郭線を構成する座標に基づいて近似曲線を算出する。以下に、近似曲線の算出処理を具体的に説明する。
まず、近似曲線算出部12は、輪郭線LO1上の任意の3点の座標を取得する。続いて、近似曲線算出部12は、取得した3点の座標に基づいて、最小二乗法により2次曲線を算出する。なお、近似曲線算出部12は、2次曲線の一方及び他方の端部のX座標が、輪郭線の一方及び他方の端部のX座標と等しくなるように、2次曲線を有限の線として算出する。そして、近似曲線算出部12は、算出した2次曲線について、当該2次曲線と輪郭線との一致度を示すコンセンサスを算出する。コンセンサスは、輪郭線を構成する全ての点のうち、2次曲線上に存在する点の割合である。
近似曲線算出部12は、輪郭線LO1上の任意の3点の抽出、及び、2次曲線及びコンセンサスの算出を繰り返し実施し、算出した2次曲線のうち最もコンセンサスが高い2次曲線を、輪郭線LO1の近似曲線LP1として算出する。近似曲線算出部12が算出する2次曲線の数は、予め設定された所定数であってもよいし、所定の処理時間内に算出できる2次曲線の数であってもよい。また、近似曲線算出部12は、輪郭線LO1上から選択しうる3点の全ての組み合わせについて2次曲線を算出することとしてもよい。
このように、輪郭線上の3点に基づいて算出された複数の2次曲線のうち、当該輪郭線との一致度が最も高い2次曲線が近似曲線として算出されるので、画像から抽出された輪郭線にノイズが含まれる場合であっても、ノイズを含んで算出された2次曲線は近似曲線として採用されないので、物体の一部の形状により精度よく近似された近似曲線を算出することが可能となる。
なお、近似曲線算出部12は、輪郭線を線上の1点で分割した2つの部分輪郭線に近似する2つの部分近似曲線を算出してもよい。また、近似曲線算出部12は、輪郭線を線上の2点で分割した3つの部分輪郭線に近似する3つの部分近似曲線を算出してもよい。これらの部分近似曲線の算出については後述する。
距離算出部13は、輪郭線の第1及び第2の端部のそれぞれと対応する近似曲線の第1及び第2の端部との間の距離である第1の距離及び第2の距離を算出する部分である。図8を参照して第1及び第2の距離の算出について説明する。図8に示すように、画像A61に表された衣服の画像において、輪郭線の第1の端部EOL1及び第2の端部EOR1、並びに近似曲線LP2が、輪郭線抽出部11及び近似曲線算出部12により算出されている。近似曲線LP2は、第1の端部EPL1及び第2の端部EPR1を有する。
距離算出部13は、第1の端部EOL1と第1の端部EPL1との距離を第1の距離Dとして算出し、第2の端部EOR1と第2の端部EPR1との距離を第2の距離Dとして算出する。なお、距離算出部13は、第1の端部EOL1と第1の端部EPL1との距離を深度DPで除して正規化した値を第1の距離Dとして算出し、第2の端部EOR1と第2の端部EPR1との距離を深度DPで除して正規化した値を第2の距離Dとして算出してもよい。深度DPは、輪郭線の第1の端部EOL1と第1の端部EPL1とを結ぶ線と近似曲線LP2上の点との距離のうち最も長い距離を示す。
一致度算出部14は、輪郭線の中央部と近似曲線との一致の度合いである中央一致度を算出する部分である。図9を参照して、中央一致度の算出について説明する。図9に示される衣服の画像では、輪郭線抽出部11により抽出された輪郭線の中央部CO1、近似曲線算出部12により算出された近似曲線LP3及び近似曲線LP3の中央部CP1が示されている。
一致度算出部14は、輪郭線の中央部CO1と、近似曲線LP3の中央部CP1との間の距離に基づいて、中央一致度を算出する。中央一致度の算出方法は、中央部CO1と中央部CP1との間の距離がゼロであるときに、最も一致の度合いが高いことを示すような指標値となるような方法であればよく、その方法は限定されない。
アスペクト算出部15は、輪郭線の両端部間の距離に対する深度の割合であるアスペクトを算出する部分である。深度は、輪郭線の両端部間を結ぶ線と近似曲線上の点との距離のうち最も長い距離である。図10を参照して、アスペクトの算出について説明する。図10に示される衣服の画像では、輪郭線抽出部11により算出されたネックラインの輪郭線及び近似曲線算出部12により算出された近似曲線LP4が示されている。
アスペクト算出部15は、輪郭線の第1の端部EOL4と第2の端部EOL4との間の距離である端部間距離WO4を算出する。次に、アスペクト算出部15は、第1の端部EOL4と第2の端部EOL4とを結ぶ線と、近似曲線LP4上の点との距離のうち最も長い距離を示す深度DP4を算出する。そして、アスペクト算出部15は、端部間距離WO4に対する深度DP4の割合をアスペクトとして算出する。
なお、本実施形態では、輪郭線の両端部間を結ぶ線と近似曲線上の点との距離のうち最も長い距離を深度としているが、輪郭線の両端部間を結ぶ線と輪郭線上の点との距離のうち最も長い距離を深度としてもよい。また、後述される特定部16による物体の形状の特定においてアスペクトを用いない場合があるので、アスペクト算出部15は、本実施形態の形状弁別装置1に必須の構成要素ではない。
特定部16は、距離算出部13により算出された第1の距離及び第2の距離、並びに前記一致度算出部14により算出された中央一致度に基づいて、物体または物体の一部の形状を特定する部分である。本実施形態では、特定部16は、衣服のネックラインの形状を特定する。
また、特定部16は、アスペクト算出部15により算出されたアスペクトを更に用いて、物体または物体の一部の形状を特定してもよい。形状の特定にアスペクトが用いられることにより、アスペクトに特徴が現れるような物体の一部の形状を適切に推定することが可能となる。なお、特定部16による物体または物体の一部の形状を特定する処理の詳細は後に図13等を参照して詳述する。
さらに、特定部16は、輪郭線抽出部11により抽出された輪郭線と近似曲線算出部12により算出された近似曲線との一致の度合いを示すコンセンサスを更に用いて、物体または物体の一部の形状を特定してもよい。図11を参照して、特定部16によるコンセンサスの算出を説明する。図11には、衣服の画像に基づいて近似曲線算出部12により算出された近似曲線LP5及び輪郭線上の点CO,CO,CO,・・・COが示されている。
特定部16は、全ての輪郭線上の点CO,CO,CO,・・・COのうち、近似曲線LP5上にある点の割合をコンセンサスとして算出する。即ち、特定部16は、(輪郭線上の点のうち近似曲線上にある点の数/輪郭線上の点の数)をコンセンサスとして算出する。
また、輪郭線を線上の1点で分割した2つの部分輪郭線に近似する2つの部分近似曲線である第1及び第2の部分近似曲線が近似曲線算出部12により算出された場合に、特定部16は、第1の部分近似曲線の傾きと第2の部分近似曲線の傾きとが所定の程度以上一致するか否かに基づいて、物体または物体の一部の形状を特定してもよい。これにより、輪郭線における最深点を境界として分割された2つの部分輪郭線の傾きに特徴が現れるような物体の一部の形状を適切に推定することが可能となる。第1及び第2の部分近似曲線の傾きに基づく特定については、後に図13等を参照して説明する。
出力部17は、特定部16により特定された物体または物体の一部の形状に関する情報を出力する。具体的には、出力部17は、画像に表された物体または物体の一部の形状に関する情報を、当該画像の属性として、画像に対応付けて所定の記憶手段(例えば画像記憶部3)に記憶させてもよい。また、出力部17は、画像に表された物体または物体の一部の形状に関する情報を、当該画像に対応付けてディスプレイに表示させるように制御してもよい。また、出力部17は、画像記憶部3に記憶された複数の画像を、画像に表された物体または物体の一部の形状に関する情報に基づいて分類する処理を実施してもよい。
次に、図12を参照して、本実施形態の形状弁別装置1の動作について説明する。図12は、形状弁別装置1において実施される形状弁別方法の処理内容を示すフローチャートである。
まず、輪郭線抽出部11は、物体が表された画像を取得する(S1)。具体的には、輪郭線抽出部11は、衣服が表された画像を画像記憶部3から取得する。次に、輪郭線抽出部11は、物体又は物体の一部の輪郭線を抽出する(S2)。本実施形態では、輪郭線抽出部11は、ステップS1において取得された画像に表された衣服のネックラインの輪郭を輪郭線として抽出する。
続いて、近似曲線算出部12は、ステップS2において抽出された輪郭線の近似曲線を、輪郭線を構成する座標に基づいて算出する(S3)。次に、距離算出部13は、輪郭線の第1及び第2の端部のそれぞれと対応する近似曲線の第1及び第2の端部との間の距離である第1の距離及び第2の距離を算出する(S4)。また、一致度算出部14は、輪郭線の中央部と近似曲線との一致の度合いである中央一致度を算出する(S4)。さらに、アスペクト算出部15は、輪郭線の両端部間の距離に対する深度の割合であるアスペクトを算出してもよい(S4)。
次に、特定部16は、ステップS4において算出された情報に基づいて、物体の一部の形状を特定する処理を実施する(S5)。本実施形態では、特定部16は、衣服のネックラインの形状を特定する。そして、出力部17は、ステップS5において特定された物体の一部の形状に関する情報を出力する(S6)。本実施形態では、出力部17は、衣服のネックラインの形状に関する情報を出力する。
次に、図13及び図14〜図19を参照して、図12のフローチャートのステップS5における物体の一部の形状の特定処理を具体的に説明する。図13は、図12のフローチャートのステップS5の特定処理の内容を表すフローチャートである。図14〜図19は、形状の弁別の対象である衣服画像の例である。
まず図14を参照しながら、図13のフローチャートの処理を説明する。図14は、第1の距離及び第2の距離が共に所定値未満であり、且つ、中央一致度が所定の度合い以上である場合に、特定部16が、物体の一部の形状が第1の形状であることを特定する例を示す図である。本実施形態では、かかる場合に、特定部16は、画像に表された衣服のネックラインの形状がラウンドネックであることを特定する。
図14に示す衣服画像では、輪郭線LO11及び近似曲線LP11が示され、更に、輪郭線LO11の第1及び第2の端部のそれぞれと対応する近似曲線LP11の第1及び第2の端部との間の距離である第1の距離D111及び第2の距離D211が示されている。
ステップS11において、特定部16は、第1の距離D111及び第2の距離D211が共に所定値未満であるか否かを判定する。第1の距離D111及び第2の距離D211が共に所定値未満であると判定された場合には処理はステップS12に進む。一方、第1の距離D111及び第2の距離D211が共に所定値未満であると判定なかった場合には処理はステップS14に進む。図14に示す例では、第1の距離D111及び第2の距離D211が共に所定値未満であるので、処理はステップS12に進む。
ステップS12において、特定部16は、輪郭線LO11の中央部CO11と、近似曲線LP11の中央部CP11との一致の度合いである中央一致度が所定の度合い以上であるか否かを判定する。中央一致度が所定の度合い以上であると判定された場合には、処理はステップS13に進む。一方、中央一致度が所定の度合い以上であると判定されなかった場合には、処理はステップS18に進む。図14に示す例では、中央部CO11と中央部CP11とはほぼ一致しており、中央一致度は所定の度合い以上であるので、処理はステップS13に進む。
ステップS13において、特定部16は、近似曲線LP11の輪郭線LO11に対する一致度であるコンセンサスが所定の度合い以上であるか否かを判定する。コンセンサスが所定の度合い以上であると判定された場合には、画像に表された衣服のネックラインの形状がラウンドネックであることを特定する。一方、コンセンサスが所定の度合い以上であると判定されなかった場合には、画像に表された衣服のネックラインの形状が未知の形状であって分類不可であると判定される。図14に示す例では、近似曲線LP11の輪郭線LO11に対するコンセンサスは所定の度合い以上であるので、特定部16は、図14に示す衣服のネックラインの形状がラウンドネックであることを特定する。
次に、図15を参照しながら、図13のフローチャートの処理を説明する。図15は、第1の距離及び第2の距離が共に所定値以上であり、且つ、アスペクトが所定値未満である場合に、特定部16が、物体の一部の形状が第1の形状であることを特定する例を示す図である。本実施形態では、かかる場合に、特定部16は、画像に表された衣服のネックラインの形状がラウンドネックであることを特定する。
図15に示す衣服画像では、輪郭線LO12及び近似曲線LP12、並びに、輪郭線LO12の第1及び第2の端部のそれぞれと対応する近似曲線LP12の第1及び第2の端部との間の距離である第1の距離D112及び第2の距離D212が示されている。さらに、輪郭線LO12の第1の端部と第2の端部との間の距離である端部間距離WO12、及び、輪郭線LO12の第1の端部と第2の端部とを結ぶ線と近似曲線LP12上の点との距離のうち最も長い距離である深度DP12が示されている。
ステップS11において、特定部16は、第1の距離D112及び第2の距離D212が共に所定値未満であるか否かを判定する。図15に示す例では、第1の距離D112及び第2の距離D212が共に所定値未満ではないので、処理はステップS14に進む。
ステップS14において、特定部16は、第1の距離D112及び第2の距離D212が共に所定値以上であるか否かを判定する。第1の距離D112及び第2の距離D212が共に所定値以上であると判定された場合には処理はステップS15に進む。一方、第1の距離D112及び第2の距離D212が共に所定値以上であると判定されなかった場合には処理はステップS16に進む。図15に示す例では、第1の距離D111及び第2の距離D211が共に所定値以上であるので、処理はステップS15に進む。
ステップS15において、特定部16は、端部間距離に対する深度の割合であるアスペクトが所定値未満であるか否かを判定する。アスペクトが所定値未満であると判定された場合に処理はステップS13に進む。一方、アスペクトが所定値未満であると判定されなかった場合に処理はステップS17に進む。図15に示す例では、端部間距離WO12に対する深度DP12の割合として算出されるアスペクトが所定値未満であるので、処理はステップS13に進む。
ステップS13において、特定部16は、近似曲線LP12の輪郭線LO12に対する一致度であるコンセンサスが所定の度合い以上であるか否かを判定する。図15に示す例では、近似曲線LP12の輪郭線LO12に対するコンセンサスは所定の度合い以上であるので、特定部16は、図15に示す衣服のネックラインの形状がラウンドネックであることを特定する。
次に、図16を参照しながら、図13のフローチャートの処理を説明する。図16は、第1の距離及び第2の距離が共に所定値未満であり、中央一致度が所定の度合い未満であり、第1の部分近似曲線の傾きと第2の部分近似曲線の傾きとが所定の程度以上一致している場合に、特定部16が、物体の一部の形状が第2の形状であることを特定する例を示す図である。本実施形態では、かかる場合に、特定部16は、画像に表された衣服のネックラインの形状がVネックであることを特定する。
図16に示す衣服画像では、輪郭線LO13及び近似曲線LP13、並びに、輪郭線LO13の第1及び第2の端部のそれぞれと対応する近似曲線LP13の第1及び第2の端部との間の距離である第1の距離D113及び第2の距離D213が示されている。また、輪郭線LO13上の点のうち輪郭線LO13の第1の端部と第2の端部とを結ぶ線との距離が最も遠い点である最深点を境界として輪郭線LO13を分割した第1の部分輪郭線LOA13及び第2の部分輪郭線LOB13が示されている。さらに、第1の部分輪郭線LOA14及び第2の部分輪郭線LOB14のそれぞれの近似曲線である第1の部分近似曲線LPA13及び第2の部分近似曲線LPB13が示されている。
ステップS11において、特定部16は、第1の距離D113及び第2の距離D213が共に所定値未満であるか否かを判定する。図16に示す例では、第1の距離D113及び第2の距離D213が共に所定値未満であるので、処理はステップS12に進む。
ステップS12において、特定部16は、輪郭線LO13の中央部CO13と、近似曲線LP13の中央部CP13との一致の度合いである中央一致度が所定の度合い以上であるか否かを判定する。図16に示す例では、中央部CO13と中央部CP13とは一致しておらず、中央一致度は所定の度合い以上ではないので、処理はステップS18に進む。
ステップS18において、特定部16は、第1の部分近似曲線LPA13の傾きと第2の部分近似曲線LPB13の傾きとが所定の程度以上一致しているか否かを判定する。
近似曲線算出部12は、輪郭線LO13上の点のうち輪郭線LO13の第1の端部と第2の端部とを結ぶ線との距離が最も遠い点である最深点を境界として輪郭線LO13を分割した第1の部分輪郭線LOA13及び第2の部分輪郭線LOB13を算出する。そして、近似曲線算出部12は、第1の部分輪郭線LOA13及び第2の部分輪郭線LOB13のそれぞれに近似する第1の部分近似曲線LPA13及び第2の部分近似曲線LPB13を算出する。第1の部分輪郭線LOA13に基づく第1の部分近似曲線LPA13の算出、及び、第2の部分輪郭線LOB13に基づく第1の部分近似曲線LPB13の算出は、図7を参照して説明した輪郭線LO1に基づく近似曲線LP1の算出処理と同様に行われる。
部分近似曲線の傾きの比較は、第1及び第2の部分近似曲線の一方を、縦方向の直線を軸として反転させて行われる。即ち、第1及び第2の部分近似曲線の傾きが所定の程度以上一致していることをもって、ネックラインの形状が、縦方向の直線を対称軸として線対称であることが判定される。
第1の部分近似曲線LPA13の傾きと第2の部分近似曲線LPB13の傾きとが所定の程度以上一致していると判定された場合に処理はステップS19に進む。一方、第1の部分近似曲線LPA13の傾きと第2の部分近似曲線LPB13の傾きとが所定の程度以上一致していると判定されなかった場合に処理はステップS20に進む。図16に示す例では、第1の部分近似曲線LPA13の傾きと第2の部分近似曲線LPB13の傾きとが所定の程度以上一致しているので、処理はステップS19に進む。
ステップS19において、特定部16は、第1の部分近似曲線LPA13及び第2の部分近似曲線LPB13のそれぞれの、第1の部分輪郭線LOA13及び第2の部分輪郭線LOB13に対する一致度が所定の度合い以上であるか否かを判定する。部分輪郭線に対する部分近似曲線の一致の度合いは、図11を参照して説明したように、コンセンサスを算出することにより行われる。即ち、部分輪郭線上の全ての点のうち、対応する部分近似曲線上にある点の数の割合をコンセンサスとして算出する。
第1及び第2の部分輪郭線のそれぞれに対する第1及び第2の部分近似曲線の一致度が所定の度合い以上であると判定された場合には、画像に表された衣服のネックラインの形状がVネックであることを特定する。一方、第1及び第2の部分輪郭線のそれぞれに対する第1及び第2の部分近似曲線の一致度が所定の度合い以上であると判定されなかった場合には、画像に表された衣服のネックラインの形状が未知の形状であって分類不可であると判定される。
図16に示す例では、第1の部分輪郭線LOA13及び第2の部分輪郭線LOB13のそれぞれに対する、第1の部分近似曲線LPA13及び第2の部分近似曲線LPB13の一致度が所定の程度以上であるので、特定部16は、図16に示す衣服のネックラインの形状がVネックであることを特定する。
次に、図17を参照しながら、図13のフローチャートの処理を説明する。図17は、第1の距離及び第2の距離の一方が所定値未満であり他方が所定値以上であり、中央一致度が所定の度合い未満であり、第1の部分近似曲線の傾きと第2の部分近似曲線の傾きとが所定の程度以上一致している場合に、特定部16が、物体の一部の形状が第2の形状であることを特定する例を示す図である。本実施形態では、かかる場合に、特定部16は、画像に表された衣服のネックラインの形状がVネックであることを特定する。
図17に示す衣服画像では、輪郭線LO14及び近似曲線LP14、並びに、輪郭線LO14の第1及び第2の端部のそれぞれと対応する近似曲線LP14の第1及び第2の端部との間の距離である第1の距離D114及び第2の距離D214が示されている。また、輪郭線LO14上の点のうち輪郭線LO14の第1の端部と第2の端部とを結ぶ線との距離が最も遠い点である最深点を境界として輪郭線LO14を分割した第1の部分輪郭線LOA14及び第2の部分輪郭線LOB14が示されている。さらに、第1の部分輪郭線LOA14及び第2の部分輪郭線LOB14のそれぞれの近似曲線である第1の部分近似曲線LPA14及び第2の部分近似曲線LPB14が示されている。
ステップS11において、特定部16は、第1の距離D114及び第2の距離D214が共に所定値未満であるか否かを判定する。図17に示す例では、第1の距離D114及び第2の距離D214が共に所定値未満ではないので、処理はステップS14に進む。
ステップS14において、特定部16は、第1の距離D114及び第2の距離D214が共に所定値以上であるか否かを判定する。図17に示す例では、第1の距離D114が所定値以上であり第2の距離D214が所定値未満であるので、処理はステップS16に進む。
ステップS16において、特定部16は、輪郭線LO14の中央部CO14と、近似曲線LP14の中央部CP14との一致の度合いである中央一致度が所定の度合い以上であるか否かを判定する。図17に示す例では、中央部CO14と中央部CP14とは一致しておらず、中央一致度は所定の度合い以上ではないので、処理はステップS18に進む。
ステップS18において、特定部16は、第1の部分近似曲線LPA14の傾きと第2の部分近似曲線LPB14の傾きとが所定の程度以上一致しているか否かを判定する。図17に示す例では、第1の部分近似曲線LPA14の傾きと第2の部分近似曲線LPB14の傾きとが所定の程度以上一致しているので、処理はステップS19に進む。
ステップS19において、特定部16は、第1の部分近似曲線LPA14及び第2の部分近似曲線LPB14のそれぞれの、第1の部分輪郭線LOA14及び第2の部分輪郭線LOB14に対する一致度が所定の度合い以上であるか否かを判定する。図17に示す例では、第1の部分輪郭線LOA14及び第2の部分輪郭線LOB14のそれぞれに対する、第1の部分近似曲線LPA14及び第2の部分近似曲線LPB14の一致度が所定の程度以上であるので、特定部16は、図17に示す衣服のネックラインの形状がVネックであることを特定する。
次に、図18を参照しながら、図13のフローチャートの処理を説明する。図18は、第1の距離及び第2の距離の一方が所定値未満であり他方が所定値以上であり、中央一致度が所定の度合い未満であり、第1の部分近似曲線の傾きと第2の部分近似曲線の傾きとが所定の程度以上一致していない場合に、特定部16が、物体の一部の形状が第3の形状であることを特定する例を示す図である。本実施形態では、かかる場合に、特定部16は、画像に表された衣服のネックラインの形状が、左右非対称のアシンメトリーネックであることを特定する。
図18に示す衣服画像では、輪郭線LO15及び近似曲線LP15、並びに、輪郭線LO15の第1及び第2の端部のそれぞれと対応する近似曲線LP15の第1及び第2の端部との間の距離である第1の距離D115及び第2の距離D215が示されている。また、輪郭線LO15上の点のうち輪郭線LO15の第1の端部と第2の端部とを結ぶ線との距離が最も遠い点である最深点を境界として輪郭線LO15を分割した第1の部分輪郭線LOA15及び第2の部分輪郭線LOB15が示されている。さらに、第1の部分輪郭線LOA15及び第2の部分輪郭線LOB15のそれぞれの近似曲線である第1の部分近似曲線LPA15及び第2の部分近似曲線LPB15が示されている。
ステップS11において、特定部16は、第1の距離D115及び第2の距離D215が共に所定値未満であるか否かを判定する。図18に示す例では、第1の距離D115及び第2の距離D215が共に所定値未満ではないので、処理はステップS14に進む。
ステップS14において、特定部16は、第1の距離D115及び第2の距離D215が共に所定値以上であるか否かを判定する。図18に示す例では、第1の距離D115が所定値未満であり第2の距離D215が所定値以上であるので、処理はステップS16に進む。
ステップS16において、特定部16は、輪郭線LO15の中央部CO15と、近似曲線LP15の中央部CP15との一致の度合いである中央一致度が所定の度合い以上であるか否かを判定する。図18に示す例では、中央部CO15と中央部CP15とは一致しておらず、中央一致度は所定の度合い以上ではないので、処理はステップS18に進む。
ステップS18において、特定部16は、第1の部分近似曲線LPA15の傾きと第2の部分近似曲線LPB15の傾きとが所定の程度以上一致しているか否かを判定する。図18に示す例では、第1の部分近似曲線LPA15の傾きと第2の部分近似曲線LPB15の傾きとが所定の程度以上一致していないので、処理はステップS20に進む。
ステップS20において、特定部16は、第1の部分近似曲線及び第2の部分近似曲線のそれぞれの、第1の部分輪郭線及び第2の部分輪郭線に対する一致度が所定の度合い以上であるか否かを判定する。第1及び第2の部分輪郭線のそれぞれに対する第1及び第2の部分近似曲線の一致度が所定の度合い以上であると判定された場合には、画像に表された衣服のネックラインの形状がアシンメトリーネックであることを特定する。一方、第1及び第2の部分輪郭線のそれぞれに対する第1及び第2の部分近似曲線の一致度が所定の度合い以上であると判定されなかった場合には、画像に表された衣服のネックラインの形状が未知の形状であって分類不可であると判定される。
図18に示す例では、第1の部分輪郭線LOA15及び第2の部分輪郭線LOB15のそれぞれに対する、第1の部分近似曲線LPA15及び第2の部分近似曲線LPB15の一致度が所定の程度以上であるので、特定部16は、図17に示す衣服のネックラインの形状がアシンメトリーネックであることを特定する。
次に、図19を参照しながら、図13のフローチャートの処理を説明する。図19は、第1の距離及び第2の距離が共に所定値以上であり、且つ、アスペクトが所定値以上であり、第3の部分近似曲線、第4の部分近似曲線及び第5の部分近似曲線のそれぞれと、第3の部分輪郭線、第4の部分輪郭線及び第5の部分輪郭線との一致度合いが所定の度合い以上である場合に、特定部16が、物体の一部の形状が第4の形状であることを特定する例を示す図である。本実施形態では、かかる場合に、特定部16は、画像に表された衣服のネックラインの形状がスクエアネックであることを特定する。
図19に示す衣服画像では、輪郭線LO16及び近似曲線LP16、並びに、輪郭線LO16の第1及び第2の端部のそれぞれと対応する近似曲線LP16の第1及び第2の端部との間の距離である第1の距離D116及び第2の距離D216が示されている。さらに、輪郭線LO16の第1の端部と第2の端部との間の距離である端部間距離WO16、及び、輪郭線LO16の第1の端部と第2の端部とを結ぶ線と近似曲線LP16上の点との距離のうち最も長い距離である深度DP12が示されている。
ステップS11において、特定部16は、第1の距離D116及び第2の距離D216が共に所定値未満であるか否かを判定する。図19に示す例では、第1の距離D116及び第2の距離D216が共に所定値未満ではないので、処理はステップS14に進む。
ステップS14において、特定部16は、第1の距離D116及び第2の距離D216が共に所定値以上であるか否かを判定する。図19に示す例では、第1の距離D116及び第2の距離D216が共に所定値以上であるので、処理はステップS15に進む。
ステップS15において、特定部16は、端部間距離に対する深度の割合であるアスペクトが所定値未満であるか否かを判定する。図19に示す例では、端部間距離WO16に対する深度DP16の割合として算出されるアスペクトが所定値以上であるので、処理はステップS17に進む。
ステップS17において、特定部16は、第3の部分輪郭線LOA16、第4の部分輪郭線LOB16及び第5の部分輪郭線LOC16のそれぞれに対する、第3の部分近似曲線LPA16、第4の部分近似曲線LPB16、第5の部分近似曲線LPC16の一致度が所定の度合い以上であるか否かを判定する。
近似曲線算出部12は、輪郭線LO16を、輪郭線LO16上の2点で分割して、第3〜第5の部分輪郭線LOA16,LOB16,LOC16を生成する。近似曲線算出部12は、輪郭線LO16における、近似曲線LP16と一致している部分(コンセンサスが成立している部分)と一致していない部分との境界点を、部分輪郭線を生成するための分割点として設定する。そして、そして、近似曲線算出部12は、第3の部分輪郭線LOA16、第4の部分輪郭線LOB16及び第5の部分輪郭線LOC16のそれぞれに近似する第3の部分近似曲線LPA16、第4の部分近似曲線LPB16、第5の部分近似曲線LPC16を算出する。第3の部分輪郭線LOA16に基づく第3の部分近似曲線LPA16の算出、第4の部分輪郭線LOB16に基づく第4の部分近似曲線LPB16の算出、及び、第5の部分輪郭線LOC16に基づく第5の部分近似曲線LPC16の算出は、図7を参照して説明した輪郭線LO1に基づく近似曲線LP1の算出処理と同様に行われる。
各部分輪郭線に対する各部分近似曲線の一致の度合いは、図11を参照して説明したように、コンセンサスを算出することにより行われる。即ち、部分輪郭線上の全ての点のうち、対応する部分近似曲線上にある点の数の割合をコンセンサスとして算出する。
第3の部分輪郭線LOA16、第4の部分輪郭線LOB16及び第5の部分輪郭線LOC16のそれぞれに対する、第3の部分近似曲線LPA16、第4の部分近似曲線LPB16、第5の部分近似曲線LPC16の一致度が所定の度合い以上であると判定された場合には、特定部16は、画像に表された衣服のネックラインの形状がスクエアネックであることを特定する。一方、第3の部分輪郭線LOA16、第4の部分輪郭線LOB16及び第5の部分輪郭線LOC16のそれぞれに対する、第3の部分近似曲線LPA16、第4の部分近似曲線LPB16、第5の部分近似曲線LPC16の一致度が所定の度合い以上であると判定されなかった場合には、画像に表された衣服のネックラインの形状が未知の形状であって分類不可であると判定される。
このように、ステップS17では、第3の部分近似曲線、第4の部分近似曲線及び第5の部分近似曲線が算出され、それぞれ対応する部分輪郭線との一致度合いに基づいて物体の一部の形状が特定されるので、3つの部分輪郭線に特徴が現れるような物体の一部の形状を適切に推定することが可能となる。
なお、ステップS11において、第1の距離D116及び第2の距離D216が共に所定値未満ではないと判定され、ステップS14において、第1の距離D116及び第2の距離D216が共に所定値以上であると判定されなかった場合に、ステップS16において、中央一致度が所定の度合い以上であると判定された場合にも、処理はステップS17に進む。そして、ステップS17において、第3の部分輪郭線LOA16、第4の部分輪郭線LOB16及び第5の部分輪郭線LOC16のそれぞれに対する、第3の部分近似曲線LPA16、第4の部分近似曲線LPB16、第5の部分近似曲線LPC16の一致度が所定の度合い以上であると判定された場合には、特定部16は、画像に表された衣服のネックラインの形状がスクエアネックであることを特定する。
なお、図13の各ステップにおいて種々の値と比較される所定値、所定の度合い及び所定の程度は、形状が判定される対象に応じて、適宜設計的に設定される。物体の一部の形状が判定された画像の各種の算出値を用いて学習することにより、所定値等を設定することとしてもよい。
なお、図13のフローチャートに示したステップS11〜S20のうち一部のステップの処理のみによりネックラインの形状を特定することとしてもよい。
例えば、ステップS11及びステップS12の処理のみを実施して衣服のネックラインの形状をラウンドネック、Vネック及びスクエアネックのいずれかに特定してもよい。即ち、まずステップS11において、特定部16は、第1の距離及び第2の距離が共に所定値未満であるか否かを判定する。第1の距離及び第2の距離が共に所定値未満であると判定されなかった場合に、特定部16は、衣服のネックラインの形状がスクエアネックであることを特定する。一方、第1の距離及び第2の距離が共に所定値未満であると判定された場合に、処理はステップS12に進む。ステップS12において、特定部16は、中央一致度が所定の度合い以上であるか否かを判定する。中央一致度が所定の度合い以上であると判定された場合には、特定部16は、衣服のネックラインの形状がラウンドネックであることを特定する。一方、中央一致度が所定の度合い以上であると判定されなかった場合には、特定部16は、衣服のネックラインの形状がVネックであることを特定する。
また、ステップS11,S12,S14,S15,S16の処理のみを実施して衣服のネックラインの形状をラウンドネック、Vネック及びスクエアネックのいずれかに特定してもよい。即ち、まずステップS11において、特定部16は、第1の距離及び第2の距離が共に所定値未満であるか否かを判定する。第1の距離及び第2の距離が共に所定値未満であると判定された場合に、処理はステップS12に進む。一方、第1の距離及び第2の距離が共に所定値未満であると判定されなかった場合に、処理はステップS14に進む。
ステップS12において、特定部16は、中央一致度が所定の度合い以上であるか否かを判定する。中央一致度が所定の度合い以上であると判定された場合には、特定部16は、衣服のネックラインの形状がラウンドネックであることを特定する。一方、中央一致度が所定の度合い以上であると判定されなかった場合には、特定部16は、衣服のネックラインの形状がVネックであることを特定する。
ステップS11からステップS14に処理が進められると、特定部16は、第1の距離及び第2の距離が共に所定値以上であるか否かを判定する。第1の距離及び第2の距離が共に所定値以上であると判定された場合には処理はステップS15に進む。一方、第1の距離及び第2の距離が共に所定値以上であると判定されなかった場合には処理はステップS16に進む。
ステップS14からステップS15に処理が進められると、特定部16は、端部間距離に対する深度の割合であるアスペクトが所定値未満であるか否かを判定する。アスペクトが所定値未満であると判定された場合には、特定部16は、衣服のネックラインの形状がラウンドネックであることを特定する。一方、アスペクトが所定値未満であると判定されなかった場合には、特定部16は、衣服のネックラインの形状がスクエアネックであることを特定する。
ステップS14からステップS16に処理が進められると、特定部16は、中央一致度が所定の度合い以上であるか否かを判定する。中央一致度が所定の度合い以上であると判定された場合には、特定部16は、衣服のネックラインの形状がスクエアネックであることを特定する。一方、中央一致度が所定の度合い以上であると判定されなかった場合には、特定部16は、衣服のネックラインの形状がVネックであることを特定する。
次に、図20を参照して、コンピュータを形状弁別装置1として機能させるための形状弁別プログラムを説明する。形状弁別プログラムp1は、メインモジュールm10、輪郭線抽出モジュールm11、近似曲線算出モジュールm12、距離算出モジュールm13、一致度算出モジュールm14、アスペクト算出モジュールm15、特定モジュールm16及び出力モジュールm17を備える。
メインモジュールm10は、形状弁別処理を統括的に制御する部分である。輪郭線抽出モジュールm11、近似曲線算出モジュールm12、距離算出モジュールm13、一致度算出モジュールm14、アスペクト算出モジュールm15、特定モジュールm16及び出力モジュールm17を実行することにより実現される機能はそれぞれ、図1に示される形状弁別装置1の輪郭線抽出部11、近似曲線算出部12、距離算出部13、一致度算出部14、アスペクト算出部15、特定部16及び出力部17の機能と同様である。
形状弁別プログラムp1は、例えば、CD−ROMやDVD−ROMまたは半導体メモリ等の記憶媒体d1によって提供される。また、形状弁別プログラムp1は、搬送波に重畳されたコンピュータデータ信号として通信ネットワークを介して提供されてもよい。
以上説明した本実施形態の形状弁別装置1、形状弁別方法及び形状弁別プログラムp1によれば、画像に表された物体の輪郭の一部を示す輪郭線に近似された近似曲線が算出され、近似曲線及び輪郭線のそれぞれの対応する端部間の距離である第1及び第2の距離、並びに輪郭線の中央部と近似曲線との一致の度合いである中央一致度が算出される。第1及び第2の距離並びに中央一致度には、物体の一部の形状の特徴が反映される。そして、第1及び第2の距離並びに中央一致度に基づいて物体の一部の形状が特定されるので、物体の一部の形状を適切に推定することが可能となる。
以上、本発明をその実施形態に基づいて詳細に説明した。しかし、本発明は上記実施形態に限定されるものではない。本発明は、その要旨を逸脱しない範囲で様々な変形が可能である。
本実施形態では、形状の特定及び弁別の対象を衣服のネックラインとしているが、例えば、眼鏡のレンズ形状、帽子上部の形状等を対象としてもよい。
1…形状弁別装置、3…画像記憶部、10…縦方向、11…輪郭線抽出部、12…近似曲線算出部、13…距離算出部、14…一致度算出部、15…アスペクト算出部、16…特定部、17…出力部、d1…記憶媒体、p1…形状弁別プログラム、m10…メインモジュール、m11…輪郭線抽出モジュール、m12…近似曲線算出モジュール、m13…距離算出モジュール、m14…一致度算出モジュール、m15…アスペクト算出モジュール、m16…特定モジュール、m17…出力モジュール、p1…形状弁別プログラム。

Claims (12)

  1. 輪郭線の近似曲線を算出する近似曲線算出手段であって、前記輪郭線は、画像に表された物体の輪郭の一部を表す有限の長さの線であり、前記近似曲線は、前記輪郭線に近似する線であって前記輪郭線を構成する座標に基づいて算出される、近似曲線算出手段と、
    前記輪郭線の第1の端部及び第2の端部のそれぞれと対応する前記近似曲線の第1及び第2の端部との間の距離である第1の距離及び第2の距離を算出する距離算出手段と、
    前記輪郭線の中央部と前記近似曲線との一致の度合いである中央一致度を算出する一致度算出手段と、
    前記第1の距離、前記第2の距離及び前記中央一致度に基づいて、前記物体または前記物体の一部の形状を特定する特定手段と、
    前記特定手段により特定された物体または物体の一部の形状に関する情報を出力する出力手段と、
    を備える形状弁別装置。
  2. 前記輪郭線の前記第1の端部と前記第2の端部との間の距離である端部間距離に対する、前記第1の端部と前記第2の端部とを結ぶ線と前記近似曲線上の点との距離のうち最も長い距離により示される深度の割合であるアスペクトを算出するアスペクト算出手段を更に備え、
    前記特定手段は、前記第1の距離、前記第2の距離、前記中央一致度及び前記アスペクトに基づいて、前記物体または前記物体の一部の形状を特定する、
    請求項1に記載の形状弁別装置。
  3. 前記近似曲線算出手段は、前記輪郭線上の点のうち前記輪郭線の前記第1の端部と前記第2の端部とを結ぶ線との距離が最も遠い点である最深点を境界として前記輪郭線を分割した第1の部分輪郭線及び第2の部分輪郭線のそれぞれの近似曲線である、第1の部分近似曲線及び第2の部分近似曲線を算出し、
    前記特定手段は、前記第1の部分近似曲線及び前記第2の部分近似曲線の傾きを更に用いて、前記物体または前記物体の一部の形状を特定する、
    請求項1または2に記載の形状弁別装置。
  4. 前記近似曲線算出手段は、前記輪郭線における前記近似曲線との一定以上の一致度合いを有する部分の両端部のそれぞれを境界として前記輪郭線を分割した第3の部分輪郭線、第4の部分輪郭線及び第5の部分輪郭線のそれぞれの近似曲線である、第3の部分近似曲線、第4の部分近似曲線及び第5の部分近似曲線を算出し、
    前記特定手段は、前記第3の部分近似曲線、前記第4の部分近似曲線及び前記第5の部分近似曲線のそれぞれと、前記第3の部分輪郭線、前記第4の部分輪郭線及び前記第5の部分輪郭線との一致度合いを更に用いて、前記物体または前記物体の一部の形状を特定する、
    請求項1〜3のいずれか一項に記載の形状弁別装置。
  5. 前記近似曲線算出手段は、前記輪郭線上の任意の3点に基づいて2次曲線を複数算出し、算出した複数の2次曲線のうち、前記輪郭線との一致度が最も高い2次曲線を近似曲線として算出する、
    請求項1〜4のいずれか一項に記載の形状弁別装置。
  6. 前記物体の一部の形状は、衣服のネックラインの形状である、
    請求項1〜5のいずれか一項に記載の形状弁別装置。
  7. 前記特定手段は、前記第1の距離及び前記第2の距離が共に所定値未満であり、且つ、前記中央一致度が所定の度合い以上である場合に、前記物体または前記物体の一部の形状が第1の形状であることを特定する、
    請求項1に記載の形状弁別装置。
  8. 前記特定手段は、前記第1の距離及び前記第2の距離が共に所定値以上であり、且つ、前記アスペクトが所定値未満である場合に、前記物体または前記物体の一部の形状が第1の形状であることを特定する、
    請求項2に記載の形状弁別装置。
  9. 前記特定手段は、
    前記第1の距離及び前記第2の距離が共に所定値未満であり、前記中央一致度が所定の度合い未満であり、前記第1の部分近似曲線の傾きと前記第2の部分近似曲線の傾きとが所定の程度以上一致している場合に、前記物体または前記物体の一部の形状が第2の形状であることを特定し、
    前記第1の距離及び前記第2の距離の一方が所定値未満であり、他方が所定値以上であり、前記中央一致度が所定の度合い未満であり、前記第1の部分近似曲線の傾きと前記第2の部分近似曲線の傾きとが所定の程度以上一致している場合に、前記物体または前記物体の一部の形状が第2の形状であることを特定し、
    前記第1の距離及び前記第2の距離の一方が所定値未満であり、他方が所定値以上であり、前記中央一致度が所定の度合い未満であり、前記第1の部分近似曲線の傾きと前記第2の部分近似曲線の傾きとが所定の程度以上一致していない場合に、前記物体または前記物体の一部の形状が第3の形状であることを特定する、
    請求項3に記載の形状弁別装置。
  10. 前記特定手段は、
    前記第1の距離及び前記第2の距離の一方が所定値未満であり、他方が所定値以上であり、前記中央一致度が所定の度合い以上であり、前記第3の部分近似曲線、前記第4の部分近似曲線及び前記第5の部分近似曲線のそれぞれと、前記第3の部分輪郭線、前記第4の部分輪郭線及び前記第5の部分輪郭線との一致度合いが所定の度合い以上である場合、
    又は、
    前記第1の距離及び前記第2の距離が共に所定値以上であり、前記輪郭線の前記第1の端部と前記第2の端部との間の距離である端部間距離に対する、前記第1の端部と前記第2の端部とを結ぶ線と前記近似曲線上の点との距離のうち最も長い距離により示される深度の割合であるアスペクトが所定値以上であり、前記第3の部分近似曲線、前記第4の部分近似曲線及び前記第5の部分近似曲線のそれぞれと、前記第3の部分輪郭線、前記第4の部分輪郭線及び前記第5の部分輪郭線との一致度合いが所定の度合い以上である場合に、
    前記物体または前記物体の一部の形状が第4の形状であることを特定する、
    請求項4に記載の形状弁別装置。
  11. 形状弁別装置における形状弁別方法であって、
    輪郭線の近似曲線を算出する近似曲線算出ステップであって、前記輪郭線は、画像に表された物体の輪郭の一部を表す有限の長さの線であり、前記近似曲線は、前記輪郭線に近似する線であって前記輪郭線を構成する座標に基づいて算出される、近似曲線算出ステップと、
    前記輪郭線の第1及び第2の端部のそれぞれと対応する前記近似曲線の第1及び第2の端部との間の距離である第1の距離及び第2の距離を算出する距離算出ステップと、
    前記輪郭線の中央部と前記近似曲線との一致の度合いである中央一致度を算出する一致度算出ステップと、
    前記第1の距離、前記第2の距離及び前記中央一致度に基づいて、前記物体または前記物体の一部の形状を特定する特定ステップと、
    前記特定ステップにおいて特定された物体または物体の一部の形状に関する情報を出力する出力ステップと、
    を有する形状弁別方法。
  12. コンピュータを、
    輪郭線の近似曲線を算出する近似曲線算出手段であって、前記輪郭線は、画像に表された物体の輪郭の一部を表す有限の長さの線であり、前記近似曲線は、前記輪郭線に近似する線であって前記輪郭線を構成する座標に基づいて算出される、近似曲線算出手段、
    前記輪郭線の第1及び第2の端部のそれぞれと対応する前記近似曲線の第1及び第2の端部との間の距離である第1の距離及び第2の距離を算出する距離算出手段、
    前記輪郭線の中央部と前記近似曲線との一致の度合いである中央一致度を算出する一致度算出手段、
    前記第1の距離、前記第2の距離及び前記中央一致度に基づいて、前記物体または前記物体の一部の形状を特定する特定手段、及び、
    前記特定手段により特定された物体または物体の一部の形状に関する情報を出力する出力手段、
    として機能させる形状弁別プログラム。

JP2017523561A 2015-12-25 2015-12-25 形状弁別装置、形状弁別方法及び形状弁別プログラム Active JP6204634B1 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2015/086270 WO2017109946A1 (ja) 2015-12-25 2015-12-25 形状弁別装置、形状弁別方法及び形状弁別プログラム

Publications (2)

Publication Number Publication Date
JP6204634B1 JP6204634B1 (ja) 2017-09-27
JPWO2017109946A1 true JPWO2017109946A1 (ja) 2017-12-21

Family

ID=59089784

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017523561A Active JP6204634B1 (ja) 2015-12-25 2015-12-25 形状弁別装置、形状弁別方法及び形状弁別プログラム

Country Status (3)

Country Link
US (1) US10760899B2 (ja)
JP (1) JP6204634B1 (ja)
WO (1) WO2017109946A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6148426B1 (ja) * 2016-05-27 2017-06-14 楽天株式会社 画像処理装置、画像処理方法及び画像処理プログラム

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB8800570D0 (en) * 1988-01-12 1988-02-10 Leicester Polytechnic Measuring method
JP4202966B2 (ja) 2004-05-10 2008-12-24 アロカ株式会社 超音波診断装置
JP2006234494A (ja) * 2005-02-23 2006-09-07 Aisin Seiki Co Ltd 物体認識装置
JP4741344B2 (ja) * 2005-11-07 2011-08-03 ダイハツ工業株式会社 形状認識装置及び歪評価装置
JP2010262425A (ja) * 2009-05-01 2010-11-18 Palo Alto Research Center Inc 衣服を認識および分類するためのコンピュータ実行方法
US8532392B2 (en) * 2009-07-09 2013-09-10 Konica Minolta Medical & Graphic, Inc. Contour extraction device and program
JP4792521B2 (ja) * 2009-12-15 2011-10-12 株式会社アイ.エス.テイ 布製品識別装置および布製品把持システム
CN104850616B (zh) * 2009-12-24 2018-07-10 株式会社尼康 检索辅助系统、检索辅助方法以及检索辅助程序
JP2012199832A (ja) 2011-03-22 2012-10-18 Seiko Epson Corp プロファイル作成方法、プロファイル作成プログラムおよび印刷装置

Also Published As

Publication number Publication date
WO2017109946A1 (ja) 2017-06-29
US10760899B2 (en) 2020-09-01
JP6204634B1 (ja) 2017-09-27
US20190003827A1 (en) 2019-01-03

Similar Documents

Publication Publication Date Title
JP5298831B2 (ja) 画像処理装置及びプログラム
JP6063315B2 (ja) 真贋判定システム,特徴点登録装置およびその動作制御方法,ならびに照合判定装置およびその動作制御方法
TW201437925A (zh) 物體識別裝置、方法及電腦程式產品
US11816923B2 (en) Face image candidate determination apparatus for authentication, face image candidate determination method for authentication, program, and recording medium
JP6458239B1 (ja) 画像認識システム
JP7183753B2 (ja) リスト生成装置、被写体識別装置、リスト生成方法、及びプログラム
JP7231877B1 (ja) 角度計測装置、角度計測方法、角度計測プログラム
CN113095187A (zh) 一种基于图像特征匹配对齐的试卷批改方法
JP6541226B2 (ja) 情報端末装置及びプログラム
JP6628336B2 (ja) 情報処理システム
JP6204634B1 (ja) 形状弁別装置、形状弁別方法及び形状弁別プログラム
US20180189562A1 (en) Character recognition apparatus, character recognition method, and computer program product
JP2785776B2 (ja) 図形整形装置
JP7231165B2 (ja) 検証システム
US6556701B1 (en) Method of and apparatus for extracting dotted line, and storage medium thereof
JP2845269B2 (ja) 図形整形装置および図形整形方法
JP6092012B2 (ja) 物体識別システムおよび物体識別方法
JP6542407B1 (ja) 読取システム、読取方法、プログラム、及び記憶媒体
JP6946912B2 (ja) 推定プログラム、推定装置、及び推定方法
CN112581525A (zh) 人体佩戴物品的状态检测方法、装置、设备及存储介质
JP6717769B2 (ja) 情報処理装置及びプログラム
JP2020021520A (ja) 情報処理システム
US10878229B2 (en) Shape discrimination device, shape discrimination method and shape discrimination program
US20230215135A1 (en) Image processing apparatus, image processing method, and non-transitory storage medium
US20230410361A1 (en) Image processing system, processing method, and non-transitory storage medium

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170801

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170829

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170831

R150 Certificate of patent or registration of utility model

Ref document number: 6204634

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: R3D02

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250