JP6676259B2 - タイリング図形生成システム、タイリング図形生成方法及びプログラム - Google Patents

タイリング図形生成システム、タイリング図形生成方法及びプログラム Download PDF

Info

Publication number
JP6676259B2
JP6676259B2 JP2015239057A JP2015239057A JP6676259B2 JP 6676259 B2 JP6676259 B2 JP 6676259B2 JP 2015239057 A JP2015239057 A JP 2015239057A JP 2015239057 A JP2015239057 A JP 2015239057A JP 6676259 B2 JP6676259 B2 JP 6676259B2
Authority
JP
Japan
Prior art keywords
tiling
original
graphic
generation unit
generated
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015239057A
Other languages
English (en)
Other versions
JP2017107310A (ja
Inventor
智司 小野
智司 小野
仁美 木場
仁美 木場
宅哉 牛之濱
宅哉 牛之濱
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kagoshima University NUC
Original Assignee
Kagoshima University NUC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kagoshima University NUC filed Critical Kagoshima University NUC
Priority to JP2015239057A priority Critical patent/JP6676259B2/ja
Publication of JP2017107310A publication Critical patent/JP2017107310A/ja
Application granted granted Critical
Publication of JP6676259B2 publication Critical patent/JP6676259B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、タイリング図形生成システム、タイリング図形生成方法及びプログラムに関する。
タイリングとは、平面を隙間及び重複を生じることなく充填させるように、有限種類の図形(タイル)を連続的に敷き詰めることをいう。このようなタイリングを用いたタイリングアートと呼ばれる芸術がある。タイリングアートに見られる1つ1つのタイルには、とかげや魚など、単体でも絵として意味があると言った特徴がある。タイリングアートは、タイルを平行移動、回転、鏡映により複写することで形成される。タイリングアートを製作するには、対向するタイルの外縁の形状が隙間なく一致するようにタイルの輪郭を決定しなければならないため、タイルの輪郭を決めるのに試行錯誤が必要となり、その作業は困難を極める。
そこで、タイルの輪郭を決定するのを支援するアプリケーションソフトウエアが開発されている(例えば、非特許文献1参照)。このソフトウエアを用いれば、与えられた目標図形(原図形)に類似し、かつ、タイリング可能なタイルの輪郭を、最適化手法を用いて設計することができる。
Koizumi, H. and Sugihara, K.: Computer-aided design of Escher-like tiling, NICOGRAPH Paper Contest (2009)
しかしながら、原図形の中には、その図形に類似したタイリング図形を生成するのが困難なものもあり、このような図形を原図形として選択すると、タイリング図形の設計に膨大な時間を要するようになる。したがって、デザイナーにとっては、タイリングに適した原図形を効率的に選択することが、より確実にタイリング図形を生成するための鍵となっている。
本発明は、上記実情に鑑みてなされたものであり、より確実にタイリング図形を生成することができるタイリング図形生成システム、タイリング図形生成方法及びプログラムを提供することを目的とする。
上記目的を達成するために、本発明の第1の観点に係るタイリング図形生成システムは、
像の合成及び/又は選択により、原図形を生成する原図形生成部と、
前記原図形生成部で生成された前記原図形を加工して、前記原図形生成部で生成された前記原図形との所定の数式で算出した形状差が閾値を下回り、かつ、平面上に重複なく連続して敷き詰めたときに、その平面を埋め尽くすことができるタイリング図形を最適化手法を用いて生成するタイリング図形生成部と、
を備える。
前記タイリング図形生成部で生成された前記タイリング図形が、前記形状差が閾値を下回るまで、
前記原図形生成部は、
像の合成及び/又は選択により、生成される原図形を変更し、
前記タイリング図形生成部は、
前記原図形生成部で生成された前記原図形を加工して、前記形状差が閾値を下回る前記タイリング図形を最適化手法を用いて探索する、
こととしてもよい。
前記原図形生成部は、
3次元物体モデルを撮像する撮像光学系の位置及び撮像条件及び/又は前記3次元物体モデルを変形させながら、前記3次元物体モデルを撮像したときに得られる画像を、前記原図形として生成する、
こととしてもよい。
前記3次元物体モデルは、
コンピュータグラフィックスの仮想モデル又は有体物である、
こととしてもよい。
前記原図形生成部は、
複数の画像を合成及び/又は1枚の画像を変形することによって、前記原図形としての原画像を生成する、
こととしてもよい。
前記原図形生成部は、
キーワードを用いた画像検索によりインターネットから画像を取得し、
取得した複数の画像を合成及び/又は取得した1枚の画像を変形する、
こととしてもよい。
記タイリング図形生成部で生成された前記タイリング図形の一部の幅が、許容値以上となるように前記タイリング図形を調整するタイリング図形調整部を備える
こととしてもよい。
前記タイリング図形調整部は、
前記タイリング図形生成部で生成された前記タイリング図形において、隣接する両端の外縁から突出する部分のアスペクト比が許容値を超える場合には、その部分を切り取る、
こととしてもよい。
本発明の第の観点に係るタイリング図形生成システムは、
輪郭と、輪郭内側の内部パターンとで構成された原図形を加工して、平面上に重複なく連続して敷き詰めたときに、その平面を埋め尽くすことができるタイリング図形の輪郭を生成する輪郭生成部と、
前記原図形の輪郭から前記輪郭生成部で生成された輪郭への変形に応じて、前記内部パターンの中から選択された内部パターンを変形させず、残りの前記内部パターンを変形する内部パターン変形部と、
を備える。
前記内部パターン変形部は、
前記原図形の内部パターンを簡略化した後に、前記原図形の内部パターンを変形させる、
こととしてもよい。
本発明の第の観点に係るタイリング生成方法は、
コンピュータが、画像の合成及び/又は選択により、原図形を生成する原図形生成ステップと、
コンピュータが、前記原図形生成ステップで生成された前記原図形を加工して、前記原図形生成ステップで生成された前記原図形との所定の数式で算出した形状差が閾値を下回り、かつ、平面上に重複なく連続して敷き詰めたときに、その平面を埋め尽くすことができるタイリング図形を最適化手法を用いて生成するタイリング図形生成ステップと、
を含む。
ンピュータが、前記タイリング図形生成ステップで生成された前記タイリング図形の一部の幅が、許容値以上となるように前記タイリング図形を調整するタイリング図形調整ステップを含む
こととしてもよい。
本発明の第の観点に係るタイリング生成方法は、
コンピュータが、輪郭と、輪郭内側の内部パターンとで構成された原図形を加工して、平面上に重複なく連続して敷き詰めたときに、その平面を埋め尽くすことができるタイリング図形の輪郭を生成する輪郭生成ステップと、
コンピュータが、前記原図形の輪郭から前記輪郭生成ステップで生成された輪郭への変形に応じて、前記内部パターンの中から選択された内部パターンを変形させず、残りの前記内部パターンを変形する内部パターン変形ステップと、
を含む。
本発明の第の観点に係るプログラムは、
コンピュータを、
像の合成及び/又は選択により、原図形を生成する原図形生成部、
前記原図形生成部で生成された前記原図形を加工して、前記原図形生成部で生成された前記原図形との所定の数式で算出した形状差が閾値を下回り、かつ、平面上に重複なく連続して敷き詰めたときに、その平面を埋め尽くすことができるタイリング図形を最適化手法を用いて生成するタイリング図形生成部、
として機能させる。
ンピュータを、
記タイリング図形生成部で生成された前記タイリング図形の一部の幅が、許容値以上となるように前記タイリング図形を調整するタイリング図形調整部、
として機能させる
こととしてもよい。
本発明の第の観点に係るプログラムは、
コンピュータを、
輪郭と、輪郭内側の内部パターンとで構成された原図形を加工して、平面上に重複なく連続して敷き詰めたときに、その平面を埋め尽くすことができるタイリング図形の輪郭を生成する輪郭生成部、
前記原図形の輪郭から前記輪郭生成部で生成された輪郭への変形に応じて、前記内部パターンの中から選択された内部パターンを変形させず、残りの前記内部パターンを変形する内部パターン変形部、
として機能させる。
本発明によれば、画像の合成及び/又は選択により、原図形を生成し、生成した原図形との所定の数式で算出した形状差が閾値を下回るタイリング図形を最適化手法を用いて生成する。これにより、タイリング図形をデザインするデザイナーが試行錯誤することなく原図形を効率的に生成することができる。このため、より確実にタイリング図形を生成することができる。
本発明の実施の形態1に係るタイリング図形生成システムのソフトウエア構成を示すブロック図である。 図1のタイリング図形生成システムのハードウエア構成を示すブロック図である。 図3(A)及び図3(B)は、仮想的な3次元物体モデルのCG画像を示す図である。 3次元物体モデルを撮像するカメラの位置を規定する座標系を示す図である。 原図形の一例である。 図6(A)乃至図6(C)は、原図形の輪郭から選択された代表点群の一例である。 原図形からタイリング図形を生成するための基本図形を示す図である。 図8(A)乃至図8(C)は、原図形から生成されたタイリング図形の一例を示す図である。 本発明の実施の形態1に係るタイリング図形生成システムの動作を示すフローチャートである。 図10(A)は、最適化前の原図形の一例である。図10(B)は、最適化前の原図形から生成されたタイリング図形である。図10(C)は、原図形生成部により最適化された後の原図形の外縁の一例である。図10(D)は、タイリング図形生成部の最適化により生成されたタイリング図形の一例である。 本発明の実施の形態2に係るタイリング図形生成システムのソフトウエア構成を示すブロック図である。 本発明の実施の形態3に係るタイリング図形生成システムのソフトウエア構成を示すブロック図である。 原画像が生成される様子を示す模式図である。 本発明の実施の形態4に係るタイリング図形生成システムのソフトウエア構成を示すブロック図である。 図15(A)及び図15(B)は、調整対象となる部分を示す模式図である。 本発明の実施の形態4に係るタイリング図形生成システムの動作を示すフローチャートである。 本発明の実施の形態5に係るタイリング図形生成システムのソフトウエア構成を示すブロック図である。 図18(A)及び図18(B)は、リターゲティングによる内部パターンの変形を示す図である。 本発明の実施の形態5に係るタイリング図形生成システムの動作を示すフローチャートである。 図20(A)は、簡略化される前のタイリング図形の一例である。図20(B)は、簡略化された後のタイリング図形の一例である。
本発明の実施の形態について図面を参照して詳細に説明する。
実施の形態1.
まず、本発明の実施の形態1について説明する。
本実施の形態1に係るタイリング図形生成システム100(図1参照)は、3次元コンピュータグラフィックスによって生成される仮想の3次元物体モデルに基づいて、タイリング用の原図形を決定し、原図形に類似するタイリング図形を生成する。タイリング図形とは、複数枚の図形を平行移動、回転、鏡像反転しながら平面に重複なく連続して敷き詰めた場合に、その平面を隙間無く埋め尽くすことができる図形をいう。
図1に示すように、本実施の形態に係るタイリング図形生成システム100は、タイリング用の原図形を生成する原図形生成部10と、原図形生成部10で生成された原図形からタイリング図形を生成するタイリング図形生成部11と、記憶部20と、を備える。記憶部20には、3次元物体モデルデータ21と、原図形データ22と、タイリング図形データ23とが、記憶される。
図1のタイリング図形生成システム100のハードウエア構成を示す図2に示すように、タイリング図形生成システム100は、制御部31、主記憶部32、外部記憶部33、操作部34、表示部35及び通信部36を備える。主記憶部32、外部記憶部33、操作部34、表示部35及び通信部36はいずれも内部バス30を介して制御部31に接続されている。
制御部31は、CPU(Central Processing Unit)等から構成されている。このCPUが、外部記憶部33に記憶されているプログラム39を実行することにより、図1に示すタイリング図形生成システム100の各構成要素が実現される。
主記憶部32は、RAM(Random-Access Memory)等から構成されている。主記憶部32には、外部記憶部33に記憶されているプログラム39がロードされる。この他、主記憶部32は、制御部31の作業領域(データの一時記憶領域)として用いられる。
外部記憶部33は、フラッシュメモリ、ハードディスク、DVD−RAM(Digital Versatile Disc Random-Access Memory)、DVD−RW(Digital Versatile Disc ReWritable)等の不揮発性メモリから構成される。外部記憶部33には、制御部31に実行させるためのプログラム39があらかじめ記憶されている。また、外部記憶部33は、制御部31の指示に従って、このプログラム39の実行の際に用いられるデータを制御部31に供給し、制御部31から供給されたデータを記憶する。
操作部34は、キーボード及びマウスなどのポインティングデバイス等と、キーボード及びポインティングデバイス等を内部バス30に接続するインターフェイス装置から構成されている。操作部34を介して、操作者が操作した内容に関する情報が制御部31に入力される。
表示部35は、CRT(Cathode Ray Tube)又はLCD(Liquid Crystal Display)などから構成される。表示部35には、3次元物体モデル、原図形、タイリング図形等が表示される。
通信部36は、通信線のシリアルインターフェイス又はパラレルインターフェイスから構成されている。
図1に示すタイリング図形生成システム100の各種構成要素は、図2に示すプログラム39が、制御部31、主記憶部32、外部記憶部33、操作部34、表示部35及び通信部36などをハードウエア資源として用いて実行されることによってその機能を発揮する。
図1に戻り、記憶部20に記憶される3次元物体モデルデータ21は、コンピュータグラフィックスによって表現される仮想的な3次元物体モデルを表示するためのCGデータである。3次元物体モデルデータ21を用いれば、例えば、図3(A)及び図3(B)に示すような、3次元物体モデルMの2次元のCG画像を生成することが可能である。
原図形生成部10は、3次元物体モデルデータ21に基づいて、タイリングに適した2次元の原画像を生成する。具体的には、原図形生成部10は、コンピュータグラフィックスで仮想的に生成される3次元物体モデルMを特定の視点から撮像したときの2次元のCG画像を生成する。図3(A)及び図3(B)に示すように、原図形生成部10は、3次元物体モデルMの姿勢を変更(すなわち変形)させることが可能である。3次元物体モデルMの姿勢は、姿勢パラメータによって定義されており、原図形生成部10は、姿勢パラメータの値を変更することにより、3次元物体モデルMの姿勢を変更することができる。
ここで、図4に示すように、3次元物体モデルMを原点OとするXYZ座標系を規定する。+Z方向が3次元物体モデルMの正面であるとし、XZ面が水平面であるとする。XYZ座標系は、極座標系(r,θ,φ)に変換可能である。rは、原点Oからのその点までの距離であり、θは、Z軸を基準としたときの水平面内におけるその点の成す角度である。また、φは、Z軸を基準とした時の垂面内におけるその点の成す角度である。
ここで、視点C(r,θ,φ)に3次元物体モデルMを撮像するカメラが位置していると仮定する。原図形生成部10は、極座標C(r,θ,φ)の位置にあるカメラで撮像したと仮定した場合に撮像される3次元物体モデルMに対応する2次元のCG画像を生成する。極座標C(r,θ,φ)を、視点パラメータともいう。
視点C(r,θ,φ)から見たCG画像は、画角等のカメラの撮像条件(光学パラメータ)によっても変化する。ここでは、カメラの光学パラメータも視点パラメータに含めるものとする。
姿勢パラメータ及び視点パラメータの値が決まれば、3次元物体モデルMの2次元のCG画像が決まる。原図形生成部10は、姿勢パラメータ及び視点パラメータの値を指定することにより、3次元物体モデルMの2次元のCG画像を生成する。生成されたCG画像は、記憶部20に原図形データ22として記憶される。
生成された2次元のCG画像は、パラメトリックに表現される3次元物体モデルMに姿勢パラメータと視点パラメータの値を与えることにより得られる画像である。すなわち、本実施の形態では、3次元物体モデルMにパラメータの値を指定することは、その条件で撮像される画像を選択することに相当する。
タイリング図形生成部11は、原図形生成部10で生成された原図形を加工して、原図形と類似し、かつ、平面上に重複なく連続して敷き詰めたときに、その平面を埋め尽くすことができるタイリング図形を生成する。
より具体的には、タイリング図形生成部11は、原図形データ22を読み出して、原図形における輪郭上のn(nは自然数)点の複数の代表点群を抽出する。代表点群として、複数の異なるパターンの点群が抽出される。例えば、原画像が、図5に示すデータであった場合、図6(A)、図6(B)、図6(C)に示すような複数の異なるパターンの代表点群が生成される。ここで、代表点群の各点を(x,y)、i=1〜nとする。
タイリング図形生成部11は、原図形データ22に、最も近い基本図形を探索する。このような基本図形としては、正三角形、正四角形、正五角形、正六角形又はそれらの単純な図形を変形したものが選択される。図7には、正六角形等が基本図形として選択された場合が示されている。本実施の形態では、どのような基本図形を選択するか、どのように変形させるかも最適化対象となる。基本図形には、正多角形には限られないが、それ自体が、タイリング図形であることが要求される。
タイリング図形生成部11は、基本図形を基準として、原図形データ22からタイリング図形を生成する。例えば、図7に示すように、原図形がトカゲのようなものである場合、基本図形として正六角形を基準にして、例えば、六角形T1上の原図形では凸となっている部分(点Aを頂点とする部分)と重複する、隣接する六角形T2の原図形の部分を凹ませるなどして、タイリング図形を生成することができる。ここで、図5に示す原図形と、図7に示すタイリング図形とは、直接関係はない。
タイリング図形生成部11は、図6(A)乃至図6(C)に示す原図形の代表点群に基づいて、図7に示すような基準図形を基準として、図8(A)乃至図8(C)に示すようなタイリング図形を生成する。ここで、タイリング図形の点群を、(x’i,y’)、i=1〜nとする。
図6(A)乃至図6(C)に示す原図形と、図8(A)乃至図8(C)に示すタイリング図形との形状差は以下の式で表すことができる。
Figure 0006676259

タイリング図形生成部11は、上記式(1)を評価関数として、F1の値を最小とするタイリング図形を探索する。具体的には、タイリング図形生成部11は、タイリング図形の探索に、遺伝的アルゴリズム等の最適化手法を用いる。この遺伝的アルゴリズムで最適化対象となる個体は、基本図形、基本図形の変形パラメータ、輪郭を構成する点の総数n、選択された原図形の代表点群から成る集合である。タイリング図形生成部11は、交叉、選択、突然変異により、この個体を進化(変更)させながら、その都度タイリング図形を生成し、評価関数F1の値を算出する。
また、タイリング図形生成部11は、評価関数F1の値が所定の条件を満たす(閾値を下回る)まで、交叉、選択、突然変異による原図形の代表点群及び基準図形等を含む個体の変更を続ける。
しかしながら、個体の変更を、所定回数繰り返しても、評価関数F1の値が所定の条件を満たさない場合には、原図形生成部10は、コンピュータグラフィックスで仮想的に生成される3次元物体モデルMを特定の位置からカメラで撮像したときに得られる2次元のCG画像を再生成し、原図形を変更する。原図形の変更にも最適化手法が用いられる。タイリング図形生成部11は、変更された原図形に基づいて、タイリング図形を生成し、上記F1を評価関数として、遺伝的アルゴリズム等の最適化手法を用いて、F1の値を最小とするタイリング図形を探索する。
最適化手法としては、遺伝的アルゴリズムのようなメタヒューリスティックな方法の他にも、勾配法や準ニュートン法などの非線形計画法などの最適化方法、しらみつぶし(例えばbrute forceやexhaust search)やランダム探索などの各種方法を用いることができる。
次に、本実施の形態に係るタイリング図形生成システム100の動作について説明する。
図9に示すように、まず、原図形生成部10は、原図形を生成する(ステップS1)。ここでは、姿勢パラメータ及び視点パラメータの初期値が設定され、設定された各パラメータの値にしたがって仮想的に撮像されたCGモデルが生成され、原図形データ22として記憶部20に格納される。
続いて、タイリング図形生成部11は、原図形の代表点群(初期集団)を生成する(ステップS2)。これにより、図6(A)乃至図6(C)に示すような原図形の代表点群を含む個体が複数生成される。
続いて、タイリング図形生成部11は、タイリング図形を生成する(ステップS3)。ここでは、図7に示すように、図形T1の点Aのように、基本図形(正六角形)を基準として外側にある点については、タイリングしたときに、隣接する図形T2の点Aに対応する部分を内側に変形させる。このような処理を行うことにより、原図形を全体的に変形する。これにより、図8(A)乃至図8(C)に示すようなタイリング図形が生成される(図7と、図8(A)乃至図8(C)とでは原図形は異なっている)。
続いて、タイリング図形生成部11は、生成されたタイリング図形の評価関数F1の値を算出する(ステップS4)。ここでは、上記式(1)に、原図形の代表点群(xi,yi)とタイリング図形の点群(x’i,y’i)が入力され、評価関数F1の値が算出される。この値は、原図形とタイリング図形との形状差の指標となる。
続いて、タイリング図形生成部11は、評価関数F1の値が終了条件を満たすタイリング図形が有るか否かを判定する(ステップS5)。終了条件としては、評価関数F1の値が閾値以下であること(すなわち、原図形とタイリング図形との形状差が小さいこと)を採用することができる。終了条件を満たしていなければ(ステップS5;No)、タイリング図形生成部11は、予定回数(遺伝的アルゴリズムで代表点群を変更した世代数)を終了したか否かを判定する(ステップS6)。この判定が否定されれば(ステップS6;No)、原図形生成部10は、個体(基本図形とそれを変形するパターン,代表点の点数、原図形の代表点群から成る個体)に対して、交叉、選択、突然変異等の遺伝子操作を行って、新たな原図形を生成する(ステップS2)。
このようにして、ステップS5又はS6で判断が肯定されるまで、タイリング図形生成部11は、ステップS2→S3→S4→S5→S6を繰り返す。予定回数が終了すると(ステップS6;Yes)、原図形生成部10は、最適化手法を用いて、姿勢パラメータ及び視点パラメータの値を変更して3次元物体モデルMの新たな2次元CG画像を原図形として生成する(ステップS1)。以降、タイリング図形生成部11は、再び、評価関数F1が終了条件を満たすか(ステップS5;Yes)、予定回数が終了するまで(ステップS6;Yes)、ステップS2〜S6を繰り返す。
評価関数F1の値が終了条件を満たすと(ステップS5;Yes)、タイリング図形生成部11は、その評価関数F1の値を達成したタイリング図形を、タイリング図形データ23として記憶部20に記憶し、処理を終了する。
上述のように、タイリング図形生成システム100は、タイリング図形生成部11で生成されたタイリング図形が、所定の条件(評価関数F1の値が閾値以下)を満たすまで、原図形生成部10が、最適化手法を用いて姿勢パラメータ及び視点パラメータを変更して原図形を生成し、タイリング図形生成部11は、原図形生成部10で決定された原図形を加工して、最適化手法を用いて上記条件を満たすタイリング図形を探索する。
この処理により、図10(A)に示す最適化前の原図形からは、図10(B)に示すタイリング図形が生成されるが、図10(A)の原図形からの形状差が大きくなっている。これに対し、図10(B)に示す最適化後の原図形からは、図10(D)に示すようなタイリング図形が生成されるが、図10(C)の原図形と、図10(D)のタイリング図形との形状差は、明らかに小さくなっている。
なお、ステップS6の判定条件は、予定回数の終了でなく、評価関数F1の値がある程度収束すること(すなわち高止まりすること)としてもよい。
以上詳細に説明したように、本実施の形態によれば、最適化手法を用いた画像の選択により、タイリングに適した原図形を生成する。これにより、タイリング図形をデザインするデザイナーが試行錯誤することなくタイリングに適した原図形を効率的に生成することができる。このため、より確実にタイリング図形を生成することができる。
実施の形態2.
次に、本発明の実施の形態2について説明する。
本実施の形態2に係るタイリング図形生成システム100は、コンピュータグラフィックスでの仮想の3次元物体モデルでなく、実在する3次元物体モデルに基づいてタイリング画像を生成する。
図11に示すように、本実施の形態に係るタイリング図形生成システム100は、システム本体2を備え、システム本体2内に、原図形生成部10、タイリング図形生成部11及び記憶部20を備える。また、タイリング図形生成システム100は、システム本体2の他に、撮像システム1をさらに備える。
撮像システム1は、3次元物体モデルMを撮像するカメラ40と、カメラ40を駆動する駆動機構41と、を備える。ここで、3次元物体モデルMは、コンピュータグラフィックス上の仮想的なものではなく、実体化された有体物である点が、上記実施の形態1と異なる。
カメラ40は、上記実施の形態1に係る仮想的なカメラと同様に、画角等の撮像条件(光学パラメータ)に従って撮像を行う。駆動機構41は、上記実施の形態1と同様に、図4に示す座標系の下で、3次元物体モデルMに対して、視点C(r,θ,φ)の位置にカメラ40を位置決めする。撮像条件(光学パラメータ)及び視点C(r,θ,φ)を含む視点パラメータは、原図形生成部10によって通信ネットワークを介して、駆動機構41及びカメラ40に送信可能である。駆動機構41及びカメラ40は、受信したパラメータに従って、カメラ40の位置決め及び3次元物体モデルMの撮像を行う。
3次元物体モデルMの姿勢は手動で変更可能であるが、3次元物体モデルMが内部に駆動機構41を備え、原図形生成部10が、姿勢パラメータを変更することにより、自動的に3次元物体モデルMの姿勢を変化させることができるようになっていてもよい。
システム本体2を構成する原図形生成部10は、上述のように、撮像システム1に姿勢パラメータ及び視点パラメータを、通信ネットワークを介して送信し、カメラ40で撮像された画像データを、通信ネットワークを介して受信する。原図形生成部10は、受信した2次元画像データを、記憶部20に原図形データ22として記憶する。
タイリング図形生成部11の動作は、上記実施の形態1と同じである。システム全体の動作も、ステップS1の詳細を除いて、上記実施の形態1に係るタイリング図形生成システム100の流れ(図9参照)と全く同じである。ステップS1では、最適化手法により、カメラ40及び駆動機構41へのパラメータの値が変更され、上述のような原図形生成部10によるカメラ40及び駆動機構41へのパラメータの値の設定と、撮像システム1による3次元物体モデルMの撮像が行われ、撮像された画像が、原図形データ22として記憶部20に記憶される。
なお、実施の形態1、2では、タイリング図形を評価する評価関数を、原図形とタイリング図形との形状差を示す評価関数F1としたが、これには限られない。この他、3次元物体モデルMの正面に対するカメラ40の成す角度が大きくなるにつれて、値が大きくなる関数Fを項として組み込んだ以下の評価関数Wを用いるようにしてもよい。
Figure 0006676259
ここで、w1、w2は、それぞれの項の重みである。このようにすれば、できるだけ3次元物体モデルMの正面から撮像した画像を、原図形として用いやすくなる。
また、CG画像における3次元物体モデルMの全体に対する顔以外の部分の比率が大きくなるにつれて値が大きくなる関数F3を取り入れた以下の評価関数Wを用いるようにしてもよい。この場合、F2の項はなくてもよい。
Figure 0006676259
3はその項の重みである。このような評価関数を採用すれば、できるだけ3次元物体モデルMの顔の部分(デザイン上重要視される部分)が大きく写っている画像を、タイリング図形として採用しやすくなる。このように、原図形のうち、デザイン上重要視される部分の重みを重くすることにより、デザイナーが重要視するデザインの特徴をより大きくタイリング図形に反映させることができる。
実施の形態3.
次に、本発明の実施の形態3について説明する。
本実施の形態3に係るタイリング図形生成システム100は、インターネットによる画像検索により得られる画像に基づいてタイリング画像を生成する。
図12に示すように、本実施の形態に係るタイリング図形生成システム100は、インターネット3に接続されている。タイリング図形生成システム100の原図形生成部10は、入力されたキーワードに基づいて、インターネット3上の画像検索を行い、キーワードに関連する複数の画像を取得する。取得した複数の画像は、検索画像データ24として、記憶部20に格納される。例えば、図13に示すように、「猫」というキーワードを入力すれば、インターネット3上にある猫の画像(猫1、猫2、猫3、…、猫K)が複数検索され、検索画像データ24として記憶部20に記憶される。
なお、ここで、原図形生成部10は、取得される画像に対してフィルタリングを行って、著作権法上自由に利用できる画像のみを取得できるようにしてもよい。
原図形生成部10は、取得した複数の画像に基づいて、原画像を生成する。より具体的には、原図形生成部10は、複数の画像を合成することによって、原画像を生成する。ここで、合成とは、図形の対応する画素の輝度値を加算又は減算することや、各図形の一部をつなぎ合わせて1枚の図形を形成すること等、複数の図形を加工して1枚の画像を生成する場合に行われる全ての画像処理を含む。
図13に示すように、キーワード「猫」の画像検索により、猫1、猫2、…、猫Kの画像が得られたとする。原図形生成部10は、これらの画像のうち、例えば、画像「猫1」と画像「猫3」を取り込んで、例えば、モーフィングによりこれらを合成した画像を生成する。モーフィングとは、一方の画像と他方の画像との各点を対応づけて、一方の画像から他方の画像へ順次変形させていくコンピュータグラフィックス処理であり、ここでは、一方の画像から他方の画像へ変形する中間の画像が合成画像として生成される。一方の画像と他方の画像との重みが、t:1−t(0<t<1)となる画像を合成画像として取得すればよい。t=0.5のとき合成画像は、一方の画像の特徴と他方の画像の特徴とを均等に有する画像となる。原図形生成部10は、このようにして、画像「猫1」と画像「猫2」との合成画像を生成し、これを原図形データ22として、記憶部20に記憶する。
タイリング図形生成部11の動作は、上記実施の形態1と同じである。システム全体の動作も、ステップS1の詳細を除いて、上記実施の形態1に係るタイリング図形生成システム100の流れ(図9参照)と全く同じである。
ステップS1では、1巡目では、上述のような原図形生成部10によって指定されたキーワードの検索と、複数の画像の取得と、複数の画像の合成等が行われ、合成画像が、原図形データとして記憶部20に記憶される。
2巡目以降のステップS2では、原図形生成部10は、合成する画像の組み合わせ及び上記モーフィングのパラメータtなどを、最適化手法を用いて変更して(例えば、図12の画像「猫1」と画像「猫2」を新たな組み合わせとする等)、新たに合成画像を生成し、原図形データ22として記憶部22に格納すればよい。このようにすれば、取得された全ての画像の組み合わせで、タイリングに適した原画像を自動的に探索することが可能になる。
以上詳細に説明したように、本実施の形態によれば、最適化手法を用いた画像の合成により、タイリングに適した原図形を生成する。これにより、タイリング図形をデザインするデザイナーが試行錯誤することなくタイリングに適した原図形を効率的に生成することができる。このため、より確実にタイリング図形を生成することができる。
なお、複数の画像は、インターネットでキーワード検索により得られたものには限られない。例えば、自らが作成した複数の画像や、他のメディアから得られた画像を用いても良い。画像の入手元には限定されない。
実施の形態4.
次に、本発明の実施の形態4について説明する。
本実施の形態では、タイリング図形生成部11は、タイリング図形に従ってデザインされた部材の強度、安全性及び機能性の条件を考慮して、タイリング図形を生成する。ここでは、部材の形成に用いられる素材に基づいて強度、安全性が考慮され、部材に要求される機能に基づいて、その機能性が考慮される。
図14に示すように、本実施の形態に係るタイリング図形生成システム100の構成は、原図形生成部10及びタイリング図形生成部11の他、タイリング図形調整部12をさらに備える。タイリング図形調整部12は、タイリング図形生成部11で生成されたタイリング図形が、タイリング図形に従ってデザインされた部材に求められる強度、安全性及び/又は機能性を満たすことを条件として、タイリング図形を決定する。
例えば、図15(A)に示すように、タイリング図形の一部の幅Wcが、部材の強度、安全性及び/又は機能性を保つことができる許容値(最小値)よりも小さな部分を有する場合には、タイリング図形調整部12は、その部分の幅Wcが最小値以上となるように、タイリング図形を修正する。また、図15(B)に示すように、タイリング図形に強度、安全性及び/又は機能性を保つことができない程度の突起がある場合も同様である。突起の場合には、タイリング図形調整部12は、その突起の幅dに対する突出長さhのアスペクト比h/dが許容値(最大値)以下となるように、タイリング図形が修正される。
このような部材の幅Wcの許容値(最小値)、突起のアスペクト比h/dの許容値(最大値)は、部材の素材に依存する。例えば、部材が緩衝材として用いられ、素材がスポンジであった場合に、部材が緩衝材の機能を果たせる程度の幅を有することができる程度に最小幅Wcが決められている。また、部材が玩具であり、素材が木材等である場合には、危険とならないようにアスペクト比h/dの許容値(最大値)が定められている。場合によっては、タイリング図形調整部12は、タイル間に多少の隙間が生じても、安全性を確保すべき場合には、タイリング図形の外縁から突起を切り取る。
図16に示すように、本実施の形態に係るタイリング図形生成システム100の動作は、ステップS1〜S6まで、上記実施の形態1に係るタイリング図形生成システム100と同じである。ステップS5で判断が肯定された後、タイリング図形調整部12は、上述のようにして、タイリング図形の調整を行う(ステップS7)。
なお、本実施の形態では、タイリング図形生成部11により、タイリング図形が生成された後に、生成されたタイリング図形をタイリング図形調整部12で調整したが、タイリング図形生成部11で用いられる評価関数Wの中に、強度、安全性及び/又は機能性に関する項(強度等の低下に応じて値が大きくなるような項)を設けて、タイリング図形の最適化を行うようにしてもよい。
実施の形態5.
次に、本発明の実施の形態5について説明する。
上記実施の形態では、原図形からタイリング図形の輪郭の変形に応じた比率で、内部のパターンをそのまま変化させたが、本実施の形態では、内部パターンの一部の特徴を残しつつ、内部パターンを変形させる。
図17に示すように、本実施の形態に係るタイリング図形生成部11は、輪郭生成部15と、内部パターン変形部16と、を備える。輪郭生成部15は、2次元の原図形を加工して、原図形と類似し、かつ、同一形状の平行移動、回転、鏡像反転によって平面を隙間無く埋め尽くすことができるタイリング図形の輪郭(タイリング図形輪郭データ25)を生成する。内部パターン変形部16は、原図形の輪郭(原図形データ22の輪郭データ)から、輪郭生成部15で生成された輪郭(タイリング図形輪郭データ25)への変形に応じて、内部パターンの特徴を残した状態で内部パターンを変形させて、タイリング図形の内部パターンを生成し、タイリング図形輪郭データ25と生成された内部パターンとを合成して、タイリング図形データ23を生成する。
内部パターンの特徴を残した状態で内部パターンを変形させる方法には、例えば、リターゲティング(retargeting)がある。内部パターン変形部16は、原図形の内部パターンの中から、特徴を残したい内部パターンを選択する。この選択は、操作部34の操作入力により、ユーザが行うようにしてもよいし、内部パターンのうち、例えば、顔とみなせる部分を自動的に抽出して、その部分を、特徴を残す部分として自動的に特定するようにしてもよい。
内部パターン変形部16は、特徴を残したい内部パターンについては、変形させず、その他の内部パターンのみ輪郭の変形に合わせて変形させる。例えば、図18(A)の図形の輪郭を、図18(B)に示すように変更した場合について考える。この場合、内部パターン「ABC」が、特徴を残したい内部パターンとして選択された場合、他の内部パターンは、輪郭の変形によって変形し、内部パターン「ABC」は変形せず、そのままの状態でタイリング図形の中に残る。
図19に示すように、本実施の形態に係るタイリング図形生成システム100の動作は、ステップS1〜S6まで、上記実施の形態1に係るタイリング図形生成システム100と同じである。ステップS2〜S6の処理は、タイリング図形生成部11の輪郭生成部15が行う。ステップS5で判断が肯定された後、タイリング図形生成部11の内部パターン変形部16は、例えばリターゲティングを行って内部パターンの変形を行い、タイリング図形データ23を生成する(ステップS8)。
なお、内部パターンの変形については、FFD(Free Form Deformation)法を用いた方法も適用可能である。FFD法とは、3次元物体の周辺に制御格子点を設定し、制御格子点を移動することによって、物体の形状をなめらかに変換するコンピュータグラフィックスの方法である。FFD法を用いても、内部パターンを、特徴のある主要部と、その他の部分に分けて、その他の部分のみ輪郭の変形に合わせて変形させることが可能である。
その他、混合ガウス分布を用いても、内部パターンの変形が可能である。混合ガウス分布は、点群で表される形状データを一種の確率分布とみなし、確率分布の一致度を最小化することにより陽に対応関係を求めることなく変形位置合わせを行う方法である。内部パターンを、互いに結合した点群で表現し、その点群を1つの確率分布モデルとみなして点群の各点を移動させることで、内部パターンを変形させることができる。
なお、本実施の形態では、特徴を残したい内部パターンを輪郭の変形に合わせて変形させないようにしたが、特徴を残したい内部パターンを輪郭の変形に合わせて少し変形させるようにしてもよい。すなわち、特徴を残したい内部パターンの変形が、他の部分の変形よりも抑制され、タイリング図形にその特徴が残っている状態となっていればよい。
また、内部パターン変形部16は、内部パターンを簡略化した後に、輪郭の変形に合わせて変形させるようにしてもよい。例えば、図20(A)に示す図形における内部パターンは、図20(B)に示すように簡略化される。この簡略化は、内部パターンを線分だけにしたり、隣接して延びる複数の平行線分の一方を削除したり、孤立線を削除したりするなどの所定の規則で行うことができる。
なお、本実施の形態及び上記実施の形態4では、コンピュータグラフィックスによる仮想的な3次元物体モデルMを用いて原図形を生成したが、これには限られない。上記実施の形態2で説明したように、実体のある3次元物体モデルMを撮像して、原図形を生成するようにしてもよいし、上記実施の形態3で説明したように、複数の画像を合成することにより生成された原図形を用いても良い。また、自分で設計した原図形を用いてもよい。すなわち、原図形の入手元には制限されない。
また、上述のFFD法、混合ガウス分布は、内部パターンの変形だけでなく、原図形を取得する場合にも用いることができる。例えば、既存の図形をFFD法、混合ガウス分布を用いて変形した図形を原図形として用いることができる。この場合、既存の図形は、インターネットの画像検索により取得されたものであってもよい。
また、上記各実施の形態では、複数の画像の合成や1枚の画像の変形により、原図形を生成したが、各画像を変形させ、さらに変形した複数の画像を合成して、原図形を生成してもよい。すなわち、画像の合成及び変形を適宜組み合わせて行うようにしてもよい。
上記各実施の形態で、生成されたタイリング図形のデザインは、コースター、鍋敷き、玩具、アクセサリ等のデザインに利用することができる。
この発明は、この発明の広義の精神と範囲を逸脱することなく、様々な実施の形態及び変形が可能とされるものである。また、上述した実施の形態は、この発明を説明するためのものであり、この発明の範囲を限定するものではない。すなわち、この発明の範囲は、実施の形態ではなく、特許請求の範囲によって示される。そして、特許請求の範囲内及びそれと同等の発明の意義の範囲内で施される様々な変形が、この発明の範囲内とみなされる。
本発明は、タイリング図形を生成するのに適用することができる。
1 撮像システム、2 システム本体、3 インターネット、10 原図形生成部、11 タイリング図形生成部、12 タイリング図形調整部、15 輪郭生成部、16 内部パターン変形部、20 記憶部、21 3次元物体モデルデータ、22 原図形データ、23 タイリング図形データ、24 検索画像データ、25 タイリング図形輪郭データ、30 内部バス、31 制御部、32 主記憶部、33 外部記憶部、34 操作部、35 表示部、36 通信部、39 プログラム、40 カメラ、41 駆動機構、100 タイリング図形生成システム、M 3次元物体モデル。

Claims (16)

  1. 像の合成及び/又は選択により、原図形を生成する原図形生成部と、
    前記原図形生成部で生成された前記原図形を加工して、前記原図形生成部で生成された前記原図形との所定の数式で算出した形状差が閾値を下回り、かつ、平面上に重複なく連続して敷き詰めたときに、その平面を埋め尽くすことができるタイリング図形を最適化手法を用いて生成するタイリング図形生成部と、
    を備えるタイリング図形生成システム。
  2. 前記タイリング図形生成部で生成された前記タイリング図形が、前記形状差が閾値を下回るまで、
    前記原図形生成部は、
    像の合成及び/又は選択により、生成される原図形を変更し、
    前記タイリング図形生成部は、
    前記原図形生成部で生成された前記原図形を加工して、前記形状差が閾値を下回る前記タイリング図形を最適化手法を用いて探索する、
    請求項1に記載のタイリング図形生成システム。
  3. 前記原図形生成部は、
    3次元物体モデルを撮像する撮像光学系の位置及び撮像条件及び/又は前記3次元物体モデルを変形させながら、前記3次元物体モデルを撮像したときに得られる画像を、前記原図形として生成する、
    請求項2に記載のタイリング図形生成システム。
  4. 前記3次元物体モデルは、
    コンピュータグラフィックスの仮想モデル又は有体物である、
    請求項3に記載のタイリング図形生成システム。
  5. 前記原図形生成部は、
    複数の画像を合成及び/又は1枚の画像を変形することによって、前記原図形としての原画像を生成する、
    請求項2に記載のタイリング図形生成システム。
  6. 前記原図形生成部は、
    キーワードを用いた画像検索によりインターネットから画像を取得し、
    取得した複数の画像を合成及び/又は取得した1枚の画像を変形する、
    請求項5に記載のタイリング図形生成システム。
  7. 記タイリング図形生成部で生成された前記タイリング図形の一部の幅が、許容値以上となるように前記タイリング図形を調整するタイリング図形調整部を備える
    請求項1から6のいずれか一項に記載のタイリング図形生成システム。
  8. 前記タイリング図形調整部は、
    前記タイリング図形生成部で生成された前記タイリング図形において、隣接する両端の外縁から突出する部分のアスペクト比が許容値を超える場合には、その部分を切り取る、
    請求項7に記載のタイリング図形生成システム。
  9. 輪郭と、輪郭内側の内部パターンとで構成された原図形を加工して、平面上に重複なく連続して敷き詰めたときに、その平面を埋め尽くすことができるタイリング図形の輪郭を生成する輪郭生成部と、
    前記原図形の輪郭から前記輪郭生成部で生成された輪郭への変形に応じて、前記内部パターンの中から選択された内部パターンを変形させず、残りの前記内部パターンを変形する内部パターン変形部と、
    を備えるタイリング図形生成システム。
  10. 前記内部パターン変形部は、
    前記原図形の内部パターンを簡略化した後に、前記原図形の内部パターンを変形させる、
    請求項9に記載のタイリング図形生成システム。
  11. コンピュータが、画像の合成及び/又は選択により、原図形を生成する原図形生成ステップと、
    コンピュータが、前記原図形生成ステップで生成された前記原図形を加工して、前記原図形生成ステップで生成された前記原図形との所定の数式で算出した形状差が閾値を下回り、かつ、平面上に重複なく連続して敷き詰めたときに、その平面を埋め尽くすことができるタイリング図形を最適化手法を用いて生成するタイリング図形生成ステップと、
    を含むタイリング図形生成方法。
  12. ンピュータが、前記タイリング図形生成ステップで生成された前記タイリング図形の一部の幅が、許容値以上となるように前記タイリング図形を調整するタイリング図形調整ステップを含む
    請求項11に記載のタイリング図形生成方法。
  13. コンピュータが、輪郭と、輪郭内側の内部パターンとで構成された原図形を加工して、平面上に重複なく連続して敷き詰めたときに、その平面を埋め尽くすことができるタイリング図形の輪郭を生成する輪郭生成ステップと、
    コンピュータが、前記原図形の輪郭から前記輪郭生成ステップで生成された輪郭への変形に応じて、前記内部パターンの中から選択された内部パターンを変形させず、残りの前記内部パターンを変形する内部パターン変形ステップと、
    を含むタイリング図形生成方法。
  14. コンピュータを、
    像の合成及び/又は選択により、原図形を生成する原図形生成部、
    前記原図形生成部で生成された前記原図形を加工して、前記原図形生成部で生成された前記原図形との所定の数式で算出した形状差が閾値を下回り、かつ、平面上に重複なく連続して敷き詰めたときに、その平面を埋め尽くすことができるタイリング図形を最適化手法を用いて生成するタイリング図形生成部、
    として機能させるプログラム。
  15. コンピュータを、
    記タイリング図形生成部で生成された前記タイリング図形の一部の幅が、許容値以上となるように前記タイリング図形を調整するタイリング図形調整部、
    として機能させる
    請求項14に記載のプログラム。
  16. コンピュータを、
    輪郭と、輪郭内側の内部パターンとで構成された原図形を加工して、平面上に重複なく連続して敷き詰めたときに、その平面を埋め尽くすことができるタイリング図形の輪郭を生成する輪郭生成部、
    前記原図形の輪郭から前記輪郭生成部で生成された輪郭への変形に応じて、前記内部パターンの中から選択された内部パターンを変形させず、残りの前記内部パターンを変形する内部パターン変形部、
    として機能させるプログラム。
JP2015239057A 2015-12-08 2015-12-08 タイリング図形生成システム、タイリング図形生成方法及びプログラム Active JP6676259B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2015239057A JP6676259B2 (ja) 2015-12-08 2015-12-08 タイリング図形生成システム、タイリング図形生成方法及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015239057A JP6676259B2 (ja) 2015-12-08 2015-12-08 タイリング図形生成システム、タイリング図形生成方法及びプログラム

Publications (2)

Publication Number Publication Date
JP2017107310A JP2017107310A (ja) 2017-06-15
JP6676259B2 true JP6676259B2 (ja) 2020-04-08

Family

ID=59060724

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015239057A Active JP6676259B2 (ja) 2015-12-08 2015-12-08 タイリング図形生成システム、タイリング図形生成方法及びプログラム

Country Status (1)

Country Link
JP (1) JP6676259B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7212908B2 (ja) * 2020-08-25 2023-01-26 株式会社セルシス 3次元ポーズデータ生成システム、方法、プログラム
CN114139280B (zh) * 2021-11-29 2024-04-26 江苏科技大学 一种多块ffd框体重合特征识别及变形控制方法

Also Published As

Publication number Publication date
JP2017107310A (ja) 2017-06-15

Similar Documents

Publication Publication Date Title
US10748324B2 (en) Generating stylized-stroke images from source images utilizing style-transfer-neural networks with non-photorealistic-rendering
Chai et al. Dynamic hair manipulation in images and videos
US8731876B2 (en) Creating editable feature curves for a multi-dimensional model
JP2018109976A (ja) 深度センサノイズ
US9881417B2 (en) Multi-view drawing apparatus of three-dimensional objects, and method
JP7294788B2 (ja) 3d配置のタイプに応じた2d画像の分類
US10210668B2 (en) Technique for extruding a 3D object into a plane
JP2009042811A (ja) 3次元形状展開装置、3次元形状展開方法、および3次元形状展開用プログラム
JP2023071722A (ja) 画像を入力とする関数を学習するためのデータセット
KR20140142679A (ko) 2차원 뷰들로 3차원 모델링된 오브젝트의 설계
JP2011048586A (ja) 画像処理装置および画像処理方法、並びにプログラム
US10169891B2 (en) Producing three-dimensional representation based on images of a person
US20180165860A1 (en) Motion edit method and apparatus for articulated object
JP2022036918A (ja) 人工知能の使用による3dオブジェクトへのuvマッピング
JP2020177495A (ja) 動画生成装置、動画生成方法、プログラム、記憶媒体
JP6676259B2 (ja) タイリング図形生成システム、タイリング図形生成方法及びプログラム
US8358311B1 (en) Interpolation between model poses using inverse kinematics
CN106716500B (zh) 一种信息处理装置及深度定义方法
JP4736755B2 (ja) モデリング装置、領域抽出装置、モデリング方法及びプログラム
KR102233148B1 (ko) 건축 문화재 모델링 장치 및 방법
US8704828B1 (en) Inverse kinematic melting for posing models
WO2020129660A1 (ja) 3次元モデル編集装置および3次元モデル編集方法、並びにプログラム
JP2020013390A (ja) 情報処理装置、情報処理プログラム及び情報処理方法
JP7251003B2 (ja) 細かいしわを有する顔メッシュ変形
JP2021039563A (ja) 教師データとしてのデプス画像にラベルを付与するプログラム、装置及び方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20181025

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190717

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190723

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190906

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200225

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200305

R150 Certificate of patent or registration of utility model

Ref document number: 6676259

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250