JP5594088B2 - 製造ラインの検討システム - Google Patents

製造ラインの検討システム Download PDF

Info

Publication number
JP5594088B2
JP5594088B2 JP2010260249A JP2010260249A JP5594088B2 JP 5594088 B2 JP5594088 B2 JP 5594088B2 JP 2010260249 A JP2010260249 A JP 2010260249A JP 2010260249 A JP2010260249 A JP 2010260249A JP 5594088 B2 JP5594088 B2 JP 5594088B2
Authority
JP
Japan
Prior art keywords
database
video
virtual
product
vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2010260249A
Other languages
English (en)
Other versions
JP2012113418A (ja
Inventor
徹 福田
靖 水津
有紀子 青山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Priority to JP2010260249A priority Critical patent/JP5594088B2/ja
Publication of JP2012113418A publication Critical patent/JP2012113418A/ja
Application granted granted Critical
Publication of JP5594088B2 publication Critical patent/JP5594088B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02PCLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30Computing systems specially adapted for manufacturing

Landscapes

  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Processing Or Creating Images (AREA)

Description

本発明は、製造ラインを構築する際に、製造設備と製品の干渉の有無や作業者の作業性等を事前に検討するためのシステムである製造ラインの検討システムの技術に関する。
従来、新たな製造ラインを構築する際には、当該製造ラインに導入する予定の製造設備が、他の設備や製造ライン上の製品に干渉することなく問題なく稼動できることや、作業者が製造ライン上で作業性良く作業を行うことができること等を、事前のシミュレーションにより確認して、製造設備等の配置を検討することが一般的に行われている。
また、このような検討作業においては、製品の試作品等を実際に配置して、シミュレーションを行う場合があるが、製品が車両等の大型の物体である場合には、製造ラインに試作品(試作車両)を配置するのに手間が掛かるという問題があった。
そこで、このような製造ラインにおける検討作業を、パーソナルコンピュータ等により仮想モデルを生成することによって、画面上の仮想モデルを用いて三次元シミュレーションを行うことができる技術が開発されており、例えば、以下に示す特許文献1に開示され、公知となっている。
特許文献1に開示された従来技術では、製造ラインの構築に関連する部品・工程・配置・資源等の製品・製造データベースに基づいて工程フローを作成し、工程フローと、製品を製造するための少なくとも設備および作業者からなる製造資源情報と、製品を製造する場所の制約条件とに基づいて製造資源をレイアウト配置し、このレイアウト設計結果と製造資源情報とに基づいて、製造ライン仮想モデルを生成し、この製造ライン仮想モデルを用いて製造ラインの動きをシミュレーションする構成としている。
このような構成により、実際の製品を、実際の製造設備に配置することなく、容易に製造ラインにおける製造設備の配置等を検討することを可能にしている。
特開2003−44115号公報
しかしながら、製造設備の改造や、製品および当該製品を構成する部品の設計変更等は頻繁に行われるのが通常であり、仮想モデルによる検討を正確に行うためには、製品・製造データベースを、常に最新の情報に維持しておくことが必要となり、データベースの整備に多大なる労力が掛かっていた。
また、データベースの整備が不十分であると、製造ラインを構築した後に、検討したにも関わらず結局手戻りが発生する場合も少なくなかった。
このため、データベースの整備に要する労力を軽減させつつ、検討精度を向上させて、最終的な手戻りを少なくできる検討システムの開発が望まれていた。
本発明は、斯かる現状の課題を鑑みてなされたものであり、製造ラインの構築に際して、製造設備等の三次元データの整備に係る労力を軽減させつつ、検討精度を向上させて、手戻りの発生を抑制することができる製造ラインの検討システムを提供することを目的としている。
本発明の解決しようとする課題は以上の如くであり、次にこの課題を解決するための手段を説明する。
即ち、請求項1においては、製品および該製品を構成する部品の三次元形状データを有する製品データベースと、前記製品を製造するための製造設備の三次元形状データを有する製造設備データベースと、前記製品および前記製造設備が配置される工程スペースの三次元形状データを有する工程データベースと、前記製品、前記部品、前記製造設備および前記工程スペースのうち、検討作業を行う作業者の目前に実物が存在するものと存在しないものを、現実の工程スペースの撮影データから判定するリアル映像判定手段と、前記リアル映像判定手段の判定結果に基づき、前記製品、前記部品、前記製造設備および前記工程スペースのうち、検討作業を行う作業者の目前に実物が存在しないものについて、前記製品データベース、前記製造設備データベースおよび前記工程データベースに基づいて、仮想の各三次元映像を生成する仮想映像生成手段と、前記作業者の目前に、前記仮想映像生成手段により生成した仮想の各三次元映像を、前記製品、前記部品、前記製造設備および前記工程スペースのうち、前記作業者の目前に実物が存在するものの当該実物の映像と、位置合せしつつ表示する仮想映像表示手段と、を備えるものである。
本発明の効果として、以下に示すような効果を奏する。
請求項1においては、データベースの整備に要する手間を省くことができ、また、検討精度を向上させることができる。
本発明の一実施形態に係る検討システムの全体構成を示す模式図。 本発明の一実施形態に係る検討システムの使用状況を示す模式図。 本発明の一実施形態に係る検討システムにおける映像入力部および映像表示部を示す模式図、(a)映像入力部および映像表示部を示す側面模式図、(b)図3(a)に示すX方向視において映像表示部に表示される映像を示す模式図。 本発明の一実施形態に係る検討システムにおけるリアル映像とバーチャル映像の合成状況を示す模式図、(a)リアル映像とバーチャル映像の第一の合成態様を示す図、(b)リアル映像とバーチャル映像の第二の合成態様を示す図。 本発明の一実施形態に係る検討システムによる検討状況を示す模式図。 本発明の一実施形態に係る検討システムにおいて作業者が認識する映像を示す模式図、(a)車両がバーチャル映像である場合を示す図、(b)製造装置、治具、部品および工程スペースがバーチャル映像である場合を示す図。
次に、発明の実施の形態を説明する。
まず始めに、本発明の一実施形態に係る製造ラインの検討システムの全体構成について、図1〜図4を用いて説明をする。
尚、本実施形態では、製造ラインで製造する製品が車両である場合を例示して説明をするが、本発明に係る製造ラインの検討システムの適用対象たる製造ラインを車両の製造ラインに限定するものではない。
図1および図2に示す如く、本発明の一実施形態に係る製造ラインの検討システムである検討システム1は、工程スペース14に導入される製造設備12および治具13によって、製品たる車両10および部品11の製造(組立)が適切に行えるかどうかを事前に検討するためのシステムであり、車両データベース2、製造設備データベース3、工程データベース4、演算装置5、映像入力部6、映像表示部7等を備えている。
車両データベース2は、製造設備12により製造する(組み立てる)対象製品たる車両10と、当該車両10を構成する各部品11・11・・・についての三次元形状に係るデータが予め記憶されているデータベースである。
具体的には、例えば、車両データベース2には、車両10の外形寸法や、該車両10を構成するフレームの形状および寸法、および車両10に搭載される部品11(例えば、エンジンやバッテリー等)の形状および寸法等、に係るデータが記憶されている。
製造設備データベース3は、製造設備12についての三次元形状に係るデータが予め記憶されているデータベースである。
尚、この製造設備データベース3には、製造設備12の本体に係るデータのみならず、製造設備12と同時に使用される治具13に係るデータも記憶されている。
具体的には、例えば、製造設備データベース3には、製造設備12の形状および寸法や、治具13の形状および寸法等、に係るデータが記憶されている。
工程データベース4は、製造設備12が導入される工程スペース14の三次元形状に係るデータが予め記憶されているデータベースである。
具体的には、例えば、工程データベース4には、製造設備12を配置する建屋の形状および寸法や、製造設備12の配置場所に既に設置されている他の設備の形状、寸法、排置位置等、に係るデータが記憶されている。
また、工程データベース4には、製造設備12を用いた製造工程における製造順序に係る情報が記憶されている。
具体的には、例えば、工程データベース4には、車両10を構成する各部品11・11・・・がどのタイミングで組み付けられていくかという情報が記憶されており、この組立順序に係る情報と、車両データベース2に記憶されている車両10の形状に係る情報と組み合わせることによって、車両10の製造工程の進行状況に応じて、そのときの車両10の組立状態を仮想的に再現することができる。
演算装置5は、製造設備12の検討に用いられる仮想の三次元モデル(以下、バーチャル映像Vと呼ぶ)を演算により生成するための装置であり、各データベース2・3・4、と接続されている。
そして、演算装置5は、各データベース2・3・4に記憶されている各情報に基づいて、車両10、部品11、製造設備12、治具13、工程スペース14等のバーチャル映像Vを生成することができる。
また、演算装置5は、現実に存在する物体の映像(以下、リアル映像Rと呼ぶ)を取り込んで、リアル映像Rに基づいて、現実に存在する物体の配置を演算により算出するとともに、この算出結果と整合するように、リアル映像Rとバーチャル映像Vとを位置合せして、リアル映像Rとバーチャル映像Vが混在した仮想三次元モデルを生成することができる。
尚、ここでいう「リアル映像R」は、検討作業を行っている作業者が直接的に視認できる物体の映像や、当該作業者の視野範囲に存在する物体のカメラ等を介して間接的に視認できる映像の両方を含む概念として規定している。
図2および図3(a)(b)に示す如く、映像入力部6は、作業者の視野範囲に現実に存在する車両10、部品11、製造設備12、治具13、工程スペース14等のリアル映像Rを演算装置5に入力するための部位である。
映像入力部6としては、例えば、作業者の頭部や顔面等に装着して、当該作業者の視野範囲に存在する物体を撮影することができるカメラ等を採用することができる。
また、映像入力部6によりリアル映像Rを演算装置5に取り込む場合には、同時に作業者の視野範囲に配置された基準位置を設定するための複数のマーカー15・15・・・の映像を取り込む構成としており、各マーカー15・15・・・の見え方に応じて、演算装置5によって、作業者の視点位置や視線方向を判断する構成としている。
映像表示部7は、作業者の視野範囲において、演算装置5によって生成したバーチャル映像Vを表示することができる装置であり、例えば、メガネ状の形態であって、レンズに相当する部位に、映像を映し出すことができるスクリーン7aを配置した、図3(a)(b)に示すような態様の映像表示部7を採用することができる。
また、図4(a)に示す如く、映像表示部7は、映像入力部6により演算装置5に入力された車両10、部品11、製造設備12、治具13、工程スペース14等のリアル映像Rを、演算装置5により生成したバーチャル映像Vと同時に表示することが可能であり、マーカー15・15・・・の位置を基準としてリアル映像Rとバーチャル映像Vを位置合せしつつ、各映像R・Vを表示することができる。
あるいは、図4(b)に示す如く、映像表示部7のスクリーン7aを透過性のある素材で構成することにより、作業者がスクリーン7aを透過して現実に存在する物体のリアル映像Rを直接視認するとともに、スクリーン7aに表示されるバーチャル映像Vを作業者に視認させることによって、マーカー15・15・・・の位置を基準としてリアル映像Rとバーチャル映像Vを位置合せしつつ、バーチャル映像Vのみを表示する構成とすることも可能である。
尚、本実施形態では、マーカー15・15・・・の位置を基準として、リアル映像Rとバーチャル映像Vを位置合せする構成としているが、例えば、映像表示部7に作業者の位置や視線方向等を検出するための位置センサを設ける構成とし、当該位置センサにより検出した位置情報に基づいて、リアル映像Rとバーチャル映像Vを位置合せする構成等も採用し得る。
そして、例えば、映像表示部7を透過性のある素材で構成する場合において、位置センサにより検出した位置情報に基づいて、リアル映像Rとバーチャル映像Vを位置合せする構成とする場合には、映像入力部6を省略することが可能である。
次に、本発明の一実施形態に係る検討システム1による検討状況について、図5および図6を用いて説明をする。
まず始めに、検討システム1による第一の検討状況として、部品11、製造設備12(治具13)および工程スペース14が現実に存在する場合であって、試作された車両10を仮想モデル化して組立作業の検討を行う場合について説明をする。
尚、本実施形態では、説明の便宜上、図6(a)(b)において、現実に存在する物体には(R)の文字を付して表示しており、仮想モデルには(V)の文字を付して表示するようにしている。
図5に示す如く、映像表示部7を装着した作業者Aは、その視野において、車両10、部品11、製造設備12、治具13、工程スペース14を視認している。
ここで、作業者Aが視認している映像は、図6(a)に示すように、現実に存在する工程スペース14に配置された製造設備12の所定位置に、バーチャル映像Vとして映し出される車両10と、現実に存在する治具13を用いて把持した部品11である。
そして、図5および図6(a)に示す如く、例えば、検討作業を行う作業者Aが、現実に存在する治具13を使用して、現実の部品11を把持するとともに、映像表示部7にバーチャル映像Vとして映し出された車両10のボンネット内に向かって、現実に存在する部品11を組み付けるように実際に動作する。
これにより、製造設備12において、治具13を用いた部品11の取り付け作業が、作業性よく行うことができるか否かや、エルゴノミクスの観点から見た作業者Aに対する腕や手首等への負担を検討することができる。
そして、映像入力部6および映像表示部7を複数組み備える構成とすることにより、この検討に係る作業状況(即ち、作業者Aの動作状況)は、図5に示すように、別の作業者Bが、別の視点位置および視線方向から見た状態を含めて検討することが可能になる。
これにより、実際に組立作業のシミュレーションを行っている作業者Aの視点からでは把握しにくい点(例えば、作業姿勢が適切であるかどうか等のエルゴノミクスの観点から見た作業性や作業者Bの死角となる部位に隙間が確保されているか否か等)についても、容易に検討をすることができ、より精度の高い(手戻りのない)検討を行うことができる。
尚、本実施形態では、映像入力部6および映像表示部7を二組組み備える構成の検討システム1を例示しているが、三組以上の映像入力部6および映像表示部7を備える構成とすることも可能である。
次に、検討システム1による第二の検討状況として、車両10が現実に存在する場合であって、部品11、製造設備12(治具13)および工程スペース14を仮想モデル化して製造ラインの検討を行う場合について説明をする。
図5に示す如く、映像表示部7を装着した作業者Aは、その視野において、車両10、部品11、製造設備12、治具13、工程スペース14を視認している。
ここで、作業者Aが視認している映像は、図6(b)に示すように、バーチャル映像Vとして映し出された工程スペース14に配置されたバーチャル映像Vの製造設備12の所定位置に、リアル映像Rの車両10と、バーチャル映像Vとして映し出される治具13を用いて把持したバーチャル映像Vの部品11である。
ここで作業者Aは、治具13の代替となる部材であってマーカー15を付設したダミー治具16を把持している。
そして、図5および図6(b)に示す如く、例えば、検討作業を行う作業者Aが、ダミー治具16を用いて、映像表示部7にバーチャル映像Vとして映し出された治具13を実際に操作するように動作して、仮想の部品11を仮想の治具13によって把持する状態を仮想モデル化して表示するとともに、現実に存在する車両10のボンネット内に向かって、仮想モデル化された部品11を組み付ける動作を行う。
このような場合でも、製造設備12において、部品11を治具13を用いて作業性よく組み付けることができるか否かや、エルゴノミクスの観点から見た腕や手首等への負担を検討することができる。
そして、映像入力部6および映像表示部7を複数組み備える構成であれば、この第二の検討状況における作業状況においても、第一の検討状況と同様、図5に示すように、別の作業者Bが、別の視点位置および視線方向から見た作業状況を含めて、さらに詳細な検討をすることが可能である。
尚、検討システム1による第一の検討状況の場合、製造設備12が現実に存在しているため、検討システム1の構成において、製造設備データベース3を省略することも可能である。
また、検討システム1による第二の検討状況の場合、車両10が現実に存在しているため、検討システム1の構成において、車両データベース2のうち、車両10の全体形状に係るデータベースを省略することが可能であり、車両10を構成するための各部品11・11・・・に関する三次元形状の情報のみをデータベースに記憶しておく構成とすることが可能である。
即ち、本実施形態に係る検討システム1では、現実に存在している物体から得られるリアル映像Rを必ず使用するもの(即ち、バーチャル映像Vを生成する必要がないもの)については、その物体に係るデータベースを省略する構成とすることが可能である。
このように、本発明の一実施形態に係る製造ラインの検討システム1では、検討を行う作業者の目前において現実に存在している物体は、リアル映像Rを表示して、現実に存在していない物体は、バーチャル映像Vを生成する構成としているため、検討に必要な三次元モデルの全てをデータベースとして整備しておく必要がなく、各データベース2・3・4に記憶させておく情報を入力する手間を従来に比して軽減することができる。
また、本発明の一実施形態に係る製造ラインの検討システム1では、一部を現実に存在する物体をそのまま用いて検討するため、検討精度をより高めることができる。
即ち、本発明の一実施形態に係る組立装置の検討システム1は、製品たる車両10および該車両10を構成する部品11の三次元形状データを有する製品データベースである車両データベース2と、車両10を製造するための製造設備12および治具13の三次元形状データを有する製造設備データベース3と、車両10および製造設備12が配置される工程スペース14の三次元形状データを有する工程データベース4と、車両10、部品11、製造設備12および工程スペース14のうち、検討作業を行う作業者の目前に実物が存在しないものについて、車両データベース2、製造設備データベース3および工程データベース4に基づいて、仮想の各三次元映像(バーチャル映像V)を生成する仮想映像生成手段たる演算装置5と、作業者の目前に、演算装置5により生成したバーチャル映像Vを、車両10、部品11、製造設備12および工程スペース14のうち、作業者の目前に実物が存在するものの当該実物の映像(リアル映像R)と、位置合せしつつ表示する映像表示手段たる映像表示部7と、を備えるものである。
このような構成により、三次元形状データの準備に要する手間を省略することができ、また、検討精度を向上させることができる。
1 検討システム
2 車両データベース
3 製造設備データベース
4 工程データベース
5 演算装置
6 映像入力部
7 映像表示部
10 車両
11 部品
12 組立装置
13 組立用治具
14 工程スペース

Claims (1)

  1. 製品および該製品を構成する部品の三次元形状データを有する製品データベースと、
    前記製品を製造するための製造設備の三次元形状データを有する製造設備データベースと、
    前記製品および前記製造設備が配置される工程スペースの三次元形状データを有する工程データベースと、
    前記製品、前記部品、前記製造設備および前記工程スペースのうち、検討作業を行う作業者の目前に実物が存在するものと存在しないものを、現実の工程スペースの撮影データから判定するリアル映像判定手段と、
    前記リアル映像判定手段の判定結果に基づき、前記製品、前記部品、前記製造設備および前記工程スペースのうち、検討作業を行う作業者の目前に実物が存在しないものについて、前記製品データベース、前記製造設備データベースおよび前記工程データベースに基づいて、仮想の各三次元映像を生成する仮想映像生成手段と、
    前記作業者の目前に、
    前記仮想映像生成手段により生成した仮想の各三次元映像を、
    前記製品、前記部品、前記製造設備および前記工程スペースのうち、前記作業者の目前に実物が存在するものの当該実物の映像と、
    位置合せしつつ表示する仮想映像表示手段と、
    を備える、
    ことを特徴とする製造ラインの検討システム。
JP2010260249A 2010-11-22 2010-11-22 製造ラインの検討システム Expired - Fee Related JP5594088B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2010260249A JP5594088B2 (ja) 2010-11-22 2010-11-22 製造ラインの検討システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010260249A JP5594088B2 (ja) 2010-11-22 2010-11-22 製造ラインの検討システム

Publications (2)

Publication Number Publication Date
JP2012113418A JP2012113418A (ja) 2012-06-14
JP5594088B2 true JP5594088B2 (ja) 2014-09-24

Family

ID=46497589

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010260249A Expired - Fee Related JP5594088B2 (ja) 2010-11-22 2010-11-22 製造ラインの検討システム

Country Status (1)

Country Link
JP (1) JP5594088B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105190705B (zh) 2013-04-24 2019-05-10 川崎重工业株式会社 工件加工作业支持系统及工件加工方法
JP6344890B2 (ja) 2013-05-22 2018-06-20 川崎重工業株式会社 部品組立作業支援システムおよび部品組立方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0916550A (ja) * 1995-06-29 1997-01-17 Hitachi Ltd 組立工程設計支援方法及びその装置
JP3653196B2 (ja) * 1998-06-30 2005-05-25 飛島建設株式会社 仮想現実感を利用した施工支援情報システム。
JP2005122233A (ja) * 2003-10-14 2005-05-12 Canon Inc 情報処理装置および方法並びに記憶媒体

Also Published As

Publication number Publication date
JP2012113418A (ja) 2012-06-14

Similar Documents

Publication Publication Date Title
EP3144901B1 (en) Immersive design management system
Lampen et al. Combining simulation and augmented reality methods for enhanced worker assistance in manual assembly
Fiorentino et al. Augmented reality on large screen for interactive maintenance instructions
JP4796194B1 (ja) カーソルの表示方法およびカーソルの表示プログラム
JP6723738B2 (ja) 情報処理装置、情報処理方法及びプログラム
Linn et al. Virtual remote inspection—A new concept for virtual reality enhanced real-time maintenance
JP4914123B2 (ja) 画像処理装置及び方法
CN104057453A (zh) 机器人装置以及被加工物的制造方法
JP6863927B2 (ja) ロボットのシミュレーション装置
US8154548B2 (en) Information processing apparatus and information processing method
JP7377318B2 (ja) 作業指示システム
JP6554865B2 (ja) 配線・配管設計装置及び方法
KR20090064244A (ko) 혼합현실 시스템 및 그 구현 방법
CN109116807B (zh) 复合现实模拟装置以及计算机可读介质
US20160098501A1 (en) Virtual sensors supported by a computer aided design (cad) model and software
JP5594088B2 (ja) 製造ラインの検討システム
JP2009087161A (ja) 画像処理装置、画像処理方法
CN112182763A (zh) 一种基于vr技术和动作捕捉技术的装配仿真方法
JP2017016376A (ja) 情報処理装置、情報処理方法、プログラム
JP2017010228A (ja) 情報処理装置、情報処理方法、プログラム
JP2010117886A (ja) 仮想試作システム及び仮想試作における動作情報の処理方法並びに該処理方法を記録した記録媒体
JP2011008351A (ja) 画像処理方法及び画像処理装置
Fangming Real-time construction of 3D welding torch in virtual space for welding training simulator
CN113853646B (zh) 影像处理方法、影像处理装置及记录有影像处理程序的记录介质
KR102163149B1 (ko) 서비스 프로토타이핑에서의 ux 프로파일링을 위한 실감형 테스트 시스템

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20131022

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140409

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140415

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140613

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140708

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140721

R151 Written notification of patent or utility model registration

Ref document number: 5594088

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

LAPS Cancellation because of no payment of annual fees