JP5676959B2 - 情報処理装置及びその制御方法 - Google Patents

情報処理装置及びその制御方法 Download PDF

Info

Publication number
JP5676959B2
JP5676959B2 JP2010170859A JP2010170859A JP5676959B2 JP 5676959 B2 JP5676959 B2 JP 5676959B2 JP 2010170859 A JP2010170859 A JP 2010170859A JP 2010170859 A JP2010170859 A JP 2010170859A JP 5676959 B2 JP5676959 B2 JP 5676959B2
Authority
JP
Japan
Prior art keywords
hand
operator
acquired
information processing
processing apparatus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2010170859A
Other languages
English (en)
Other versions
JP2012032944A (ja
JP2012032944A5 (ja
Inventor
正行 石澤
正行 石澤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2010170859A priority Critical patent/JP5676959B2/ja
Publication of JP2012032944A publication Critical patent/JP2012032944A/ja
Publication of JP2012032944A5 publication Critical patent/JP2012032944A5/ja
Application granted granted Critical
Publication of JP5676959B2 publication Critical patent/JP5676959B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • User Interface Of Digital Computer (AREA)
  • Image Analysis (AREA)
  • Processing Or Creating Images (AREA)
  • Position Input By Displaying (AREA)

Description

本発明は、機器等のグラフィカルユーザインタフェースを提示する技術である。
近年、テーブル型のディスプレイが登場してきている。このようなデバイスは、複数人でディスプレイを囲み、タッチ操作などで電子的なオブジェクトを操作することができるため、主に会議用途などに用いられる。
このようなディスプレイ上でユーザの手や指をカメラで撮影しておき、ディスプレイ上に表示されるオブジェクトの上でジェスチャを行った際に、該オブジェクトに対して、予めジェスチャに対応付けされているコマンドを実行する技術がある(特許文献1)。特許文献1では、コマンドを実行する対象のオブジェクトを選択した際に、選択したオブジェクトの見た目を変えることで、操作対象のオブジェクトを操作者に提示する。
また、オブジェクトを選択していることを操作者へ提示するための先行技術として、次のものがある(非特許文献1)。非特許文献1では、操作者の手の位置を取得し、システムが定めた仮想光源の位置と操作者の手の位置から、手の影画像を生成する。生成した手の影画像をディスプレイ上に表示することで、手の影画像を直感的なポインタとして扱うことができる。また、オブジェクトを選択していない場合でも、操作者の手がポインティングする位置を操作者に提示することができる。
特開2005−301693号公報
Shoemaker,G.,Tang,A.and Booth,In Proc.Of UIST ’07,pp.53−56
上述した先行技術をテーブル型のディスプレイに取り入れた場合、手の影画像を利用することで、操作の対象となるオブジェクトを明確に選択しながら、ジェスチャ(手の形状)をトリガとしたコマンドを入力することができる。
しかし、手の形状が機器に正しくコマンドとして認識されているかを操作者はコマンドの実行結果を確認するまで知ることができなかった。また、コマンドの実行処理が終了しない限り、操作者はジェスチャが機器に認識されていないのか、コマンドが入力できないのかもわからなかった。
本発明は、このような事情を鑑みてなされたものであり、手の形状に対応して実行されるコマンドが情報処理装置にどのように認識されているかを、操作者が認識しやすくすることを目的とする。
この課題を解決するために、例えば本発明の情報処理装置は、操作者の手の位置と形状を取得する第1取得手段と、前記操作者の手の一定の形状変化に応じて認識される指示の複数の候補のうち、認識可能な指示を特定する特定手段と、前記認識される指示の複数の候補に対応づけて予め保持された複数の画像を含む複数の画像から、前記特定手段による特定の結果に対応する画像の種類を取得する第2取得手段と、前記第1取得手段によって取得された前記操作者の手の位置に基づいて決定された表示面上の位置に、前記第2取得手段によって取得された種類の画像を、前記第1取得手段によって取得された前記操作者の手の形状に基づく状態で表示させる表示制御手段を有することを特徴とする。
本発明によれば、手の一定の形状変化に対応して認識される複数のコマンド候補のうち、情報処理装置が認識可能なコマンドを操作者が認識しやすくなる。
情報処理装置のハードウェア構成図。 情報処理装置のブロック図。 情報処置装置100のフローチャート。 表示の一例。 モードごとの影画像の一例。 本実施例のイメージ図。 影画像生成処理を表すフローチャート。 影画像生成処理を説明する図。
(実施例1)
図1は、実施例1における情報処理装置100のハードウェア構成図である。
図1において、情報処理装置100は、CPU102、ROM103、RAM104から構成され、バス101と介して、入力装置105や出力装置106と接続する。102はCPU(Central Processing Unit)であり、各種処理のための演算や論理判断などを行い、バス101に接続された各構成要素を制御する。 本情報処理装置は、プログラムメモリとデータメモリを含むメモリが搭載されている。プログラムメモリには、フローチャートにより後述する各種処理手順を含むCPUによる制御のためのプログラムを格納する。このメモリはROM(Read−Only Memory)103であってもよいし、外部記憶装置などからプログラムがロードされるRAM(Random Access Memory)104であってもよい。あるいは、これらの組合せで実現しても構わない。105はユーザからの指示や、各種センサ入力などを受付ける入力装置である。ユーザは入力装置105を介して、当該情報処理装置に指示を行う。106は本実施例における表示手段としての出力装置である。出力装置106は、例えば、出力のための回路を含むCRT(Cathode−Ray Tube)や液晶表示器などのディスプレイ装置により実現することができる。
図2は、実施例1における情報処理装置100のブロック図である。
情報処理装置100は、装置外部のディスプレイ201及びカメラ202と接続している。ディスプレイ201は、出力装置106であり、影画像生成部203で合成された影画像等を、表示制御部209を介して表示する。カメラ202は、入力装置105であり、操作者の手の画像を撮像する。撮像結果は、画像でもよいし、動画でもよい。尚、情報処理装置100は、ディスプレイ201とカメラ202を装置内部に備えていないものとして説明するが、本発明はこれに限らない。例えば、情報処理装置100は、ディスプレイ201を装置内部に備えていても良いし、カメラ202を装置内部に備えていても良い。
手の形状取得部204は、カメラ202で撮像した画像、もしくは動画より、操作者の手の位置や形状を公知の技術により取得する。モード取得部206が、設定されている操作モードを保持部208から取得する。本実施例では、操作モードには、電子オブジェクトをトリミングするトリミングモード、電子オブジェクトを削除する削除モード、通常モードが存在するものとする。通常モードは、トリミングモードと削除モードのいずれのモードでもないモードである。尚、操作モードの設定に関しては、ディスプレイ上に、各操作モードに設定するためのボタンを用意しておき、ボタンにタッチする方法をとってもよいし、モード設定用のジェスチャを設けておき、そのコマンドを実行する方法でもよい。
影画像取得部205は、モード取得部206から取得された操作モードに応じて、影画像の形状を保持部208から取得する。操作モードごとの影画像の一例を図5に示す。501、502は、トリミングモード時に表示する影画像、503、504は、削除モード時に表示する影画像、505、506は、通常モード時に表示する影画像である。トリミングモード時に表示する影画像は、はさみ、削除モード時に表示する影画像は、ごみ箱、通常モード時に表示する影画像は、手となっている。尚、それぞれのモードごとに、閉じた状態の影画像と開いた状態の影画像を保持している。保持部208は、設定されている操作モード、操作モードごとの影画像、手の形状取得部204で取得された手の形状や位置を保持する。尚、本実施例では、1つの保持部で保持する例を示したが、複数の保持部を設け、それぞれを異なる保持部で保持しても構わない。
影画像生成部203は、手の形状取得部204で取得した手の形状・位置と影画像取得部205で取得した影画像より、表示する影画像を生成する。判定処理部207は、各種判定及びコマンド実行処理を行う。判定処理部207は、保持部208で保持する情報を用いジェスチャを認識し、各種処理を実行する。本実施例で述べるジェスチャとは、親指とそれ以外の指の先が開かれた状態から閉じられた状態にすることを指す。このジェスチャにトリミングと削除を対応付け、ジェスチャとしておくことで、トリミングあるいは削除を実行することができるようになる。トリミングあるいは削除の判定は、設定されている操作モードによって判定する。尚、本実施例では、判定処理を1つの判定部で処理する例を示したが、複数の判定部を設け、それぞれを異なる判定部で処理しても構わない。表示制御部209は、影画像生成部で生成された影画像を、ディスプレイ201に表示する。
本実施例で説明する影画像は、実際の影ではなく、影を模した仮想画像である。手の影画像の表示位置が手の動きに追従するように生成するために、例えば次の方法で影画像の表示位置を決定してもよい。
操作者の頭頂部から顔の向きと反対側50cmの位置に仮想光源を配置する。仮想光源の位置と操作者の手の位置と、ディスプレイの位置から、仮想の影画像の生成位置を算出する。手の影画像の生成位置を算出する方法としては、次のルールが保たれればどのような方法をとってもよい。手の位置が仮想光源に近づけば、影画像を大きくする。仮想光源から手の位置を遠ざければ、影画像を小さくする。ディスプレイと手の距離が0であれば、手と影画像が重なる。この影画像生成処理の対象になる手を設定するため、別途メニュー画面などを設けておいてもよい。図6は、本実施例のイメージ図である。1001が操作者を表しており、操作者の後方の1002が仮想光源である。1003が操作者の手を表しており、1005で表されるディスプレイ上の1004の位置に影画像が生成されている。
図3は、実施例1における情報処理装置100のフローチャートである。情報処理装置100が起動すると、図3のフローチャートの処理に入るものとする。
S301で、手の形状取得部204は、カメラ202で撮像した画像より、操作者の手の形状(第1の形状)と位置を取得し、取得した形状と位置、そのときの時間を保持部208に保持する。S302で、判定処理部207は、S301で検出した手の形状と位置から生成される影画像が、ディスプレイである表示部に表示されている電子オブジェクトを選択しているかを判定する。判定方法は、影画像が電子オブジェクトとオーバラップしているかをみる。影画像が電子オブジェクトを指しており、かつ、電子オブジェクトがジェスチャコマンドを受付けるのであれば、YesのフローでS303へ進む。一方、影画像が電子オブジェクトを指していない、あるいは、影画像が電子オブジェクトを指しているが、電子オブジェクトがジェスチャコマンドを受付けないのであれば、NoのフローでS305へ進む。
S303で、モード取得部206が、設定されている操作モードを保持部208から取得する。S304で、影画像取得部205は、S303で取得した操作モードに対応する影画像の形状を保持部208より取得する。S305で、影画像取得部205は、所定の影画像を保持部208より取得する。所定の画像は、ジェスチャを受付けないことを示すものであって、本実施例では通常モードの影画像とする。所定の影画像は、これに限らず、トリミングや削除などの特定の操作モードが受付けられないことをユーザに示すことができる画像であればよい。
S306で、影画像生成部203は、S301で取得した手の形状と、S304あるいはS305で取得した影画像の形状とにより、表示する影画像を生成する処理を行う。生成のフローに関しては、図7のフローチャートを用いて後述する。S307で、表示制御部209は、S306で生成された影画像を表示する。図4は、表示の一例である。401は、表示画面、402は、表示画面に表示されている電子オブジェクト、403、404は、影画像である。403は、S302で影画像が電子オブジェクトを指しており、かつ、電子オブジェクトがジェスチャコマンドを受付けると判定され、S304で、トリミングモードが取得された場合に生成される影画像である。404は、S302で影画像が電子オブジェクトを指していない、あるいは、影画像が電子オブジェクトを指しているが、電子オブジェクトがジェスチャコマンドを受付けないと判定される場合に生成される影画像である。尚、図4の405は、ジェスチャを行っている手である。
S308で、判定処理部207は、S301で手の形状を取得した時間から、所定の時間が経過したかを判定する。S308で、所定の時間が経過したと判定されたら、S309へ進む。S309で、手の形状取得部204は、カメラ202で撮像した画像より、操作者の手の形状(第2の形状)と位置を取得する。また、取得した形状と位置を保持部208に保持する。
S310で、判定処理部207は、手の形状が変化したかを検知する。検知方法は、S301で保持した手の形状(第1の形状)とS308で保持した手の形状(第2の形状)とが異なるかどうかで行う。S310でYesの場合は、S311で、影画像生成部203は、S309で取得した手の形状と、S303あるいはS304で取得した影画像の形状とにより、表示する影画像を生成する処理を行う。S311での処理は、S306の処理と同様である。S312で、表示制御部209は、S311で生成された影画像を表示する。
S313で、判定処理部207は、手の形状の変化が、ジェスチャかどうかを判定する。判定方法は、S301で保持した手の形状(第1の形状)からS309で保持した手の形状(第2の形状)への変化が、予め定められたジェスチャかどうかで判定する。S313でYesの場合は、S314で、判定処理部207は、判定したジェスチャに対応するコマンドを実行し、S313でNoの場合は、処理を終了する。
次に、図7を用いて、S306における、影画像を生成する処理を説明する。尚、図7における各処理は、いずれも、影画像生成部203で実行される。
まず、保持部208には、1つのモードに対して、2つの状態に対応する影画像を保持している。保持部208で保持するそれぞれの影画像には、図8(a)、(b)のように、特徴点を2つ用意しておき、これをA1、B1とする。図8(a)はトリミングモードの影画像、図8(b)は、削除モードの影画像である。A1とB1の距離の最小をD1min、最大の距離をD1maxとする。
S701で、S304、あるいはS305で取得した影画像における、特徴点A1とB1を取得する。S702で、S301で取得した手の形状より、2つの特徴点を抽出する。この特徴点を、図8(c)で示したように、A2とB2とする。A2とB2の距離の下限値をD2min、上限値をD2maxとする。S703で、S702で取得した手の形状における特徴点A2とB2との距離D2を取得する。
S704で、D2がD2min以下か判定する。D2minよりD2が大きいのであれば、NoのフローでS705へ進む。D2minがD2より大きいのであれば、YesのフローでS708へ進む。S705で、D2がD2 max以上か判定する。D2maxよりD2が大きいのであれば、YesのフローでS706へ進み、D2maxより大きいのであれば、NoのフローでS709へ進む。S706で、S301で取得した手の形状に対応する影画像の特徴点A1とB1の距離D1を求める処理を行う。D1を求めるためには、次のような数式(1)を用いる。
D1=(D2−D2min)×(D1max−D1min)×100÷(D2max−D2min) (1)
S707で、影画像の特徴点であるA1とB1の距離D1に最小値のD1minを代入し、S707へ進む。S708で、影画像の特徴点であるA1とB1の距離D1に最大値のD1maxを代入し、S707へ進む。S709で、D1を用いて、S301で取得した手の形状に対応する影画像を合成する処理を行う。予め用意してある2状態の影画像間を線形に補間するような補間画像を生成する。補間画像の生成はどのような公知技術を用いてもよいが、補間画像中にもS701で求めた特徴点A1とB1が含まれるように生成する。例えば、特徴点A1とB1の距離に関して、D1minとD1max間の距離を均等に10等分するような間隔で10枚の補間画像を生成する。そしてD1に最もA1とB1の距離が近い画像を補間画像として取得し、処理を終了する。
以上のようなフローで、手の形状変化の度合いに応じて、影画像の形状を生成する処理を行う。
本実施例では、操作モードにトリミングモード、削除モード、通常モードを用いて説明したが、他も操作モードであっても構わない。操作モードを連想しやすい影画像を用いることで、操作者は現在の操作モードを認識しやすくなる。
本実施例では、トリミングモードであっても、削除モードであっても、同じジェスチャで実行するようにしたが、異なるジェスチャであっても構わない。しかしながら、本実施例のように、操作モードごとに異なる影画像を表示することで、単一のジェスチャで複数のコマンドを実行することが可能となる。
以上述べたように、本実施例によれば、手の形状や動きがコマンドとなるような場合に、影画像へ手の形状や動きを反映させることで、手の形状に対応して実行されるコマンドが機器にどのように認識されているか操作者に明確に提示することができるようになる。
(その他の実施形態)
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。

Claims (8)

  1. 操作者の手の位置と形状を取得する第1取得手段と、
    前記操作者の手の一定の形状変化に応じて認識される指示の複数の候補のうち、認識可能な指示を特定する特定手段と、
    前記認識される指示の複数の候補に対応づけて予め保持された複数の画像を含む複数の画像から、前記特定手段による特定の結果に対応する画像の種類を取得する第2取得手段と、
    前記第1取得手段によって取得された前記操作者の手の位置に基づいて決定された表示面上の位置に、前記第2取得手段によって取得された種類の画像を、前記第1取得手段によって取得された前記操作者の手の形状に基づく状態で表示させる表示制御手段を有することを特徴とする情報処理装置。
  2. さらに、前記第1取得手段によって異なる時点において検出された前記操作者の手の形状が、前記一定の形状変化を示す場合に、前記特定手段によって特定された指示に従った処理を実行する実行手段を備えることを特徴とする請求項1に記載の情報処理装置。
  3. 前記特定手段は、前記情報処理装置に設定された操作モードに基づいて、前記複数の候補のうち、前記設定された操作モードにおいて認識可能な指示を特定することを特徴とする請求項1又は2に記載の情報処理装置。
  4. 前記表示制御手段は、前記第1取得手段によって取得された前記操作者の手の位置が、仮想光源に近づくように移動した場合、前記第1取得手段によって取得された前記操作者の手の位置に基づいて決定された前記表示面上の位置に表示させた画像を大きく変化させ、前記第1取得手段によって取得された前記操作者の手の位置が、仮想光源に遠ざかるように移動した場合、前記第1取得手段によって取得された前記操作者の手の位置に基づいて決定された前記表示面上の位置に表示させた画像を小さく変化させることを特徴とする請求項1乃至3のいずれか1項に記載の情報処理装置。
  5. 前記認識される指示の複数の候補に対応づけて予め保持された複数の画像を含む複数の画像と、前記特定手段によって認識可能な指示が特定されなかった場合に対応する画像とを含む複数の画像を保持する保持手段を更に備え、
    前記表示制御手段は、前記保持手段によって保持された複数の画像のうち、第2取得手段によって取得された種類の画像を、前記第1取得手段によって取得された前記操作者の手の形状に従って変形した状態で表示させることを特徴とする請求項1乃至4のいずれか1項に記載の情報処理装置。
  6. 第1取得手段が、操作者の手の位置と形状を取得する第1取得工程と、特定手段が、前記操作者の手の一定の形状変化に応じて認識される指示の複数の候補のうち、認識可能な指示を特定する特定工程と、
    第2取得手段が、前記認識される指示の複数の候補に対応づけて予め保持された複数の画像を含む複数の画像から、前記特定工程での特定の結果に対応する画像の種類を取得する第2取得工程と、
    表示制御手段が、前記第1取得工程において取得された前記操作者の手の位置に基づいて決定された表示面上の位置に、前記第2取得工程において取得された種類の画像を、前記第1取得工程において取得された前記操作者の手の形状に基づく状態で表示させる表示制御工程を有する
    ことを特徴とする情報処理装置の制御方法。
  7. コンピュータに読み込ませ実行させることで、前記コンピュータを、請求項1乃至5のいずれか1項に記載の情報処理装置の各手段として機能させることを特徴とするプログラム。
  8. 請求項7に記載のプログラムを格納した、コンピュータが読み取り可能な記憶媒体。
JP2010170859A 2010-07-29 2010-07-29 情報処理装置及びその制御方法 Expired - Fee Related JP5676959B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2010170859A JP5676959B2 (ja) 2010-07-29 2010-07-29 情報処理装置及びその制御方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010170859A JP5676959B2 (ja) 2010-07-29 2010-07-29 情報処理装置及びその制御方法

Publications (3)

Publication Number Publication Date
JP2012032944A JP2012032944A (ja) 2012-02-16
JP2012032944A5 JP2012032944A5 (ja) 2013-09-12
JP5676959B2 true JP5676959B2 (ja) 2015-02-25

Family

ID=45846294

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010170859A Expired - Fee Related JP5676959B2 (ja) 2010-07-29 2010-07-29 情報処理装置及びその制御方法

Country Status (1)

Country Link
JP (1) JP5676959B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6281520B2 (ja) * 2015-03-31 2018-02-21 京セラドキュメントソリューションズ株式会社 画像形成装置
JP6439953B1 (ja) * 2018-03-11 2018-12-19 求 藤川 判定装置、判定装置の制御方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2986455B1 (ja) * 1998-07-24 1999-12-06 株式会社エイ・ティ・アール知能映像通信研究所 手振り認識装置
JP2008040576A (ja) * 2006-08-02 2008-02-21 Sharp Corp 画像処理システム及び該システムを備えた映像表示装置

Also Published As

Publication number Publication date
JP2012032944A (ja) 2012-02-16

Similar Documents

Publication Publication Date Title
CN105814522B (zh) 基于运动识别来显示虚拟输入设备的用户界面的设备和方法
EP2631739B1 (en) Contactless gesture-based control method and apparatus
KR101896947B1 (ko) 제스쳐를 이용한 입력 장치 및 방법
CN109242765B (zh) 一种人脸图像处理方法、装置和存储介质
JP6039248B2 (ja) 情報処理装置およびその制御方法
EP3015961B1 (en) Information processing device, control method, program, and storage medium
EP3367214A1 (en) Line-of-sight input device, line-of-sight input method, and line-of-sight input program
JP2009042796A (ja) ジェスチャー入力装置および方法
KR20150022003A (ko) 단말 및 인터페이스 조작 관리 방법
KR101631011B1 (ko) 제스처 인식 장치 및 제스처 인식 장치의 제어 방법
JP2018517984A (ja) 画像領域を選択して追跡することによるビデオ・ズームのための装置および方法
US9544556B2 (en) Projection control apparatus and projection control method
WO2017185459A1 (zh) 一种图标移动方法以及装置
CN103929603A (zh) 图像投影设备、图像投影系统及控制方法
JP2010277197A (ja) 情報処理装置、情報処理方法およびプログラム
JP5787238B2 (ja) 制御装置及び操作制御方法並びに操作制御プログラム
KR101392936B1 (ko) 사용자 맞춤형 인터페이스 시스템 및 그 구현 방법
CN107172347B (zh) 一种拍照方法及终端
JP2016224686A5 (ja)
CN105912101B (zh) 一种投影控制方法和电子设备
CN104536664A (zh) 一种快门位置确定方法
EP2831701B1 (en) Display control device, display control method, and program
JP5676959B2 (ja) 情報処理装置及びその制御方法
JP5558899B2 (ja) 情報処理装置、その処理方法及びプログラム
JP5665396B2 (ja) 情報処理装置およびその制御方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130729

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130729

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140130

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140204

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140407

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140916

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20141108

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20141202

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20141226

R151 Written notification of patent or utility model registration

Ref document number: 5676959

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

LAPS Cancellation because of no payment of annual fees