JP5853394B2 - カーソル表示システム、カーソル表示方法、及び、プロジェクター - Google Patents

カーソル表示システム、カーソル表示方法、及び、プロジェクター Download PDF

Info

Publication number
JP5853394B2
JP5853394B2 JP2011085556A JP2011085556A JP5853394B2 JP 5853394 B2 JP5853394 B2 JP 5853394B2 JP 2011085556 A JP2011085556 A JP 2011085556A JP 2011085556 A JP2011085556 A JP 2011085556A JP 5853394 B2 JP5853394 B2 JP 5853394B2
Authority
JP
Japan
Prior art keywords
cursor
display
pointing
pen
instruction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2011085556A
Other languages
English (en)
Other versions
JP2012220678A (ja
Inventor
櫻井 慎二
慎二 櫻井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seiko Epson Corp
Original Assignee
Seiko Epson Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seiko Epson Corp filed Critical Seiko Epson Corp
Priority to JP2011085556A priority Critical patent/JP5853394B2/ja
Priority to US13/438,290 priority patent/US9223419B2/en
Priority to CN201210098114.5A priority patent/CN102736786B/zh
Publication of JP2012220678A publication Critical patent/JP2012220678A/ja
Application granted granted Critical
Publication of JP5853394B2 publication Critical patent/JP5853394B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03545Pens or stylus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304Detection arrangements using opto-electronic means
    • G06F3/0325Detection arrangements using opto-electronic means using a plurality of light emitters or reflectors or a plurality of detectors forming a reference frame from which to derive the orientation of the object, e.g. by triangulation or on the basis of reference deformation in the picked up image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/038Indexing scheme relating to G06F3/038
    • G06F2203/0384Wireless input, i.e. hardware and software details of wireless interface arrangements for pointing devices

Description

本発明は、カーソル表示システム、カーソル表示方法、及び、プロジェクターに関するものである。
従来、コンピューター端末の表示部に表示される画像を、プロジェクターによってスクリーンに投影し、スクリーンに投影されている画像を指示するためにユーザーが用いているペンをカメラによって検出し、スクリーンに投影されている画像に重畳させて、検出したペンの位置にカーソルを表示する技術が知られている(例えば、特許文献1参照)。
特開2005−234368号公報
しかしながら、上述のような技術、即ち、従来のホバリング機能付きのインタラクティブシステム(ユニット)では、カーソルがペンの一部に隠れて表示され、カーソルが見難いという問題がある。
本発明はこのような事情に鑑みてなされたものであって、スクリーンに表示された表示画像上の所望の位置を指示するためにペンを用いるシステムにおいて、見易い位置にカーソルを表示する技術を提供することを目的する。
上記問題を解決するために、本発明の一態様であるカーソル表示システムは、スクリーンに表示された表示画像上の所望の位置を指示するための指示ペンと、前記指示ペンによる前記表示画像上の指示位置を認識する指示位置認識手段と、前記カーソルを表示画像上に表示する制御を行うカーソル表示制御手段とを備え、前記カーソル表示制御手段は、前記指示位置認識手段により認識された前記指示ペンの指示位置から、前記カーソルの表示位置をずらした位置に表示するよう決定し、前記表示画面上に前記カーソルを表示する制御を行うことを特徴とする。
上記構成によれば、指示位置からずれたカーソルの表示位置にカーソルが表示されるため、表示画像上においてカーソルが見易くなる。
上記カーソル表示システムにおいて、前記カーソル表示制御手段は、前記指示位置の属する前記表示画像上のエリアに応じて、前記指示位置から前記カーソルの表示位置へのずらし方向、又は、ずらし量を決定するようにしてもよい。
上記構成によれば、表示画像上のエリアに応じて最適なカーソルの表示位置を決定することができるため、よりカーソルが見易くなる。
上記カーソル表示システムにおいて、前記カーソル表示制御手段は、前記指示ペンの位置情報に応じて、前記指示位置から前記カーソルの表示位置へのずらし方向、又は、ずらし量を決定するようにしてもよい。
上記構成によれば、指示ペンの位置情報に応じて最適なカーソルの表示位置を決定するため、例えば、指示ペンを持つ者の立ち位置や、左右の何れの手で持っているかなどの指示ペンの持ち方に応じて、最適なカーソルの表示位置を決定することができるため、よりカーソルが見易くなる。
上記カーソル表示システムにおいて、前記カーソル表示制御手段は、前記指示ペンの指示方向に応じて、前記指示位置から前記カーソルの表示位置へのずらし方向、又は、ずらし量を決定するようにしてもよい。
上記構成によれば、指示ペンの向けられた方向に応じて最適なカーソルの表示位置を決定することができるため、よりカーソルが見易くなる。
上記カーソル表示システムにおいて、前記カーソル表示制御手段は、前記表示画像のサイズに応じて、前記指示位置から前記カーソルの表示位置へのずらし方向、又は、ずらし量を決定するようにしてもよい。
上記構成によれば、表示画像のサイズに応じて最適なカーソルの表示位置を決定することができるため、よりカーソルが見易くなる。
上記カーソル表示システムにおいて、前記指示ペンは、ユーザーからの操作を受け付ける操作受付手段を備え、前記カーソル表示制御手段は、前記操作受付手段が前記カーソルの表示位置を移動させるカーソル位置移動操作を受け付けた場合、前記カーソル位置移動操作に応じてカーソルの表示位置を移動し、移動した前記カーソルの表示位置に前記カーソルを表示する制御を行うようにしてもよい。
上記構成によれば、簡便に、より見易いカーソルを移動させることができる。
本発明の一実施形態によるカーソル表示システムの使用状態を示す模式図である。 図1に示す指示ペンの概略外観図、および、当該指示ペンの使用状態を示す模式図であって、(a)は指示ペンの一例を表し、(b)は右利きの人がスクリーンの右側で指示ペンを使用する状態を表し、(c)は右利きの人がスクリーンの左側で指示ペンを使用する状態を表している。 指示ペンとカーソルとの位置関係の説明図であって、(a)は左右方向の指示エリアの区分けを表し、(b)は中央に指示位置が存在する場合の指示ペンとカーソルとの位置関係を表し、(c)は左または右に指示位置が存在する場合の指示ペンとカーソルとの位置関係を表している。 指示ペンとカーソルとの位置関係の説明図であって、(a)は上下方向の指示エリアの区分けを表し、(b)は上に指示位置が存在する場合の指示ペンとカーソルとの位置関係を表し、(c)は中央に指示位置が存在する場合の指示ペンとカーソルとの位置関係を表し、(d)は下に指示位置が存在する場合の指示ペンとカーソルとの位置関係を表している。 指示ペンとカーソルとの位置関係の説明図であって、(a)は指示方向が上向の場合の指示ペンとカーソルとの位置関係を表し、(b)は指示方向が水平の場合の指示ペンとカーソルとの位置関係を表し、(c)は指示方向が下向の場合の指示ペンとカーソルとの位置関係を表している。 指示ペンとカーソルとの位置関係の説明図であって、(a)は指示方向が左向の場合の指示ペンとカーソルとの位置関係を表し、(b)は指示方向が垂直の場合の指示ペンとカーソルとの位置関係を表し、(c)は指示方向が右向の場合の指示ペンとカーソルとの位置関係を表している。 指示ペンとカーソルとの位置関係の説明図であって、(a)は指示方向が左上向の場合の指示ペンとカーソルとの位置関係を表し、(b)は指示方向が右下向の場合の指示ペンとカーソルとの位置関係を表している。 指示ペンとカーソルとの位置関係の説明図であって、(a)は表示画像の表示サイズが所定値以上の場合の指示ペンとカーソルとの位置関係を表し、(b)は表示画像の表示サイズが所定値未満の場合の指示ペンとカーソルとの位置関係を表している。 カーソル表示システムの動作の一例を示すフローチャートである。
以下、本発明の一実施形態について図面を参照して詳細に説明する。図1は、本発明の一実施形態によるカーソル表示システム1の使用状態を示す模式図である。図2は、指示ペン20の概略外観図、および、指示ペン20の使用状態を示す模式図である。
カーソル表示システム1は、プロジェクター10、指示ペン20、カメラ40及びパーソナルコンピューター50から構成される。プロジェクター10は、パーソナルコンピューター50から画像を入力し、スクリーン30に投影する。
指示ペン20は、スクリーン30に表示された表示画像G(投影画像)上の所望の位置を指示するためのペンである。指示ペン20の外観は、図2(a)に示すように、本体21と指示部22とから構成される。本体21には、スクロールボタン23及び押下ボタン24が配置されている。スクロールボタン23及び押下ボタン24は、表示画像G上の操作(例えば、移動、選択、実行)をユーザーから受け付ける操作受付手段である。
本体21のボトム部25は、赤外光(赤外線)を発光する発光手段(第1発光手段)として機能する。例えば、ボトム部25の内部に赤外線LEDを配置することによって、ボトム部25を発光手段(第1発光手段)として機能させてもよい。ボトム部25から発光される赤外光は、カメラ40によって感知される(図1の破線参照)
本体21のリング部27は、ボトム部25と同様、内部に赤外線LEDを配置することによって、赤外光(赤外線)を発光する発光手段(第3発光手段)として機能する。リング部27から発光される赤外光は、カメラ40によって感知される(図1の破線参照)
指示部22は、本体21のトップ部26に設けられている。指示部22は、ユーザーが表示画像G上の所望の位置を指示する指示手段である。即ち、指示ペン20を握ったユーザーは、表示画像G上の所望の位置を指示部22にて指示する。
また、指示部22は、上記指示手段のほか、表示画像G上の操作をユーザーから受け付ける操作受付手段としても機能する。
また、指示部22は、赤外光を発光する発光手段(第2発光手段)としても機能する。例えば、指示部22(又は、トップ部26)の内部に赤外線LEDを配置することによって、指示部22を発光手段として機能させてもよい。指示部22から発光される赤外光は、カメラ40によって感知される(図1の破線参照)。
また、指示ペン20は、無線通信モジュール(無線通信手段)を有し、パーソナルコンピューター50と無線通信を行う。例えば、指示ペン20は、ユーザーの操作に応じた情報、即ち、操作受付手段を介してユーザーから受け付けた操作情報をパーソナルコンピューター50に送信する(図1の点線参照)。つまり、指示ペン20においてなされたボタン操作などの情報は、無線通信手段によってパーソナルコンピューター50に送信される。
指示ペン20では、本体21の握り方等に応じて、カメラ40によってボトム部25(第1発光手段)、指示部22(第2発光手段)、リング部27(第3発光手段)の3箇所の赤外光が感知される場合と、ボトム部25、指示部22の2箇所の赤外光が感知された場合とがある。例えば、図2(b)に示すように、スクリーン30の右側において指示ペン20を右手で握った場合、カメラ40側からリング部27の少なくとも一部は見える可能性が高い。従って、カメラ40によってボトム部25、指示部22、リング部27の3箇所の赤外光が感知される。一方、例えば、図2(c)に示すように、スクリーン30の左側において指示ペン20を右手で握った場合、カメラ40側からリング部27が見えなくなる可能性が高い。従って、カメラ40によってボトム部25、指示部22の2箇所の赤外光が感知される。
指示ペン20の傾き具合(指示ペン20の指示方向)は、ボトム部25の撮像領域の位置と、指示部22の撮像領域の位置との位置関係に基づいて、以下のように判別される。
カメラ40によって指示ペン20のボトム部25、指示部22、リング部27の3箇所の赤外光が感知された場合には、ボトム部25、指示部22の2箇所の感知部分のうち、面積が大きい方がボトム部25の撮像領域であると特定され、面積の小さい方が指示部22の撮像領域であると特定され、指示ペン20の傾きが判別される。
一方、カメラ40によって指示ペン20のボトム部25、指示部22の2箇所の赤外光が感知された場合には、当該2箇所の感知部分のうち、面積が大きい方がボトム部25の撮像領域であると特定され、面積の小さい方が指示部22の撮像領域であると特定され、指示ペン20の傾きが判別される。なお、上述の指示ペン20の各部(ボトム部25、指示部22、リング部27)の特定、及び、指示ペン20の傾きの判別は、カメラ40による撮像画像に基づいて、パーソナルコンピューター50において行われる。
また、カメラ40によるリング部27の赤外光の感知の有無に応じて、カメラ40側から見える指示ペン20の面が、指示ペン20の表面であるか裏面であるかを判別することができる。例えば、指示ペン20において、図2(b)に示すようにスクロールボタン23及び押下ボタン24が配置されている面を表面と定義した場合、リング部27の赤外光が感知された場合にはカメラ40側から見える指示ペン20の面は表面であると判別し、感知されなかった場合にはカメラ40側から見える指示ペン20の面は裏面であると判別する。なお、上述の判別は、カメラ40による撮像画像に基づいて、パーソナルコンピューター50において行われる。
また例えば、リング部27の赤外光の感知の有無に応じて、指示ペン20の位置情報(ユーザーがスクリーン30のどちら側に立っているか)を判別することができる。例えば、右利きのユーザー(右手で指示ペン20を握るユーザー)の場合、リング部27の赤外光が感知された場合には、図1に示すように、スクリーン30の右側に立っていると判別し、感知されなかった場合にはスクリーン30の左側に立っていると判別してもよい。なお、上述の判別は、カメラ40による撮像画像に基づいて、パーソナルコンピューター50において行われる。
なお、右利きであるか左利きであるかは、ユーザーが指示ペン20を使用し始める際に指示ペン20の位置情報としてユーザーにより指定させる。その指定方法は、パーソナルコンピューター50上において指定させる指定方法でも構わないが、指示ペン20を用いて指定させる指定方法であってもよい。
指示ペン20を用いて指定させる指定方法としては、例えば、指示ペン20の操作(操作受付手段)による指定方法と、カメラ40による赤外光の感知を利用した指示ペン20の動きによる指定方法とがある。即ち、指示ペン20の操作ボタンによって利き手を指定させるようにする方法と、指示ペン20の動き(例えば傾き等)によって利き手を指定させる方法である。
なお、指示ペン20の位置情報(ユーザーの立ち位置)を判別する手法は、上述のリング部27の赤外光の感知の有無に応じて判別する他にも、以下の判別手法が考えられる。例えば、カメラ40によってユーザーの位置(例えば、熱源である顔)を特定し、ユーザーの位置と、指示ペン20(例えば、ボトム部25又は指示部22)の位置との位置関係に基づいて、ユーザーの立ち位置を判別することができる。なお、上述の判別は、カメラ40による撮像画像に基づいて、パーソナルコンピューター50において行われる。
カメラ40は、指示ペン20の各部から発光された赤外光を感知する赤外線カメラである。カメラ40は、スクリーン30の方向を撮像し、撮像画像(動画、又は、連続撮像した静止画)をパーソナルコンピューター50に出力する。
パーソナルコンピューター50は、プロジェクター10に、例えば、プレゼンテーション用の画像を出力する。
また、パーソナルコンピューター50は、無線通信手段を有し、指示ペン20と無線通信を行う。例えば、パーソナルコンピューター50は、ユーザーの操作に応じた情報を指示ペン20から受信する。
また、パーソナルコンピューター50は、カメラ40による撮像画像に基づいて、指示ペン20の各部(例えば、ボトム部25、指示部22)の撮像領域を特定する。また、パーソナルコンピューター50は、指示ペン20の傾き具合の判別、指示ペン20の表面裏面の判別、指示ペン20の位置情報(ユーザーの立ち位置の判別)等、種々の判別を行う。
また、パーソナルコンピューター50は、指示ペン20を使用するユーザーの利き手を判別する。例えば、パーソナルコンピューター50は、指示ペン20との無線通信、又は、カメラ40による撮像画像に基づいて、指示ペン20を使用するユーザーの利き手を判別する。
また、パーソナルコンピューター50は、カメラ40による撮像画像に基づいて、指示ペン20による指示を表すカーソルCを表示画像G上に表示する。以下、パーソナルコンピューター50が行うカーソルCの表示制御について説明する。
パーソナルコンピューター50は、指示ペン20による表示画像G上の指示位置を認識し、指示位置と異なる位置にカーソルCを表示する制御を行う。具体的には、パーソナルコンピューター50は、カーソル位置を指示位置と異なる位置に決定し、決定したカーソル位置にカーソルCを表示する制御を行う。換言すれば、パーソナルコンピューター50は、指示ペン20による表示画像G上の指示位置を認識する指示位置認識手段と、カーソル位置を指示位置からずらした位置に決定し、決定したカーソル位置にカーソルCを表示するカーソル表示制御手段とを備える。
(指示位置認識手段)
パーソナルコンピューター50の指示位置認識手段について説明する。パーソナルコンピューター50は、カメラ40から取得した撮像画像に基づいて、指示ペン20による表示画像G上の指示位置を認識する。具体的には、パーソナルコンピューター50は、撮像画像から、指示部22の撮像領域を特定し、当該撮像領域を指示位置として認識する。
より詳細には、パーソナルコンピューター50は、撮像画像から赤外光の感知部分(領域)を探し、見つけた感知部分が2箇所であるときは、面積が小さい方の感知部分を指示位置(指示部22の撮像領域)として認識し、見つけた感知部分が3箇所であるときは、両端の2箇所の感知部分のうち面積が小さい方を指示位置(指示部22の撮像領域)として認識する。
(カーソル表示制御手段)
パーソナルコンピューター50のカーソル表示制御手段について説明する。具体的には、図3乃至図8を用いて、指示位置(指示ペン20の指示部22の撮像領域)に基づいてカーソル位置を決定する決定方法、即ち、指示位置からカーソル位置へのずらし方向、又は、ずらし量の決定方法について説明する。図3乃至図8は、指示ペン20とカーソルCとの位置関係を説明するための説明図である。
パーソナルコンピューター50は、指示位置の属する表示画像G上のエリアに応じて、指示位置からカーソル位置へのずらし方向、又は、ずらし量を決定する。
例えば、パーソナルコンピューター50は、左右方向に区分されたエリアに応じて、ずらし方向、又は、ずらし量を決定してもよい。例えば、パーソナルコンピューター50は、指示位置認識手段によって表示画像G上の左右中央エリア(図3(a)参照)に指示位置Pが認識された場合には、図3(b)に示すように、指示位置Pを基点に、左上向に長さL1ずらした位置をカーソル位置Pとして決定する。また、指示位置認識手段によって表示画像G上の左側エリア又は右側エリアに指示位置Pが認識された場合には、図3(c)に示すように、指示位置Pを基点に、左上向に長さL2(但し、L2>L1)ずらした位置をカーソル位置Pとして決定する。
なお、図3に示す例では、左右中央エリアに指示位置Pが属した場合と、左側エリア又は右側エリアに指示位置Pが属した場合とで、ずらし方向が同一であるが、ずらし方向が異なるようにしてもよい(図4(b)〜(d)参照)。
また例えば、パーソナルコンピューター50は、上下方向に区分されたエリアに応じて、ずらし方向、又は、ずらし量を決定してもよい。例えば、パーソナルコンピューター50は、表示画像G上の上側エリア(図4(a)参照)に指示位置Pが属した場合には、指示位置Pを基点に、左に長さL3、上に長さL4ずらした位置をカーソル位置Pとして決定し、表示画像G上の上下中央エリアに指示位置Pが属した場合には、図4(c)に示すように、指示位置Pを基点に、左に長さL3ずらした位置をカーソル位置Pとして決定し、表示画像G上の下側エリアに指示位置Pが属した場合には、図4(d)に示すように、指示位置Pを基点に、左に長さL3、下に長さL4ずらした位置をカーソル位置Pとして決定してもよい。
なお、図4に示す例では、上下中央エリアに指示位置Pが属した場合と、上側エリアに指示位置Pが属した場合と、下側エリアに指示位置Pが属した場合とで、ずらし方向が異なるが、図3の如く、ずらし方向が同一になるようにしてもよい。
また、パーソナルコンピューター50は、左右何れの手で指示ペン20が持たれているかに応じて、指示位置Pからカーソル位置Pへのずらし方向、又は、ずらし量を決定してもよい。具体的には、パーソナルコンピューター50は、右手で指示ペン20が持たれている場合には、指示位置Pを基点に、左上向、左中、左下向の何れかの方向にずらした位置をカーソル位置Pとして決定し、左手で指示ペン20が持たれている場合には、指示位置Pを基点に、右上向、右中、右下向の何れかの方向にずらした位置をカーソル位置Pとして決定してもよい。例えば、図1に示す例は、右手で指示ペン20が持たれているため、指示位置Pを基点に、左上向にずらした位置をカーソル位置Pとした例である(図1において、P、Pは非図示)。
なお、パーソナルコンピューター50は、指示ペン20との無線通信によって、又は、カメラ40による撮像画像に基づいて、指示ペン20を使用するユーザーの利き手を判別し、右利きであれば右手で指示ペン20が持たれていると判断し、左利きであれば左手で指示ペン20が持たれていると判断する。
また、パーソナルコンピューター50は、スクリーン30の左右何れ側に指示ペン20を持つ者(ユーザー)がいるかに応じて、指示位置Pからカーソル位置Pへのずらし方向、又は、ずらし量を決定してもよい。具体的には、パーソナルコンピューター50は、ユーザーの立ち位置がスクリーン30の右側である場合には、指示位置Pを基点に、左上向、左中、左下向の何れかの方向にずらした位置をカーソル位置Pとして決定し、ユーザーの立ち位置がスクリーン30の左側である場合には、指示位置Pを基点に、右上向、右中、右下向の何れかの方向にずらした位置をカーソル位置Pとして決定してもよい。例えば、図1に示す例は、立ち位置がスクリーン30の右側であるため、指示位置Pを基点に、左上向にずらした位置をカーソル位置Pとした例である(図1において、P、Pは非図示)。
なお、パーソナルコンピューター50は、ユーザーの利き手、及び、リング部27の赤外光の感知の有無に基づいて、ユーザーの立ち位置を判別する。より詳細には、パーソナルコンピューター50は、判別したユーザーの利き手と、カメラ40から取得した撮像画像からのリング部27の赤外光の感知の有無との組み合わせに基づいて、ユーザーの立ち位置を判別する。例えば、右利きであって、かつ、リング部27の赤外光が感知された場合には、パーソナルコンピューター50は、スクリーン30の右側に立っていると判別し、右利きであって、かつ、リング部27の赤外光が感知されなかった場合には、パーソナルコンピューター50は、スクリーン30の左側に立っていると判別する。また、左利きであって、かつ、リング部27の赤外光が感知された場合には、パーソナルコンピューター50は、スクリーン30の左側に立っていると判別し、左利きであって、かつ、リング部27の赤外光が感知されなかった場合には、パーソナルコンピューター50は、スクリーン30の右側に立っていると判別する。
また、パーソナルコンピューター50は、指示ペン20による指示方向(ボトム部25から指示部22に向かう方向)に応じて、指示位置Pからカーソル位置Pへのずらし方向、又は、ずらし量を決定してもよい。例えば、パーソナルコンピューター50は、指示方向が上向であるか下向であるかに応じて、ずらし方向、又は、ずらし量を決定してもよい。
即ち、パーソナルコンピューター50は、指示方向が左上向、真上、右上向の何れかの場合には、指示位置Pを基点に、左上向、真上、右上向の何れかにずらした位置をカーソル位置Pとして決定し、指示方向が左下向、真下、右下向の何れかの場合には、指示位置Pを基点に、左下向、真下、右下向の何れかにずらした位置をカーソル位置Pとして決定してもよい。なお、パーソナルコンピューター50は、指示方向が上向でも下向でもない水平方向の場合、指示方向(左向又は右向)にずらした位置をカーソル位置Pとして決定してもよい。
例えば、パーソナルコンピューター50は、図5(a)に示すように、指示方向が左上向の場合には、指示位置Pを基点に、左上向にずらした位置をカーソル位置Pとして決定し、図5(c)に示すように、指示方向が左下向の場合には、指示位置Pを基点に、左下向にずらした位置をカーソル位置Pとして決定してもよい。また、パーソナルコンピューター50は、図5(b)に示すように、指示方向が左向の場合には、指示位置Pを基点に、左向にずらした位置をカーソル位置Pとして決定してもよい。
また、パーソナルコンピューター50は、指示方向が左向であるか右向であるかに応じて、ずらし方向、又は、ずらし量を決定してもよい。
即ち、パーソナルコンピューター50は、指示方向が左上向、左中、左下向の何れかの場合には、指示位置Pを基点に、左上向、左中、左下向の何れかにずらした位置をカーソル位置Pとして決定し、指示方向が右上向、右中、右下向の何れかの場合には、指示位置Pを基点に、右上向、右中、右下向の何れかにずらした位置をカーソル位置Pとして決定してもよい。なお、パーソナルコンピューター50は、指示方向が左向でも右向でもない鉛直方向(真上又は真下)の場合、指示方向(真上又は真下)にずらした位置をカーソル位置Pとして決定してもよい。
例えば、パーソナルコンピューター50は、図6(a)に示すように、指示方向が左上向の場合には、指示位置Pを基点に、左上向にずらした位置をカーソル位置Pとして決定し、図6(c)に示すように、指示方向が右上向の場合には、指示位置Pを基点に、右上向にずらした位置をカーソル位置Pとして決定してもよい。また、パーソナルコンピューター50は、図6(b)に示すように、指示方向が真上の場合には、指示位置Pを基点に、真上にずらした位置をカーソル位置Pとして決定してもよい。
また、パーソナルコンピューター50は、図7(a)(b)に示すように、指示位置Pを基点に、指示方向と同一の方向にずらした位置をカーソル位置Pとして決定してもよい。
また、パーソナルコンピューター50は、表示画像Gのサイズに応じて、指示位置Pからカーソル位置Pへのずらし方向、又は、ずらし量を決定してもよい。
具体的には、表示画像Gの横幅のサイズの大きさを判断するための閾値DS(非表示)と、表示画像Gの横幅のサイズが閾値DS未満である場合のずらし量L6と、表示画像Gの横幅のサイズが閾値DS以上である場合のずらし量L5とを予め決めておき(L6>L5)、パーソナルコンピューター50は、表示画像G1の横幅のサイズD1が閾値DS以上であると判断した場合、図8(a)に示すように、指示位置Pを基点に左方向にL5ずらした位置をカーソル位置Pとして決定し、表示画像G2の横幅のサイズD2が閾値DS未満であると判断した場合、図8(b)に示すように、指示位置Pを基点に左方向にL6ずらした位置をカーソル位置Pとして決定する。つまり、図8(a)に示すスクリーン30上のずれ量(D3)と、図8(b)に示すスクリーン30上のずれ量(D4)と同程度にしようとする場合(D3≒D4としようとする場合)、ずらし量L6>ずらし量L5とする必要があるため、パーソナルコンピューター50は、ずらし量L6>ずらし量L5としている。
なお、表示画像Gの横幅のサイズが閾値DS未満である場合のずらし量L6は、表示画像Gの横幅のサイズが閾値DS以上である場合のずらし量L5以上であればよく、ずらし量L5及びずらし量L6は、必ずしも固定値である必要はない。即ち、ずらし量L5及びずらし量L6は、他の条件(図3乃至図7に示した条件)に応じて決定してもよい。
また、パーソナルコンピューター50が、スクリーン30に投射されている表示画像Gのサイズを検出する検出方法は種々の検出方法が考えられるが、例えば、所定のマークを出力するサイズ検出用の表示画像をスクリーン30に表示し、カメラ40によって撮像された当該サイズ検出用の表示画像上の上記所定のマークの撮像領域の大きさから、表示画像Gのサイズを検出してもよい。
続いて、図9を用いて、カーソル表示システム1の動作を説明する。図9は、カーソル表示システム1の動作の一例を示すフローチャートである。なお、図9に示すフローチャートのスタートにおいて、プロジェクター10は、パーソナルコンピューター50から入力した画像を、スクリーン30に投射しているものとする。
カメラ40は、スクリーン30の方向を撮像する(ステップS10)。カメラ40は、撮像画像(動画、又は、連続撮像した静止画)をパーソナルコンピューター50に出力する。パーソナルコンピューター50は、撮像画像に基づいて、指示位置P(指示ペン20の指示部22の撮像領域)を認識する(ステップS12)。
パーソナルコンピューター50は、図3乃至図8を用いて説明した方法によって、カーソル位置Pを指示位置Pからずらした位置に決定する(ステップS14)。パーソナルコンピューター50は、決定したカーソル位置P2にカーソルCを表示する制御を行う(ステップS16)。
プロジェクター10は、スクリーン30に表示されている表示画像GにカーソルCを表示する(ステップS18)。
そして、本フローチャートは終了する。
以上、カーソル表示システム1によれば、指示位置Pからずれたカーソル位置PにカーソルCが表示されるため、ユーザーが指示ペン20をスクリーン30に近づけても、カーソルCが表示画像上において、ユーザーの手や指示ペン20に隠れてしまうことなくカーソルCが見易くなる。
なお、上記実施形態では、図1に示すように、プロジェクター10、カメラ40、パーソナルコンピューター50は夫々別体であったが、プロジェクター10とカメラ40とを一体化し、カメラ40の機能をプロジェクター10に具備させてもよい。あるいは、パーソナルコンピューター50とカメラ40とを一体化して、カメラ40の機能をパーソナルコンピューター50に具備させてもよい。また、パーソナルコンピューター50の機能の一部(例えば、指示位置認識手段、又は、カーソル表示制御手段)、又は、全部をプロジェクター10に具備させてもよい。また、パーソナルコンピューター50に代えて、少なくとも指示位置認識手段及びカーソル表示制御手段を有する専用機を用いてもよい。
また、図3では、表示画像Gを左右方向に3つのエリアに区分する例を説明したが、表示画像Gを左右方向に2又は4以上に区分してもよい。また、図4では、表示画像Gを上下方向に3つのエリアに区分する例を説明したが、表示画像Gを上下方向に2又は4以上に区分してもよい。また、表示画像Gを左右方向及び上下方向(例えば、左右3×上下3の9区分、左右4×上下3の12区分、左右4×上下4の16区分)に区分してもよい。
また、表示画像Gのサイズに応じて、指示位置からカーソル位置へのずらし方向、又は、ずらし量を決定する場合において、図8による説明では、表示画像Gのサイズの大きさを判断するための閾値は1つであったが、複数であってもよい。換言すれば、パーソナルコンピューター50は、表示画像Gを複数のクラス(サイズ毎のクラス)に分類し、分類されたクラスに応じて、ずらし方向、又は、ずらし量を決定してもよい(但し、小さなクラスに分類された場合ほどずらし量を大きくする)。
また、上記実施形態では、カメラ40による撮像画像を用いて指示位置Pを認識する例を説明しているが、カメラ40による撮像画像を用いずに指示位置Pを認識してもよい。例えば、スクリーンにセンサ(例えば、タッチセンサ)を組み込み、スクリーンからの検出信号に基づいて指示位置を認識してもよい。
また、上記実施形態では、パーソナルコンピューター50(カーソル表示制御手段)が決定したカーソル位置にカーソルCを表示する旨を説明したが、パーソナルコンピューター50が決定したカーソル位置(即ち、カーソルCの表示位置)を補正(移動)させる機能を指示ペン20に具備させてもよい。例えば、指示ペン20が、ユーザーから、カーソル位置移動操作を受け付けることができるようにし、指示ペン20がカーソル位置移動操作を受け付けた場合に、パーソナルコンピューター50が、当該カーソル位置移動操作に応じてカーソル位置を移動し、移動したカーソル位置にカーソルCを表示する制御を行うようにしてもよい。
例えば、スクロールボタン23をボトム部25側からトップ部26側に回転させる操作は、カーソル位置を指示位置から遠ざける方向に移動させるカーソル位置移動操作、スクロールボタン23をトップ部26側からボトム部25側に回転させる操作は、カーソル位置を指示位置に近づける方向に移動させるカーソル位置移動操作であると決めておき、パーソナルコンピューター50は、無線通信手段によって受信したスクロールボタン23の回転方向に応じて、カーソル位置を指示位置から遠ざけたり、近づけたりするように移動させて、カーソルCを表示するように制御してもよい。
なお、指示ペン20において、本体21はリング部27を有しなくてもよい。本体21がリング部27を有しない場合であっても、カメラ40によって感知された面積が大きい方の赤外光の感知部分であるボトム部25の撮像領域の位置と、面積の小さい方の赤外光の感知部分が指示部22の撮像領域である指示部22の撮像領域の位置との位置関係に基づいて、指示ペン20の傾きを判別することができる。
また、指示ペン20は図1に示すようにペン型であるが、指示に供される形状であればペン型以外でもよい(例えば指揮棒のような長い棒型であってもよい)。また、上記実施形態は、矢印型のカーソルCを用いて説明しているが、他の形状のカーソルであっても同様に制御可能である。
なお、本発明の実施形態によるカーソル表示制御手段の処理を実行するためのプログラムをコンピューター読み取り可能な記録媒体に記録して、当該記録媒体に記録されたプログラムをコンピューターシステムに読み込ませ、実行することにより、カーソル表示制御手段の処理を行ってもよい。なお、ここでいう「コンピューターシステム」とは、OSや周辺機器等のハードウェアを含むものであってもよい。また、「コンピューターシステム」は、WWWシステムを利用している場合であれば、ホームページ提供環境(あるいは表示環境)も含むものとする。また、「コンピューター読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、フラッシュメモリー等の書き込み可能な不揮発性メモリー、CD−ROM等の可搬媒体、コンピューターシステムに内蔵されるハードディスク等の記憶装置のことをいう。
さらに「コンピューター読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバーやクライアントとなるコンピューターシステム内部の揮発性メモリー(例えばDRAM(Dynamic Random Access Memory))のように、一定時間プログラムを保持しているものも含むものとする。また、上記プログラムは、このプログラムを記憶装置等に格納したコンピューターシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピューターシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク(通信網)や電話回線等の通信回線(通信線)のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピューターシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル(差分プログラム)であっても良い。
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
1…カーソル表示システム、10…プロジェクター、20…指示ペン、21…本体、22…指示部(指示手段、操作受付手段、第2発光手段)、23…スクロールボタン(操作受付手段)、24…押下ボタン(操作受付手段)、25…ボトム部(第1発光手段)、26…トップ部、27…リング部(第3発光手段)、30…スクリーン、40…カメラ、50…パーソナルコンピューター(指示位置認識手段、カーソル表示制御手段)

Claims (6)

  1. 投射された表示画面上の所望の位置を指示するための指示ペンと、
    前記指示ペンにより指示された前記表示画面上の指示位置を認識する指示位置認識手段と、
    前記指示ペンによる指示を表すカーソルを前記表示画面上に表示する制御を行うカーソル表示制御手段と
    を備え、
    前記カーソル表示制御手段は、
    ずらし量に基づいて、前記指示位置認識手段により認識された前記指示ペンの指示位置から所定距離ずらした位置に前記カーソルを表示し、
    前記表示画面に対する前記指示ペンを使用するユーザーの位置に応じて前記ずらし量を決定することを特徴とするカーソル表示システム。
  2. 前記カーソル表示制御手段は、
    前記指示位置の属する前記表示画面上のエリアに応じて、前記指示位置から前記カーソルの表示位置へのずらし方向を決定することを特徴とする請求項1に記載のカーソル表示システム。
  3. 前記カーソル表示制御手段は、
    前記指示ペンによる指示方向に応じて、前記指示位置から前記カーソルの表示位置へのずらし方向を決定することを特徴とする請求項1に記載のカーソル表示システム。
  4. 前記指示ペンは、
    ユーザーからの操作を受け付ける操作受付手段を備え、
    前記カーソル表示制御手段は、
    前記操作受付手段が前記カーソルの表示位置を移動させるカーソル位置移動操作を受け付けた場合、前記カーソル位置移動操作に応じて前記カーソルの表示位置を移動し、移動した前記カーソルの表示位置に前記カーソルを表示する制御を行うことを特徴とする請求項1乃至請求項のいずれか一項に記載のカーソル表示システム。
  5. 投射された表示画面上において指示手段により指示された前記表示画面上の指示位置を認識する認識工程と、
    ずらし量に基づいて、前記指示手段による指示を表すカーソルを、前記認識工程により認識された前記指示位置から所定距離ずらした位置に表示するように制御する制御工程とを備え、
    前記表示画面に対する前記指示手段を使用するユーザーの位置に応じて前記ずらし量を決定することを特徴とするカーソル表示方法。
  6. 表示された表示画面上において指示手段により指示された前記表示画面上の指示位置を認識する指示位置認識手段と、
    前記指示手段による指示を表すカーソルを前記表示画面上に表示するように制御するカーソル表示制御手段と
    を備え、
    前記カーソル表示制御手段は、
    ずらし量に基づいて、前記指示位置認識手段により認識された前記指示位置から所定距離ずらした位置に前記カーソルを表示し、
    前記表示画面に対する前記指示手段を使用するユーザーの位置に応じて前記ずらし量を決定することを特徴とするプロジェクター。
JP2011085556A 2011-04-07 2011-04-07 カーソル表示システム、カーソル表示方法、及び、プロジェクター Expired - Fee Related JP5853394B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2011085556A JP5853394B2 (ja) 2011-04-07 2011-04-07 カーソル表示システム、カーソル表示方法、及び、プロジェクター
US13/438,290 US9223419B2 (en) 2011-04-07 2012-04-03 Cursor display device and cursor display method
CN201210098114.5A CN102736786B (zh) 2011-04-07 2012-04-05 光标显示装置及其显示方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011085556A JP5853394B2 (ja) 2011-04-07 2011-04-07 カーソル表示システム、カーソル表示方法、及び、プロジェクター

Publications (2)

Publication Number Publication Date
JP2012220678A JP2012220678A (ja) 2012-11-12
JP5853394B2 true JP5853394B2 (ja) 2016-02-09

Family

ID=46965683

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011085556A Expired - Fee Related JP5853394B2 (ja) 2011-04-07 2011-04-07 カーソル表示システム、カーソル表示方法、及び、プロジェクター

Country Status (3)

Country Link
US (1) US9223419B2 (ja)
JP (1) JP5853394B2 (ja)
CN (1) CN102736786B (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI537775B (zh) * 2012-07-26 2016-06-11 群邁通訊股份有限公司 滑鼠圖示控制方法及系統
JP6162001B2 (ja) * 2013-08-29 2017-07-12 シャープ株式会社 描画システム
JP2016033616A (ja) * 2014-07-31 2016-03-10 ブラザー工業株式会社 演奏支援装置及び演奏支援システム
CN105630364B (zh) * 2014-10-29 2019-11-26 联想(北京)有限公司 一种信息处理方法及电子设备
US9766724B2 (en) * 2014-11-03 2017-09-19 Lenovo (Singapore) Pte. Ltd. Orientation dependent stylus button function
JP6665415B2 (ja) * 2015-03-30 2020-03-13 セイコーエプソン株式会社 プロジェクター、及び、プロジェクターの制御方法
CN106843669A (zh) * 2016-12-06 2017-06-13 北京小度信息科技有限公司 应用界面操作方法和装置
KR20220017143A (ko) * 2020-08-04 2022-02-11 삼성전자주식회사 전자 장치 및 이의 전자 펜 포인터를 표시하는 방법

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0635607A (ja) 1992-07-15 1994-02-10 Olympus Optical Co Ltd 遠隔指示入力装置
US5712658A (en) 1993-12-28 1998-01-27 Hitachi, Ltd. Information presentation apparatus and information display apparatus
JP3198783B2 (ja) 1994-03-18 2001-08-13 株式会社日立製作所 情報表示装置
JPH11345087A (ja) * 1998-03-31 1999-12-14 Seiko Epson Corp プレゼンテ―ションシステム及び位置検出方法
US6278443B1 (en) * 1998-04-30 2001-08-21 International Business Machines Corporation Touch screen with random finger placement and rolling on screen to control the movement of information on-screen
US6411283B1 (en) * 1999-05-20 2002-06-25 Micron Technology, Inc. Computer touch screen adapted to facilitate selection of features at edge of screen
US6275214B1 (en) 1999-07-06 2001-08-14 Karl C. Hansen Computer presentation system and method with optical tracking of wireless pointer
JP2001125736A (ja) * 1999-10-29 2001-05-11 Seiko Epson Corp 画像表示装置、プレーゼンテーションシステム及び情報記憶媒体
US7705864B2 (en) * 2000-03-16 2010-04-27 Matrox Graphic Inc. User selectable hardware zoom in a video display system
JP4666808B2 (ja) * 2000-07-27 2011-04-06 キヤノン株式会社 画像表示システム、画像表示方法、及び記憶媒体、プログラム
US6704000B2 (en) * 2000-11-15 2004-03-09 Blue Iris Technologies Method for remote computer operation via a wireless optical device
EP1456806B1 (en) * 2001-12-21 2005-08-17 BRITISH TELECOMMUNICATIONS public limited company Device and method for calculating a location on a display
CN1282063C (zh) 2003-08-11 2006-10-25 张玉红 红外线定位鼠标教鞭
JP2005234368A (ja) 2004-02-20 2005-09-02 Earnet Co Ltd 遠隔講義システム
US7683881B2 (en) * 2004-05-24 2010-03-23 Keytec, Inc. Visual input pointing device for interactive display system
TWI291122B (en) 2004-06-11 2007-12-11 Micro Nits Co Ltd Array type optical sensor pointing system and its method
TWI326794B (en) * 2005-08-02 2010-07-01 Coretronic Corp Projector display system and controlling method for cursor thereof
US20070080940A1 (en) * 2005-10-07 2007-04-12 Sharp Kabushiki Kaisha Remote control system, and display device and electronic device using the remote control system
US9823747B2 (en) * 2006-02-08 2017-11-21 Oblong Industries, Inc. Spatial, multi-modal control device for use with spatial operating system
US8139029B2 (en) * 2006-03-08 2012-03-20 Navisense Method and device for three-dimensional sensing
TWI406153B (zh) * 2007-06-12 2013-08-21 Quanta Comp Inc 游標控制方法及應用該游標控制方法之簡報系統及電腦可讀取儲存媒體
CN101334700B (zh) * 2007-06-27 2013-04-10 广达电脑股份有限公司 光标控制方法、简报系统及计算机可读取存储媒体
US8471823B2 (en) * 2007-08-16 2013-06-25 Sony Corporation Systems and methods for providing a user interface
JP5430123B2 (ja) * 2008-10-30 2014-02-26 任天堂株式会社 ゲーム装置およびゲームプログラム
US20100214218A1 (en) 2009-02-20 2010-08-26 Nokia Corporation Virtual mouse
US8547327B2 (en) * 2009-10-07 2013-10-01 Qualcomm Incorporated Proximity object tracker
US8269796B2 (en) * 2010-05-27 2012-09-18 Hewlett-Packard Development Company, L.P. Pointing device with a display screen for output of a portion of a currently-displayed interface

Also Published As

Publication number Publication date
US9223419B2 (en) 2015-12-29
JP2012220678A (ja) 2012-11-12
CN102736786A (zh) 2012-10-17
CN102736786B (zh) 2016-08-03
US20120256831A1 (en) 2012-10-11

Similar Documents

Publication Publication Date Title
JP5853394B2 (ja) カーソル表示システム、カーソル表示方法、及び、プロジェクター
US9465437B2 (en) Method and apparatus for controlling screen by tracking head of user through camera module, and computer-readable recording medium therefor
KR101198727B1 (ko) 화상투영장치 및 그 제어 방법
KR101864185B1 (ko) 디스플레이 장치 및 이를 이용한 화면 모드 변경 방법
JP5087532B2 (ja) 端末装置、表示制御方法および表示制御プログラム
US9983717B2 (en) Disambiguation of false touch inputs at an information handling system projected user interface
WO2012011263A1 (ja) ジェスチャ入力装置およびジェスチャ入力方法
US20160313890A1 (en) Dynamic Cursor Focus in a Multi-Display Information Handling System Environment
US9035882B2 (en) Computer input device
CN104508605B (zh) 与计算机连用的改良型装置
US9804718B2 (en) Context based peripheral management for interacting with an information handling system
JP5817149B2 (ja) 投影装置
US9791979B2 (en) Managing inputs at an information handling system by adaptive infrared illumination and detection
US20130239032A1 (en) Motion based screen control method in a mobile terminal and mobile terminal for the same
CN104049779A (zh) 在多个显示器之间实现鼠标指针快速切换
TW201403391A (zh) 遠端互動系統及其控制
JP6934776B2 (ja) 表示制御装置、表示システム、ポインタ表示方法及びプログラム
JP4786292B2 (ja) 情報処理装置、階層情報出力方法及びプログラム
JP2015094828A (ja) 画像投影方法、情報入力装置及びプログラム
KR101559424B1 (ko) 손 인식에 기반한 가상 키보드 및 그 구현 방법
JP6832813B2 (ja) 表示制御装置、ポインタの表示方法及びプログラム
TWI714163B (zh) 控制投影內容的方法及電子裝置
KR101911676B1 (ko) 지시체의 움직임을 고려한 프리젠테이션 영상 처리장치 및 방법
TW202044007A (zh) 用於選擇在設備的顯示媒介上的交互物件的方法
US20240053832A1 (en) Information processing apparatus, information processing method, and non-transitory computer readable medium

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140307

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20141008

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20141111

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150106

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20150623

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150910

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20150917

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20151110

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20151123

R150 Certificate of patent or registration of utility model

Ref document number: 5853394

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees