JP5999130B2 - 制御装置及びシステム - Google Patents

制御装置及びシステム Download PDF

Info

Publication number
JP5999130B2
JP5999130B2 JP2014068720A JP2014068720A JP5999130B2 JP 5999130 B2 JP5999130 B2 JP 5999130B2 JP 2014068720 A JP2014068720 A JP 2014068720A JP 2014068720 A JP2014068720 A JP 2014068720A JP 5999130 B2 JP5999130 B2 JP 5999130B2
Authority
JP
Japan
Prior art keywords
connection
identification information
mounted display
hmd
head mounted
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2014068720A
Other languages
English (en)
Other versions
JP2015192331A (ja
Inventor
宏征 高橋
宏征 高橋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Brother Industries Ltd
Original Assignee
Brother Industries Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Brother Industries Ltd filed Critical Brother Industries Ltd
Priority to JP2014068720A priority Critical patent/JP5999130B2/ja
Priority to PCT/JP2015/058682 priority patent/WO2015146884A1/ja
Publication of JP2015192331A publication Critical patent/JP2015192331A/ja
Application granted granted Critical
Publication of JP5999130B2 publication Critical patent/JP5999130B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/64Constructional details of receivers, e.g. cabinets or dust covers
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B27/0172Head mounted characterised by optical features
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/39Control of the bit-mapped memory
    • G09G5/393Arrangements for updating the contents of the bit-mapped memory
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B2027/0178Eyeglass type
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00Aspects of data communication
    • G09G2370/22Detection of presence or absence of input display information or of connection or disconnection of a corresponding information source
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/003Details of a display terminal, the details relating to the control arrangement of the display terminal and to the interfaces thereto
    • G09G5/006Details of the interface to the display terminal

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Controls And Circuits For Display Device (AREA)

Description

本発明は、頭部に装着可能なヘッドマウントディスプレイを制御する制御装置、並びにヘッドマウントディスプレイ及び制御装置を備えたシステムに関する。
複数の電子機器を、ケーブルを介して接続する際に用いられる接続インターフェース(以下、接続IFという。)は、機械的耐久性等の観点から挿抜可能回数が規定されている。特許文献1には、対象装置が有する複数の受け側コネクタの各々に、無線IDチップを搭載した差込側コネクタを挿抜可能なコネクタ識別・接続管理装置が開示されている。コネクタ識別・接続管理装置では、各受け側コネクタに接続可能な差込側コネクタが予め決まっている。このため、コネクタ識別・接続管理装置は、受け側コネクタの接続回数と、差込側コネクタの接続回数とをカウントし、各接続回数が所定回数を超えた場合には寿命が尽きたと判定する。
特開2005−339983号公報
特許文献1では、差込側コネクタと受け側コネクタとが予め決まっているため、接続回数を管理できる。しかしながら、例えば、制御装置とヘッドマウントディスプレイとの対応付けが予め決められておらず、複数の制御装置のうちの1つと、複数のヘッドマウントディスプレイのうちの1つとが接続IFを介して接続される場合には、接続IFの接続回数等を管理できない。
本発明の目的は、制御装置とヘッドマウントディスプレイとの対応付けが予め決められていない場合であっても、従来に比べ精度よく、接続IFの接続回数を管理可能な制御装置、並びにヘッドマウントディスプレイ及び制御装置を備えたシステムを提供することである。
本発明の第1態様に係る制御装置は、制御装置を識別可能な第1識別情報を記憶する第1記憶手段と、ヘッドマウントディスプレイと接続可能な第1接続インターフェースであって、前記ヘッドマウントディスプレイの第2接続インターフェースと接続可能な第1接続インターフェースと、前記第1接続インターフェースに前記ヘッドマウントディスプレイが接続されているかを判定する第1判定手段と、前記第1判定手段により接続されていると判定された場合、前記ヘッドマウントディスプレイの第2記憶手段から、前記ヘッドマウントディスプレイが前回接続された制御装置を識別可能な第2識別情報を取得する第1取得手段と、前記第1取得手段により取得された前記第2識別情報と、前記第1記憶手段に記憶された前記第1識別情報とが異なるかを判定する第2判定手段と、前記第2判定手段により異なると判定された場合、前記第2記憶手段に記憶された第1接続回数を第1所定数増加し、前記第2記憶手段に記憶された前記第2識別情報を前記第1識別情報に更新する第1更新手段と、前記第2記憶手段に記憶された前記第1接続回数が第1閾値を超えたかを判定する第3判定手段と、前記第3判定手段により前記第1閾値を超えたと判定された場合、前記ヘッドマウントディスプレイに指令を通知する第1通知手段とを備える。
第1態様の制御装置は、第2識別情報と、第1識別情報とが異なると判定された場合に、第1接続回数を第1所定数増加することにより、ヘッドマウントディスプレイの第2接続IFの接続回数を管理する。このため制御装置は、制御装置とヘッドマウントディスプレイとの対応付けが予め決められていない場合であっても、ヘッドマウントディスプレイの第2接続IFの接続回数を第1接続回数により従来に比べ精度よく管理できる。
第1態様に係る制御装置において、前記第1記憶手段は、前記制御装置が前回接続されたヘッドマウントディスプレイを識別可能な第3識別情報をさらに記憶し、前記第1取得手段は、前記第2記憶手段から前記ヘッドマウントディスプレイを識別可能な第4識別情報をさらに取得し、前記第1取得手段により取得された前記第4識別情報と、前記第1記憶手段に記憶された前記第3識別情報とが異なるかを判定する第4判定手段と、前記第4判定手段により異なると判定された場合、前記第1記憶手段に記憶された第2接続回数を第2所定数増加し、前記第1記憶手段に記憶された前記第3識別情報を前記第4識別情報に更新する第2更新手段と、前記第1記憶手段に記憶された前記第2接続回数が第2閾値を超えたかを判定する第5判定手段と、前記第5判定手段により前記第2閾値を超えたと判定された場合、前記ヘッドマウントディスプレイに指令を通知する第2通知手段とをさらに備えてもよい。この場合の制御装置は、第4識別情報と、第3識別情報とが異なると判定された場合に、第2接続回数を第2所定数増加することにより、制御装置の第1接続IFの接続回数を管理する。このため制御装置は、制御装置とヘッドマウントディスプレイとの対応付けが予め決められていない場合であっても、制御装置の第1接続IFの接続回数を第2接続回数により従来に比べ精度よく管理できる。
第1態様に係る制御装置において、前記第1更新手段は、前記第2判定手段及び前記第5判定手段の少なくとも一方により異なると判定された場合、前記第2記憶手段に記憶された前記第1接続回数を前記第1所定数増加し、前記第2更新手段は、前記第2判定手段及び前記第5判定手段の少なくとも一方により異なると判定された場合、前記第1記憶手段に記憶された前記第2接続回数を前記第2所定数増加してもよい。この場合の制御装置は、複数の制御装置のうちの1つと、複数のヘッドマウントディスプレイのうちの1つとが第1接続IFと、第2接続IFとを介して接続される場合に、制御装置の第1接続IFの接続回数を第2接続回数により従来に比べ精度よく管理できる。制御装置は、ヘッドマウントディスプレイの第2接続IFの接続回数を第1接続回数により従来に比べ精度よく管理できる。
第1態様に係る制御装置において、前記第1通知手段は、前記ヘッドマウントディスプレイの前記第1接続回数が前記第1閾値を超えたことを示す表示情報を前記ヘッドマウントディスプレイに表示させる指令を前記ヘッドマウントディスプレイに通知してもよい。この場合の制御装置は、ヘッドマウントディスプレイの第1接続回数が第1閾値を超えたことを示す表示情報をヘッドマウントディスプレイに表示させることができる。ユーザはヘッドマウントディスプレイに表示された表示情報を参照することで、ヘッドマウントディスプレイの第2接続IFの交換のタイミングを知ることができる。
第1態様に係る制御装置において、前記第2通知手段は、前記制御装置の前記第2接続回数が前記第2閾値を超えたことを示す表示情報を前記ヘッドマウントディスプレイに表示させる指令を前記ヘッドマウントディスプレイに通知してもよい。この場合の制御装置は、ヘッドマウントディスプレイの第2接続回数が第2閾値を超えたことを示す表示情報をヘッドマウントディスプレイに表示させることができる。ユーザはヘッドマウントディスプレイに表示された表示情報を参照することで、制御装置の第1接続IFの交換のタイミングを知ることができる。
第1態様に係る制御装置において、電源回路部と、前記第1判定手段により接続されていると判定された場合、前記第1接続インターフェースを介して、前記電源回路部から前記ヘッドマウントディスプレイへの電源供給を行う電源制御手段とをさらに備えてもよい。そして、前記電源制御手段により前記電源回路部から前記ヘッドマウントディスプレイへの電源供給が行われた場合、前記第1取得手段は、前記ヘッドマウントディスプレイの前記第2記憶手段から、前記第2識別情報を取得してもよい。この場合の制御装置は、第1接続インターフェースにヘッドマウントディスプレイが接続されている判定された場合に、ヘッドマウントディスプレイに自動的に電源を供給し、さらに、ヘッドマウントディスプレイの第2記憶手段から、第2識別情報を取得することができる。
本発明の第2態様に係るシステムは、第1態様の制御装置と、ヘッドマウントディスプレイとを備える。第2態様に係るシステムは、制御装置において第2識別情報と、第1識別情報とが異なると判定された場合に、第1接続回数を第1所定数増加することにより、ヘッドマウントディスプレイの第2接続IFの接続回数を管理する。このためシステムは、複数の制御装置のうちの1つと、複数のヘッドマウントディスプレイのうちの1つとが第1接続IFと、第2接続IFとを介して接続される場合に、ヘッドマウントディスプレイの第2接続IFの接続回数を第1接続回数により従来に比べ精度よく管理できる。制御装置が第4識別情報と、第3識別情報とが異なると判定された場合に、第2接続回数を第2所定数増加する場合には、システムは制御装置の第1接続IFの接続回数を管理する。この場合システムは、複数の制御装置のうちの1つと、複数のヘッドマウントディスプレイのうちの1つとが第1接続IFと、第2接続IFとを介して接続される場合に、制御装置の第1接続IFの接続回数を第2接続回数により従来に比べ精度よく管理できる。
第2態様に係るシステムにおいて、前記ヘッドマウントディスプレイは、前記第2記憶手段と、前記第2接続インターフェースと、前記ヘッドマウントディスプレイが一端に一体形成され、他端に前記第2接続インターフェースを備えたケーブルと、を備えてもよい。この場合のシステムのヘッドマウントディスプレイは、ケーブルの一端と一体形成されているので、ケーブルの両端に接続IFが接続された場合に比べ、第1接続回数を更新する処理を簡略化できる。ヘッドマウントディスプレイは第2記憶手段を備えるので、ヘッドマウントディスプレイが制御装置から引き抜かれた際に、ヘッドマウントディスプレイの第1接続回数が分からなくなることがない。
システム1の斜視図である。 システム1の電気的構成を示すブロック図である。 メイン処理のフローチャートである。
本発明を具体化した実施形態について、図面を参照して説明する。図1を参照し、ヘッドマウントディスプレイシステム(以下、システムという。)1の概要を説明する。本実施形態では、システム1は、ヘッドマウントディスプレイ(以下、HMDという。)10及び制御装置(以下、コントロールボックス又はCBという。)50を備える。以下の説明において、図1の上方、下方、右斜め下方、左斜め上方、右斜め上方及び左斜め下方が、各々、システム1、HMD10及びCB50の上方、下方、前方、後方、右方及び左方である。接続IFは、装置が他の装置とケーブル(信号線)を介して接続される場合の接続部分のことをいう。接続IFは、プラグ、ジャック、及びレセプタクル等の各種コネクタを含む。
HMD10の概要を説明する。本実施形態のHMD10は、例えば、シースルータイプの頭部装着可能な表示装置である。HMD10は、シースルータイプ以外の頭部装着可能な表示装置であっても良い。HMD10は、例えば、専用の装着具である眼鏡5に取り付けられる。ユーザは、HMD10が取り付けられた眼鏡5をかけることにより、HMD10を頭部に装着して使用する。眼鏡5は、フレーム6及び支持部4を備える。フレーム6の形状は、通常の眼鏡と略同一であるので、詳細な説明は省略する。フレーム6のうち、左眼用レンズを支えるリム部の上面右端に、支持部4が設けられる。支持部4は、HMD10の筐体2を保持する。支持部4は、筐体2の保持位置を上下方向及び左右方向に移動できる。ユーザは、筐体2を上下方向及び左右方向に移動させることにより、左眼の眼球の位置とハーフミラー3の位置とが前後方向に並ぶように位置を調整できる。
HMD10は、画像光を後方に向けて照射できる。画像光は、HMD10を装着したユーザの左眼に入射される。HMD10は、筐体2、ハーフミラー3、画像表示部15(図2参照)、接眼光学系(図示略)、ケーブル7、及び制御装置接続インターフェース(以下、CB接続IFという。)20等を主な構成要素とする。
筐体2は、眼鏡5の右端部に取り付けられる。筐体2の左端側に、ハーフミラー3が設けられる。ハーフミラー3は、ユーザがHMD10を頭部に装着した状態で、ユーザの左眼の前方に配置される。筐体2の内部に、画像表示部15及び接眼光学系が配置される。画像表示部15は液晶素子である。画像表示部15には、CB50からケーブル7を介して受信した画像信号に応じた画像が表示される。画像表示部15の表示面は左方向を向く。接眼光学系は、画像表示部15とハーフミラー3との間に配置される。画像表示部15に表示された画像を示す画像光は、接眼光学系に右側から入射し、左側からハーフミラー3に向けて出射する。ハーフミラー3は、接眼光学系から出射された画像光を後方に反射する。システム1がユーザに装着されている状態で、画像光は、ユーザの左眼の眼球に入射する。ハーフミラー3は、外界の実像からの光を、ユーザの左眼に向けて透過する。システム1は、ユーザの視野範囲内の実像(例えば、外界の風景等)に、画像表示部15に表示された画像を重ねた状態の光景を、ユーザに視認させる。HMD10は、ケーブル7の一端と一体形成されている。ケーブル7の他端にはCB接続IF20が設けられている。HMD10は、ケーブル7を介してCB50と取り外し可能に接続する。
HMD10は、ユーザが日常的に使用する眼鏡、ヘルメット、ヘッドホンなど、他の装着具に取り付けられてもよい。画像表示部15は、他の空間変調素子であってもよい。例えば画像表示部15は、画像信号に応じた強度のレーザ光を2次元走査して表示を行う網膜走査型表示部、及び有機EL(Organic Electro−luminescence)ディスプレイであってもよい。また、図1では支持部4及びHMD10がフレーム6の右側に設けられるが、支持部4及びHMD10は、フレーム6の側に設けられてもよい。この場合、システム1がユーザに装着されている状態で、画像光は、ユーザの右眼の眼球に入射する。
CB50の概要を説明する。CB50は、例えばユーザの腰ベルトや腕等に取り付けられる。CB50はHMD10を制御する。CB50は、ケーブル7を介してHMD10と取り外し可能に接続する。CB50は、筐体63、スイッチ61、LED62、及びヘッドマウントディスプレイ接続インターフェース(以下、HMD接続IFという。)64等を主な構成要素とする。筐体63の形状は、縁部の丸い略直方体である。スイッチ61は、HMD10における各種設定、使用時における各種操作、電源のON、OFFを行うためのスイッチである。LED62は、システム1の状態をユーザに通知するための発光素子である。HMD接続IF64は、筐体63の一側面に凹部状に形成されている。HMD接続IF64は、HMD10のCB接続IF20と接続可能である。
図2を参照し、システム1の電気的構成を説明する。まず、HMD10の電気的構成を説明する。HMD10は、CB接続IF20、画像表示部15、画像出力制御部16、及びEEPROM(登録商標)17を備える。CB接続IF20は、CB50のHMD接続IF64に電気的に接続可能である。CB接続IF20は、各種指令、及び画像信号をHMD接続IF64(CB50)から受信する。CB接続IF20は、各種指令、及び画像信号をHMD接続IF64に送信する。CB接続IF20は、HMD接続IF64(CB50)から電力の供給を受ける。画像出力制御部16は、HMD接続IF64を介して受信された画像信号に応じた画像を画像表示部15に表示可能である。
EEPROM17は、第2識別情報記憶エリア18、第1接続回数記憶エリア19、及び第4識別情報記憶エリア21を含む複数の記憶エリアを備える。第2識別情報記憶エリア18は、HMD10が前回接続されたCB10を識別可能な第2識別情報を記憶する。第2識別情報の初期値は例えば、NULL値である。第2識別情報は、HMD10に新たに接続されたCB50が検知された場合に、新たに接続されたCB50の第1識別情報(後述)に書き換えられる。第1接続回数記憶エリア19は、第1接続回数を記憶する。第1接続回数の初期値は例えば、0である。第1接続回数は、HMD10のCB接続IF20が、CB50のHMD接続IF64に新たに接続されたことが検知された場合に第1所定数増加される。つまり、第1接続回数は、HMD10のCB接続IF20がCB50のHMD接続IF64に新たに接続されたと判定された回数に対応した値である。第1所定数は予め定められた値であればよく、例えば、1である。第4識別情報記憶エリア21は、HMD10を識別可能な第4識別情報を記憶する。第4識別情報は、複数のHMD10の各々について、他のHMD10と識別可能な情報であればよく、例えば、シリアル番号である。EEPROM17は他の不揮発性記憶装置であってもよい。
CB50の電気的構成を説明する。CB50は、CB50全体の制御を行うCPU51を備える。CPU51は、EEPROM52、RAM53、電源回路54、LED62、スイッチ61、デコーダー55、画像処理部56、HMD検知部57、及びHMD接続IF64に電気的に接続される。
EEPROM52は、プログラム記憶エリア71、第1識別情報記憶エリア72、第2接続回数記憶エリア73、第3識別情報記憶エリア74、HMD接続フラグ記憶エリア75、及び閾値記憶エリア76を含む複数の記憶エリアを備える。プログラム記憶エリア71は、後述のメイン処理を含む、CPU51が実行する各種プログラムを記憶する。第1識別情報記憶エリア72は、CB50を識別可能な第1識別情報を記憶する。第1識別情報は例えば、複数のCB50の各々について、他のCB50と識別可能な情報であればよく、例えば、シリアル番号である。第2接続回数記憶エリア73は、第2接続回数を記憶する。第2接続回数の初期値は例えば、0である。第2接続回数は、CB50のHMD接続IF64が、HMD10のCB接続IF20に新たに接続されたことを検知された場合に第2所定数増加される。つまり、第2接続回数は、CB50のHMD接続IF64がHMD10のCB接続IF20に新たに接続されたと判定された回数に対応した値である。第2所定数は予め定められた値であればよく、例えば、1である。第3識別情報記憶エリア74は、CB50が前回接続されたHMD10を識別可能な第3識別情報を記憶する。第3識別情報の初期値は例えば、NULL値である。第3識別情報は、CB50に新たに接続されたHMD10が検知された場合に、新たに接続されたHMD10の第4識別情報に書き換えられる。
HMD接続フラグ記憶エリア75は、ヘッドマウントディスプレイ接続フラグ(以下、HMD接続フラグという。)の値を記憶する。HMD接続フラグはシステム1の電源がONになっている期間の、HMD10のCB接続IF20とCB50のHMD接続IF64との接続状態を監視するためのフラグである。HMD接続フラグの値が有である場合、HMD10のCB接続IF20とCB50のHMD接続IF64とは接続されている。HMD接続フラグの値が無である場合、HMD10のCB接続IF20とCB50のHMD接続IF64とは非接続である。閾値記憶エリア76は、閾値N1及び閾値N2を記憶する。閾値N1は、例えば、HMD10のCB接続IF20の寿命(挿抜可能回数)を考慮して設定された値である。閾値N1は、HMD10のCB接続IF20の挿抜可能回数であってもよいし、CB接続IF20の挿抜可能回数より所定数少ない値であってもよい。同様に、閾値N2は、例えば、CB50のHMD接続IF64の寿命(挿抜可能回数)を考慮して設定された値である。閾値N2は、CB50のHMD接続IF64の挿抜可能回数であってもよいし、HMD接続IF64の挿抜可能回数より所定数少ない値であってもよい。EEPROM52は他の不揮発性記憶装置であってもよい。RAM53は、各種データを一時的に記憶する。
電源回路54は、バッテリー81と電気的に接続され、バッテリー81からHMD10に対する電源の供給及び停止の制御と、バッテリー81からHMD10に供給する電圧の調整とを実行可能に構成された回路である。バッテリー81はCB50に設けられてもよいし、CB50とは別に設けられた外部電源であってもよい。デコーダー55は、ソース機器82と電気的に接続され、ソース機器82から供給される画像信号の復号を行う。ソース機器82は、画像信号を出力可能な周知のAV機器である。ソース機器82としては、例えば、パーソナルコンピュータ(PC)、ビデオ受像機、及びビデオカメラ等が挙げられる。デコーダー55は、図示しないケーブルを介してソース機器82と有線で接続されてもよいし、図示しない通信インターフェースを介して無線で接続されてもよい。画像信号は、画像をHMD10に表示させるための信号であり、例えば、画像フレームの各々に含まれる複数の画素の各々のRGB値を示す、周知のデジタル信号である。画像処理部56は、画像信号に対して各種画像処理を実行する。HMD検知部57は、HMD接続IF64が備える検知ピン(図示略)の電圧値に基づき、HMD10が接続されているかを検知可能である。HMD接続IF64にHMD10のCB接続IF20が接続されていない場合、HMD接続IF64の検知ピンの電圧値はHIGHである。HMD接続IF64にHMD10のCB接続IF20が接続されている場合、検知ピンの電圧値はLOWである。HMD接続IF64は、HMD10のCB接続IF20に電気的に接続可能である。HMD接続IF64は、画像信号及び各種指令をCB接続IF20(HMD10)に送信する。HMD接続IF64は、画像信号及び各種指令をCB接続IF20から受信する。HMD接続IF64は、CB接続IF20(HMD10)に電力を供給する。
図3を参照し、CB50のCPU51によって実行されるメイン処理を説明する。メイン処理は、ユーザがスイッチ61を操作して、CB50の電源がONにされたタイミングで起動される。CPU51は、電源ONを検知すると、図2に示すEEPROM52のプログラム記憶エリア71に記憶されたメイン処理を実行するためのプログラムをRAM53に読み出し、プログラムに含まれる指示に従って、以下に説明する各ステップの処理を実行する。処理の過程で得られた各種データは、適宜RAM53に記憶される。
CPU51は、CB10の電源をONにされたことに基づいて、CB10のHMD検知部57等に対して電力の供給を開始する(S1)。CPU51は、HMD検知部57の検知結果に基づき、HMD10のCB接続IF20がHMD接続IF64に接続されているかを判定する(S3)。HMD検知部57が備える検知ピンの電圧値がHIGHである場合(S2:NO)、CPU51は、HMD接続フラグ記憶エリア75に記憶されているHMD接続フラグを無に設定した後(S15)、後述のS16の処理を行う。HMD検知部57が備える検知ピンの電圧値がLOWである場合(S2:YES)、CPU51は、電源回路54にHMD10への電力の供給を開始させ、HMD10の電源をONにする(S3)。CPU51は、HMD接続IF64、CB接続IF20、ケーブル7を介してEEPROM17から第2識別情報及び第4識別情報を取得する(S4)。
CPU51は、EEPROM52の第3識別情報記憶エリア74に記憶された第3識別情報と、S4で取得した第4識別情報とを比較し、両者が異なるかを判定する(S5)。CPU51が第3識別情報が、第4識別情報と一致すると判定した場合(S5:NO)、CPU51は、EEPROM52の第1識別情報記憶エリア72に記憶された第1識別情報と、S4で取得した第2識別情報とを比較し、両者が異なるかを判定する(S6)。CPU51が第1識別情報が、第2識別情報と一致すると判定した場合(S6:NO)、EEPROM52のHMD接続フラグ記憶エリア75に記憶されたHMD接続フラグの値が無であるかを判定する(S7)。CPU51がHMD接続フラグの値が有であると判定した場合(S7:NO)、CPU51は後述するS16の処理を実行する。
S5の処理でCPU51が第3識別情報と、第4識別情報とが異なると判定した場合(S5:YES)、S6の処理でCPU51が第1識別情報と、第2識別情報とが異なると判定した場合(S6:YES)、又はS7の処理でCPU51がHMD接続フラグの値が無であると判定した場合(S7:YES)、CPU51はS8の処理を実行する。即ち、CPU51は、EEPROM52の第2接続回数記憶エリア73に記憶されている第2接続回数を第2所定数増加させる(S8)。CPU51は、EEPROM52の第3識別情報記憶エリア74に記憶された第3識別情報を、S4で取得した第4識別情報に書き換えることで、第3識別情報を更新する(S8)。
CPU51はS8で更新した第2接続回数が、EEPROM52の閾値記憶エリア76に記憶された閾値N2を超えたかを判定する(S9)。CPU51が第2接続回数が閾値N2を超えたと判定した場合(S9:YES)、CPU51は、HMD接続IF64を介して、HMD10に対して、指令を通知する(S10)。本実施形態ではCPU51は、HMD接続IF64を介して、HMD10に対して、CB交換メッセージ表示指令を通知する。CB交換メッセージ表示指令は、CB50の第2接続回数が閾値N2を超えたことを示す表示情報(CB交換メッセージ)をHMD10の画像表示部15に表示させることを指示する指令である。CB交換メッセージは、例えば、「制御装置のコネクタの交換時期です。」である。HMD10の画像出力制御部16は、CPU51から通知された指令に基づき、画像表示部15にCB交換メッセージを表示させる。CB交換メッセージの表示期間は適宜定められればよい。例えば、CB交換メッセージは所定期間(例えば、10分間)表示されてもよい。
CPU51が第2接続回数が閾値N2以下であると判定した場合(S9:NO)、又は、CPU51がS10の処理を実行した後に、CPU51はHMD10のEEPROM17の第1接続回数記憶エリア19に記憶されている第1接続回数を第1所定数増加させる(S11)。CPU51は、EEPROM17の第2識別情報記憶エリア18に記憶された第2識別情報を、EEPROM52に記憶された第1識別情報に書き換えることで、第2識別情報を更新する(S11)。
CPU51はS11で更新した第1接続回数が、EEPROM52の閾値記憶エリア76に記憶された閾値N1を超えたかを判定する(S12)。CPU51が第1接続回数が閾値N1を超えたと判定した場合(S12:YES)、CPU51は、HMD接続IF64を介して、HMD10に対して、指令を通知する(S13)。本実施形態ではCPU51は、HMD接続IF64を介して、HMD10に対して、HMD交換メッセージ表示指令を通知する。HMD交換メッセージ表示指令は、HMD10の第1接続回数が閾値N1を超えたことを示す表示情報(HMD交換メッセージ)をHMD10の画像表示部15に表示させることを指示する指令である。HMD交換メッセージは、例えば、「ヘッドマウントディスプレイのコネクタの交換時期です。」である。HMD10の画像出力制御部16は、CPU51からの指令に基づき、画像表示部15にHMD交換メッセージを表示させる。HMD交換メッセージの表示期間は適宜定められればよい。例えば、HMD交換メッセージは、所定期間(例えば、10分間)表示されてもよい。CPU51が、S9でYESと判定し、且、S12でYESと判定した場合、CPU51は、CB交換メッセージと、HMD交換メッセージとの2つのメッセージを交互に所定時間ずつ表示してもよいし、同時に表示してもよい。
CPU51がS12の処理で第1接続回数が閾値N1以下であると判定した場合(S12:NO)、又は、CPU51がS13の処理を実行した後に、EEPROM52のHMD接続フラグ記憶エリア75のHMD接続フラグに有を設定し、HMD接続フラグを更新する(S14)。CPU51はCB10の電源OFFを実行するタイミングかを判定する(S16)。CPU51は、例えば、スイッチ61により電源OFFの指令が入力された場合に、CB10の電源OFFを実行するタイミングであると判定する。CPU51がCB10の電源OFFを実行するタイミングではないと判定した場合(S16:NO)、CPU51はS2の処理を実行する。CPU51がCB10の電源OFFを実行するタイミングであると判定した場合(S16:YES)、CPU51はCB10の電源をOFFにした後(S17)、メイン処理を終了する。
システム1において、システム1、CB10、及びHMD10は各々、本発明のシステム、制御装置、及びヘッドマウントディスプレイに相当する。EEPROM52、HMD接続IF64、電源回路54は各々、本発明の第1記憶手段、第1接続インターフェース、電源回路部に相当する。CB接続IF20、及びEEPROM17は各々、本発明の第2接続インターフェース及び第2記憶手段に相当する。S2の処理を実行するCPU51は、本発明の第1判定手段として機能する。S3の処理を実行するCPU51は、本発明の電源制御手段として機能する。S4の処理を実行するCPU51は、本発明の第1取得手段として機能する。S6の処理を実行するCPU51は、本発明の第2判定手段として機能する。S11の処理を実行するCPU51は、本発明の第1更新手段として機能する。S12の処理を実行するCPU51は、本発明の第3判定手段として機能する。S13の処理を実行するCPU51は、本発明の第1通知手段として機能する。S5の処理を実行するCPU51は、本発明の第4判定手段として機能する。S8の処理を実行するCPU51は本発明の第2更新手段として機能する。S9の処理を実行するCPU51は、本発明の第5判定手段として機能する。S10の処理を実行するCPU51は、本発明の第2通知手段として機能する。
従来技術では、CB50の電源がONにされている期間に新たに接続された場合の接続回数は検知可能であるが、CB50の電源がOFFにされている期間に新たに接続された場合の接続回数は検知できない。また従来技術では、制御装置とヘッドマウントディスプレイとの対応付けが予め決められていない場合、複数の制御装置のうちの1つと、複数のヘッドマウントディスプレイのうちの1つとが接続IFを介して接続される場合には、接続IFの接続回数を管理できない。これに対し、システム1によれば、HMD接続フラグに基づく従来技術と同様のCB50の電源がONにされている期間に新たに接続された場合に加え、以下の処理により、CB50の電源がOFFにされている期間に新たに接続された特定の場合も検知可能である。CB50は、第2識別情報と、第1識別情報とが異なると判定された場合(S6:YES)、及び第4識別情報と、第3識別情報とが異なると判定された場合(S5:YES)の少なくとも一方に、第1接続回数を第1所定数増加する(S11)。このためCB50は、複数のCB50のうちの1つと、複数のHMD10のうちの1つとがCB接続IF20、HMD接続IF64を介して接続される場合に、HMD10のHMD接続IF64の接続回数を第1接続回数により従来に比べ精度よく管理できる。
CB50は、第4識別情報と、第3識別情報とが異なると判定された場合(S5:YES)、及び第2識別情報と、第1識別情報とが異なると判定された場合(S6:YES)の少なくとも一方に、第2接続回数を第2所定数増加する(S8)。このためCB50は、複数のCB50のうちの1つと、複数のHMD10のうちの1つとがCB接続IF20、HMD接続IF64を介して接続される場合に、CB50のHMD接続IF64の接続回数を第2接続回数により従来に比べ精度よく管理できる。
CB50は、HMD10の第1接続回数が閾値N1を超えたことを示すHMD交換メッセージをHMD10に表示させることができる(S13)。ユーザはHMD10の画像表示部15によって表示されるHMD交換メッセージを参照することで、HMD10のCB接続IF20の交換のタイミングを知ることができる。
CB50は、CB50の第2接続回数が閾値N2を超えたことを示すCB交換メッセージをHMD10に表示させることができる(S10)。ユーザはHMD10の画像表示部15によって表示されるCB交換メッセージを参照することで、CB50のHMD接続IF64の交換のタイミングを知ることができる。
CB50は、HMD接続IF64にHMD10が接続されている判定された場合に(S2:YES)、HMD10に自動的に電源を供給できる(S3)。このため、HMD10は電源を備える必要がない。HMD10は、ケーブル7の一端と一体形成されているので、ケーブル7の両端にコネクタが接続された場合に比べ、第1接続回数を更新する処理を簡略化できる。HMD10はEEPROM17を備えるので、HMD10がCB50から引き抜かれた際に、HMD10の第1接続回数が分からなくなることがない。
本発明のCB50及びシステム1は、上記した実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変更が加えられてもよい。例えば、以下の(1)及び(2)の変形が適宜加えられてもよい。
(1)CB50及びシステム1の構成は適宜変更されてよい。例えば、システム1は、図示略の無線通信部をさらに備えてもよい。CPU51は、無線通信部を介してプログラムダウンロード用のサーバからプログラムをダウンロードし、EEPROM52に記憶してもよい。HMD10は、CPU等のプロセッサを有してもよい。この場合HMD10のプロセッサは、CPU51が通知する指令に基づき、又はCPU51の代わりにCB50のCPU51が実行する処理の一部を実行してもよい。EEPROM52には、HMD10のプロセッサが実行するプログラムが記憶されてもよい。システム1は、図示略の無線通信部を介してプログラムダウンロード用のサーバからダウンロードし、インストールしてもよい。メイン処理を実行するためのプログラム、第1識別情報、第2接続回数、第3識別情報、HMD接続フラグ、及び閾値の一部又は全部は、CB50が備えるコンピュータで読み取り可能な記憶装置に記憶されてもよい。第2識別情報、第1接続回数、及び第4識別情報の一部又は全部は、HMD10が備えるコンピュータで読み取り可能な記憶装置に記憶されてもよい。コンピュータで読み取り可能な記憶装置は、例えばROM、フラッシュROM、HDD等の、一時的な記憶媒体を除く非一時的な記憶媒体である。
(2)図3のメイン処理の各ステップは、CPU51によって実行される例に限定されず、一部又は全部が他の電子機器(例えば、ASIC)によって実行されてもよい。上記処理の各ステップは、複数の電子機器(例えば、複数のCPU)によって分散処理されてもよい。CPU51からの指令に基づき、システム1上で稼動しているOS等が実際の処理の一部又は全部を行い、その処理によって上記実施形態の機能が実現される場合も本発明の範囲に含まれる。上記実施形態の画像表示処理の各ステップは、必要に応じて順序の変更、ステップの省略、及び追加が可能である。
S10又はS13における指令は適宜変更されてよい。S10で通知される指令は、第2接続回数が閾値N2を超えたことをシステム1のユーザに報知することをCB50が備える報知機器又はHMD10に指示する指令であることが好ましい。S13で通知される指令は、第1接続回数が閾値N1を超えたことをシステム1のユーザに報知することをCB50が備える報知機器又はHMD10に指示する指令であることが好ましい。例えば、CB50がCB接続IF20又はHMD接続IF64の交換時期を通知するLEDを備える場合、S10又はS13における指令はLEDを点灯又は点滅させる指令であってもよい。CB50又はHMD10が音声出力部(例えば、スピーカ)を備える場合、S10又はS13における指令は音声出力部で音声によりCB接続IF20又はHMD接続IF64の交換時期を通知させる指令でもよい。CB50が表示部(例えば、液晶ディスプレイ)を備える場合、S10又はS13における指令はCB50の表示部にCB接続IF20又はHMD接続IF64の交換時期を報知するメッセージを表示させる指令であってもよい。S10又はS13における指令は、HMD接続IF64、CB接続IF20、ケーブル7を介した通信経路以外の通信経路(例えば、無線)を介してCB50からHMD10に通知されてもよい。HMD10は、ケーブル7の一端と一体形成されず、接続IFを介して取り外し可能に接続可能な構成でもよい。
CB50の電源がONの状態で、CB50のHMD接続IF64からHMD10のCB接続IF20が引き抜かれることがない場合等には、HMD接続フラグに関わるS7、S14、及びS15の処理は省略されてよい。第3識別情報と、第4識別情報に関わるS2で第4識別情報を取得する処理、S5、及びS8〜S10の処理は適宜省略されてもよい。CPU51は、第2識別情報と、第1識別情報とが異なると判定された場合にのみ、第1接続回数を第1所定数増加してもよい。CPU51は、第4識別情報と、第3識別情報とが異なると判定された場合にのみ、第2接続回数を第2所定数増加してもよい。第1接続回数は、CB接続IF20が交換された場合に、ユーザの操作によりリセットされてもよい。第2接続回数は、HMD接続IF64が交換された場合に、ユーザの操作によりリセットされてもよい。
1 システム
10 ヘッドマウントディスプレイ
15 画像表示部
16 画像出力制御部
17、52 EEPROM
20 制御装置接続インターフェース
50 制御装置
51 CPU
57 ヘッドマウントディスプレイ接続検知部
64 ヘッドマウントディスプレイ接続インターフェース

Claims (8)

  1. 制御装置を識別可能な第1識別情報を記憶する第1記憶手段と、
    ヘッドマウントディスプレイと接続可能な第1接続インターフェースであって、前記ヘッドマウントディスプレイの第2接続インターフェースと接続可能な第1接続インターフェースと、
    前記第1接続インターフェースに前記ヘッドマウントディスプレイが接続されているかを判定する第1判定手段と、
    前記第1判定手段により接続されていると判定された場合、前記ヘッドマウントディスプレイの第2記憶手段から、前記ヘッドマウントディスプレイが前回接続された制御装置を識別可能な第2識別情報を取得する第1取得手段と、
    前記第1取得手段により取得された前記第2識別情報と、前記第1記憶手段に記憶された前記第1識別情報とが異なるかを判定する第2判定手段と、
    前記第2判定手段により異なると判定された場合、前記第2記憶手段に記憶された第1接続回数を第1所定数増加し、前記第2記憶手段に記憶された前記第2識別情報を前記第1識別情報に更新する第1更新手段と、
    前記第2記憶手段に記憶された前記第1接続回数が第1閾値を超えたかを判定する第3判定手段と、
    前記第3判定手段により前記第1閾値を超えたと判定された場合、前記ヘッドマウントディスプレイに指令を通知する第1通知手段と
    を備えることを特徴とする制御装置。
  2. 前記第1記憶手段は、前記制御装置が前回接続されたヘッドマウントディスプレイを識別可能な第3識別情報をさらに記憶し、
    前記第1取得手段は、前記第2記憶手段から前記ヘッドマウントディスプレイを識別可能な第4識別情報をさらに取得し、
    前記第1取得手段により取得された前記第4識別情報と、前記第1記憶手段に記憶された前記第3識別情報とが異なるかを判定する第4判定手段と、
    前記第4判定手段により異なると判定された場合、前記第1記憶手段に記憶された第2接続回数を第2所定数増加し、前記第1記憶手段に記憶された前記第3識別情報を前記第4識別情報に更新する第2更新手段と、
    前記第1記憶手段に記憶された前記第2接続回数が第2閾値を超えたかを判定する第5判定手段と、
    前記第5判定手段により前記第2閾値を超えたと判定された場合、前記ヘッドマウントディスプレイに指令を通知する第2通知手段と
    をさらに備えることを特徴とする請求項1に記載の制御装置。
  3. 前記第1更新手段は、前記第2判定手段及び前記第5判定手段の少なくとも一方により異なると判定された場合、前記第2記憶手段に記憶された前記第1接続回数を前記第1所定数増加し、
    前記第2更新手段は、前記第2判定手段及び前記第5判定手段の少なくとも一方により異なると判定された場合、前記第1記憶手段に記憶された前記第2接続回数を前記第2所定数増加することを特徴とする請求項2に記載の制御装置。
  4. 前記第1通知手段は、前記ヘッドマウントディスプレイの前記第1接続回数が前記第1閾値を超えたことを示す表示情報を前記ヘッドマウントディスプレイに表示させる指令を前記ヘッドマウントディスプレイに通知することを特徴とする請求項1から3の何れかに記載の制御装置。
  5. 前記第2通知手段は、前記制御装置の前記第2接続回数が前記第2閾値を超えたことを示す表示情報を前記ヘッドマウントディスプレイに表示させる指令を前記ヘッドマウントディスプレイに通知することを特徴とする請求項2に記載の制御装置。
  6. 電源回路部と、
    前記第1判定手段により接続されていると判定された場合、前記第1接続インターフェースを介して、前記電源回路部から前記ヘッドマウントディスプレイへの電源供給を行う電源制御手段と、をさらに備え、
    前記電源制御手段により前記電源回路部から前記ヘッドマウントディスプレイへの電源供給が行われた場合、前記第1取得手段は、前記ヘッドマウントディスプレイの前記第2記憶手段から、前記第2識別情報を取得することを特徴とする請求項1から5の何れかに記載の制御装置。
  7. 請求項1から請求項6の何れか一項に記載の制御装置と、
    ヘッドマウントディスプレイと
    を備えることを特徴とするシステム。
  8. 前記ヘッドマウントディスプレイは、
    前記第2記憶手段と、
    前記第2接続インターフェースと、
    前記ヘッドマウントディスプレイが一端に一体形成され、他端に前記第2接続インターフェースを備えたケーブルと、を備えることを特徴とする請求項7に記載のシステム。
JP2014068720A 2014-03-28 2014-03-28 制御装置及びシステム Expired - Fee Related JP5999130B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2014068720A JP5999130B2 (ja) 2014-03-28 2014-03-28 制御装置及びシステム
PCT/JP2015/058682 WO2015146884A1 (ja) 2014-03-28 2015-03-23 制御装置、ヘッドマウントディスプレイ及びシステム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014068720A JP5999130B2 (ja) 2014-03-28 2014-03-28 制御装置及びシステム

Publications (2)

Publication Number Publication Date
JP2015192331A JP2015192331A (ja) 2015-11-02
JP5999130B2 true JP5999130B2 (ja) 2016-09-28

Family

ID=54195398

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014068720A Expired - Fee Related JP5999130B2 (ja) 2014-03-28 2014-03-28 制御装置及びシステム

Country Status (2)

Country Link
JP (1) JP5999130B2 (ja)
WO (1) WO2015146884A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6685115B2 (ja) * 2015-11-30 2020-04-22 株式会社日立国際電気 無線通信装置及び無線通信システム
JP2019120979A (ja) * 2017-12-28 2019-07-22 Dynabook株式会社 電子機器
CN112671711B (zh) * 2020-11-26 2022-07-12 新华三技术有限公司 一种网络设备的管理方法及装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1063882A (ja) * 1996-08-23 1998-03-06 Nippon Signal Co Ltd:The 着脱回数検出機能付きicメモリカード搭載装置
JP2013073558A (ja) * 2011-09-29 2013-04-22 Glory Ltd 貨幣処理システム、貨幣搬送カセットおよび貨幣処理装置
JP2012211959A (ja) * 2011-03-30 2012-11-01 Brother Ind Ltd ヘッドマウントディスプレイ

Also Published As

Publication number Publication date
JP2015192331A (ja) 2015-11-02
WO2015146884A1 (ja) 2015-10-01

Similar Documents

Publication Publication Date Title
US11042045B2 (en) Electronic eyewear and display
US9857863B2 (en) Display apparatus, control method for display apparatus, and program that can switch an operation mode of a display apparatus from a normal operation mode to a battery replacement mode
US10133344B2 (en) Head mounted display apparatus
US20160291666A1 (en) Display apparatus and display apparatus control method
US9613592B2 (en) Head mounted display device and control method for head mounted display device
US9448625B2 (en) Head-mounted display device, control method for head-mounted display device, and image display system
WO2011055155A4 (en) Free-horizon binocular image display device with integrated video signal source
WO2012133021A1 (ja) ヘッドマウントディスプレイ
JP5999130B2 (ja) 制御装置及びシステム
US20160291348A1 (en) Eyeglasses Structure Enabling Image Enhancement
JP5341054B2 (ja) 電子メガネ
WO2012133020A1 (ja) ヘッドマウントディスプレイ
US20170178565A1 (en) Display device, method of controlling display device, and program
JP2017010185A (ja) 表示装置、表示装置の制御方法、及び、プログラム
US20170195667A1 (en) Eyeglasses Structure Enabling Image Enhancement
US11934045B2 (en) Eyewear, and non-transitory computer-readable recording medium
JP2020135306A (ja) 表示システム、情報処理装置の制御プログラム、及び情報処理装置の制御方法
JP6064736B2 (ja) 情報記憶装置および情報記憶プログラム
JP6064737B2 (ja) 音声認識装置及び音声認識プログラム
JP7170277B2 (ja) 通報装置
JP2016540611A (ja) 二つの光源の間にカメラ対物レンズが設置されるヘッドランプカメラシステム
JP5895961B2 (ja) 表示装置及びヘッドマウントディスプレイ
KR101635594B1 (ko) 안경형 웨어러블 장치
JP5907136B2 (ja) ヘッドマウントディスプレイ、及び、制御プログラム
US11671708B2 (en) Imaging device, control method for imaging device, and recording medium

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160531

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160707

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160802

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160815

R150 Certificate of patent or registration of utility model

Ref document number: 5999130

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees