JP6021582B2 - 眼鏡型ウェアラブル装置及び眼鏡型ウェアラブル装置のフロント部 - Google Patents

眼鏡型ウェアラブル装置及び眼鏡型ウェアラブル装置のフロント部 Download PDF

Info

Publication number
JP6021582B2
JP6021582B2 JP2012234797A JP2012234797A JP6021582B2 JP 6021582 B2 JP6021582 B2 JP 6021582B2 JP 2012234797 A JP2012234797 A JP 2012234797A JP 2012234797 A JP2012234797 A JP 2012234797A JP 6021582 B2 JP6021582 B2 JP 6021582B2
Authority
JP
Japan
Prior art keywords
temple
connection
unit
image
side electrical
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2012234797A
Other languages
English (en)
Other versions
JP2014086905A (ja
JP2014086905A5 (ja
Inventor
良平 杉原
良平 杉原
成示 龍田
成示 龍田
晃央 富田
晃央 富田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to JP2012234797A priority Critical patent/JP6021582B2/ja
Priority to CN201380055109.9A priority patent/CN104756482B/zh
Priority to PCT/JP2013/075623 priority patent/WO2014065054A1/ja
Publication of JP2014086905A publication Critical patent/JP2014086905A/ja
Priority to US14/680,248 priority patent/US10025103B2/en
Publication of JP2014086905A5 publication Critical patent/JP2014086905A5/ja
Application granted granted Critical
Publication of JP6021582B2 publication Critical patent/JP6021582B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B27/0176Head mounted characterised by mechanical features
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • GPHYSICS
    • G02OPTICS
    • G02CSPECTACLES; SUNGLASSES OR GOGGLES INSOFAR AS THEY HAVE THE SAME FEATURES AS SPECTACLES; CONTACT LENSES
    • G02C11/00Non-optical adjuncts; Attachment thereof
    • G02C11/10Electronic devices other than hearing aids
    • GPHYSICS
    • G02OPTICS
    • G02CSPECTACLES; SUNGLASSES OR GOGGLES INSOFAR AS THEY HAVE THE SAME FEATURES AS SPECTACLES; CONTACT LENSES
    • G02C5/00Constructions of non-optical parts
    • G02C5/22Hinges
    • G02C5/2209Pivot bearings and hinge bolts other than screws
    • GPHYSICS
    • G02OPTICS
    • G02CSPECTACLES; SUNGLASSES OR GOGGLES INSOFAR AS THEY HAVE THE SAME FEATURES AS SPECTACLES; CONTACT LENSES
    • G02C7/00Optical parts
    • G02C7/02Lenses; Lens systems ; Methods of designing lenses
    • G02C7/08Auxiliary lenses; Arrangements for varying focal length
    • G02C7/086Auxiliary lenses located directly on a main spectacle lens or in the immediate vicinity of main spectacles
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0138Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/014Head-up displays characterised by optical features comprising information/image processing systems
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0149Head-up displays characterised by mechanical features
    • G02B2027/0152Head-up displays characterised by mechanical features involving arrangement aiming to get lighter or better balanced devices
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0149Head-up displays characterised by mechanical features
    • G02B2027/0154Head-up displays characterised by mechanical features with movable elements
    • G02B2027/0156Head-up displays characterised by mechanical features with movable elements with optionally usable elements
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B2027/0178Eyeglass type
    • GPHYSICS
    • G02OPTICS
    • G02CSPECTACLES; SUNGLASSES OR GOGGLES INSOFAR AS THEY HAVE THE SAME FEATURES AS SPECTACLES; CONTACT LENSES
    • G02C2200/00Generic mechanical aspects applicable to one or more of the groups G02C1/00 - G02C5/00 and G02C9/00 - G02C13/00 and their subgroups
    • G02C2200/08Modular frames, easily exchangeable frame parts and lenses

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • General Health & Medical Sciences (AREA)
  • Acoustics & Sound (AREA)
  • Otolaryngology (AREA)
  • Eyeglasses (AREA)

Description

本発明は、眼鏡型ウェアラブル装置及び眼鏡型ウェアラブル装置のフロント部等に関する。
近年、頭部装着型表示装置(HMD)等として利用できる眼鏡型ウェアラブル装置が脚光を浴びている。眼鏡型ウェアラブル装置の従来技術としては、例えば特許文献1、2に開示される技術がある。
特許文献1には、眼鏡フレーム等の頭部の支持フレームに頭部装着型表示装置を固定して利用する手法が開示されている。特許文献2には、専用の眼鏡フレーム内に頭部装着型表示装置を内蔵する手法が開示されている。このように、ウェアラブル機器の小型化が進むことで、ウェアラブル機器を眼鏡フレームに取り付けて使用したり、眼鏡フレームに内蔵することも可能となって来ている。
しかしながら、特許文献1のように、眼鏡フレームに対してウェアラブル機器の筐体をそのまま着脱する手法では、装着時の重量バランスが悪くなり、安定的に装着するのが難しいという課題がある。特許文献1の従来技術では、眼鏡フレームの前方外側にウェアラブル機器の筐体を取り付けるため、モーメントにより重量が余計に眼鏡に掛かるため、眼鏡が傾いたり、重く感じる原因となる。
また、特許文献2のように、眼鏡フレームにウェアラブル機器を内蔵する手法では、ウェアラブル機器の着脱ができないため、通常の眼鏡として利用したい場合には煩わしく、他の機能を有する装置に入れ替えることもできないという課題がある。
また特許文献2では、眼鏡型表示装置のフロント部に対して撮像装置が設けられているが、フロント部には、撮像装置以外にも、各種センサや表示装置などが設けられているため、フロントヘビーな構造となってしまう。また、テンプル部は着脱自在ではなく、内蔵される装置の機能も固定化されてしまうため、多様な用途への対応や多様な処理を実現できないという課題がある。
特開2010−91748号公報 特開2012−8290号公報
本発明の幾つかの態様によれば、撮像機能を有すると共に多様な用途への対応等が可能な眼鏡型ウェアラブル装置及び眼鏡型ウェアラブル装置のフロント部等を提供できる。
本発明の一態様は、装着時に使用者の一方の側頭部に沿って配置される第1のテンプル部と、装着時に前記使用者の他方の側頭部に沿って配置される第2のテンプル部と、装着時に前記使用者の顔の前方に配置されるフロント部と、を有し、前記フロント部は、少なくとも撮像装置を有する電装部と、前記第1のテンプル部が接続可能な第1の接続部と、前記第2のテンプル部が接続可能な第2の接続部とを有し、前記第1のテンプル部及び前記第2のテンプル部の少なくとも一方のテンプル部は、テンプル側電装部を有し、前記第1のテンプル部、前記第2のテンプル部は、前記フロント部の前記第1の接続部、前記第2の接続部に着脱自在なテンプル部であり、前記フロント部の前記撮像装置により撮影された画像の情報が、前記フロント部から、前記少なくとも一方のテンプル部の前記テンプル側電装部に伝送される眼鏡型ウェアラブル装置に関係する。
本発明の一態様では、第1、第2の接続部を有するフロント部と、第1、第2のテンプル部が設けられる。そして、フロント部には撮像装置を有する電装部が設けられ、第1、第2のテンプル部の少なくとも一方のテンプル部にはテンプル側電装部が設けられる。また、第1、第2のテンプル部は、フロント部の第1、第2の接続部に着脱自在になっている。そして、撮像装置により撮影された画像の情報が、フロント部からテンプル側電装部に伝送される。このような構成によれば、フロント部に撮像装置が設けられることで、例えば使用者の前方等を撮影する撮像機能を眼鏡型ウェアラブル装置に持たせることが可能になる。そして、様々な種別のテンプル部をフロント部に着脱自在に接続できるため、多様な用途への対応等も可能になる。例えば種々の電装部を有するテンプル部をフロント部に接続することで、眼鏡型ウェアラブル装置の機能の変更・拡張等が可能になり、これまでにないタイプの眼鏡型ウェアラブル装置を提供できる。また、電装部の大部分を第1、第2のテンプル部に持たせることで、重量バランスの改善やデザイン性の向上等も期待できるようになる。
また本発明の一態様では、前記第1のテンプル部は、第1のテンプル側電装部を有し、前記第2のテンプル部は、第2のテンプル側電装部を有し、前記撮像装置からの前記画像の情報が、前記フロント部から、前記第1、第2のテンプル側電装部の少なくとも一方に伝送されてもよい。
このようにすれば、撮像装置からの画像の情報を、第1、第2のテンプル側電装部の少なくとも一方に伝送して、表示処理、画像処理等の各種の処理を行うことが可能になる。
また本発明の一態様では、前記フロント部の前記電装部と、前記第1、第2のテンプル側電装部の少なくとも一方は、前記フロント部の前記第1、第2の接続部に前記第1、第2のテンプル部が接続された場合に、電気的に接続されてもよい。
このようにすれば、フロント部の第1、第2の接続部に第1、第2のテンプル部が接続されると、フロント部の電装部と第1、第2のテンプル側電装部の少なくとも一方が電気的に接続されて、画像の情報等の伝送が可能になる。
また本発明の一態様では、前記撮像装置からの前記画像の情報が、前記フロント部から前記第2のテンプル側電装部に伝送され、前記第2のテンプル側電装部において、前記画像の情報に対して処理が行われ、前記処理により得られた情報が、前記第2のテンプル側電装部から前記第1のテンプル側電装部に伝送されてもよい。
このようにすれば、撮像装置からの画像の情報に対して、第2のテンプル側電装部において処理を行い、処理により得られた情報を第1のテンプル側電装部に伝送できる。従って、一方のテンプル部で処理された情報を他方のテンプル部で利用することが可能になり、これまでに無いタイプの眼鏡型ウェアラブル装置を実現できる。
また本発明の一態様では、前記第1のテンプル側電装部は、表示装置を有し、前記撮像装置からの前記画像の情報が、前記フロント部から前記第2のテンプル側電装部に伝送され、前記第2のテンプル側電装部において、前記画像の情報に対して画像処理が行われ、前記画像処理が施された画像の情報が、前記第2のテンプル側電装部から前記第1のテンプル側電装部に伝送されて、前記第1のテンプル側電装部の前記表示装置において表示されてもよい。
このようにすれば、撮像装置からの画像の情報に対して、第2のテンプル側電装部において画像処理を行い、画像処理が施された画像の情報を第1のテンプル側電装部に伝送して、表示装置にて表示できるようになる。
また本発明の一態様では、前記撮像装置からの前記画像の情報が、前記フロント部から、前記第1のテンプル側電装部に伝送されると共に前記第2のテンプル側電装部に伝送されてもよい。
このようにすれば、撮像装置からの画像の情報に対して、第1、第2のテンプル側電装部の両方において各種の処理を行うことが可能になる。
また本発明の一態様では、前記第1のテンプル側電装部は、表示装置を有し、前記撮像装置からの前記画像の情報は、前記フロント部から前記第1のテンプル側電装部に伝送されて、前記第1のテンプル側電装部の前記表示装置において表示され、前記撮像装置からの前記画像の情報は、前記フロント部から前記第2のテンプル側電装部に伝送され、前記第2のテンプル側電装部において、前記画像の情報に対して、画像処理、記憶処理及び装置外部への通信処理の少なくとも1つの処理が行われてもよい。
このようにすれば、撮像装置からの画像の情報を、第1のテンプル側電装部に伝送して表示装置にて表示できるようになると共に、第2のテンプル側電装部に伝送して、画像処理、記憶処理及び装置外部への通信処理の少なくとも1つの処理を行うことが可能になる。
また本発明の一態様では、前記少なくとも一方のテンプル側電装部は、表示装置を有し、前記撮像装置からの前記画像の情報は、前記フロント部から前記少なくとも一方のテンプル側電装部に伝送されて、前記少なくとも一方のテンプル側電装部の前記表示装置において表示されてもよい。
このようにすれば、撮像装置からの画像の情報を、第1、第2のテンプル側電装部の少なくとも一方のテンプル側電装部に伝送して表示装置にて表示できるようになる。
また本発明の一態様では、前記表示装置は、表示部と、前記表示部の画像を使用者に虚像として観察可能にする接眼光学系と、前記接眼光学系の接眼窓を前記フロント部の前方に支持する支持部と、を有してもよい。
このようにすれば、少なくとも一方のテンプル側電装部の表示装置を用いて、表示部の画像を使用者に虚像として観察可能にする眼鏡型ウェアラブル装置を提供できる。
また本発明の一態様では、前記少なくとも一方のテンプル側電装部は、バッテリを有し、前記バッテリからの電源が、前記少なくとも一方のテンプル側電装部から前記フロント部の前記撮像装置に供給されてもよい。
このようにすれば、バッテリを有するテンプル部をフロント部に接続して、眼鏡型ウェアラブル装置の電装部品に電源を供給することも可能になる。
また本発明の一態様では、前記バッテリは、前記少なくとも一方のテンプル部のモダン部に設けられてもよい。
このようにモダン部にバッテリを設ければ、このバッテリを用いて電装部の電装部品に電源を供給できると共に、重量バランスの改善等も図れるようになる。
また本発明の一態様では、前記少なくとも一方のテンプル部は、前記バッテリが設けられる前記モダン部と、前記モダン部を着脱可能に接続する接続部と、を有してもよい。
このようにモダン部を着脱可能に接続する接続部を設ければ。バッテリが設けられたモダン部が着脱自在になり、使用者の利便性を向上できる。
また本発明の一態様では、前記フロント部の前記第1の接続部は、前記第1のテンプル部に代えて前記第2のテンプル部が接続可能な接続部であり、前記フロント部の前記第2の接続部は、前記第2のテンプル部に代えて前記第1のテンプル部が接続可能な接続部であってもよい。
このようにすれば、フロント部への第1、第2のテンプル部の左右の入れ替え接続が可能になり、多様な用途への対応を実現できる。
また本発明の一態様では、前記第1のテンプル部は、前記第1の接続部への接続時には、第1の側面が第1の方向を向き、前記第1の側面の反対側の面である第2の側面が前記第1の方向と反対方向の第2の方向を向いた状態で、前記第1の接続部に接続され、前記第2の接続部への接続時には、前記第1の側面が前記第2の方向を向き、前記第2の側面が前記第1の方向を向いた状態で、前記第2の接続部に接続され、前記第2のテンプル部は、前記第2の接続部への接続時には、第1の側面が前記第2の方向を向き、前記第1の側面の反対側の面である第2の側面が前記第1の方向を向いた状態で、前記第2の接続部に接続され、前記第1の接続部への接続時には、前記第1の側面が前記第1の方向を向き、前記第2の側面が前記第2の方向を向いた状態で、前記第1の接続部に接続されてもよい。
このようにすれば、例えば第1、第2のテンプル部を180度回転して接続することで、第1、第2のテンプル部の左右の入れ替え接続を実現できるようになる。
また本発明の一態様では、前記第1の接続部は、第1の端子と、第2の端子を有し、前記第2の接続部は、第3の端子と、第4の端子を有し、前記第1のテンプル部は、前記第1の接続部への接続時には前記第1の接続部の前記第1の端子に接続され、前記第2の接続部への接続時には前記第2の接続部の前記第4の端子に接続される第1のテンプル側端子と、前記第1の接続部への接続時には前記第1の接続部の前記第2の端子に接続され、前記第2の接続部への接続時には前記第2の接続部の前記第3の端子に接続される第2のテンプル側端子と、を有し、前記第2のテンプル部は、前記第2の接続部への接続時には前記第2の接続部の前記第3の端子に接続され、前記第1の接続部への接続時には前記第1の接続部の前記第2の端子に接続される第3のテンプル側端子と、前記第2の接続部への接続時には前記第2の接続部の前記第4の端子に接続され、前記第1の接続部への接続時には前記第1の接続部の前記第1の端子に接続される第4のテンプル側端子と、を有してもよい。
このような第1〜第4の端子と第1〜第4のテンプル側端子を設けて、これらの端子間の接続を行うことで、第1、第2のテンプル部の左右の入れ替え接続を実現できる。
また本発明の一態様では、前記フロント部は、前記第1の接続部及び前記第2の接続部に、同一種別のテンプル部が接続された場合に、前記同一種別のテンプル部が有する電装部同士間の電気的接続を非接続にしてもよい。
このようにすれば、フロント部の第1、第2の接続部に同一種別のテンプル部が接続されることによる不具合の発生を、効果的に抑制できるようになる。
また本発明の他の態様は、眼鏡型ウェアラブル装置の装着時に使用者の顔の前方に配置されるフロント部であって、前記眼鏡型ウェアラブル装置の装着時に前記使用者の一方の側頭部に沿って配置される第1のテンプル部を接続するための第1の接続部と、前記眼鏡型ウェアラブル装置の装着時に前記使用者の他方の側頭部に沿って配置される第2のテンプル部を接続するための第2の接続部と、撮像装置を有する電装部と、を有し、前記第1、第2の接続部の少なくとも一方の接続部から、前記撮像装置により撮影された画像の情報が出力される眼鏡型ウェアラブル装置のフロント部に関係する。
本発明の他の態様では、眼鏡型ウェアラブル装置のフロント部は、第1、第2のテンプル部を接続するための第1、第2の接続部と、撮像装置を有する電装部を有する。そしてフロント部への第1、第2のテンプル部の接続時には、第1、第2の接続部の少なくとも一方の接続部から、撮像装置により撮影された画像の情報が出力されるようになる。このような構成のフロント部によれば、フロント部に撮像装置が設けられることで、例えば使用者の前方等を撮影する撮像機能を眼鏡型ウェアラブル装置に持たせることが可能になる。また、フロント部への第1、第2のテンプル部の接続により、多様な用途への対応等が可能になる。
また本発明の他の態様では、前記フロント部の前記第1、第2の接続部への前記第1、第2のテンプル部の接続時に、前記第1のテンプル部の第1のテンプル側電装部と前記第2のテンプル部の第2のテンプル側電装部とを電気的に接続する接続線を有してもよい。
このようにフロント部に接続線を配線することで、第1、第2のテンプル側電装部の間や第1、第2のテンプル側電装部と撮像装置との間で、当該接続線を介して信号や電源のやり取りが可能になり、多様な用途への対応等が容易になる。
本実施形態の眼鏡型ウェアラブル装置を上方側から見た上面図。 図2(A)、図2(B)は本実施形態の眼鏡型ウェアラブル装置を前方側から見た正面図。 図3(A)、図3(B)は本実施形態の眼鏡型ウェアラブル装置の右方側から見た側面図。 本実施形態の眼鏡型ウェアラブル装置の左方側から見た側面図。 図5(A)、図5(B)は直列処理モード、並列処理モードの説明図。 直列処理モードの具体例の説明図。 並列処理モードの具体例の説明図。 図8(A)、図8(B)は第1、第2のテンプル部の左右の入れ替え接続についての説明図。 図9(A)〜図9(D)も第1、第2のテンプル部の左右の入れ替え接続についての説明図。 図10(A)〜図10(C)はフロント部での接続線の配線手法の説明図。 図11(A)、図11(B)もフロント部での接続線の配線手法の説明図。 図12(A)、図12(B)はテンプル部のモダン部にバッテリを内蔵する手法の説明図。 図13(A)、図13(B)は表示装置の説明図。 図14(A)〜図14(C)はテンプル部の交換による機能の変更・拡張についての説明図。 図15(A)、図15(B)もテンプル部の交換による機能の変更・拡張についての説明図。 図16(A)、図16(B)はテンプル部の本体を左右交換する手法についての説明図。 表示装置が取り付けられたテンプル部をフロント部の左右に接続する例。 図18(A)、図18(B)は接続部の構造の例。 眼鏡型ウェアラブル装置の電気的な構成を示すブロック図。 図20(A)、図20(B)はテンプル部の種別の検出結果に基づく画像処理の説明図。 図21(A)〜図21(D)はテンプル部の種別の検出手法の説明図。
以下、本実施形態について説明する。なお、以下に説明する本実施形態は、特許請求の範囲に記載された本発明の内容を不当に限定するものではない。また本実施形態で説明される構成の全てが、本発明の必須構成要件であるとは限らない。
1.眼鏡型ウェアラブル装置
図1〜図4に、本実施形態の眼鏡型ウェアラブル装置の構成例を示す。図1は眼鏡型ウェアラブル装置を上方側から見た上面図である。図2(A)、図2(B)は眼鏡型ウェアラブル装置を前方側から見た正面図である。図3(A)、図3(B)は、眼鏡型ウェアラブル装置を右方側から見た側面図であり、図4は、左方側から見た側面図である。
眼鏡型ウェアラブル装置(電子眼鏡フレーム)は、第1のテンプル部10と、第2のテンプル部20と、フロント部30を有する。この眼鏡型ウェアラブル装置は、眼鏡形状のフレームを有し、使用者がウェアラブルに装着できる装置である。
例えば図1の眼鏡型ウェアラブル装置は撮像装置32を備えており、眼鏡型ウェアラブル装置は頭部装着型撮像装置として機能している。また図1の眼鏡型ウェアラブル装置は表示装置50を備えており、眼鏡型ウェアラブル装置は頭部装着型表示装置(HMD)としても機能している。
具体的には、撮像装置32(撮像素子)がフロント部30に設けられており、例えば使用者の前方(正面前方)を撮影(撮像)することが可能になっている。そして撮影した画像を表示装置50に表示することで、例えばカメラのビューファインダー機能等を実現できる。また、撮像装置32により常時撮影を行うことで、いわゆるライフカメラとして機能するウェアラブル装置を実現できる。なお、本実施形態の眼鏡型ウェアラブル装置は、表示装置を設けない構成のウェアラブル装置であってもよいし、撮像装置や表示装置とは別の装置をウェアラブルに装着できるものであってもよい。
第1、第2のテンプル部10、20は、いわゆる眼鏡における「つる」に相当するものである。具体的には、第1のテンプル部10は、眼鏡型ウェアラブル装置の装着時に使用者の一方の側頭部に沿って配置される。また第2のテンプル部20は、装着時に使用者の他方の側頭部に沿って配置される。例えば図1では、第1のテンプル部10は装着時に使用者の右の側頭部(広義には一方の側頭部)に沿って配置され、第2のテンプル部20は左の側頭部(広義には他方の側頭部)に沿って配置される。即ち、第1のテンプル部10は使用者の頭部の右側に配置され、第2のテンプル部20は使用者の頭部の左側に配置される。なお、後述するように本実施形態ではテンプル部の左右の入れ替え接続が可能であり、図1の接続から左右を入れ替えて接続した場合には、第1のテンプル部10は、左の側頭部に沿って配置され、第2のテンプル部20は、右の側頭部に沿って配置されるようになる。
フロント部30は、いわゆる眼鏡におけるリムやブリッジに相当するものであり、眼鏡型ウェアラブル装置の装着時に使用者の顔の前方(顔の前面側)に配置される。例えば眼鏡型ウェアラブル装置が、シースルー型の頭部装着型表示装置(HMD)として機能する場合には、フロント部30の左目、右目に対応する部分は眼鏡のようなリム形状になっており、使用者は、外界視界に、表示装置50の表示画像が重畳された画像を見ることが可能になる。
また図2(A)に示すようにフロント部30には撮像装置32が設けられている。この撮像装置32は、例えばCCDやCMOSセンサ等の撮像素子(イメージセンサ)を含む。また撮像素子で撮像するためのレンズ等の光学系を含むことができる。また、撮像装置32の光軸は、フロント部30の前側面に直交(略直交)する方向に設定されており、使用者が向く方向にほぼ沿った軸になっている。従って、通常のカメラのように使用者がカメラを手で持たなくても、使用者が向いている方向を撮影することが可能となる。
なお、図2(A)ではフロント部30の中央に、1個の撮像装置32(撮像素子)が設けられている。このようにすることで、使用者(装着者)の正面の視界の画像(映像)を撮影することができる。なお撮像装置32の配置位置は図2(A)の配置位置に限定されない。例えば図2(B)に示すように、右目、左目付近に各々1個ずつ、合計で2個の撮像装置32−1、32−2を設けてもよい。このようにすれば、立体視画像の撮影や、視差情報を利用した各種の処理を実現できるようになる。視差情報を利用した処理としては、例えば視差画像から距離情報を求める処理などが考えられる。
そして本実施形態では、図1〜図4に示すように、フロント部30は、少なくとも撮像装置32を有する電装部と、第1のテンプル部10が接続可能な第1の接続部CF1と、第2のテンプル部20が接続可能な第2の接続部CF2を有する。例えば第1の接続部CF1は、使用者から見て、フロント部30の右側の端部に設けられる接続部であり、第2の接続部CF2は、使用者から見て、フロント部30の左側の端部に設けられる接続部である。また、フロント部30は、電装部として、撮像装置32以外の電装部品を有していてもよい。例えば、撮像装置32等が実装される回路基板や各種センサ(方向センサ、測距センサ)などの電装部品を有していてもよい。
また本実施形態では、第1、第2のテンプル部10、20の少なくとも一方のテンプル部は、テンプル側の電装部を有する。具体的には、第1、第2のテンプル部10、20の少なくとも一方のテンプル部は、テンプル側の電装部として、表示装置及びバッテリの少なくとも一方を有する。ここで電装部は、例えば、回路基板や表示装置などの各種の電装部品や、バッテリなどの電源部品により実現されるものである。
図3(A)、図3(B)を例にとれば、第1のテンプル部10の電装部として、表示装置50や回路基板14などの電装部品が設けられている。ここで表示装置50は、例えば後述するような接眼型の表示装置である。また回路基板14には、各種IC(集積回路)や能動素子(抵抗、キャパシタ)などの回路素子が実装される。ICとしては、表示装置50の駆動ICや、各種のセンサ用のICや、無線用のICなどを想定できる。
また図4を例にとれば、第2のテンプル部20の電装部として、バッテリ24(2次電池、1次電池)が設けられている。なお、第2のテンプル部20の電装部として表示装置や回路基板などの電装部品を設けてもよい。
また、後述する図12(B)等に示すように、第1、第2のテンプル部10、20の少なくとも一方のテンプル部は、電装部としてバッテリを有し、当該バッテリは、少なくとも一方のテンプル部のモダン部(12、22)に設けられていてもよい。具体的には、少なくとも一方のテンプル部は、バッテリが設けられるモダン部と、モダン部を着脱可能に接続する接続部(CP3)とを有する。
そして本実施形態では、第1、第2のテンプル部10、20は、フロント部30の第1、第2の接続部CF1、CF2に着脱自在なテンプル部となっている。即ち、第1、第2のテンプル部10、20は、第1、第2の接続部CF1、CF2に着脱自在に接続可能になっている。
例えば、第1、第2のテンプル部10、20は、各々、テンプル側の第1、第2の接続部CP1、CP2を有する。これらの接続部CP1、CP2は、フロント部30の第1、第2の接続部CF1、CF2と接続可能な構造となっている。例えば、後述するように、第1の接続部CF1は、第1のテンプル部10に代えて第2のテンプル部20が接続可能な接続部になっている。また第2の接続部CF2は、第2のテンプル部20に代えて第1のテンプル部10が接続可能な接続部になっている。即ち、CF1、CF2の各接続部は、様々な種別のテンプル部を着脱自在に接続可能な接続部になっている。
具体的には、図3(B)に示すようにフロント部側の第1の接続部CF1は、第1、第2の端子TF1、TF2を有し、図4に示すように第2の接続部CF2は、第3、第4の端子TF3、TF4を有する。また、図3(B)に示すようにテンプル側の第1の接続部CP1は、第1、第2のテンプル側端子TP1、TP2を有し、図4に示すように第2の接続部CP2は、第3、第4のテンプル側端子TP3、TP4を有する。そして、フロント部30とテンプル部10、20の接続時において、フロント部側の第1、第2の端子TF1、TF2は、第1、第2のテンプル側端子TP1、TP2に接触し、フロント部側の第3、第4の端子TF3、TF4は、第3、第4のテンプル側端子TP3、TP4に接触するようになる。
そして本実施形態では、フロント部30の撮像装置32により撮影された画像(映像)の情報が、フロント部30から、第1、第2のテンプル部10、20の少なくとも一方のテンプル部のテンプル側電装部に伝送される。
例えば本実施形態では、フロント部30の撮像装置32等の電装部と、第1、第2のテンプル10、20のテンプル側電装部(第1、第2のテンプル側電装部)とは、フロント部30の第1、第2の接続部CF1、CF2に第1、第2のテンプル部10、20が接続された場合に、電気的に接続される。具体的には図1に示すように、フロント部30には接続線LCが配線されている。この接続線LCは、第1、第2のテンプル部10、20の接続時に、フロント部30の撮像装置32等の電装部と、第1、第2のテンプル部10、20のテンプル側電装部(表示装置、回路基板、バッテリ、処理部、記憶部、通信部等)とを電気的に接続する。また接続線LCは、第1、第2のテンプル部10、20のテンプル側電装部の間も電気的に接続する。
このように、第1、第2のテンプル部10、20の接続時に、フロント部30の撮像装置32がテンプル側電装部に電気的に接続されることで、後述する図5(A)、図5(B)に示すような直列処理モードや並列処理モードを実現できる。
例えば直列処理モードでは、撮像装置32からの画像(映像)の情報が、フロント部30から、第2のテンプル部20の電装部である第2のテンプル側電装部に伝送され、第2のテンプル側電装部において、画像の情報に対して処理(例えば画像処理)が行われる。そして、処理により得られた情報が、第2のテンプル側電装部から、第1のテンプル部10の電装部である第1のテンプル側電装部に伝送される。一方、並列処理モードでは、撮像装置32からの画像(映像)の情報が、フロント部30から、第1のテンプル側電装部に伝送されると共に第2のテンプル側電装部に伝送される。
また第1、第2のテンプル部10、20の少なくとも一方のテンプル側電装部は、表示装置50を有する。例えば図1では第1のテンプル部10の電装部が表示装置50を有する。そして撮像装置32からの画像の情報は、フロント部30から少なくとも一方のテンプル側電装部に伝送されて、少なくとも一方のテンプル側電装部の表示装置50において表示される。例えば図1では撮像装置32の撮像画像が第1のテンプル部10の表示装置50に表示される。このようにすれば、表示装置50と撮像装置32を連動させたコンテンツの提供が可能になる。例えば撮像装置32により撮影された画像に対して画像認識処理を行い、この画像認識処理の結果に基づく画像を表示装置50により表示することが可能になる。例えば、撮像装置32により、外国文字が書かれた看板等を撮影して、外国文字の画像認識処理を行い、画像認識処理により得られた翻訳結果を、表示装置50により表示するなどの用途が可能になる。
以上のように本実施形態によれば、使用者が頭部に装着して使用する眼鏡型のウェアラブル装置において、そのフロント部に撮像装置(撮像素子)を内蔵することで、使用者の前方を撮影することが可能になる。そして撮像装置により撮影された画像(映像)は、フロント部の左右に設けられた接続部の両方から出力することができる。これにより、フロント部に接続されたテンプル部のそれぞれは、撮像装置からの画像の情報(画像信号、映像信号)を受けて、表示処理や画像処理などの各種の処理を行うことが可能になる。
また、2つのテンプル部間やテンプル部と撮像装置を接続する接続線がフロント部に配線されているため、処理系のテンプル部において、撮影画像を一旦処理した後、表示系のテンプル部において、その結果を表示することなどが可能になる。
また、2つのテンプル部は、左右の交換も可能であり、また、左右両方に表示系のテンプル部を装着したり、表示系のテンプル部を使用せずに、処理系のテンプル部のみで利用することも可能になる。また、撮像装置への電源は、テンプル部に内蔵されたバッテリから供給することが可能であり、フロント部にバッテリを設けなくても済むようになる。これにより、フロント部の重量を軽減できる。
また本実施形態によれば、電装部が設けられたテンプル部は、フロント部の接続部に対して着脱自在になっており、使用者は、その用途に応じてテンプル部を容易に接続・交換することが可能になる。例えば、使用者は、ウェアラブル機器の非使用時には眼鏡型ウェアラブル装置を通常の眼鏡として使用したり、異なる機能を有するテンプル部に交換して様々な用途に用いたりすることが可能になる。
例えば、これまでの眼鏡型ウェアラブル装置では、処理が一方のテンプル部のみに偏っていたり、左右のテンプル部で別々の処理を行うことができなかった。また、一方のテンプル部で処理された情報を他方のテンプル部で利用することもできなかった。
この点、本実施形態によれば、フロント部から左右のテンプル部にそれぞれ画像情報(映像信号)が伝送されるため、左右のテンプル部で、それぞれ独立して必要な処理が可能になる。更に、左右のテンプル部間で、フロント部を介して電気的に接続されることにより、左右のテンプル部が連携した処理を行うこともできる。また、テンプル部の左右の交換や、使用するテンプル部の組合わせによって、多様な用途への対応や多様な処理を行うことが可能になる。従って、撮像機能を有すると共に多様な用途への対応等が可能な眼鏡型ウェアラブル装置を提供することができる。
また、眼鏡のフロント部はデザイン性が重視されるものであるが、フロント部に多くの電装部を内蔵させると、これに伴いフロント部が大型化し、デザイン性が崩れる。また、重量が重い電装部がフロント部に内蔵されると、重量バランスが悪化して、使い勝手が悪くなる。例えば後述する図13(B)のようなシースルー方式では、使用者が快適に違和感なく使用可能な時間を、できる限りに長くすることが望ましいという要望があるが、重量が重い電装部がフロント部に内蔵されると、このような要望に応えることができない。
この点、本実施形態では、フロント部に対してテンプル部が着脱自在になっているため、フロント部としてデザイン性の高いものを使用することが可能になり、デザイン性を重視する使用者の要望に応えることができる。また、後述する図14(C)のように電装部を有しない通常の眼鏡テンプル部に交換することで、眼鏡型ウェアラブル装置を通常の眼鏡のように使用することが可能になる。
また本実施形態では、電装部の大部分をテンプル部に内蔵する構成としており、フロント部には重量が軽い撮像装置を設けるだけで済むため、フロント部の軽量化やコンパクト化を図ることができる。従って、眼鏡型ウェアラブル装置の重量バランスを向上でき、例えば、後述する図13(B)のようなシースルー方式等の画像を表示しながら、使用者が快適に違和感なく長時間使用することができる眼鏡型ウェアラブル装置を提供できるようになる。この場合、モダン部にバッテリを内蔵させたり、電装部を左右のテンプル部に分けて配置することで、重量バランスの更なる改善を図れる。
また図1〜図4では、第1のテンプル部10には、例えば、使用者に表示画像(表示映像)を虚像として拡大観察させるための表示装置50が搭載される。一方、第2のテンプル部20には、例えば、バッテリ24や、処理回路、無線装置、TVチューナ、センサ、メモリなどの他の機能を有する電装部品(電子部品)を搭載することができる。従って、撮像装置32の撮影画像を表示装置50で表示したり、撮影画像を処理回路にて処理したり、記憶部に記憶したり、無線装置で外部に送信することなどが可能になる。
そして図1では、フロント部30には接続線LCが配線されているため、この接続線LCを用いて、第1、第2のテンプル部10、20や撮像装置32を電気的に接続して、画像の情報や処理後の画像の情報をやり取りすることが可能になる。また、例えば図4の第2のテンプル部20に設けられたバッテリ24の電源を、接続線LCを介して、フロント部30の撮像装置32や第1のテンプル部10の表示装置50等に供給して、動作させることが可能になる。
また、本実施形態によれば、左右の第1、第2のテンプル部10、20に電装部品(電装系)を分散して配置することで、眼鏡型ウェアラブル装置の重量バランスを改善することが可能になる。また、第1、第2のテンプル部10、20を着脱自在にすることで、様々な用途に応じて各種デバイスを組み替えて利用することが可能になり、多様な用途への対応が可能になる。
なお、本実施形態の実施態様としては、眼鏡型ウェアラブル装置の装着時に使用者の顔の前方に配置されるフロント部としての実施態様が考えられる。この場合に、フロント部は、眼鏡型ウェアラブル装置の装着時に使用者の一方の側頭部に沿って配置される第1のテンプル部を接続するための第1の接続部と、眼鏡型ウェアラブル装置の装着時に前記使用者の他方の側頭部に沿って配置される第2のテンプル部を接続するための第2の接続部と、撮像装置を有する電装部と、を有する。そして、第1、第2の接続部の少なくとも一方の接続部から、撮像装置により撮影された画像の情報が出力されるようになる。またフロント部は、フロント部への第1、第2のテンプル部の接続時に、第1のテンプル部の第1のテンプル側電装部と第2のテンプル部の第2のテンプル側電装部とを電気的に接続する接続線を有する。
このような構成のフロント部によれば、撮像機能を眼鏡型ウェアラブル装置に持たせることができると共に多様な用途への対応や多様な処理を行うことが可能な眼鏡型ウェアラブル装置のテンプル部を提供することができる。
2.直列処理モード、並列処理モード
次に本実施形態の直列処理モード、並列処理モードについて図5(A)〜図7を用いて説明する。
本実施形態の眼鏡型ウェアラブル装置では、図5(A)、図5(B)に示すように、直列処理モード、並列処理モードというように2つのモードが可能であり、必要に応じてモードを切り換えて機能させることが可能となっている。
図5(A)の直列処理モードでは、例えば、フロント部30からまず第2のテンプル部20に情報(信号)が伝送され、第2のテンプル部20の電装部が画像処理等の何らかの処理を行う。そして、その処理結果が、フロント部30を伝送経由等して第1のテンプル部10に伝送され、第1のテンプル部10において画像の表示処理などの何らかの処理が行われる。
第1のテンプル部10の電装部である第1のテンプル側電装部が表示装置50を有する場合を例にとると、撮像装置32からの画像の情報(画像信号)が、フロント部30から第2のテンプル20の電装部である第2のテンプル側電装部に伝送され、第2のテンプル側電装部において、画像の情報に対して画像処理が行われる。具体的には図5(A)では第2のテンプル側電装部である処理部62により画像処理が行われる。画像処理としては、画像フィルタ処理や高画質化処理などの種々の処理を想定できる。そして、画像処理が施された画像の情報が、第1のテンプル側電装部に伝送されて、第1のテンプル側電装部の表示装置50において表示される。
一方、図5(B)の並列処理モードは、フロント部30から左右の第1、第2のテンプル部10、20に出力された情報(信号)を用いて、左右の第1、第2のテンプル部10、20にて並列的に処理を行うモードである。
第1のテンプル側電装部が表示装置50を有する場合を例にとると、撮像装置32からの画像の情報は、フロント部30から第1のテンプル側電装部に伝送されて、第1のテンプル側電装部の表示装置50において表示される。また撮像装置32からの画像の情報は、フロント部30から第2のテンプル側電装部に伝送され、第2のテンプル側電装部において、画像の情報に対して、画像処理、記憶処理及び装置外部への通信処理の少なくとも1つの処理が行われる。具体的には、図5(B)のように第2のテンプル部20が処理部62、記憶部64、通信部66の電装部を有する場合には、処理部62において各種の画像処理が行われ、記憶部64において画像の記憶処理が行われ、通信部66において外部装置への通信処理が行われる。
図6は直列処理モードについて更に詳細に説明する図である。図6では、撮像装置32を内蔵するフロント部30(フロントフレーム)には、接続線LN1、LN2、LN3が設けられている。接続線LN1は、フロント部30の電装部(撮像装置等)と第1のテンプル部10の電装部(表示装置等)を電気的に接続するための信号線である。接続線LN2は、フロント部30の電装部と第2のテンプル部20の電装部(処理部、記憶部、通信部等)を電気的に接続するための信号線である。接続線LN3は、第1のテンプル部10の電装部と第2のテンプル部20の電装部を電気的に接続するための信号線である。
接続線LN1は、フロント部30の第1の接続部CF1の端子に接続され、これにより、フロント部30の電装部(撮像装置等)からの信号を第1のテンプル部10に伝送できる。接続線LN2は、フロント部30の第2の接続部CF2の端子に接続され、これにより、フロント部30の電装部からの信号を第2のテンプル部20に伝送できる。接続線LN3は、フロント部30の第1、第2の接続部CF1、CF2の端子に接続され、これにより第2のテンプル部20からの信号を第1のテンプル部10に伝送できる。
左右の第1、第2のテンプル部10、20は、フロント部30からの信号を受けて、それぞれ所定の処理を行う。例えば、右側の第1のテンプル部10は、撮影した画像を表示するための処理を行う、左側の第2のテンプル部20は、撮影した画像の画像処理や記録処理や外部への通信処理などを行うことができる。
具体的には、撮像装置32からの画像信号は、フロント部30の接続線LN2を介して、第2のテンプル部20の処理部62に入力され、処理部62が各種の画像処理を行う。また、撮像装置32からの画像信号又は画像処理後の画像信号の情報は、記憶部64に記憶されたり、通信部66により外部の装置に送信される。
また、処理部62での画像処理後の信号は、フロント部30の接続線LN3を介して第1のテンプル部10の表示装置50に入力される。また、画像処理が行われていない撮像装置32からの画像信号も接続線LN1を介して表示装置50に入力できる。そして、表示装置50は、画像処理後又は画像処理前の画像信号の画像表示を行う。これにより図5(A)の直列処理モードが実現される。
また、第1、第2のテンプル部10、20にはバッテリ16、26が設けられる。具体的には第1、第2のテンプル部10、20のモダン部12、22にバッテリ16、26が内蔵される。第1、第2のテンプル部10、20とモダン部12、22は接続部CP3、CP4により取り外し可能になっている。
そして図6では、第1のテンプル部10のバッテリ16からの電源が、第1のテンプル部10の表示装置50に供給されると共に、フロント部30の撮像装置32に供給され、これにより表示装置50、撮像装置32が動作する。また第2のテンプル部20のバッテリ26からの電源が、第2のテンプル部20の処理部62、記憶部64、通信部66に供給され、これにより処理部62、記憶部64、通信部66が動作する。なお、第2のテンプル部20のバッテリ26からの電源を撮像装置32に供給してもよい。或いは、第1、第2のテンプル部10、20のいずれか一方のテンプル部だけにバッテリを内蔵させて、このバッテリからの電源に基づいて、撮像装置32、表示装置50、処理部62、記憶部64、通信部66を動作させてもよい。また、図6では、左右の第1、第2のテンプル部10、20を入れ替えて使用できる構成としてもよく、それにより表示系を右側表示から左側表示へと切り替えることが可能になる。
図7は並列処理モードについて更に詳細に説明する図である。図7では、接続線LN1、LN2は設けられているが、図6で設けられていた接続線LN3は設けられていない。そして、撮像装置32からの画像信号は、接続線LN1を介して第1のテンプル部10の表示装置50に入力され、これにより撮影された画像を表示装置50において表示できるようになる。また、撮像装置32からの画像信号は、接続線LN2を介して第2のテンプル部20の処理部62、記憶部64、通信部66に入力される。これにより、画像信号に対して処理部62により画像処理を施すことができる。また、画像信号の情報を、ハードディスク、半導体メモリ等により実現される記憶部64に記録したり、通信部66の例えば無線通信により、外部装置に送信できる。
以上のように本実施形態の直列処理モードや並列処理モードによれば、一方のテンプル部での処理結果を他方のフロント部で利用したり、フロント部からの信号に対して、2つのテンプル部の各々で別々の処理を行うことが可能になる。これにより、これまでの眼鏡型ウェアラブル装置では実現できなかった種々の処理を実現することが可能になる。
3.テンプル部の左右の入れ替え接続
本実施形態の眼鏡型ウェアラブル装置では、テンプル部の左右の入れ替え接続が可能になっている。具体的にはフロント部30の第1の接続部CF1は、第1のテンプル部10に代えて第2のテンプル部20が接続可能な接続部となっている。また、フロント部30の第2の接続部CF2は、第2のテンプル部20に代えて第1のテンプル部10が接続可能な接続部となっている。以下では、この入れ替え接続の詳細について説明する。
例えば図8(A)では、フロント部30の接続部CF1に対して第1のテンプル部10が接続され、接続部CF2に対して第2のテンプル部20が接続されている。具体的には、フロント部側の接続部CF1とテンプル部側の接続部CP1とが接続され、フロント部側の接続部CF2とテンプル部側の接続部CP2とが接続されている。
そして、図8(A)では、例えばフロント部30に撮像装置32が設けられ、第1のテンプル部10に表示装置50が設けられ、第2のテンプル部20にはバッテリ24(図4参照)が設けられている。これにより、撮像装置32の撮影画像を第1のテンプル部10の表示装置50に表示したり、第2のテンプル部20のバッテリ24からの電源を、図1の接続線LCを介して撮像装置32や第1のテンプル部10の表示装置50に供給して、撮像装置32や表示装置50を動作させることが可能になる。そして、表示装置50は使用者の右目側に設けられているため、撮像装置32の撮影画像などの表示画像を、表示装置50により使用者の右目側にシースルーのHMD方式で表示できる。
一方、図8(B)では、テンプル部の接続の左右の入れ替えが行われ、フロント部30の接続部CF1に対して第2のテンプル部20が接続され、接続部CF2に対して第1のテンプル部10が接続されている。具体的には、フロント部側の接続部CF1とテンプル部側の接続部CP2とが接続され、フロント部側の接続部CF2とテンプル部側の接続部CP1とが接続されている。従って、図8(A)では使用者の右目側に表示画像を表示していたものを、図8(B)では使用者の左目側に表示できるようになる。従って、例えば右目側よりも左目側に表示画像が表示されることを望む使用者等の要望に応えることできる。
そして本実施形態では図8(A)、図8(B)のようなテンプル部の左右の入れ替え接続を可能にするために、第1、第2のテンプル部10、20を、上下方向(鉛直方向)において対称な構造にしている。
具体的には、第1のテンプル部10は、図8(A)に示すようにフロント部30の第1の接続部CF1への接続時には、その第1の側面SA1が第1の方向DR1を向き、第2の側面SA2が第1の方向DR1と反対方向の第2の方向DR2を向いた状態で、第1の接続部CF1に接続される。ここで第1の側面SA1は、装着時に使用者から見て外側に向く面であり、例えば図3(A)に示す側面が、第1のテンプル部10の第1の側面SA1になる。一方、第2の側面SA2は、第1の側面SA1の反対側の面であり、装着時に使用者の側頭部側に向く面である。
一方、第1のテンプル部10は、図8(B)に示すようにフロント部30の第2の接続部CF2への接続時には、第1の側面SA1が第2の方向DR2を向き、第2の側面SA2が第1の方向DR1を向いた状態で、第2の接続部CF2に接続される。即ち、図8(A)に示す第1の接続部CF1への接続状態から、図8(B)に示す第2の接続部CF2への接続状態へと入れ替える場合には、第1のテンプル部10を180度回転させて、その側面の向く方向が反対になるようにして、接続することになる。
また第2のテンプル部20は、図8(A)に示すようにフロント部30の第2の接続部CF2への接続時には、その第1の側面SB1が第2の方向DR2を向き、第2の側面SB2が第1の方向DR1を向いた状態で、第2の接続部CF2に接続される。ここで第1の側面SB1は、装着時に使用者から見て外側に向く面であり、例えば図4に示す側面が、第2のテンプル部20の第1の側面SB1になる。一方、第2の側面SB2は、第1の側面SB1の反対側の面であり、装着時に使用者の側頭部側に向く面である。
一方、第2のテンプル部20は、図8(B)に示すようにフロント部30の第1の接続部CF1への接続時には、第1の側面SB1が第1の方向DR1を向き、第2の側面SB2が第2の方向DR2を向いた状態で、第1の接続部CF1に接続される。即ち、図8(A)に示す第2の接続部CF2への接続状態から、図8(B)に示す第1の接続部CF1への接続状態へと入れ替える場合には、第2のテンプル部20を180度回転させて、その側面の向く方向が反対になるようにして、接続することになる。
また図9(A)、図9(B)に示すように、フロント部30の第1の接続部CF1は、第1、第2の端子TF1、TF2を有し、第2の接続部CF2は第3、第4の端子TF3、TF4を有する。また第1のテンプル部10(接続部CP1)は、第1のテンプル側端子TP1と、第2のテンプル側端子TP2を有し、第2のテンプル部20(接続部CP2)は、第3のテンプル側端子TP3と、第4のテンプル側端子TP4を有する。なお、ここでは説明を簡単にするために、第1、第2の接続部CF1、CF2、第1、第2のテンプル部10、20(CP1、CP2)の各々が、2つの端子を有する場合について説明するが、本実施形態はこれに限定されず、これらの各々が3つ以上の端子を有してもよい。
そして図9(A)、図9(B)は、図8(A)のように第1の接続部CF1に第1のテンプル部10が接続され、第2の接続部CF2に第2のテンプル部20が接続された場合の端子の接続状態を示している。一方、図9(C)、図9(D)は、図8(B)のように第1の接続部CF1に第2のテンプル部20が接続され、第2の接続部CF2に第1のテンプル部10が接続された場合の端子の接続状態を示している。即ち、図9(A)と図9(C)とでは、フロント部30の第1の接続部CF1に接続されるテンプル部が、第1のテンプル部10から第2のテンプル部20に入れ替わっており、図9(B)と図9(D)とでは、第2の接続部CF2に接続されるテンプル部が、第2のテンプル部20から第1のテンプル部10に入れ替わっている。
そして、第1のテンプル部10の第1のテンプル側端子TP1は、図9(A)に示す第1の接続部CF1への接続時には、第1の接続部CF1の第1の端子TF1に接続される。一方、図9(D)に示す第2の接続部CF2への接続時には、第1のテンプル側端子TP1は、第2の接続部CF2の第4の端子TF4に接続される。
また、第1のテンプル部10の第2のテンプル側端子TP2は、図9(A)に示す第1の接続部CF1への接続時には、第1の接続部CF1の第2の端子TF2に接続される。一方、図9(D)に示すように第2の接続部CF2への接続時には、第2のテンプル側端子TP2は、第2の接続部CF2の第3の端子TP3に接続される。
また第2のテンプル部20の第3のテンプル側端子TP3は、図9(B)に示す第2の接続部CF2への接続時には、第2の接続部CF2の第3の端子TF3に接続される。一方、図9(C)に示す第1の接続部CF1への接続時には、第3のテンプル側端子TP3は、第1の接続部CF1の第2の端子TF2に接続される。
また第2のテンプル部20の第4のテンプル側端子TP4は、図9(B)に示す第2の接続部CF2への接続時には、第2の接続部CF2の第4の端子TP4に接続される。一方、図9(C)に示す第1の接続部CF1への接続時には、第4のテンプル側端子TP4は、第1の接続部CF1の第1の端子TF1に接続される。
以上のように本実施形態では、第1、第2のテンプル部10、20のピン配置等の構造が上下方向(鉛直方向)において対称な構造になっているため、図8(A)、図8(B)のようなテンプル部の左右の入れ替え接続が可能になる。従って、表示装置等の電装部品を、使用者の好みに応じて左右で入れ代えることが可能になり、多様な用途への対応が可能になる。
なお、本実施形態では後述するように、フロント部30は、第1、第2の接続部CF1、CF2に、同一種別のテンプル部(第1、第2のテンプル部の一方のテンプル部)が接続された場合に、当該同一種別のテンプル部が有する電装部同士間の電気的接続を非接続にするようにしている。
次に、図10(A)〜図10(C)を用いてテンプル部の入れ替え接続について更に詳細に説明する。
図10(A)に示すように、第1のテンプル部10には、その第1の電装部として表示装置が設けられ、第2のテンプル部20には、その第2の電装部としてバッテリが設けられている。そしてフロント部30には、これらの第1のテンプル部10の表示装置と第2のテンプル部20のバッテリを電気的に接続するための第1、第2の接続線LC1、LC2が配線されている。これらの第1、第2の接続線LC1、LC2は、フロント部30の撮像装置にも接続されている。なお、バッテリと電装部品を接続する場合には、VDDの接続線とGNDの接続線が必要になるが、以下では、説明を簡単にするために、VDDの接続線を例にとり説明を行う。
例えば図10(A)に示すように、フロント部30に配線される第1の接続線LC1は、フロント部30の第1、第2の接続部CF1、CF2に第1、第2のテンプル部10、20が接続された場合に、第1のテンプル部10の表示装置(広義には第1の電装部)と第2のテンプル部20のバッテリ(広義には第2の電装部)を電気的に接続するための接続線である。即ち、前述した図8(A)に示す接続時には、フロント部30に配線された第1の接続線LC1により、第1のテンプル部10の表示装置と第2のテンプル部20のバッテリとの間の電気的接続が実現される。また第1の接続線LC1により、フロント部30の撮像装置と第2のテンプル部20のバッテリとの間の電気的接続も実現される。
一方、図10(B)に示すように、フロント部30に配線される第2の接続線LC2は、フロント部30の第1の接続部CF1に第2のテンプル部20が接続され、第2の接続部CF2に第1のテンプル部10が接続された場合に、第1のテンプル部10の表示装置(第1の電装部)と第2のテンプル部20のバッテリ(第2の電装部)を電気的に接続するための接続線である。即ち、図8(B)に示す接続時には、フロント部30に配線された第2の接続線LC2により、第1のテンプル部10の表示装置と第2のテンプル部20のバッテリとの間の電気的接続が実現される。また第2の接続線LC2により、フロント部30の撮像装置と第2のテンプル部20のバッテリとの間の電気的接続も実現される。
更に具体的には、フロント部30の第1の接続部CF1は、第1、第2の端子TF1、TF2を有し、第1の端子TF1は第1の接続線LC1に接続され、第2の端子TF2は第2の接続線LC2に接続される。
また、フロント部30の第2の接続部CF2は、第3、第4の端子TF3、TF4を有し、第3の端子TF3は第1の接続線LC1に接続され、第4の端子TF4は第2の接続線LC2に接続される。
そして図8(A)に示すように、第1の接続部CF1に第1のテンプル部10が接続され、第2の接続部CF2に第2のテンプル部20が接続される場合には、図10(A)に示すように、第1のテンプル部10の表示装置(第1の電装部)と、第2のテンプル部20のバッテリ(第2の電装部)とは、第1の接続部CF1の第1の端子TF1、第1の接続線LC1、第2の接続部CF2の第3の端子TF3を介して電気的に接続される。また、フロント部30の撮像装置と第2のテンプル部20のバッテリとは、第1の接続線LC1、第2の接続部CF2の第3の端子TF3を介して電気的に接続される。
即ち、図9(A)、図9(B)で説明したように、表示装置に接続される第1のテンプル側端子TP1と第1の端子TF1が接続され、バッテリに接続される第3のテンプル側端子TP3と第3の端子TF3が接続され、第1の端子TF1と第3の端子TF3は第1の接続線LC1により接続される。これにより、第1のテンプル部10の表示装置(電装部品)やフロント部30の撮像装置と、第2のテンプル部20のバッテリとが電気的に接続され、第1のテンプル部10の表示装置(電装部品)やフロント部30の撮像装置に対して、第2のテンプル部20のバッテリからの電源を供給できるようになる。
一方、図8(B)に示すように、第1の接続部CF1に第2のテンプル部20が接続され、第2の接続部CF2に第1のテンプル部10が接続される場合には、第2のテンプル部20のバッテリ(第2の電装部)と、第1のテンプル部10の表示装置(第1の電装部)とは、図10(B)に示すように、第1の接続部CF1の第2の端子TF2、第2の接続線LC2、第2の接続部CF2の第4の端子TF4を介して電気的に接続される。また、第2のテンプル部20のバッテリと、フロント部30の撮像装置とは、第1の接続部CF1の第2の端子TF2、第2の接続線LC2を介して電気的に接続される。
即ち、図9(C)、図9(D)で説明したように、バッテリに接続される第3のテンプル側端子TP3と第2の端子TF2が接続され、表示装置に接続される第1のテンプル側端子TP1と第4の端子TF4が接続され、第2の端子TF2と第4の端子TF4は第2の接続線LC2により接続される。これにより、第1のテンプル部10の表示装置やフロント部30の撮像装置と、第2のテンプル部20のバッテリとが接続され、第1のテンプル部10の表示装置やフロント部30の撮像装置に対して、第2のテンプル部20のバッテリからの電源を供給できるようになる。
更に本実施形態では、フロント部30は、第1、第2の接続部CF1、CF2に、バッテリを有する同一種別のテンプル部が接続された場合には、これらのバッテリ間の電気的接続を非接続にして、電源のショートを防止している。
例えば図10(C)では、バッテリを有する同一種別の第2のテンプル部20−1、20−2が、各々、フロント部30の第1、第2の接続部CF1、CF2に接続されている。この場合には、バッテリ間は非接続になり、電源のショートが防止される。
例えば、第2のテンプル部20−1の第3のテンプル側端子TP3は、フロント部30の第2の端子TF2に接続され、第2の端子TF2は第2の接続線LC2に接続される。一方、第2のテンプル部20−2の第3のテンプル側端子TP3は、フロント部30の第3の端子TF3に接続され、第3の端子TF3は第1の接続線LC1に接続される。そして、図10(C)に示すように、第1の接続線LC1と第2の接続線LC2は、電気的に分離された別々の接続線である。従って、第2のテンプル部20−1のバッテリと第2のテンプル部20−2のバッテリとは電気的に非接続になり、バッテリ同士の電源のショートを防止できるようになる。
以上のように図10(A)〜図10(C)に示す手法によれば、バッテリと表示装置というように、異なる種別のテンプル部を左右に接続する場合には、左右の入れ替え接続を行ったとしても、正しい接続を実現できる。一方、例えばバッテリを有する同一種別のテンプル部を左右に接続した場合には、接続に使用される接続線LC1、LC2が電気的に分離されているため、バッテリ同士が接続されて電源のショートが生じる事態を、効果的に防止できるようになる。
また図11(A)では、表示系の第1のテンプル部10には電装部として表示装置が設けられ、処理系の第2のテンプル部20には電装部として処理部(或いは記憶部、通信部)が設けられている。
そして図11(A)に示すように、フロント部30には、第1のテンプル部10の電装部との接続用の接続線LN11、LN12が配線されている。従って、フロント部30の第1の接続部CF1に第1のテンプル部10が接続された場合には、これらの接続線LN11、LN12により、フロント部30の撮像装置と第1のテンプル部10の表示装置とが電気的に接続される。
またフロント部30には、第2のテンプル部20の電装部との接続用の接続線LN21、LN22が配線されている。従って、フロント部30の第2の接続部CF2に第2のテンプル部20が接続された場合には、これらの接続線LN21、LN12により、フロント部30の撮像装置と第2のテンプル部20の処理部等とが電気的に接続される。
またフロント部30には、第1、第2のテンプル部10、20の間を撮像装置を介さずに接続する接続線LN31、LN32が配線されている。従って、フロント部30の第1、第2の接続部CF1、CF2に第1、第2のテンプル部10、20が接続された場合には、これらの接続線LN31、LN32により、第1のテンプル部10の表示装置と第2のテンプル部20の処理部等が電気的に接続される。
一方、図11(B)のようにテンプル部の左右の入れ替え接続が行われた場合には、接続線LN21、LN22により、フロント部30の撮像装置と第1のテンプル部10の表示装置とが電気的に接続される。また、接続線LN11、LN12により、フロント部30の撮像装置と第2のテンプル部20の処理部等とが電気的に接続される。また、第1、第2のテンプル部10、20との間は、図11(A)と同様に接続線LN31、LN32により電気的に接続される。従って、テンプル部の左右の入れ替え接続が行われた場合にも、適切な信号接続を実現できるようになる。
4.テンプル部
本実施形態では、テンプル部はフロント部に対して着脱自在になっており、用途に応じた様々なテンプル部を接続できるという特徴がある。以下、テンプル部の種々の例について説明する。
図12(A)、図12(B)にテンプル部の詳細例を示す。このテンプル部10は、モダン部12にバッテリ16が内蔵されている。そしてテンプル部10は、バッテリ16が設けられるモダン部12を着脱可能に接続する接続部CP3を有する。例えば接続部CP3を介してテンプル部10にモダン部12が接続されている場合には、モダン部12が内蔵するバッテリ16からの電源が、接続線LB1〜LB4を介して回路基板14に供給され、これにより回路基板14の電装部品等を動作させることが可能になる。そして、このバッテリ16を内蔵するモダン部12は着脱自在になっており、モダン部12をテンプル部10から取り外すことで、モダン部12のバッテリ16を、充電装置等を用いて充電できるようになる。
このようにすれば、使用者は、バッテリを内蔵する複数のモダン部を予備として所持しておき、バッテリの充電切れの場合にも、バッテリを内蔵する予備のモダン部に交換することで、テンプル部の電装部品を直ぐに動作させて使用できるようになる。この場合に、テンプル部の本体の交換は不要であり、交換するのは小型なモダン部だけで済むため、使用者の利便性を向上できる。
また図12(A)では、テンプル部10に表示装置50が取り付けられている。図13(A)に示すように、この表示装置50は、表示部52と、接眼光学系54と、支持部58を有する。
表示部52(表示素子)は、LCDやOLED等により実現されるものであり、各種の画像を表示する。表示部52は、図3(B)の回路基板14に実装される駆動装置と接続線LDにより電気的に接続されて、表示駆動される。接眼光学系54は、表示部52の画像を使用者に虚像として観察可能にする光学系であり、導光部55や接眼窓56などの光学部品により構成される。表示部52からの表示画像光は、接眼光学系54の導光部55により接眼窓56に導光される。支持部58は、接眼光学系54の接眼窓56をフロント部30の前方に支持(配置)する部材である。即ち、接眼窓56を使用者の右目又は左目の前方に支持して配置する。この支持部58は屈曲自在となっており、使用者は支持部58を屈曲させることで、接眼窓56の位置を調整できる。
図13(A)の構成の表示装置50を用いることで、図13(B)に示すように、シースルー型のHMDによる画像表示が可能になる。即ち、使用者の視界の一部に、表示装置50で生成された画像IMを重畳して表示できるようになる。図13(B)では、使用者に対して道案内を行うナビゲーション用の画像IMが、使用者の視界の一部に重畳表示されている。なお本実施形態に用いられる表示装置50は図13(A)の構成には限定されず、種々の変形実施が可能である。
本実施形態では、様々な用途に応じたテンプル部を眼鏡型ウェアラブル装置のフロント部に着脱自在に接続できるようになっている。例えば図14(A)、図14(B)では、回路基板14と、回路基板14等に電源を供給するバッテリ16が内蔵されたテンプル部10が、フロント部30の接続部CF1に接続されている。そして、例えば回路基板14に、図13(A)の表示装置50の表示部52(表示パネル)を駆動する駆動装置等を設けることで、図13(B)に示すような画像を使用者の右目に映し出すことが可能になる。
一方、図14(C)では、図14(A)、図14(B)のような回路基板14、バッテリ16などの電装系を内蔵しない通常の眼鏡テンプル部210がフロント部30の接続部CF1に接続されている。例えば使用者が図13(B)のような画像表示を望まない状況である場合には、図14(C)のような通常の眼鏡テンプル部210をフロント部30に接続することで、使用者の要望に応えることができる。
図15(A)では、テンプル部10にモダン部12との接続部CP3が設けられ、バッテリ16を有するモダン部12は、テンプル部10から着脱自在になっている。同様に図15(B)でも、テンプル部20にモダン部22との接続部CP4が設けられ、バッテリ26を有するモダン部22は、テンプル部20から着脱自在になっている。また図15(B)では、テンプル部20に回路基板25が設けられ、この回路基板25により、例えばセンサ、TVチューナー等のオプション機能を実現できるようになっている。例えば、右側のテンプル部10に表示装置50を設け、左側のテンプル部20にTVチューナを設けることで、使用者は、TVチューナにより得られたTV映像を、表示装置50を用いて視聴することが可能になる。
更に図15(B)では、回路基板25を有するテンプル部20を、このような回路基板25を有しないテンプル部220に交換可能になっている。例えば上述のようなオプション機能を望まない使用者は、テンプル部20に代えてテンプル部220を接続して眼鏡型ウェアラブル装置を使用する。この場合に、テンプル部220には、バッテリ26を有するモダン部22の接続が可能になっており、バッテリ26からの電源をフロント部30を介して、他方のテンプル部10に供給できるようになっている。
そして、図15(A)、図15(B)のようにテンプル部10、20の本体からモダン部12、22が着脱自在な構成である場合には、図16(A)、図16(B)に示すように、テンプル部10、20の本体の接続を入れ替えることで、左右の入れ替え接続が可能になる。この場合には、モダン部12、22については左右の入れ替えを行わなくて済むため、使用者の耳の形状にフィットしたモダン部12、22をそのまま使用することが可能になる。即ち、左右の耳にフィットしたモダン部12、22については入れ替えずに、テンプル部10、12の本体だけを左右で入れ替え接続することが可能になる。
図17は、フロント部30の左右の両方に、表示装置50を有するテンプル部10、20を接続した例である。このような接続にすることで、図13(B)に示すような画像を、使用者の左右の両方の目に映し出すことが可能になる。この場合に、例えば左目に映し出す画像のコンテンツと右目に映し出す画像のコンテンツを変えることで、様々な用途に対応できるようになる。
また、例えば図2(B)に示すようにフロント部30の右目、左目の各々に対応する位置に撮像装置32−1、32−2が設けられる場合には、例えば撮像装置32−1の撮影画像をテンプル部10の表示装置50に表示し、撮像装置32−2の撮影画像をテンプル部20の表示装置50に表示してもよい。こうすることで、視差のついた画像の表示等が可能になる。
このように本実施形態では、複数種類のテンプル部やフロント部を様々に組み合わせて使用することが可能になる。例えば機能の異なるテンプル部を交換することで、用途に応じた使い分けが可能になる。例えば、記憶部(ハードディスク、メモリ)が搭載されて記録のみを行うテンプル部を用いれば、撮影した画像をテンプル部の内部に保存することが可能になる。また、別のテンプル部では無線通信機能を搭載し、撮影した画像を、順次、外部の携帯型多機能端末やサーバなどに送信するようにしてもよい。また、表示装置を有するテンプル部についても、表示装置の仕様が異なるテンプル部に交換することにより、解像度や画角、シースルーの有無、アスペクト比など用途に合わせて選択できるようになる。
なお、フロント部やテンプル部の接続部としては、種々の構造のものを用いることができ、例えば図18(A)、図18(B)に示す構造の接続部を採用してもよい。
図18(A)では、フロント部30の接続部CF1は、ピンジャック130と、ピンジャック130に設けられた電極132、134(端子)により構成される。一方、テンプル部10の接続部CP1は、ピンジャック130の受け部110と、受け部110に設けられた電極112、114(端子)により構成される。そして、図18(B)に示すようにフロント部30とテンプル部10を接続する際には、ピンジャック130を受け部110に差し込んで接続することになる。この際に、ピンジャック130の電極132、134と受け部110の電極112、114が接触することで、フロント部30とテンプル部10との間の電気的接続が可能になる。即ち、電極132、134と電極112、114の接続により、テンプル部10の電装部とフロント部30の接続線LCとが電気的に接続され、左右のテンプル部の電装部間や、テンプル部の電装部とフロント部の電装部との間の電気的接続が可能になる。
5.テンプル部の種別検出
図19は、本実施形態の眼鏡型ウェアラブル装置の電気的な構成を示すブロック図であり、眼鏡型ウェアラブル装置の電装部の構成を示す機能ブロック図である。
図19において、処理部300(図6の処理部62)は、装置の各種の制御処理や演算処理を行う。この処理部300の機能は、例えばマイコンなどのプロセッサやASICなどにより実現される。
検出部310は種々の検出処理を行う。記憶部320(記憶部64)は、処理部300等の作業領域となったり、画像データの記憶領域となるメモリ(ハードディスク)である。無線通信部330(通信部66)は、外部との無線通信処理を行う。駆動部340は、表示装置50の駆動を行うものであり、表示装置50の表示部がLCDである場合には、駆動部340は液晶ドライバーにより実現される。I/F部360は、撮像装置32とのインターフェースを行うものであり、撮像装置32の制御処理や撮影画像の取り込み処理などを行う。撮像装置32としてはCCDやCMOSセンサ等のイメージセンサを用いることができる。バッテリ380は、眼鏡型ウェアラブル装置の各部に電源を供給するものであり、2次電池や1次電池等により実現される。
そして本実施形態では、検出部310が、フロント部に接続されるテンプル部の種別検出を行う。例えば検出部310は、フロント部の左右に、いずれの種別のテンプル部が接続されたかを検出する。そして処理部300は、検出部310での検出結果に基づく処理を行う。即ち、テンプル部の種別の検出結果に応じた種々の処理(画像処理、制御処理、判断処理等)を行う。
例えば処理部300は、表示装置50により表示される画像、或いは撮像装置32により撮影された画像に対して、検出部310での検出結果に基づく画像処理を行う。
例えば図20(A)、図20(B)では、上述の画像処理として、画像の左右反転処理が行われている。即ち図20(A)では、フロント部30の右側に、表示装置50を有するテンプル部10が接続されており、図20(B)では、フロント部30の左側に、表示装置50を有するテンプル部10が接続されている。そして図20(A)から図20(B)に接続を入れ替える場合には、前述したようにテンプル部10を180度回転させて接続することになる。従って、図20(A)、図20(B)において表示装置50が同じ画像を表示してしまうと、表示に矛盾が生じる。
そこで本実施形態では、図20(A)から図20(B)に接続が入れ替えられた場合には、表示装置50に表示される画像(撮影画像等)の左右反転処理を行う。即ち、検出部310が、図20(A)、図20(B)のような接続の入れ替えが行われたことを検出し、処理部300が、この検出結果に基づいて、表示画像の左右判定処理の画像処理を行う。こうすることで、図20(A)、図20(B)のような接続の入れ替えが行われた場合にも、矛盾の無い画像を使用者に対して表示できるようになる。
なお、テンプル部の種別結果に基づく処理としては種々の処理が考えられる。例えばテンプル部10に、処理部300(マイコン)が設けられ、テンプル部20に、TVチューナ、センサ等の各種のオプション装置が設けられる場合を想定する。この場合には、処理部300は、フロント部30に接続されたテンプル部20の種別の検出結果に基づいて、その種別に対応づけられた各種の処理を行う。例えば処理部300は、TVチューナが設けられたテンプル部20が接続されたと判断すると、TVチューナで得られた映像を表示装置50に表示するための処理を行う。また、処理部300は、種々のセンサ(例えばGPSセンサ、加速度センサ等)が設けられたテンプル部20が接続されたと判断すると、そのセンサ用の処理として対応づけられた処理を行う。具体的には、GPSセンサを内蔵するテンプル部20が接続されたと判断すると、そのGPSセンサを用いた位置測定処理等を行う。また加速度センサを内蔵するテンプル部20が接続されたと判断すると、その加速度センサを用いた各種のアプリケーション処理(例えば歩数判定処理、加速度センサを用いた操作情報の取得処理等)を行う。
即ち、本実施形態では、様々なオプション装置を有するテンプル部の接続を可能にして、機能の変更・拡張が可能な眼鏡型ウェアラブル装置を実現している。そして処理部300は、テンプル部の種別を検出することで、当該テンプル部により変更・拡張された機能を認識し、それに応じた処理を行う。このようにすれば、テンプル部の交換による眼鏡型ウェアラブル装置の機能の変更・拡張を、効率的に実現することが可能になる。
なお、テンプル部の種別の検出手法としては種々の手法が考えられる。例えば図21(A)では、フロント部30の右側に、表示装置を有するテンプル部10が接続され、フロント部30の左側に、バッテリを有するテンプル部20が接続されている。この場合には、図10(A)で説明したように、バッテリからの電源VDDは、フロント部30の接続線LC1を介して表示装置に供給されることになる。
一方、図21(B)では、フロント部30の左側に、表示装置を有するテンプル部10が接続され、フロント部30の右側に、バッテリを有するテンプル部20が接続されている。この場合には、図10(B)で説明したように、バッテリからの電源VDDは、フロント部30の接続線LC2を介して表示装置に供給されることになる。
そして図21(A)、図21(B)では、検出部310が、接続線LC1、LC2の電圧検出を行い、処理部300が、電圧検出結果に基づいて、フロント部30に接続されたテンプル部10、20の種別を検出する。
例えば図21(A)では、接続線LC1の電圧がVDDであると検出されるため、処理部300は、フロント部30の右側に、表示装置を有するテンプル部10が接続され、フロント部30の左側に、バッテリを有するテンプル部20が接続されていると判断できる。従って、処理部300は、図20(A)に示すような画像が表示装置に表示されるように制御を行う。
一方、図21(B)では、接続線LC2の電圧がVDDであると検出されるため、処理部300は、フロント部30の左側に、表示装置を有するテンプル部10が接続され、フロント部30の右側に、バッテリを有するテンプル部20が接続されていると判断できる。従って、処理部300は、図20(B)に示すような画像が表示装置に表示されるように制御を行う。具体的には、表示装置の表示画像の左右反転処理を行う。これにより、接続されたテンプル部の種別に応じた処理を実現できる。
また図21(C)では、各テンプル部10、20に、マイコン等で実現される処理部300−1、300−2が設けられる。そして処理部300−1、300−2が、例えばフロント部30に設けられた通信線LCM(或いは無線通信)を用いて通信処理を行うことで、テンプル部の種別判定処理を行う。例えばテンプル部10に設けられた処理部300−1は、自身の種別情報を、通信線LCMを介して、処理部300−2に通知する。また、テンプル部20に設けられた処理部300−2は、自身の種別情報を、通信線LCMを介して、処理部300−1に通知する。そして例えば図21(D)に示すように、テンプル部の種別情報である各テンプルIDに対して、各処理部300−1、300−2が実行すべき各処理が対応づけられており、各処理部300−1、300−2は、各テンプルIDに対応づけられた各処理を実行する。こうすることで、各処理部300−1、300−2は、テンプル部の種別に応じた適切な処理を実行することが可能になる。
例えば、通信されたテンプルIDに基づいて、テンプル部10が、表示装置を有する表示系のテンプル部であり、テンプル部20が、処理系のテンプル部であると判断されたとする。すると、処理部300−1、300−2は、テンプル部20において画像処理等が施された画像を、テンプル部10の表示装置に表示させる処理等を実行する。一方、通信されたテンプルIDに基づいて、テンプル部10が、処理系のテンプル部であり、テンプル部20が、表示装置を有する表示系のテンプル部であると判断されたとする。すると、処理部300−1、300−2は、テンプル部10において画像処理等が施された画像を、テンプル部20の表示装置に表示させる処理等を実行する。このようにすれば、フロント部に接続された各テンプル部の種別に応じた適切な処理を実行できるようになる。
以上のように本実施形態について詳細に説明したが、本発明の新規事項及び効果から実体的に逸脱しない多くの変形が可能であることは当業者には容易に理解できるであろう。従って、このような変形例はすべて本発明の範囲に含まれるものとする。例えば明細書又は図面において、少なくとも一度、より広義または同義な異なる用語と共に記載された用語は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。また眼鏡型ウェアラブル装置、テンプル部、フロント部の構成・処理等も本実施形態で説明したものに限定されず、種々の変形実施が可能である。
10 第1のテンプル部、12 モダン部、14 回路基板、16 バッテリ、
20 第2のテンプル部、22 モダン部、24 バッテリ、30 フロント部、
32、32−1、32−2 撮像装置、50 表示装置、52 表示部、
54 接眼光学系、55 導光部、56 接眼窓、58 支持部、
62 処理部、64 記憶部、66 通信部、
210 通常の眼鏡テンプル部、220 テンプル部、
300 処理部、310 検出部、320 記憶部、330 無線通信部、
340 駆動部、360 I/F部、380 バッテリ、
CF1、CF2 第1、第2の接続部、CP1、CP2 第1、第2の接続部、
LC 接続線、LC1、LC2 第1、第2の接続線、
LN1〜LN3、LN11〜LN32 接続線、
TF1〜TF4 第1〜第4の端子、TP1〜TP4 第1〜第4のテンプル側端子

Claims (16)

  1. 装着時に使用者の一方の側頭部に沿って配置される第1のテンプル部と、
    装着時に前記使用者の他方の側頭部に沿って配置される第2のテンプル部と、
    装着時に前記使用者の顔の前方に配置されるフロント部と、
    を有し、
    前記フロント部は、
    少なくとも撮像装置を有する電装部と、
    前記第1のテンプル部が接続可能な第1の接続部と、
    前記第2のテンプル部が接続可能な第2の接続部とを有し、
    前記第1のテンプル部及び前記第2のテンプル部の少なくとも一方のテンプル部は、テンプル側電装部を有し、
    前記第1のテンプル部、前記第2のテンプル部は、前記フロント部の前記第1の接続部、前記第2の接続部に着脱自在なテンプル部であり、
    前記フロント部の前記撮像装置により撮影された画像の情報が、前記フロント部から、前記少なくとも一方のテンプル部の前記テンプル側電装部に伝送され、
    前記フロント部の前記第1の接続部は、前記第1のテンプル部に代えて前記第2のテンプル部が接続可能な接続部であり、
    前記フロント部の前記第2の接続部は、前記第2のテンプル部に代えて前記第1のテンプル部が接続可能な接続部であり、
    前記フロント部は、
    前記第1の接続部及び前記第2の接続部に、同一種別のテンプル部が接続された場合に、前記同一種別のテンプル部が有する電装部同士間の電気的接続を非接続にすることを特徴とする眼鏡型ウェアラブル装置。
  2. 請求項1において、
    前記第1のテンプル部は、第1のテンプル側電装部を有し、
    前記第2のテンプル部は、第2のテンプル側電装部を有し、
    前記撮像装置からの前記画像の情報が、前記フロント部から、前記第1、第2のテンプル側電装部の少なくとも一方に伝送されることを特徴とする眼鏡型ウェアラブル装置。
  3. 請求項2において、
    前記フロント部の前記電装部と、前記第1、第2のテンプル側電装部の少なくとも一方は、前記フロント部の前記第1、第2の接続部に前記第1、第2のテンプル部が接続された場合に、電気的に接続されることを特徴とする眼鏡型ウェアラブル装置。
  4. 請求項2又は3において、
    前記撮像装置からの前記画像の情報が、前記フロント部から前記第2のテンプル側電装部に伝送され、前記第2のテンプル側電装部において、前記画像の情報に対して処理が行われ、前記処理により得られた情報が、前記第2のテンプル側電装部から前記第1のテンプル側電装部に伝送されることを特徴とする眼鏡型ウェアラブル装置。
  5. 請求項4において、
    前記第1のテンプル側電装部は、表示装置を有し、
    前記撮像装置からの前記画像の情報が、前記フロント部から前記第2のテンプル側電装部に伝送され、前記第2のテンプル側電装部において、前記画像の情報に対して画像処理が行われ、前記画像処理が施された画像の情報が、前記第2のテンプル側電装部から前記第1のテンプル側電装部に伝送されて、前記第1のテンプル側電装部の前記表示装置において表示されることを特徴とする眼鏡型ウェアラブル装置。
  6. 請求項2又は3において、
    前記撮像装置からの前記画像の情報が、前記フロント部から、前記第1のテンプル側電装部に伝送されると共に前記第2のテンプル側電装部に伝送されることを特徴とする眼鏡型ウェアラブル装置。
  7. 請求項6において、
    前記第1のテンプル側電装部は、表示装置を有し、
    前記撮像装置からの前記画像の情報は、前記フロント部から前記第1のテンプル側電装部に伝送されて、前記第1のテンプル側電装部の前記表示装置において表示され、
    前記撮像装置からの前記画像の情報は、前記フロント部から前記第2のテンプル側電装部に伝送され、前記第2のテンプル側電装部において、前記画像の情報に対して、画像処理、記憶処理及び装置外部への通信処理の少なくとも1つの処理が行われることを特徴とする眼鏡型ウェアラブル装置。
  8. 請求項1において、
    前記少なくとも一方のテンプル側電装部は、表示装置を有し、
    前記撮像装置からの前記画像の情報は、前記フロント部から前記少なくとも一方のテンプル側電装部に伝送されて、前記少なくとも一方のテンプル側電装部の前記表示装置において表示されることを特徴とする眼鏡型ウェアラブル装置。
  9. 請求項5又は7又は8において、
    前記表示装置は、
    表示部と、
    前記表示部の画像を使用者に虚像として観察可能にする接眼光学系と、
    前記接眼光学系の接眼窓を前記フロント部の前方に支持する支持部と、
    を有することを特徴とする眼鏡型ウェアラブル装置。
  10. 請求項1乃至9のいずれかにおいて、
    前記少なくとも一方のテンプル側電装部は、バッテリを有し、
    前記バッテリからの電源が、前記少なくとも一方のテンプル側電装部から前記フロント部の前記撮像装置に供給されることを特徴とする眼鏡型ウェアラブル装置。
  11. 請求項10において、
    前記バッテリは、前記少なくとも一方のテンプル部のモダン部に設けられることを特徴とする眼鏡型ウェアラブル装置。
  12. 請求項11において、
    前記少なくとも一方のテンプル部は、
    前記バッテリが設けられる前記モダン部と、
    前記モダン部を着脱可能に接続する接続部と、
    を有することを特徴とする眼鏡型ウェアラブル装置。
  13. 請求項1乃至12のいずれかにおいて、
    前記第1のテンプル部は、
    前記第1の接続部への接続時には、第1の側面が第1の方向を向き、前記第1の側面の反対側の面である第2の側面が前記第1の方向と反対方向の第2の方向を向いた状態で、前記第1の接続部に接続され、
    前記第2の接続部への接続時には、前記第1の側面が前記第2の方向を向き、前記第2の側面が前記第1の方向を向いた状態で、前記第2の接続部に接続され、
    前記第2のテンプル部は、
    前記第2の接続部への接続時には、第1の側面が前記第2の方向を向き、前記第1の側面の反対側の面である第2の側面が前記第1の方向を向いた状態で、前記第2の接続部に接続され、
    前記第1の接続部への接続時には、前記第1の側面が前記第1の方向を向き、前記第2の側面が前記第2の方向を向いた状態で、前記第1の接続部に接続されることを特徴とする眼鏡型ウェアラブル装置。
  14. 請求項1乃至13のいずれかにおいて、
    前記第1の接続部は、第1の端子と、第2の端子を有し、
    前記第2の接続部は、第3の端子と、第4の端子を有し、
    前記第1のテンプル部は、
    前記第1の接続部への接続時には前記第1の接続部の前記第1の端子に接続され、前記第2の接続部への接続時には前記第2の接続部の前記第4の端子に接続される第1のテンプル側端子と、
    前記第1の接続部への接続時には前記第1の接続部の前記第2の端子に接続され、前記第2の接続部への接続時には前記第2の接続部の前記第3の端子に接続される第2のテンプル側端子と、
    を有し、
    前記第2のテンプル部は、
    前記第2の接続部への接続時には前記第2の接続部の前記第3の端子に接続され、前記第1の接続部への接続時には前記第1の接続部の前記第2の端子に接続される第3のテンプル側端子と、
    前記第2の接続部への接続時には前記第2の接続部の前記第4の端子に接続され、前記第1の接続部への接続時には前記第1の接続部の前記第1の端子に接続される第4のテンプル側端子と、
    を有することを特徴とする眼鏡型ウェアラブル装置。
  15. 眼鏡型ウェアラブル装置の装着時に使用者の顔の前方に配置されるフロント部であって、
    前記眼鏡型ウェアラブル装置の装着時に前記使用者の一方の側頭部に沿って配置される第1のテンプル部を接続するための第1の接続部と、
    前記眼鏡型ウェアラブル装置の装着時に前記使用者の他方の側頭部に沿って配置される第2のテンプル部を接続するための第2の接続部と、
    撮像装置を有する電装部と、
    を有し、
    前記第1、第2の接続部の少なくとも一方の接続部から、前記撮像装置により撮影された画像の情報が出力され、
    前記フロント部の前記第1の接続部は、前記第1のテンプル部に代えて前記第2のテンプル部が接続可能な接続部であり、
    前記フロント部の前記第2の接続部は、前記第2のテンプル部に代えて前記第1のテンプル部が接続可能な接続部であり、
    前記第1の接続部及び前記第2の接続部に、同一種別のテンプル部が接続された場合に、前記同一種別のテンプル部が有する電装部同士間の電気的接続を非接続にすることを特徴とする眼鏡型ウェアラブル装置のフロント部。
  16. 請求項15において、
    前記フロント部の前記第1、第2の接続部への前記第1、第2のテンプル部の接続時に、前記第1のテンプル部の第1のテンプル側電装部と前記第2のテンプル部の第2のテンプル側電装部とを電気的に接続する接続線を有することを特徴とする眼鏡型ウェアラブル装置のフロント部。
JP2012234797A 2012-10-24 2012-10-24 眼鏡型ウェアラブル装置及び眼鏡型ウェアラブル装置のフロント部 Expired - Fee Related JP6021582B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2012234797A JP6021582B2 (ja) 2012-10-24 2012-10-24 眼鏡型ウェアラブル装置及び眼鏡型ウェアラブル装置のフロント部
CN201380055109.9A CN104756482B (zh) 2012-10-24 2013-09-24 眼镜型可佩戴装置以及眼镜型可佩戴装置的前方部
PCT/JP2013/075623 WO2014065054A1 (ja) 2012-10-24 2013-09-24 眼鏡型ウェアラブル装置及び眼鏡型ウェアラブル装置のフロント部
US14/680,248 US10025103B2 (en) 2012-10-24 2015-04-07 Eyeglass-type wearable device and front part of eyglass-type wearable device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012234797A JP6021582B2 (ja) 2012-10-24 2012-10-24 眼鏡型ウェアラブル装置及び眼鏡型ウェアラブル装置のフロント部

Publications (3)

Publication Number Publication Date
JP2014086905A JP2014086905A (ja) 2014-05-12
JP2014086905A5 JP2014086905A5 (ja) 2015-10-29
JP6021582B2 true JP6021582B2 (ja) 2016-11-09

Family

ID=50544434

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012234797A Expired - Fee Related JP6021582B2 (ja) 2012-10-24 2012-10-24 眼鏡型ウェアラブル装置及び眼鏡型ウェアラブル装置のフロント部

Country Status (4)

Country Link
US (1) US10025103B2 (ja)
JP (1) JP6021582B2 (ja)
CN (1) CN104756482B (ja)
WO (1) WO2014065054A1 (ja)

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ES2650616T3 (es) 2012-07-27 2018-01-19 Freebit As Unidad de oído de subtragus
US20160100676A1 (en) * 2012-07-27 2016-04-14 Freebit As Ear-mounted device
KR101508458B1 (ko) 2014-02-17 2015-04-07 정성길 렌즈 회전 안경
US10448867B2 (en) 2014-09-05 2019-10-22 Vision Service Plan Wearable gait monitoring apparatus, systems, and related methods
US10617342B2 (en) 2014-09-05 2020-04-14 Vision Service Plan Systems, apparatus, and methods for using a wearable device to monitor operator alertness
US11918375B2 (en) 2014-09-05 2024-03-05 Beijing Zitiao Network Technology Co., Ltd. Wearable environmental pollution monitor computer apparatus, systems, and related methods
US20170248991A1 (en) * 2014-09-19 2017-08-31 Gen Nine, Inc. Wearable computing system
US10215568B2 (en) 2015-01-30 2019-02-26 Vision Service Plan Systems and methods for tracking motion, performance, and other data for an individual such as a winter sports athlete
JP6545799B2 (ja) * 2015-06-16 2019-07-17 マクセル株式会社 ヘッドマウントディスプレイ装置
CN108463193B (zh) * 2016-01-12 2020-10-30 阿莫绿色技术有限公司 可佩戴设备
JP6686503B2 (ja) 2016-02-15 2020-04-22 セイコーエプソン株式会社 頭部装着型画像表示装置
US9991699B2 (en) * 2016-05-02 2018-06-05 Microsoft Technology Licensing, Llc Enablement of device power-on with proper assembly
CN105938248A (zh) * 2016-05-12 2016-09-14 深圳增强现实技术有限公司 用于增强现实智能眼镜的用户友好型固定系统
US9910298B1 (en) * 2017-04-17 2018-03-06 Vision Service Plan Systems and methods for a computerized temple for use with eyewear
WO2019108980A1 (en) * 2017-11-30 2019-06-06 Aira Tech Corp. Interactive smart glasses for diverse environments
US10722128B2 (en) 2018-08-01 2020-07-28 Vision Service Plan Heart rate detection system and method
WO2020131152A1 (en) * 2018-12-19 2020-06-25 Apple Inc. Modular system for head-mounted device
US11166093B2 (en) 2019-03-19 2021-11-02 Logitech Europe S.A. Earphone device support and case
TWI761685B (zh) * 2019-06-24 2022-04-21 緯創資通股份有限公司 穿戴式顯示裝置
GB2600562B (en) * 2019-07-13 2023-09-20 Solos Tech Limited Hardware architecture for modularized eyewear systems apparatuses, and methods
CN210626813U (zh) * 2019-11-22 2020-05-26 中科海微(北京)科技有限公司 一种坐姿矫正眼镜
CN111025679A (zh) * 2019-12-31 2020-04-17 华为技术有限公司 镜架、智能眼镜、镜腿、镜框和镜框总成
CN113671694A (zh) * 2020-05-13 2021-11-19 宇龙计算机通信科技(深圳)有限公司 头戴式显示设备
TWI817252B (zh) * 2020-11-26 2023-10-01 仁寶電腦工業股份有限公司 頭戴顯示裝置
USD974038S1 (en) 2020-12-02 2023-01-03 Logitech Europe S.A. Earphone case
USD969772S1 (en) 2020-12-02 2022-11-15 Logitech Europe S.A. Earphone
USD1002583S1 (en) 2020-12-02 2023-10-24 Logitech Europe S.A. Combined earphone and earphone case
US11693477B2 (en) 2020-12-07 2023-07-04 Samsung Electronics Co., Ltd. Lens clip for receiving user lens and head mounted electronic device for detecting whether user lens is inserted into lens clip
KR20220080387A (ko) * 2020-12-07 2022-06-14 삼성전자주식회사 사용자 렌즈가 삽입되는 렌즈 클립 및 렌즈 클립에 사용자 렌즈의 삽입 여부를 검출하는 머리 장착형 전자 장치
WO2023049021A1 (en) * 2021-09-24 2023-03-30 Kokanee Research Llc Modular assemblies
WO2023192316A1 (en) * 2022-03-31 2023-10-05 Apple Inc. Head-mountable electronic device

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5900720A (en) * 1993-09-10 1999-05-04 Kallman; William R. Micro-electronic power supply for electrochromic eyewear
EP1027627B1 (en) 1997-10-30 2009-02-11 MYVU Corporation Eyeglass interface system
JP3052855U (ja) * 1998-04-01 1998-10-09 卓次 水野 眼鏡用つる
US6769767B2 (en) * 2001-04-30 2004-08-03 Qr Spex, Inc. Eyewear with exchangeable temples housing a transceiver forming ad hoc networks with other devices
US8465151B2 (en) * 2003-04-15 2013-06-18 Ipventure, Inc. Eyewear with multi-part temple for supporting one or more electrical components
JP2005223751A (ja) * 2004-02-06 2005-08-18 Olympus Corp 頭部装着型カメラの調整装置、頭部装着型カメラの調整方法
EP1991028A1 (en) 2006-02-28 2008-11-12 Temco Japan Co., Ltd. Glasses type sound/communication device
US7798638B2 (en) * 2007-01-02 2010-09-21 Hind-Sight Industries, Inc. Eyeglasses with integrated video display
JP2009237450A (ja) * 2008-03-28 2009-10-15 Panasonic Corp 電子眼鏡
JP2010091748A (ja) 2008-10-07 2010-04-22 Scalar Corp 着脱機構、眼鏡用取付ユニット、眼鏡ユニット、眼鏡、および眼鏡システム
JP5651386B2 (ja) 2010-06-23 2015-01-14 ソフトバンクモバイル株式会社 眼鏡型表示装置
JP5496030B2 (ja) * 2010-09-16 2014-05-21 オリンパス株式会社 頭部装着型画像表示装置
EP2439580A1 (en) * 2010-10-01 2012-04-11 Ophtimalia Data exchange system
US8223088B1 (en) * 2011-06-09 2012-07-17 Google Inc. Multimode input field for a head-mounted display

Also Published As

Publication number Publication date
WO2014065054A1 (ja) 2014-05-01
US10025103B2 (en) 2018-07-17
JP2014086905A (ja) 2014-05-12
CN104756482A (zh) 2015-07-01
CN104756482B (zh) 2018-06-08
US20150212329A1 (en) 2015-07-30

Similar Documents

Publication Publication Date Title
JP6021582B2 (ja) 眼鏡型ウェアラブル装置及び眼鏡型ウェアラブル装置のフロント部
WO2013176079A1 (ja) 眼鏡型ウェアラブル装置、眼鏡型ウェアラブル装置のフロント部及びテンプル部
JP6573593B2 (ja) 入出力構造を有する着用可能な装置
US9779555B2 (en) Virtual reality system
CN111602082B (zh) 用于包括传感器集成电路的头戴式显示器的位置跟踪系统
US20150009309A1 (en) Optical Frame for Glasses and the Like with Built-In Camera and Special Actuator Feature
RU2488860C2 (ru) Дисплейное приспособление и устройство
US11378802B2 (en) Smart eyeglasses
JP6005994B2 (ja) 眼鏡型ウェアラブル装置
JP2010516186A (ja) 単眼式の表示装置
JP6023568B2 (ja) 頭部装着型装置
JP2009251154A (ja) 頭部装着式映像表示装置
CN104094592A (zh) 头部佩戴型显示装置、眼镜用显示设备和显示设备用眼镜镜脚
JP2018142857A (ja) 頭部装着型表示装置、プログラム、及び頭部装着型表示装置の制御方法
KR20190066197A (ko) 스포츠 고글
JP6032940B2 (ja) 眼鏡型ウェアラブル装置及び眼鏡型ウェアラブル装置のフロント部
CN103364950A (zh) 显示装置和显示方法
JP2015007722A (ja) 画像表示装置
TW201805689A (zh) 外加式近眼顯示裝置
JP3907523B2 (ja) 眼鏡型映像表示装置
JP2020016869A (ja) デジタル式望遠メガネ
JP6322241B2 (ja) 頭部装着型装置
KR20200132595A (ko) 노안 환자를 위한 전자적 자동 시력 교정 장치
WO2018138777A1 (ja) 画像表示装置
JP2005115048A (ja) ハイブリッド眼鏡

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150908

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150908

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160705

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160831

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160927

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20161004

R151 Written notification of patent or utility model registration

Ref document number: 6021582

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

LAPS Cancellation because of no payment of annual fees