JP5989725B2 - 電子機器及び情報表示プログラム - Google Patents

電子機器及び情報表示プログラム Download PDF

Info

Publication number
JP5989725B2
JP5989725B2 JP2014175560A JP2014175560A JP5989725B2 JP 5989725 B2 JP5989725 B2 JP 5989725B2 JP 2014175560 A JP2014175560 A JP 2014175560A JP 2014175560 A JP2014175560 A JP 2014175560A JP 5989725 B2 JP5989725 B2 JP 5989725B2
Authority
JP
Japan
Prior art keywords
unit
information
display request
display
subject
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2014175560A
Other languages
English (en)
Other versions
JP2016051276A (ja
Inventor
正登 丹波
正登 丹波
結城 明
明 結城
航 遠藤
航 遠藤
彩香 池嶋
彩香 池嶋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kyocera Document Solutions Inc
Original Assignee
Kyocera Document Solutions Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kyocera Document Solutions Inc filed Critical Kyocera Document Solutions Inc
Priority to JP2014175560A priority Critical patent/JP5989725B2/ja
Priority to US14/839,966 priority patent/US20160062481A1/en
Publication of JP2016051276A publication Critical patent/JP2016051276A/ja
Application granted granted Critical
Publication of JP5989725B2 publication Critical patent/JP5989725B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B27/0172Head mounted characterised by optical features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/1633Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1686Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being an integrated camera
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/1633Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1694Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being a single or a set of motion sensors for pointer control or gesture input obtained by sensing movements of the portable computer
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304Detection arrangements using opto-electronic means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/20Scenes; Scene-specific elements in augmented reality scenes
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0138Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0141Head-up displays characterised by optical features characterised by the informative content of the display
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B2027/0178Eyeglass type

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Optics & Photonics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Telephone Function (AREA)
  • Information Transfer Between Computers (AREA)

Description

本発明は、身体に装着して利用できる電子機器により各種情報を表示する電子機器及び情報表示プログラムに関する。
近年、身体に装着して利用できる電子機器として、googleグラスをはじめとするウェアラブル端末が開発されている。このウェアラブル端末は、常時、インターネットやコンピューターにアクセスできるようになっており、各種情報を常に表示させながら歩行することも可能となっている。
ところで、このようなウェアラブル端末では、常に情報を表示させておくようにすると、その情報が視野に入ってしまうため、煩わしさを覚えてしまうことがある。このような場合、必要な情報が必要なときに表示されるような操作設定が必要となる。
ちなみに、googleグラスでは、耳掛け部分に装着されているタッチパッドの操作により、モニターに相当するグラスを起動させ、音声操作により必要な情報がグラスに表示されるようになっている。ところが、音声操作の場合、周囲の騒音により音声がかき消されると、誤操作を生じるおそれがある。また、音声操作の場合、操作に必要なワードを覚えるまでにかなりの時間がかかるものと予測されるばかりか、操作に不慣れな者にあってはなかなか使いこなせないものとも予測される。
このような操作設定を確実かつ容易にするためには、たとえば特許文献1に示されている表示制御装置でのジェスチャーによる表示制御方法を適用することが考えられる。これは、指示取得部により認識対象とする使用者の手の動きを認識して操作指示を取得し、検出部により手で物を持ったことが検出されると、切替部により認識対象を物に切り替えようにしたものである。これにより、使用者が手に物を持った状態でジェスチャー入力してもジェスチャーでの表示制御が可能となる。
特開2014−006661
上述した特許文献1でのジェスチャーでの表示制御方法では、手の動き又は手に持った物の動きから必要な情報の選択と表示が可能となっているため、操作に不慣れな者であっても確実かつ容易に操作を行うことができるものと考えられる。
ところが、このようなジェスチャーでの表示制御方法では、大型ディスプレイなどに表示されているアイコンなどを選択させるために、手の動き又は手に持った物の動きに応じてカーソルを移動させるようにしている。すなわち、手の動き又は手に持った物の動きは、カーソルの移動によって大型ディスプレイなどに予め表示されているアイコンなどを選択するという要求を伝達するに止まってしまう。
そのため、このようなジェスチャーでの表示制御方法を、上述したウェアラブル端末での操作設定に適用しようとすると、ユーザーの様々な要求を識別することができず、ユーザーの様々な要求に応じた情報を提供することができないという問題があった。
本発明は、このような状況に鑑みてなされたものであり、上記問題点を解消することができる電子機器及び情報表示プログラムを提供することを目的とする。
本発明の電子機器は、身体に装着される電子機器であって、ネットワークを介し、各種情報を格納している各種情報データベースから各種情報を取得する通信部と、前記各種情報を表示する表示部と、現実空間を撮像する撮像部と、前記撮像部によって撮像された画像から被写体を認識する被写体認識部と、前記被写体認識部によって認識された異なる被写体の組み合わせに基づき、表示要求を判断し、前記各種情報データベースに対し、前記通信部を介して前記表示要求に応じた情報の送信要求を行う表示要求判断部とを備えることを特徴とする。
また、ユーザーのジェスチャーに応じた動きに基づく傾きの角度を解析する角度解析部を備え、前記被写体認識部は、前記角度解析部による解析動作に伴い、前記被写体を認識することを特徴とする。
また、位置情報を取得する位置情報取得部を備え、前記表示要求判断部は、前記表示要求に応じた情報の送信要求を行う際、前記表示要求に前記位置情報を含めることを特徴とする。
また、前記異なる被写体の組み合わせに応じた複数の表示要求を示す表示要求判断表を備え、前記表示要求判断部は、表示要求判断表を参照し、前記表示要求を判断することを特徴とする。
本発明の報表示プログラムは、身体に装着される電子機器を制御するためのコンピューターで実行される情報表示プログラムであって、通信部により、ネットワークを介し、各種情報を格納している各種情報データベースから各種情報を取得する工程と、表示部により前記各種情報を表示する工程と、撮像部により現実空間を撮像する工程と、被写体認識部により、前記撮像部によって撮像された画像から被写体を認識する工程と、表示要求判断部により、前記被写体認識部によって認識された異なる被写体の組み合わせに基づき、表示要求を判断し、前記各種情報データベースに対し、前記通信部を介して前記表示要求に応じた情報の送信要求を行う工程とを前記コンピューターに実行させることを特徴とする。
また、角度解析部により、ユーザーのジェスチャーに応じた動きに基づく傾きの角度を解析する工程を有し、前記被写体認識部は、前記角度解析部による解析動作に伴い、前記被写体を認識することを特徴とする。
また、位置情報取得部により位置情報を取得する工程を有し、前記表示要求判断部は、前記表示要求に応じた情報の送信要求を行う際、前記表示要求に前記位置情報を含めることを特徴とする。
また、前記表示要求判断部は、前記異なる被写体の組み合わせに応じた複数の表示要求を示す表示要求判断表を参照し、前記表示要求を判断することを特徴とする。
本発明の電子機器及び情報表示プログラムでは、被写体認識部により、撮像部によって撮像された画像から被写体が認識され、表示要求判断部により、被写体認識部によって認識された異なる被写体の組み合わせに基づき、表示要求が判断され、各種情報データベースに対し、通信部を介して表示要求に応じた情報の送信要求が行われ、通信部により、ネットワークを介し、各種情報を格納している各種情報データベースから各種情報が取得されると、表示部により各種情報が表示される。
本発明の電子機器及び情報表示プログラムによれば、ユーザーのジェスチャーに応じた異なる被写体の組み合わせに基づき表示要求が判断されることで、ユーザーの様々な表示要求の識別が可能となり、ユーザーの様々な表示要求に応じた情報を提供することができる。
本発明の電子機器を眼鏡型のウェアラブル端末に適用した場合の一実施形態を示す斜視図である。 図1のウェアラブル端末の内部構成を示す図である。 図2の表示要求判断部が参照する表示要求判断表の一例を示す図である。 図1のウェアラブル端末による情報表示処理について説明するためのフローチャートである。
以下、本発明の電子機器の一実施形態を、図1〜図3を参照しながら説明する。なお、以下の説明においての電子機器の一例としては、たとえば眼鏡型のウェアラブル端末であるものとする。
まず、図1に示すように、ウェアラブル端末10は、各種情報を表示する左右の表示部120と、耳に掛けるためのつる部11とを有している。表示部120は、たとえば光学シースルー方式を採用している。すなわち、表示部120は、可視光の透過が可能となるように構成されている。これにより、ウェアラブル端末10を装着するユーザーは、眼前の表示部120を透過した現実空間の光景を直接見ることができるとともに、表示部120に表示された各種情報も見ることができる。なお、表示部120は、たとえばハーフミラーによって構成されていてもよい。
一方のつる部11には、カメラ121を内蔵した装置本体100が配置されている。カメラ121による被写体の撮像方向は、ウェアラブル端末10を装着するユーザーの視線方向となっている。これにより、ウェアラブル端末10を装着するユーザーの頭の動きに追従し、カメラ121によってユーザーの視線方向の被写体が撮像される。なお、カメラ121は、たとえばCCD(Charge Coupled Device)センサー又はCMOS(Complementary Metal Oxide Semiconductor)センサーを撮像素子として用いた構成とされる。また、カメラ121は、画像一枚あたりの撮像周期がたとえば1/30秒(すなわち、フレームレートが30fps)で被写体を撮像可能なビデオカメラとすることができる。これにより、カメラ121は、ウェアラブル端末10を装着したユーザーの視線方向の被写体を連続して撮像することができる。
次に、図2を参照し、装置本体100の内部構成について説明する。なお、以下に説明する装置本体100は、常時、電源がオンされていてもよいし、上述したgoogleグラスのように、タッチパッドの操作により電源がオンされる構成にしてもよい。
装置本体100は、データ解析などを行う部分と、デバイス制御を行う部分とで構成されている。すなわち、データ解析などを行う部分は、I/F(インターフェース)101、ROM(Read Only Memory)102、RAM(Random Access Memory)103、CPU(Central Processing Unit)104、被写体認識部105、表示要求判断部105A、角度解析部106、位置情報取得部107、ネットワーク接続部108を有している。なお、これらは、データ解析バス109に接続されている。
一方、デバイス制御を行う部分は、表示制御部110、撮像制御部111、ジャイロセンサー制御部112、GPSセンサー制御部113を有している。なお、これらは、デバイス制御バス114に接続されている。また、データ解析バス109とデバイス制御バス114は、図示しないバスブリッジを介して接続されている。
I/F101は、ネットワーク300と接続するためのインターフェース部である。なお、ネットワーク300としては、無線LAN(Local Area Network)、WiFi(Wireless Fidelity)ネットワーク、WBAN(Wireless Body Area Network)などを用いることができる。I/F101は、ネットワーク300を介し、各種情報DB(database)200と通信を行う。なお、各種情報DB200には、たとえば天気情報、電車の時刻表、バスの時刻表などの様々な情報が管理されている。そして、各種情報DB200は、ウェアラブル端末10からの表示要求に応じた情報をウェアラブル端末10に送信する。
CPU104は、ROM102に記憶されている制御プログラムを実行する。RAM103は、プログラムを実行するためのワークメモリである。CPU104は、ROM102に記憶された各種プログラムをRAM103に読み出し、解析し、各種処理を実行する。なお、ROM102には、後述の表示要求判断表105aが記憶されている。
被写体認識部105は、カメラ121によって撮像された画像の解析を行い、被写体を認識する。表示要求判断部105Aは、被写体認識部105によって認識された被写体の組み合わせに基づきユーザーによる表示要求を判断する。ユーザーによる表示要求を判断する際は、後述の表示要求判断表105aを参照する。すなわち、表示要求判断部105Aは、詳細は後述するが、たとえば最初の被写体(第1の被写体)が「空」で、次の被写体(第2の被写体)が「手」であれば、後述の表示要求判断表105aを参照し、天気情報を知りたいための表示要求であると判断する。
なお、これらの被写体は、ウェアラブル端末10を装着したユーザーのジェスチャーによって得られるものである。すなわち、ユーザーが空を見上げると、カメラ121によって空が撮像される。続いて、手を空に向かってかざすと、カメラ121によって空にかざした手が撮像される。このようなジェスチャーは、天気を確認する際の自然な行為であり、天気情報を知りたいという表示要求との関連付けが極めて自然なものとなる。なお、ユーザーが空を見上げた状態で、手を空に向かってかざすと、空を背景とした手が撮像されることになるが、この場合、被写体認識部105は手のみが被写体であるとした解析による認識を行う。
また、被写体が「空」のみである場合、表示要求判断部105Aはユーザーによる表示要求の判断を行わない。また、最初の被写体(第1の被写体)が「空」であっても、次の被写体(第2の被写体)が「手」ではなく、「鳥」又は「飛行機」となる場合もある。この場合も表示要求判断部105Aはユーザーによる表示要求の判断を行わない。すなわち、表示要求判断部105Aは、第1の被写体と第2の被写体の組み合わせに基づき、ユーザーの表示要求の判断を行うが、後述の表示要求判断表105aに、第1の被写体と第2の被写体の組み合わせに合致するものが無ければユーザーによる表示要求の判断を行わないことになる。これにより、ユーザーが要求しないときに表示部120に情報が表示されるという誤動作がなくなる。
角度解析部106は、ジャイロセンサー122による検出信号からウェアラブル端末10を装着したユーザーの頭部の動きに基づく傾きの角度を解析する。この角度解析部106による解析動作は、たとえば被写体認識部105による画像解析の開始トリガーとして用いられる。このように、角度解析部106による解析動作を、被写体認識部105による画像解析の開始トリガーとすることで、ユーザーによる表示要求がない場合での被写体認識部105などによる無駄な処理を無くすことができる。
位置情報取得部107は、GPSセンサー123が受信したGPS衛生からのデータから位置情報を取得する。ネットワーク接続部108は、表示要求判断部105Aからの要求に基づき、I/F101を介して各種情報DB200にアクセスする。表示要求判断部105Aにより判断された表示要求と、位置情報取得部107によって取得された位置情報とが各種情報DB200に送信される。そして、各種情報DB200から表示要求と位置情報に基づいた各種情報が得られる。
表示制御部110は、表示部120の表示動作を制御する。すなわち、各種情報DB200から位置情報に基づいた各種情報が取得された場合、その各種情報を表示部120に表示させる。なお、表示部120に対する各種情報の表示時間は任意に設定することができる。
撮像制御部111は、カメラ121による撮像動作を制御する。ジャイロセンサー制御部112は、ジャイロセンサー122による検出動作を制御する。GPSセンサー制御部113は、GPSセンサー123によるGPS衛生からのデータの受信動作を制御する。
次に、図3を参照し、表示要求判断部105Aが参照する表示要求判断表105aの一例について説明する。すなわち、図3は、表示要求判断部105Aが被写体認識部105による画像の認識結果に基づき、ユーザーによる表示要求を判断する際に参照されるものである。まず、表示要求判断表105aには、第1の被写体a、第2の被写体b、ユーザー要求cが設けられている。ユーザー要求cは、第1の被写体aと第2の被写体bとの組み合わせに対応させて設定されたものである。
すなわち、第1の被写体aが「空」で、第2の被写体bが「手」である場合、ユーザー要求cは「天気情報の表示要求」となっている。また、第1の被写体aが「電車」で、第2の被写体bが「時計」である場合、ユーザー要求cは「電車の時刻表の表示要求」となっている。また、第1の被写体aが「バス」で、第2の被写体bが「時計」である場合、ユーザー要求cは「バスの時刻表の表示要求」となっている。
また、第1の被写体aが「食品サンプル」で、第2の被写体bが「店名」である場合、ユーザー要求cは「レストランの表示要求」となっている。ここで、「食品サンプル」とは飲食店の店頭などに陳列されている料理の模型である。また、「店名」とは飲食店の入り口などに設けられている看板に付されている文字などである。この場合の「レストランの表示要求」は、たとえば「食品サンプル」と関連する店の表示要求とすることができる。すなわち、「食品サンプル」がたとえばラーメンであれば、複数のラーメン店の表示要求とすることができる。なお、「食品サンプル」としては、飲食店の店頭などに陳列されている料理の模型に限らず、本に掲載されている食品の画像であってもよい。
また、第1の被写体aが「服」で、第2の被写体bが「店名」である場合、ユーザー要求cは「洋服店の表示要求」となっている。ここで、「服」とはユーザーが身に付けているものであってもよいし、身近な人物が身に付けているものであってもよい。この場合の「洋服店の表示要求」は、たとえば第1の被写体aの「服」と関連する店の表示要求とすることができる。すなわち、「服」がたとえばスーツであれば、スーツに関連する複数の用品店の表示要求とすることができる。また、「服」としては、人物が身に付けているものに限らず、本に掲載されている「服」の画像であってもよい。
また、第1の被写体aが「靴」で、第2の被写体bが「店名」である場合、ユーザー要求cは「靴店の表示要求」となっている。ここで、「靴」とはユーザーが身に付けているものであってもよいし、身近な人物が身に付けているものであってもよい。この場合の「靴店の表示要求」は、たとえば第1の被写体aの「靴」と関連する店の表示要求とすることができる。すなわち、「靴」がたとえばスニーカーであれば、スニーカーに関連する複数の靴店の表示要求とすることができる。また、「靴」としては、人物が身に付けているものに限らず、本に掲載されている「靴」の画像であってもよい。
なお、表示要求判断部105Aによって判断されたユーザー要求cに基づくネットワーク接続部108による各種情報DB200へのアクセスの際は、位置情報取得部107によって取得された位置情報も送信される。そのため、いずれもユーザーの周囲に限定された情報を得ることができる。なお、ユーザーの周囲に限定せずに、広域での情報を得たい場合は、たとえば位置情報取得部107によって取得された位置情報の送信を無くすようにすれせばよい。この場合、位置情報取得部107の動作を中断させるような処理が行われればよい。
次に、図4を参照し、ウェアラブル端末10による情報表示処理について説明する。なお、以下においては、説明の都合上、たとえば天気情報の表示要求が行われる場合として説明する。
(ステップS101)
まず、角度解析部106は、ジャイロセンサー122により傾きが検出されたかどうかを判断する。角度解析部106は、ジャイロセンサー122により傾きが検出されないと判断すると(ステップS101:No)、ジャイロセンサー122による傾きの検出待ちとなる。これに対し、角度解析部106は、ジャイロセンサー122により傾きが検出されたと判断すると(ステップS101:Yes)、ステップS102に移る。すなわち、ウェアラブル端末10を装着したユーザーが空を見上げると、ジャイロセンサー122からの検出信号が変化するため、角度解析部106がジャイロセンサー122により傾きが検出されたと判断することができる。
(ステップS102)
被写体認識部105は、角度解析部106が傾きを検出したと判断すると、カメラ121によって撮像された画像を解析し、被写体の認識を行う。このとき、ユーザーが空を見上げるというジェスチャーによって、カメラ121により空が撮像されると、被写体認識部105はカメラ121により撮像された画像を解析し、被写体が空であると認識する。なお、カメラ121は、上述したように、画像一枚あたりの撮像周期がたとえば1/30秒(すなわち、フレームレートが30fps)で被写体を撮像可能なビデオカメラとすることができる。これにより、カメラ121はウェアラブル端末10を装着したユーザーの視線方向の被写体を連続して撮像することになるため、被写体認識部105は被写体の認識を連続して行うことができる。
(ステップS103)
また、被写体認識部105は、最初の被写体の認識を終了すると、カメラ121が撮像した画像を解析し、次の被写体の認識を行う。
(ステップS104)
被写体認識部105は、認識した次の被写体が最初の被写体と異なるかどうか判断する。次の被写体が最初の被写体と異なっていなければ(ステップS104:No)、最初の被写体と最初の被写体とが同じであるため、ステップS103に戻る。これに対し、次の被写体が最初の被写体と異なっていれば(ステップS104:Yes)、ステップS105に移る。すなわち、ユーザーが空を見上げた状態での画像が次の被写体として認識されると、次の被写体が最初の被写体と同じであるため、ステップS103に戻り、再度、次の被写体の認識が行われる。これに対し、ユーザーが空を見上げた状態で、手を空に向かってかざすというジェスチャーがあると、カメラ121により空を背景とした手が撮像される。この場合、被写体認識部105は、画像の解析により背景を除いた手を次の被写体と認識する。
(ステップS105)
被写体認識部105は、最初の認識結果である第1の被写体(空)と、次の認識結果である第2の被写体(手)とを表示要求判断部105Aに送る。
(ステップS106)
表示要求判断部105Aは、被写体認識部105からの認識結果を受け取ると、上述した表示要求判断表105aを参照し、ユーザーの表示要求を判断する。この場合、第1の被写体(空)と第2の被写体(手)の組み合わせから、ユーザー要求cは天気情報の表示要求であると判断する。
(ステップS107)
表示要求判断部105Aは、GPSセンサー123による位置情報の取得の有無を判断する。GPSセンサー123による位置情報の取得が無ければ(ステップS107:No)、GPSセンサー123による位置情報の取得待ちとなる。これに対し、GPSセンサー123による位置情報の取得が有れば(ステップS107:Yes)、ステップS108に移る。
(ステップS108)
表示要求判断部105Aは、ネットワーク接続部108を介して位置情報を含む表示要求(天気情報の表示要求)を各種情報DB200へ送信する。
(ステップS109)
表示要求判断部105Aは、ネットワーク接続部108を介して各種情報DB200からの情報の受信の有無を判断する。各種情報DB200からの情報の受信が無ければ、受信待ちとなる(ステップS109:No)。これに対し、各種情報DB200からの情報の受信が有れば(ステップS109:Yes)、ステップS110に移る。
(ステップS110)
表示要求判断部105Aは、各種情報DB200からの情報の受信が有ると、表示制御部110を介して表示部120に天気情報を表示させる。この天気情報は、位置情報取得部107によって取得された位置情報に基づくものであり、ユーザーの周囲の情報となる。
なお、以上では、天気情報の表示要求について説明したが、上述した表示要求判断表105aのユーザー要求cに示す、電車の時刻表の表示要求、バスの時刻表の表示要求、レストランの表示要求、洋服店の表示要求、靴店の表示要求なども、上述したユーザーのジェスチャーにより撮像されたそれぞれの画像の認識結果である、第1の被写体と第2の被写体の組み合わせに基づいて判断されることになる。
このように、本実施形態において、被写体認識部105は、撮像部であるカメラ121によって撮像された画像から被写体を認識し、表示要求判断部105Aは、被写体認識部105によって認識された異なる被写体の組み合わせに基づき、表示要求が判断され、各種情報データベース(各種情報DB200)に対し、通信部であるI/F101及びネットワーク接続部108を介して表示要求に応じた情報の送信要求を行い、通信部であるI/F101及びネットワーク接続部108は、ネットワーク300を介し、各種情報を格納している各種情報データベース(各種情報DB200)から各種情報を取得すると、表示部120は各種情報を表示する。
これにより、ユーザーのジェスチャーに応じた異なる被写体の組み合わせに基づき表示要求が判断されることで、ユーザーの様々な表示要求の識別が可能となり、ユーザーの様々な表示要求に応じた情報を提供することができる。
また、本実施形態では、角度解析部106は、ユーザーのジェスチャーに応じた動きに基づく傾きの角度を解析すると、被写体認識部105は、角度解析部106による解析動作に伴い、被写体を認識する。これにより、角度解析部106による解析動作を、被写体認識部105による画像解析の開始トリガーとすることができ、ユーザーによる表示要求がない場合での被写体認識部105などによる無駄な処理を無くすことができる。
また、本実施形態では、表示要求判断部105Aが表示要求に応じた情報の送信要求を行う際、送信要求に位置情報取得部107により取得された位置情報が含められるので、各種情報DB200からの得られる情報をユーザーの周囲に限定されたものとすることができる。
また、本実施形態では、表示要求判断部105Aが異なる被写体の組み合わせに応じた複数の表示要求を示す表示要求判断表105aを参照し、表示要求を判断する。そのため、表示要求判断表105aに異なる被写体(第1の被写体と第2の被写体)の組み合わせに合致するものが無ければユーザーによる表示要求の判断が行われないことから、ユーザーが要求しないときに表示部120に情報が表示されるという誤動作を防止することができる。
なお、本実施形態では、本発明の電子機器の一例として、たとえば眼鏡型のウェアラブル端末10として説明したが、これに限らず、腕時計型、ブレスレット型などの他のウェアラブル端末にも適用可能である。
10 ウェアラブル端末
11 つる部
100 装置本体
101 I/F
102 ROM
103 RAM
104 CPU
105 被写体認識部
105A 表示要求判断部
105a 表示要求判断表
106 角度解析部
107 位置情報取得部
108 ネットワーク接続部
109 データ解析バス
110 表示制御部
111 撮像制御部
112 ジャイロセンサー制御部
113 GPSセンサー制御部
114 デバイス制御バス
120 表示部
121 カメラ
122 ジャイロセンサー
123 GPSセンサー
200 各種情報DB
300 ネットワーク

Claims (8)

  1. 身体に装着される電子機器であって、
    ネットワークを介し、各種情報を格納している各種情報データベースから各種情報を取得する通信部と、
    前記各種情報を表示する表示部と、
    現実空間を撮像する撮像部と、
    前記撮像部によって撮像された画像から被写体を認識する被写体認識部と、
    前記被写体認識部によって認識された異なる被写体の組み合わせに基づき、表示要求を判断し、前記各種情報データベースに対し、前記通信部を介して前記表示要求に応じた情報の送信要求を行う表示要求判断部とを備える
    ことを特徴とする電子機器。
  2. ユーザーのジェスチャーに応じた動きに基づく傾きの角度を解析する角度解析部を備え、
    前記被写体認識部は、前記角度解析部による解析動作に伴い、前記被写体を認識する
    ことを特徴とする請求項1に記載の電子機器。
  3. 位置情報を取得する位置情報取得部を備え、
    前記表示要求判断部は、前記表示要求に応じた情報の送信要求を行う際、前記表示要求に前記位置情報を含める
    ことを特徴とする請求項1又は2に記載の電子機器。
  4. 前記異なる被写体の組み合わせに応じた複数の表示要求を示す表示要求判断表を備え、
    前記表示要求判断部は、表示要求判断表を参照し、前記表示要求を判断する
    ことを特徴とする請求項1〜3のいずれかに記載の電子機器。
  5. 身体に装着される電子機器を制御するためのコンピューターで実行される情報表示プログラムであって、
    通信部により、ネットワークを介し、各種情報を格納している各種情報データベースから各種情報を取得する工程と、
    表示部により前記各種情報を表示する工程と、
    撮像部により現実空間を撮像する工程と、
    被写体認識部により、前記撮像部によって撮像された画像から被写体を認識する工程と、
    表示要求判断部により、前記被写体認識部によって認識された異なる被写体の組み合わせに基づき、表示要求を判断し、前記各種情報データベースに対し、前記通信部を介して前記表示要求に応じた情報の送信要求を行う工程とを前記コンピューターに実行させる
    ことを特徴とする情報表示プログラム。
  6. 角度解析部により、ユーザーのジェスチャーに応じた動きに基づく傾きの角度を解析する工程を有し、
    前記被写体認識部は、前記角度解析部による解析動作に伴い、前記被写体を認識する
    ことを特徴とする請求項5に記載の情報表示プログラム。
  7. 位置情報取得部により位置情報を取得する工程を有し、
    前記表示要求判断部は、前記表示要求に応じた情報の送信要求を行う際、前記表示要求に前記位置情報を含める
    ことを特徴とする請求項5又は6に記載の情報表示プログラム。
  8. 前記表示要求判断部は、前記異なる被写体の組み合わせに応じた複数の表示要求を示す表示要求判断表を参照し、前記表示要求を判断することを特徴とする請求項5〜7のいずれかに記載の情報表示プログラム。
JP2014175560A 2014-08-29 2014-08-29 電子機器及び情報表示プログラム Expired - Fee Related JP5989725B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2014175560A JP5989725B2 (ja) 2014-08-29 2014-08-29 電子機器及び情報表示プログラム
US14/839,966 US20160062481A1 (en) 2014-08-29 2015-08-29 Electronic equipment displaying various kinds of information available by wearing on body

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014175560A JP5989725B2 (ja) 2014-08-29 2014-08-29 電子機器及び情報表示プログラム

Publications (2)

Publication Number Publication Date
JP2016051276A JP2016051276A (ja) 2016-04-11
JP5989725B2 true JP5989725B2 (ja) 2016-09-07

Family

ID=55402446

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014175560A Expired - Fee Related JP5989725B2 (ja) 2014-08-29 2014-08-29 電子機器及び情報表示プログラム

Country Status (2)

Country Link
US (1) US20160062481A1 (ja)
JP (1) JP5989725B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6561938B2 (ja) * 2016-08-05 2019-08-21 京セラドキュメントソリューションズ株式会社 印刷物処理システム
CN112020698A (zh) * 2019-03-28 2020-12-01 京东方科技集团股份有限公司 触控基板、触控装置和触控检测方法

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1997019429A1 (en) * 1995-11-20 1997-05-29 Motorola Inc. Displaying graphic messages in a radio receiver
US20040155971A1 (en) * 2003-02-06 2004-08-12 Manish Sharma Method and system for building a view of an object
JP2008505383A (ja) * 2004-06-29 2008-02-21 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 個人ジェスチャ署名
US8547401B2 (en) * 2004-08-19 2013-10-01 Sony Computer Entertainment Inc. Portable augmented reality device and method
JP5460691B2 (ja) * 2009-06-08 2014-04-02 パナソニック株式会社 注視対象判定装置及び注視対象判定方法
JP5382436B2 (ja) * 2009-08-03 2014-01-08 ソニー株式会社 データ処理装置、データ処理方法、およびプログラム
US9721388B2 (en) * 2011-04-20 2017-08-01 Nec Corporation Individual identification character display system, terminal device, individual identification character display method, and computer program
JP5800602B2 (ja) * 2011-06-29 2015-10-28 オリンパス株式会社 情報処理システム、携帯電子機器、プログラム及び情報記憶媒体
WO2013093906A1 (en) * 2011-09-19 2013-06-27 Eyesight Mobile Technologies Ltd. Touch free interface for augmented reality systems
US9024844B2 (en) * 2012-01-25 2015-05-05 Microsoft Technology Licensing, Llc Recognition of image on external display
JP2013200793A (ja) * 2012-03-26 2013-10-03 Sony Corp 情報処理装置、情報処理方法およびプログラム
TW201351978A (zh) * 2012-06-07 2013-12-16 Acer Inc 電子裝置以及影像擷取方法
JP5935640B2 (ja) * 2012-10-01 2016-06-15 ソニー株式会社 情報処理装置、表示制御方法及びプログラム
JP5787099B2 (ja) * 2012-11-06 2015-09-30 コニカミノルタ株式会社 案内情報表示装置
US10158723B2 (en) * 2012-11-09 2018-12-18 Sony Corporation Determining communication history of users
WO2014128749A1 (ja) * 2013-02-19 2014-08-28 株式会社ブリリアントサービス 形状認識装置、形状認識プログラム、および形状認識方法
US10453097B2 (en) * 2014-01-13 2019-10-22 Nant Holdings Ip, Llc Sentiments based transaction systems and methods
JP2015152940A (ja) * 2014-02-10 2015-08-24 ソニー株式会社 提示制御装置、提示制御方法、およびプログラム
KR20160065671A (ko) * 2014-12-01 2016-06-09 삼성전자주식회사 응답을 출력하는 디바이스 및 방법

Also Published As

Publication number Publication date
US20160062481A1 (en) 2016-03-03
JP2016051276A (ja) 2016-04-11

Similar Documents

Publication Publication Date Title
US10656424B2 (en) Information display terminal, information display system, and information display method
KR102494698B1 (ko) 카메라의 초점을 변경하는 방법 및 장치
KR102296396B1 (ko) 비접촉 체온 측정 시 정확도를 향상시키기 위한 장치 및 방법
RU2638004C2 (ru) Устройство обработки информации, способ управления отображением и программа
US9927877B2 (en) Data manipulation on electronic device and remote terminal
CN107390863B (zh) 设备的控制方法及装置、电子设备、存储介质
US8942510B2 (en) Apparatus and method for switching a display mode
CN107422840B (zh) 用于识别目标对象的方法和系统
EP2824541B1 (en) Method and apparatus for connecting devices using eye tracking
KR20180099026A (ko) 외부 전자 장치를 이용한 촬영 방법 및 이를 지원하는 전자 장치
JP2014140097A (ja) 画像表示装置及び画像表示方法
WO2019187487A1 (ja) 情報処理装置、情報処理方法、およびプログラム
US10496186B2 (en) Information processing apparatus, information processing method, and program
CN111095364A (zh) 信息处理装置、信息处理方法和程序
JP2019125215A (ja) 情報処理装置、情報処理方法、及び記録媒体
CN112748798B (zh) 一种眼球追踪校准方法及相关设备
JP5989725B2 (ja) 電子機器及び情報表示プログラム
JP6714632B2 (ja) 情報表示端末及び情報表示方法
KR20200144196A (ko) 전자 장치 및 각막 이미지를 이용한 전자 장치의 기능 제공 방법
JP6319220B2 (ja) 透過型ウェアラブル端末、データ処理装置、及びデータ処理システム
US10409464B2 (en) Providing a context related view with a wearable apparatus
JP6029616B2 (ja) 物品情報提供装置、物品情報提供システム、物品情報提供方法及び物品情報提供プログラム
US20210072827A1 (en) Line-of-sight input device, method of line-of-sight input, and line-of-sight input system
KR101483447B1 (ko) 정보처리 시스템 및 정보처리 방법
JP6941715B2 (ja) 表示装置、表示プログラム、表示方法及び表示システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160520

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20160520

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20160623

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160712

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160810

R150 Certificate of patent or registration of utility model

Ref document number: 5989725

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees