WO2023089728A1 - Operation device, operation method, and operation program - Google Patents

Operation device, operation method, and operation program Download PDF

Info

Publication number
WO2023089728A1
WO2023089728A1 PCT/JP2021/042393 JP2021042393W WO2023089728A1 WO 2023089728 A1 WO2023089728 A1 WO 2023089728A1 JP 2021042393 W JP2021042393 W JP 2021042393W WO 2023089728 A1 WO2023089728 A1 WO 2023089728A1
Authority
WO
WIPO (PCT)
Prior art keywords
display
glasses
type device
operating
information
Prior art date
Application number
PCT/JP2021/042393
Other languages
French (fr)
Japanese (ja)
Inventor
昌平 飯島
Original Assignee
三菱電機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 三菱電機株式会社 filed Critical 三菱電機株式会社
Priority to PCT/JP2021/042393 priority Critical patent/WO2023089728A1/en
Priority to JP2023547593A priority patent/JP7357832B1/en
Priority to TW111117118A priority patent/TW202321930A/en
Publication of WO2023089728A1 publication Critical patent/WO2023089728A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour

Abstract

An operation device (10) is for operating an eyeglasses-type device (20) by superimposing an operational display displayed by the operation device (10) onto display information that contains information such as selections and that is displayed on a display device (24) by the eyeglasses-type device (20). The operating device (10) identifies the display information displayed by the eyeglasses-type device (20) on the display device (224). The operating device (10) modifies the size or the like of an operational display and displays same in accordance with the identified display information.

Description

操作装置、操作方法及び操作プログラムOperating device, operating method and operating program
　本開示は、メガネ型デバイスを操作する技術に関する。 The present disclosure relates to technology for operating a glasses-type device.
　５Ｇ等の無線通信技術が発展してきている。５Ｇは、５ｔｈ　Ｇｅｎｅｒａｔｉｏｎの略である。これにより、産業用途で無線通信の活用が進むことが想定される。例えば、ＦＡ用途で無線通信の活用が進むことが想定される。ＦＡは、Ｆａｃｔｏｒｙ　Ａｕｔｏｍａｔｉｏｎの略である。 Wireless communication technologies such as 5G are developing. 5G is an abbreviation for 5th Generation. As a result, it is expected that the use of wireless communication will advance in industrial applications. For example, it is assumed that the utilization of wireless communication will progress in FA applications. FA is an abbreviation for Factory Automation.
　無線通信を活用してモバイル端末がＦＡシステムに導入されることが考えられる。モバイル端末として、スマートグラスと呼ばれるメガネ型デバイスが用いられる可能性がある。例えば、メガネ型デバイスを着用した作業者がビデオ通話等で支援者と会話をしながら工場での作業を進めるといったことが考えられる。 It is conceivable that mobile terminals will be introduced into the FA system using wireless communication. Glasses-type devices called smart glasses may be used as mobile terminals. For example, it is conceivable that a worker wearing a glasses-type device proceeds with work in a factory while conversing with a supporter by video call or the like.
　特許文献１には、メガネ型デバイスとスマートフォンとを連携させることが記載されている。 Patent Document 1 describes linking a glasses-type device and a smartphone.
特開２０１６－０９９７０２号公報JP 2016-099702 A
　メガネ型デバイスは、有線又は無線で接続された物理的なボタンを有するコントローラを用いて操作される。あるいは、メガネ型デバイスは、音声によって操作される。しかし、工場では、手袋が着用されることが想定される。そのため、物理的なボタンの操作が困難な場合がある。また、工場では、騒音が発生することが想定される。そのため、音声での操作が困難な場合がある。 The glasses-type device is operated using a controller with physical buttons that are wired or wirelessly connected. Alternatively, the glasses-type device is voice operated. However, in factories, it is assumed that gloves will be worn. Therefore, it may be difficult to operate physical buttons. In addition, noise is expected to occur in the factory. Therefore, voice operation may be difficult.
　特許文献１には、メガネ型デバイスとスマートフォンとを連携させることが記載されている。しかし、スマートフォンを用いて、メガネ型デバイスの操作を容易にする方法については記載されていない。 Patent Document 1 describes linking a glasses-type device and a smartphone. However, there is no description of a method for facilitating operation of the glasses-type device using a smartphone.
　本開示は、工場等において、メガネ型デバイスの操作を容易に行えるようにすることを目的とする。 The purpose of the present disclosure is to facilitate the operation of glasses-type devices in factories and the like.
　本開示に係る操作装置は、
　メガネ型デバイスを操作するための操作装置であり、
　前記メガネ型デバイスが表示する表示情報を特定する表示特定部と、
　前記表示特定部によって特定された前記表示情報に応じて、前記メガネ型デバイスを操作するための表示である操作表示を変更して表示する表示制御部と
を備える。 The operating device according to the present disclosure includes
An operating device for operating a glasses-type device,
a display specifying unit that specifies display information to be displayed by the glasses-type device;
and a display control unit that changes and displays an operation display, which is a display for operating the glasses-type device, according to the display information specified by the display specifying unit.
　本開示では、メガネ型デバイスが表示する表示情報に応じて、メガネ型デバイスを操作するための表示である操作表示が変更される。これにより、メガネ型デバイスが表示する表示情報に応じて、操作し易い操作表示を行うことが可能になる。その結果、工場等において、メガネ型デバイスの操作を容易に行えるようにすることができる。 In the present disclosure, the operation display, which is the display for operating the glasses-type device, is changed according to the display information displayed by the glasses-type device. This makes it possible to perform an easy-to-operate operation display according to the display information displayed by the glasses-type device. As a result, it is possible to easily operate the glasses-type device in a factory or the like.
実施の形態１に係る連携システム１００の構成図。1 is a configuration diagram of a cooperation system 100 according to Embodiment 1; FIG. 実施の形態１に係る操作装置１０の構成図。1 is a configuration diagram of an operating device 10 according to Embodiment 1. FIG. 実施の形態１に係るメガネ型デバイス２０の構成図。1 is a configuration diagram of a spectacles-type device 20 according to Embodiment 1. FIG. 実施の形態１に係るメガネ型デバイス２０の動作のフローチャート。4 is a flowchart of the operation of the glasses-type device 20 according to Embodiment 1; 実施の形態１に係る操作装置１０の動作のフローチャート。4 is a flowchart of the operation of the operating device 10 according to Embodiment 1; 実施の形態１に係る操作アプリケーションの動作のフローチャート。4 is a flowchart of the operation of the operation application according to Embodiment 1; 実施の形態１に係る表示制御処理の説明図。4A and 4B are explanatory diagrams of display control processing according to the first embodiment; FIG. 実施の形態１に係る表示制御処理の説明図。4A and 4B are explanatory diagrams of display control processing according to the first embodiment; FIG. 変形例３に係る操作装置１０の構成図。The block diagram of the operating device 10 which concerns on the modified example 3. FIG. 変形例３に係るメガネ型デバイス２０の構成図。FIG. 11 is a configuration diagram of a spectacles-type device 20 according to Modification 3; 実施の形態２に係る操作装置１０の構成図。FIG. 2 is a configuration diagram of an operating device 10 according to Embodiment 2; 実施の形態２に係る操作アプリケーションの動作のフローチャート。8 is a flowchart of the operation of the operation application according to the second embodiment; 実施の形態３に係る操作装置１０の構成図。FIG. 10 is a configuration diagram of an operating device 10 according to Embodiment 3; 実施の形態３に係る二次元コード３３の説明図。FIG. 11 is an explanatory diagram of a two-dimensional code 33 according to Embodiment 3;
　実施の形態１．
　＊＊＊構成の説明＊＊＊
　図１を参照して、実施の形態１に係る連携システム１００の構成を説明する。
　連携システム１００は、操作装置１０と、メガネ型デバイス２０とを備える。操作装置１０とメガネ型デバイス２０とは、伝送路９０を介して接続される。
　操作装置１０は、スマートフォン及びタブレット端末といったコンピュータである。操作装置１０は、メガネ型デバイス２０を操作するためのコンピュータである。
　メガネ型デバイス２０は、メガネのような形状をしており、使用者によって着用されるコンピュータである。使用者はメガネ型デバイス２０を着用すると、メガネ型デバイス２０の表示装置２４を介して、周辺を見る状態になる。図１では、メガネ型デバイス２０の表示装置２４は、使用者の両方の目を覆うような形状である。しかし、メガネ型デバイス２０の表示装置２４は、使用者の片方の目だけを覆うような形状であってもよい。 Embodiment 1.
*** Configuration description ***
A configuration of the cooperation system 100 according to the first embodiment will be described with reference to FIG.
A cooperation system 100 includes an operation device 10 and a glasses-type device 20 . The operating device 10 and the glasses-type device 20 are connected via a transmission line 90 .
The operation device 10 is a computer such as a smart phone and a tablet terminal. The operating device 10 is a computer for operating the glasses-type device 20 .
The spectacles-type device 20 is a computer shaped like spectacles and worn by a user. When the user wears the spectacles-type device 20 , the user sees the surroundings through the display device 24 of the spectacles-type device 20 . In FIG. 1, the display device 24 of the glasses-type device 20 is shaped to cover both eyes of the user. However, the display device 24 of the glasses-type device 20 may be shaped to cover only one eye of the user.
　図２を参照して、実施の形態１に係る操作装置１０の構成を説明する。
　操作装置１０は、プロセッサ１１と、メモリ１２と、通信インタフェース１３と、表示装置１４と、カメラ１５とのハードウェアを備える。プロセッサ１１は、信号線を介して他のハードウェアと接続され、これら他のハードウェアを制御する。 The configuration of the operating device 10 according to the first embodiment will be described with reference to FIG.
The operation device 10 includes hardware including a processor 11 , a memory 12 , a communication interface 13 , a display device 14 and a camera 15 . The processor 11 is connected to other hardware via signal lines and controls these other hardware.
　操作装置１０は、機能構成要素として、表示特定部１１１と、表示制御部１１２とを備える。操作装置１０の各機能構成要素の機能はソフトウェアにより実現される。
　メモリ１２には、操作装置１０の各機能構成要素の機能を実現するプログラムである操作アプリケーションが格納されている。このプログラムは、プロセッサ１１により読み込まれ、実行される。これにより、操作装置１０の各機能構成要素の機能が実現される。 The operating device 10 includes a display specifying unit 111 and a display control unit 112 as functional components. The function of each functional component of the operating device 10 is realized by software.
The memory 12 stores an operation application, which is a program that implements the function of each functional component of the operation device 10 . This program is read by the processor 11 and executed. Thereby, the function of each functional component of the operating device 10 is realized.
　図３を参照して、実施の形態１に係るメガネ型デバイス２０の構成を説明する。
　メガネ型デバイス２０は、プロセッサ２１と、メモリ２２と、通信インタフェース２３と、表示装置２４と、カメラ２５とのハードウェアを備える。プロセッサ２１は、信号線を介して他のハードウェアと接続され、これら他のハードウェアを制御する。 The configuration of the eyeglass-type device 20 according to the first embodiment will be described with reference to FIG.
The glasses-type device 20 includes hardware including a processor 21 , a memory 22 , a communication interface 23 , a display device 24 and a camera 25 . The processor 21 is connected to other hardware via signal lines and controls these other hardware.
　メガネ型デバイス２０は、機能構成要素として、情報表示部２１１と、動作制御部２１２とを備える。メガネ型デバイス２０の各機能構成要素の機能はソフトウェアにより実現される。
　メモリ２２には、メガネ型デバイス２０の各機能構成要素の機能を実現するプログラムであるメガネアプリケーションが格納されている。このプログラムは、プロセッサ２１により読み込まれ、実行される。これにより、メガネ型デバイス２０の各機能構成要素の機能が実現される。 The glasses-type device 20 includes an information display section 211 and an operation control section 212 as functional components. The function of each functional component of the glasses-type device 20 is implemented by software.
The memory 22 stores a glasses application, which is a program that implements the function of each functional component of the glasses-type device 20 . This program is read by the processor 21 and executed. Thereby, the function of each functional component of the glasses-type device 20 is realized.
　プロセッサ１１，１２は、プロセッシングを行うＩＣである。プロセッサ１１，１２は、ＩＣは、Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔの略である。具体例としては、ＣＰＵ、ＤＳＰ、ＧＰＵである。ＣＰＵは、Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔの略である。ＤＳＰは、Ｄｉｇｉｔａｌ　Ｓｉｇｎａｌ　Ｐｒｏｃｅｓｓｏｒの略である。ＧＰＵは、Ｇｒａｐｈｉｃｓ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔの略である。 The processors 11 and 12 are ICs that perform processing. As for the processors 11 and 12, IC stands for Integrated Circuit. Specific examples are CPU, DSP, and GPU. CPU is an abbreviation for Central Processing Unit. DSP is an abbreviation for Digital Signal Processor. GPU is an abbreviation for Graphics Processing Unit.
　メモリ１２，２２は、データを一時的に記憶する記憶装置である。メモリ１２，２２は、具体例としては、ＳＲＡＭ、ＤＲＡＭである。ＳＲＡＭは、Ｓｔａｔｉｃ　Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙの略である。ＤＲＡＭは、Ｄｙｎａｍｉｃ　Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙの略である。 The memories 12 and 22 are storage devices that temporarily store data. Specific examples of the memories 12 and 22 are SRAM and DRAM. SRAM is an abbreviation for Static Random Access Memory. DRAM is an abbreviation for Dynamic Random Access Memory.
　通信インタフェース１３，２３は、外部の装置と通信するためのインタフェースである。通信インタフェース１３，２３は、具体例としては、ＬＴＥ、４Ｇ、５Ｇ、Ｂｌｕｅｔｏｏｔｈ用のアンテナである。ＬＴＥは、Ｌｏｎｇ　Ｔｅｒｍ　Ｅｖｏｌｕｔｉｏｎの略である。４Ｇは、４ｔｈ　Ｇｅｎｅｒａｔｉｏｎの略である。 The communication interfaces 13 and 23 are interfaces for communicating with external devices. The communication interfaces 13 and 23 are, as specific examples, antennas for LTE, 4G, 5G, and Bluetooth. LTE is an abbreviation for Long Term Evolution. 4G is an abbreviation for 4th Generation.
　表示装置１４は、情報を表示する装置である。表示装置１４は、具体例としては、ＬＣＤである。ＬＣＤは、Ｌｉｑｕｉｄ　Ｃｒｙｓｔａｌ　Ｄｉｓｐｌａｙの略である。 The display device 14 is a device that displays information. A specific example of the display device 14 is an LCD. LCD is an abbreviation for Liquid Crystal Display.
　カメラ１５は、映像を撮影するための装置である。 The camera 15 is a device for capturing images.
　図２では、プロセッサ１１は、１つだけ示されていた。しかし、プロセッサ１１は、複数であってもよく、複数のプロセッサ１１が、各機能を実現するプログラムを連携して実行してもよい。同様に、図３では、プロセッサ２１は、１つだけ示されていた。しかし、プロセッサ２１は、複数であってもよく、複数のプロセッサ２１が、各機能を実現するプログラムを連携して実行してもよい。 Only one processor 11 is shown in FIG. However, there may be a plurality of processors 11, and the plurality of processors 11 may cooperate to execute programs that implement each function. Similarly, only one processor 21 was shown in FIG. However, there may be a plurality of processors 21, and the plurality of processors 21 may cooperatively execute programs that implement each function.
　＊＊＊動作の説明＊＊＊
　図４から図８を参照して、実施の形態１に係る連携システム１００の動作を説明する。
　実施の形態１に係る連携システム１００における操作装置１０の動作手順は、実施の形態１に係る操作方法に相当する。また、実施の形態１に係る連携システム１００の操作装置１０の動作を実現するプログラムは、実施の形態１に係る操作プログラムに相当する。 ***Description of operation***
The operation of the cooperation system 100 according to the first embodiment will be described with reference to FIGS. 4 to 8. FIG.
The operation procedure of the operation device 10 in the cooperation system 100 according to the first embodiment corresponds to the operation method according to the first embodiment. Also, a program that realizes the operation of the operation device 10 of the cooperation system 100 according to the first embodiment corresponds to the operation program according to the first embodiment.
　図４を参照して、実施の形態１に係るメガネ型デバイス２０の動作を説明する。
　メガネ型デバイス２０は、操作装置１０との接続を行う（ステップＳ１１）。メガネ型デバイス２０は、アプリケーションプログラムであるメガネアプリケーションを起動する（ステップＳ１２）。メガネ型デバイス２０は、操作装置１０とのデータの連携を開始する（ステップＳ１３）。
　その後、メガネ型デバイス２０は、定期的に、あるいは、何らかのイベント発生時に、メガネアプリケーションの動作を継続するか否かを判定する（ステップＳ１４）。継続すると判定された場合には、メガネ型デバイス２０は処理をステップＳ１４に戻す。一方、継続しないと判定された場合には、メガネ型デバイス２０は、メガネアプリケーションの動作を終了する（ステップＳ１５）。そして、メガネ型デバイス２０は、操作装置１０とのデータ連携を終了する（ステップＳ１６）。メガネ型デバイス２０は、操作装置１０との接続を解除する（ステップＳ１７）。 The operation of the glasses-type device 20 according to Embodiment 1 will be described with reference to FIG.
The spectacles type device 20 connects with the operation device 10 (step S11). The glasses-type device 20 starts the glasses application, which is an application program (step S12). The glasses-type device 20 starts data cooperation with the operation device 10 (step S13).
Thereafter, the spectacles-type device 20 determines whether or not to continue the operation of the spectacles application periodically or when some event occurs (step S14). If determined to continue, the glasses-type device 20 returns the process to step S14. On the other hand, when it is determined not to continue, the glasses-type device 20 terminates the operation of the glasses application (step S15). Then, the spectacles-type device 20 terminates the data linkage with the operation device 10 (step S16). The glasses-type device 20 disconnects from the operation device 10 (step S17).
　ステップＳ１３で操作装置１０とのデータの連携を開始されてから、ステップＳ１６で操作装置１０とのデータの連携が終了するまで、メガネ型デバイス２０は操作装置１０を用いて操作される状態になる。 From the start of data cooperation with the operation device 10 in step S13 to the end of data cooperation with the operation device 10 in step S16, the glasses-type device 20 is in a state of being operated using the operation device 10. .
　メガネアプリケーションは、工場での作業等を支援するためのプログラムである。例えば、メガネアプリケーションは、指定された作業の手順を示すといったことを行う。情報表示部２１１及び動作制御部２１２は、メガネアプリケーションによって実現される機能である。
　情報表示部２１１は、メガネアプリケーションの指示に従い、情報を表示装置２４に表示する。例えば、情報表示部２１１は、作業の指定画面を表示装置２４に表示する。動作制御部２１２は、操作装置１０を用いた操作に従い、メガネアプリケーションを動作させる。例えば、動作制御部２１２は、操作装置１０を用いて指定された作業の手順を読み出し、情報表示部２１１により表示装置２４に表示させる。 The glasses application is a program for supporting factory work and the like. For example, the glasses application shows the procedure of the designated work. The information display unit 211 and the operation control unit 212 are functions realized by the glasses application.
The information display unit 211 displays information on the display device 24 according to instructions from the glasses application. For example, the information display unit 211 displays a job designation screen on the display device 24 . The operation control unit 212 operates the glasses application according to the operation using the operation device 10 . For example, the operation control unit 212 reads out a work procedure specified using the operation device 10 and causes the information display unit 211 to display it on the display device 24 .
　図５を参照して、実施の形態１に係る操作装置１０の動作を説明する。
　操作装置１０は、メガネ型デバイス２０との接続を行う（ステップＳ２１）。操作装置１０は、メガネ型デバイス２０とのデータの連携を開始する（ステップＳ２２）。操作装置１０は、アプリケーションプログラムである操作アプリケーションを起動する（ステップＳ２３）。
　その後、操作装置１０を用いたメガネ型デバイス２０の操作が行われる（ステップＳ２４）。そして、操作装置１０は、定期的に、あるいは、何らかのイベント発生時に、操作アプリケーションの動作を継続するか否かを判定する（ステップＳ２５）。継続すると判定された場合には、操作装置１０は処理をステップＳ２４に戻す。一方、継続しないと判定された場合には、操作装置１０は、操作装置１０とのデータ連携を終了する（ステップＳ２６）。操作装置１０は、操作アプリケーションの動作を終了する（ステップＳ２７）。そして、操作装置１０は、メガネ型デバイス２０との接続を解除する（ステップＳ２８）。 The operation of the operating device 10 according to the first embodiment will be described with reference to FIG.
The operation device 10 connects with the spectacles type device 20 (step S21). The operation device 10 starts data cooperation with the glasses-type device 20 (step S22). The operation device 10 activates an operation application, which is an application program (step S23).
After that, the glasses-type device 20 is operated using the operation device 10 (step S24). Then, the operation device 10 periodically or when some event occurs determines whether or not to continue the operation of the operation application (step S25). If it is determined to continue, the controller device 10 returns the process to step S24. On the other hand, when it is determined not to continue, the operation device 10 terminates the data cooperation with the operation device 10 (step S26). The operation device 10 terminates the operation of the operation application (step S27). Then, the operating device 10 disconnects from the glasses-type device 20 (step S28).
　ステップＳ２２でメガネ型デバイス２０とのデータの連携を開始されてから、ステップＳ２６でメガネ型デバイス２０とのデータの連携が終了するまで、操作装置１０はメガネ型デバイス２０を操作可能な状態になる。 The operation device 10 is in a state in which the glasses-type device 20 can be operated from the start of data cooperation with the glasses-type device 20 in step S22 until the data cooperation with the glasses-type device 20 ends in step S26. .
　操作アプリケーションは、メガネ型デバイス２０を操作するためのプログラムである。具体的には、操作アプリケーションは、メガネ型デバイス２０を操作するための表示である操作表示３１を表示するプログラムである。表示特定部１１１及び表示制御部１１２は、操作アプリケーションによって実現される機能である。 The operation application is a program for operating the glasses-type device 20. Specifically, the operation application is a program that displays an operation display 31 that is a display for operating the glasses-type device 20 . The display specifying unit 111 and the display control unit 112 are functions implemented by the operation application.
　図６を参照して、実施の形態１に係る操作アプリケーションの動作を説明する。
　操作アプリケーションの動作は、図５のステップＳ２４において行われる。
　（ステップＳ３１：表示特定処理）
　表示特定部１１１は、メガネ型デバイス２０が表示する表示情報を特定する。
　具体的には、表示特定部１１１は、情報表示部２１１によって表示装置２４に表示された表示情報を特定する。ここでは、表示特定部１１１は、情報表示部２１１から表示している表示情報を取得することにより、表示情報を特定する。 The operation of the operation application according to the first embodiment will be described with reference to FIG.
Operation of the operation application is performed in step S24 of FIG.
(Step S31: Display specifying process)
The display specifying unit 111 specifies display information displayed by the glasses-type device 20 .
Specifically, the display specifying unit 111 specifies display information displayed on the display device 24 by the information display unit 211 . Here, the display specifying unit 111 specifies display information by acquiring display information being displayed from the information display unit 211 .
　（ステップＳ３２：要否判定処理）
　表示制御部１１２は、操作装置１０に操作表示３１を表示する必要があるか否かを判定する。
　具体的には、表示制御部１１２は、ステップＳ３１で特定された表示情報が操作情報を必要とするか否かを判定する。表示制御部１１２は、表示情報が操作情報を必要とする場合には、操作表示３１を表示する必要があると判定する。一方、表示制御部１１２は、表示情報が操作情報を必要としない場合には、操作表示３１を表示する必要がないと判定する。
　表示制御部１１２は、操作表示３１を表示する必要がある場合には、処理をステップＳ３３に進める。一方、表示制御部１１２は、操作表示３１を表示する必要がない場合には、処理をステップＳ３１に戻す。 (Step S32: Necessity determination process)
The display control unit 112 determines whether or not it is necessary to display the operation display 31 on the operation device 10 .
Specifically, the display control unit 112 determines whether or not the display information identified in step S31 requires operation information. The display control unit 112 determines that the operation display 31 needs to be displayed when the display information requires the operation information. On the other hand, when the display information does not require the operation information, the display control unit 112 determines that the operation display 31 does not need to be displayed.
If it is necessary to display the operation display 31, the display control unit 112 advances the process to step S33. On the other hand, if it is not necessary to display the operation display 31, the display control unit 112 returns the process to step S31.
　（ステップＳ３３：表示制御処理）
　表示制御部１１２は、ステップＳ３１で特定された表示情報に応じて、メガネ型デバイス２０を操作するための表示である操作表示３１を変更して表示する。 (Step S33: Display control processing)
The display control unit 112 changes and displays the operation display 31, which is a display for operating the glasses-type device 20, according to the display information specified in step S31.
　図７及び図８を参照して具体的に説明する。
　実施の形態１では、メガネ型デバイス２０の視野に操作表示３１を重ね合わせることにより、メガネ型デバイス２０の操作がされる。つまり、メガネ型デバイス２０は、メガネ型デバイス２０が表示する表示情報に、操作装置１０が表示する操作表示３１が重ねられることで、操作される。メガネ型デバイス２０が表示する表示情報は、情報表示部２１１が表示装置２４に表示する情報である。例えば、メガネ型デバイス２０が表示する表示情報は、作業の指定画面である。
　図７では、指定画面には、作業の選択肢として選択肢Ａと選択肢Ｂと選択肢Ｃとの３つの選択肢と、各選択肢の選択欄３２とが示されている。表示制御部１１２は、選択する選択肢を指定するための操作表示３１を表示装置１４に表示する。表示装置１４に表示された操作表示３１が、表示装置２４に表示されたいずれかの選択肢の選択欄３２に重ねられると、その選択肢が指定されたことになる。図７の例であれば、選択肢Ｂが指定されたことになる。
　表示制御部１１２は、操作表示３１を表示する際、ステップＳ３１で特定された表示情報に応じて、操作表示３１のサイズを変更する。ここでは、表示制御部１１２は、選択肢の大きさと隣接する他の選択肢との間の距離との少なくともいずれかに応じて、操作表示３１のサイズを変更する。図８に示すように、表示制御部１１２は、選択肢の大きさが小さいほど、あるいは、隣接する他の選択肢との間の距離が近いほど、操作表示３１のサイズを小さくする。隣接する他の選択肢との間の距離が近いとは、選択肢の密度が高いと言い換えることも可能である。
　図８では、指定画面には、６個の選択肢と、各選択肢の選択欄３２とが示されている。そのため、図７に比べて、図８では選択肢の大きさが小さい。したがって、図７に比べて、図８では、操作表示３１のサイズが小さい。 A specific description will be given with reference to FIGS. 7 and 8. FIG.
In Embodiment 1, the glasses-type device 20 is operated by superimposing the operation display 31 on the field of view of the glasses-type device 20 . That is, the glasses-type device 20 is operated by superimposing the operation display 31 displayed by the operation device 10 on the display information displayed by the glasses-type device 20 . The display information displayed by the glasses-type device 20 is information displayed on the display device 24 by the information display unit 211 . For example, the display information displayed by the glasses-type device 20 is a work designation screen.
In FIG. 7, the designation screen shows three options, option A, option B, and option C, as work options, and a selection field 32 for each option. The display control unit 112 displays an operation display 31 for designating an option to be selected on the display device 14 . When the operation display 31 displayed on the display device 14 is superimposed on the selection field 32 of any option displayed on the display device 24, that option is designated. In the example of FIG. 7, option B is specified.
When displaying the operation display 31, the display control unit 112 changes the size of the operation display 31 according to the display information specified in step S31. Here, the display control unit 112 changes the size of the operation display 31 according to at least one of the size of the option and the distance between other adjacent options. As shown in FIG. 8, the display control unit 112 reduces the size of the operation display 31 as the size of the option is smaller or as the distance between adjacent options is shorter. It is also possible to paraphrase that the distance between other adjacent options is short as that the density of options is high.
In FIG. 8, the designation screen shows six options and a selection field 32 for each option. Therefore, the size of options in FIG. 8 is smaller than in FIG. Therefore, the size of the operation display 31 is smaller in FIG. 8 than in FIG.
　＊＊＊実施の形態１の効果＊＊＊
　以上のように、実施の形態１に係る連携システム１００では、メガネ型デバイス２０の視野に操作表示３１を重ね合わせることにより、メガネ型デバイス２０の操作がされる。これにより、手袋を着用した状態等であっても、メガネ型デバイス２０を操作することが可能になる。 *** Effect of Embodiment 1 ***
As described above, in the cooperation system 100 according to Embodiment 1, the glasses-type device 20 is operated by superimposing the operation display 31 on the field of view of the glasses-type device 20 . This makes it possible to operate the glasses-type device 20 even when wearing gloves.
　特に、実施の形態１に係る連携システム１００では、操作装置１０が、メガネ型デバイス２０に表示される表示情報に応じて、操作装置１０に表示する操作表示３１を変更する。これにより、メガネ型デバイス２０が表示する表示情報に応じて、操作し易い操作表示３１を行うことが可能になる。その結果、工場等において、メガネ型デバイス２０の操作を容易に行えるようにすることができる。 In particular, in the cooperation system 100 according to Embodiment 1, the operation device 10 changes the operation display 31 displayed on the operation device 10 according to the display information displayed on the glasses-type device 20 . This makes it possible to provide an easy-to-operate operation display 31 according to the display information displayed by the glasses-type device 20 . As a result, the glasses-type device 20 can be easily operated in a factory or the like.
　図７及び図８を用いて説明した例であれば、表示情報に応じて、操作表示３１のサイズが変更される。選択肢間の距離が近いにも関わらず、操作表示３１が大きいと、操作装置１０の位置が少しずれただけで、意図した選択肢でない選択肢に操作表示３１が重なってしまう。その結果、意図した選択肢でない選択肢が指定され、操作のやり直しが必要になってしまう。しかし、実施の形態１に係る連携システム１００では、選択肢間の距離が近いほど、操作表示３１が小さくなる。そのため、意図した選択肢でない選択肢が指定される可能性が低くなる。 In the example described using FIGS. 7 and 8, the size of the operation display 31 is changed according to the display information. If the operation display 31 is large even though the distances between the options are close, the operation display 31 overlaps an option that is not the intended option even if the position of the operation device 10 is slightly shifted. As a result, an option that is not the intended option is specified, and it becomes necessary to redo the operation. However, in the cooperation system 100 according to the first embodiment, the closer the distance between the options, the smaller the operation display 31 becomes. Therefore, the possibility of specifying an option that is not the intended option is reduced.
　なお、操作表示３１を変更する際、メガネ型デバイス２０の使用者の操作は必要ない。したがって、メガネ型デバイス２０の使用者の作業を妨げることはない。 It should be noted that when changing the operation display 31, the user of the glasses-type device 20 does not need to operate. Therefore, the work of the user of the glasses-type device 20 is not hindered.
　＊＊＊他の構成＊＊＊ *** other configurations ***
　＜変形例１＞
　実施の形態１では、表示制御部１１２は、表示情報に応じて操作表示３１を変更した。表示制御部１１２は、表示画面毎に操作表示３１を示すテーブルを用意しておいてもよい。そして、表示特定部１１１によってどの表示画面が表示されているかが特定されると、表示制御部１１２は特定された表示画面に対応する操作表示３１を表示するようにしてもよい。 <Modification 1>
In Embodiment 1, the display control unit 112 changes the operation display 31 according to the display information. The display control unit 112 may prepare a table showing the operation display 31 for each display screen. Then, when the display specifying unit 111 specifies which display screen is displayed, the display control unit 112 may display the operation display 31 corresponding to the specified display screen.
　＜変形例２＞
　実施の形態１では、表示制御部１１２は、操作表示３１のサイズを変更した。しかし、表示制御部１１２は、操作表示３１の色又は形状を変更してもよい。
　例えば、表示制御部１１２は、表示情報の色に応じて、操作表示３１の色を変更してもよい。具体例としては、表示制御部１１２は、表示情報の色とは異なる色に、操作表示３１の色を変更する。これにより、操作表示３１を表示情報に重ねたときに、操作表示３１を識別し易くできる。
　また、例えば、表示制御部１１２は、表示情報の内容に応じて、操作表示３１の形状を変更してもよい。具体例としては、表示制御部１１２は、表示情報として選択肢が表示される場合には、図７及び図８のように操作表示３１としてチェックマークを表示する。また、表示制御部１１２は、表示情報としてボタンが表示される場合には、操作表示３１として指先のマークを表示する。これにより、操作内容が直感的に理解できるようになる。 <Modification 2>
In Embodiment 1, the display control unit 112 changes the size of the operation display 31 . However, the display control unit 112 may change the color or shape of the operation display 31 .
For example, the display control unit 112 may change the color of the operation display 31 according to the color of the display information. As a specific example, the display control unit 112 changes the color of the operation display 31 to a color different from the color of the display information. Thereby, when the operation display 31 is superimposed on the display information, the operation display 31 can be easily identified.
Further, for example, the display control unit 112 may change the shape of the operation display 31 according to the content of the display information. As a specific example, the display control unit 112 displays a check mark as the operation display 31 as shown in FIGS. 7 and 8 when options are displayed as the display information. Further, the display control unit 112 displays a fingertip mark as the operation display 31 when a button is displayed as the display information. This makes it possible to intuitively understand the operation contents.
　＜変形例３＞
　実施の形態１では、各機能構成要素がソフトウェアで実現された。しかし、変形例３として、各機能構成要素はハードウェアで実現されてもよい。この変形例３について、実施の形態１と異なる点を説明する。 <Modification 3>
In Embodiment 1, each functional component is realized by software. However, as a modification 3, each functional component may be realized by hardware. Regarding this modification 3, the points different from the first embodiment will be described.
　図９を参照して、変形例３に係る操作装置１０の構成を説明する。
　各機能構成要素がハードウェアで実現される場合には、操作装置１０は、プロセッサ１１とメモリ１２とに代えて、電子回路１６を備える。電子回路１６は、各機能構成要素と、メモリ１２との機能とを実現する専用の回路である。 The configuration of the operating device 10 according to Modification 3 will be described with reference to FIG. 9 .
When each functional component is realized by hardware, the operating device 10 has an electronic circuit 16 instead of the processor 11 and memory 12 . The electronic circuit 16 is a dedicated circuit that implements each functional component and functions with the memory 12 .
　図１０を参照して、変形例３に係るメガネ型デバイス２０の構成を説明する。
　各機能構成要素がハードウェアで実現される場合には、メガネ型デバイス２０は、プロセッサ２１とメモリ２２とに代えて、電子回路２６を備える。電子回路２６は、各機能構成要素と、メモリ２２との機能とを実現する専用の回路である。 A configuration of a glasses-type device 20 according to Modification 3 will be described with reference to FIG. 10 .
When each functional component is implemented by hardware, the glasses-type device 20 includes an electronic circuit 26 instead of the processor 21 and memory 22 . The electronic circuit 26 is a dedicated circuit that implements each functional component and functions with the memory 22 .
　電子回路１６，２６としては、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ロジックＩＣ、ＧＡ、ＡＳＩＣ、ＦＰＧＡが想定される。ＧＡは、Ｇａｔｅ　Ａｒｒａｙの略である。ＡＳＩＣは、Ａｐｐｌｉｃａｔｉｏｎ　Ｓｐｅｃｉｆｉｃ　Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔの略である。ＦＰＧＡは、Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙの略である。
　各機能構成要素を１つの電子回路１６，２６で実現してもよいし、各機能構成要素を複数の電子回路１６，２６に分散させて実現してもよい。 Electronic circuits 16 and 26 are contemplated as single circuits, composite circuits, programmed processors, parallel programmed processors, logic ICs, GAs, ASICs, FPGAs. GA is an abbreviation for Gate Array. ASIC is an abbreviation for Application Specific Integrated Circuit. FPGA is an abbreviation for Field-Programmable Gate Array.
Each functional component may be implemented by one electronic circuit 16, 26, or each functional component may be implemented by being distributed among a plurality of electronic circuits 16, 26. FIG.
　＜変形例４＞
　変形例４として、一部の各機能構成要素がハードウェアで実現され、他の各機能構成要素がソフトウェアで実現されてもよい。 <Modification 4>
As a modification 4, some functional components may be implemented by hardware, and other functional components may be implemented by software.
　プロセッサ１１とメモリ１２と電子回路１６とを処理回路という。つまり、各機能構成要素の機能は、処理回路により実現される。 The processor 11, memory 12 and electronic circuit 16 are called a processing circuit. That is, the function of each functional component is realized by the processing circuit.
　実施の形態２．
　実施の形態２は、メガネ型デバイス２０を通して見える操作表示３１の状態に応じて操作表示３１を変更する点が実施の形態１と異なる。実施の形態２では、この異なる点を説明し、同一の点については説明を省略する。 Embodiment 2.
Embodiment 2 differs from Embodiment 1 in that the operation display 31 is changed according to the state of the operation display 31 seen through the glasses-type device 20 . In the second embodiment, this different point will be explained, and the explanation of the same point will be omitted.
　＊＊＊構成の説明＊＊＊
　図１１を参照して、実施の形態２に係る操作装置１０の構成を説明する。
　操作装置１０は、機能構成要素として、画像取得部１１３を備える点が図２に示す操作装置１０と異なる。画像取得部１１３の機能は、他の機能と同様に、ソフトウェア又はハードウェアによって実現される。 *** Configuration description ***
The configuration of the operating device 10 according to the second embodiment will be described with reference to FIG. 11 .
The operating device 10 differs from the operating device 10 shown in FIG. 2 in that it includes an image acquisition unit 113 as a functional component. The functions of the image acquisition unit 113 are realized by software or hardware, like other functions.
　＊＊＊動作の説明＊＊＊
　図１２を参照して、実施の形態２に係る操作アプリケーションの動作を説明する。
　ステップＳ４１からステップＳ４３の処理は、図６のステップＳ３１からステップＳ３３の処理と同じである。 ***Description of operation***
The operation of the operation application according to the second embodiment will be described with reference to FIG.
The processing from step S41 to step S43 is the same as the processing from step S31 to step S33 in FIG.
　（ステップＳ４４：画像取得処理）
　画像取得部１１３は、メガネ型デバイス２０のカメラ２５によって操作表示３１が撮影された撮影画像を取得する。
　具体的には、メガネ型デバイス２０のカメラ２５によって、ステップＳ４３で操作表示３１が表示された操作装置１０が撮影される。画像取得部１１３は、カメラ２５によって撮影され得られた撮影画像をメガネ型デバイス２０から取得する。 (Step S44: Image Acquisition Processing)
The image acquisition unit 113 acquires a captured image of the operation display 31 captured by the camera 25 of the glasses-type device 20 .
Specifically, the camera 25 of the glasses-type device 20 captures an image of the operation device 10 on which the operation display 31 is displayed in step S43. The image acquisition unit 113 acquires the captured image captured by the camera 25 from the glasses-type device 20 .
　（ステップＳ４５：画像抽出処理）
　画像取得部１１３は、ステップＳ４４で取得された撮影画像から、操作装置１０が映った部分の部分画像を抽出する。
　具体的には、画像取得部１１３は、メガネ型デバイス２０の使用者の目の位置に近い位置にカメラ２５があるか否かを判定する。目の位置に近い位置にカメラ２５がある場合には、撮影画像における操作表示３１は、メガネ型デバイス２０を通して見える操作表示３１を表している。そのため、画像取得部１１３は、撮影画像から、操作装置１０が映った部分の部分画像を抽出する。一方、目の位置に近い位置にカメラ２５がない場合には、撮影画像における操作表示３１は、メガネ型デバイス２０を通して見える操作表示３１を表していない。そのため、画像取得部１１３は、目の位置から撮影した画像に撮影画像を補正する。そして、画像取得部１１３は、補正された撮影画像から、操作装置１０が映った部分の部分画像を抽出する。 (Step S45: image extraction processing)
The image acquisition unit 113 extracts a partial image of a portion in which the controller device 10 is shown from the captured image acquired in step S44.
Specifically, the image acquisition unit 113 determines whether or not the camera 25 is positioned close to the eyes of the user of the glasses-type device 20 . When the camera 25 is positioned close to the eyes, the operation display 31 in the captured image represents the operation display 31 that can be seen through the glasses-type device 20 . Therefore, the image acquisition unit 113 extracts a partial image of a portion in which the operation device 10 is shown from the captured image. On the other hand, if the camera 25 is not located near the eyes, the operation display 31 in the captured image does not represent the operation display 31 that can be seen through the glasses-type device 20 . Therefore, the image acquisition unit 113 corrects the captured image to an image captured from the eye position. Then, the image acquisition unit 113 extracts a partial image of the portion where the controller device 10 is shown from the corrected captured image.
　（ステップＳ４６：第２表示制御処理）
　表示制御部１１２は、ステップＳ４５で抽出された部分画像における操作表示３１の状態に応じて、操作表示３１を変更する。
　具体的には、表示制御部１１２は、部分画像における操作表示３１のサイズに応じて、操作表示３１のサイズを変更する。ここでは、表示制御部１１２は、部分画像における操作表示３１が小さいほど、操作表示３１を大きくする。 (Step S46: second display control process)
The display control unit 112 changes the operation display 31 according to the state of the operation display 31 in the partial image extracted in step S45.
Specifically, the display control unit 112 changes the size of the operation display 31 according to the size of the operation display 31 in the partial image. Here, the display control unit 112 makes the operation display 31 larger as the operation display 31 in the partial image becomes smaller.
　＊＊＊実施の形態２の効果＊＊＊
　以上のように、実施の形態２に係る連携システム１００では、操作装置１０が、メガネ型デバイス２０を通して見える操作表示３１の状態に応じて操作表示３１を変更する。これにより、メガネ型デバイス２０が表示する表示情報に応じて、操作し易い操作表示３１を行うことが可能になる。その結果、工場等において、メガネ型デバイス２０の操作を容易に行えるようにすることができる。 *** Effect of Embodiment 2 ***
As described above, in the cooperation system 100 according to the second embodiment, the operation device 10 changes the operation display 31 according to the state of the operation display 31 that can be seen through the glasses-type device 20 . Accordingly, it is possible to perform an easy-to-operate operation display 31 according to the display information displayed by the glasses-type device 20 . As a result, the glasses-type device 20 can be easily operated in a factory or the like.
　操作装置１０とメガネ型デバイス２０との間の距離によって、部分画像における操作表示３１のサイズは変化する。そのため、想定されているよりも操作装置１０がメガネ型デバイス２０から離れた位置になる場合には、操作表示３１のサイズが想定されていたよりも小さくなってしまう。すると、操作表示３１による操作がし辛くなってしまう。
　しかし、実施の形態２に係る連携システム１００では、操作装置１０とメガネ型デバイス２０との間の距離が変化しても、適切なサイズで操作表示３１が表示される。そのため、操作表示３１による操作がし辛くなることがない。 The size of the operation display 31 in the partial image changes depending on the distance between the operation device 10 and the glasses-type device 20 . Therefore, when the operation device 10 is positioned farther from the glasses-type device 20 than expected, the size of the operation display 31 becomes smaller than expected. Then, it becomes difficult to operate using the operation display 31 .
However, in the cooperation system 100 according to the second embodiment, even if the distance between the operation device 10 and the glasses-type device 20 changes, the operation display 31 is displayed in an appropriate size. Therefore, the operation using the operation display 31 is not difficult.
　＊＊＊他の構成＊＊＊
　＜変形例５＞
　変形例２と同様に、図１２のステップＳ４６でも、表示制御部１１２は、操作表示３１について、サイズに限らず、色又は形状を変更してもよい。 ***Other Configurations***
<Modification 5>
As in Modified Example 2, in step S46 of FIG. 12, the display control unit 112 may change the color or shape of the operation display 31, not limited to its size.
　＜変形例６＞
　実施の形態２では、実施の形態１で説明した操作表示３１の変更が行われることを前提としていた。しかし、実施の形態１で説明した操作表示３１の変更が行われる必要はない。つまり、表示情報に応じて操作表示３１は変更されなくてもよい。
　この場合には、図１２のステップＳ４１からステップＳ４３の処理は行われず、初めに、決められた状態の操作表示３１が表示装置１４に表示される。そして、図１２のステップＳ４４で画像取得部１１３は、決められたサイズの操作表示３１が撮影された撮影画像を取得する。図１２のステップＳ４５で画像取得部１１３は、撮影画像から、操作装置１０が映った部分の部分画像を抽出する。図１２のステップＳ４６で表示制御部１１２は、部分画像における操作表示３１の状態に応じて操作表示３１を変更する。 <Modification 6>
The second embodiment assumes that the operation display 31 described in the first embodiment is changed. However, it is not necessary to change the operation display 31 described in the first embodiment. That is, the operation display 31 does not have to be changed according to the display information.
In this case, the processing from step S41 to step S43 in FIG. 12 is not performed, and the operation display 31 in the determined state is displayed on the display device 14 first. Then, in step S44 of FIG. 12, the image acquisition unit 113 acquires a photographed image of the operation display 31 having the determined size. In step S45 of FIG. 12, the image acquisition unit 113 extracts a partial image of the portion where the operation device 10 is shown from the captured image. In step S46 of FIG. 12, the display control unit 112 changes the operation display 31 according to the state of the operation display 31 in the partial image.
　実施の形態３．
　実施の形態３は、操作装置１０と連携するための設定情報を二次元コードによりメガネ型デバイス２０に読み込ませる点が実施の形態１，２と異なる。実施の形態３では、この異なる点を説明し、同一の点については説明を省略する。
　実施の形態３では、実施の形態１に機能を追加した場合について説明する。しかし、実施の形態２に機能を追加することも可能である。 Embodiment 3.
Embodiment 3 differs from Embodiments 1 and 2 in that setting information for cooperating with operation device 10 is read into spectacles-type device 20 using a two-dimensional code. In the third embodiment, this different point will be explained, and the explanation of the same point will be omitted.
Embodiment 3 describes a case in which a function is added to Embodiment 1. FIG. However, it is also possible to add functions to the second embodiment.
　＊＊＊構成の説明＊＊＊
　図１３を参照して、実施の形態３に係る操作装置１０の構成を説明する。
　操作装置１０は、機能構成要素として、コード表示部１１４を備える点が図２に示す操作装置１０と異なる。コード表示部１１４の機能は、他の機能と同様に、ソフトウェア又はハードウェアによって実現される。 *** Configuration description ***
The configuration of the operating device 10 according to the third embodiment will be described with reference to FIG. 13 .
The operating device 10 differs from the operating device 10 shown in FIG. 2 in that it includes a code display section 114 as a functional component. The functions of the code display unit 114 are realized by software or hardware, like other functions.
　＊＊＊動作の説明＊＊＊
　図４を参照して説明したメガネ型デバイス２０の動作と、図５を参照して説明した操作装置１０の動作との前に、以下の処理が行われる。
　図１４に示すように、コード表示部１１４は、操作装置１０と連携するための設定情報を示す二次元コード３３を表示装置１４に表示する。メガネ型デバイス２０は、カメラ２５により、二次元コード３３を読み込む。メガネ型デバイス２０は、二次元コード３３が示す設定情報をメガネアプリケーションに設定して、メガネアプリケーションをセットアップする。設定情報としては、例えば、通信のルール等が含まれる。 ***Description of operation***
Before the operation of the glasses-type device 20 described with reference to FIG. 4 and the operation of the operation device 10 described with reference to FIG. 5, the following processing is performed.
As shown in FIG. 14 , the code display unit 114 displays the two-dimensional code 33 indicating setting information for cooperating with the operation device 10 on the display device 14 . The glasses-type device 20 reads the two-dimensional code 33 with the camera 25 . The glasses-type device 20 sets the setting information indicated by the two-dimensional code 33 in the glasses application to set up the glasses application. The setting information includes, for example, communication rules and the like.
　＊＊＊実施の形態３の効果＊＊＊
　以上のように、実施の形態３に係る連携システム１００では、操作装置１０が設定情報を示す二次元コード３３を表示する。これにより、メガネ型デバイス２０は、容易に設定情報を取得することが可能である。そのため、初期設定を容易に行うことができる。 *** Effect of Embodiment 3 ***
As described above, in the cooperation system 100 according to the third embodiment, the operation device 10 displays the two-dimensional code 33 indicating setting information. Thereby, the glasses-type device 20 can easily acquire the setting information. Therefore, initial setting can be easily performed.
　なお、以上の説明における「部」を、「回路」、「工程」、「手順」、「処理」又は「処理回路」に読み替えてもよい。 "Unit" in the above description may be read as "circuit", "process", "procedure", "processing", or "processing circuit".
　以上、本開示の実施の形態及び変形例について説明した。これらの実施の形態及び変形例のうち、いくつかを組み合わせて実施してもよい。また、いずれか１つ又はいくつかを部分的に実施してもよい。なお、本開示は、以上の実施の形態及び変形例に限定されるものではなく、必要に応じて種々の変更が可能である。 The embodiments and modifications of the present disclosure have been described above. Some of these embodiments and modifications may be combined and implemented. Also, any one or some may be partially implemented. It should be noted that the present disclosure is not limited to the above embodiments and modifications, and various modifications are possible as necessary.
　１００　連携システム、１０　操作装置、１１　プロセッサ、１２　メモリ、１３　通信インタフェース、１４　表示装置、１５　カメラ、１６　電子回路、１１１　表示特定部、１１２　表示制御部、１１３　画像取得部、１１４　コード表示部、２０　メガネ型デバイス、２１　プロセッサ、２２　メモリ、２３　通信インタフェース、２４　表示装置、２５　カメラ、２６　電子回路、２１１　情報表示部、２１２　動作制御部、３１　操作表示、３２　選択欄、３３　二次元コード、９０　伝送路。 100 linking system, 10 operating device, 11 processor, 12 memory, 13 communication interface, 14 display device, 15 camera, 16 electronic circuit, 111 display specifying unit, 112 display control unit, 113 image acquisition unit, 114 code display unit, 20 Glasses type device, 21 processor, 22 memory, 23 communication interface, 24 display device, 25 camera, 26 electronic circuit, 211 information display unit, 212 operation control unit, 31 operation display, 32 selection field, 33 two-dimensional code, 90 transmission road.

Claims (8)

  1. 　メガネ型デバイスを操作するための操作装置であり、
    　前記メガネ型デバイスが表示する表示情報を特定する表示特定部と、
    　前記表示特定部によって特定された前記表示情報に応じて、前記メガネ型デバイスを操作するための表示である操作表示を変更して表示する表示制御部と
    を備える操作装置。     An operating device for operating a glasses-type device,
    a display specifying unit that specifies display information to be displayed by the glasses-type device;
    and a display control unit that changes and displays an operation display, which is a display for operating the glasses-type device, according to the display information specified by the display specifying unit.
  2. 　前記メガネ型デバイスは、前記表示情報に前記操作表示が重ねられることで、操作される
    請求項１に記載の操作装置。     The operation device according to claim 1, wherein the glasses-type device is operated by superimposing the operation display on the display information.
  3. 　前記表示制御部は、前記表示情報に応じて、前記操作表示のサイズを変更する
    請求項１又は２に記載の操作装置。     The operating device according to claim 1 or 2, wherein the display control unit changes the size of the operation display according to the display information.
  4. 　前記表示情報には、選択肢が含まれ、
    　前記表示制御部は、前記選択肢の選択欄の大きさと隣接する他の選択肢との間の距離との少なくともいずれかに応じて、前記操作表示のサイズを変更する
    請求項３に記載の操作装置。     The display information includes options,
    4. The operating device according to claim 3, wherein the display control unit changes the size of the operation display according to at least one of the size of the selection column of the option and the distance between other adjacent options.
  5. 　前記メガネ型デバイスは、カメラを備えており、
    　前記操作装置は、さらに、
    　前記カメラによって前記操作表示が撮影された撮影画像を取得する画像取得部
    を備え、
    　前記表示制御部は、前記画像取得部によって取得された前記撮影画像における前記操作表示の状態に応じて、前記操作表示を変更する
    請求項１から４までのいずれか１項に記載の操作装置。     The glasses-type device includes a camera,
    The operating device further comprises:
    an image acquisition unit that acquires a captured image of the operation display captured by the camera;
    The operation device according to any one of claims 1 to 4, wherein the display control section changes the operation display according to the state of the operation display in the captured image acquired by the image acquisition section.
  6. 　前記操作装置は、さらに、
    　前記メガネ型デバイスと連携するための設定情報を前記メガネ型デバイスに取得させるための二次元コードを表示するコード表示部
    を備える請求項１から５までのいずれか１項に記載の操作装置。     The operating device further comprises:
    The operating device according to any one of claims 1 to 5, further comprising a code display unit that displays a two-dimensional code for causing the spectacles-type device to acquire setting information for cooperating with the spectacles-type device.
  7. 　メガネ型デバイスを操作するための操作方法であり、
    　コンピュータが、前記メガネ型デバイスが表示する表示情報を特定し、
    　コンピュータが、前記表示情報に応じて、前記メガネ型デバイスを操作するための表示である操作表示を変更して表示する操作方法。     An operation method for operating a glasses-type device,
    a computer identifying display information to be displayed by the glasses-type device;
    An operation method in which a computer changes and displays an operation display, which is a display for operating the glasses-type device, according to the display information.
  8. 　メガネ型デバイスを操作するための操作プログラムであり、
    　前記メガネ型デバイスが表示する表示情報を特定する表示特定処理と、
    　前記表示特定処理によって特定された前記表示情報に応じて、前記メガネ型デバイスを操作するための表示である操作表示を変更して表示する表示制御処理と
    を行う操作装置としてコンピュータを機能させる操作プログラム。     An operation program for operating a glasses-type device,
    a display identification process for identifying display information to be displayed by the glasses-type device;
    An operation program for causing a computer to function as an operation device for performing a display control process for changing and displaying an operation display, which is a display for operating the glasses-type device, according to the display information specified by the display specifying process. .
PCT/JP2021/042393 2021-11-18 2021-11-18 Operation device, operation method, and operation program WO2023089728A1 (en)

Priority Applications (3)

Application Number Priority Date Filing Date Title
PCT/JP2021/042393 WO2023089728A1 (en) 2021-11-18 2021-11-18 Operation device, operation method, and operation program
JP2023547593A JP7357832B1 (en) 2021-11-18 2021-11-18 Operating device, operating method and operating program
TW111117118A TW202321930A (en) 2021-11-18 2022-05-06 Operation device, operation method, and operation program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2021/042393 WO2023089728A1 (en) 2021-11-18 2021-11-18 Operation device, operation method, and operation program

Publications (1)

Publication Number Publication Date
WO2023089728A1 true WO2023089728A1 (en) 2023-05-25

Family

ID=86396426

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/042393 WO2023089728A1 (en) 2021-11-18 2021-11-18 Operation device, operation method, and operation program

Country Status (3)

Country Link
JP (1) JP7357832B1 (en)
TW (1) TW202321930A (en)
WO (1) WO2023089728A1 (en)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0357011A (en) * 1989-07-25 1991-03-12 Brother Ind Ltd Pointing device
JPH07194536A (en) * 1993-12-30 1995-08-01 Topcon Corp Optometric device
JP2016099702A (en) * 2014-11-19 2016-05-30 キヤノン株式会社 Authentication management method by means of device cooperation, information processing apparatus, wearable device, and computer program
WO2020031490A1 (en) * 2018-08-08 2020-02-13 株式会社Ｎｔｔドコモ Terminal device and method for controlling terminal device
JP2021105783A (en) * 2019-12-26 2021-07-26 セイコーエプソン株式会社 Display system, display method, and program

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0357011A (en) * 1989-07-25 1991-03-12 Brother Ind Ltd Pointing device
JPH07194536A (en) * 1993-12-30 1995-08-01 Topcon Corp Optometric device
JP2016099702A (en) * 2014-11-19 2016-05-30 キヤノン株式会社 Authentication management method by means of device cooperation, information processing apparatus, wearable device, and computer program
WO2020031490A1 (en) * 2018-08-08 2020-02-13 株式会社Ｎｔｔドコモ Terminal device and method for controlling terminal device
JP2021105783A (en) * 2019-12-26 2021-07-26 セイコーエプソン株式会社 Display system, display method, and program

Also Published As

Publication number Publication date
TW202321930A (en) 2023-06-01
JP7357832B1 (en) 2023-10-06
JPWO2023089728A1 (en) 2023-05-25

Similar Documents

Publication Publication Date Title
KR20200101209A (en) Method for determining watch face image and electronic device thereof
JP5630141B2 (en) Image display system, computer program for portable information processing apparatus included in image display system, head mounted display included in image display system, and image display method
JP6801263B2 (en) Display control program, display control method and display control device
US9298970B2 (en) Method and apparatus for facilitating interaction with an object viewable via a display
CN103197825B (en) Image processing apparatus and display control method
US20150199167A1 (en) Display system, display terminal, display method and computer readable recording medium having program thereof
US20190339922A1 (en) Information processing apparatus, information processing method, and information processing system
US11474692B2 (en) Electronic device including display on which execution screen for multiple applications is displayed, and method for operation of electronic device
US20170322680A1 (en) Method and apparatus for setting background of ui control, and terminal
JP2019016316A (en) Display system and display control method for display system
CN112348929A (en) Rendering method and device of frame animation, computer equipment and storage medium
KR102354016B1 (en) Method for changing the size of contents displayed on display and electronic device thereof
US20210089173A1 (en) Electronic device and method for changing user interface according to user input
CN110941375A (en) Method and device for locally amplifying image and storage medium
CN114494073A (en) Image processing method, device, equipment and storage medium
WO2023089728A1 (en) Operation device, operation method, and operation program
WO2019176009A1 (en) Personal digital assistant
EP3813026A1 (en) Method and electronic device for displaying content
JP6155893B2 (en) Image processing apparatus and program
CN110941389A (en) Method and device for triggering AR information points by focus
JP6404526B2 (en) Captured image sharing system, captured image sharing method, and program
CN114503070A (en) Cooperative display system and head mounted display
JP2014160968A (en) Portable information terminal
CN116684516B (en) Wallpaper setting method and electronic equipment
JP6369604B2 (en) Image processing apparatus, image processing method, and program

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21964743

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2023547593

Country of ref document: JP