WO2017138143A1 - 端末装置、画面解像度調整方法、表示制御方法、画面解像度調整プログラム、及び表示制御プログラム - Google Patents

端末装置、画面解像度調整方法、表示制御方法、画面解像度調整プログラム、及び表示制御プログラム Download PDF

Info

Publication number
WO2017138143A1
WO2017138143A1 PCT/JP2016/054127 JP2016054127W WO2017138143A1 WO 2017138143 A1 WO2017138143 A1 WO 2017138143A1 JP 2016054127 W JP2016054127 W JP 2016054127W WO 2017138143 A1 WO2017138143 A1 WO 2017138143A1
Authority
WO
WIPO (PCT)
Prior art keywords
screen
resolution
unit
display
terminal device
Prior art date
Application number
PCT/JP2016/054127
Other languages
English (en)
French (fr)
Inventor
村上伊織
Original Assignee
富士通株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士通株式会社 filed Critical 富士通株式会社
Priority to PCT/JP2016/054127 priority Critical patent/WO2017138143A1/ja
Priority to JP2017566487A priority patent/JP6724931B2/ja
Publication of WO2017138143A1 publication Critical patent/WO2017138143A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/39—Control of the bit-mapped memory
    • G09G5/391—Resolution modifying circuits, e.g. variable screen formats

Definitions

  • This case relates to a terminal device, a screen resolution adjustment method, a display control method, a screen resolution adjustment program, and a display control program.
  • a head mounted display with a built-in video camera that is attached to the head of a human body is known (see, for example, Patent Document 1). It is also known that a smartphone acquires a captured image transmitted by wireless communication from a head mounted display (see, for example, Patent Document 2). Furthermore, a mirroring technique is also known in which a display screen of a transmission-side device is transmitted to a reception-side device by wireless communication, and the screen is shared (for example, see Patent Document 3).
  • the head-mounted display when sharing the display screen of the head-mounted display with the smartphone, if the head-mounted display lowers the screen resolution of the display screen and sends it to the smartphone to ensure the specified frame rate, the image quality of the screen displayed on the smartphone Is lower than the head-mounted display. As a result, for example, characters on the screen may be faded and readability may deteriorate, and operability may deteriorate.
  • an object is to provide a terminal device, a screen resolution adjustment method, a display control method, a screen resolution adjustment program, and a display control program that can adjust the screen resolution of a screen to be shared according to the use situation. .
  • the terminal device disclosed in the present specification includes a sharing unit that shares a screen displayed at a first screen resolution on a head-mounted display at a second screen resolution lower than the first screen resolution, and the sharing unit shares A display unit that displays the screen, and a setting unit that sets, in the head-mounted display, first resolution information for the sharing unit to share at the first screen resolution when a specific usage situation is detected.
  • the terminal device disclosed in this specification corresponds to image information displayed at a first resolution on a head-mounted display, and is transmitted from the head-mounted display at a second resolution lower than the first resolution.
  • An acquisition unit for acquiring the image information, a display unit for displaying the image information acquired by the acquisition unit, a reception unit for receiving one or more operations for updating the display of the display unit, and the one received by the reception unit includes a notification unit that notifies the head-mounted display of an instruction to increase the second resolution when a plurality of operations satisfy a criterion.
  • a screen displayed at a first screen resolution on a head-mounted display is shared at a second screen resolution lower than the first screen resolution, and the shared screen is displayed. Then, when a specific usage situation is detected, a screen resolution adjustment method in which a computer executes processing for setting first resolution information for sharing at the first screen resolution in the head mounted display.
  • the display control method disclosed in the present specification is an image transmitted from the head mounted display at a second resolution lower than the first resolution, corresponding to image information displayed at the first resolution on the head mounted display.
  • Information is acquired, the acquired image information is displayed on a display unit, one or more operations for updating the display of the display unit are received, and the received one or more operations satisfy a criterion, the first
  • the display control method is characterized in that the computer executes a process of notifying the head mounted display of an instruction to increase the resolution of No. 2.
  • the screen resolution adjustment program disclosed in the present specification shares a screen displayed at a first screen resolution on a head mounted display at a second screen resolution lower than the first screen resolution, and displays the shared screen. And a screen resolution adjustment program for setting the resolution information for sharing at the first screen resolution in the head-mounted display when the specific usage situation is detected, and causing the computer to execute processing.
  • the display control program disclosed in this specification corresponds to image information displayed at a first resolution on a head mounted display, and is an image transmitted from the head mounted display at a second resolution lower than the first resolution.
  • Information is acquired, the acquired image information is displayed on a display unit, one or more operations for updating the display of the display unit are received, and the received one or more operations satisfy a criterion, the first
  • the screen resolution adjustment method, the display control method, the screen resolution adjustment program, and the display control program disclosed in this specification the screen resolution of the screen to be shared can be adjusted according to the use situation.
  • FIG. 1 is a diagram illustrating an example of a screen resolution adjustment system.
  • FIG. 2 is an example of a hardware configuration of the terminal device.
  • FIG. 3 is an example of a block diagram of the terminal device.
  • FIG. 4 is a flowchart illustrating an example of processing executed by the terminal device according to the first embodiment.
  • FIG. 5 is a flowchart illustrating an example of processing executed by the HMD according to the first embodiment.
  • FIG. 6 is a diagram for explaining an example of screen sharing according to the first embodiment.
  • FIG. 7 is a flowchart illustrating an example of processing executed by the terminal device according to the second embodiment.
  • FIG. 8 is a diagram for explaining an example of screen sharing according to the second embodiment.
  • FIG. 9 is a diagram for explaining another example of screen sharing according to the second embodiment.
  • FIG. 1 is a diagram illustrating an example of a screen resolution adjustment system.
  • FIG. 2 is an example of a hardware configuration of the terminal device.
  • FIG. 3 is an example of
  • FIG. 10 is a flowchart illustrating an example of processing executed by the terminal device according to the third embodiment.
  • FIG. 11 is a diagram for explaining an example of screen sharing according to the third embodiment.
  • FIG. 12 is a diagram for explaining another example of screen sharing according to the third embodiment.
  • FIG. 1 is a diagram illustrating an example of a screen resolution adjustment system S.
  • the screen resolution adjustment system S includes a terminal device 100 and a head mounted display (hereinafter referred to as HMD) 200.
  • HMD head mounted display
  • the terminal device 100 is directly connected to the HMD 200 by wireless communication without going through the access point AP.
  • Wireless communication includes standards such as Wi-Fi Direct (registered trademark) and Bluetooth (registered trademark).
  • Wi-Fi Direct registered trademark
  • Bluetooth registered trademark
  • the terminal device 100 displays various screens as image information on the display unit 110 and transmits various requests and instructions to the HMD 200.
  • the smart phone is shown as an example of the terminal device 100 in FIG. 1, if it is portable information terminals, such as a tablet terminal, for example, it will not specifically limit to a smart phone.
  • the HMD 200 includes a display unit 210, an imaging unit (for example, a video camera) 220, and a control unit 230.
  • the display method of the display unit 210 may be any of a video transmission type, an optical transmission type, and a non-transmission type.
  • the control unit 230 controls operations of the display unit 210 and the imaging unit 220, and executes wireless communication.
  • the control unit 230 displays the video imaged by the imaging unit 220 on the display unit 210.
  • a power button (not shown) of the HMD 200 is pressed, the control unit 230 displays a home screen on the display unit 210 after a predetermined activation time has elapsed.
  • the home screen is a screen that is displayed first after activation, for example.
  • An example of the home screen is a standby screen.
  • the HMD 200 receives an instruction or a request transmitted from the terminal device 100, and transmits a screen to the terminal device 100 or executes various processes.
  • the HMD 200 described above has basically the same hardware configuration as that of the terminal device 100, and thus description thereof is omitted.
  • FIG. 2 is an example of a hardware configuration of the terminal device 100.
  • the terminal device 100 includes a central processing unit (CPU) 100A, a random access memory (RAM) 100B, a read only memory (ROM) 100C, an electrically erasable programmable read only memory (EEPROM) 100D, and a communication circuit 100E. Is included.
  • An antenna 100E ′ is connected to the communication circuit 100E.
  • a CPU that realizes a communication function may be used.
  • the terminal device 100 includes a speaker 100F, a camera 100G, a touch panel 100H as a display unit 110, a display 100I, and a microphone 100J.
  • the camera 100G includes an imaging device using, for example, Complementary Metal Metal Oxide Semiconductor (CMOS) or Charge Coupled Device (CCD) and an optical system such as a lens.
  • CMOS Complementary Metal Metal Oxide Semiconductor
  • CCD Charge Coupled Device
  • the CPU 100A,..., The microphone 100J are connected to each other by an internal bus 100K. At least the CPU 100A and the RAM 100B cooperate to realize a computer.
  • the program stored in the ROM 100C or the EEPROM 100D is stored by the CPU 100A.
  • the stored program is executed by the CPU 100A, various functions described later are realized, and various processes are executed.
  • what is necessary is just to make a program according to the flowchart mentioned later.
  • FIG. 3 is an example of a block diagram of the terminal device 100.
  • the terminal device 100 includes a sharing unit 101 as an acquisition unit, and a setting unit 102 as a reception unit and a notification unit. Since the display unit 110 is hardware, it is indicated by a broken line.
  • the sharing unit 101 shares a screen displayed as image information at the first screen resolution on the HMD 200 with a second screen resolution lower than the first screen resolution. More specifically, when the user of the terminal device 100 operates the display unit 110 to request the HMD 200 to share the screen displayed on the display unit 210 of the HMD 200, the sharing unit 101 uses a mirroring technique such as miracast (registered trademark). To get and share the screen. As a result, the display unit 110 displays the shared screen. That is, basically the same screen as that displayed on the display unit 210 of the HMD 200 is displayed on the display unit 110 of the terminal device 100 except for the image quality.
  • miracast registered trademark
  • the sharing unit 101 transmits the operation content to the HMD 200.
  • the control unit 230 of the HMD 200 starts a setting application program (hereinafter referred to as a setting application) and displays a setting screen based on the setting application on the display unit 110.
  • a setting application a setting application program
  • the sharing unit 101 executes various processes described later.
  • the setting unit 102 sets the first resolution information for the sharing unit 101 to share at the first screen resolution in the HMD 200 when a specific usage situation is detected.
  • a specific use situation for example, when the elapse of a predetermined time (for example, several seconds) from the most recent operation on the screen displayed on the display unit 110 is detected, or after the first resolution information is set, the display unit 110 displays the specific use situation. In some cases, one or a plurality of operations on the screen is detected. Other examples of specific usage situations will be described in the second and third embodiments to be described later.
  • the sharing unit 101 shares the screen displayed on the HMD 200 with the first screen resolution.
  • FIG. 4 is a flowchart showing an example of processing executed by the terminal device 100 according to the first embodiment.
  • FIG. 5 is a flowchart showing an example of processing executed by the HMD 200 according to the first embodiment.
  • FIG. 6 is a diagram for explaining an example of screen sharing according to the first embodiment.
  • the display unit 210 of the HMD 200 has a first screen resolution (see FIG. 6) after a predetermined activation time has elapsed. For example, a home screen) is displayed (step S201), and the control unit 230 waits until a screen sharing is requested (step S202: NO).
  • the sharing unit 101 of the terminal device 100 requests sharing of the screen displayed on the HMD 200 (more specifically, the display unit 210) (steps). S101). More specifically, when a user gives a predetermined instruction (for example, a tap operation) to the display unit 110 of the terminal device, the sharing unit 101 requests screen sharing.
  • a predetermined instruction for example, a tap operation
  • step S202 When the sharing unit 101 requests screen sharing in the process of step S101, as shown in FIG. 5, the control unit 230 determines that screen sharing is requested (step S202: YES), and sets the second screen resolution. The screen is reduced (step S203). When the process of step S203 is completed, the control unit 230 transmits a screen to the terminal device 100 (step S204). For example, a compression process or a thinning process is used for reducing the screen.
  • the sharing unit 101 receives the screen and shares the screen (step S102), and the display unit 110 displays the shared screen (step S103). .
  • the sharing unit 101 sets the terminal device 100 in a state in which the HMD 200 can be remotely operated (for example, remote operation or remote operation).
  • the screen displayed on the display unit 210 of the HMD 200 is displayed on the display unit 110 of the terminal device 100, and the user can use his / her finger FG to display the screen displayed on the display unit 110.
  • the HMD 200 can be operated by performing a predetermined operation.
  • a plurality of operable images IM1 to IM5 are included as operation buttons in the screen named the home screen.
  • the display unit 110 displays a setting screen for performing communication settings.
  • the setting unit 102 determines whether an operation on the screen is detected (step S104). For example, when the image IM4 is operated as shown in FIG. 6, the setting unit 102 detects an operation on the screen (step S104: YES) and holds the operation time (step S105). After holding the operation time, the setting unit 102 sets second resolution information in the HMD 200 (step S106). More specifically, the setting unit 102 transmits or notifies the second resolution information to the HMD 200 (hereinafter simply referred to as transmission). Note that the setting unit 102 confirms the setting status of the HMD 200, and when the second resolution information is set in the HMD 200, the processing of step S106 may be skipped, or the second resolution information is set again. May be.
  • the control unit 230 determines that the resolution information has been set from the terminal device 100 (step S205: YES), the resolution information is set (step S206). More specifically, the control unit 230 receives the resolution information transmitted from the setting unit 102 and sets the resolution information to itself. As described above, when receiving the second resolution information transmitted from the setting unit 102, the control unit 230 sets the second resolution information to itself. On the other hand, when receiving the first resolution information transmitted from the setting unit 102, the control unit 230 sets the first resolution information to itself. After setting the resolution information, the control unit 230 returns to the process of step S204. Therefore, the control unit 230 transmits a screen to the terminal device 100 according to the resolution information set by the setting unit 102.
  • the sharing unit 101 determines whether or not the sharing end is requested (step S107). For example, when the user operates the display unit 110 to input a request to end screen sharing, the display unit 110 outputs the request to the sharing unit 101.
  • the sharing unit 101 receives the request, the sharing unit 101 transmits the received request to the HMD 200, determines that the sharing end is requested (step S107: YES), and ends the process.
  • the sharing unit 101 may transmit the received request to the HMD 200 after determining that the sharing end is requested.
  • step S205 when the resolution is not set by the control unit 230 from the terminal device 100 (step S205: NO), and the end of sharing is requested (step S207: YES), the process ends. .
  • step S207: NO when the end of sharing is not requested (step S207: NO), the control unit 230 returns to the process of step S204. Therefore, the control unit 230 transmits a screen reduced to the second screen resolution to the terminal device 100.
  • step S107 YES
  • step S104 NO
  • the setting unit 102 has passed a predetermined time. Whether or not (step S108). More specifically, the setting unit 102 determines whether a predetermined time has elapsed from the stored operation time. That is, the setting unit 102 determines whether a predetermined time has elapsed since the most recent operation. The set time may be used instead of the operation time. If the sharing unit 101 does not detect any operation on the screen after the process of step S103 is completed, the display time of the screen is replaced with the operation time. May be used.
  • step S109 the setting unit 102 sets the first resolution information in the HMD 200 (step S109). More specifically, the setting unit 102 transmits the first resolution information to the HMD 200. Therefore, as described above, in the HMD 200, the control unit 230 receives the first resolution information transmitted from the setting unit 102 and sets the first resolution information to itself. After setting the first resolution information, the control unit 230 returns to the process of step S204. Therefore, the control unit 230 transmits a screen to the terminal device 100 according to the first resolution information set by the setting unit 102.
  • step S108 NO
  • the sharing unit 101 executes the process of step S107. If the end of sharing is not requested in the process of step S107, the process returns to step S104. If the end of sharing is requested, the process ends.
  • the terminal device 100 includes the sharing unit 101 that shares the screen displayed on the HMD 200 at the first screen resolution at the second screen resolution lower than the first screen resolution. I have.
  • the terminal device 100 and the display unit 110 that displays the screen shared by the sharing unit 101 and the first resolution information for the sharing unit 101 to share at the first screen resolution when a specific usage situation is detected. Is set in the HMD 200. Thereby, the screen resolution of the screen to share can be adjusted according to a use condition.
  • a screen having the same resolution as the screen displayed on the display unit 210 of the HMD 200 is transmitted to the terminal device 100.
  • the image quality of the screen displayed on each of the HMD 200 and the terminal device 100 is the same. This is because the operation on the display unit 110 does not exist for a predetermined time, so that it is not necessary to transmit the operation content to the HMD 200, and even if the control unit 230 transmits a screen having the same resolution as the screen displayed on the display unit 210 to the terminal device 100. This is because the possibility of not affecting the frame rate is high.
  • FIG. 7 is a flowchart illustrating an example of processing executed by the terminal device 100 according to the second embodiment.
  • FIG. 8 is a diagram for explaining an example of screen sharing according to the second embodiment.
  • FIG. 9 is a diagram for explaining another example of screen sharing according to the second embodiment. Note that the processing executed by the HMD 200 is basically the same as the processing described in the first embodiment, and a description thereof will be omitted.
  • the sharing unit 101 of the terminal device 100 requests sharing of the screen displayed on the HMD 200 as shown in FIG. S301).
  • the sharing unit 101 receives the screen and shares the screen (step S302), and the display unit 110 displays the shared screen (step S303).
  • step S304 determines whether an operation on the specific screen is detected.
  • step S304: NO the setting unit 102 further determines whether the specific operation is detected (step S305).
  • step S305: NO the process of step S306, which will be described later, is skipped, and the sharing unit 101 determines whether sharing is requested or not (step S307).
  • step S307 when the sharing unit 101 is requested to end the sharing (step S307: YES), the process ends. On the other hand, the sharing unit 101 returns to the process of step S304 when the end of sharing is not requested (step S307: NO).
  • the setting unit 102 when the setting unit 102 detects an operation on the specific screen (step S304: YES) or detects a specific operation (step S305: YES), the setting unit 102 sets the first resolution information in the HMD 200 (step S306). That is, the setting unit 102 sets the first resolution information when a specific usage situation such as an operation on a specific screen or a specific operation is detected.
  • an operation for the specific screen for example, there is an operation for the setting screen.
  • the setting screen there may be a case where many characters are included in the setting screen (more specifically, the wireless communication setting screen). Therefore, if the image quality of the screen displayed on the display unit 110 is lower than the image quality of the screen displayed on the display unit 210, the readability of the characters on the screen deteriorates due to, for example, fading. As a result, it may cause an incorrect operation. Therefore, when the setting unit 102 detects an operation on a screen such as a setting screen where the number of characters is equal to or greater than a predetermined value, the setting unit 102 sets first resolution information in the HMD 200. Thereby, the image quality of the screen displayed on the display unit 110 is basically the same as the image quality of the screen displayed on the display unit 210, and readability is improved.
  • the specific operation includes one or a plurality of operations for updating the display on the display unit 110 such as a character input operation.
  • a character input operation For example, as shown in FIG. 9, when the user inputs characters into the input field BX1 using the image KB representing the keyboard on the input screen, the image quality of the screen displayed on the display unit 110 is displayed on the display unit 210. If it is lower than the image quality of the displayed screen, the readability of the input characters deteriorates. As a result, the user cannot be sure that the characters are correctly input. Therefore, when the setting unit 102 detects a character input operation, the setting unit 102 sets the first resolution information in the HMD 200. Thereby, the image quality of the screen displayed on the display unit 110 is basically the same as the image quality of the screen displayed on the display unit 210, and readability is improved.
  • the screen resolution of the screen to be shared is adjusted according to the usage situation. can do.
  • FIG. 10 is a flowchart illustrating an example of processing executed by the terminal device 100 according to the third embodiment.
  • FIG. 11 is a diagram for explaining an example of screen sharing according to the third embodiment.
  • FIG. 12 is a diagram for explaining another example of screen sharing according to the third embodiment. Note that the processing executed by the HMD 200 is basically the same as the processing described in the first embodiment, and a description thereof will be omitted.
  • the sharing unit 101 of the terminal device 100 requests sharing of the screen displayed on the HMD 200 as shown in FIG. S401).
  • the sharing unit 101 receives the screen and shares the screen (step S402), and the display unit 110 displays the shared screen (step S403).
  • step S404 determines whether or not a specific image is detected.
  • step S404: NO the setting unit 102 further determines whether a specific radio wave is detected (step S405).
  • step S405: NO the process of step S406, which will be described later, is skipped, and the sharing unit 101 determines whether sharing is requested (step S407).
  • step S407 if the sharing unit 101 is requested to end the sharing (step S407: YES), the process ends. On the other hand, if the sharing unit 101 is not requested to end sharing (step S407: NO), the process returns to step S404.
  • step S404 when the setting unit 102 detects a specific image (step S404: YES) or when a specific radio wave is detected (step S405: YES), the setting unit 102 sets the first resolution information in the HMD 200 (step S406). . That is, the setting unit 102 sets the first resolution information when a specific usage situation such as a specific image or a specific radio wave is detected.
  • examples of the specific image include an image representing a meter and an image representing an Augmented Reality (AR) marker.
  • AR Augmented Reality
  • the display unit 210 displays the site image captured by the imaging unit 220. This video is also displayed on the display unit 110 of the terminal device 100 held by the user by screen sharing.
  • the image quality of the screen displayed on the display unit 110 is lower than the image quality of the screen displayed on the display unit 210, the image IM8 (for example, meter image) or the image IM9 (for example, meter image) displayed on the display unit 110 is displayed.
  • the image quality of the AR marker image is degraded.
  • the terminal device 100 includes a recognition unit for recognizing an image, there is a possibility that an accurate measurement value cannot be recognized or the augmented reality cannot be realized due to a poor recognition if the image quality deteriorates. Therefore, when the setting unit 102 detects a specific image, the setting unit 102 sets the first resolution information in the HMD 200.
  • the image quality of the screen displayed on the display unit 110 is basically the same as the image quality of the screen displayed on the display unit 210, and the deterioration of the image quality is improved.
  • accurate measurement values can be recognized, and recognition failure can be improved to realize augmented reality.
  • specific radio waves include, for example, beacons transmitted from access points AP and radio waves related to Global Positioning System (GPS).
  • GPS Global Positioning System
  • the setting unit 102 detects a beacon transmitted from the access point AP
  • the setting unit 102 sets first resolution information in the HMD 200.
  • the access point AP is connected to a server device 300 connected to the communication network NW.
  • the terminal device 100 is included in an environment in which a specific beacon is transmitted from the access point AP, it is possible to improve deterioration of the image quality of the screen displayed on the display unit 110 using the beacon. it can.
  • the terminal device 100 is located at a specific location, it is possible to improve the deterioration of the image quality of the screen displayed on the display unit 110 using the radio wave related to the GPS.
  • the screen resolution of the screen to be shared is adjusted according to the usage situation. be able to.
  • S screen resolution adjustment system 100 terminal device 101 sharing unit 102 setting unit 110 display unit 200 HMD 210 Display unit 220 Imaging unit 230 Control unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

端末装置は、ヘッドマウントディスプレイに第１の画面解像度で表示される画面を第１の画面解像度より低い第２の画面解像度で共有する共有部と、共有部が共有した画面を表示する表示部と、特定の使用状況を検出した場合に、共有部が第１の画面解像度で共有するための第１の解像度情報をヘッドマウントディスプレイに設定する設定部と、を有することを特徴とする。

Description

端末装置、画面解像度調整方法、表示制御方法、画面解像度調整プログラム、及び表示制御プログラム
　本件は、端末装置、画面解像度調整方法、表示制御方法、画面解像度調整プログラム、及び表示制御プログラムに関する。
　ウェアラブルコンピュータの一つとして、人体の頭部に装着されるビデオカメラ内蔵のヘッドマウントディスプレイ（Head Mounted Display）が知られている（例えば特許文献１参照）。また、ヘッドマウントディスプレイから無線通信で送信された撮像画像をスマートフォンが取得することも知られている（例えば特許文献２参照）。さらに、送信側の装置の表示画面を無線通信で受信側の装置に送信し、画面を共有するミラーリング技術も知られている（例えば特許文献３参照）。
特開２０１５－１６６８１６号公報 特開２０１５－２２２５１９号公報 特開２０１５－０４１８２２号公報
　ここで、ヘッドマウントディスプレイの表示画面をスマートフォンと共有する場合に、所定のフレームレートを確保すべくヘッドマウントディスプレイが表示画面の画面解像度を下げてスマートフォンに送信すると、スマートフォンに表示される画面の画質はヘッドマウントディスプレイと比べて低下する。この結果、例えば画面上の文字がかすれて可読性が劣化し、操作性が悪化するおそれがある。
　そこで、１つの側面では、共有する画面の画面解像度を使用状況に応じて調整できる端末装置、画面解像度調整方法、表示制御方法、画面解像度調整プログラム、及び表示制御プログラムを提供することを目的とする。
　本明細書に開示の端末装置は、ヘッドマウントディスプレイに第１の画面解像度で表示される画面を前記第１の画面解像度より低い第２の画面解像度で共有する共有部と、前記共有部が共有した画面を表示する表示部と、特定の使用状況を検出した場合に、前記共有部が前記第１の画面解像度で共有するための第１の解像度情報を前記ヘッドマウントディスプレイに設定する設定部と、を有することを特徴とする端末装置である。
　本明細書に開示の端末装置は、ヘッドマウントディスプレイに第１の解像度で表示される画像情報に対応する、前記ヘッドマウントディスプレイから前記第１の解像度より低い第２の解像度で送信される画像情報を取得する取得部と、前記取得部が取得した前記画像情報を表示する表示部と、前記表示部の表示を更新する一又は複数の操作を受け付ける受付部と、前記受付部が受け付けた前記一又は複数の操作が基準を満たす場合に、前記第２の解像度を高める指示を前記ヘッドマウントディスプレイに通知する通知部と、を有することを特徴とする端末装置である。
　本明細書に開示の画面解像度調整方法は、ヘッドマウントディスプレイに第１の画面解像度で表示される画面を前記第１の画面解像度より低い第２の画面解像度で共有し、共有した前記画面を表示し、特定の使用状況を検出した場合に、前記第１の画面解像度で共有するための第１の解像度情報を前記ヘッドマウントディスプレイに設定する、処理をコンピュータが実行する画面解像度調整方法である。
　本明細書に開示の表示制御方法は、ヘッドマウントディスプレイに第１の解像度で表示される画像情報に対応する、前記ヘッドマウントディスプレイから前記第１の解像度より低い第２の解像度で送信される画像情報を取得し、取得した前記画像情報を表示部に表示し、前記表示部の表示を更新する一又は複数の操作を受け付け、受け付けた前記一又は複数の操作が基準を満たす場合に、前記第２の解像度を高める指示を前記ヘッドマウントディスプレイに通知する、処理をコンピュータが実行することを特徴とする表示制御方法である。
　本明細書に開示の画面解像度調整プログラムは、ヘッドマウントディスプレイに第１の画面解像度で表示される画面を前記第１の画面解像度より低い第２の画面解像度で共有し、共有した前記画面を表示し、特定の使用状況を検出した場合に、前記第１の画面解像度で共有するための解像度情報を前記ヘッドマウントディスプレイに設定する、処理をコンピュータに実行させる画面解像度調整プログラムである。
　本明細書に開示の表示制御プログラムは、ヘッドマウントディスプレイに第１の解像度で表示される画像情報に対応する、前記ヘッドマウントディスプレイから前記第１の解像度より低い第２の解像度で送信される画像情報を取得し、取得した前記画像情報を表示部に表示し、前記表示部の表示を更新する一又は複数の操作を受け付け、受け付けた前記一又は複数の操作が基準を満たす場合に、前記第２の解像度を高める指示を前記ヘッドマウントディスプレイに通知する、処理をコンピュータに実行させることを特徴とする表示制御プログラムである。
　本明細書に開示の端末装置、画面解像度調整方法、表示制御方法、画面解像度調整プログラム、及び表示制御プログラムによれば、共有する画面の画面解像度を使用状況に応じて調整することができる。
図１は画面解像度調整システムの一例を示す図である。 図２は端末装置のハードウェア構成の一例である。 図３は端末装置のブロック図の一例である。 図４は第１実施形態に係る端末装置が実行する処理の一例を示すフローチャートである。 図５は第１実施形態に係るＨＭＤが実行する処理の一例を示すフローチャートである。 図６は第１実施形態に係る画面共有の一例を説明するための図である。 図７は第２実施形態に係る端末装置が実行する処理の一例を示すフローチャートである。 図８は第２実施形態に係る画面共有の一例を説明するための図である。 図９は第２実施形態に係る画面共有の他の一例を説明するための図である。 図１０は第３実施形態に係る端末装置が実行する処理の一例を示すフローチャートである。 図１１は第３実施形態に係る画面共有の一例を説明するための図である。 図１２は第３実施形態に係る画面共有の他の一例を説明するための図である。
　以下、本件を実施するための形態について図面を参照して説明する。
（第１実施形態）
　図１は画面解像度調整システムＳの一例を示す図である。画面解像度調整システムＳは、端末装置１００、及びヘッドマウントディスプレイ（以下、ＨＭＤという）２００を含んでいる。
　端末装置１００はＨＭＤ２００と無線通信によりアクセスポイントＡＰを介さずに直接的に接続されている。無線通信としては例えばWi-Fi Direct（登録商標）やBluetooth（登録商標）といった規格がある。詳細は後述するが、端末装置１００は表示部１１０に画像情報として各種の画面を表示したり、各種の要求や指示をＨＭＤ２００に送信したりする。尚、図１では端末装置１００の一例としてスマートフォンが示されているが、例えばタブレット端末といった携帯情報端末であればスマートフォンに特に限定されない。
　ＨＭＤ２００は表示部２１０、撮像部（例えばビデオカメラ）２２０及び制御部２３０を備えている。表示部２１０の表示方式はビデオ透過型、光学透過型、非透過型のいずれでもよい。制御部２３０は表示部２１０や撮像部２２０の動作を制御したり、無線通信を実行したりする。例えば制御部２３０は撮像部２２０が撮像した映像を表示部２１０に表示する。また、例えばＨＭＤ２００の電源ボタン（不図示）が押下されると、制御部２３０は所定の起動時間を経過した後に表示部２１０にホーム画面を表示する。尚、ホーム画面は例えば起動後に最初に表示される画面をいう。ホーム画面としては例えば待ち受け画面がある。ＨＭＤ２００は端末装置１００から送信された指示や要求を受信して、画面を端末装置１００に送信したり各種の処理を実行したりする。
　続いて、図２を参照して、端末装置１００のハードウェア構成について説明する。尚、上述したＨＭＤ２００については基本的に端末装置１００と同様のハードウェア構成であるため説明を省略する。
　図２は端末装置１００のハードウェア構成の一例である。図２に示すように、端末装置１００は、Central Processing Unit（ＣＰＵ）１００Ａ、Random Access Memory（ＲＡＭ）１００Ｂ、Read Only Memory（ＲＯＭ）１００Ｃ、Electrically Erasable Programmable Read Only Memory（ＥＥＰＲＯＭ）１００Ｄ及び通信回路１００Ｅを含んでいる。通信回路１００Ｅにはアンテナ１００Ｅ´が接続されている。通信回路１００Ｅに代えて通信機能を実現するＣＰＵが利用されてもよい。
　また、端末装置１００は、スピーカー１００Ｆ、カメラ１００Ｇ、表示部１１０としてのタッチパネル１００Ｈ及びディスプレイ１００Ｉ、並びにマイク１００Ｊを含んでいる。カメラ１００Ｇは、例えばComplementary Metal Oxide Semiconductor（ＣＭＯＳ）やCharge Coupled Device（ＣＣＤ）を用いた撮像素子とレンズなどの光学系とを含んでいる。ＣＰＵ１００Ａ、・・・、マイク１００Ｊは、内部バス１００Ｋによって互いに接続されている。少なくともＣＰＵ１００ＡとＲＡＭ１００Ｂとが協働することによってコンピュータが実現される。
　上述したＲＡＭ１００Ｂには、ＲＯＭ１００ＣやＥＥＰＲＯＭ１００Ｄに記憶されたプログラムがＣＰＵ１００Ａによって格納される。格納されたプログラムをＣＰＵ１００Ａが実行することにより、後述する各種の機能が実現され、また、各種の処理が実行される。尚、プログラムは後述するフローチャートに応じたものとすればよい。
　次に、図３を参照して、端末装置１００の機能について説明する。
　図３は端末装置１００のブロック図の一例である。図３に示すように、端末装置１００は取得部としての共有部１０１と受付部及び通知部としての設定部１０２とを備えている。尚、表示部１１０はハードウェアであるため、破線で示している。
　共有部１０１は、ＨＭＤ２００に第１の画面解像度で画像情報として表示される画面を第１の画面解像度より低い第２の画面解像度で共有する。より詳しくは、端末装置１００のユーザが表示部１１０を操作して、ＨＭＤ２００の表示部２１０に表示される画面の共有をＨＭＤ２００に要求すると、共有部１０１はmiracast（登録商標）といったミラーリング技術を利用して画面を取得して共有する。これにより、表示部１１０は共有した画面を表示する。すなわち、端末装置１００の表示部１１０にはＨＭＤ２００の表示部２１０に表示される画面と画質を除いて基本的に同様の画面が表示される。例えば、ユーザが表示部１１０を介してホーム画面内の設定ボタンを押下する操作（タップ操作）を行うと、共有部１０１は操作内容をＨＭＤ２００に送信する。これにより、ＨＭＤ２００の制御部２３０は設定用アプリケーションプログラム（以下、設定アプリという）を起動し、設定アプリに基づく設定画面を表示部１１０に表示する。尚、詳細は後述するが、共有部１０１は後述する各種の処理を実行する。
　設定部１０２は特定の使用状況を検出した場合に、共有部１０１が第１の画面解像度で共有するための第１の解像度情報をＨＭＤ２００に設定する。特定の使用状況としては、例えば表示部１１０に表示された画面に対する直近の操作から所定時間（例えば数秒）の経過を検出した場合や、第１の解像度情報を設定した後に表示部１１０に表示された画面に対する一又は複数の操作を検出した場合などがある。特定の使用状況のその他の例については後述する第２実施形態及び第３実施形態で説明する。これにより、共有部１０１はＨＭＤ２００に表示される画面を第１の画面解像度で共有する。
　続いて、図４乃至図６を参照して、端末装置１００及びＨＭＤ２００の各動作について説明する。
　図４は第１実施形態に係る端末装置１００が実行する処理の一例を示すフローチャートである。図５は第１実施形態に係るＨＭＤ２００が実行する処理の一例を示すフローチャートである。図６は第１実施形態に係る画面共有の一例を説明するための図である。
　まず、図５に示すように、ＨＭＤ２００の電源ボタンがユーザによって押下されると、ＨＭＤ２００の表示部２１０は所定の起動時間を経過した後に、図６に示すように第１の画面解像度で画面（例えばホーム画面）を表示し（ステップＳ２０１）、制御部２３０は画面の共有が要求されるまで待機する（ステップＳ２０２：ＮＯ）。
　一方、表示部２１０が画面を表示した後、図４に示すように、端末装置１００の共有部１０１はＨＭＤ２００（より具体的には表示部２１０）に表示される画面の共有を要求する（ステップＳ１０１）。より詳しくは、端末装置の表示部１１０に対してユーザが所定の指示（例えばタップ操作など）を行うと、共有部１０１は画面の共有を要求する。
　ステップＳ１０１の処理において共有部１０１が画面の共有を要求すると、図５に示すように、制御部２３０は画面の共有が要求されたと判断して（ステップＳ２０２：ＹＥＳ）、第２の画面解像度に画面を縮小する（ステップＳ２０３）。ステップＳ２０３の処理が完了すると、制御部２３０は画面を端末装置１００に送信する（ステップＳ２０４）。尚、画面の縮小には例えば圧縮処理や間引き処理などが利用される。
　一方、制御部２３０が画面を送信すると、図４に示すように、共有部１０１は画面を受信して画面を共有し（ステップＳ１０２）、表示部１１０は共有した画面を表示する（ステップＳ１０３）。尚、ステップＳ１０２又はステップＳ１０３の処理の後、又はいずれかの処理と並行して、共有部１０１はＨＭＤ２００をリモート操作（例えば遠隔操作又は離隔操作）可能な状態に端末装置１００を設定する。
　以上の処理により、図６に示すように、ＨＭＤ２００の表示部２１０に表示される画面を端末装置１００の表示部１１０が表示し、表示部１１０に表示される画面に対してユーザが手指ＦＧで所定の操作を行うことで、ＨＭＤ２００を操作することができる。尚、図６ではホーム画面と名付けられた画面内に操作ボタンとして複数の操作可能な画像ＩＭ１～ＩＭ５が含まれている。例えば画像ＩＭ４が操作されると、表示部１１０は通信設定を行うための設定画面を表示する。
　ステップＳ１０３の処理が完了すると、設定部１０２は画面に対する操作を検出したか否かを判断する（ステップＳ１０４）。例えば図６に示すように画像ＩＭ４が操作されると、設定部１０２は画面に対する操作を検出し（ステップＳ１０４：ＹＥＳ）、操作時刻を保持する（ステップＳ１０５）。設定部１０２は操作時刻を保持した後、ＨＭＤ２００に第２の解像度情報を設定する（ステップＳ１０６）。より詳しくは、設定部１０２はＨＭＤ２００に第２の解像度情報を送信又は通知（以下、単に送信という）する。尚、設定部１０２はＨＭＤ２００の設定状況を確認し、ＨＭＤ２００に第２の解像度情報が設定されている場合にはステップＳ１０６の処理をスキップしてもよいし、改めて第２の解像度情報を設定してもよい。
　ＨＭＤ２００では、図５に示すように、制御部２３０は端末装置１００から解像度情報が設定されたと判断すると（ステップＳ２０５：ＹＥＳ）、解像度情報を設定する（ステップＳ２０６）。より詳しくは、制御部２３０は設定部１０２から送信された解像度情報を受信して解像度情報を自身に設定する。上述したように、制御部２３０は設定部１０２から送信された第２の解像度情報を受信した場合、第２の解像度情報を自身に設定する。一方、制御部２３０は設定部１０２から送信された第１の解像度情報を受信した場合、第１の解像度情報を自身に設定する。制御部２３０は解像度情報を設定した後、ステップＳ２０４の処理に戻る。したがって、設定部１０２によって設定された解像度情報に従って制御部２３０は画面を端末装置１００に送信する。
　ここで、図４に示すステップＳ１０６の処理が完了すると、共有部１０１は共有終了が要求されたか否かを判断する（ステップＳ１０７）。例えばユーザが表示部１１０を操作して画面の共有を終了する要求を入力すると、表示部１１０は当該要求を共有部１０１に出力する。共有部１０１は要求を受け付けると、受け付けた要求をＨＭＤ２００に送信した後、共有終了が要求されたと判断し（ステップＳ１０７：ＹＥＳ）、処理を終了する。尚、共有部１０１は共有終了が要求されたと判断した後に、受け付けた要求をＨＭＤ２００に送信してもよい。
　ＨＭＤ２００では、図５に示すように、制御部２３０が端末装置１００から解像度情報が設定されずに（ステップＳ２０５：ＮＯ）、共有終了が要求された場合（ステップＳ２０７：ＹＥＳ）、処理を終了する。一方、制御部２３０は共有終了が要求されなかった場合（ステップＳ２０７：ＮＯ）、ステップＳ２０４の処理に戻る。したがって、制御部２３０は第２の画面解像度に縮小した画面を端末装置１００に送信する。
　一方、共有部１０１は共有終了が要求されずに（ステップＳ１０７：ＹＥＳ）、ステップＳ１０４の処理において画面に対する操作を検出しなかった場合（ステップＳ１０４：ＮＯ）、設定部１０２は所定時間が経過したか否かを判断する（ステップＳ１０８）。より詳しくは、設定部１０２は保持した操作時刻から所定時間が経過したか否かを判断する。すなわち、設定部１０２は直近の操作から所定時間が経過したか否かを判断する。操作時刻に代えて設定時刻を利用してもよいし、ステップＳ１０３の処理が完了した後、共有部１０１が画面に対する操作を全く検出しなかった場合には操作時刻に代えて画面の表示時刻を利用してもよい。
　設定部１０２は所定時間が経過したと判断した場合（ステップＳ１０８：ＹＥＳ）、ＨＭＤ２００に第１の解像度情報を設定する（ステップＳ１０９）。より詳しくは、設定部１０２はＨＭＤ２００に第１の解像度情報を送信する。したがって、上述したように、ＨＭＤ２００では制御部２３０は設定部１０２から送信された第１の解像度情報を受信して第１の解像度情報を自身に設定する。制御部２３０は第１の解像度情報を設定した後、ステップＳ２０４の処理に戻る。したがって、設定部１０２によって設定された第１の解像度情報に従って制御部２３０は画面を端末装置１００に送信する。
　設定部１０２がステップＳ１０９の処理を終えた場合、又は、ステップＳ１０８の処理において所定時間が経過していなかった場合（ステップＳ１０８：ＮＯ）、共有部１０１はステップＳ１０７の処理を実行する。ここで、ステップＳ１０７の処理において共有終了が要求されなかった場合、ステップＳ１０４の処理に戻り、共有終了が要求された場合、処理を終了する。
　以上説明したように、第１実施形態によれば、端末装置１００はＨＭＤ２００に第１の画面解像度で表示される画面を第１の画面解像度より低い第２の画面解像度で共有する共有部１０１を備えている。また、端末装置１００は共有部１０１が共有した画面を表示する表示部１１０と、特定の使用状況を検出した場合に、共有部１０１が第１の画面解像度で共有するための第１の解像度情報をＨＭＤ２００に設定する設定部１０２を備えている。これにより、共有する画面の画面解像度を使用状況に応じて調整することができる。
　具体的には、画面に対する直近の操作から所定の時間が経過している場合には、ＨＭＤ２００の表示部２１０に表示される画面と同じ解像度の画面が端末装置１００に送信される。この結果、ＨＭＤ２００と端末装置１００のそれぞれに表示される画面の画質は同じになる。これは表示部１１０に対する操作が所定時間存在しないため操作内容をＨＭＤ２００に送信する必要がなく、表示部２１０に表示される画面と同じ解像度の画面を制御部２３０が端末装置１００に送信してもフレームレートに影響を与えない可能性が高いからである。一方、表示部１１０に対する操作があった場合、操作内容をＨＭＤ２００に即時に反映させることが望ましい。このため、画面の画質より操作内容の反映を優先することでクイックレスポンス（即時応答）を実現することができる。
（第２実施形態）
　続いて、図７乃至図９を参照して、本件の第２実施形態について説明する。
　図７は第２実施形態に係る端末装置１００が実行する処理の一例を示すフローチャートである。図８は第２実施形態に係る画面共有の一例を説明するための図である。図９は第２実施形態に係る画面共有の他の一例を説明するための図である。尚、ＨＭＤ２００が実行する処理については第１実施形態で説明した処理と基本的に同様であるため説明を省略する。
　第１実施形態でも説明したように、ＨＭＤ２００の表示部２１０が画面を表示した後に、図７に示すように、端末装置１００の共有部１０１はＨＭＤ２００に表示される画面の共有を要求する（ステップＳ３０１）。次いで、ＨＭＤ２００の制御部２３０が画面を送信すると、共有部１０１は画面を受信して画面を共有し（ステップＳ３０２）、表示部１１０は共有した画面を表示する（ステップＳ３０３）。
　ここで、ステップＳ３０３の処理が完了すると、設定部１０２は特定画面に対する操作を検出したか否かを判断する（ステップＳ３０４）。設定部１０２は特定画面に対する操作を検出しなかった場合（ステップＳ３０４：ＮＯ）、さらに、特定の操作を検出したか否かを判断する（ステップＳ３０５）。設定部１０２は特定の操作を検出しなかった場合（ステップＳ３０５：ＮＯ）、後述するステップＳ３０６の処理をスキップし、共有部１０１は共有終了が要求されたか否かを判断すする（ステップＳ３０７）。
　ステップＳ３０７の処理において、共有部１０１は共有終了が要求された場合（ステップＳ３０７：ＹＥＳ）、処理を終了する。一方、共有部１０１は共有終了が要求されなかった場合（ステップＳ３０７：ＮＯ）、ステップＳ３０４の処理に戻る。
　一方、設定部１０２は特定画面に対する操作を検出した場合（ステップＳ３０４：ＹＥＳ）、または、特定の操作を検出した場合（ステップＳ３０５：ＹＥＳ）、ＨＭＤ２００に第１の解像度情報を設定する（ステップＳ３０６）。すなわち、設定部１０２は、特定画面に対する操作や特定の操作といった特定の使用状況を検出した場合に、第１の解像度情報を設定する。
　ここで、特定画面に対する操作としては例えば設定画面に対する操作がある。具体的には、図８に示すように、設定画面（より詳しくは無線通信設定画面）には多くの文字が含まれている場合がある。したがって、表示部１１０に表示される画面の画質が表示部２１０に表示される画面の画質より低いと、文字がかすれるなどして画面上の文字の可読性が劣化する。結果的に誤った操作を引き起こす可能性がある。したがって、設定画面など文字の文字数が所定値以上である画面に対する操作を設定部１０２が検出した場合、設定部１０２はＨＭＤ２００に第１の解像度情報を設定する。これにより、表示部１１０に表示される画面の画質は表示部２１０に表示される画面の画質と基本的に同じになり、可読性が改善される。
　また、特定の操作としては例えば文字の入力操作といった表示部１１０の表示を更新する一又は複数の操作がある。具体的には、図９に示すように、入力画面においてキーボードを表す画像ＫＢを用いてユーザが文字を入力欄ＢＸ１に入力する場合、表示部１１０に表示される画面の画質が表示部２１０に表示される画面の画質より低いと、入力した文字の可読性が劣化する。結果的に文字が正しく入力されたかユーザは確信を持てなくなる。したがって、文字の入力操作を設定部１０２が検出した場合、設定部１０２はＨＭＤ２００に第１の解像度情報を設定する。これにより、表示部１１０に表示される画面の画質は表示部２１０に表示される画面の画質と基本的に同じになり、可読性が改善される。
　以上説明したように、第２実施形態によれば、設定部１０２が特定画面に対する操作や特定の操作を特定の使用状況として検出した場合も、共有する画面の画面解像度を使用状況に応じて調整することができる。
（第３実施形態）
　続いて、図１０乃至図１２を参照して、本件の第３実施形態について説明する。
　図１０は第３実施形態に係る端末装置１００が実行する処理の一例を示すフローチャートである。図１１は第３実施形態に係る画面共有の一例を説明するための図である。図１２は第３実施形態に係る画面共有の他の一例を説明するための図である。尚、ＨＭＤ２００が実行する処理については第１実施形態で説明した処理と基本的に同様であるため説明を省略する。
　第１実施形態でも説明したように、ＨＭＤ２００の表示部２１０が画面を表示した後に、図１０に示すように、端末装置１００の共有部１０１はＨＭＤ２００に表示される画面の共有を要求する（ステップＳ４０１）。次いで、ＨＭＤ２００の制御部２３０が画面を送信すると、共有部１０１は画面を受信して画面を共有し（ステップＳ４０２）、表示部１１０は共有した画面を表示する（ステップＳ４０３）。
　ここで、ステップＳ４０３の処理が完了すると、設定部１０２は特定の画像を検出したか否かを判断する（ステップＳ４０４）。設定部１０２は特定の画像を検出しなかった場合（ステップＳ４０４：ＮＯ）、さらに、特定の電波を検出したか否かを判断する（ステップＳ４０５）。設定部１０２は特定の電波を検出しなかった場合（ステップＳ４０５：ＮＯ）、後述するステップＳ４０６の処理をスキップし、共有部１０１は共有終了が要求されたか否かを判断すする（ステップＳ４０７）。
　ステップＳ４０７の処理において、共有部１０１は共有終了が要求された場合（ステップＳ４０７：ＹＥＳ）、処理を終了する。一方、共有部１０１は共有終了が要求されなかった場合（ステップＳ４０７：ＮＯ）、ステップＳ４０４の処理に戻る。
　一方、設定部１０２は特定の画像を検出した場合（ステップＳ４０４：ＹＥＳ）、または、特定の電波を検出した場合（ステップＳ４０５：ＹＥＳ）、ＨＭＤ２００に第１の解像度情報を設定する（ステップＳ４０６）。すなわち、設定部１０２は、特定の画像や特定の電波といった特定の使用状況を検出した場合に、第１の解像度情報を設定する。
　ここで、特定の画像としては例えばメーターを表す画像やAugmented Reality（ＡＲ：拡張現実）マーカーを表す画像などがある。具体的には、図１１に示すように、ユーザがＨＭＤ２００を装着し端末装置１００を手に持ちながら現場で作業を行う場合、表示部２１０は撮像部２２０が撮像した現場の映像を表示する。この映像は画面共有によりユーザが手に持つ端末装置１００の表示部１１０にも表示される。
　例えば、表示部１１０に表示される画面の画質が表示部２１０に表示される画面の画質より低いと、表示部１１０に表示される画面内の画像ＩＭ８（例えばメーターの画像）や画像ＩＭ９（例えばＡＲマーカーの画像）の画質は低下する。仮に端末装置１００が画像を認識する認識部を備えている場合、画質が低下すると正確な計測値を認識することができなかったり、認識不良により拡張現実を実現できなかったりする可能性がある。したがって、特定の画像を設定部１０２が検出した場合、設定部１０２はＨＭＤ２００に第１の解像度情報を設定する。これにより、表示部１１０に表示される画面の画質は表示部２１０に表示される画面の画質と基本的に同じになり、画質の低下が改善される。結果的に、正確な計測値を認識でき、また、認識不良が改善されて拡張現実を実現できる。
　また、特定の電波としては例えばアクセスポイントＡＰから発信されたビーコンやGlobal Positioning System（ＧＰＳ）に関する電波などがある。具体的には、図１２に示すように、アクセスポイントＡＰから発信されたビーコンを設定部１０２が検出した場合、設定部１０２はＨＭＤ２００に第１の解像度情報を設定する。尚、図１２において、アクセスポイントＡＰは通信ネットワークＮＷと接続されたサーバ装置３００に接続されている。このように、アクセスポイントＡＰから特定のビーコンが発信される環境に端末装置１００が含まれていた場合、そのビーコンを利用して表示部１１０に表示される画面の画質の低下を改善することができる。また、特定に場所に端末装置１００が位置する場合、そのＧＰＳに関する電波を利用して表示部１１０に表示される画面の画質の低下を改善することができる。
　以上説明したように、第３実施形態によれば、設定部１０２が特定の画像や特定の電波を特定の使用状況として検出した場合も、共有する画面の画面解像度を使用状況に応じて調整することができる。
　以上、本発明の好ましい実施形態について詳述したが、本発明に係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。
　　Ｓ　画面解像度調整システム
　　１００　端末装置
　　１０１　共有部
　　１０２　設定部
　　１１０　表示部
　　２００　ＨＭＤ
　　２１０　表示部
　　２２０　撮像部
　　２３０　制御部

Claims (18)

  1. 　ヘッドマウントディスプレイに第１の画面解像度で表示される画面を前記第１の画面解像度より低い第２の画面解像度で共有する共有部と、
    　前記共有部が共有した画面を表示する表示部と、
    　特定の使用状況を検出した場合に、前記共有部が前記第１の画面解像度で共有するための第１の解像度情報を前記ヘッドマウントディスプレイに設定する設定部と、
    を有することを特徴とする端末装置。
  2. 　前記設定部は、前記表示部に表示された画面に対する直近の操作から所定時間の経過を検出した場合、前記第１の解像度情報を設定する、
    ことを特徴とする請求項１に記載の端末装置。
  3. 　前記設定部は、前記第１の解像度情報を設定した後に前記表示部に表示された画面に対する操作を検出した場合、前記共有部が前記第２の画面解像度で共有するための第２の解像度情報を設定する、
    ことを特徴とする請求項１又は２に記載の端末装置。
  4. 　前記設定部は、特定の画面に対する操作を検出した場合、又は、特定の操作を検出した場合、前記第１の解像度情報を設定する、
    ことを特徴とする請求項１に記載の端末装置。
  5. 　前記特定の画面は、文字の数が所定値以上である画面であり、
    　前記特定の操作は、文字を入力する操作である、
    ことを特徴とする請求項４に記載の端末装置。
  6. 　前記設定部は、前記表示部に表示された画面から特定の画像を検出した場合、又は、特定の電波を検出した場合、前記第１の解像度情報を設定する、
    ことを特徴とする請求項１に記載の端末装置。
  7. 　前記特定の画像は、ＡＲマーカーを表す画像、又は、メーターを表す画像の少なくとも一方であり、
    　前記特定の電波は、アクセスポイントから発信されたビーコン、又は、ＧＰＳに関する電波である、
    ことを特徴とする請求項６に記載の端末装置。
  8. 　ヘッドマウントディスプレイに第１の解像度で表示される画像情報に対応する、前記ヘッドマウントディスプレイから前記第１の解像度より低い第２の解像度で送信される画像情報を取得する取得部と、
    　前記取得部が取得した前記画像情報を表示する表示部と、
    　前記表示部の表示を更新する一又は複数の操作を受け付ける受付部と、
    　前記受付部が受け付けた前記一又は複数の操作が基準を満たす場合に、前記第２の解像度を高める指示を前記ヘッドマウントディスプレイに通知する通知部と、
    　を有することを特徴とする端末装置。
  9. 　ヘッドマウントディスプレイに第１の画面解像度で表示される画面を前記第１の画面解像度より低い第２の画面解像度で共有し、
    　共有した前記画面を表示し、
    　特定の使用状況を検出した場合に、前記第１の画面解像度で共有するための第１の解像度情報を前記ヘッドマウントディスプレイに設定する、
    処理をコンピュータが実行する画面解像度調整方法。
  10. 　表示された前記画面に対する直近の操作から所定時間の経過を検出した場合、前記第１の解像度情報を設定する、
    ことを特徴とする請求項９に記載の画面解像度調整方法。
  11. 　前記第１の解像度情報を設定した後に、表示された前記画面に対する操作を検出した場合、前記第２の画面解像度で共有するための第２の解像度情報を設定する、
    ことを特徴とする請求項９又は１０に記載の画面解像度調整方法。
  12. 　特定の画面に対する操作を検出した場合、又は、特定の操作を検出した場合、前記第１の解像度情報を設定する、
    ことを特徴とする請求項９に記載の画面解像度調整方法。
  13. 　前記特定の画面は、文字の数が所定値以上である画面であり、
    　前記特定の操作は、文字を入力する操作である、
    ことを特徴とする請求項１２に記載の画面解像度調整方法。
  14. 　表示された前記画面から特定の画像を検出した場合、又は、特定の電波を検出した場合、前記第１の解像度情報を設定する、
    ことを特徴とする請求項９に記載の画面解像度調整方法。
  15. 　前記特定の画像は、ＡＲマーカーを表す画像、又は、メーターを表す画像の少なくとも一方であり、
    　前記特定の電波は、アクセスポイントから発信されたビーコン、又は、ＧＰＳに関する電波である、
    ことを特徴とする請求項１４に記載の画面解像度調整方法。
  16. 　ヘッドマウントディスプレイに第１の解像度で表示される画像情報に対応する、前記ヘッドマウントディスプレイから前記第１の解像度より低い第２の解像度で送信される画像情報を取得し、
    　取得した前記画像情報を表示部に表示し、
    　前記表示部の表示を更新する一又は複数の操作を受け付け、
    　受け付けた前記一又は複数の操作が基準を満たす場合に、前記第２の解像度を高める指示を前記ヘッドマウントディスプレイに通知する、
    　処理をコンピュータが実行することを特徴とする表示制御方法。
  17. 　ヘッドマウントディスプレイに第１の画面解像度で表示される画面を前記第１の画面解像度より低い第２の画面解像度で共有し、
    　共有した前記画面を表示し、
    　特定の使用状況を検出した場合に、前記第１の画面解像度で共有するための解像度情報を前記ヘッドマウントディスプレイに設定する、
    処理をコンピュータに実行させる画面解像度調整プログラム。
  18. 　ヘッドマウントディスプレイに第１の解像度で表示される画像情報に対応する、前記ヘッドマウントディスプレイから前記第１の解像度より低い第２の解像度で送信される画像情報を取得し、
    　取得した前記画像情報を表示部に表示し、
    　前記表示部の表示を更新する一又は複数の操作を受け付け、
    　受け付けた前記一又は複数の操作が基準を満たす場合に、前記第２の解像度を高める指示を前記ヘッドマウントディスプレイに通知する、
    　処理をコンピュータに実行させることを特徴とする表示制御プログラム。
PCT/JP2016/054127 2016-02-12 2016-02-12 端末装置、画面解像度調整方法、表示制御方法、画面解像度調整プログラム、及び表示制御プログラム WO2017138143A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
PCT/JP2016/054127 WO2017138143A1 (ja) 2016-02-12 2016-02-12 端末装置、画面解像度調整方法、表示制御方法、画面解像度調整プログラム、及び表示制御プログラム
JP2017566487A JP6724931B2 (ja) 2016-02-12 2016-02-12 画面解像度調整システム、表示制御システム、画面解像度調整方法、及び表示制御方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2016/054127 WO2017138143A1 (ja) 2016-02-12 2016-02-12 端末装置、画面解像度調整方法、表示制御方法、画面解像度調整プログラム、及び表示制御プログラム

Publications (1)

Publication Number Publication Date
WO2017138143A1 true WO2017138143A1 (ja) 2017-08-17

Family

ID=59562929

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/054127 WO2017138143A1 (ja) 2016-02-12 2016-02-12 端末装置、画面解像度調整方法、表示制御方法、画面解像度調整プログラム、及び表示制御プログラム

Country Status (2)

Country Link
JP (1) JP6724931B2 (ja)
WO (1) WO2017138143A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021192116A (ja) * 2018-06-25 2021-12-16 マクセル株式会社 表示装置
JP7080448B1 (ja) 2021-03-08 2022-06-06 裕行 池田 端末装置
WO2022123388A1 (ja) * 2020-12-11 2022-06-16 株式会社半導体エネルギー研究所 表示システム
CN115426516A (zh) * 2022-08-31 2022-12-02 联想(北京)有限公司 处理方法和装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010157005A (ja) * 2008-12-26 2010-07-15 Toshiba Corp 画面共有システム、設定変更方法、クライアント装置、およびプログラム
JP2011010126A (ja) * 2009-06-26 2011-01-13 Canon Inc 画像処理装置、画像処理方法
JP2015167349A (ja) * 2014-02-14 2015-09-24 キヤノンマーケティングジャパン株式会社 情報処理装置、情報処理システム、その制御方法及びプログラム
JP2015227919A (ja) * 2014-05-30 2015-12-17 セイコーエプソン株式会社 画像表示装置、画像表示装置を制御する方法、コンピュータープログラム、および、画像表示システム

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102091519B1 (ko) * 2013-11-05 2020-03-20 엘지전자 주식회사 이동 단말기 및 이의 제어방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010157005A (ja) * 2008-12-26 2010-07-15 Toshiba Corp 画面共有システム、設定変更方法、クライアント装置、およびプログラム
JP2011010126A (ja) * 2009-06-26 2011-01-13 Canon Inc 画像処理装置、画像処理方法
JP2015167349A (ja) * 2014-02-14 2015-09-24 キヤノンマーケティングジャパン株式会社 情報処理装置、情報処理システム、その制御方法及びプログラム
JP2015227919A (ja) * 2014-05-30 2015-12-17 セイコーエプソン株式会社 画像表示装置、画像表示装置を制御する方法、コンピュータープログラム、および、画像表示システム

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021192116A (ja) * 2018-06-25 2021-12-16 マクセル株式会社 表示装置
JP7209786B2 (ja) 2018-06-25 2023-01-20 マクセル株式会社 表示装置
JP7379734B2 (ja) 2018-06-25 2023-11-14 マクセル株式会社 ヘッドマウントディスプレイ
WO2022123388A1 (ja) * 2020-12-11 2022-06-16 株式会社半導体エネルギー研究所 表示システム
JP7080448B1 (ja) 2021-03-08 2022-06-06 裕行 池田 端末装置
JP2022136951A (ja) * 2021-03-08 2022-09-21 裕行 池田 端末装置
CN115426516A (zh) * 2022-08-31 2022-12-02 联想(北京)有限公司 处理方法和装置

Also Published As

Publication number Publication date
JPWO2017138143A1 (ja) 2018-11-22
JP6724931B2 (ja) 2020-07-15

Similar Documents

Publication Publication Date Title
US20200175849A1 (en) Remote control system and method for portable terminals
US20230239205A1 (en) Wearable electronic device, main electronic device, system and control method thereof
TWI487364B (zh) 裝置間切換通話之方法及通訊電子裝置
US11477316B2 (en) Information processing system, wireless terminal, and information processing method
JP6376015B2 (ja) 情報処理装置、情報処理方法、およびプログラム
WO2017138143A1 (ja) 端末装置、画面解像度調整方法、表示制御方法、画面解像度調整プログラム、及び表示制御プログラム
KR101751225B1 (ko) 이동 통신 단말의 원격제어 장치 및 방법
US20150199167A1 (en) Display system, display terminal, display method and computer readable recording medium having program thereof
CN110121084B (zh) 切换端口的方法、装置和系统
EP1445689A2 (en) Information processing apparatus for displaying first image data and for transmitting higher resolution second data to portable projector and image data transmittion method used in the apparatus
US10205868B2 (en) Live view control device, live view control method, live view system, and program
US11570745B2 (en) Positioning method and apparatus
KR20110022901A (ko) 휴대용 단말기에서 이미지 인식을 통하여 디바이스 연결을 수행하기 위한 장치 및 방법
CN110187769B (zh) 一种预览图像查看方法、设备及计算机可读存储介质
US20180310248A1 (en) Information processing device, information processing method, and program
US20190052745A1 (en) Method For Presenting An Interface Of A Remote Controller In A Mobile Device
JP7009876B2 (ja) 投影システム及び通信接続方法
EP3952370A1 (en) Data transmission method and apparatus
WO2017138153A1 (ja) 端末装置、管理方法、制御方法、管理プログラム、及び制御プログラム
JPWO2013136702A1 (ja) 無線通信装置、無線通信方法、および無線通信制御プログラム
JP6815439B2 (ja) 仮想物体を表示する端末装置とサーバ装置とを含むシステム及び該サーバ装置
KR102285156B1 (ko) 무선단말 화면 크기 자동 변환 방법
KR20120014957A (ko) 무선 통신 시스템에서 와이 파이 기능을 향상시키기 위한 장치 및 방법
US20180114295A1 (en) Transmission control method and transmission control device
JP2021051789A (ja) 仮想物体を表示する端末装置とサーバ装置とを含むシステム及び該サーバ装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16889845

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2017566487

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16889845

Country of ref document: EP

Kind code of ref document: A1