WO2012023581A1 - 画像表示システム、画像表示システムに含まれる携帯型情報処理装置のためのコンピュータプログラム、及び画像表示方法 - Google Patents

画像表示システム、画像表示システムに含まれる携帯型情報処理装置のためのコンピュータプログラム、及び画像表示方法 Download PDF

Info

Publication number
WO2012023581A1
WO2012023581A1 PCT/JP2011/068665 JP2011068665W WO2012023581A1 WO 2012023581 A1 WO2012023581 A1 WO 2012023581A1 JP 2011068665 W JP2011068665 W JP 2011068665W WO 2012023581 A1 WO2012023581 A1 WO 2012023581A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
display
unit
state
information processing
Prior art date
Application number
PCT/JP2011/068665
Other languages
English (en)
French (fr)
Inventor
高康 伊田
Original Assignee
ブラザー工業株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ブラザー工業株式会社 filed Critical ブラザー工業株式会社
Publication of WO2012023581A1 publication Critical patent/WO2012023581A1/ja
Priority to US13/612,419 priority Critical patent/US9118875B2/en
Priority to US14/825,172 priority patent/US9865090B2/en

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B27/0172Head mounted characterised by optical features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/003Details of a display terminal, the details relating to the control arrangement of the display terminal and to the interfaces thereto
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/4104Peripherals receiving signals from specially adapted client devices
    • H04N21/4122Peripherals receiving signals from specially adapted client devices additional display device, e.g. video projector
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/414Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/41407Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance embedded in a portable device, e.g. video client on a mobile phone, PDA, laptop
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440245Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display the reformatting operation being performed only on part of the stream, e.g. a region of the image or a time segment
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/64Constructional details of receivers, e.g. cabinets or dust covers
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B2027/0178Eyeglass type
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00Aspects of data communication
    • G09G2370/16Use of wireless transmission of display information

Definitions

  • the present disclosure relates to an image display system including a portable information processing device and a head-mounted display, a computer program for the portable information processing device included in the image display system, and an image display method.
  • the portable information device of Patent Literature 1 includes a basic device, a holder, and a head mounted display.
  • the basic device is a PDA (Personal Digital Assistance).
  • the holder is an expansion device for adding a wearable PC function to the basic device.
  • a wearable PC is a personal computer that is worn and used. When the basic device is fitted in the holder, they operate as a wearable PC.
  • the head mounted display is connected to the holder. According to this portable information device, the partial display area of the display screen of the head mounted display is partially displayed in the upper display area of the liquid crystal panel of the basic device.
  • the entire image visually recognized by the user is displayed on the head mounted display, and a partial area of the image is displayed on the portable information processing device as a basic device including the PDA.
  • the portable information processing device as a basic device including the PDA.
  • both devices cannot communicate with each other due to various conditions. For example, when both devices are connected by wire, there is a possibility that the cable may get caught and fall off.
  • both devices are connected by short-range wireless communication, there is a possibility that wireless communication may be temporarily disabled due to the distance between the two devices or the presence of a shielding object. In such a case, it is not possible to display each related image by linking each device.
  • An object of the present disclosure is to provide an image display system capable of efficiently executing a suitable image display, a computer program for a portable information processing device included in the image display system, and an image display method. To do.
  • an image display system that includes a portable information processing device and a head mounted display, and the portable information processing device communicates with the head mounted display.
  • the portable information processing device inputs a first communication unit that communicates with the head mounted display, a first display unit that displays an image indicated by predetermined data, and a predetermined command to the portable information processing device.
  • a communication state determination unit that determines a communication state between the portable information processing device and the head mounted display, and a specific command that is one of the predetermined commands input by the operation unit
  • a region selection unit that selects at least a partial region of the image displayed on the first display unit; and a communication status determination unit.
  • partial image data indicating a partial image that is at least a partial region of the image selected by the region selection unit is transmitted from the first communication unit to the head-mounted display
  • the head-mounted display is configured by a second communication unit that communicates with the portable information processing device and predetermined data.
  • a second display unit that displays an image to be displayed, and the second partial image indicated by the partial image data received by the second communication unit in a first type state in which a display state is a predetermined visibility.
  • the portable information processing device and the head mounted display can communicate with each other, at least a partial region of the image displayed on the first display unit of the portable information processing device.
  • a partial image can be efficiently displayed on the second display unit of the head mounted display.
  • the user can preferably visually recognize the partial image on the head mounted display.
  • This image display system may be an image display system that further includes other components.
  • the portable information processing device displays the partial image on the first display unit when it is determined by the communication state determination means that the portable information processing device and the head mounted display cannot communicate with each other. You may make it further provide a 1st display control means. According to this, when the portable information processing device and the head mounted display cannot communicate, the partial image can be displayed on the portable information processing device. The user can visually recognize the partial image with the portable information processing device.
  • the head mounted display further includes second communication control means for transmitting region information related to the displayable region of the second display unit from the second communication unit to the portable information processing device,
  • the area selection unit may select an area according to the area information received by the first communication unit as the partial area. According to this, the partial area according to the displayable area of the second display unit of the head mounted display can be selected. Therefore, when displaying a partial image on the second display unit, it is possible to display the partial image suitably.
  • the portable information processing apparatus further includes a first operation information acquisition unit that acquires operation information related to an operation state of the operation unit, and the first communication control unit includes the first operation information acquisition unit.
  • the acquired operation information is transmitted from the first communication unit to the head mounted display, and the head mounted display allows the user viewing the image displayed on the second display unit to A see-through type head mounted display that can be viewed with an image of the outside world overlaid on the image, wherein the second display control means has the partial image on the second display unit in the first type state.
  • the display state of the partial image on the second display unit is set to a second type state where the image of the outside world can be visually recognized by comparing with the first type state, and the partial image is displayed on the second display unit in the second type state.
  • the display state of the partial image on the second display unit is displayed.
  • the first type state may be set. According to this, when the user operates the operation unit with the portable information processing device and inputs a predetermined command, the display state of the partial image displayed on the second display unit of the head mounted display is It is possible to make the operation unit easily visible. Therefore, the user can appropriately operate the operation unit and input a predetermined command.
  • the head mounted display is a see-through type head that allows a user viewing the image displayed on the second display unit to view an image of the external world existing by the user superimposed on the image.
  • the display device further comprises second operation information acquisition means for acquiring operation information relating to the state of operation on the operation unit, wherein the second display control means is configured such that the partial image is in the first type state.
  • the second display unit When the operation information acquired by the second operation information acquisition unit indicates a state in which the operation unit is operated in the state displayed on the second display unit, the second display unit The display state of the partial image is compared with the first type state to be a second type state where the image of the outside world can be visually recognized, and the partial image is displayed on the second display unit in the second type state.
  • the display state of the partial image on the second display unit is The first type state may be used. According to this, when the user operates the operation unit with the portable information processing device and inputs a predetermined command, the display state of the partial image displayed on the second display unit of the head mounted display is It is possible to make the operation unit easily visible. Therefore, the user can appropriately operate the operation unit and input a predetermined command.
  • an image display system including a head-mounted display, and includes a first communication unit that communicates with the head-mounted display, and a first display unit that displays an image indicated by predetermined data.
  • a computer program readable by a computer for controlling a portable information processing device comprising an operation unit for inputting a predetermined command, wherein the computer communicates with the portable information processing device and the head mounted display.
  • a communication state determination means for determining a state and a specific command that is one of the predetermined commands input by the operation unit, at least a partial region of the image displayed on the first display unit is selected.
  • the portable information processing apparatus and the head mounted device by the area selection means for When it is determined that communication with the spray is possible, the data indicates a partial image that is at least a partial area of the image selected by the area selection unit, and the partial image is displayed on the head mounted display.
  • the computer program for functioning as the first communication control means for transmitting the partial image data to be transmitted from the first communication unit to the head mounted display.
  • this computer program may be a computer program for a portable information processing apparatus that further includes the above-described configuration.
  • Still another aspect of the present disclosure is an image display method in an image display system that includes a portable information processing device and a head mounted display, and the portable information processing device communicates with the head mounted display,
  • An area selection step of selecting at least a partial area of the image displayed on the first display unit of the portable information processing device according to a predetermined command input to the operation unit of the portable information processing device;
  • a determination step of determining a communication state between the portable information processing device and the head mounted display; and when the determination step determines that the portable information processing device and the head mounted display can communicate with each other;
  • Display control step of displaying on the second display unit of the head mounted display in the first type state that is the visibility of the above.
  • an image display system capable of efficiently executing a suitable image display, and a computer program for a portable information processing apparatus included in the image display system.
  • FIG. 1 is an external view of a portable information processing device included in an image display system. It is a figure which shows an example of the external view of the head mounted display included in an image display system, and an example of the partial image visually recognized with a head mounted display. It is a figure which shows an example of an image display system, Comprising: It is a block diagram which shows the structure of a portable information processing apparatus and a head mounted display. It is a flowchart of the main process performed with a portable information processing apparatus. It is a flowchart of the process at the time of operation performed with a portable information processing apparatus. It is a flowchart of the main process performed with a head mounted display. It is a flowchart of the display state change process performed with a head mounted display.
  • the image display system 1 includes a portable information processing apparatus 10 shown in FIG. 1 and a head mounted display (hereinafter also referred to as “HMD”) 50 shown in FIG.
  • the user of the image display system 1 can simultaneously view the images shown in FIGS. 1 and 2 on the display unit 20 of the portable information processing apparatus 10 and the image display unit 68 of the HMD 50.
  • the portable information processing device 10 and the HMD 50 can communicate as shown in FIG.
  • the portable information processing apparatus 10 and the HMD 50 are wirelessly connected as shown in FIG. 3, for example, and communication between both apparatuses is realized by wireless communication. Examples of wireless communication include Bluetooth (registered trademark) or wireless LAN (Local Area Network).
  • both devices may be connected by wire using a predetermined communication cable so that the portable information processing device 10 and the HMD 50 communicate via this communication cable.
  • Examples of communication by wired connection include communication by local connection such as USB connection or communication by wired LAN. That is, communication between the portable information processing apparatus 10 and the HMD 50 is realized by various communication methods.
  • the portable information processing apparatus 10 is an apparatus capable of displaying an image including predetermined information, for example, an image having a mode as shown in FIG.
  • Examples of the portable information processing apparatus 10 include a mobile phone, a so-called smartphone, a tablet PC, or an electronic book.
  • the portable information processing apparatus 10 can perform communication (data communication) via the public line network 90 as shown in FIG.
  • An example of the public line network 90 is a cellular phone communication network.
  • the portable information processing apparatus 10 accesses a predetermined site on the Internet via, for example, the public network 90 and acquires image data indicating the portal site image as shown in FIG. .
  • the portable information processing device 10 accesses a storage device or storage medium other than a site on the Internet, and acquires image data indicating an image to be displayed.
  • the HMD 50 is a so-called see-through type HMD.
  • the user can visually recognize an image of the outside world where the user exists while visually recognizing the image displayed on the HMD 50.
  • a partial area of an image including predetermined information as shown in FIG. 1 displayed on the display unit 20 of the portable information processing apparatus 10, and a part of information as shown in FIG. A partial image including is displayed.
  • the user of the HMD 50 visually recognizes the partial image as shown in FIG.
  • the partial image is an enlarged image obtained by enlarging a part of an image including predetermined information.
  • the HMD 50 also displays the entire image as will be described later.
  • the HMD 50 has a frame structure 52 similar to normal glasses.
  • the HMD 50 is supported on the user's face by the frame structure 52.
  • An image display unit 68 is attached to a predetermined position of the frame structure 52.
  • the image display unit 68 displays an image visually recognized by the user on the user's eyes, for example, the left eye based on FIG.
  • the image display unit 68 is disposed at a position that is substantially the same height as the left eye of the user wearing the HMD 50 when attached to the frame structure 52.
  • the portable information processing apparatus 10 includes a CPU 12, a ROM 14, a RAM 16, a mobile line communication unit 18, a display unit 20, a communication unit 22, and an operation unit 24.
  • the CPU 12 controls various processes executed by the portable information processing apparatus 10.
  • the ROM 14 stores computer programs (application programs) for various processes executed by the portable information processing apparatus 10. For example, a computer program for processing shown in FIGS. 4 and 5 described later is stored.
  • the RAM 16 serves as a work area when various processes are executed in the portable information processing apparatus 10. That is, the CPU 12 executes the computer program stored in the ROM 14 on the RAM 16. For example, when starting the main process shown in FIG. 4 or the operation process shown in FIG. 5, the CPU 12 reads out the computer program for each of these processes from the ROM 14 and executes the read computer program on the RAM 16. In this way, various functions are executed and various functional means are configured.
  • the mobile line communication unit 18 executes communication with the public line network 90.
  • the entire image data indicating the entire image displayed on the display unit 20 is acquired by communication via the mobile line communication unit 18.
  • the display unit 20 displays an entire image or a partial image in a manner as shown in FIG.
  • the communication unit 22 performs wireless communication with the HMD 50, for example.
  • the communication unit 22 is configured by a communication I / F corresponding to this.
  • the communication unit 22 accesses the storage device and acquires the stored image data. You can also.
  • the operation unit 24 includes predetermined operation keys 26 and a touch panel function unit 28.
  • the user operates the operation keys 26 and / or the touch panel function unit 28 constituting the operation unit 24 and inputs a predetermined command to the portable information processing apparatus 10.
  • the portable information processing apparatus 10 may include an interface for mounting a predetermined storage medium, for example. According to such a configuration, it is also possible to acquire image data indicating an entire image to be displayed from this recording medium. Examples of the storage medium include a predetermined memory card and / or a USB memory. In this case, the portable information processing apparatus 10 includes a memory card slot and / or a USB connection interface.
  • the HMD 50 includes a CPU 56, a ROM 58, a RAM 60, an image processing unit 62, an image display unit 68, a communication unit 70, and an operation unit 72.
  • the CPU 56 controls various processes executed by the HMD 50.
  • the ROM 58 stores computer programs (application programs) for various processes executed by the HMD 50. For example, a computer program for processing shown in FIGS. 6 and 7 to be described later is stored.
  • the RAM 60 serves as a work area when various processes are executed by the HMD 50. That is, the CPU 56 executes the computer program stored in the ROM 58 on the RAM 60. For example, when starting the main process shown in FIG. 6 or the display state change process shown in FIG. 7, the CPU 56 reads the computer program for each of these processes from the ROM 58 and executes the read computer program on the RAM 60. In this way, various functions are executed and various functional means are configured.
  • the image processing unit 62 includes a graphics processing unit (hereinafter also referred to as “GPU”) 64 and a VRAM (Video RAM) 66.
  • the image processing unit 62 generates an image displayed on the image display unit 68 based on a command from the CPU 56, for example, an entire image or a partial image.
  • the GPU 64 performs a reproduction process on image data indicating an image such as an entire image or a partial image displayed on the image display unit 68, and generates this image.
  • the generated image is stored in the VRAM 66.
  • the image display unit 68 is composed of a retinal scanning display.
  • the retinal scanning display scans image light in a two-dimensional direction according to an image signal indicating an image such as a whole image or a partial image generated and stored by the image processing unit 62.
  • the image display unit 68 guides the scanned image light to the left eye of the user and forms an image on the retina.
  • the image light emitted from the image display unit 68 is reflected by the half mirror 54 disposed in front of the user's left eye and guided to the left eye.
  • the half mirror 54 is fixed to the image display unit 68.
  • the user wearing the HMD 50 visually recognizes an image such as an entire image or a partial image.
  • the image display unit 68 may be configured to use a liquid crystal display, an organic EL (Organic Electroluminescence) display, or other devices in addition to the retinal scanning display.
  • the displayable area (resolution) of the image display unit 68 is larger than the displayable area of the display unit 20 included in the portable information processing apparatus 10, for example.
  • the displayable area (resolution) of the image display unit 68 may be equal to or less than the displayable area of the display unit 20.
  • the communication unit 70 executes communication (wireless communication or wired communication) with the portable information processing apparatus 10, for example.
  • the configuration of the communication unit 70 is the same as that of the communication unit 22 included in the portable information processing apparatus 10. Therefore, the description is omitted.
  • the operation unit 72 is configured by, for example, a predetermined key. The user can input a predetermined command to the HMD 50 by operating the operation unit 72.
  • Each unit described above in the HMD 50 is housed in a housing constituting an image display unit 68 as shown in FIG. That is, the HMD 50 shown in FIGS. 2 and 3 is integrally formed.
  • the HMD 50 may be divided into a control box and an HMD main body, and may be an HMD having a configuration in which both devices are connected by a signal cable.
  • the CPU 56, the ROM 58, the RAM 60, the image processing unit 62, the communication unit 70, and the operation unit 72 shown in FIG. 3 are accommodated in the control box.
  • the image display unit 68 is attached to the frame structure 52 in the manner shown in FIG. 2 and constitutes the HMD main body together with the frame structure 52.
  • the control box and the HMD main body each include an interface for transmitting and receiving signals between both devices. Examples of signals transmitted and received between both devices include image signals and command signals.
  • the main process in the portable information processing apparatus 10 is started when the operation unit 24 is operated by the user and a command indicating the start of execution of the main process is input.
  • the user operates the operation unit 24 (the operation key 26 and / or the touch panel function unit 28) and inputs a command to start main processing.
  • the portable information processing apparatus 10 executes a process for displaying a predetermined image. Thereby, in the portable information processing apparatus 10, an entire image as shown in FIG. 1 is displayed on the display unit 20, for example.
  • the CPU 12 that has started the main process determines whether or not it is in a communication state with the HMD 50, that is, in a state where communication with the HMD 50 is possible (S100).
  • the CPU 12 determines whether or not wireless communication with the HMD 50 is possible in S100. If the portable information processing device 10 and the HMD 50 are connected by wire, the CPU 12 determines whether or not a communication cable is connected to the communication unit 22 in S100, and if connected, the HMD 50 is further connected. It is determined whether or not wired communication is possible.
  • the CPU 12 shifts the processing to S102. On the other hand, when the communication is possible (S100: Yes), the CPU 12 shifts the process to S106.
  • S ⁇ b> 102 the CPU 12 determines whether a partial area as an enlarged range to be enlarged is selected from the entire image displayed on the display unit 20. The partial area is designated by the touch panel function unit 28 operated by the user. The CPU 12 selects a part designated via the touch panel function unit 28 as a partial area as an enlarged range. A dotted line shown in FIG. 1 indicates a designated partial area, and a part designated by a dotted line is selected as a partial area.
  • the part designated via the touch panel function unit 28 may be recognized by the user. For example, when this portion is surrounded by a predetermined frame as shown in FIG. 1, the user can easily recognize it.
  • the CPU 12 shifts the process to S122.
  • the partial image is an image as shown in FIG. 2 and is an image in which a partial region surrounded by a dotted line in FIG. 1 is enlarged.
  • the partial image displayed in S104 is generated by the image processing unit 62 from the entire image data indicating the entire image including the partial image.
  • CPU12 which displayed the partial image transfers a process to S122.
  • the CPU 12 controls the communication unit 22 and transmits a transmission request for area information regarding the displayable area to the HMD 50.
  • the displayable area that is the target of the transmission request indicates a range (resolution) that can be displayed on the image display unit 68, and the area information related thereto is information that indicates the range (resolution) that can be displayed on the image display unit 68. is there.
  • the area information regarding the displayable area for example, the aspect ratio of the range that can be displayed by the image display unit 68 can be specified.
  • This transmission request is received by the HMD 50 in the state where the determination in S300 of FIG. 6 is affirmed (S300: Yes).
  • the CPU 12 determines whether or not the area information transmitted from the HMD 50 is received in response to the transmission request (S108). This region information is transmitted from the HMD 50 in S304 of FIG. If the area information is not received as a result of the determination (S108: No), the CPU 12 shifts the process to S112. On the other hand, when the area information is received (S108: Yes), regarding the selection of the partial area as the enlargement range, the selected partial area is fixed to the aspect ratio indicated by the received area information (S110). ). According to this, the designation of the partial area by the touch panel function unit 28 is limited to a fixed aspect ratio. The aspect ratio of the partial area selected by the CPU 12 becomes a fixed aspect ratio. After executing S110, the CPU 12 shifts the process to S112.
  • the CPU 12 determines whether a partial area is selected from the entire image displayed on the display unit 20.
  • the process of S112 is the same as that of S102 mentioned above, and the selection of a partial area is selected according to the designation via the touch panel function unit 28, as described above. If the partial area is not selected as a result of the determination (S112: No), the CPU 12 controls the communication unit 22 to transmit the entire image data indicating the entire image displayed on the display unit 20 to the HMD 50. (S114).
  • the entire image data is received by the HMD 50.
  • the determination in S306 of FIG. 6 is executed based on whether or not the entire image data has been received. Subsequently, the CPU 12 executes an on-operation process (S116). The operation process will be described later. After executing S116, the CPU 12 shifts the process to S122.
  • the CPU 12 controls the communication unit 22 to display partial image data indicating the partial image that is the selected partial area. Is transmitted to the HMD 50 (S118). If S110 has been executed, the partial image data transmitted in S118 indicates a partial image having an aspect ratio fixed in S110. The partial image data is generated from the entire image data according to the selected partial area. The partial image data is received by the HMD 50. In the HMD 50, the determination in S306 of FIG. 6 is executed based on whether or not the partial image data is received. Subsequently, the CPU 12 executes an on-operation process (S120). The operation process will be described later. After executing S120, the CPU 12 shifts the process to S122.
  • S120 on-operation process
  • the CPU 12 determines whether an instruction to end the main process is input.
  • the termination command is input when the user operates the operation unit 24 (the operation key 26 and / or the touch panel function unit 28). As a result of the determination, if a termination command has not been input (S122: No), the CPU 12 returns the process to S100 and repeats the above processes. On the other hand, when a termination command is input (S122: Yes), the CPU 12 terminates the main process.
  • the on-operation process shown in FIG. 5 is executed in S116 or S120 of FIG. 4 described above.
  • CPU12 which started the process at the time of operation judges whether operation of the operation part 24 was started as a state of operation with respect to the operation part 24 (S200). For example, in order to scroll the news included in the frame of the “NEWS” tab included in the entire image displayed in FIG. 1 displayed on the display unit 20 and the partial image illustrated in FIG. 2 displayed on the image display unit 68.
  • the CPU 12 determines that the operation unit 24 is operated. If the operation is not started as a result of the determination (S200: No), the CPU 12 shifts the process to S208.
  • the CPU 12 controls the communication unit 22 and transmits the operation state to the HMD 50 (S202).
  • the operation state is information relating to the state of operation on the operation unit 24, and is operation information indicating that input of a predetermined command to the operation unit 24 is started and input.
  • the operation state is received by the HMD 50.
  • the determination in S400 of FIG. 7 is executed based on whether or not the operation state is received.
  • the CPU 12 determines whether or not the operation of the operation unit 24 is completed as the operation state of the operation unit 24 (S204).
  • the operation to be determined is an operation that causes the determination in S200 to be affirmative (S200: Yes). For example, when the scrolling of each news included in the “NEWS” tab frame by the touch panel function unit 28 is stopped, the CPU 12 determines that the operation related to the scrolling is completed. When the operation continues, the CPU 12 determines that the operation has not been completed. If the operation is not completed as a result of the determination (S204: No), the CPU 12 waits until the operation is completed.
  • the CPU 12 controls the communication unit 22 and transmits the operation completion to the HMD 50 (S206).
  • the operation completion is information relating to the state of operation on the operation unit 24, and is operation information indicating that the input of a predetermined command to the operation unit 24 has been completed and has not been input.
  • the operation completion is received by the HMD 50.
  • the determination in S404 of FIG. 7 is executed based on whether or not the operation completion is received.
  • the CPU 12 determines whether or not the communication state with the HMD 50, that is, the communication with the HMD 50 is possible (S208).
  • the process of S208 is the same as that of S100 described above. Therefore, the description is omitted.
  • the CPU 12 returns the process to S200 and repeats the above processes.
  • the CPU 12 clears the selected partial area (S210). Note that the partial area is selected, for example, in the determination in S102 or S112 of FIG.
  • the CPU 12 ends the operation time process. And CPU12 transfers a process to S122 of FIG.
  • the main process in the HMD 50 is started when the HMD 50 is turned on, for example.
  • the operation unit 72 may be operated by the user and may be started when a command indicating the start of execution of the main process is input.
  • the CPU 56 that has started the main process determines whether it is in a communication state with the portable information processing device 10, that is, in a state where communication with the portable information processing device 10 is possible (S300).
  • the CPU 56 determines whether or not wireless communication with the portable information processing device 10 is possible in S300. If the portable information processing apparatus 10 and the HMD 50 are connected by wire, the CPU 56 determines whether or not a communication cable is connected to the communication unit 70 in S300. It is determined whether wired communication with the information processing apparatus 10 is possible. If it is determined that communication is not possible (S300: No), the CPU 56 waits until communication with the portable information processing apparatus 10 is established.
  • the CPU 56 determines whether a transmission request has been received (S302).
  • the transmission request is transmitted from the portable information processing apparatus 10 in S106 of FIG.
  • the transmission request is received by the communication unit 70.
  • the CPU 56 waits until a transmission request is received.
  • the CPU 56 executes a process according to the transmission request from the portable information processing device 10. That is, the CPU 56 controls the communication unit 70 and transmits region information regarding the displayable region of the image display unit 68 to the portable information processing apparatus 10 (S304). This displayable area is received by the portable information processing apparatus 10.
  • the determination in S108 of FIG. 4 is executed based on whether or not the area information is received.
  • the CPU 56 determines whether image data has been received (S306).
  • the image data received by the HMD 50 in S306 is either whole image data or partial image data.
  • the entire image data is transmitted from the portable information processing apparatus 10 in S114 of FIG.
  • the partial image data is transmitted from the portable information processing apparatus 10 in S118 of FIG. Any one of the whole image data and the partial image data is received by the communication unit 70.
  • the CPU 56 shifts the process to S310.
  • the CPU 56 displays the image indicated by the received image data in accordance with the displayable area (aspect ratio) of the image display unit 68. This is displayed on the part 68 (S308). That is, when either one of the whole image data and the partial image data is received, the image processing unit 62 processes the whole image data or the partial image data based on a command from the CPU 56, and the display unit shown in FIG. The whole image of the aspect currently displayed on 20 or the partial image shown in FIG. 2 is produced
  • the GPU 64 performs a reproduction process on the entire image data or the partial image data, and generates an entire image or a partial image that matches the displayable area of the image display unit 68.
  • the generated whole image or partial image is stored in the VRAM 66.
  • the CPU 56 controls the image display unit 68, and scans the image light corresponding to the image signal indicating the whole image or the partial image generated and stored by the image processing unit 62 in the two-dimensional direction.
  • the scanned image light is reflected by the half mirror 54, guided to the user's left eye, and an image is formed on the retina.
  • the entire image or the partial image is displayed on the image display unit 68.
  • the user visually recognizes the entire image or the partial image.
  • the partial image data transmitted in S118 in FIG. 4 is received after S110 in FIG. 4 is executed, the partial image data has the aspect ratio in the displayable area of the image display unit 68 as described above. This is data indicating a partial image having a matching aspect ratio. This is because, in the portable information processing apparatus 10, the aspect ratio is fixed in accordance with the area information transmitted in S304 in S110 of FIG. 4, and a partial area is designated and selected with the fixed aspect ratio.
  • the CPU 56 determines whether an instruction to end the main process has been input (S310).
  • the termination command is input by the user operating the operation unit 72. Note that the CPU 56 determines that an end command has been input even when the power of the image display unit 68 is turned off among the components of the HMD 50 illustrated in FIG. 3. As a result of the determination, if a termination command has not been input (S310: No), the CPU 56 returns the process to S306 and repeats the above processes. On the other hand, if an end command is input (S310: Yes), the CPU 56 ends the main process.
  • the display state change process shown in FIG. 7 is executed in parallel with the main process in the HMD 50 described above with reference to FIG.
  • the CPU 56 that has started the display state change process determines whether an operation state has been received (S400).
  • the operation state is transmitted from the portable information processing apparatus 10 in S202 of FIG.
  • the operation state is received by the communication unit 70.
  • the CPU 56 shifts the process to S408.
  • the CPU 56 decreases the visibility of the image displayed on the image display unit 68, specifically, the entire image or the partial image. This makes it easier for the user to visually recognize the external image via the half mirror 54.
  • the user can preferably visually recognize and operate the operation unit 24 of the portable information processing apparatus 10.
  • various methods can be adopted as a method of reducing visibility.
  • a method of reducing the image size of the displayed whole image or partial image can be employed.
  • the CPU 56 determines whether an operation completion has been received (S404).
  • the operation completion is transmitted from the portable information processing apparatus 10 in S206 of FIG.
  • the operation completion is received by the communication unit 70. If the operation completion is not received as a result of the determination (S404: No), the CPU 56 waits until the operation completion is received. On the other hand, when the operation completion is received (S404: Yes), the CPU 56 returns the visibility of the image (entire image or partial image) whose visibility has been reduced in S402 to the state before the execution of S402 (S406). . Thereby, the user can preferably visually recognize the entire image or the partial image.
  • the CPU 56 determines whether or not the communication state with the portable information processing apparatus 10, that is, the state where communication with the portable information processing apparatus 10 is possible (S408).
  • the process of S408 is the same as S300 described above. Therefore, the description is omitted.
  • the CPU 56 returns the process to S400 and repeats the above processes.
  • the display state changing process is terminated.
  • the user is the same image as the entire image displayed on the portable information processing apparatus 10 or a partial area of the entire image displayed by the above-described processes.
  • the partial image can be visually recognized with the HMD 50.
  • the image display system 1 according to the first embodiment is suitable in the following points. That is, the displayable area of the display unit 20 included in the portable information processing apparatus 10 is limited to a size that takes into account the portability of the apparatus, and is smaller than, for example, a stationary personal computer. Therefore, depending on the image to be displayed, it may be difficult to appropriately visually recognize and recognize the contents indicated by the image such as various information included in the image.
  • the image display system 1 when the portable information processing device 10 and the HMD 50 can communicate with each other (S100 in FIG. 4, S300 in FIG. 6: Yes), the entire image displayed on the portable information processing device 10 is displayed. Among these, a partial area is selected (S112 in FIG. 4: Yes), and a partial image that is a partial area of the entire image can be viewed with the HMD 50 (S120 in FIG. 4, S308 in FIG. 6). Therefore, the image display system 1 can achieve suitable visibility particularly with respect to a partial image of a partial region that the user wants to visually recognize among the entire image.
  • the HMD 50 includes an imaging unit that can capture an image of the outside world.
  • a CCD sensor is exemplified as the imaging unit.
  • An imaging unit such as a CCD sensor is attached to a predetermined position of the HMD 50 that can capture an image of the outside world in the user's line-of-sight direction. For example, it is attached to the upper surface of the image display unit 68.
  • the user visually recognizes the operation unit 24 to be operated. That is, when the user operates the operation unit 24, the imaging unit images the state of operation on the operation unit 24. Instead of the determination in S400 of FIG.
  • the CPU 56 of the HMD 50 performs image analysis on the captured data indicating the state of the captured operation and determines whether or not the operation unit 24 is operated. As a result of the determination, when the operation unit 24 is operated, the CPU 56 executes S402 in FIG. If the operation unit 24 is not operated and this determination is negative, the CPU 56 continues image analysis until it is determined to start.
  • the CPU 56 captures again the operation state of the operation unit 24 imaged by the imaging unit. Note that imaging may be performed continuously. Then, instead of the determination of S404 in FIG. 7, the CPU 56 performs image analysis on the captured data indicating the state of the captured operation, and determines whether or not the operation unit 24 is operated. As a result of the determination, when the operation unit 24 is not operated because the operation of the operation unit 24 is completed, the CPU 56 sequentially executes S406 and S408 of FIG. When the operation unit 24 is operated, the CPU 56 continues image analysis until it is determined that the operation unit 24 is completed.
  • the imaging data functions as operation information regarding the state of operation on the operation unit 24.
  • S200 to S206 in FIG. 5 are omitted. That is, in the operation time process shown in FIG. 5, the CPU 12 determines the communication state with the HMD 50 (S208), and when the communication is not possible (S208: No), clears the selected partial area (S210). ).

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Optics & Photonics (AREA)
  • Software Systems (AREA)
  • Controls And Circuits For Display Device (AREA)
  • User Interface Of Digital Computer (AREA)
  • Digital Computer Display Output (AREA)

Abstract

携帯型情報処理装置10とヘッドマウントディスプレイ(HMD)50とが通信する画像表示システム1である。携帯型情報処理装置10は、通信部22と表示部20と操作部24とを備える。携帯型情報処理装置10では、HMD50との通信状態が判断され、操作部24によって入力された特定の指令に従い、表示部20に表示中の画像の少なくとも一部領域が選択され、両装置が通信できる場合、一部領域である部分画像を示す部分画像データが、通信部22からHMD50に送信される。HMD50は、通信部70と画像表示部68とを備える。HMD50では、通信部70で受信された部分画像データによって示される部分画像が、画像表示部68で表示される。

Description

画像表示システム、画像表示システムに含まれる携帯型情報処理装置のためのコンピュータプログラム、及び画像表示方法
 本開示は、携帯型情報処理装置とヘッドマウントディスプレイとを含む画像表示システム、画像表示システムに含まれる携帯型情報処理装置のためのコンピュータプログラム、及び画像表示方法に関する。
 従来から、携帯可能な各種の装置又はシステムが提案されている。例えば、携帯情報装置が提案されている(例えば、特許文献1参照)。特許文献1の携帯情報装置は、基本装置と、ホルダと、ヘッドマウントディスプレイとで構成される。この携帯情報装置において、基本装置は、PDA(Personal Digital Assistance)である。ホルダは、基本装置に付加してウエアラブルPC機能を持たせるための拡張装置である。特許文献1においてウエアラブルPCとは、身につけて使用するパーソナルコンピュータであるとされている。基本装置がホルダに嵌合された場合、これらはウエアラブルPCとして動作する。ヘッドマウントディスプレイは、ホルダに接続される。この携帯情報装置によれば、基本装置の液晶パネルの上側表示領域に、ヘッドマウントディスプレイの表示画面の部分表示領域が部分表示される。
特開2003-279881号公報
 ところで、特許文献1のような構成によれば、ユーザによって視認される画像の全体がヘッドマウントディスプレイで表示され、その画像の一部領域がPDAを含む基本装置としての携帯型情報処理装置で表示される。ここで、携帯型情報処理装置とヘッドマウントディスプレイとを含む画像表示システムでは、諸条件により、両装置が通信することができなくなる状態が生じる場合がある。例えば、両装置が有線接続されている場合、ケーブルが引っ掛かり脱落する可能性が考えられる。或いは、両装置が近距離無線で接続されている場合、両装置の距離が離れたり遮蔽物が存在するなどにより、無線通信が一時的にできなくなる可能性が考えられる。このような場合、各装置を連動させて、それぞれ関連した各画像を表示することができない。
 本開示は、好適な画像の表示を効率的に実行することができる画像表示システム、画像表示システムに含まれる携帯型情報処理装置のためのコンピュータプログラム、及び画像表示方法を提供することを目的とする。
 上記従来の課題に鑑みなされた本開示の一側面は、携帯型情報処理装置とヘッドマウントディスプレイとを含み、前記携帯型情報処理装置と前記ヘッドマウントディスプレイとが通信する画像表示システムであって、前記携帯型情報処理装置は、前記ヘッドマウントディスプレイと通信する第一通信部と、所定のデータによって示される画像を表示する第一表示部と、前記携帯型情報処理装置に対する所定の指令を入力する操作部と、前記携帯型情報処理装置と前記ヘッドマウントディスプレイとの通信状態を判断する通信状態判断手段と、前記操作部によって入力された前記所定の指令の一つである特定の指令に従い、前記第一表示部に表示されている前記画像の少なくとも一部領域を選択する領域選択手段と、前記通信状態判断手段によって前記携帯型情報処理装置と前記ヘッドマウントディスプレイとが通信できる状態であると判断された場合、前記領域選択手段によって選択された前記画像の少なくとも一部領域である部分画像を示す部分画像データを、前記第一通信部から前記ヘッドマウントディスプレイに送信する第一通信制御手段と、を備え、前記ヘッドマウントディスプレイは、前記携帯型情報処理装置と通信する第二通信部と、所定のデータによって示される画像を表示する第二表示部と、前記第二通信部で受信された前記部分画像データによって示される前記部分画像を、表示状態が所定の視認性である第一種状態で前記第二表示部に表示する第二表示制御手段と、を備える画像表示システムである。
 これによれば、携帯型情報処理装置とヘッドマウントディスプレイとが通信できる状態であると判断された場合において、携帯型情報処理装置の第一表示部で表示されている画像の少なくとも一部領域である部分画像を、効率的に、ヘッドマウントディスプレイの第二表示部で表示することができる。ユーザは、ヘッドマウントディスプレイにおいて部分画像を好適に視認することができる。
 この画像表示システムは、他の構成をさらに含む画像表示システムとすることもできる。前記携帯型情報処理装置は、前記通信状態判断手段によって前記携帯型情報処理装置と前記ヘッドマウントディスプレイとが通信できない状態であると判断された場合、前記部分画像を前記第一表示部に表示する第一表示制御手段を、さらに備える、ようにしてもよい。これによれば、携帯型情報処理装置とヘッドマウントディスプレイとが通信できない状態である場合には、部分画像を携帯型情報処理装置で表示することができる。ユーザは、部分画像を携帯型情報処理装置で視認することができる。
 また、前記ヘッドマウントディスプレイは、前記第二表示部の表示可能領域に関する領域情報を、前記第二通信部から前記携帯型情報処理装置に送信する第二通信制御手段を、さらに備え、前記携帯型情報処理装置において、前記領域選択手段は、前記第一通信部で受信された前記領域情報に従った領域を前記一部領域として選択する、ようにしてもよい。これによれば、ヘッドマウントディスプレイの第二表示部の表示可能領域に従った一部領域が選択されるようにすることができる。従って、第二表示部で部分画像を表示する場合に、部分画像を好適に表示することができる。
 また、前記携帯型情報処理装置は、前記操作部に対する操作の状態に関する操作情報を取得する第一操作情報取得手段を、さらに備え、前記第一通信制御手段は、前記第一操作情報取得手段によって取得された前記操作情報を、前記第一通信部から前記ヘッドマウントディスプレイに送信し、前記ヘッドマウントディスプレイは、前記第二表示部に表示されている前記画像を視認しているユーザが、前記ユーザが存する外界の像を前記画像と重ねて視認することができるシースルー型のヘッドマウントディスプレイであって、前記第二表示制御手段は、前記部分画像が前記第一種状態で前記第二表示部に表示されている状態において、前記第二通信部で受信された前記操作情報が、前記操作部が操作されている状態を示している場合、前記第二表示部での前記部分画像の表示状態を前記第一種状態と比較して前記外界の像を視認できる第二種状態とし、前記部分画像が前記第二種状態で前記第二表示部に表示されている状態において、前記第二通信部で受信された前記操作情報が、前記操作部が操作されていない状態を示している場合、前記第二表示部での前記部分画像の表示状態を前記第一種状態とする、ようにしてもよい。これによれば、ユーザが、携帯型情報処理装置で操作部を操作し、所定の指令を入力している場合、ヘッドマウントディスプレイの第二表示部で表示されている部分画像の表示状態を、操作部を視認し易い状態とすることができる。従って、ユーザは適切に操作部を操作し、所定の指令を入力することができる。
 また、前記ヘッドマウントディスプレイは、前記第二表示部に表示されている前記画像を視認しているユーザが、前記ユーザが存する外界の像を前記画像と重ねて視認することができるシースルー型のヘッドマウントディスプレイであって、前記操作部に対する操作の状態に関する操作情報を取得する第二操作情報取得手段を、さらに備え、前記第二表示制御手段は、前記部分画像が前記第一種状態で前記第二表示部に表示されている状態において、前記第二操作情報取得手段で取得された前記操作情報が、前記操作部が操作されている状態を示している場合、前記第二表示部での前記部分画像の表示状態を前記第一種状態と比較して前記外界の像を視認できる第二種状態とし、前記部分画像が前記第二種状態で前記第二表示部に表示されている状態において、前記第二操作情報取得手段で取得された前記操作情報が、前記操作部が操作されていない状態を示している場合、前記第二表示部での前記部分画像の表示状態を前記第一種状態とする、ようにしてもよい。これによれば、ユーザが、携帯型情報処理装置で操作部を操作し、所定の指令を入力している場合、ヘッドマウントディスプレイの第二表示部で表示されている部分画像の表示状態を、操作部を視認し易い状態とすることができる。従って、ユーザは適切に操作部を操作し、所定の指令を入力することができる。
 また、本開示の他の側面は、ヘッドマウントディスプレイを含む画像表示システムに含まれ、前記ヘッドマウントディスプレイと通信する第一通信部と、所定のデータによって示される画像を表示する第一表示部と、所定の指令を入力する操作部と、を備える携帯型情報処理装置を制御するコンピュータが読み取り可能なコンピュータプログラムであって、前記コンピュータを、前記携帯型情報処理装置と前記ヘッドマウントディスプレイとの通信状態を判断する通信状態判断手段と、前記操作部によって入力された前記所定の指令の一つである特定の指令に従い、前記第一表示部に表示されている前記画像の少なくとも一部領域を選択する領域選択手段と、前記通信状態判断手段によって前記携帯型情報処理装置と前記ヘッドマウントディスプレイとが通信できる状態であると判断された場合、前記領域選択手段によって選択された前記画像の少なくとも一部領域である部分画像を示すデータであって、前記部分画像を前記ヘッドマウントディスプレイで表示させるための部分画像データを、前記第一通信部から前記ヘッドマウントディスプレイに送信する第一通信制御手段と、して機能させるためのコンピュータプログラムである。
 これによれば、本発明の一側面における携帯型情報処理装置を実現することができる。なお、このコンピュータプログラムは、上述した構成をさらに含む携帯型情報処理装置のためのコンピュータプログラムとすることもできる。
 また、本開示のさらに他の側面は、携帯型情報処理装置とヘッドマウントディスプレイとを含み、前記携帯型情報処理装置と前記ヘッドマウントディスプレイとが通信する画像表示システムにおける画像表示方法であって、前記携帯型情報処理装置の操作部に対して入力された所定の指令に従い、前記携帯型情報処理装置の第一表示部に表示されている画像の少なくとも一部領域を選択する領域選択ステップと、前記携帯型情報処理装置と前記ヘッドマウントディスプレイとの通信状態を判断する判断ステップと、前記判断ステップによって前記携帯型情報処理装置と前記ヘッドマウントディスプレイとが通信できる状態であると判断された場合、前記領域選択ステップによって選択された前記画像の少なくとも一部領域である部分画像を示す部分画像データを、前記携帯型情報処理装置から前記ヘッドマウントディスプレイに送信する通信ステップと、前記携帯型情報処理装置から送信された前記部分画像データによって示される前記部分画像を、表示状態が所定の視認性である第一種状態で前記ヘッドマウントディスプレイの第二表示部に表示する表示制御ステップと、を備える画像表示方法である。
 本発明によれば、好適な画像の表示を効率的に実行することができる画像表示システム、及び画像表示システムに含まれる携帯型情報処理装置のためのコンピュータプログラムを得ることができる。
画像表示システムに含まれる携帯型情報処理装置の外観図である。 画像表示システムに含まれるヘッドマウントディスプレイの外観図と、ヘッドマウントディスプレイで視認される部分画像の一例を示す図である。 画像表示システムの一例を示す図であって、携帯型情報処理装置及びヘッドマウントディスプレイの構成を示すブロック図である。 携帯型情報処理装置で実行されるメイン処理のフローチャートである。 携帯型情報処理装置で実行される操作時処理のフローチャートである。 ヘッドマウントディスプレイで実行されるメイン処理のフローチャートである。 ヘッドマウントディスプレイで実行される表示状態変更処理のフローチャートである。
 本発明を実施するための実施形態について、図面を用いて説明する。本発明は、以下に記載の構成に限定されるものではなく、同一の技術的思想において種々の構成を採用することができる。例えば、以下に示す構成の一部は、省略し又は他の構成等に置換してもよい。また、他の構成を含むようにしてもよい。
 <画像表示システム>
 画像表示システム1は、図1に示す携帯型情報処理装置10と、図2に示すヘッドマウントディスプレイ(以下、「HMD」ともいう。)50とを含む。画像表示システム1のユーザは、携帯型情報処理装置10の表示部20と、HMD50の画像表示部68とで、例えば、図1及び図2に示すような各画像を同時に視認することができる。画像表示システム1において、携帯型情報処理装置10とHMD50とは、図3に示すように通信することができる。携帯型情報処理装置10とHMD50とは、例えば図3に示すように無線接続されており、両装置間の通信は無線通信によって実現される。無線通信としては、Bluetooth(登録商標)又は無線LAN(Local Area Network)等が例示される。なお、両装置を所定の通信ケーブルを用いて有線接続し、携帯型情報処理装置10とHMD50とが、この通信ケーブルを介して通信するようにしてもよい。有線接続による通信としては、USB接続等のローカル接続による通信又は有線LANによる通信が例示される。つまり、携帯型情報処理装置10とHMD50との通信は、各種の通信方式によって実現される。
 携帯型情報処理装置10は、所定の情報を含む画像、例えば図1に示すような態様の画像を表示することができる装置である。携帯型情報処理装置10としては、携帯電話機、いわゆるスマートフォン、タブレットPC又は電子ブック等が例示される。携帯型情報処理装置10は、図3に示すような公衆回線網90等を介した通信(データ通信)を行うことができる。公衆回線網90としては、携帯電話通信網が例示される。表示される画像について、携帯型情報処理装置10は、例えば、公衆回線網90を介してインターネット上の所定のサイトにアクセスし、図1に示すようなポータルサイトの画像を示す画像データを取得する。この他、携帯型情報処理装置10は、インターネット上のサイト以外の記憶装置又は記憶媒体にアクセスし、表示される画像を示す画像データを取得する。
 HMD50は、いわゆるシースルー型のHMDである。ユーザは、図2に示す状態において、HMD50において表示される画像を視認しつつ、ユーザが存する外界の像を、表示される画像と重ねて視認することができる。HMD50では、例えば、携帯型情報処理装置10の表示部20に表示されている図1に示すような所定の情報を含む画像の一部領域であって、図2に示すような一部の情報を含む部分画像が表示される。HMD50のユーザは、図2に示すように、部分画像を視認する。なお、部分画像は、所定の情報を含む画像の一部を拡大した拡大画像である。以下では、例えば図1に示すような画像であって、部分画像を一部領域として含む画像を「全体画像」ともいい、全体画像を示す画像データを「全体画像データ」ともいう。また、HMD50には部分画像の他、後述するように全体画像も表示される。HMD50は、通常の眼鏡と同様のフレーム構造52を有する。HMD50は、フレーム構造52によって、ユーザの顔に支持される。フレーム構造52の所定の位置には、画像表示部68が取り付けられている。画像表示部68は、ユーザが視認する画像を、ユーザの眼、例えば図2に基づけば、左眼に表示する。画像表示部68は、フレーム構造52に取り付けられた状態において、HMD50を装着したユーザの左眼と略同一の高さとなる位置に配置されている。
 携帯型情報処理装置10は、図3に示すように、CPU12と、ROM14と、RAM16と、モバイル回線通信部18と、表示部20と、通信部22と、操作部24とを備える。CPU12は、携帯型情報処理装置10で実行される各種処理を制御する。ROM14は、携帯型情報処理装置10で実行される各種処理のためのコンピュータプログラム(アプリケーションプログラム)を記憶する。例えば、後述する図4及び図5に示す処理のためのコンピュータプログラムを記憶する。RAM16は、携帯型情報処理装置10で各種処理が実行される際の作業領域となる。つまり、CPU12は、RAM16上でROM14に記憶されたコンピュータプログラムを実行する。例えば、CPU12は、図4に示すメイン処理又は図5に示す操作時処理を開始する場合、これら各処理のためのコンピュータプログラムを、ROM14から読み出し、読み出したコンピュータプログラムをRAM16上で実行する。このようにして、各種の機能が実行され、各種の機能手段が構成される。
 モバイル回線通信部18は、公衆回線網90との間の通信を実行する。携帯型情報処理装置10では、モバイル回線通信部18を介した通信によって、表示部20で表示される全体画像を示す全体画像データが取得される。表示部20は、図1に示すような態様で全体画像又は部分画像を表示する。通信部22は、例えばHMD50との間の無線通信を実行する。携帯型情報処理装置10とHMD50とが、有線によって接続される場合、通信部22は、これに対応した通信I/Fによって構成される。なお、画像表示システム1を含むシステムに、表示対象の画像を示す画像データを記憶する記憶装置が含まれる場合、通信部22は、この記憶装置にアクセスし、記憶された画像データを取得することもできる。
 操作部24は、所定の操作キー26及びタッチパネル機能部28によって構成される。ユーザは、操作部24を構成する操作キー26及び/又はタッチパネル機能部28を操作し、携帯型情報処理装置10に対する所定の指令を入力する。なお、携帯型情報処理装置10は、上記の他、例えば所定の記憶媒体を装着するためのインターフェースを備えていてもよい。このような構成によれば、この記録媒体から表示対象の全体画像を示す画像データを取得することもできる。記憶媒体としては、例えば所定のメモリカード及び/又はUSBメモリ等が例示される。この場合、携帯型情報処理装置10は、メモリカードスロット及び/又はUSB接続インターフェースを備える。
 HMD50は、図3に示すように、CPU56と、ROM58と、RAM60と、画像処理部62と、画像表示部68と、通信部70と、操作部72とを備える。CPU56は、HMD50で実行される各種処理を制御する。ROM58は、HMD50で実行される各種処理のためのコンピュータプログラム(アプリケーションプログラム)を記憶する。例えば、後述する図6及び図7に示す処理のためのコンピュータプログラムを記憶する。RAM60は、HMD50で各種処理が実行される際の作業領域となる。つまり、CPU56は、RAM60上でROM58に記憶されたコンピュータプログラムを実行する。例えば、CPU56は、図6に示すメイン処理又は図7に示す表示状態変更処理を開始する場合、これら各処理のためのコンピュータプログラムを、ROM58から読み出し、読み出したコンピュータプログラムをRAM60上で実行する。このようにして、各種の機能が実行され、各種の機能手段が構成される。
 画像処理部62には、グラフィックス・プロセッシング・ユニット(以下、「GPU」ともいう。)64と、VRAM(Video RAM)66とが搭載されている。画像処理部62は、CPU56からの指令に基づき画像表示部68で表示される画像、例えば全体画像又は部分画像を生成する。具体的に、GPU64は、画像表示部68で表示される全体画像又は部分画像等の画像を示す画像データを対象として再生処理を実行し、この画像を生成する。生成された画像はVRAM66に記憶される。
 画像表示部68は、網膜走査型ディスプレイによって構成される。網膜走査型ディスプレイは、画像処理部62で生成され記憶されている全体画像又は部分画像等の画像を示す画像信号に応じた画像光を2次元方向に走査する。画像表示部68は、その走査された画像光をユーザの左眼に導き網膜上に画像を形成する。画像表示部68から出射された画像光は、ユーザの左眼前方の位置に配置されたハーフミラー54で反射して、左眼に導かれる。ハーフミラー54は、画像表示部68に固定されている。HMD50を装着しているユーザは、このようにして、全体画像又は部分画像等の画像を視認する。画像表示部68は、網膜走査型ディスプレイの他、液晶ディスプレイ、有機EL(Organic Electroluminescence)ディスプレイその他の装置を用いた構成とすることもできる。画像表示部68の表示可能領域(解像度)は、例えば、携帯型情報処理装置10が備える表示部20の表示可能領域より大きいサイズである。なお、画像表示部68の表示可能領域(解像度)は、表示部20の表示可能領域以下であってもよい。
 通信部70は、例えば携帯型情報処理装置10との間の通信(無線通信又は有線通信)を実行する。通信部70の構成は、携帯型情報処理装置10が備える通信部22と同様である。従って、その説明は省略する。操作部72は、例えば所定のキーなどによって構成される。ユーザは、操作部72を操作し、HMD50に対する所定の指令を入力することができる。HMD50において上述した各部は、図2に示すような画像表示部68を構成する筐体内部に収納されている。つまり、図2及び図3に示すHMD50は、一体で構成されている。ここで、HMD50は、制御ボックスとHMD本体に分けて構成され、両装置が信号ケーブルによって接続された構成のHMDとしてもよい。この場合、図3に示す、CPU56と、ROM58と、RAM60と、画像処理部62と、通信部70と、操作部72とが、制御ボックス内に収容される。また、画像表示部68が、図2に示す態様でフレーム構造52に取り付けられ、フレーム構造52と共にHMD本体を構成する。制御ボックス及びHMD本体は、それぞれ両装置間で信号を送受信するためのインターフェースを備える。両装置間で送受信される信号には、画像信号及び指令信号等が例示される。
 以下、画像表示システム1で実現される動作に関し、携帯型情報処理装置10で実行される処理と、HMD50で実行される処理とを説明する。
 <携帯型情報処理装置で実行される処理>
 携帯型情報処理装置10で実行される処理として、図4に示すメイン処理と、図5に示す操作時処理とを説明する。
  (メイン処理)
 携帯型情報処理装置10におけるメイン処理は、ユーザによって操作部24が操作され、メイン処理の実行の開始を示す指令が入力された場合に開始される。ユーザは、操作部24(操作キー26及び/又はタッチパネル機能部28)を操作し、メイン処理の開始の指令を入力する。なお、メイン処理の開始に先立ち、携帯型情報処理装置10では、所定の画像を表示するための処理が実行されている。これによって、携帯型情報処理装置10では、表示部20に、例えば図1に示すような全体画像が表示されている。メイン処理を開始したCPU12は、HMD50との通信状態、つまりHMD50と通信できる状態であるか否かを判断する(S100)。携帯型情報処理装置10とHMD50とが無線接続されている場合、S100でCPU12は、HMD50と無線通信可能か否かを判断する。なお、携帯型情報処理装置10とHMD50とが有線接続されている場合、S100でCPU12は、通信部22に通信ケーブルが接続されているか否かを判断し、接続されている場合、さらにHMD50と有線通信可能であるか否かを判断する。
 S100の判断の結果、通信できない状態である場合(S100:No)、CPU12は、処理をS102に移行する。一方、通信できる状態である場合(S100:Yes)、CPU12は、処理をS106に移行する。S102でCPU12は、表示部20に表示されている全体画像のうち、拡大表示される拡大範囲としての一部領域が選択されているかについて判断する。一部領域は、タッチパネル機能部28がユーザによって操作されて指定される。CPU12は、タッチパネル機能部28を介した指定された部分を、拡大範囲としての一部領域として選択する。図1に示す点線は、指定された一部領域を示すものであって、点線で指定された部分が一部領域として選択される。なお、タッチパネル機能部28を介して指定された部分は、ユーザが認識できるようにするとよい。例えば、この部分が、図1に示すように、所定の枠で囲まれた状態になると、ユーザは認識し易くなる。判断の結果、一部領域が選択されていない場合(S102:No)、CPU12は、処理をS122に移行する。一方、一部領域が選択されている場合(S102:Yes)、CPU12は、選択された一部領域である部分画像を表示部20に表示する(S104)。部分画像は、図2に示すような画像であって、図1において点線で囲まれた一部領域が拡大された画像である。S104で表示される部分画像は、画像処理部62で、部分画像を含む全体画像を示す全体画像データから生成される。部分画像を表示したCPU12は、処理をS122に移行する。
 S106でCPU12は、通信部22を制御し、表示可能領域に関する領域情報の送信要求をHMD50に送信する。送信要求の対象となる表示可能領域は、画像表示部68で表示できる範囲(解像度)を示すものであって、それに関する領域情報は、画像表示部68で表示できる範囲(解像度)を示す情報である。表示可能領域に関する領域情報によれば、例えば画像表示部68で表示できる範囲のアスペクト比を特定することができる。なお、この送信要求は、図6のS300の判断が肯定された状態(S300:Yes)において、HMD50で受信される。送信要求を送信した後、CPU12は、送信要求に応じてHMD50から送信される領域情報を受信したかについて判断する(S108)。なお、この領域情報は、図6のS304でHMD50から送信される。判断の結果、領域情報が受信されない場合(S108:No)、CPU12は、処理をS112に移行する。一方、領域情報が受信されている場合(S108:Yes)、拡大範囲としての一部領域の選択に関し、選択される一部領域を、受信された領域情報によって示されるアスペクト比に固定する(S110)。これによれば、タッチパネル機能部28による一部領域の指定は、固定されたアスペクト比に制限される。そして、CPU12によって選択される一部領域のアスペクト比は、固定されたアスペクト比となる。S110を実行した後、CPU12は、処理をS112に移行する。
 S112でCPU12は、表示部20に表示されている全体画像のうち、一部領域が選択されているかについて判断する。S112の処理は、上述したS102と同様であり、一部領域の選択は、上記同様、タッチパネル機能部28を介した指定に従って選択される。判断の結果、一部領域が選択されていない場合(S112:No)、CPU12は、通信部22を制御し、表示部20に表示されている全体画像を示す全体画像データを、HMD50に送信する(S114)。なお、この全体画像データは、HMD50で受信される。HMD50では、この全体画像データの受信の有無に基づき、図6のS306の判断が実行される。続けてCPU12は、操作時処理を実行する(S116)。操作時処理については、後述する。S116を実行した後、CPU12は、処理をS122に移行する。
 これに対し、S112で一部領域が選択されていると判断された場合(S112:Yes)、CPU12は、通信部22を制御し、選択された一部領域である部分画像を示す部分画像データを、HMD50に送信する(S118)。S110が実行されていた場合、S118で送信される部分画像データは、S110で固定されたアスペクト比である部分画像を示す。部分画像データは、選択された一部領域に従い全体画像データから生成される。なお、この部分画像データは、HMD50で受信される。HMD50では、この部分画像データの受信の有無に基づき、図6のS306の判断が実行される。続けてCPU12は、操作時処理を実行する(S120)。操作時処理については、後述する。S120を実行した後、CPU12は、処理をS122に移行する。
 S122でCPU12は、メイン処理の終了の指令が入力されているかについて判断する。終了の指令は、ユーザが操作部24(操作キー26及び/又はタッチパネル機能部28)を操作することで、入力される。判断の結果、終了の指令が入力されていない場合(S122:No)、CPU12は、処理をS100に戻し、上記各処理を繰り返して実行する。一方、終了の指令が入力されている場合(S122:Yes)、CPU12は、メイン処理を終了する。
  (操作時処理)
 図5に示される操作時処理は、上述した図4のS116又はS120において実行される。操作時処理を開始したCPU12は、操作部24に対する操作の状態として、操作部24の操作が開始されたかについて判断する(S200)。例えば、表示部20で表示されている図1に示す全体画像及び画像表示部68で表示されている図2に示す部分画像に含まれる「NEWS」タブのフレームに含まれる各ニュースをスクロールさせるために、タッチパネル機能部28が操作された場合、CPU12は、操作部24が操作されたと判断する。判断の結果、操作が開始されていない場合(S200:No)、CPU12は、処理をS208に移行する。一方、操作が開始されている場合(S200:Yes)、CPU12は、通信部22を制御し、操作状態をHMD50に送信する(S202)。操作状態は、操作部24に対する操作の状態に関する情報であって、操作部24に対する所定の指令の入力が開始され、入力されていることを示す操作情報である。なお、操作状態は、HMD50で受信される。HMD50では、この操作状態の受信の有無に基づき、図7のS400の判断が実行される。
 続けてCPU12は、操作部24に対する操作の状態として、操作部24の操作が完了したかについて判断する(S204)。判断の対象となる操作は、S200の判断が肯定(S200:Yes)される原因となった操作である。例えば、タッチパネル機能部28による「NEWS」タブのフレームに含まれる各ニュースのスクロールが停止された場合、CPU12は、このスクロールに関する操作が完了したと判断する。操作が継続している場合、CPU12は、操作が完了していないと判断する。判断の結果、操作が完了していない場合(S204:No)、CPU12は、操作が完了されるまで待機する。一方、操作が完了している場合(S204:Yes)、CPU12は、通信部22を制御し、操作完了をHMD50に送信する(S206)。操作完了は、操作部24に対する操作の状態に関する情報であって、操作部24に対する所定の指令の入力が完了し、入力されていないことを示す操作情報である。なお、操作完了は、HMD50で受信される。HMD50では、この操作完了の受信の有無に基づき、図7のS404の判断が実行される。
 S206を実行した後、CPU12は、HMD50との通信状態、つまりHMD50と通信できる状態であるか否かを判断する(S208)。S208の処理は、上述したS100と同様である。従って、その説明は省略する。判断の結果、通信できる状態である場合(S208:Yes)、CPU12は、処理をS200に戻し、上記各処理を繰り返して実行する。一方、通信できない状態である場合(S208:No)、CPU12は、選択されている一部領域をクリアする(S210)。なお、一部領域は、例えば図4のS102又はS112の判断に際し選択されている。S210を実行した後、CPU12は、操作時処理を終了する。そして、CPU12は、処理を図4のS122に移行する。
 <HMDで実行される処理>
 HMD50で実行される処理として、図6に示すメイン処理と、図7に示す表示状態変更処理とを説明する。
  (メイン処理)
 HMD50におけるメイン処理は、例えばHMD50の電源が入れられた場合に開始される。なお、ユーザによって操作部72が操作され、メイン処理の実行の開始を示す指令が入力された場合に開始されるようにしてもよい。メイン処理を開始したCPU56は、携帯型情報処理装置10との通信状態、つまり携帯型情報処理装置10と通信できる状態であるか否かを判断する(S300)。携帯型情報処理装置10とHMD50とが無線接続されている場合、S300でCPU56は、携帯型情報処理装置10と無線通信可能か否かを判断する。なお、携帯型情報処理装置10とHMD50とが有線接続されている場合、S300でCPU56は、通信部70に通信ケーブルが接続されているか否かを判断し、接続されている場合、さらに携帯型情報処理装置10と有線通信可能であるか否かを判断する。判断の結果、通信できない状態である場合(S300:No)、CPU56は、携帯型情報処理装置10と通信できる状態となるまで待機する。
 これに対し、通信できる状態である場合(S300:Yes)、CPU56は、送信要求を受信したかについて判断する(S302)。送信要求は、図4のS106で携帯型情報処理装置10から送信される。送信要求は、通信部70によって受信される。判断の結果、送信要求が受信されていない場合(S302:No)、CPU56は、送信要求が受信されるまで待機する。一方、送信要求が受信されている場合(S302:Yes)、CPU56は、携帯型情報処理装置10からの送信要求に応じた処理を実行する。つまり、CPU56は、通信部70を制御し、画像表示部68の表示可能領域に関する領域情報を携帯型情報処理装置10に送信する(S304)。なお、この表示可能領域は、携帯型情報処理装置10で受信される。携帯型情報処理装置10では、この領域情報の受信の有無に基づき、図4のS108の判断が実行される。
 続けてCPU56は、画像データを受信したかについて判断する(S306)。S306においてHMD50で受信される画像データは、全体画像データ及び部分画像データの何れかである。全体画像データは、図4のS114で携帯型情報処理装置10から送信される。部分画像データは、図4のS118で携帯型情報処理装置10から送信される。全体画像データ及び部分画像データの何れかの画像データは、通信部70によって受信される。判断の結果、画像データが受信されていない場合(S306:No)、CPU56は、処理をS310に移行する。
 これに対し、画像データが受信されている場合(S306:Yes)、CPU56は、受信された画像データによって示される画像を、画像表示部68の表示可能領域(アスペクト比)に合わせて、画像表示部68に表示する(S308)。つまり、全体画像データ及び部分画像データの何れか一方の画像データが受信された場合、CPU56からの指令に基づき画像処理部62は、全体画像データ又は部分画像データを処理し、図1の表示部20に表示されている態様の全体画像又は図2に示す部分画像を生成する。この際、画像処理部62は、所定のアスペクト比である画像表示部68の表示可能領域に合わせたサイズの全体画像又は部分画像を生成する。具体的には、GPU64は、全体画像データ又は部分画像データを対象として再生処理を実行し、画像表示部68の表示可能領域に合わせられた全体画像又は部分画像を生成する。生成された全体画像又は部分画像はVRAM66に記憶される。
 その後、S308でCPU56は、画像表示部68を制御し、画像処理部62で生成され記憶されている全体画像又は部分画像を示す画像信号に応じた画像光を2次元方向に走査する。その走査された画像光は、ハーフミラー54で反射し、ユーザの左眼に導かれ、網膜上に画像が形成される。このようにして、全体画像又は部分画像が、画像表示部68で表示される。ユーザは、全体画像又は部分画像を視認する。なお、図4のS110が実行された後に図4のS118で送信された部分画像データが受信された場合、この部分画像データは、上述した通り、画像表示部68の表示可能領域におけるアスペクト比に一致したアスペクト比の部分画像を示すデータである。携帯型情報処理装置10では、図4のS110でアスペクト比が、S304で送信された領域情報に従って固定され、固定されたアスペクト比で一部領域が指定されて選択されるためである。
 S308を実行した後、CPU56は、メイン処理の終了の指令が入力されているかについて判断する(S310)。終了の指令は、ユーザが操作部72を操作することで入力される。なお、CPU56は、図3に示すHMD50の各構成のうち、画像表示部68の電源が切られた場合も、終了の指令が入力されたと判断する。判断の結果、終了の指令が入力されていない場合(S310:No)、CPU56は、処理をS306に戻し、上記各処理を繰り返して実行する。一方、終了の指令が入力されている場合(S310:Yes)、CPU56は、メイン処理を終了する。
  (表示状態変更処理)
 図7に示される表示状態変更処理は、図6を参照して上述したHMD50におけるメイン処理に並行して実行される。表示状態変更処理を開始したCPU56は、操作状態を受信したかについて判断する(S400)。操作状態は、図5のS202で携帯型情報処理装置10から送信される。操作状態は、通信部70によって受信される。判断の結果、操作状態が受信されていない場合(S400:No)、CPU56は、処理をS408に移行する。一方、操作状態が受信されている場合(S400:Yes)、CPU56は、画像表示部68で表示されている画像、具体的には全体画像又は部分画像の視認性を落とす。これによって、ユーザは、ハーフミラー54を介して外界像を視認し易くなる。従って、ユーザは、携帯型情報処理装置10の操作部24を好適に視認し、操作することができる。ここで、視認性を落とす方法としては、種々の方法を採用することができる。例えば、表示されている全体画像又は部分画像の画像サイズを小さくする方法を採用することができる。また、表示されている全体画像又は部分画像に対して、色濃度を薄くしたり輝度を落としたりする方法を採用することができる。なお、全体画像又は部分画像は、図6のS308で表示されている。
 続けてCPU56は、操作完了を受信したかについて判断する(S404)。操作完了は、図5のS206で携帯型情報処理装置10から送信される。操作完了は、通信部70によって受信される。判断の結果、操作完了が受信されていない場合(S404:No)、CPU56は、操作完了が受信されるまで待機する。一方、操作完了が受信されている場合(S404:Yes)、CPU56は、S402で視認性を落とした画像(全体画像又は部分画像)の視認性を、S402の実行前の状態に戻す(S406)。これによって、ユーザは、全体画像又は部分画像を好適に視認することができる。
 S406を実行した後、CPU56は、携帯型情報処理装置10との通信状態、つまり携帯型情報処理装置10と通信できる状態であるか否かを判断する(S408)。S408の処理は、上述したS300と同様である。従って、その説明は省略する。判断の結果、通信できる状態である場合(S408:Yes)、CPU56は、処理をS400に戻し、上記各処理を繰り返して実行する。一方、通信できない状態である場合(S408:No)、表示状態変更処理を終了する。
 本実施形態の画像表示システム1では、ユーザは、上述した各処理によって、携帯型情報処理装置10で表示されている全体画像と同一の画像又は同じく表示されている全体画像の一部領域である部分画像を、HMD50で視認することができる。特に、本実施形態1の画像表示システム1は、次の点において好適である。つまり、携帯型情報処理装置10が備える表示部20の表示可能領域は、装置の携帯性が考慮されたサイズに制限されており、例えば据置型のパーソナルコンピュータ等と比較すると小さい。そのため、表示させる画像によっては、画像に含まれる各種の情報等といった画像が示す内容を好適に視認し認識することが困難となる場合もある。画像表示システム1によれば、携帯型情報処理装置10とHMD50とが通信できる状態である場合(図4のS100、図6S300:Yes)、携帯型情報処理装置10で表示されている全体画像のうち、一部領域を選択し(図4のS112:Yes)、全体画像の一部領域である部分画像をHMD50で視認することができる(図4のS120、図6のS308)。そのため、画像表示システム1は、全体画像のうち、特にユーザが視認したい一部領域の部分画像に関し、好適な視認性を実現することができる。
 上記では、携帯型情報処理装置10の操作部24の操作が開始された場合(図5のS200:Yes)に、携帯型情報処理装置10からHMD50に向けて、操作状態が送信されるようにした(図5のS202)。そして、HMD50において操作状態が受信され、図7のS400の判断が肯定された場合(図7のS400:Yes)、画像表示部68で表示されている全体画像又は部分画像の表示状態に関し、視認性を落とすようにした(図7のS402)。
 このような構成は、次のようにすることもできる。HMD50は、外界の像を撮像可能な撮像部を備える。撮像部としては、CCDセンサが例示される。CCDセンサのような撮像部は、ユーザの視線方向における外界の像を撮像することが可能な、HMD50の所定の位置に取り付けられる。例えば、画像表示部68の上面に取り付けられる。ユーザは、携帯型情報処理装置10の操作部24を操作する場合、操作する操作部24を視認する。つまり、ユーザが操作部24を操作する場合、撮像部は、操作部24に対する操作の状態を撮像する。HMD50のCPU56は、図7のS400の判断に代えて、撮像された操作の状態を示す撮像データを画像解析し、操作部24が操作されているか否かを判断する。判断の結果、操作部24が操作されている場合、CPU56は、上記同様、図7のS402を実行する。なお、操作部24が操作されておらず、この判断が否定される場合、CPU56は、開始と判断されるまで、画像解析を継続する。
 また、CPU56は、S402を実行した後、再度、撮像部によって撮像されている操作部24に対する操作の状態を撮像する。なお、撮像は、継続して行われる様にしてもよい。そして、CPU56は、図7のS404の判断に代えて、撮像された操作の状態を示す撮像データを画像解析し、操作部24が操作されているか否かを判断する。判断の結果、操作部24の操作が完了する等して、操作部24が操作されていない場合、CPU56は、上記同様、図7のS406及びS408を順次実行する。なお、操作部24が操作されている場合、CPU56は、完了と判断されるまで、画像解析を継続する。
 このような構成によっても、上記同様、ユーザは、ハーフミラー54を介して外界像を視認し易くなる。従って、ユーザは、携帯型情報処理装置10の操作部24を好適に視認し、操作することができる。この別の構成において、撮像データは、操作部24に対する操作の状態に関する操作情報として機能する。なお、この別の構成によれば、図5のS200~S206は、省略される。つまり、図5に示す操作時処理でCPU12は、HMD50との通信状態を判断し(S208)、通信できない状態である場合には(S208:No)、選択された一部領域をクリアする(S210)。
 1 画像表示システム
 10 携帯型情報処理装置
 12 CPU
 14 ROM
 16 RAM
 20 表示部
 22 通信部
 24 操作部
 50 HMD(ヘッドマウントディスプレイ)
 56 CPU
 58 ROM
 60 RAM
 62 画像処理部
 68 画像表示部
 70 通信部
 72 操作部

Claims (7)

  1.  携帯型情報処理装置とヘッドマウントディスプレイとを含み、前記携帯型情報処理装置と前記ヘッドマウントディスプレイとが通信する画像表示システムであって、
     前記携帯型情報処理装置は、
     前記ヘッドマウントディスプレイと通信する第一通信部と、
     所定のデータによって示される画像を表示する第一表示部と、
     前記携帯型情報処理装置に対する所定の指令を入力する操作部と、
     前記携帯型情報処理装置と前記ヘッドマウントディスプレイとの通信状態を判断する通信状態判断手段と、
     前記操作部によって入力された前記所定の指令の一つである特定の指令に従い、前記第一表示部に表示されている前記画像の少なくとも一部領域を選択する領域選択手段と、
     前記通信状態判断手段によって前記携帯型情報処理装置と前記ヘッドマウントディスプレイとが通信できる状態であると判断された場合、前記領域選択手段によって選択された前記画像の少なくとも一部領域である部分画像を示す部分画像データを、前記第一通信部から前記ヘッドマウントディスプレイに送信する第一通信制御手段と、を備え、
     前記ヘッドマウントディスプレイは、
     前記携帯型情報処理装置と通信する第二通信部と、
     所定のデータによって示される画像を表示する第二表示部と、
     前記第二通信部で受信された前記部分画像データによって示される前記部分画像を、表示状態が所定の視認性である第一種状態で前記第二表示部に表示する第二表示制御手段と、を備える画像表示システム。
  2.  前記携帯型情報処理装置は、
     前記通信状態判断手段によって前記携帯型情報処理装置と前記ヘッドマウントディスプレイとが通信できない状態であると判断された場合、前記部分画像を前記第一表示部に表示する第一表示制御手段を、さらに備える、請求項1に記載の画像表示システム。
  3.  前記ヘッドマウントディスプレイは、
     前記第二表示部の表示可能領域に関する領域情報を、前記第二通信部から前記携帯型情報処理装置に送信する第二通信制御手段を、さらに備え、
     前記携帯型情報処理装置において、
     前記領域選択手段は、前記第一通信部で受信された前記領域情報に従った領域を前記一部領域として選択する、請求項2に記載の画像表示システム。
  4.  前記携帯型情報処理装置は、
     前記操作部に対する操作の状態に関する操作情報を取得する第一操作情報取得手段を、さらに備え、
     前記第一通信制御手段は、前記第一操作情報取得手段によって取得された前記操作情報を、前記第一通信部から前記ヘッドマウントディスプレイに送信し、
     前記ヘッドマウントディスプレイは、
     前記第二表示部に表示されている前記画像を視認しているユーザが、前記ユーザが存する外界の像を前記画像と重ねて視認することができるシースルー型のヘッドマウントディスプレイであって、
     前記第二表示制御手段は、
     前記部分画像が前記第一種状態で前記第二表示部に表示されている状態において、前記第二通信部で受信された前記操作情報が、前記操作部が操作されている状態を示している場合、前記第二表示部での前記部分画像の表示状態を前記第一種状態と比較して前記外界の像を視認できる第二種状態とし、
     前記部分画像が前記第二種状態で前記第二表示部に表示されている状態において、前記第二通信部で受信された前記操作情報が、前記操作部が操作されていない状態を示している場合、前記第二表示部での前記部分画像の表示状態を前記第一種状態とする、請求項1から請求項3の何れか1項に記載の画像表示システム。
  5.  前記ヘッドマウントディスプレイは、
     前記第二表示部に表示されている前記画像を視認しているユーザが、前記ユーザが存する外界の像を前記画像と重ねて視認することができるシースルー型のヘッドマウントディスプレイであって、
     前記操作部に対する操作の状態に関する操作情報を取得する第二操作情報取得手段を、さらに備え、
     前記第二表示制御手段は、
     前記部分画像が前記第一種状態で前記第二表示部に表示されている状態において、前記第二操作情報取得手段で取得された前記操作情報が、前記操作部が操作されている状態を示している場合、前記第二表示部での前記部分画像の表示状態を前記第一種状態と比較して前記外界の像を視認できる第二種状態とし、
     前記部分画像が前記第二種状態で前記第二表示部に表示されている状態において、前記第二操作情報取得手段で取得された前記操作情報が、前記操作部が操作されていない状態を示している場合、前記第二表示部での前記部分画像の表示状態を前記第一種状態とする、請求項1から請求項3の何れか1項に記載の画像表示システム。
  6.  ヘッドマウントディスプレイを含む画像表示システムに含まれ、前記ヘッドマウントディスプレイと通信する第一通信部と、所定のデータによって示される画像を表示する第一表示部と、所定の指令を入力する操作部と、を備える携帯型情報処理装置を制御するコンピュータが読み取り可能なコンピュータプログラムであって、
     前記コンピュータを、
     前記携帯型情報処理装置と前記ヘッドマウントディスプレイとの通信状態を判断する通信状態判断手段と、
     前記操作部によって入力された前記所定の指令の一つである特定の指令に従い、前記第一表示部に表示されている前記画像の少なくとも一部領域を選択する領域選択手段と、
     前記通信状態判断手段によって前記携帯型情報処理装置と前記ヘッドマウントディスプレイとが通信できる状態であると判断された場合、前記領域選択手段によって選択された前記画像の少なくとも一部領域である部分画像を示すデータであって、前記部分画像を前記ヘッドマウントディスプレイで表示させるための部分画像データを、前記第一通信部から前記ヘッドマウントディスプレイに送信する第一通信制御手段と、して機能させるためのコンピュータプログラム。
  7.  携帯型情報処理装置とヘッドマウントディスプレイとを含み、前記携帯型情報処理装置と前記ヘッドマウントディスプレイとが通信する画像表示システムにおける画像表示方法であって、
     前記携帯型情報処理装置の操作部に対して入力された所定の指令に従い、前記携帯型情報処理装置の第一表示部に表示されている画像の少なくとも一部領域を選択する領域選択ステップと、
     前記携帯型情報処理装置と前記ヘッドマウントディスプレイとの通信状態を判断する判断ステップと、
     前記判断ステップによって前記携帯型情報処理装置と前記ヘッドマウントディスプレイとが通信できる状態であると判断された場合、前記領域選択ステップによって選択された前記画像の少なくとも一部領域である部分画像を示す部分画像データを、前記携帯型情報処理装置から前記ヘッドマウントディスプレイに送信する通信ステップと、
     前記携帯型情報処理装置から送信された前記部分画像データによって示される前記部分画像を、表示状態が所定の視認性である第一種状態で前記ヘッドマウントディスプレイの第二表示部に表示する表示制御ステップと、
    を備える画像表示方法。
PCT/JP2011/068665 2010-08-18 2011-08-18 画像表示システム、画像表示システムに含まれる携帯型情報処理装置のためのコンピュータプログラム、及び画像表示方法 WO2012023581A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US13/612,419 US9118875B2 (en) 2010-08-18 2012-09-12 Systems for displaying images on portable display devices and head-mountable displays, methods for controlling such systems, and computer-readable storage media storing instructions for controlling such systems
US14/825,172 US9865090B2 (en) 2010-08-18 2015-08-13 Portable information processor and method of controlling head-mountable display

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2010-183519 2010-08-18
JP2010183519A JP5630141B2 (ja) 2010-08-18 2010-08-18 画像表示システム、画像表示システムに含まれる携帯型情報処理装置のためのコンピュータプログラム、画像表示システムに含まれるヘッドマウントディスプレイ、及び画像表示方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US13/612,419 Continuation-In-Part US9118875B2 (en) 2010-08-18 2012-09-12 Systems for displaying images on portable display devices and head-mountable displays, methods for controlling such systems, and computer-readable storage media storing instructions for controlling such systems

Publications (1)

Publication Number Publication Date
WO2012023581A1 true WO2012023581A1 (ja) 2012-02-23

Family

ID=45605234

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2011/068665 WO2012023581A1 (ja) 2010-08-18 2011-08-18 画像表示システム、画像表示システムに含まれる携帯型情報処理装置のためのコンピュータプログラム、及び画像表示方法

Country Status (3)

Country Link
US (2) US9118875B2 (ja)
JP (1) JP5630141B2 (ja)
WO (1) WO2012023581A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015189974A1 (ja) * 2014-06-13 2015-12-17 三菱電機株式会社 画像表示装置および画像表示プログラム

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9886231B2 (en) 2008-03-28 2018-02-06 Kopin Corporation Head worn wireless computer having high-resolution display suitable for use as a mobile internet device
US10013976B2 (en) 2010-09-20 2018-07-03 Kopin Corporation Context sensitive overlays in voice controlled headset computer displays
US10627860B2 (en) 2011-05-10 2020-04-21 Kopin Corporation Headset computer that uses motion and voice commands to control information display and remote devices
US8929954B2 (en) * 2012-04-25 2015-01-06 Kopin Corporation Headset computer (HSC) as auxiliary display with ASR and HT input
JP6209906B2 (ja) 2013-09-05 2017-10-11 セイコーエプソン株式会社 頭部装着型表示装置、頭部装着型表示装置を制御する方法、画像表示システム
US20150062164A1 (en) * 2013-09-05 2015-03-05 Seiko Epson Corporation Head mounted display, method of controlling head mounted display, computer program, image display system, and information processing apparatus
US10451874B2 (en) 2013-09-25 2019-10-22 Seiko Epson Corporation Image display device, method of controlling image display device, computer program, and image display system
KR101811813B1 (ko) 2013-12-26 2017-12-22 세이코 엡슨 가부시키가이샤 영상 표시 시스템, 영상 표시 시스템을 구성하는 영상 송신 장치 및 영상 수신 표시 장치 사이의 영상 무선 전송 규격에 따른 접속 방법, 컴퓨터 프로그램을 갖는 컴퓨터 판독 가능 기록 매체, 영상 송신 장치, 및 영상 수신 표시 장치
JP5929933B2 (ja) * 2014-01-16 2016-06-08 カシオ計算機株式会社 表示システム、表示端末、表示方法及びプログラム
WO2016038615A1 (en) * 2014-09-11 2016-03-17 Selaflex Ltd An apparatus and method for displaying an output from a display
KR102265086B1 (ko) * 2014-11-07 2021-06-15 삼성전자 주식회사 정보를 공유하기 위한 가상 환경
JP6451238B2 (ja) 2014-11-17 2019-01-16 セイコーエプソン株式会社 映像を送信または受信する装置、装置を制御する方法、コンピュータープログラム
KR102329295B1 (ko) 2015-01-09 2021-11-19 삼성디스플레이 주식회사 헤드 마운티드 디스플레이 장치
CN105554392A (zh) * 2016-01-20 2016-05-04 京东方科技集团股份有限公司 显示切换装置及其切换方法、穿戴显示装置及其显示方法
JP6690277B2 (ja) * 2016-02-09 2020-04-28 富士通株式会社 画像処理制御方法、画像処理制御プログラムおよび情報処理装置
JP6759974B2 (ja) * 2016-10-25 2020-09-23 富士通株式会社 送信制御プログラム、送信制御方法および情報処理装置
WO2018190826A1 (en) * 2017-04-12 2018-10-18 Hewlett-Packard Development Company, L.P. Transfer to head mounted display
JP2019036914A (ja) * 2017-08-21 2019-03-07 ウエストユニティス株式会社 連携表示システム
JP7013850B2 (ja) 2017-12-22 2022-02-01 セイコーエプソン株式会社 処理装置、表示システム、及びプログラム
CN113330509A (zh) * 2019-01-07 2021-08-31 芋头科技(杭州)有限公司 移动设备集成视觉增强系统
US20230367536A1 (en) * 2020-10-09 2023-11-16 Maxell, Ltd. Portable terminal, head mounted display, and cooperative display system thereof
CN112596609A (zh) * 2020-12-25 2021-04-02 维沃移动通信有限公司 显示处理方法、显示处理装置和可穿戴设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000181421A (ja) * 1997-10-07 2000-06-30 Masanobu Kujirada 親子連携型表示システム
JP2008059511A (ja) * 2006-09-04 2008-03-13 Brother Ind Ltd 携帯端末装置及びヘッドマウントディスプレイを用いた電子メール閲覧システム及び電子メール閲覧方法
JP2008059510A (ja) * 2006-09-04 2008-03-13 Brother Ind Ltd 携帯端末装置及びヘッドマウントディスプレイを用いた電子メール閲覧システム及び電子メール閲覧方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0716329B1 (en) * 1994-06-23 2003-08-27 Seiko Epson Corporation Head-mounted display device
US6167413A (en) * 2000-03-09 2000-12-26 Daley, Iii; Charles A. Wearable computer apparatus
JP2003279883A (ja) * 2002-03-21 2003-10-02 良彰 ▲秦▼ 表示装置付き帽子
JP2003279881A (ja) * 2002-03-27 2003-10-02 Hitachi Ltd 携帯情報装置
JP4475595B2 (ja) * 2004-06-18 2010-06-09 パイオニア株式会社 情報表示装置、ナビゲーション装置
JP5201015B2 (ja) * 2009-03-09 2013-06-05 ブラザー工業株式会社 ヘッドマウントディスプレイ

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000181421A (ja) * 1997-10-07 2000-06-30 Masanobu Kujirada 親子連携型表示システム
JP2008059511A (ja) * 2006-09-04 2008-03-13 Brother Ind Ltd 携帯端末装置及びヘッドマウントディスプレイを用いた電子メール閲覧システム及び電子メール閲覧方法
JP2008059510A (ja) * 2006-09-04 2008-03-13 Brother Ind Ltd 携帯端末装置及びヘッドマウントディスプレイを用いた電子メール閲覧システム及び電子メール閲覧方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015189974A1 (ja) * 2014-06-13 2015-12-17 三菱電機株式会社 画像表示装置および画像表示プログラム

Also Published As

Publication number Publication date
US9865090B2 (en) 2018-01-09
US20130002701A1 (en) 2013-01-03
US9118875B2 (en) 2015-08-25
JP2012044429A (ja) 2012-03-01
US20150348331A1 (en) 2015-12-03
JP5630141B2 (ja) 2014-11-26

Similar Documents

Publication Publication Date Title
JP5630141B2 (ja) 画像表示システム、画像表示システムに含まれる携帯型情報処理装置のためのコンピュータプログラム、画像表示システムに含まれるヘッドマウントディスプレイ、及び画像表示方法
CN109992231B (zh) 投屏方法及终端
US8855719B2 (en) Wireless hands-free computing headset with detachable accessories controllable by motion, body gesture and/or vocal commands
CN107977144B (zh) 一种截屏处理方法及移动终端
US9055158B2 (en) Vehicular apparatus, mobile phone, and instrument coordination system
US9817628B2 (en) Display system, display terminal, display method and computer readable recording medium having program thereof
US7061449B2 (en) Portable information terminal, information viewing method, and program
US20030156097A1 (en) Display apparatus, portable terminal, data display system and control method of the data display system
US10642348B2 (en) Display device and image display method
EP3416392A1 (en) Video display system
KR20150023293A (ko) Asr 및 ht 입력을 갖는 보조 디스플레이로서 헤드셋 컴퓨터(hsc)
US20150070247A1 (en) Information processing apparatus, information processing method, and program
CN107952242B (zh) 一种终端软件体验方法、终端及计算机可读存储介质
JP2016122975A (ja) 表示装置、及び、表示装置の制御方法
WO2012029647A1 (ja) 携帯型情報処理装置、携帯型情報処理装置のためのコンピュータプログラム、及び表示制御方法
CN111399792B (zh) 一种内容共享方法及电子设备
CN109636715B (zh) 图像数据的传输方法、装置及存储介质
JP2012160096A (ja) 情報処理装置、情報処理プログラムおよび情報処理システム
JP6610022B2 (ja) 画像表示システム、画像表示装置、頭部装着型表示装置及びプログラム
CN110493451B (zh) 一种数据传输方法、电子设备及终端
JP2005056303A (ja) 表示方法および、それに係る電子ペーパ、携帯情報端末、携帯電話、電話器、テレビ、またはパーソナルコンピュータ、および表示システム
CN108140357B (zh) 信息处理装置
CN116820229B (zh) Xr空间的显示方法、xr设备、电子设备及存储介质
WO2024034011A1 (ja) 連係表示システム及び連係表示方法
JP7054548B2 (ja) 遠隔操作支援システム、遠隔操作端末、遠隔操作支援方法、及びコンピュータプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11818222

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 11818222

Country of ref document: EP

Kind code of ref document: A1