WO2010050477A1 - 2つの表示装置を有する電子機器、その制御方法および記録媒体 - Google Patents

2つの表示装置を有する電子機器、その制御方法および記録媒体 Download PDF

Info

Publication number
WO2010050477A1
WO2010050477A1 PCT/JP2009/068425 JP2009068425W WO2010050477A1 WO 2010050477 A1 WO2010050477 A1 WO 2010050477A1 JP 2009068425 W JP2009068425 W JP 2009068425W WO 2010050477 A1 WO2010050477 A1 WO 2010050477A1
Authority
WO
WIPO (PCT)
Prior art keywords
mode
display
unit
screen
electronic device
Prior art date
Application number
PCT/JP2009/068425
Other languages
English (en)
French (fr)
Inventor
俊彦 吉田
正和 河原
幸弘 久保
治 裏谷
Original Assignee
シャープ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2008277131A external-priority patent/JP5526397B2/ja
Priority claimed from JP2008281840A external-priority patent/JP2010108373A/ja
Priority claimed from JP2009049290A external-priority patent/JP5526400B2/ja
Priority claimed from JP2009055112A external-priority patent/JP2010211384A/ja
Priority claimed from JP2009055254A external-priority patent/JP5707029B2/ja
Application filed by シャープ株式会社 filed Critical シャープ株式会社
Priority to US13/126,438 priority Critical patent/US20110205178A1/en
Priority to CN2009801429933A priority patent/CN102197358A/zh
Publication of WO2010050477A1 publication Critical patent/WO2010050477A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/1615Constructional details or arrangements for portable computers with several enclosures having relative motions, each enclosure supporting at least one I/O or computing function
    • G06F1/1616Constructional details or arrangements for portable computers with several enclosures having relative motions, each enclosure supporting at least one I/O or computing function with folding flat displays, e.g. laptop computers or notebooks having a clamshell configuration, with body parts pivoting to an open position around an axis parallel to the plane they define in closed position
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/1633Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/169Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being an integrated pointing device, e.g. trackball in the palm rest area, mini-joystick integrated between keyboard keys, touch pads or touch stripes
    • G06F1/1692Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being an integrated pointing device, e.g. trackball in the palm rest area, mini-joystick integrated between keyboard keys, touch pads or touch stripes the I/O peripheral being a secondary touch screen used as control interface, e.g. virtual buttons or sliders
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0412Digitisers structurally integrated in a display
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means

Definitions

  • the present invention relates to an electronic device, and more particularly to an electronic device having two display devices, a control method thereof, and a recording medium.
  • a portable information terminal disclosed in Japanese Unexamined Patent Publication No. 2000-172395 has two screens, and displays content on one of the two screens.
  • the portable information terminal also displays a content menu bar and slide bar on the other screen.
  • Japanese Patent Laid-Open No. 2001-306291 discloses an information processing apparatus including a main display device and an auxiliary display device. This information processing apparatus normally displays both content and content additional information on the main display device. The information processing apparatus displays additional information on the sub-screen when displaying the content on the full screen.
  • An electronic device disclosed in Japanese Patent Laying-Open No. 2003-202948 has a main display unit and an auxiliary display unit, and displays a connection status of communication of the electronic device on the auxiliary display unit.
  • the electronic device disclosed in Japanese Patent Laid-Open No. 2003-216297 also has a main display unit and an auxiliary display unit, similar to the electronic device described in Patent Document 3.
  • the electronic device displays status information of the electronic device on the auxiliary display unit by a combination of a message by characters, a symbol, and a display color and / or blinking display of the auxiliary display unit.
  • An information processing apparatus disclosed in Japanese Patent Laid-Open No. 2004-5105 includes a main display, a main display controller, a display-integrated pointing device, and a controller dedicated to the pointing device.
  • This information processing apparatus can perform system settings such as BIOS (Basic Input / Output System) using a pointing device before starting an OS (Operating System).
  • BIOS Basic Input / Output System
  • a main display Similarly to the information processing apparatus described in Japanese Patent Application Laid-Open No. 2004-5212 (Document 6), a main display, a controller for the main display, a display-integrated pointing device, and a controller dedicated to the pointing device are also provided.
  • An information processing apparatus is disclosed.
  • the information processing apparatus disclosed in Patent Document 6 displays the display screen of the pointing device on the main display when the display screen of the pointing device is switched to prevent erroneous operation.
  • the user can use the sub-display in the same manner as a touch pad provided in many conventional notebook computers. That is, in such an electronic device, the input to the sub display is processed as information for moving the position of the cursor displayed on the main display or giving an instruction to the application by clicking or dragging.
  • the present invention has been conceived in view of such a situation, and an object thereof is to improve the operability of an electronic device including two display devices.
  • An electronic apparatus includes a first display unit, a second display unit, a storage unit, and a control unit that controls a display mode of the first and second display units
  • the display unit is a display-integrated tablet capable of accepting an input from the outside
  • the control unit is configured to display a screen created by processing executed in response to an input to the tablet on the first display unit.
  • a second mode in which a screen created by processing executed in response to an input to the tablet is displayed on the second display unit, and a mode in which the operation can be performed from the second mode to the first mode.
  • the operation information which is the information specifying the content of the operation in the second mode
  • the storage unit When switching the mode, the operation information, which is the information specifying the content of the operation in the second mode, is stored in the storage unit, and when the mode operating from the first mode to the second mode is switched, the storage unit Remembered Information corresponding to the operation information is displayed on the second display unit.
  • An electronic device control method includes a first display unit, a second display unit including a display-integrated tablet capable of accepting an external input, a storage unit, and first and second units.
  • a control method for an electronic device comprising a control unit that controls the display mode of the display device in a first mode in which a screen created by processing executed in response to an input to the tablet is displayed on the first display unit A step that operates, a step that operates in a second mode in which a screen created by processing executed in response to an input to the tablet is displayed on the second display unit, and a mode that operates from the second mode to the first mode.
  • a recording medium includes a first display unit, a second display unit composed of a display-integrated tablet capable of receiving input from the outside, a storage unit, and first and second display devices.
  • operation information that is information for specifying the operation content in the second mode is stored in the storage unit.
  • a step of ⁇ when switching a mode of operation from the first mode to the second mode, and a step of displaying information corresponding to the operation information stored in the storage unit to the second display unit.
  • an electronic apparatus that is a display-integrated tablet that includes a first display unit and a second display unit, and a second display unit that is one of the first and second display units can receive an input from the outside.
  • the electronic device has two operation modes, that is, a first mode in which a screen created by processing executed in response to input to the tablet is displayed on the first display unit, and processing executed in response to input to the tablet It is possible to operate in the second mode in which the screen created in the above is displayed on the second display unit.
  • movement in 2nd mode is memorize
  • the operation mode is switched from the first mode to the second mode, information corresponding to the operation information stored in the storage unit is displayed on the second display unit.
  • the user can use an electronic apparatus including two display devices (first and second display units) in both the first mode and the second mode, and in these modes.
  • the operation mode is changed from one mode to the other mode, the display based on the information specifying the content of the operation in the other mode can be seen on the second display unit.
  • the electronic device when the operation mode is switched between a plurality of modes in which the usage modes of the two display devices are different, the mode after the switching has been executed in the mode after the switching so far.
  • the content of the operation can be reflected on the second display means, and the operability of the electronic device including the two display devices can be improved.
  • FIG. 10 is a diagram for explaining a command of type “001”. It is a figure for demonstrating the command of classification "010".
  • FIG. 10 is a diagram for explaining a command of type “001”. It is a figure for demonstrating the command of classification "010".
  • FIG. 10 is a diagram for explaining a command of type “011”. It is a figure for demonstrating the command of classification "100".
  • FIG. 10 is a diagram for explaining a command of type “101”. It is the figure which showed schematic structure of the response data. It is the figure which showed the image (scanned image) obtained by scanning a finger
  • FIG. 4 is a circuit diagram of an optical sensor built-in liquid crystal panel different from that shown in FIG. 3. It is sectional drawing which showed the structure which a photodiode receives external light in the case of a scan. It is a block diagram showing the hardware constitutions of the modification of an electronic device. It is the schematic which shows the external appearance of the 3rd modification of an electronic device.
  • FIG. It is a block diagram showing the hardware constitutions of the electronic device of FIG. It is a figure which shows the functional structure of an electronic device in a block diagram format. It is a figure for demonstrating the screen which an electronic device displays in each of mouse mode and tablet mode. It is a figure which shows the specific example of a mouse
  • FIG. 10 It is a block diagram showing the hardware constitutions of the electronic device in the 10th modification of this invention. It is a figure for demonstrating the change of the display control of a cursor in the 10th modification of this invention. It is a figure which shows the flow of a process of mouse
  • FIG. 10 is a diagram for explaining a modification of the command of type “000” in FIG. 8.
  • 3 is a flowchart of sub-screen control processing executed by a CPU of the first unit in FIG. 2. It is a flowchart of the sub screen control process which the signal processing part of the 2nd unit of FIG. 2 performs. It is a flowchart of the sub-side control process which the signal processing part of the 2nd unit of FIG. 2 performs. It is a figure which shows an example of the display screen of the liquid crystal panel of the 1st unit of FIG.
  • FIG. 81B It is a figure which shows an example of the display screen of the liquid crystal panel of the 2nd unit of FIG. It is a figure for demonstrating the change of the display screen of FIG. 81B. It is a figure for demonstrating the change of the display screen of FIG. 81B. It is a figure for demonstrating the change of the display screen of FIG. 81B. It is a figure which shows the other example of the display screen of the liquid crystal panel of the 1st unit of FIG. It is a figure which shows the other example of the display screen of the liquid crystal panel of the 2nd unit of FIG. 79 is a flowchart of a modification of the sub screen control process of FIG. 78.
  • FIG. 80 is a diagram showing a modification of the flowchart of the sub-side control process of FIG. 79. It is a figure which shows the external appearance of the information processing system which consists of an example of the electronic device which is one embodiment of this invention, and an information processing terminal. It is a figure for demonstrating the change of the display mode of a content in the 1st display panel of the electronic device of the 15th modification of this invention. It is sectional drawing which showed the structure which a photodiode receives external light in the case of a scan. It is a block diagram showing the hardware constitutions of the modification of an electronic device. It is a block diagram which shows the function structure of the electronic device which concerns on this Embodiment.
  • FIG. 1 is a diagram illustrating an appearance of electronic device 100 according to the present embodiment.
  • electronic device 100 includes a first housing 100A and a second housing 100B.
  • the first casing 100A and the second casing 100B are foldably connected by a hinge 100C.
  • the first housing 100A includes a liquid crystal panel 140 with a built-in optical sensor.
  • the second housing 100B includes an optical sensor built-in liquid crystal panel 240.
  • the electronic device 100 includes two optical sensor built-in liquid crystal panels.
  • the electronic device 100 is configured as a portable device having a display function such as a PDA (Personal Digital Assistant), a notebook personal computer, a portable telephone, and an electronic dictionary.
  • a display function such as a PDA (Personal Digital Assistant), a notebook personal computer, a portable telephone, and an electronic dictionary.
  • FIG. 2 is a block diagram illustrating a hardware configuration of electronic device 100.
  • the electronic device 100 includes a first unit 1001 and a second unit 1002.
  • the second unit 1002 is detachably connected to the first unit 1001 from the electronic device 100.
  • the first unit 1001 includes a main body device 101 and a display device 102.
  • the second unit 1002 includes a display device 103 and a main device 104.
  • the first housing 100A includes a display device 102.
  • Second housing 100B includes main device 101.
  • the second housing 100B includes a second unit 1002.
  • the main unit 101 includes a CPU (Central Processing Unit) 110, a RAM (Random Access Memory) 171, a ROM (Read-Only Memory) 172, a memory card reader / writer 173, an external communication unit 174, a microphone 175, A speaker 176, an operation key 177, a power switch 191, a power circuit 192, a power detection unit 193, a USB (Universal Serial Bus) connector 194, an antenna 195, and a LAN (Local Area Network) connector 196 are included. .
  • Each component (110, 171 to 177, 193) is connected to each other by a data bus DB1.
  • a memory card 1731 is attached to the memory card reader / writer 173.
  • the CPU 110 executes the program.
  • the operation key 177 receives an instruction input from the user of the electronic device 100.
  • the RAM 171 stores data generated by the execution of the program by the CPU 110 or data input via the operation keys 177 in a volatile manner.
  • the ROM 172 stores data in a nonvolatile manner.
  • the ROM 172 is a ROM capable of writing and erasing data such as an EPROM (Erasable Programmable Read-Only Memory) and a flash memory.
  • External communication unit 174 communicates with other electronic devices. Specifically, the external communication unit 174 communicates with, for example, the second unit 1002 via the USB connector 194. The external communication unit 174 performs wireless communication with the second unit 1002 via the antenna 195, for example. Further, the external communication unit 174 performs wired communication with other electronic devices via the LAN connector 196.
  • the main device 101 may communicate with other electronic devices by wireless communication other than Bluetooth (registered trademark).
  • the external communication unit 174 may perform wireless communication with other electronic devices connected to the LAN via a wireless LAN antenna (not shown).
  • wireless communication may be performed with another electronic device via an infrared port (not shown).
  • the power switch 191 is a switch for starting up the electronic device 100.
  • the power supply circuit 192 supplies power to each component connected to the data bus DB1 and the display device 102 via the power detection unit 193.
  • the power circuit 192 supplies power to the external communication unit 174 without going through the power detection unit 193.
  • the power supply detection unit 193 detects the output from the power supply circuit 192. In addition, the power supply detection unit 193 sends information (for example, a voltage value and a current value) regarding the detected output to the CPU 110.
  • information for example, a voltage value and a current value
  • the USB connector 194 is used to connect the first unit 1001 to the second unit 1002.
  • the main device 101 may include other USB connectors in addition to the USB connector 194.
  • the first unit 1001 transmits data to the second unit 1002 via the USB connector 194.
  • the first unit 1001 receives data from the second unit 1002 via the USB connector 194. Further, the first unit 1001 supplies power to the second unit 1002 via the USB connector 194.
  • the antenna 195 is used for communication in accordance with the Bluetooth (registered trademark) standard between the first unit 1001 and another communication device (for example, the second unit 1002).
  • the LAN connector 196 is used to connect the electronic device 100 to the LAN.
  • the display device 102 includes a driver 130, an optical sensor built-in liquid crystal panel 140 (hereinafter referred to as a liquid crystal panel 140), an internal IF 178, a backlight 179, and an image processing engine 180.
  • the driver 130 is a drive circuit for driving the liquid crystal panel 140 and the backlight 179. Various drive circuits included in the driver 130 will be described later.
  • the liquid crystal panel 140 is a device having a liquid crystal display function and an optical sensor function. That is, the liquid crystal panel 140 can perform image display using liquid crystal and sensing using an optical sensor. Details of the liquid crystal panel 140 will be described later.
  • the internal IF (Interface) 178 mediates exchange of data between the main device 101 and the display device 102.
  • the backlight 179 is a light source disposed on the back surface of the liquid crystal panel 140.
  • the backlight 179 irradiates the back surface with uniform light.
  • the image processing engine 180 controls the operation of the liquid crystal panel 140 via the driver 130. Here, the control is performed based on various data sent from the main apparatus 101 via the internal IF 178. Note that the various data includes commands to be described later. Further, the image processing engine 180 processes data output from the liquid crystal panel 140 and sends the processed data to the main apparatus 101 via the internal IF 178. Further, the image processing engine 180 includes a driver control unit 181, a timer 182, and a signal processing unit 183.
  • the driver control unit 181 controls the operation of the driver 130 by sending a control signal to the driver 130.
  • the driver control unit 181 analyzes a command transmitted from the main device 101. Then, the driver control unit 181 sends a control signal based on the analysis result to the driver 130. Details of the operation of the driver 130 will be described later.
  • the timer 182 generates time information and sends the time information to the signal processing unit 183.
  • the signal processing unit 183 receives data output from the optical sensor.
  • the signal processing unit 183 first converts the analog data into digital data.
  • the signal processing unit 183 performs data processing on the digital data in accordance with the content of the command sent from the main device 101.
  • the signal processing unit 183 sends data (hereinafter referred to as response data) including data after the above data processing and time information acquired from the timer 182 to the main unit 101.
  • the signal processing unit 183 includes a RAM (not shown) that can store a plurality of scan data, which will be described later, continuously.
  • the command includes a sensing command for instructing sensing by the optical sensor. Details of the sensing command and the response data will be described later (FIGS. 7, 8, and 14).
  • the timer 182 is not necessarily provided in the image processing engine 180.
  • the timer 182 may be provided outside the image processing engine 180 in the display device 102.
  • the timer 182 may be provided in the main body device 101.
  • the microphone 175 and the speaker 176 are not always provided in the electronic device 100, and may be configured so as not to include either or both of the microphone 175 and the speaker 176 depending on the embodiment of the electronic device 100.
  • the display device 102 includes a system liquid crystal.
  • the system liquid crystal is a device obtained by integrally forming peripheral devices of the liquid crystal panel 140 on the glass substrate of the liquid crystal panel 140.
  • the driver 130 (excluding the circuit that drives the backlight 179), the internal IF 178, and the image processing engine 180 are integrally formed on the glass substrate of the liquid crystal panel 140.
  • the display device 102 is not necessarily configured using the system liquid crystal, and the driver 130 (excluding a circuit that drives the backlight 179), the internal IF 178, and the image processing engine 180 are included in the glass substrate. Other substrates may be configured.
  • the second unit 1002 receives power supply from the first unit 1001. Specifically, the second unit 1002 is supplied with power from the power supply circuit 192 of the first unit 1001 by connecting a USB connector 294 described later and the USB connector 194 of the first unit 1001.
  • the main body device 104 includes a CPU 210, a RAM 271, a ROM 272, an external communication unit 274, a power supply detection unit 293, a USB connector 294, an antenna 295, and a signal strength detection unit 297.
  • Each component 210, 271, 272, 274, 293) is connected to each other by a data bus DB2.
  • the CPU 210 executes a program.
  • the RAM 271 stores data generated by the execution of the program by the CPU 210 in a volatile manner.
  • the ROM 272 stores data in a nonvolatile manner.
  • the ROM 272 is a ROM capable of writing and erasing data such as an EPROM (Erasable Programmable Read-Only Memory) and a flash memory.
  • the external communication unit 274 communicates with other electronic devices. Specifically, the external communication unit 274 communicates with, for example, the first unit 1001 via the USB connector 294. The external communication unit 274 communicates with the first unit 1001 through the antenna 295, for example.
  • the main device 104 may communicate with another electronic device (for example, the first unit 1001) by wireless communication other than Bluetooth (registered trademark).
  • the external communication unit 274 may perform wireless communication with other electronic devices via an infrared port (not shown).
  • the signal strength detection unit 297 detects the strength of the signal received via the antenna 295. Then, the signal strength detection unit 297 sends the detected strength to the external communication unit 274.
  • the USB connector 294 is used to connect the second unit 1002 to the first unit 1001.
  • the second unit 1002 transmits data to the first unit 1001 via the USB connector 294.
  • the second unit 1002 receives data from the first unit 1001 via the USB connector 294.
  • the second unit 1002 receives power supply from the first unit 1001 via the USB connector 294 as described above.
  • the second unit 1002 stores the electric power supplied from the first unit 1001 in a battery (not shown).
  • the antenna 295 is used for communication according to the Bluetooth (registered trademark) standard between the second unit 1002 and the first unit 1001, for example.
  • the power detection unit 293 detects the power supplied via the USB connector 294. In addition, the power supply detection unit 293 sends information about the detected power to the CPU 210.
  • the main device 104 may have a function of performing infrared communication.
  • the display device 103 includes a driver 230, an optical sensor built-in liquid crystal panel 240 (hereinafter referred to as “liquid crystal panel 240”), an internal IF 278, a backlight 279, and an image processing engine 280.
  • the image processing engine 280 includes a driver control unit 281, a timer 282, and a signal processing unit 283.
  • the display device 103 has the same configuration as the display device 102. That is, the driver 230, the liquid crystal panel 240, the internal IF 278, the backlight 279, and the image processing engine 280 have the same configuration as the driver 130, the liquid crystal panel 140, the internal IF 178, the backlight 179, and the image processing engine 180 in the display device 102. Have each.
  • the driver control unit 281, the timer 282, and the signal processing unit 283 have the same configurations as the driver control unit 181, the timer 182, and the signal processing unit 183 in the display device 102, respectively. Therefore, description of each functional block included in display device 103 will not be repeated.
  • the processing in the electronic device 100 is realized by software executed by each hardware and the CPU 110.
  • Such software may be stored in the ROM 172 in advance.
  • the software may be stored in a memory card 1731 or other storage medium and distributed as a program product.
  • the software may be provided as a program product that can be downloaded by an information provider connected to the so-called Internet.
  • Such software is read from the storage medium by the memory card reader / writer 173 or other reading device, or downloaded via the communication unit 174 or communication IF (not shown), and then temporarily stored in the ROM 172.
  • the software is read from the ROM 172 by the CPU 110 and stored in the RAM 171 in the form of an executable program.
  • CPU 110 executes the program.
  • Each component constituting the main device 101 of the electronic device 100 shown in FIG. 2 is a general one. Therefore, it can be said that the essential part of the present invention is the software stored in the RAM 171, the ROM 172, the memory card 1731 and other storage media, or the software downloadable via the network. Since the hardware operation of main device 101 of electronic device 100 is well known, detailed description will not be repeated.
  • the storage medium is not limited to a memory card, but is a CD-ROM, FD (Flexible Disk), hard disk, magnetic tape, cassette tape, optical disk (MO (Magnetic Optical Disc) / MD (Mini Disc) / DVD (Digital Versatile). Disc)), IC (Integrated Circuit) cards (excluding memory cards), optical cards, mask ROM, EPROM, EEPROM (Electronically Erasable Programmable Read-Only Memory), flash ROM, and other semiconductor memories, etc. It may be a medium to be used.
  • the program here includes not only a program directly executable by the CPU but also a program in a source program format, a compressed program, an encrypted program, and the like.
  • FIG. 3 is a diagram showing a configuration of the liquid crystal panel 140 and peripheral circuits of the liquid crystal panel 140.
  • the liquid crystal panel 140 includes a pixel circuit 141, an optical sensor circuit 144, a scanning signal line Gi, a data signal line SRj, a data signal line SGj, a data signal line SBj, and a sensor signal line.
  • SSj, sensor signal line SDj, read signal line RWi, and reset signal line RSi are included.
  • i is a natural number satisfying 1 ⁇ i ⁇ m
  • j is a natural number satisfying 1 ⁇ j ⁇ n.
  • a scanning signal line driving circuit 131 includes a scanning signal line driving circuit 131, a data signal line driving circuit 132, an optical sensor driving circuit 133, a switch 134, as peripheral circuits of the liquid crystal panel 140. And an amplifier 135.
  • the scanning signal line drive circuit 131 receives the control signal TC1 from the driver control unit 181 shown in FIG.
  • the scanning signal line drive circuit 131 applies a predetermined voltage in order from the scanning signal line G1 to each scanning signal line (G1 to Gm) based on the control signal TC1. More specifically, the scanning signal line driving circuit 131 sequentially selects one scanning signal line from the scanning signal lines (G1 to Gm) per unit time, and a TFT (to be described later) with respect to the selected scanning signal line.
  • a voltage that can turn on the gate of the thin film transistor 142 (hereinafter referred to as a high level voltage) is applied. Note that a low level voltage is applied to a scanning signal line that is not selected without applying a high level voltage.
  • the data signal line drive circuit 132 receives image data (DR, DG, DB) from the driver control unit 181 shown in FIG.
  • the data signal line driving circuit 132 applies a voltage corresponding to one row of image data to the 3n data signal lines (SR1 to SRn, SG1 to SGn, SB1 to SBn) for each unit time. Apply sequentially.
  • a drive system is not limited to this.
  • the pixel circuit 141 is a circuit for setting the luminance (transmittance) of one pixel. Further, m ⁇ n pixel circuits 141 are arranged in a matrix. More specifically, m pixel circuits 141 are arranged in the vertical direction in FIG. 3 and n pixel circuits in the horizontal direction.
  • the pixel circuit 141 includes an R subpixel circuit 141r, a G subpixel circuit 141g, and a B subpixel circuit 141b. Each of these three circuits (141r, 141g, 141b) includes a TFT 142, a pair of electrode pairs 143 including a pixel electrode and a counter electrode, and a capacitor (not shown).
  • CMOS Complementary Metal Oxide Semiconductor
  • a-Si TFT amorphous silicon thin film transistor
  • p-Si TFT polycrystalline silicon thin film transistor
  • the TFT 142 will be described as an n-channel field effect transistor.
  • the TFT 142 may be a p-type channel field effect transistor.
  • the source of the TFT 142 in the R subpixel circuit 141r is connected to the data signal line SRj.
  • the gate of the TFT 142 is connected to the scanning signal line Gi.
  • the drain of the TFT 142 is connected to the pixel electrode of the electrode pair 143.
  • a liquid crystal is disposed between the pixel electrode and the counter electrode.
  • the G sub-pixel circuit 141g and the B sub-pixel circuit 141b have the same configuration as the R sub-pixel circuit 141r except that the data signal line to which the source of each TFT 142 is connected is different. Therefore, description of these two circuits (141g, 141b) will not be repeated.
  • the high level voltage is applied to the scanning signal line Gi.
  • the gate of the TFT 142 is turned on.
  • a specified voltage (voltage corresponding to image data for one pixel) is applied to each data signal line (SRj, SGj, SBj).
  • a voltage based on the designated voltage is applied to the pixel electrode.
  • a potential difference is generated between the pixel electrode and the counter electrode.
  • the liquid crystal responds and the luminance of the pixel is set to a predetermined luminance. Note that the potential difference is held by the capacitor (auxiliary capacitor) (not shown) until the scanning signal line Gi is selected in the next frame period.
  • the optical sensor driving circuit 133 receives the control signal TC2 from the driver control unit 181 shown in FIG.
  • the optical sensor drive circuit 133 sequentially selects one signal line from the reset signal lines (RS1 to RSm) for each unit time based on the control signal TC2, and determines in advance for the selected signal line.
  • the voltage VDDR that is higher than usual is applied.
  • a voltage VSSR lower than the voltage applied to the selected reset signal line is kept applied to the unselected reset signal line.
  • the voltage VDDR may be set to 0V and the voltage VSSR may be set to ⁇ 5V.
  • the photosensor driving circuit 133 sequentially selects one signal line from the readout signal lines (RW1 to RWm) per unit time based on the control signal TC2, and determines in advance for the selected signal line.
  • a voltage VDD higher than usual is applied.
  • the voltage VSSR is applied to the read signal line that is not selected.
  • the value of VDD may be set to 8V.
  • the timing for applying the voltage VDDR and the timing for applying the voltage VDD will be described later.
  • the optical sensor circuit 144 includes a photodiode 145, a capacitor 146, and a TFT 147.
  • the TFT 147 is an n-type channel field effect transistor.
  • the TFT 147 may be a p-type channel field effect transistor.
  • the anode of the photodiode 145 is connected to the reset signal line RSi.
  • the cathode of the photodiode 145 is connected to one electrode of the capacitor 146.
  • the other electrode of the capacitor 146 is connected to the read signal line RWi.
  • a connection point between the photodiode 145 and the capacitor 146 is referred to as a node N.
  • the gate of the TFT 147 is connected to the node N.
  • the drain of the TFT 147 is connected to the sensor signal line SDj. Further, the source of the TFT 147 is connected to the sensor signal line SSj. Details of sensing using the optical sensor circuit 144 will be described later.
  • the switch 134 is a switch provided for switching whether or not to apply a predetermined voltage to the sensor signal lines (SD1 to SDn).
  • the switching operation of the switch 134 is performed by the optical sensor driving circuit 133.
  • the voltage applied to the sensor signal lines (SD1 to SDn) when the switch 134 is turned on will be described later.
  • the amplifier 135 amplifies the voltage output from each sensor signal line (SS1 to SSn).
  • the amplified voltage is sent to the signal processing unit 183 shown in FIG.
  • the image processing engine 180 controls the timing at which an image is displayed on the liquid crystal panel 140 using the pixel circuit 141 and the timing at which sensing is performed using the optical sensor circuit 144.
  • FIG. 4 is a cross-sectional view of the liquid crystal panel 140 and the backlight 179.
  • liquid crystal panel 140 includes an active matrix substrate 151A, a counter substrate 151B, and a liquid crystal layer 152.
  • the counter substrate 151B is disposed to face the active matrix substrate 151A.
  • the liquid crystal layer 152 is sandwiched between the active matrix substrate 151A and the counter substrate 151B.
  • the backlight 179 is disposed on the opposite side of the liquid crystal layer 152 with respect to the active matrix substrate 151A.
  • the active matrix substrate 151A includes a polarizing filter 161, a glass substrate 162, a pixel electrode 143a constituting an electrode pair 143, a photodiode 145, a data signal line 157, and an alignment film 164. Further, although not shown in FIG. 4, the active matrix substrate 151A includes the capacitor 146, the TFT 147, the TFT 142, and the scanning signal line Gi shown in FIG.
  • the polarizing filter 161, the glass substrate 162, the pixel electrode 143a, and the alignment film 164 are arranged in this order from the backlight 179 side.
  • the photodiode 145 and the data signal line 157 are formed on the liquid crystal layer 152 side of the glass substrate 162.
  • the counter substrate 151B includes a polarizing filter 161, a glass substrate 162, a light shielding film 163, color filters (153r, 153g, 153b), a counter electrode 143b constituting an electrode pair 143, and an alignment film 164.
  • the alignment film 164, the counter electrode 143b, the color filters (153r, 153g, 153b), the glass substrate 162, and the polarizing filter 161 are arranged in this order from the liquid crystal layer 152 side.
  • the light shielding film 163 is formed in the same layer as the color filters (153r, 153g, 153b).
  • the color filter 153r is a filter that transmits light having a red wavelength.
  • the color filter 153g is a filter that transmits light having a green wavelength.
  • the color filter 153b is a filter that transmits light having a blue wavelength.
  • the photodiode 145 is arranged at a position facing the color filter 153b.
  • the liquid crystal panel 140 displays an image by blocking or transmitting light emitted by a light source such as external light or a backlight 179. Specifically, the liquid crystal panel 140 changes the direction of liquid crystal molecules in the liquid crystal layer 152 by applying a voltage between the pixel electrode 143a and the counter electrode 143b, thereby blocking or transmitting the light. However, since the light cannot be completely blocked by the liquid crystal alone, a polarizing filter 161 that transmits only light having a specific polarization direction is provided.
  • the position of the photodiode 145 is not limited to the above position, and may be provided at a position facing the color filter 153r or a position facing the color filter 153g.
  • FIG. 5 is a diagram showing a timing chart when the optical sensor circuit 144 is operated.
  • a voltage VINT indicates a potential at the node N in the photosensor circuit 144.
  • a voltage VPIX is an output voltage from the sensor signal line SSj shown in FIG. 3 and is a voltage before being amplified by the amplifier 135.
  • the description will be divided into a reset period for resetting the optical sensor circuit 144, a sensing period for sensing light using the optical sensor circuit 144, and a readout period for reading the sensing result.
  • the reset period will be described.
  • the voltage applied to the reset signal line RSi is instantaneously switched from the low level (voltage VSSR) to the high level (voltage VDDR).
  • the voltage applied to the read signal line RWi is kept at the low level (voltage VSSR).
  • the high-level voltage to the reset signal line RSi a current starts to flow in the forward direction (from the anode side to the cathode side) of the photodiode 145.
  • the voltage VINT which is the potential of the node N has a value represented by the following expression (1).
  • Equation (1) the forward voltage drop amount in the photodiode 145 is Vf.
  • VINT VSSR +
  • the voltage VINT is not more than the threshold value for turning on the gate of the TFT 147, there is no output from the sensor signal line SSj. For this reason, the voltage VPIX does not change. Further, a difference corresponding to the voltage VINT occurs between the electrodes of the capacitor 146. For this reason, the capacitor 146 accumulates charges corresponding to the difference.
  • the sensing period will be described.
  • the voltage applied to the reset signal line RSi instantaneously switches from the high level (voltage VDDR) to the low level (voltage VSSR).
  • the voltage applied to the read signal line RWi is kept at the low level (voltage VSSR).
  • the potential of the node N becomes higher than the voltage of the reset signal line RSi and the voltage of the read signal line RWi.
  • the photodiode 145 the voltage on the cathode side becomes higher than the voltage on the anode side. That is, the photodiode 145 is in a reverse bias state.
  • the photodiode 145 receives light from the light source, current starts to flow from the cathode side to the anode side of the photodiode 145.
  • the potential of the node N that is, the voltage VINT
  • the reading period will be described.
  • the voltage applied to the reset signal line RSi is kept at the low level (voltage VSSR).
  • the voltage applied to the read signal line RWi is instantaneously switched from the low level (voltage VSSR) to the high level (voltage VDD).
  • the voltage VDD is higher than the voltage VDDR.
  • the potential of the node N is raised through the capacitor 146 as shown in FIG. Note that the increase width of the potential of the node N is a value corresponding to the voltage applied to the read signal line RWi.
  • the potential of the node N that is, the voltage VINT
  • the gate of the TFT 147 is turned on.
  • the optical sensor circuit 144 changes the value of the voltage output to the sensor signal line SSj in accordance with the amount of light received by the photodiode 145.
  • the optical sensor driving circuit 133 applies a predetermined voltage to all n sensor signal lines (SD1 to SDn).
  • the photosensor drive circuit 133 applies a voltage VDDR that is higher than normal to the reset signal line RS1.
  • the other reset signal lines (RS2 to RSm) and read signal lines (RW1 to RWm) are kept in a state where a low level voltage is applied.
  • the n photosensor circuits in the first row in FIG. 3 enter the reset period described above. Thereafter, the n photosensor circuits in the first row enter a sensing period. Further, thereafter, the n photosensor circuits in the first row enter a reading period.
  • timing for applying a predetermined voltage to all n sensor signal lines is not limited to the above timing, and may be any timing that is applied at least before the readout period. .
  • the photosensor drive circuit 133 applies a voltage VDDR that is higher than usual to the reset signal line RS2. That is, the reset period of the n photosensor circuits in the second row starts. When the reset period ends, the n photosensor circuits in the second row enter a sensing period, and thereafter enter a reading period.
  • the above-described processing is sequentially performed on the n photosensor circuits in the third row, the n photosensor circuits in the fourth row,..., The n photosensor circuits in the m row.
  • the sensor signal lines (SS1 to SSn) output the first row sensing result, the second row sensing result,..., The mth row sensing result in this order.
  • scan data refers to image data obtained by scanning a scan target (for example, a user's finger). An image displayed based on the scan data is referred to as a “scanned image”. Further, in the following, sensing is referred to as “scan”.
  • the electronic device 100 can take either configuration. Further, switching between the components is assumed to be performed by a command sent from the main device 101 based on an input via the operation key 177 or the like. Note that when scanning is performed on a partial area on the surface of the liquid crystal panel 140, the image processing engine 180 sets a scan target area. The setting of the area may be configured to be specified by the user via the operation key 177.
  • the first is a mode in which an image is displayed in a surface area other than the partial area (hereinafter referred to as a scan area).
  • the second is a mode in which no image is displayed in the surface area other than the scan area. Which mode is used is based on a command sent from the main apparatus 101 to the image processing engine 180.
  • FIG. 6 is a cross-sectional view of the liquid crystal panel 140 and the backlight 179, and shows a configuration in which the photodiode 145 receives light from the backlight 179 during scanning.
  • the photodiode 145 receives the reflected light.
  • the amount of light received by the photodiode 145 is smaller than the region in which the finger 900 is in contact. Note that the photodiode 145 cannot receive most of the light emitted from the backlight 179 that does not reach the user's finger 900.
  • the optical sensor circuit 144 can output a voltage corresponding to the amount of light reflected by the user's finger 900 from the sensor signal line SSj. it can.
  • the liquid crystal panel 140 has a contact position of the finger 900, a range in which the finger 900 is in contact (determined by the pressing force of the finger 900), and the liquid crystal panel 140.
  • the voltage output from the sensor signal lines (SS1 to SSn) varies depending on the direction of the finger 900 with respect to the surface of the sensor.
  • the display device 102 can scan an image (hereinafter also referred to as a reflected image) obtained by reflecting light with the finger 900.
  • examples of the scan object other than the finger 900 include a stylus.
  • a liquid crystal panel is described as an example of the display device of electronic device 100, but another panel such as an organic EL (Electro-Luminescence) panel is used instead of the liquid crystal panel. Also good.
  • FIG. 7 is a diagram showing a schematic configuration of a command.
  • the command includes header DA01, first field DA02, second field DA03, third field DA04, fourth field DA05, fifth field DA06, and spare data area DA07. including.
  • FIG. 8 is a diagram for explaining a command of type “000” (that is, a sensing command).
  • the CPU 110 sends a command of type “000” (hereinafter referred to as “first command”) from the main unit 101 of the first unit 1001 to the second unit 1002.
  • first command a command of type “000”
  • the CPU 110 sends the first command from the main body device 101 to the display device 102.
  • the case where the CPU 110 sends the first command from the main unit 101 of the first unit 1001 to the second unit 1002 will be described as an example.
  • the CPU 110 writes the command type (“000”), the command transmission destination, and the like in the header DA01.
  • the CPU 110 writes the value of the timing whose number is “1” in the first field DA02.
  • the CPU 110 writes the value of the data type with the number “2” in the second field DA03.
  • the CPU 110 writes the value of the reading method whose number is “3” in the third field DA04.
  • the CPU 110 writes the value of the image gradation number “4” in the fourth field DA05.
  • the CPU 110 writes the value of the resolution with the number “5” in the fifth field DA06.
  • the first command in which “00” is set in the first field DA02 requests the image processing engine 280 to transmit scan data at that time. That is, the sensing first command requests transmission of scan data obtained by scanning using the optical sensor circuit of the liquid crystal panel 240 after the image processing engine 280 receives the first command. Further, the first command in which “01” is set in the first field DA02 requests transmission of scan data when the scan result is changed. Further, the first command in which “10” is set in the first field DA02 requests transmission of scan data at regular intervals.
  • the first command in which “001” is set in the second field DA03 requests transmission of the coordinate value of the center coordinate in the partial image.
  • the first command in which “010” is set in the second field DA03 requests transmission of only the partial image whose scan result has changed. Note that the change in the scan result indicates that the previous scan result is different from the current scan result.
  • the first command in which “100” is set in the second field DA03 requests transmission of the entire image.
  • the “whole image” is an image generated by the image processing engine 280 based on the voltage output from each optical sensor circuit when scanning using m ⁇ n optical sensor circuits.
  • the “partial image” is a part of the entire image. The reason why the partial image is requested to transmit only the partial image whose scan result has changed will be described later.
  • the coordinate value and the partial image or the entire image may be requested at the same time. Further, in the case of a configuration in which scanning is performed on a partial area on the surface of the liquid crystal panel 240, the entire image is an image corresponding to the area to be scanned.
  • the first sensing command in which “00” is set in the third field DA04 requests that the backlight 279 be turned on to scan.
  • the first command in which “01” is set in the third field DA04 requests that the backlight 279 be turned off to perform scanning. Note that the configuration for scanning with the backlight 279 off is described later (FIG. 17).
  • the first command in which “10” is set in the third field DA04 requests scanning using both reflection and transmission. Note that the combined use of reflection and transmission refers to scanning a scanning object by switching between a method of scanning with the backlight 279 turned on and a method of scanning with the backlight turned off.
  • the first command in which “00” is set in the fourth field DA05 requests black and white binary image data. Further, the first command in which “01” is set in the fourth field DA05 requests multi-gradation image data. Further, the first command in which “10” is set in the fourth field DA05 requests RGB color image data.
  • the first command in which “0” is set in the fifth field DA06 requests image data with high resolution.
  • the first command in which “1” is set in the fifth field DA06 requests image data with a low resolution.
  • the first command includes designation of a region to be scanned (pixel region that drives the optical sensor circuit 144), timing for scanning, lighting timing of the backlight 179, and the like. Is described.
  • the image processing engine 280 analyzes the content of the first command, and sends back data (that is, response data) according to the result of the analysis to the main unit 101.
  • FIG. 9 is a diagram for explaining a command of type “001” (hereinafter referred to as “second command”).
  • the CPU 110 sends a second command from the main unit 101 of the first unit 1001 to the second unit 1002.
  • the CPU 110 writes the command type (“001”), the command transmission destination, and the like in the header DA01.
  • the CPU 110 writes the value of the display request with the number “1” in the first field DA02.
  • CPU 110 writes information on the number / type of number “2” in second field DA03.
  • the CPU 110 writes the value of the display range whose number is “3” in the third field DA04.
  • the CPU 110 writes information related to the image data with the number “4” in the fourth field DA05.
  • the second command in which “001” is set in the first field DA02 requests the image processing engine 280 to display an image on the liquid crystal panel 240 (sub-screen).
  • the second command in which “010” is set in the first field DA02 requests the image processing engine 280 to display an icon on the liquid crystal panel 240.
  • the second command in which “011” is set in the first field DA02 requests the image processing engine 280 to display the handwriting area on the liquid crystal panel 240.
  • the second field DA03 stores the number of images to be displayed on the liquid crystal panel 240 and a number for designating the type of handwriting language.
  • the image processing engine 280 performs processing according to the number of the images or the language type.
  • the second command in which “01” is set in the third field DA04 requests the image processing engine 280 to designate the display range on the liquid crystal panel 240 by coordinates. Further, the second command in which “10” is set in the third field DA04 requests the image processing engine 280 to set the display range on the liquid crystal panel 240 to the entire display area.
  • the fourth field DA05 stores image data to be displayed on the liquid crystal panel 240 and position information for displaying the image data.
  • the image processing engine 280 performs processing for displaying the image data at a position specified by the position information.
  • FIG. 10 is a diagram for explaining a command of type “010” (hereinafter referred to as “third command”).
  • the CPU 110 sends the third command from the main unit 101 of the first unit 1001 to the second unit 1002.
  • the CPU 210 sends a third command from the main body device 104 of the second unit 1002 to the first unit 1001.
  • the CPUs 110 and 210 write the command type (“010”), the command transmission destination, and the like in the header DA01.
  • the CPUs 110 and 210 write the value of the OS (Operating System) processing request with the number “1” in the first field DA02.
  • the CPUs 110 and 210 write the value of the OS information with the number “2” in the second field DA03.
  • the third command in which “01” or “10” is set in the first field DA02 is transmitted from the second unit 1002 to the first unit 1001.
  • the third command in which “01” is set in the first field DA02 requests the first unit 1001 to transmit information indicating the type of OS of the first unit 1001 (main device).
  • the third command in which “10” is set in the first field DA02 requests the first unit 1001 to start the OS specified by the OS information.
  • the third command in which “000”, “001”, or “010” is set in the second field DA03 is transmitted from the second unit 1002 to the first unit 1001.
  • the third command in which “000” is set in the second field DA03 does not request the activation of the OS in the first unit 1001.
  • the third command in which “001” is set in the second field DA03 indicates that the second unit 1002 has selected to start the first OS.
  • the third command in which “010” is set in the second field DA03 indicates that the second unit 1002 has selected to start the second OS.
  • FIG. 11 is a diagram for explaining a command of type “011” (hereinafter referred to as “fourth command”).
  • the CPU 210 sends a fourth command from the main body device 104 of the second unit 1002 to the first unit 1001.
  • the CPU 210 writes the command type (“011”), the command transmission destination, and the like in the header DA01.
  • the CPU 210 writes information related to the activated application with the number “1” in the first field DA02.
  • the CPU 210 writes the startup information with the number “2” in the second field DA03.
  • the first field DA02 information specifying an application to be activated in the first unit 1001 is stored.
  • the second field DA03 stores information used at the time of activation setting and information used after activation.
  • FIG. 12 is a diagram for explaining a command of type “100” (hereinafter referred to as “fifth command”).
  • the CPU 210 sends the fifth command from the main body device 104 of the second unit 1002 to the first unit 1001.
  • the CPU 210 writes the command type (“100”), the command transmission destination, and the like in the header DA01.
  • the CPU 210 writes information related to the reception request with the number “1” in the first field DA02.
  • the CPU 210 writes information relating to the number “2” in the second field DA03.
  • the CPU 210 writes information related to the file with the number “3” in the third field DA04.
  • the fifth command in which “01” is set in the first field DA02 requests the first unit 1001 to receive a file.
  • the number of files transmitted from the second unit 1002 to the first unit 1001 is stored. Further, a file transmitted from the second unit 1002 to the first unit 1001 is stored in the third field DA04.
  • FIG. 13 is a diagram for explaining a command of type “101” (hereinafter referred to as “sixth command”).
  • the CPU 110 sends the sixth command from the main unit 101 of the first unit 1001 to the second unit 1002.
  • the CPU 210 sends the sixth command from the main body device 104 of the second unit 1002 to the first unit 1001.
  • the CPUs 110 and 210 write the command type (“101”), the command transmission destination, and the like in the header DA01.
  • the CPUs 110 and 210 write the value of the communication type with the number “1” in the first field DA02.
  • the CPUs 110 and 210 write the value of the connection destination with the number “2” in the second field DA03.
  • the CPUs 110 and 210 write the value of the transfer destination with the number “3” in the third field DA04.
  • the CPUs 110 and 210 write the value of the signal strength acquisition timing number “4” in the fourth field DA05.
  • the sixth command in which “001” is set in the first field DA02 requests the counterpart device to perform infrared communication.
  • the sixth command in which “010” is set in the first field DA02 requests the counterpart device to perform wireless communication by Bluetooth (registered trademark).
  • the sixth command in which “011” is set in the first field DA02 requests the counterpart device to perform LAN communication.
  • the sixth command in which “000” is set in the second field DA03 indicates that it does not have information specifying the communication connection destination.
  • the sixth command in which “001” is set in the second field DA03 is transmitted by the first unit 1001 to the device to which the first unit 1001 is connected.
  • Such a sixth command requests transmission of information related to a device to which the first unit 1001 is connected.
  • the sixth command in which “010” is set in the second field DA03 is transmitted by the second unit 1002 to the first unit 1001 to which the second unit 1002 is connected.
  • Such a sixth command requests transmission of information regarding the first unit 1001 to which the second unit 1002 is connected.
  • the sixth command in which “011” is set in the second field DA03 is transmitted by the second unit 1002 to the first unit 1001 to which the second unit 1002 is connected.
  • Such a sixth command requests that information regarding the second unit 1002 be set as connection destination device information.
  • the sixth command in which “100” is set in the second field DA03 is transmitted by the first unit 1001 to the device to which the first unit 1001 is connected (for example, the second unit 1002).
  • Such a sixth command requests that information regarding the first unit 1001 be set as connection destination device information.
  • the sixth command in which “000” is set in the third field DA04 indicates that it does not have information specifying the transfer destination of data (for example, a file).
  • the sixth command in which “001” is set in the third field DA04 is transmitted by the first unit 1001 to the data transfer destination device.
  • Such a sixth command requests transmission of information relating to the data transfer destination device.
  • the sixth command in which “010” is set in the third field DA04 is transmitted by the second unit 1002 to the first unit 1001 that is the data transfer destination.
  • Such a sixth command requests transmission of information related to the first unit 1001 of the data transfer destination.
  • the sixth command in which “011” is set in the third field DA04 is transmitted by the second unit 1002 to the first unit 1001 that is the data transfer destination.
  • Such a sixth command requests that information regarding the second unit 1002 be set as device information of the data transfer source.
  • the sixth command in which “100” is set in the third field DA04 is transmitted by the first unit 1001 to the data transfer destination device (for example, the second unit 1002).
  • the data transfer destination device for example, the second unit 1002.
  • Such a sixth command requests that information regarding the first unit 1001 be set as device information of the data transfer source.
  • the sixth command in which “00”, “01”, “10”, or “11” is set in the fourth field DA05 is transmitted by the first unit 1001 to the second unit 1002.
  • the sixth command in which “00” is set in the fourth field DA05 does not request the second unit 1002 to transmit data indicating the signal strength. Also, the sixth command in which “01” is set in the fourth field DA05 requests the signal strength detection unit 297 to transmit data indicating the signal strength at that time. Furthermore, the sixth command in which “10” is set in the fourth field DA05 requests transmission of data indicating the signal strength when the signal strength is changed. Further, the sixth command in which “11” is set in the fourth field DA05 requests the transmission of data indicating the signal strength at regular intervals.
  • FIG. 14 is a diagram showing a schematic configuration of response data.
  • the response data is data corresponding to the content of the first command (sensing command).
  • the CPU 210 transmits response data from the display device 103 to the first unit 1001.
  • the image processing engine 180 transmits response data from the image processing engine 180 to the main device 101.
  • a case where the first command is transmitted from the main device 101 to the second unit 1002 will be described as an example.
  • the response data includes a header data area DA11, a coordinate data area DA12, a time data area DA13, and an image data area DA14.
  • the value of the center coordinates of the partial image is written in the data area DA12 indicating the coordinates.
  • the time information acquired from the timer 282 of the image processing engine 280 is written in the data area indicating the time.
  • image data that is, scan data
  • the image processing engine 280 is written in the data area indicating the image.
  • FIG. 15 is a diagram showing an image obtained by scanning the finger 900 (that is, a scanned image).
  • an image of a region W1 surrounded by a thick solid line is an entire image
  • an image of a region P1 surrounded by a broken line is a partial image.
  • the center point C1 of the cross indicated by a thick line is the center coordinate.
  • a pixel that is, a predetermined gradation or a pixel having a photosensor circuit which is a rectangular region and whose output voltage from the sensor signal line SSj is equal to or higher than a predetermined value.
  • An area including all of the pixels having a luminance equal to or higher than a predetermined luminance is set as a partial image area.
  • the center coordinates are coordinates determined in consideration of the gradation of each pixel in the partial image area. Specifically, for each pixel in the partial image, the center coordinate is determined by performing a weighting process based on the gradation of the pixel and the distance between the pixel and the rectangular center point (that is, the centroid). Is done. That is, the center coordinates do not necessarily match the centroid of the partial image.
  • the position of the center coordinates is not necessarily limited to the above, and the center coordinates may be the coordinates of the centroid or the coordinates near the centroid.
  • the image processing engine 280 When “001” is set in the data area indicating the data type of the first command, the image processing engine 280 writes the value of the central coordinate in the data area DA12 indicating the coordinate. In this case, the image processing engine 280 does not write image data in the data area DA14 indicating an image. After writing the value of the center coordinate, the image processing engine 280 sends response data including the value of the center coordinate to the main body device 104. The main device 104 sends response data including the value of the center coordinate to the main device 101 of the first unit 1001. As described above, when “001” is set in the data area indicating the data type, the first command does not request output of the image data but requests output of the value of the center coordinate.
  • the image processing engine 280 stores the image data of the partial image whose scan result has changed in the data area DA14 indicating the image. Write. In this case, the image processing engine 280 does not write the value of the center coordinate in the data area DA12 indicating the coordinate.
  • the image processing engine 280 writes the image data of the partial image whose scan result has changed, and then sends response data including the image data of the partial image to the main body device 104.
  • the main device 104 sends response data including image data of the partial image to the main device 101 of the first unit 1001.
  • the first command does not request the output of the value of the center coordinate, and the image data of the partial image whose scan result has changed. Request output.
  • the reason for requesting transmission of only the partial image whose scan result has changed is that the scan data of the partial image area of the scan data is more important than the scan data of the other area. This is because the data is high, and the scan data in the region corresponding to the region of the partial image in the scan data is likely to change due to the contact state with the scan object such as the finger 900.
  • the image processing engine 280 When “011” is set in the data area indicating the data type of the first command, the image processing engine 280 writes the value of the center coordinate in the data area DA12 indicating the coordinate and also indicates the data indicating the image. The image data of the partial image whose scan result has changed is written in the area DA14. Thereafter, the image processing engine 280 sends response data including the value of the center coordinate and the image data of the partial image to the main body device 104. The main device 104 sends response data including the value of the center coordinate and the image data of the partial image to the main device 101 of the first unit 1001.
  • the first command outputs the value of the center coordinate and the output of the image data of the partial image whose scan result has changed. Request.
  • the image processing engine 280 displays the entire image in the data area DA14 indicating the image of the response data shown in FIG. Write image data. In this case, the image processing engine 280 does not write the value of the center coordinate in the data area DA12 indicating the coordinate.
  • the image processing engine 280 writes the image data of the entire image, and then sends response data including the image data of the entire image to the main body device 104.
  • the main device 104 sends response data including image data of the entire image to the main device 101 of the first unit 1001.
  • the first command requests the output of the image data of the entire image without requesting the output of the center coordinate value. .
  • the image processing engine 280 When “101” is set in the data area indicating the data type of the first command, the image processing engine 280 writes the value of the central coordinate in the data area DA12 indicating the coordinate and the data indicating the image. The image data of the entire image is written in the area DA14. Thereafter, the image processing engine 280 sends response data including the value of the center coordinate and the image data of the entire image to the main body device 104. The main device 104 sends response data including the value of the center coordinate and the image data of the entire image to the main device 101 of the first unit 1001.
  • the first command requests the output of the value of the center coordinate and the output of the image data of the entire image.
  • the structure of the liquid crystal panel 140 is not limited to the structure shown in FIG.
  • a liquid crystal panel having a mode different from that in FIG. 3 will be described.
  • FIG. 16 is a circuit diagram of the photosensor built-in liquid crystal panel 140A according to the different embodiment.
  • photosensor built-in liquid crystal panel 140A (hereinafter referred to as liquid crystal panel 140A) includes three photosensor circuits (144r, 144g, 144b) in one pixel.
  • the liquid crystal panel 140A is different from the liquid crystal panel 140 including one photosensor circuit in one pixel in that the liquid crystal panel 140A includes three photosensor circuits (144r, 144g, and 144b) in one pixel.
  • the configuration of the optical sensor circuit 144 is the same as that of each of the three optical sensor circuits (144r, 144g, 144b).
  • the three photodiodes (145r, 145g, 145b) in one pixel are arranged at positions facing the color filter 153r, the color filter 153g, and the color filter 153b, respectively. Therefore, the photodiode 145r receives red light, the photodiode 145g receives green light, and the photodiode 145b receives blue light.
  • liquid crystal panel 140 since the liquid crystal panel 140 includes only one photosensor circuit 144 in one pixel, two data signal lines for the TFT 147 disposed in one pixel are a sensor signal line SSj and a sensor signal line SDj. Met. However, since the liquid crystal panel 140A includes three photosensor circuits (144r, 144g, 144b) in one pixel, there are six data signal lines for TFTs (147r, 147g, 147b) arranged in one pixel. It becomes.
  • the sensor signal line SSRj and the sensor signal line SDRj are arranged corresponding to the TFT 147r connected to the cathode of the photodiode 145r arranged at a position facing the color filter 153r.
  • a sensor signal line SSGj and a sensor signal line SDGj are arranged corresponding to the TFT 147g connected to the cathode of the photodiode 145g arranged at a position facing the color filter 153g.
  • a sensor signal line SSBj and a sensor signal line SDBj are disposed corresponding to the TFT 147b connected to the cathode of the photodiode 145b disposed at a position facing the color filter 153b.
  • the white light emitted from the backlight 179 passes through the three color filters (153r, 153g, 153b), and red, green, and blue are displayed on the surface of the liquid crystal panel 140A. It mixes and becomes white light.
  • white light is reflected by the scan object, a part of the white light is absorbed by the pigment on the surface of the scan object, and a part is reflected. And the reflected light permeate
  • the color filter 153r transmits light having a red wavelength, and the photodiode 145r receives light having the red wavelength.
  • the color filter 153g transmits light having a green wavelength, and the photodiode 145g receives light having the green wavelength.
  • the color filter 153b transmits light having a blue wavelength, and the photodiode 145b receives light having the blue wavelength. That is, the light reflected by the scan object is separated into three primary colors (R, G, B) by three color filters (153r, 153g, 153b), and each photodiode (145r, 145g, 145b) The light of the color corresponding to is received.
  • each photodiode (145r, 145g, 145b) When a part of white light is absorbed by the pigment on the surface of the scan target, the amount of light received by each photodiode (145r, 145g, 145b) is different for each photodiode (145r, 145g, 145b). For this reason, the output voltages of the sensor signal line SSRj, the sensor signal line SSGj, and the sensor signal line SSBj are different from each other.
  • the image processing engine 180 determines the R gradation, the G gradation, and the B gradation according to each output voltage, so that the image processing engine 180 sends the RGB color image to the main body device 101. Can send.
  • the scan object can be scanned in color.
  • FIG. 17 is a cross-sectional view showing a configuration in which a photodiode receives external light during scanning. As shown in the figure, part of the external light is blocked by the finger 900. Therefore, the photodiode disposed under the surface region of the liquid crystal panel 140 that is in contact with the finger 900 can hardly receive external light. In addition, although the photodiodes disposed under the surface area where the shadow of the finger 900 is formed can receive a certain amount of external light, the amount of external light received is small compared to the surface area where no shadow is formed.
  • the optical sensor circuit 144 can output a voltage corresponding to the position of the finger 900 with respect to the surface of the liquid crystal panel 140 from the sensor signal line SSj. it can.
  • the liquid crystal panel 140 has a contact position of the finger 900, a range in which the finger 900 is in contact (determined by the pressing force of the finger 900), and the liquid crystal panel 140.
  • the voltage output from the sensor signal lines (SS1 to SSn) varies depending on the direction of the finger 900 with respect to the surface of the sensor.
  • the display device 102 can scan an image (hereinafter also referred to as a shadow image) obtained by blocking external light by the finger 900.
  • the display device 102 may be configured to perform scanning by turning on the backlight 179 and then performing scanning again by turning off the backlight 179.
  • the display device 102 may be configured to perform scanning by turning off the backlight 179 and then performing scanning again by turning on the backlight 179.
  • the operation of the display device 103 is controlled in accordance with a command (for example, a first command) from the main body device 101 as in the operation of the display device 102.
  • the display device 103 has the same configuration as the display device 102. Therefore, when the display device 103 receives the same command as the display device 102 from the main body device 101, the display device 103 performs the same operation as the display device 102. For this reason, description of the configuration and operation of the display device 103 will not be repeated.
  • the main device 101 can send commands having different commands to the display device 102 and the display device 103.
  • the display device 102 and the display device 103 perform different operations.
  • the main device 101 may send a command to either the display device 102 or the display device 103. In this case, only one display device performs an operation according to the command.
  • the main device 101 may send a command having the same command to the display device 102 and the display device 103. In this case, the display device 102 and the display device 103 perform the same operation.
  • the size of the liquid crystal panel 140 of the display device 102 and the size of the liquid crystal panel 240 of the display device 103 may be the same or different. Further, the resolution of the liquid crystal panel 140 and the resolution of the liquid crystal panel 240 may be the same or different.
  • FIG. 18 is a block diagram illustrating a hardware configuration of the electronic device 1300. Similar to the electronic device 100, the electronic device 1300 includes a first housing 100A and a second housing 100B. Referring to FIG. 18, electronic device 1300 includes a first unit 1001A and a second unit 1002. The first unit 1001A includes a main body device 101 and a display device 102A. The second unit 1002 includes a main device 104 and a display device 103.
  • the display device 102A includes a liquid crystal panel that does not incorporate a photosensor (that is, a liquid crystal panel having only a display function).
  • the electronic device 1300 is different from the electronic device 100 in which the first unit 1001A includes a liquid crystal panel that does not include a photosensor, and the first unit 1001 includes a liquid crystal panel 240 that includes a photosensor.
  • Such an electronic device 1300 performs the above-described sensing using the display device 103 of the second unit 1002.
  • the first unit 1001 may be provided with, for example, a resistive film type or capacitive type touch panel instead of the liquid crystal panel 140 incorporating the optical sensor.
  • the display device 102 includes the timer 182 and the display device 103 includes the timer 282.
  • the display device 102 and the display device 103 may share one timer. .
  • the electronic device 100 is described as a foldable device, but the electronic device 100 is not necessarily limited to the foldable device.
  • the electronic device 100 may be a sliding device configured such that the first housing 100A slides with respect to the second housing 100B.
  • the second unit 1002 is detachable from the first unit 1001 via the USB connectors 194 and 294.
  • the electronic device 100 which concerns on this Embodiment can exhibit the following functions, for example at the time of power activation.
  • the first unit 1001 activates a BIOS (Basic Input / Output System) by using power from the power supply circuit 192.
  • BIOS Basic Input / Output System
  • the second unit 1002 acquires power from the first unit 1001 via the USB connectors 194 and 294.
  • the second unit 1002 can transmit and receive data to and from the first unit 1001 by using the power.
  • the CPU 210 of the second unit 1002 can display the OS (Operation System) type on the liquid crystal panel 240 in a selectable manner by using the power from the USB connectors 194 and 294.
  • the second unit 1002 may be directly supplied with power from the power source 192 without going through the USB connectors 194 and 294.
  • the user selects an OS to be started up via the liquid crystal panel 240.
  • the CPU 210 transmits a command (for example, a “first OS” command shown in FIG. 10) specifying the OS to be activated to the first unit 1001 via the USB connectors 194 and 294 according to the user's selection. .
  • the first unit 1001 starts the OS in response to the command.
  • the second unit 1002 transmits / receives data to / from an external mobile phone via the antenna 295.
  • the CPU 210 of the second unit 1002 acquires photographic image data and corresponding thumbnail data from an external mobile phone via the antenna 295, and stores the photographic image data and corresponding thumbnail data in the RAM 271 or the like.
  • the CPU 210 reads the thumbnail data from the RAM 271 and causes the liquid crystal panel 240 to display a thumbnail image of the photo in a selectable manner.
  • the CPU 210 causes the liquid crystal panel 240 to display a photographic image in response to an external selection command.
  • the CPU 210 displays a photographic image on the liquid crystal panel 140 or the display device 102A via the USB connector 294.
  • electronic device 100 may further include a key operation unit in second housing 100B as shown in FIG.
  • electronic device 100 is configured as a laptop personal computer.
  • Electronic device 100 may be configured as a device having a display function, such as a PDA (Personal Digital Assistant), a mobile phone, or an electronic dictionary.
  • FIG. 20 is a block diagram showing a hardware configuration of electronic device 100 shown in FIG.
  • HDD Hard Disc Drive
  • the CPU 110 executes a program.
  • the operation key 177 receives an instruction input from the user of the electronic device 100.
  • the HDD 170 is a storage device that can write and read data. However, the HDD 170 is an example of such a storage device. In the electronic device 100, a storage device such as a flash memory may be used instead of the HDD 170.
  • Each component (210, 241 to 243, 271, 272, 274, 273, 293) is connected to each other by the data bus DB2.
  • FIG. 21 is a block diagram illustrating a functional configuration of the electronic device 100 of FIG. As described above, electronic device 100 includes first unit 1001 and second unit 1002. Hereinafter, the functional configuration of the electronic apparatus 100 will be described with reference to FIG.
  • the first unit 1001 includes a display unit 310, an input unit 320, a storage unit 330, an interface unit 340, and a control unit 350.
  • the first unit 1001 performs the main operation of the electronic device 100.
  • Display unit 310 displays information inside first unit 1001 to the outside.
  • the input unit 320 receives an instruction from the outside.
  • the liquid crystal panel 140 has the functions of the display unit 310 and the input unit 320.
  • the display unit 310 another display device, for example, a display such as an LCD (Liquid Crystal Display) may be used.
  • the operation key 177 also functions as the input unit 320.
  • the storage unit 330 stores information such as display data 333, a program 334, and an operation parameter 335 that are a basis of a screen displayed on the display unit 310 (liquid crystal panel 140) of the first unit 1001.
  • the storage unit 330 generally stores a plurality of programs 334. Examples of the program 334 include general-purpose application software such as a word processor and a Web browser.
  • the operation parameter 335 is information for giving an operation condition of the program 334.
  • the operation parameter 335 includes, for example, data indicating an active window that operates in response to pressing of the operation key 177 in the multi-window program 334.
  • the interface unit 340 exchanges information with the interface unit 440 on the second unit 1002 side.
  • the USB connector 194 functions as the interface unit 340.
  • the antenna 195 functions as the interface unit 340.
  • the method of exchanging information by the interface unit 340 is not limited to this.
  • the control unit 350 controls the operations of the display unit 310, the storage unit 330, and the interface unit 340 based on instructions from the input unit 320 and the like.
  • Control unit 350 includes an input processing unit 352, a display control unit 356, and a program execution unit 358.
  • the CPU 110 and the image processing engine 180 correspond to the control unit 350.
  • each function of the CPU 110 may be realized by hardware such as a dedicated circuit.
  • Each function of the image processing engine 180 may be realized by the CPU 110 that executes software. That is, each function of the control unit 350 may be realized by hardware or may be realized by software.
  • the input processing unit 352 transmits the signal received from the input unit 320 to the program execution unit 358.
  • the display control unit 356 controls the operation of the display unit 310 based on the display data 333 stored in the storage unit 330.
  • the program execution unit 358 executes the program 334 based on an instruction received from the input unit 320. Specifically, the CPU 110 that executes the program 334 using the RAM 171 as a working memory corresponds to the program execution unit 358.
  • the second unit 1002 includes a display unit 410, an input unit 420, a storage unit 430, an interface unit 440, a control unit 450, and a timer 273.
  • Display unit 410 displays information inside second unit 1002 to the outside.
  • the input unit 420 receives an instruction from the outside.
  • the optical sensor built-in liquid crystal panel 240, the left click key 241, the center key 242, and the right click key 243 correspond to the input unit 420.
  • the optical sensor built-in liquid crystal panel 240 also has the functions of the display unit 410 and the input unit 420 (panel input unit 422).
  • the display unit 410 another display device, for example, a display such as an LCD may be used.
  • the input unit 320 is not limited to the optical sensor built-in liquid crystal panel 240, and a device (tablet) having a function of recognizing an input position can be used.
  • a capacitive touch panel may be used as the input unit 420.
  • a component that realizes the functions of the display unit 410 and the input unit 420 in this way is referred to as a “display-integrated touchpad”.
  • the storage unit 430 stores information such as input data 431, display data 433, a program 434, operation parameters 435, time data 436, and mode data 437.
  • the input data 431 is data created based on the input received by the input unit 420.
  • the input data 431 includes an input history 432 corresponding to the input history.
  • the input history 432 includes handwritten character data 432a and illustration data 432b. Details of the handwritten character data 432a and the illustration data 432b will be described later.
  • the display data 433 is a basis of a screen displayed on the display unit 410 (liquid crystal panel 240) of the second unit 1002.
  • the display data 433 includes image data (such as wallpaper) stored in the storage unit 430 and image data created in accordance with the execution of the program 434.
  • the storage unit 430 stores a plurality of programs 434.
  • the program 434 includes application software (for example, handwritten character input software, hand-drawn illustration input software, or calculator software) that displays an operation screen on the liquid crystal panel 240. Details of the program 434 will be described later.
  • the operation parameter 435 is information for giving an operation condition of the program 434 as with the operation parameter 335 in the first unit 1001.
  • the operation parameter 435 includes a count value of elapsed time from a predetermined event created by the program 434.
  • Time data 436 represents the time measured by the timer 273.
  • the time data 436 is used when executing a program 434 that performs a predetermined operation with the passage of time.
  • the mode data 437 is information representing the operation mode of the input processing unit 452. There are a plurality of operation modes of the input processing unit 452, and the mode data 437 represents the current operation mode. Specifically, for example, a flag stored in a predetermined storage area can be regarded as mode data 437. Details of the operation mode of the input processing unit 452 will be described later.
  • the interface unit 440 exchanges information with the interface unit 340 on the first unit 1001 side.
  • the USB connector 294 functions as the interface unit 440.
  • the antenna 295 functions as the interface unit 440.
  • the method of exchanging information by the interface unit 440 is not limited to this.
  • Control unit 450 controls the operations of the display unit 410, the storage unit 430, and the interface unit 440 based on instructions received by the input unit 420.
  • Control unit 450 includes an input processing unit 452, a display control unit 456, and a program execution unit 458.
  • the input processing unit 452 transmits the signal from the input unit 420 to the program execution unit 458 or the interface unit 440.
  • the input processing unit 452 includes a panel input processing unit 453 and a mode setting unit 454.
  • Panel input processing unit 453 processes a signal from panel input unit 422. For example, the panel input processing unit 453 creates an input history 432 (handwritten character data 432a, illustration data 432b, etc.) based on the signal history. Details of the operation of the panel input processing unit 453 will be described later.
  • the mode setting unit 454 sets the operation mode of the panel input processing unit 453 based on a predetermined signal from the input unit 420 (such as a signal generated by pressing the center key 242). Details of the operation of the mode setting unit 454 will be described later.
  • the display control unit 456 controls the operation of the display unit 410 based on the display data 433. For example, the display control unit 456 displays a screen (operation screen) created as a result of the execution of the program 434 on the display unit 410.
  • the program execution unit 458 executes the program 434 based on an instruction received from the input unit 420. Specifically, the CPU 210 that executes the program 434 using the RAM 271 as a working memory corresponds to the program execution unit 458.
  • the electronic device 100 issues an instruction for the operation of the application in response to an instruction input to the liquid crystal panel 240, that is, an object (such as a finger 900 or a stylus 950) touching the liquid crystal panel 240.
  • the electronic device 100 (more specifically, the panel input processing unit 453) has two operation modes of “mouse mode” and “tablet mode”. The electronic device 100 operates according to these two operation modes.
  • the electronic device 100 executes the program 334 in response to an input to the liquid crystal panel 240, and an image created by the executed program 334 (hereinafter referred to as “program operation screen”) is displayed on the liquid crystal panel 140. To display.
  • electronic device 100 moves the cursor in the operation screen of liquid crystal panel 140 in real time according to the change in the input position to liquid crystal panel 240.
  • the “cursor” refers to a display that indicates an input position of a character, a figure, a display object, or the like.
  • the electronic device 100 creates a command that instructs the program 334 of the first unit 1001 to perform a predetermined operation in response to a predetermined input to the liquid crystal panel 240. For example, when the electronic device 100 determines that the liquid crystal panel 240 has received an input corresponding to a click, a double click, a drag, or the like, the electronic device 100 executes the program 334 according to the input. The operation performed by electronic device 100 at this time is determined by program 334.
  • the operation of the program 334 according to the movement of the cursor position and the predetermined input to the liquid crystal panel 240 will be collectively referred to as “mouse operation”.
  • electronic device 100 executes program 434 (or program 334) in response to an input to liquid crystal panel 240, and displays an operation screen of the executed program on liquid crystal panel 240.
  • electronic device 100 creates a command for a program for displaying an operation screen on liquid crystal panel 240. For example, when an operation button is displayed on the liquid crystal panel 240, the electronic device 100 executes the program 434 and performs an operation corresponding to the operation button on the touched liquid crystal panel 240. That is, when the electronic device 100 is in the tablet mode, the user can use the liquid crystal panel 240 as a touch screen.
  • the electronic device 100 switches the operation mode based on a predetermined instruction.
  • electronic device 100 switches the operation mode in response to pressing of center key 242.
  • the operation mode switching instruction is not limited to pressing the center key 242.
  • Electronic device 100 may switch the operation mode in response to pressing of operation key 177 other than center key 242.
  • electronic device 100 may switch the operation mode in accordance with selection of an operation button displayed on liquid crystal panel 140 or liquid crystal panel 240.
  • the electronic device 100 also switches the operation mode depending on the operation state of the electronic device (during startup processing, return from sleep or hibernation). This point will be described in detail later.
  • FIG. 22 is a diagram for explaining a screen displayed by the electronic device in each of the mouse mode and the tablet mode.
  • the electronic device 100 displays an operation screen 500 of software such as word processing software or a Web browser on the liquid crystal panel 140.
  • the screen 500 is similar to a display screen by a personal computer that is widely used at present (that is, having one display). However, the contents of the screen 500 are not drawn in FIG. 22 for simplicity.
  • the screen 500 is not limited to this specific example.
  • the screen 500 includes a cursor 510.
  • the cursor 510 is a pointer (mouse pointer) that can freely move on the screen 500.
  • the cursor 510 is not limited to a pointer.
  • the cursor 510 may be a display that indicates an input position of a character or a display object.
  • the display form of the cursor 510 is not limited to that shown in FIG.
  • electronic device 100 may change the display form of cursor 510 depending on the position pointed to.
  • the electronic device 100 displays the screen 600 on the liquid crystal panel 240.
  • the screen displayed on the liquid crystal panel 240 in the mouse mode is also referred to as a “mouse screen”.
  • screen 600 includes a guidance display 610.
  • Guidance display 610 is a display for describing the operation of electronic device 100 when left click key 241, center key 242, and right click key 243 are pressed.
  • Guidance display 610 includes a left guidance display 612, a center guidance display 614, and a right guidance display 616.
  • the left guidance display 612, the center guidance display 614, and the right guidance display 616 are characters that describe the operation of the electronic device 100 when the left click key 241, the center key 242, and the right click key 243 are pressed, respectively. And / or symbols (though such characters and symbols are not shown in FIG. 22).
  • the mouse screen may not always display the left guidance display 612, the center guidance display 614, and the right guidance display 616.
  • electronic device 100 does not display left guidance display 612, center guidance display 614, and right guidance display 616 on liquid crystal panel 240 when the corresponding key is invalid.
  • screen 600 includes a left guidance display 612, a center guidance display 614, and a right guidance display 616.
  • the left guidance display 612 includes the characters “left click”.
  • electronic device 100 performs a left click operation (decision process or the like) in response to pressing of left click key 241.
  • the left click operation is determined by the running program.
  • the center guidance display 614 includes the characters “touch screen operation”. This display is made when the electronic device 100 is in the mouse mode. When this display is made, the electronic device 100 shifts to the tablet mode in response to pressing of the center key 242.
  • the electronic device 100 displays characters including the character “mouse operation” on the center guidance display 614 when in the tablet mode. When this display is made, electronic device 100 shifts to the mouse mode in response to pressing of center key 242.
  • the right guidance display 616 includes the characters “right click”. This indicates that electronic device 100 performs a right-click operation (menu display, etc.) in response to pressing of right-click key 243. The detailed operation of the right click is determined by the running program.
  • the user can set the mouse screen.
  • the user may be able to set an image such as a photograph stored in the electronic device 100 as the wallpaper of the mouse screen.
  • the wallpaper may be an operation screen of an accessory such as a clock or calendar that does not require user operation. Even when the user cannot set the mouse screen, the mouse screen is not limited to that shown in FIG.
  • the wallpaper can also change automatically depending on the state of the electronic device 100.
  • image data displayed as a mouse screen is stored in a storage device such as the ROM 272 or RAM 271, and the CPU 210 reads the image data from the storage device and displays it on the liquid crystal panel 240 in the mouse mode.
  • a storage device such as the ROM 272 or RAM 271
  • the CPU 210 reads the image data from the storage device and displays it on the liquid crystal panel 240 in the mouse mode.
  • the liquid crystal panel 140 displays an operation screen 700 of software such as word processing software or a Web browser.
  • the content of the operation screen 700 is the same as that of the operation screen 500.
  • screen 800 In the tablet mode, the electronic device 100 displays the screen 800 on the liquid crystal panel 240.
  • the screen displayed on the liquid crystal panel 240 in the tablet mode is also referred to as a “tablet screen”.
  • screen 800 includes a guidance display 810 and an operation button display 820.
  • Guidance display 810 includes a left guidance display 812, a center guidance display 814, and a right guidance display 816 similarly to the guidance display 610 in the mouse mode. These roles and operations are similar to left guidance display 612, center guidance display 614, and right guidance display 616, respectively, and detailed description thereof will not be repeated.
  • the operation button display 820 is used for selecting an application.
  • electronic device 100 detects the contact of an external object (such as finger 900 or stylus 950) in the region corresponding to operation button display 820, electronic device 100 starts a predetermined operation corresponding to the region.
  • an external object such as finger 900 or stylus 950
  • the programs executed by electronic device 100 include a program for displaying an operation screen on liquid crystal panel 140 (hereinafter referred to as “main application”) and a program for displaying an operation screen on liquid crystal panel 240. (Hereinafter referred to as “sub-application”).
  • the main application applications that operate on current electronic devices such as browsers, dictionaries, book viewers, and photo viewers can be assumed.
  • Examples of the sub-application include an input pad (handwritten character input pad, hand-drawn illustration input pad, calculator / number input pad, etc.) that uses input to the liquid crystal panel 240, and an application for assisting operation of the main application.
  • the sub application is independent of the main application.
  • the main application is stored in the storage unit 330 of the first unit 1001.
  • the sub application is stored in the storage unit 430 of the second unit 1002.
  • the main application is separated from the sub application. Therefore, a general-purpose application that operates on other electronic devices can be used as the main application.
  • the specification of data exchange with the main application of the sub application is matched with the specification of the main application.
  • the instruction of the mouse operation by the sub application is matched with the operation instruction from the conventional touch pad or mouse.
  • the program execution unit 358 that executes the main application and the program execution unit 458 that executes the sub-application are independent. In this way, it is possible to reduce the load on the processor (CPU 110 in this embodiment) that executes the main application. In particular, when the performance of the CPU of the electronic device 100 is low, dividing the program execution unit in this way is effective.
  • the sub application does not necessarily have to be independent of the main application. That is, the same program may function as both the main application and the sub application. Specifically, a part of the program may create a screen to be displayed on the liquid crystal panel 140, and another part of the program may create a screen to be displayed on the liquid crystal panel 240.
  • the main application and the sub application may be executed by the same processor.
  • the processor that executes the application controls the operations of both the liquid crystal panel 140 and the liquid crystal panel 240.
  • electronic device 100 executes one of a plurality of sub-applications in the tablet mode.
  • One of the sub-applications is a “home application” for determining an application to be executed.
  • the home application is a launcher for application selection.
  • the home application displays on the liquid crystal panel 240 a screen for selecting one sub-application from the plurality of sub-applications (hereinafter “home menu screen”).
  • FIG. 24 shows a specific example of the home menu screen.
  • the home menu screen includes a guidance display 810, operation button displays 820a to 820i, and a mouse disabled display 830.
  • operation button displays 820a to 820i are touched, the home application calls a sub application corresponding to operation button displays 820a to 820i.
  • the mouse disabled display 830 is a display for indicating that the electronic device 100 does not perform a mouse operation by an input to the liquid crystal panel 240. This display helps the user to accurately understand the operation of the electronic device 100 in the tablet mode. It also helps the user to distinguish between mouse mode and tablet mode.
  • electronic device 100 can customize the home menu screen based on a user instruction. Even if the home menu screen cannot be customized, the configuration of the home menu screen is not limited to that shown in FIG. For example, the number and arrangement of operation button displays 820 are not limited to those shown in FIG.
  • the mouse disabled display 830 is not limited to that shown in FIG. Alternatively, the mouse disabled display 830 may not be included in the home menu screen.
  • the default sub-application in tablet mode is the home application. That is, when the electronic device 100 operates in the tablet mode for the first time after activation (after power is turned on), the home application is executed.
  • FIG. 25 is a transition diagram of a screen 800 displayed on the liquid crystal panel 240 in the tablet mode.
  • operation button display 820 hand-drawn illustration
  • electronic device 100 executes the hand-drawn illustration application and displays screen 800b on liquid crystal panel 240.
  • the screen 800b is an operation screen for a hand-drawn illustration application.
  • a picture of a dog input during execution of the handwritten illustration application is drawn in the handwriting input frame.
  • the electronic device 100 displays the window 800d on the liquid crystal panel 240.
  • the electronic device 100 may display the window 800d exclusively with the screen 800b, or may display the window 800d superimposed on the screen 800b.
  • the window 800d includes text for inquiring whether to save the created hand-drawn illustration, and operation button displays 820 of “Yes”, “No”, and “Cancel”.
  • the electronic device 100 displays a hand-drawn illustration in the input frame before the window 800d is displayed in the electronic device 100 or an external storage device (such as a hard disk or a flash memory). To store. In addition, the electronic device 100 displays the home menu screen 800a on the liquid crystal panel 240.
  • the electronic device 100 displays the home menu screen 800a on the liquid crystal panel 240. In this case, electronic device 100 does not store the hand-drawn illustration made in the input frame before display of window 800d in the storage device.
  • the electronic device 100 displays the screen 800b before the window 800d is displayed on the liquid crystal panel 240. That is, if the user selects cancel, the user can continue to create a hand-drawn illustration in the hand-drawn input frame.
  • the electronic device 100 displays an operation screen 800c for selecting a homepage list on the liquid crystal panel 140 for starting the Web browser.
  • the electronic device 100 displays the home menu screen 800a on the liquid crystal panel 240. In this case, electronic device 100 does not perform the storage process of the input data. Therefore, electronic device 100 does not display an inquiry screen such as window 800d.
  • FIG. 26 is a diagram for explaining the operation of the electronic device 100 when switching between the mouse mode and the tablet mode.
  • electronic device 100 basically switches the operation mode in response to pressing of center key 242 as described above.
  • the electronic device 100 can transition from the tablet mode to the mouse mode, or can transition from the mouse mode to the tablet mode.
  • the electronic device 100 changes the processing method of the input to the liquid crystal panel 240 when shifting from the tablet mode to the mouse mode. That is, electronic device 100 treats an input to liquid crystal panel 240 as a mouse operation instruction rather than an operation instruction to a sub application. In addition, the electronic device 100 displays a mouse screen on the liquid crystal panel 240 when shifting to the mouse mode.
  • the electronic device 100 keeps running the application executed in the tablet mode even after shifting to the mouse mode.
  • the electronic device 100 can smoothly display the screen on the liquid crystal panel 240 when shifting from the mouse mode to the tablet mode. This is because the startup time of the sub application is unnecessary.
  • the operability when the user performs the mouse operation temporarily with the liquid crystal panel 140 during the tablet mode is improved. For example, consider that the electronic device 100 transitions from the tablet mode to the mouse mode and then transitions back to the tablet mode. Since the electronic device 100 operates as described above, the electronic device 100 displays the operation screen of the same sub application on the liquid crystal panel 240 before and after the transition to the mouse mode. Therefore, the user can continue to use the sub-application before the mouse operation after performing the mouse operation.
  • the electronic device 100 displays the operation screen of the main application on the liquid crystal panel 140 not only in the mouse mode but also in the tablet mode. Therefore, electronic device 100 can allow the user to operate the sub application without impairing the visibility of the operation screen of the main application.
  • Mode at the start of operation In particular, switching of operation modes related to the start of operation of electronic device 100 will be described.
  • the operation of the electronic device 100 is roughly classified into (i) activation from a power-off state (hereinafter referred to as normal activation) and (ii) activation from a power saving state (hereinafter referred to as “power activation state”) , Called resumption).
  • the “power-off state” is a state in which the operation of each part of the electronic device 100 (excluding a part necessary for starting the electronic device 100) is stopped.
  • the “power saving state” is a state in which a part of the operation of the electronic device 100 is stopped.
  • the power saving state includes a “standby state”, a “hibernation state”, and a “hybrid sleep state” that is a combination of the standby state and the hibernation state.
  • the electronic device 100 When receiving the instruction to shift to the standby state, the electronic device 100 stores the data in operation in the RAM 171. In addition, the electronic device 100 stops supplying power to portions other than portions necessary for restarting operations (such as the power supply circuit 192, the power supply detection unit 193, and the RAM 171).
  • the electronic device 100 When receiving the instruction to shift to the hibernation state, the electronic device 100 saves the data being worked in the hard disk 170. In addition, the electronic device 100 stops supplying power to portions other than those necessary for restarting the operation (such as the power supply circuit 192 and the power supply detection unit 193).
  • the electronic device 100 When the hybrid sleep process for shifting to the hybrid sleep state is started, the electronic device 100 first stores data in operation in the memory. At the same time, the electronic device 100 copies the data stored in the memory from the memory to the hard disk when a predetermined time elapses from the instruction in the sleep state.
  • the types of power saving states are not limited to those described above. Moreover, the electronic device 100 does not necessarily need to prepare all these power saving processes.
  • FIG. 27 is a diagram schematically showing an operation mode at the normal startup.
  • the electronic device 100 first performs a boot process for starting an OS (Operating System). During the boot process, the electronic device 100 displays a boot screen 2501 on the liquid crystal panel 140. During the boot process, the operation mode of the electronic device 100 is the mouse mode. The electronic device 100 displays a predetermined mouse screen (hereinafter referred to as a fixed screen) 2502 on the liquid crystal panel 240. The fixed screen 2502 does not include a guidance display. This is because mode switching cannot be executed during the boot process.
  • OS Operating System
  • the electronic device 100 displays a login screen 2503 on the liquid crystal panel 140. Also at this time, the electronic device 100 displays the fixed screen 2504.
  • the electronic device 100 displays the desktop screen 2505 on the liquid crystal panel 140.
  • the electronic device 100 displays a mouse screen 2506 on the liquid crystal panel 240.
  • the electronic device 100 can switch from the mouse mode to the tablet mode.
  • the mouse screen 2506 includes a guidance display, similar to the mouse screen 600 shown in FIG.
  • the default sub-application in tablet mode is the home application. That is, when the electronic device 100 operates in the tablet mode for the first time after activation (after power is turned on), the home application is executed. This operation is not limited to starting from power-off, but is the same when the electronic device 100 is restarted.
  • FIG. 28 is a diagram schematically showing the operation mode at the time of return.
  • the electronic device 100 When resuming from the power saving state, the electronic device 100 first reads data on the work state stored in a storage device such as a memory or a hard disk. During this time, the electronic device 100 displays a resuming screen 2601 on the liquid crystal panel 140. The resuming screen 2601 may be omitted. During this time, the operation mode of the electronic device 100 is the mouse mode. The electronic device 100 displays a fixed screen 2602 on the liquid crystal panel 240.
  • the electronic device 100 displays a login screen 2603 on the liquid crystal panel 140. Also at this time, the electronic device 100 displays the fixed screen 2604. Depending on the setting in the electronic device 100, this login screen may not be displayed. In this case, the screen automatically shifts to the next login completion screen.
  • the electronic device 100 displays the display screen 2605 displayed on the liquid crystal panel 140 immediately before the transition to the power saving state on the liquid crystal panel 140 again based on the read work state. In addition, the electronic device 100 displays a display screen 2606 based on the sub application that was operating immediately before the transition to the power saving state on the liquid crystal panel 240.
  • the electronic device 100 may always display a mouse screen on the liquid crystal panel 140 after the login is completed.
  • the first operation performed by the user after the restart is a mouse operation, the operability can be improved by this processing.
  • electronic device 100 when the OS is started, during recovery from the sleep state, or in a standby state when switching a login user (for example, a screen prompting input of login information of a new user is displayed on liquid crystal panel 140).
  • a screen prompting input of login information of a new user is displayed on liquid crystal panel 140.
  • a mouse screen is displayed on the liquid crystal panel 240. However, it may be switched to the mouse mode.
  • the electronic device 100 operates in the first mode when starting up or returning from a specific power state by operating in the mouse mode when the OS is started up or during recovery from the sleep state.
  • the electronic device 100 operates in the first mode while in the specific operation state by operating in the mouse mode during the standby state for switching the login user or during the screen saver display period.
  • FIG. 29 is a diagram for describing an operation of electronic device 100 in the tablet mode.
  • the electronic device 100 broadly divides the home application, the input pad application, or the sub-screen utilization software.
  • the electronic device 100 displays the home menu screen 800a on the liquid crystal panel 240 during execution of the home application.
  • the electronic device 100 receives a touch on a predetermined position (indicated by the operation button display) on the liquid crystal panel 240 during execution of the home application, the electronic device 100 calls the input pad.
  • the electronic device 100 receives a touch on a predetermined position on the liquid crystal panel 240 during execution of the home application, the electronic device 100 starts execution of the sub-screen utilization software.
  • the electronic device 100 displays an input screen on the liquid crystal panel 240 when the input pad is called.
  • an input screen on the liquid crystal panel 240 when the input pad is called.
  • there are three types of input pads that is, a handwritten character input pad, a hand-drawn illustration input pad, and a calculator / number input pad.
  • Screens 2702 to 2704 displayed on liquid crystal panel 240 are operation screens for a handwritten character input pad, a handwritten illustration input pad, and a calculator / number input pad, respectively. Details of each input pad will be described later.
  • electronic device 100 when electronic device 100 receives a predetermined instruction during execution of the input pad, electronic device 100 activates the home application.
  • the operation screen of the input pad includes a home button, and electronic device 100 ends the input pad and starts a home application in response to a touch on the home button.
  • the sub-screen utilization software in this embodiment includes a two-screen utilization guide, the Internet, a dictionary, a book, a photograph, and a game.
  • The“ 2-screen usage guide ” is an online manual.
  • the electronic device 100 executes the two-screen utilization guide, the electronic device 100 acquires manual data from the HDD 170 or an external server, and displays the manual on the liquid crystal panel 240 (or the liquid crystal panel 140 or both the liquid crystal panel 140 and the liquid crystal panel 240). .
  • Internet is software for starting up a Web browser and calling various homepage screens, and is hereinafter referred to as Web page calling software. Details of the operation of this software will be described later.
  • “Dictionary” is software for calling an electronic dictionary, and is hereinafter referred to as dictionary calling software. In the present embodiment, this software calls one electronic dictionary from a plurality of electronic dictionaries. Details of the operation of this software will be described later.
  • “Book” is software for selecting an electronic book (for example, an XMDF (Mobile Document Format) format book) to be viewed with a book viewer.
  • “Photo” is software for displaying a photo slideshow.
  • Game is game software for displaying a game screen on the liquid crystal panel 240.
  • the “game” is a game utilizing the touch operation of the liquid crystal panel 240.
  • the electronic device 100 When the electronic device 100 receives a predetermined instruction during execution of the sub-screen utilization software, the electronic device 100 ends the sub-screen utilization software and starts a home application.
  • the operation screen of the sub screen utilization software includes a home button, and electronic device 100 activates a home application in response to a touch on the home button.
  • FIG. 30 is a diagram illustrating an example of a screen (character input screen) displayed on the liquid crystal panel 240 by the electronic device 100 during activation of the handwritten character input pad.
  • the character input screen includes a center guidance display 814, a mouse disabled display 830, a home button 840, a text box 2801, a paste button 2802, a candidate area 2803, a backward button 2804, handwriting.
  • An area 2805, a recognition mode switching button 2806, a recognition button 2807, and an erase button 2808 are included.
  • the text box 2801 displays characters that have been confirmed as a result of handwritten character recognition.
  • the text box 2801 can display up to 10 confirmed characters.
  • the maximum number of characters displayed in the text box 2801 is not limited to this.
  • the electronic device 100 displays the character string on the active application displayed on the liquid crystal panel 140. Send.
  • the character string is transmitted, the contents of the text box 2801 are automatically cleared (without a special operation from the user).
  • the paste button 2802 functions as an Enter key when there is no character string in the text box 2801. For example, the user can press the paste button 2802 to transmit a character string to the search box, and then press the paste button 2802 again to cause the application to execute a search. If there is no character string in text box 2801 (or paste button 2802 functions as an Enter key), electronic device 100 changes the character displayed on paste button 2802 to “Enter”.
  • Candidate area 2803 displays input recognition candidates.
  • the candidate area 2803 displays a maximum of five recognition candidates in order from the first candidate.
  • the maximum number of candidates displayed in the candidate area 2803 is not limited to this.
  • electronic device 100 automatically adds the first candidate (the first character in candidate area 2803) to text box 2801.
  • electronic device 100 can change the added character in accordance with selection of a candidate in candidate area 2803. Since there is a high possibility that the first candidate is a character to be input by the user, the number of operations by the user can be reduced by automatically adding the first candidate to the text box 2801.
  • the electronic device 100 When the backward button 2804 is pressed, the electronic device 100 erases the last character of the character string in the text box 2801. If there is no character string in text box 2801, electronic device 100 does not perform an operation associated with pressing back button 2804.
  • the handwriting area 2805 accepts input from the outside.
  • Electronic device 100 creates handwritten character data 432 a corresponding to the history of input to handwriting area 2805 and stores it in storage unit 430. For example, the electronic device 100 creates, as handwritten character data 432a, all coordinates that have been input within a predetermined time, or coordinates at the start and end of input that are temporally continuous within a predetermined time. In addition, electronic device 100 displays a graphic corresponding to coordinates (or handwritten character data 432a) for which input has been received in handwritten area 2805.
  • the handwriting area 2805 includes two areas (area 2805a and area 2805b).
  • Electronic device 100 creates handwritten character data 432a for each of area 2805a and area 2805b.
  • the recognition mode switching button 2806 switches the recognition mode for handwriting input.
  • the electronic device 100 automatically starts character recognition for input to the handwriting area 2805 after a predetermined time has elapsed since the pen-up (end of input to the handwriting area 2805).
  • the automatic mode has an advantage that the number of user operations can be reduced.
  • electronic device 100 may automatically start character recognition after a predetermined time from the start of input to another event, for example, handwriting area 2805, instead of pen-up.
  • the electronic device 100 does not start character recognition until the recognition button 2807 is pressed.
  • the manual mode has an advantage that the user can calmly input characters.
  • the electronic device 100 When the recognition button 2807 is pressed, the electronic device 100 starts character recognition of the handwritten character data 432a based on the input to the input area 2805. In the automatic mode, if the recognition button 2807 is pressed before the recognition opening time, the electronic device 100 starts character recognition of the handwritten character data 432a.
  • the electronic device 100 deletes the graphic displayed in the input area 2805 and the handwritten character data 432a.
  • the erase button 2805 is used when a user rewrites a character handwritten before character recognition.
  • FIG. 31 and FIG. 31 and FIG. 32 are diagrams for explaining the operation of electronic device 100 when the handwritten character input pad is used.
  • an application such as a Web browser
  • the user inputs a character string (strings or phrase) consisting of two kanji characters using the liquid crystal panel 240, and An example of operation when searching for an input character string is described.
  • the screen 2910 is a screen displayed on the liquid crystal panel 140 in the mouse mode. At this time, the liquid crystal panel 240 displays a mouse screen 2920.
  • a screen 2910 displayed on the liquid crystal panel 140 is an operation screen of the main application. Screen 2910 includes a search box 2912 and a search start button 2914. It is assumed that the search box 2912 is activated by the mouse operation accompanying the movement of the finger 900 on the liquid crystal panel 240.
  • the screen 2930 is a screen displayed on the liquid crystal panel 240 after a mode switching instruction (specifically, pressing of the center key 242) is performed in a state where the screen 2910 is displayed on the liquid crystal panel 140.
  • a mode switching instruction specifically, pressing of the center key 242
  • screen 2930 is a home menu screen.
  • Screen 2940 is a screen displayed on liquid crystal panel 240 after a button for calling a handwritten character input pad (encircled in screen 2930) is pressed on screen 2930.
  • Screen 2940 is a character input screen.
  • the screen 2950 is a screen displayed on the liquid crystal panel 240 when handwriting input is performed on the screen 2940 by the stylus 950.
  • a graphic 2952 corresponding to handwriting input is displayed in the input area of the screen 2950.
  • Screen 2960 is a screen displayed on liquid crystal panel 240 when stylus 950 is separated from liquid crystal panel 240.
  • candidate characters five kanji characters
  • the first candidate character 2962 among the candidates displayed in the candidate area is displayed.
  • Screen 2970 is an example of a screen displayed on liquid crystal panel 240 when first candidate character 2962 is confirmed. Character 2972 is a confirmed character. On screen 2970, candidate characters are no longer displayed in the candidate area.
  • screen 3010 is a screen displayed on liquid crystal panel 240 in a state where the user performs handwriting input with stylus 950 after screen 2970 is displayed.
  • Screen 3010 includes a graphic 3012 corresponding to handwriting input.
  • the screen 3020 is a screen displayed on the liquid crystal panel 240 when the stylus 950 that has touched the screen 3010 leaves the screen 3010 (the liquid crystal panel 240).
  • Candidate characters corresponding to handwriting input are displayed in the candidate area of the screen 3030.
  • the first candidate character 3022 among the candidate characters is added to the right side of the already confirmed character (see the screen 2970 in FIG. 31).
  • the screen 3030 is a screen displayed on the liquid crystal panel 240 when the character 3032 in the candidate area is pressed by the stylus 950 with respect to the screen 3020. As the character 3032 is pressed, the character displayed in the text box changes to that displayed in the character 3032 (character 3034).
  • Screens 3040 and 3050 are screens displayed on liquid crystal panels 140 and 240 after character 3034 is determined.
  • Screen 3040 includes a search box 3042 and a search start button 3044. After the character 3034 is confirmed, when the paste button in the display screen 3050 is pressed by the stylus 950, the character string in the text box is input to the active search box 3042.
  • Screens 3060 and 3070 are displayed on the liquid crystal panels 140 and 240, respectively, after the Enter button (paste button) is pressed on the screen 3050 and the search button 3044 is pressed on the screen 3040. . Pressing the Enter button in the display screen 3070 has the same effect as pressing the search start key 3044. That is, the main application executes a search for the character string in the search box 3042 in response to pressing of the Enter button, and displays the search result on the screen 3060.
  • electronic device 100 when the text box is full (the maximum number of characters that can be input is input in the text box), electronic device 100 does not accept any more handwriting. The operation of electronic device 100 when the text box is full will be described with reference to FIG.
  • a screen 3110 shows a screen displayed on the liquid crystal panel 240 in a state where the text box is already full (ten characters are included in the text box) and the user is about to input to the input area with the stylus 950. .
  • a character string 3112 (10 character string) is displayed.
  • the electronic device 100 displays a screen 3120 including a warning display 3122 on the liquid crystal panel 240.
  • the warning display 3122 includes a character string that prompts the user to confirm the character, that is, press the paste button.
  • the character string included in the warning display 3122 is “Please touch the paste button”, but the character string is not limited to this.
  • a screen 3130 is displayed on the liquid crystal panel 240.
  • Screen 3130 displays the same content as that displayed on screen 3110. While the screen 3130 is displayed, the user presses the paste button to confirm the character string displayed in the text box, or presses the backward button to delete the character already input in the text box. Thus, character input can be continued.
  • the electronic device 100 displays, for example, on the liquid crystal panel 240 from the screen 3120 to the screen 3130 automatically after a predetermined time has elapsed from the display of the warning display 3122 or in response to some instruction to the liquid crystal panel 240. Change the screen to be displayed.
  • handwritten character data 432a (see FIG. 19) is temporarily stored in RAM 271 or the like, and electronic device 100 discards handwritten character data 432a when the handwritten character input pad is terminated. And Therefore, when the handwritten character input pad is called again, the user can input characters again.
  • the electronic device 100 may hold the handwritten character data 432a so that the user can perform handwriting input from the previous time when the handwriting input pad is used again.
  • electronic device 100 displays a graphic corresponding to handwritten character data 432a on liquid crystal panel 240 based on handwritten character data 432a when the handwritten character input pad is resumed.
  • the user may be able to select which of the above two operations (whether or not the handwritten character data 432a is held) is performed on the handwritten character input pad.
  • the user can appropriately determine which of the above two operations is performed by the handwritten character input pad according to the usage mode of the handwritten character input.
  • FIG. 34 is a diagram illustrating an example of a screen (illustration input screen) displayed on the liquid crystal panel 240 by the electronic device 100 during activation of the hand-drawn illustration input pad.
  • the illustration input screen includes a center guidance display 814, a mouse disabled display 830, a home button 840, a drawing area 3201, an undo button 3202, a pen / ruler / eraser button 3203, Pen thickness button 3204, pen color button 3205, stamp button 3206, frame button 3207, delete all button 3208, screen capture button 3209, mail attachment button 3210, file save button 3211, and paste button 3212 Including.
  • the drawing area 3201 accepts input from the outside.
  • the electronic device 100 creates the illustration data 432b based on the input to the drawing area 3201 and the drawing settings (input tool, pen thickness, pen color, etc.) and stores the illustration data 432b in the storage unit 430. Similar to the handwritten character data 432a, the illustration data 432b includes all the coordinates that have been input within a predetermined time, or the coordinates at the start and end of input that are temporally continuous within the predetermined time. The illustration data 432b further includes data related to drawing settings (input tool, pen thickness, pen color, etc.).
  • the ratio of the horizontal length to the vertical length of the drawing area 3201 is 4: 3. This is because the photograph is also processed using the handwritten illustration input pad.
  • the aspect ratio of the drawing area 3201 is not limited to this.
  • the undo button 3202 is a button for canceling the previous input operation to the drawing area 3201.
  • the electronic device 100 manages the inputs recorded in the input history 432 in order of time, and when the undo button 3202 is pressed, the previous input is deleted from the input history 432. At the same time, the corresponding drawing portion is erased from the drawing area 3201.
  • the pen / ruler / eraser button 3203 is a button for selecting a drawing tool for the drawing area 3201. In response to pressing of the pen / ruler / eraser button 3203, the electronic device 100 switches the drawing tool in the order of pen, ruler, eraser, pen,.
  • the pen thickness button 3204 is a button for setting the pen thickness.
  • the electronic device 100 changes the setting of the thickness of a line drawn according to the input to the drawing area 3201 when the pen tool is selected.
  • electronic device 100 may display on LCD panel 240 a screen for allowing the user to set the thickness of the line when pen thickness button 3204 is pressed.
  • the pen color button 3205 is a button for setting a pen color. In response to pressing of the pen color button 3205, the setting of the color of the line to be drawn is changed according to the input to the drawing area 3201 when the pen tool is selected.
  • electronic device 100 may display on LCD panel 240 a screen for allowing the user to set a line color when pen color button 3205 is pressed.
  • the stamp button 3206 is a button for drawing a stamp in the drawing area 3201 in response to an input to the drawing area 3201.
  • the frame button 3207 is a button for adding a frame such as a decorative frame to the illustration drawn in the drawing area 3201.
  • the delete all button 3208 is a button for deleting all the illustration data 432b. By pressing this button, the user can set the drawing area 3201 to the state (plain color) when the hand-drawn illustration input pad is activated.
  • the screen capture button 3209 is a button for displaying a part of the screen displayed on the liquid crystal panel 140 in the drawing area 3201.
  • the mail attachment button 3210 is a button for attaching the illustration data 432b to an electronic mail.
  • the file save button 3211 is a button for saving the illustration data 432b in a designated storage area. The area for storing the illustration data 432b may be fixed or may be designated by the user.
  • the paste button 3212 is a button for sending the illustration data 432b to the active main application.
  • the electronic device 100 provides the active main application with the illustration data 432b created by the hand-drawn illustration input pad.
  • the user can insert an illustration into a document being created by the main application using the hand-drawn illustration input pad.
  • the hand-drawn illustration input pad when the hand-drawn illustration input pad receives an instruction to end the hand-drawn illustration input pad, it determines whether or not the created hand-drawn illustration data 432b needs to be saved. Inquire. However, this inquiry is not essential. The hand-drawn illustration input pad may automatically discard the hand-drawn illustration data 432b created so far at the end.
  • FIG. 35 is a diagram illustrating an example of a screen (calculator screen) displayed on the liquid crystal panel 240 by the electronic device 100 during activation of the calculator / number input pad.
  • the calculator screen includes a center guidance display 814, a mouse disabled display 830, a home button 840, a number box 3301, a paste button 3302, a number button 3303, and a function button 3304.
  • Numeral box 3301 displays the input number or the number of the calculation result. It is assumed that the maximum number of numbers that can be displayed in the number box 3301 is eight. However, the maximum number is not limited to eight.
  • the electronic device 100 transmits the number displayed in the number box 3301 to the active application displayed on the liquid crystal panel 140.
  • the number button 3303 is a button for inputting a number in the number box 3301.
  • the function button 3304 is a button for instructing a predetermined calculation such as four arithmetic operations. Since the operation of electronic device 100 when numeric button 3303 and function button 3304 are pressed is the same as the operation of a normal calculator or a calculator application, detailed description thereof will not be repeated here.
  • FIG. 36 is a diagram illustrating an example of a screen (Internet screen) displayed on the liquid crystal panel 240 by the electronic device 100 while the Web page calling software is activated.
  • the Internet screen includes a guidance display 810 (a left guidance display 812, a center guidance display 814, and a right guidance display 816), a plurality of operation button displays 820, a mouse disabled display 830, and a home button 840. including.
  • Each operation button display 820 corresponds to a web page to be called.
  • Each operation button display 820 includes characters representing the name of the corresponding Web page (such as “Internet 2” in the figure).
  • electronic device 100 detects a touch on an area corresponding to operation button display 820, electronic device 100 activates a web browser and displays the selected web page on liquid crystal panel 140 (or liquid crystal panel 240).
  • the Web page calling software may display a scroll bar on the liquid crystal panel 240.
  • An example of an Internet screen including a scroll bar is shown in FIG. Referring to FIG. 37, the Internet screen includes a scroll bar 3500. When the user drags the slider 3502 in the scroll bar 3500, the Web page calling software scrolls the Internet screen.
  • FIG. 38 is a diagram illustrating an example of a screen (dictionary selection screen) displayed on the liquid crystal panel 240 by the electronic device 100 during activation of the dictionary calling software.
  • the dictionary selection screen includes a guidance display 810 (a left guidance display 812, a center guidance display 814, and a right guidance display 816), a plurality of operation button displays 820, a mouse disabled display 830, and a home button 840. Including.
  • the operation button display 820 corresponds to the electronic dictionary to be called.
  • Each operation button display 820 includes characters representing the name of the corresponding electronic dictionary (such as “English-Japanese dictionary” in the figure).
  • electronic device 100 detects a touch on an area corresponding to operation button display 820, electronic device 100 activates the electronic dictionary and displays the screen of the activated electronic dictionary on liquid crystal panel 140 (or liquid crystal panel 240).
  • the dictionary calling software may display a scroll bar on the liquid crystal panel 240.
  • An example of a dictionary selection screen including a scroll bar is shown in FIG. Referring to FIG. 39, the dictionary selection screen includes a scroll bar 3700. When the user drags slider 3702 in scroll bar 3700, the dictionary calling software scrolls the dictionary selection screen.
  • FIG. 40 is a diagram illustrating a flow of processing performed by the electronic device 100 in a flowchart format.
  • the processing performed by the control unit 350 in the first unit 1001 and the processing performed by the control unit 450 in the second unit 1002 are collectively shown.
  • step S101 the control unit 350 and the control unit 450, when receiving an instruction for normal activation or resumption of the electronic device 100, performs normal activation processing or resumption processing.
  • Normal startup refers to startup from the power-off state, as already described.
  • Examples of the normal startup process performed by the control unit 350 include a boot process and a boot screen display on the liquid crystal panel 140.
  • the normal startup process performed by the control unit 450 includes displaying a boot screen on the liquid crystal panel 240.
  • Control unit 350 and control unit 450 handle pressing of a predetermined button (power switch 191 or the like) in a power-off state as a normal activation instruction.
  • One control unit (control unit 450 or 350) accepts a normal activation instruction, performs its own normal activation process, and instructs the other control unit (control unit 350 or 450) to perform a normal activation process.
  • the structure to give may be sufficient.
  • the restart process performed by the control unit 350 includes reading of a work state stored in the RAM 171 or the HDD 170 or displaying a restarting screen on the liquid crystal panel 140.
  • the restart process performed by the control unit 450 includes reading of a work state stored in the RAM 271 or the HDD 170 or displaying a restarting screen on the liquid crystal panel 240.
  • the control unit 350 and the control unit 450 handle pressing of a predetermined button (power switch 191 or the like) in the power saving state or touching the liquid crystal panel 240 as a normal activation instruction.
  • One control unit (450 or 350) may perform the restart process in response to an instruction from the other control unit (350 or 450) that has received the restart instruction.
  • step S103 the mode setting unit 454 included in the control unit 450 determines the operation mode to be either the mouse mode or the tablet mode.
  • the operation mode in the case of normal activation is determined to be the mouse mode.
  • mode setting unit 454 sets mode data 437 in storage unit 430 to data representing a mouse mode.
  • the mode setting unit 454 determines the mode data 437 and the mode data 437 before the power saving state based on the operation mode when resuming. In this case, the control unit 450 stores the mode data 437 before the power saving state in the RAM 271 or the like when shifting to the power saving state or at the time of restarting. Alternatively, the mode setting unit 454 may always set the mode data 437 to data representing the mouse mode when resuming. In this case, the controller 450 does not have to perform the storage process of the mode data 437 before the power saving state.
  • step S105 the input processing unit 452 determines whether the operation mode is the mouse mode. That is, the input processing unit 452 determines whether the operation mode is the mouse mode based on the mode data 437.
  • control unit 350 and control unit 450 proceed to the mouse mode operation in step S107. If the operation mode is not the mouse mode (NO in step S105), control unit 350 and control unit 450 proceed to the tablet mode operation in step S113.
  • control unit 350 and control unit 450 perform a mouse mode operation. That is, the control unit 350 and the control unit 450 control each unit of the electronic device 100 so that the input to the liquid crystal panel 240 causes the mouse operation of the main application. Details of the mouse mode operation will be described later.
  • step S109 the mode setting unit 454 determines whether a mode switching instruction has been accepted. Specifically, mode setting unit 454 determines whether a signal in response to pressing of center key 242 has been received.
  • the mode switching instruction is not limited to pressing the center key 242.
  • step S109 When there is a mode switching instruction during the mouse mode (YES in step S109), the control unit 450 executes a switching process from the mouse mode to the tablet mode in step S111. When there is no mode switching instruction (NO in step S109), control unit 350 and control unit 450 repeat the processing from step S107 (mouse mode operation).
  • step S111 the control unit 450 executes a switching process from the mouse mode to the tablet mode.
  • the control unit 450 displays the operation screen of the sub application on the liquid crystal panel 240 and switches the operation of the panel input processing unit 453. Details of the switching process from the mouse mode to the tablet mode will be described later.
  • step S111 ends, control unit 350 and control unit 450 proceed to the tablet mode operation of step S113.
  • control unit 350 and control unit 450 perform a tablet mode operation. That is, the control unit 350 and the control unit 450 control each unit of the electronic device 100 so that the sub application operates in response to an input to the liquid crystal panel 240. Details of the tablet mode operation will be described later.
  • step S115 the mode setting unit 454 determines whether a mode switching instruction has been accepted. Specifically, mode setting unit 454 determines whether a signal in response to pressing of center key 242 has been received.
  • the mode switching instruction is not limited to pressing the center key 242.
  • control unit 450 executes a switching process from the tablet mode to the mouse mode in step S117.
  • control unit 350 and control unit 450 repeat the processing from step S113 (tablet mode operation).
  • step S117 the controller 450 executes a switching process from the tablet mode to the mouse mode.
  • the control unit 450 displays the mouse screen on the liquid crystal panel 240 and switches the operation of the panel input processing unit 453 in step S117. Details of the switching process from the tablet mode to the mouse mode will be described later.
  • control unit 350 and control unit 450 proceed to the mouse mode operation of step S107.
  • control unit 350 and the control unit 450 perform a power-off process or a power-saving state transition process when receiving a power-off instruction or a power-saving state transition instruction. These processes are interrupt processes, and are performed after any of the steps in FIG. However, these processes are not shown in FIG.
  • FIG. 41 is a flowchart illustrating the processing flow of the mouse mode operation.
  • control unit 350 On the first unit 1001 side will be described.
  • the operation flow of the control unit 350 is shown on the left side in FIG.
  • step S201 the control unit 350 acquires coordinate data from the interface unit 340.
  • the coordinate data is transmitted from the control unit 450 on the second unit 1002 side to the interface unit 440 via the interface unit 440.
  • step S203 the control unit 350 determines the cursor position based on the coordinate data. More specifically, the program execution unit 358 included in the control unit 350 performs the process of step S203. The program execution unit 358 executes the program 334 to determine the cursor position.
  • step S205 the control unit 350 acquires a command from the interface unit 340. This command is transmitted from the control unit 450 on the second unit 1002 side to the interface unit 340 via the interface unit 440.
  • step S207 the control unit 350 performs an application operation according to the command.
  • program execution unit 358 executes program 334 to perform application operations.
  • the program execution unit 358 determines an application operation based on the application type, the cursor position, and the command type.
  • Application operation is the same as the operation with mouse click of currently popular applications.
  • the application operation includes, for example, selection or activation of a file or folder at the cursor position, or execution of processing according to a button (minimum (maximum) button, close button, etc.) at the cursor position.
  • a button minimum (maximum) button, close button, etc.
  • control unit 450 on the second unit 1002 side will be described.
  • the flow of the operation of the control unit 450 is shown on the right side in FIG.
  • step S301 the panel input processing unit 453 included in the input processing unit 452 of the control unit 450 acquires a scan image from the liquid crystal panel 240 (panel input unit 422).
  • step S303 the panel input processing unit 453 calculates coordinate data specifying the input position to the liquid crystal panel 240 based on the scanned image acquired in step S301.
  • step S305 the panel input processing unit 453 controls the interface unit 440 and transmits coordinate data to the interface unit 340 on the first unit 1001 side.
  • step S307 the panel input processing unit 453 determines whether or not a predetermined scan cycle time has elapsed since the execution of step S301. If the scan cycle time has elapsed (YES in step S307), panel input processing unit 453 repeats the processing from step S301 (scanned image acquisition). If the scan cycle time has not elapsed (NO in step S307), control unit 450 proceeds to the process in step S309.
  • step S309 the input processing unit 452 determines whether or not there has been a click operation. Specifically, the input processing unit 452 determines whether the left click key 241 or the right click key 243 has been pressed. Note that the input processing unit 452 may determine that the tap operation on the liquid crystal panel 240 is a click operation. Specifically, the input processing unit 452 determines that a tap operation has been performed when the detection of an external object is started and ended in a specific area in the liquid crystal panel 240 within a predetermined short time.
  • control unit 450 repeats the processing from step S307. If there is a click operation (YES in step S309), control unit 450 proceeds to the process of step S311.
  • step S311 the input processing unit 452 controls the interface unit 440, and transmits a command to the interface unit 340 on the first unit 1001 side according to the click operation in step S309.
  • the input processing unit 452 determines the type of command according to the type of click operation. For example, the input processing unit 452 transmits different commands when the left click key 241 is pressed and when the right click key 243 is pressed.
  • the command transmission by the click operation has been described.
  • the operation that causes the command transmission is not limited to the click operation.
  • the input processing unit 452 may transmit a command corresponding to a double click, drag, multi-touch, gesture operation, or the like.
  • FIG. 42 is a flowchart illustrating the processing flow of the tablet mode operation.
  • control unit 350 On the first unit 1001 side will be described.
  • the operation flow of the control unit 350 is shown on the left side in FIG.
  • step S401 the control unit 350 acquires data from the interface unit 340.
  • the “data” here is created by the control unit 450 on the second unit 1002 side executing the sub-application.
  • Data is specifically, for example, character (or number) data or illustration data.
  • the data may be a command. For example, when “Enter” on the operation screen of the handwritten character input pad is touched, the control unit 450 creates a command.
  • step S403 the control unit 350 performs an application operation according to the data. Specifically, program execution unit 358 executes program 334 to perform application operations. The program execution unit 358 processes the data acquired in step S401 by the main application being executed. When step S403 ends, the control unit 350 returns to the process of step S401.
  • control unit 450 on the second unit 1002 side will be described.
  • the operation flow of the controller 450 is shown on the right side in FIG.
  • step S501 the panel input processing unit 453 included in the input processing unit 452 of the control unit 450 acquires a scan image from the liquid crystal panel 240 (panel input unit 422).
  • step S503 the panel input processing unit 453 calculates coordinate data specifying the input position to the liquid crystal panel 240 based on the scan image acquired in step S501.
  • step S505 the panel input processing unit 453 determines whether or not a predetermined scan cycle time has elapsed since the execution of step S501. When the scan cycle time has elapsed (YES in step S505), panel input processing unit 453 repeats the processing from step S501 (scanned image acquisition). If the scan cycle time has not elapsed (NO in step S505), control unit 450 proceeds to the process in step S507.
  • step S507 the control unit 450 performs a sub application operation.
  • the sub application operation includes operation execution by time count.
  • the control unit 450 may control the interface unit 440 to transmit data to the first unit 1001 side.
  • step S509 the control unit 450 stores data (referred to as “operation element”) for determining the operation of the application being executed in the storage unit 430.
  • the operation parameter 435 including the elapsed time from the event and the input history 432 correspond to the operation elements.
  • the control unit 450 performs the processing in step S509 at a predetermined time interval, when changing an operating element, when saving an operating element (for example, when saving an illustration), and the like. After executing step S509, control unit 450 repeats the processing from step S505.
  • FIG. 43 is a flowchart illustrating the process flow of the mode switching (from the mouse mode to the tablet mode) operation.
  • step S601 the mode setting unit 454 included in the control unit 450 loads the operation definition of the immediately preceding application stored in the storage unit 430.
  • the “immediate application” is a sub application that was last operated in the tablet mode before the mode setting unit 454 received the mode switching instruction to the tablet mode.
  • the immediately preceding application is the same as the sub application operating at the time of mode switching instruction.
  • step S603 the program execution unit 458 included in the control unit 450 resumes execution of the operation of the sub-application that has been executed immediately before, based on the operation definition loaded in step S601. Then, the program execution unit 458 controls the display control unit 456 to display the operation screen of the sub application on the display unit 410.
  • the program execution unit 458 may perform the process of step S601 at any time during the process of step S603. That is, during the execution of the immediately preceding application, the operation definition stored in the storage unit 430 may be read as necessary, and the sub application may be executed based on the read data.
  • step S605 the panel input processing unit 453 included in the control unit 450 switches the processing method of the signal from the panel input unit 422. That is, the panel input processing unit 453 converts the signal from the panel input unit 422 into an operation instruction of the sub application.
  • FIG. 44 is a flowchart showing a first processing flow of mode switching (tablet mode to mouse mode) operation.
  • the electronic device 100 is configured such that the operation definition of the immediately preceding application is loaded when the operation mode is switched from the mouse mode to the tablet mode.
  • the operation definition of the immediately preceding application is loaded when the operation mode is switched from the mouse mode to the tablet mode.
  • a screen that was displayed immediately before switching to the mouse mode during the previous tablet mode execution is displayed.
  • the operation definition is stored in the storage unit 430 including the RAM 271 and the like when the operation mode is switched from the tablet mode to the mouse mode by pressing the center key 242 or the like.
  • the program execution unit 458 displays, in step S701, information that identifies the application that is being executed (immediate application) and the operation content at that point in time for the operation definition. Is stored in the RAM 271.
  • step S ⁇ b> 703 when the display control unit 456 included in the control unit 450 receives a signal indicating that a mode switching instruction has been received from the mode setting unit 454, the display control unit 450 transmits a mouse to the liquid crystal panel 240 based on the display data 433. Display the mode screen.
  • step S705 the panel input processing unit 453 included in the control unit 450 switches the processing method of the signal from the panel input unit 422. That is, the panel input processing unit 453 converts the signal from the panel input unit 422 into a sub-application operation instruction.
  • the operation definition stored as described above is read and loaded when the operation mode is switched from the mouse mode to the tablet mode (step S601 in FIG. 43). If the operation definition is not stored (initialized state), the home application is activated in step S601.
  • the stored operation definition is preferably initialized when the power of the electronic device 100 is turned off or when the electronic device 100 is restarted.
  • the home menu is first displayed on the liquid crystal panel 240.
  • the operation definition is initialized when the home application is started by, for example, touching the home button after the sub-application is executed.
  • the home application display screen is displayed when the tablet mode is restored. This is because the home application is activated in step S601 if the action definition has been initialized. Therefore, when the home application is activated, it is not necessary to store the current tablet mode operation definition when switching to the mouse mode.
  • the history information of the electronic book selected to be viewed by the book viewer in the sub application so far is stored, and the display based on the history information is displayed on the liquid crystal panel 240. Do.
  • the operation according to the sub application “book” will be described below.
  • the screen 800e includes a left guidance display, a center guidance display, and a right guidance display (left guidance display 812, center guidance display 814, right guidance display 816 in FIG. 37 and the like).
  • characters “book” indicating the sub-application during execution are displayed in the upper center of the screen 800, and characters “title order” and “history order display” are displayed on the left side. ing.
  • characters of the name of each electronic book such as “electronic book 5”, “electronic book 4”, and “electronic book 1” indicating the name of the electronic book to be viewed in the book viewer are displayed.
  • a softkey that displays a column is displayed.
  • the soft keys representing the respective electronic books are arranged in order from the top according to the history selected in the “book” application.
  • book information 432c is stored as the input data 431 of the storage unit 430.
  • Book information 432c includes “book name information” shown in Table 1 and “book history information” shown in Table 2.
  • the book name information is information in which information for specifying an electronic book that can be selected as a browsing target in the book viewer is arranged in the order of the names, for example.
  • the book history information is information in which information for specifying an electronic book selected as an object to be browsed by the book viewer in the “book” application is arranged in the newly selected order.
  • each soft key may be the name of the electronic book as shown on the screen 800e, or may be an image corresponding to the electronic book.
  • the display arrangement of the soft keys of each electronic book can be changed between one corresponding to the book name information and one corresponding to the book history information.
  • a soft key "XXX Books” is displayed at the top of the screen 800e.
  • the soft key is operated to connect the electronic device 100 on the network to a site where the electronic book can be downloaded.
  • data for connecting to the site is transmitted from the control unit 450 to the first unit 1001 (step S507).
  • the electronic device 100 is connected to the site and the liquid crystal panel 140 displays the homepage screen of the site.
  • step S507 the book viewer is activated from the control unit 450 to the first unit 1001, and the electronic book corresponding to the selected soft key is viewed. Data for this is transmitted (step S507).
  • the selected electronic book viewing screen of the book viewer is displayed on the liquid crystal panel 140.
  • control unit 450 switches the operation to the mouse mode, and accepts operations such as page turning for the book viewer to liquid crystal panel 240.
  • Book history information is updated each time an electronic book is selected in the “book” application. For example, when an electronic book “electronic book 6” is selected from the state shown in Table 2, the book history information is updated to that shown in Table 3. In response to this, on the operation screen of the “book” application, the arrangement of the soft keys corresponding to the electronic book is changed as displayed on the screen 800f of FIG.
  • FIG. 48 As a fourth modification of the present embodiment, a method for using a handwritten character input pad will be described with reference to FIGS. 48 and 49.
  • FIG. Here, while using an application (such as a Web browser) that displays a screen including a search box, the user inputs a character string (strings or phrase) composed of two kanji characters using the liquid crystal panel 240, and An example of operation when searching for an input character string is described.
  • an application such as a Web browser
  • the screen 12910 is a screen displayed on the liquid crystal panel 140 in the mouse mode. At this time, the liquid crystal panel 240 displays a mouse screen 12920.
  • a screen 12910 displayed on the liquid crystal panel 140 is an operation screen of the main application.
  • Screen 12910 includes search box 12912 and search start button 12914. It is assumed that the search box 12912 is activated by the mouse operation accompanying the movement of the finger 900 on the liquid crystal panel 240.
  • the screen 12930 is a screen displayed on the liquid crystal panel 240 after a mode switching instruction (specifically, pressing of the center key 242) is performed in a state where the screen 12910 is displayed on the liquid crystal panel 140.
  • a mode switching instruction specifically, pressing of the center key 242
  • screen 12930 is a home menu screen.
  • Screen 12940 is a screen displayed on liquid crystal panel 240 after a button for calling a handwritten character input pad (encircled in screen 12930) is pressed on screen 12930.
  • a screen 12940 is a character input screen.
  • Screen 12950 is a screen displayed on liquid crystal panel 240 when handwriting input is performed on screen 12940 with stylus 950.
  • a graphic 12952 corresponding to handwritten input is displayed in the input area of the screen 12950.
  • Screen 12960 is a screen displayed on liquid crystal panel 240 when stylus 950 is separated from liquid crystal panel 240.
  • candidate characters five characters
  • the candidate character 12962 among the candidates displayed in the candidate area is displayed.
  • Screen 12970 is an example of a screen displayed on liquid crystal panel 240 when first candidate character 12962 is confirmed.
  • Character 12972 is a confirmed character.
  • candidate characters are no longer displayed in the candidate area.
  • screen 13010 is a screen displayed on liquid crystal panel 240 in a state where the user performs handwritten input with stylus 950 after screen 12970 is displayed.
  • Screen 13010 includes a graphic 13012 corresponding to handwriting input.
  • the screen 13020 is a screen displayed on the liquid crystal panel 240 when the stylus 950 that has touched the screen 13010 leaves the screen 13010 (the liquid crystal panel 240).
  • Candidate characters corresponding to handwriting input are displayed in the candidate area of the screen 13030.
  • the first candidate character 13022 among the candidate characters is added to the right side of the already confirmed character (see screen 12970 in FIG. 48).
  • the screen 13030 is a screen displayed on the liquid crystal panel 240 when the character 13032 in the candidate area is pressed by the stylus 950 with respect to the screen 13020. As the character 13032 is pressed, the character displayed in the text box changes to that displayed in the character 13032 (character 13034).
  • Screens 13040 and 13050 are screens displayed on the liquid crystal panels 140 and 240 after the character 13034 is confirmed.
  • Screen 13040 includes a search box 13042 and a search start button 13044.
  • the paste button in the display screen 13050 is pressed by the stylus 950 after the character 13034 is confirmed, the character string in the text box is input to the active search box 13042.
  • Screens 13060 and 13070 are displayed on the liquid crystal panels 140 and 240, respectively, after an Enter button (paste button) is pressed on the screen 13050 and a search button 13044 is pressed on the screen 13040. . Pressing the Enter button in the display screen 13070 has the same effect as pressing the search start key 13044. That is, the main application executes a search for the character string in the search box 13042 in response to the pressing of the Enter button, and displays the search result on the screen 13060.
  • electronic device 100 when the text box is full (the maximum number of characters that can be input is input in the text box), electronic device 100 does not accept any more handwriting. The operation of electronic device 100 when the text box is full will be described with reference to FIG.
  • Screen 13110 shows a screen displayed on liquid crystal panel 240 in a state where the text box is already full (ten characters are included in the text box) and the user is about to input to the input area with stylus 950. .
  • a character string 13112 (10 character string) is displayed.
  • the electronic device 100 displays a screen 13120 including a warning display 13122 on the liquid crystal panel 240.
  • the warning display 13122 includes a character string that prompts the user to confirm the character, that is, press the paste button.
  • the character string included in the warning display 13122 is “Please touch the paste button”, but the character string is not limited to this.
  • a screen 13130 is displayed on the liquid crystal panel 240.
  • Screen 13130 displays the same content as that displayed on screen 13110. While the screen 13130 is displayed, the user presses the paste button to confirm the character string displayed in the text box, or presses the backward button to delete the character already input in the text box. Thus, character input can be continued.
  • the electronic device 100 displays on the liquid crystal panel 240 from the screen 13120 to the screen 13130, for example, automatically after a predetermined time has elapsed from the display of the warning display 13122 or in response to some instruction to the liquid crystal panel 240. Change the screen to be displayed.
  • handwritten character data 432a (see FIG. 19) is temporarily stored in RAM 271 or the like, and electronic device 100 discards handwritten character data 432a when the handwritten character input pad is terminated. And Therefore, when the handwritten character input pad is called again, the user can input characters again.
  • the electronic device 100 may hold the handwritten character data 432a so that the user can perform handwriting input from the previous time when the handwriting input pad is used again.
  • electronic device 100 displays a graphic corresponding to handwritten character data 432a on liquid crystal panel 240 based on handwritten character data 432a when the handwritten character input pad is resumed.
  • the user may be able to select which of the above two operations (whether or not the handwritten character data 432a is held) is performed on the handwritten character input pad.
  • the user can appropriately determine which of the above two operations is performed by the handwritten character input pad according to the usage mode of the handwritten character input.
  • FIG. 51 is a flowchart of a modification of the process of electronic device 100 shown in FIG.
  • FIG. 51 the flow of processing performed by electronic device 100 according to the present embodiment will be described.
  • the processing performed by the control unit 350 in the first unit 1001 and the processing performed by the control unit 450 in the second unit 1002 are collectively shown.
  • step SA101 the control unit 350 and the control unit 450, when receiving an instruction for normal activation (including restart) or an instruction for resumption of the electronic device 100, perform normal activation processing or resumption processing.
  • Normal startup refers to startup from the power-off state, as already described.
  • Examples of the normal startup process performed by the control unit 350 include a boot process and a boot screen display on the liquid crystal panel 140.
  • the normal startup process performed by the control unit 450 includes displaying a boot screen on the liquid crystal panel 240.
  • Control unit 350 and control unit 450 handle pressing of a predetermined button (power switch 191 or the like) in a power-off state as a normal activation instruction.
  • One control unit (control unit 450 or 350) accepts a normal activation instruction, performs its own normal activation process, and instructs the other control unit (control unit 350 or 450) to perform a normal activation process.
  • the structure to give may be sufficient.
  • the restart process performed by the control unit 350 includes reading of a work state stored in the RAM 171 or the HDD 170 or displaying a restarting screen on the liquid crystal panel 140.
  • the restart process performed by the control unit 450 includes reading of a work state stored in the RAM 271 or the HDD 170 or displaying a restarting screen on the liquid crystal panel 240.
  • the control unit 350 and the control unit 450 handle pressing of a predetermined button (power switch 191 or the like) in the power saving state or touching the liquid crystal panel 240 as a restart instruction.
  • One control unit (450 or 350) may perform the restart process in response to an instruction from the other control unit (350 or 450) that has received the restart instruction.
  • control unit 350 and control unit 450 proceed to the mouse mode operation.
  • step SA105 When there is a mode switching instruction during the mouse mode (YES in step SA105), the control unit 450 executes a switching process from the mouse mode to the tablet mode in step SA107. When there is no mode switching instruction (NO in step SA105), control unit 350 and control unit 450 repeat the processing from step SA103 (mouse mode operation).
  • step SA107 the control unit 450 executes a switching process from the mouse mode to the tablet mode.
  • control unit 450 displays the operation screen of the sub application on liquid crystal panel 240 and switches the operation of panel input processing unit 453. Details of the switching process from the mouse mode to the tablet mode will be described later.
  • step SA107 ends, control unit 350 and control unit 450 proceed to the tablet mode operation of step SA109.
  • control unit 350 and control unit 450 perform a tablet mode operation. That is, the control unit 350 and the control unit 450 control each unit of the electronic device 100 so that the sub application operates in response to an input to the liquid crystal panel 240. Details of the tablet mode operation will be described later.
  • step SA111 the mode setting unit 454 determines whether a mode switching instruction has been accepted. Specifically, mode setting unit 454 determines whether a signal in response to pressing of center key 242 has been received.
  • the mode switching instruction is not limited to pressing the center key 242.
  • control unit 450 executes a switching process from the tablet mode to the mouse mode in step SA113.
  • control unit 350 and control unit 450 repeat the processing from step SA109 (tablet mode operation).
  • step SA113 the controller 450 executes a switching process from the tablet mode to the mouse mode.
  • control unit 450 performs display of a mouse screen on liquid crystal panel 240 and operation switching of panel input processing unit 453. Details of the switching process from the tablet mode to the mouse mode will be described later.
  • step SA113 ends control unit 350 and control unit 450 proceed to the mouse mode operation of step SA103.
  • control unit 350 and the control unit 450 perform a power-off process or a transition process to a power-saving state when a power-off or restart instruction or a transition instruction to a power-saving state is received.
  • These processes are interrupt processes, and are performed after any step of FIG. However, these processes are not shown in FIG.
  • the restarting screen 2601 is displayed on the liquid crystal panel 140, and the operation mode is fixed to the mouse mode. Therefore, even if an operation corresponding to the mode switching instruction is performed during the resuming operation, control unit 350 and control unit 450 do not accept the operation. Therefore, during the resuming operation, the process does not proceed from step SA105 to step SA107.
  • display screen 2606 based on the sub application that was operating immediately before the transition to the power saving state is displayed on liquid crystal panel 240. Is done.
  • control contents are realized as follows. That is, the electronic device 100 is configured to generate a signal corresponding to a switching instruction from the mouse mode to the tablet mode when the power saving state is completed. Then, the processing proceeds from step SA105 to step SA107 due to the signal generation. Thus, during the restart operation from the power saving state, the operation mode of the electronic device 100 is fixed to the mouse mode (steps SA103 to SA105), and when the restart operation from the power saving state is completed, the electronic device 100 The operation mode is switched to the tablet mode (step SA107).
  • the liquid crystal panel 140 constitutes a first display portion
  • the liquid crystal panel 240 constitutes a second display portion.
  • the first mode is configured by the mouse mode in which the operation screen of the program created by executing the program 334 in response to the input to the liquid crystal panel 240 is displayed on the liquid crystal panel 140. ing.
  • the program operation screen generated by executing the program 434 (or the program 334) according to the input to the liquid crystal panel 240 is displayed in the second mode by the tablet mode in which the operation screen of the program is displayed on the liquid crystal panel 240. Mode is configured.
  • the above mode is switched by pressing the center key 242 or the like.
  • the electronic device 1 may be configured such that the operation definition of the immediately preceding application is loaded when the operation mode is switched from the mouse mode to the tablet mode.
  • the liquid crystal panel 240 immediately after switching to the tablet mode, a screen that was displayed immediately before switching to the mouse mode during the previous tablet mode execution is displayed.
  • the electronic device 100 has finished the operation of the sub application when the operation mode is switched to the mouse mode.
  • the sub application continues to operate even in the mouse mode. It may be configured.
  • the liquid crystal panel 140 may be a display (single-function display) that does not have a function as an input unit and only displays a screen. Such a configuration is particularly useful when the liquid crystal panel 140 is large and it is difficult to form a touch panel.
  • first unit 1001 and the second unit 1002 operate independently except for data exchange. Therefore, the second unit 1002 may be removable from the first unit 1001.
  • the second unit 1002 may be configured to be replaceable with another unit (for example, a portable information terminal) having a function equivalent to that of the second unit 1002. Therefore, a system including an electronic device including the first unit 1001 and a unit connected to or connectable to the electronic device can be considered as one embodiment of the present invention.
  • a screen created by processing executed in response to an input to a tablet including the second display unit is displayed on the first screen. It is possible to operate in two types of modes: a first mode to be displayed on the display unit and a second mode in which a screen created by processing executed in response to input to the tablet is mainly displayed on the second display unit. And the mode which operate
  • the user can use an electronic apparatus including two display devices (first and second display units) in both the first mode and the second mode, and between these modes, Can be used seamlessly by switching with easy operation.
  • a plurality of sub-applications can be executed in the second mode, and the present invention is effective when the switching operation between each sub-application and the first mode is frequently performed.
  • ⁇ Cursor display control> In the mouse mode, electronic device 100 can move the cursor displayed on liquid crystal panel 140 by changing the input position on liquid crystal panel 240 (such as sliding an object on liquid crystal panel 240).
  • the electronic device 100 does not move the cursor by changing the input position to the liquid crystal panel 240 (such as sliding an object on the liquid crystal panel 240). That is, in the tablet mode, the cursor display is not directly related to the operation of the main application. Therefore, in order not to hinder the visibility of the image displayed on the liquid crystal panel 140, it is preferable to make the cursor display inconspicuous in the tablet mode.
  • electronic device 100 displays the cursor in a display form that is less noticeable than the display form in mouse mode during tablet mode. Specifically, the electronic device 100 displays the cursor lighter in the tablet mode than in the mouse mode. More specifically, the electronic device 100 reduces the brightness of the cursor, for example. Alternatively, electronic device 100 increases the transparency of the display color of the cursor.
  • FIG. 54 is a diagram for explaining a change in cursor display control according to the first embodiment.
  • FIG. 54 shows a display screen 3810 of the liquid crystal panel 140 and a display screen 3820 of the liquid crystal panel 240 in the mouse mode.
  • the display screen 3810 includes a cursor 3812.
  • An operation screen of the main application is displayed in a portion other than the cursor 3812 in the display screen 3810.
  • Display screen 3820 displays a mouse screen such as wallpaper.
  • a mouse screen such as wallpaper.
  • FIG. 54 for the sake of simplicity, the operation screen and the mouse screen of the main application are not shown in detail. This also applies to the following drawings.
  • the electronic device 100 moves the cursor 3812 in real time according to a change in the input position to the liquid crystal panel 240.
  • this is indicated by a solid line arrow from the liquid crystal panel 240 to the liquid crystal panel 140.
  • FIG. 54 shows a display screen 3830 of the liquid crystal panel 140 and a display screen 3840 of the liquid crystal panel 240 in the tablet mode.
  • the case where the electronic apparatus 100 starts the book viewer application from the tablet mode home application is shown as an example.
  • the description of the operation of the electronic device 100 here also applies when the electronic device 100 starts a sub application other than the book viewer.
  • Display screen 3830 includes cursor 3832 and window 3834.
  • the window 3834 is created by the executed book viewer application.
  • Window 3834 displays an operation screen of the book viewer application.
  • the cursor 3832 has a lower display density than the cursor 3812 in the mouse mode.
  • the cursor 3832 is shown with a diagonal line inside thereof in order to indicate that the cursor 3832 is thin. Actually, the cursor 3832 need not be displayed with hatching.
  • Display screen 3840 displays an operation assistance screen of the book viewer application.
  • the user can turn pages by operating the operation assist screen.
  • the user cannot move the cursor 3832 by changing the input position on the liquid crystal panel 240. That is, in the tablet mode, electronic device 100 does not reflect the change in the input position to liquid crystal panel 240 in the movement of cursor 3832.
  • this is indicated by a dashed arrow from the liquid crystal panel 240 toward the liquid crystal panel 140.
  • the electronic apparatus 100 changes the position of the cursor 3832 depending on the input position to the liquid crystal panel 240, the cursor 3832 moves each time the user performs an operation such as turning the page, so that the visibility of the liquid crystal panel 140 may be deteriorated. is there.
  • the electronic device 100 prevents the display screen of the liquid crystal panel 140 from being difficult to see by controlling the cursor position of the liquid crystal panel 140 independently of the input position to the tablet in the tablet mode. be able to.
  • the user can easily grasp whether or not the cursor can be moved by the input to the liquid crystal panel 240.
  • Display screens 3850 and 3860 in FIG. 54 are the display screen 3850 on liquid crystal panel 140 and the display screen 3860 on liquid crystal panel 240 after the state (tablet mode) shown in display screens 3830 and 3840 in FIG. It is.
  • Display screen 3850 includes cursor 3852 and window 3854.
  • Window 3854 is the same as window 3834 in tablet mode. In other words, even after the electronic device 100 shifts from the tablet mode to the mouse mode, the operation screen of the application displayed on the liquid crystal panel 140 in the tablet mode is continuously displayed on the liquid crystal panel 140.
  • the electronic device 100 displays the same operation screen on the liquid crystal panel 140 before and after switching between the mouse mode and the tablet mode. Therefore, the operability of the electronic device 100 is improved. While viewing the operation screen of the application displayed on the liquid crystal panel 140, the user selectively selects the operation of the mouse or the operation of the application that assists the operation of the application displayed on the liquid crystal panel 140 as necessary. Can be done.
  • the cursor 3852 is displayed in the same display form as the cursor 3812 on the display screen 3810. That is, electronic device 100 displays the same type of cursor on liquid crystal panel 140 in the mouse mode.
  • the display screen 3860 is a mouse screen.
  • electronic device 100 moves cursor 3852 in accordance with a change in the input position to liquid crystal panel 240.
  • the electronic device 100 displays the cursor lighter in the tablet mode than in the mouse mode, with reference to FIG.
  • the method of making the cursor inconspicuous in the tablet mode is not limited to this.
  • the electronic device 100 may cancel the cursor display in the tablet mode. That is, electronic device 100 may hide the cursor in the tablet mode. This can be regarded as one form of changing the display form. That is, electronic device 100 can hide the cursor by setting the cursor to be completely transparent.
  • the electronic device 100 may hide the cursor by creating display data that does not include the cursor in the tablet mode.
  • electronic device 100 displays a cursor at a predetermined position (for example, a corner of the screen of liquid crystal panel 140) after shifting from the tablet mode to the mouse mode.
  • the electronic device 100 stores the cursor position in a storage device such as the RAM 271 when shifting to the tablet mode, reads the cursor position from the storage device when shifting to the mouse mode, and moves the cursor to the read cursor position. May be displayed.
  • FIG. 55 is a diagram for describing a change in cursor display control according to a modification of the first embodiment.
  • Display screen 3910 includes a cursor 3912.
  • Display screen 3920 is a mouse screen.
  • the electronic device 100 operates in the same manner as when the display screens 3810 and 3820 are displayed. That is, electronic device 100 moves cursor 3912 according to the input position on liquid crystal panel 240.
  • FIG. 55 further shows display screen 3930 of liquid crystal panel 140 and display screen 3940 of liquid crystal panel 240 in the tablet mode.
  • the display screens 3830 and 3840 the case where the electronic device 100 is executing a book viewer is shown as an example. However, the description of the operation of the electronic device 100 here also applies to the case where the electronic device 100 is executing an application other than the book viewer.
  • Display screen 3930 includes cursor 3932 and window 3934.
  • the window 3934 is created by an application, like the window 3834 on the display screen 3830.
  • Cursor 3932 is in the lower right corner of the screen. That is, electronic device 100 moves the cursor in mouse mode to a predetermined position in tablet mode. By changing the display position of the cursor in this way, it is possible to prevent the window 3934 from being difficult to see with the cursor.
  • a virtual cursor 3932A corresponding to the position of the cursor 3912 in the mouse mode is indicated by a broken line.
  • electronic device 100 moves the cursor to the lower right corner of the display screen.
  • the visibility of the screen can be improved more reliably by moving the cursor to the end of the display screen.
  • the “end portions” are not limited to the four corners of the screen, and may be each side of the screen or a region within a predetermined distance from each side. Further, all the cursors may not be displayed, and some or almost all of them may be hidden at the edge of the screen.
  • the display form of the cursor 3932 is the same as the display form in the mouse mode as shown in FIG.
  • the electronic device 100 may change the display form such as displaying the cursor after movement lightly compared to the mouse mode.
  • FIG. 55 shows the display screen 3950 of the liquid crystal panel 140 and the display screen 3960 of the liquid crystal panel 240 after the display mode 3930, 3940 is displayed (tablet mode) and the mode is changed to the mouse mode.
  • Display screen 3950 includes cursor 3952 and window 3954. 55, the relationship between the window 3934 and the window 3954 is the same as the relationship between the window 3834 and the window 3854 in FIG.
  • the cursor 3952 is displayed at the same position as the cursor 3812 shown on the display screen 3910. That is, electronic device 100 displays a cursor at the same position in the screen of liquid crystal panel 140 before the transition from the mouse mode to the tablet mode and after the return from the tablet mode to the mouse mode. Note that a virtual cursor 3952A corresponding to the position of the cursor 3932 in the tablet mode is indicated by a broken line on the display screen 3950 in FIG. 55 for easy understanding.
  • the electronic device 100 stores the cursor position in a storage device such as the RAM 271 when shifting from the mouse mode to the tablet mode.
  • the electronic device 100 returns from the tablet mode to the mouse mode, the electronic device 100 reads the stored cursor position and displays the cursor at the read cursor position.
  • the cursor does not necessarily have to be moved to a position before the shift to the tablet mode. If the cursor is not moved at this time, the user may easily operate the mouse.
  • the display screen 3960 is a mouse screen.
  • the electronic device 100 moves the cursor 3952 in accordance with a change in the input position to the liquid crystal panel 240.
  • FIG. 59 is a flowchart showing the process flow of the mode switching (from the mouse mode to the tablet mode) operation.
  • step SB601 the mode setting unit 454 included in the control unit 450 loads the operation element of the immediately preceding application stored in the storage unit 430.
  • the “immediate application” is a sub application that was last operated in the tablet mode before the mode setting unit 454 received the mode switching instruction to the tablet mode.
  • the immediately preceding application is the same as the sub application operating at the time of mode switching instruction.
  • step SB603 the program execution unit 458 included in the control unit 450 executes the immediately preceding application based on the operation element loaded in step SB601. Then, the program execution unit 458 controls the display control unit 456 to display the operation screen of the sub application on the display unit 410.
  • the program execution unit 458 may perform the process of step SB601 at any time during the process of step SB603.
  • the operation element stored in the storage unit 430 may be read as necessary, and the sub application may be executed based on the read data.
  • step SB605 the panel input processing unit 453 included in the control unit 450 switches the processing method of the signal from the panel input unit 422. That is, the panel input processing unit 453 converts the signal from the panel input unit 422 into an operation instruction of the sub application.
  • step SB607 the program execution unit 358 and the display control unit 356 change the display of the cursor in the liquid crystal panel 140. Details of the processing for changing the cursor display will be described later.
  • FIG. 60 is a flowchart showing the process flow of the mode switching (tablet mode to mouse mode) operation.
  • step SB701 when the display control unit 456 included in the control unit 450 receives a signal indicating that a mode switching instruction has been received from the mode setting unit 454, the display unit 456 displays a mouse mode screen on the liquid crystal panel 240 based on the display data 433. Is displayed.
  • step SB703 the panel input processing unit 453 included in the control unit 450 switches the processing method of the signal from the panel input unit 422. That is, the panel input processing unit 453 converts the signal from the panel input unit 422 into a mouse operation signal on the liquid crystal panel 140.
  • step SB705 the program execution unit 358 and the display control unit 356 included in the control unit 350 perform processing for restoring the display of the cursor changed when the tablet mode is changed from the mouse mode. Details of the cursor recovery process will be described later.
  • FIG. 61 is a flowchart showing the flow of processing for changing the cursor display form.
  • step SB801 the display control unit 356 included in the control unit 350 loads the cursor display data for the tablet mode from the storage unit 330. It is assumed that the cursor display data for the tablet mode is stored in the storage unit 330 in advance. The cursor display data for the tablet mode is different from the cursor display data for the mouse mode (which is also stored in the storage unit 330). Specifically, the cursor display data for the tablet mode is set to have lower brightness or higher transparency than the cursor display data for the mouse mode.
  • step SB803 the display control unit 356 displays a cursor for touch mode on the liquid crystal panel 140 based on the cursor display data for tablet mode loaded in step SB801.
  • FIG. 62 is a flowchart showing the flow of restoration processing of the cursor display form.
  • step SB901 the display control unit 356 included in the control unit 350 loads the cursor display data for the mouse mode from the storage unit 330.
  • step SB903 the display control unit 356 displays a mouse mode cursor on the liquid crystal panel 140 based on the mouse mode cursor display data loaded in step SB901.
  • the display control unit 356 stores the cursor display data for the tablet mode and the mouse mode in advance.
  • the display control unit 356 may create one cursor display data based on the other cursor display data.
  • the display control unit 356 may create the cursor display data by performing predetermined change processing relating to the brightness and the transparency on the cursor display data for the mouse mode stored in advance.
  • FIG. 63 is a diagram showing a flow of processing when the cursor is not displayed in the form of a flowchart.
  • step SB1001 the control unit 350 stores the current cursor position in the storage unit 330.
  • “present” refers to a point in time when the control unit 350 receives a mode switching instruction from the mouse mode to the tablet mode.
  • step SB1003 the control unit 350 hides the cursor of the liquid crystal panel 140.
  • the program execution unit 358 included in the control unit 350 creates display data based on the result of executing the program excluding the portion related to cursor display.
  • Display control unit 356 displays a screen based on the generated display data on liquid crystal panel 140.
  • control unit 350 may hide the cursor by making the cursor display completely transparent. In this case, the control unit 350 hides the cursor by calling the cursor display data corresponding to colorlessness by a process similar to the process shown in FIG. Alternatively, the control unit 350 may hide the cursor by changing display data of the currently displayed cursor (that is, the cursor in the mouse mode).
  • FIG. 64 is a flowchart showing the flow of cursor redisplay processing.
  • step SB1101 the display control unit 356 included in the control unit 350 loads the “current cursor position” stored in the storage unit 330 in step SB1001 of FIG. 63 from the storage unit 330.
  • step SB1103 the display control unit 356 displays a cursor at the cursor position loaded in step SB1101. At this time, the display control unit 350 displays a mouse mode cursor based on the mouse mode cursor display data.
  • FIG. 65 is a diagram showing, in a flowchart form, the flow of processing when moving the cursor during the transition from the mouse mode to the tablet mode.
  • step SB1201 the control unit 350 stores the current cursor position in the storage unit 330.
  • “present” refers to the time point when the control unit 350 receives a mode switching instruction from the mouse mode to the tablet mode, as in the previous description.
  • step SB1203 the control unit 350 moves the cursor of the liquid crystal panel 140.
  • the program execution unit 358 included in the control unit 350 reads the designated position of the cursor in the tablet mode stored in advance in the storage unit 330. Then, the program execution unit 358 creates display data for displaying a cursor at the read designated position.
  • Display control unit 356 displays an image based on the generated display data on liquid crystal panel 140.
  • FIG. 66 is a flowchart showing the flow of processing for moving the cursor when shifting from the tablet mode to the mouse mode.
  • step SB1301 the display control unit 356 included in the control unit 350 loads the “current cursor position” stored in the storage unit 330 in step SB1201 of FIG.
  • step SB1303 the display control unit 356 displays a cursor at the cursor position loaded in step SB3101. At this time, the display control unit 350 displays a mouse mode cursor based on the mouse mode cursor display data.
  • step SB1201 and step SB1301 the storage unit 330 stores in advance the cursor display position when the cursor is redisplayed.
  • the display control unit 356 loads a predetermined display position from the storage unit 330 when the cursor is displayed again. Then, the display control unit 356 displays a cursor at the loaded predetermined display position.
  • the electronic device 100 according to the above-described eighth modification always changes the cursor display when shifting from the mouse mode to the tablet mode.
  • the electronic device 100 according to the ninth modification changes the display of the cursor only when the cursor overlaps the active window in the display screen of the liquid crystal panel 140.
  • FIG. 67 is a diagram for describing a change in cursor display control according to the present modification.
  • Display screen 5110 includes a cursor 5112.
  • a cursor 5112 is shown at two different positions for explanation. However, actually, there is one cursor 5112 displayed on the liquid crystal panel 140, and two cursors 5112 are not displayed on the liquid crystal panel 140 at the same time. On the display screen 5110, this is indicated by putting parentheses around one cursor 5112. This display method is the same for the display screens 5130 and 5150.
  • FIG. 67 also shows a display screen 5130 of the liquid crystal panel 140 and a display screen 5140 of the liquid crystal panel 240 in the tablet mode.
  • the display screens 3830 and 3840 in FIG. 54 the case where the electronic device 100 is executing a book viewer is shown as an example.
  • the display screen 5130 includes a cursor 5132 and a window 5134.
  • Window 5134 is an active window created by the executed book viewer application.
  • the electronic device 100 determines the display position of the cursor 5132 based on the positional relationship between the display position in the mouse mode before switching to the tablet mode and the window 5134.
  • the electronic device 100 displays the cursor at the same position as the display position in the mouse mode in the tablet mode. That is, in the mouse mode, when the cursor is displayed at the position of the cursor 5112 without parentheses on the display screen 5110 in the mouse mode, the cursor is set at the position of the cursor 5132 without parentheses in the tablet mode. Is displayed.
  • the electronic device 100 moves the cursor during the transition from the mouse mode to the tablet mode, and displays the window 5134 in the tablet mode. Display the cursor outside the area. That is, in the mouse mode, when the cursor is displayed at the position of the cursor 5112 with parentheses on the display screen 5110 in FIG. 67 in the mouse mode, the electronic device 100 moves the cursor to the position of the cursor 5132 with parentheses in the tablet mode. indicate. On the display screen 5130, for easy understanding, a virtual cursor 5132A corresponding to the position of the cursor 5112 in the mouse mode is indicated by a broken line.
  • FIG. 67 also shows the display screen 5150 of the liquid crystal panel 140 and the display screen 5160 of the liquid crystal panel 240 after shifting to the mouse mode from the state shown in the display screens 5130 and 5140 (tablet mode).
  • Display screen 5150 includes cursor 5152 and window 5154.
  • the relationship between the window 5134 and the window 5154 is the same as the relationship between the window 3834 and the window 3854 (see FIG. 54).
  • the electronic device 100 displays the cursor at the same position as before the return to the mouse mode (in the display screen 5150, parentheses are added). Uncursed cursor 5152).
  • the electronic device 100 moves the cursor to the same position as the position in the mouse mode before the transition to the tablet mode.
  • ursor 5152 with parentheses in display screen 5150 In the display screen 5150, for easy understanding, a virtual cursor 5152A corresponding to the position of the cursor 5132 with parentheses in the tablet mode is indicated by a broken line.
  • the electronic device 100 may change the display form such as displaying the cursor lightly when the cursor overlaps the window. Good.
  • the hardware configuration and functional configuration of the electronic device 100 according to the ninth modification are substantially the same as those of the eighth modification, and detailed description thereof will not be repeated. However, as will be described below, the eighth modification and the ninth modification are different in the processing performed by the control unit 350 and the control unit 450.
  • the basic flow of processing of the electronic device 100 according to the ninth modification is the same as that of the eighth modification (FIG. 56) and will not be repeated.
  • the mouse mode operation and the tablet mode operation are the same as in the eighth modified example (FIGS. 57 and 58) and will not be repeated.
  • the mode switching process is different from the eighth modification example as described below.
  • FIG. 68 is a diagram showing a flow of processing of a mode switching (mouse mode to tablet mode) operation according to the ninth modified example in a flowchart format.
  • step SB1401 the mode setting unit 454 included in the control unit 450 loads the operation element of the immediately preceding application stored in the storage unit 430.
  • the “immediate application” is a sub-application that was last operated in the tablet mode before the mode setting unit 454 accepted the mode switching instruction to the tablet mode, as already described.
  • step SB1403 the program execution unit 458 included in the control unit 450 executes the immediately preceding application based on the operation element loaded in step SB1401. Then, the program execution unit 458 controls the display control unit 456 to display the operation screen of the sub application on the display unit 410.
  • the program execution unit 458 may perform the process of step SB1401 at any time during the process of step SB1403.
  • the operation element stored in the storage unit 430 may be read as necessary, and the sub application may be executed based on the read data.
  • step SB1405 the panel input processing unit 453 included in the control unit 450 switches the processing method of the signal from the panel input unit 422. That is, the panel input processing unit 453 converts the signal from the panel input unit 422 into an operation instruction of the sub application.
  • step SB1407 the program execution unit 358 determines whether or not the cursor overlaps the display area of the window. Specifically, the program execution unit 358 reads data indicating the display area of the active window and data specifying the display position of the cursor from the storage unit 330. The program execution unit 358 determines that the cursor overlaps the display area of the window when there is something common in the positions specified by the respective data.
  • program execution unit 358 may determine the overlap between the cursor and the window using the window display area or cursor display position wider than the actual one. In this way, electronic device 100 is located in the vicinity of the window that is outside the window, and can move a cursor that may hinder visual recognition of the window.
  • control unit 350 determines that the cursor overlaps the window (YES in step SB1407), the control unit 350 proceeds to the process of step SB1409.
  • step SB1409 control unit 350 performs display change processing for the cursor displayed on liquid crystal panel 140. Specifically, control unit 350 performs processing similar to the processing described in FIG. 61, FIG. 63, or FIG.
  • the electronic device 100 moves the cursor to the corner of the screen.
  • the electronic device 100 may move the cursor to an area that does not hinder the viewing of the window.
  • the electronic device 100 may move the cursor to the edge of the screen, such as on each side of the screen, as in the eighth modification.
  • the electronic device 100 may move the cursor to at least an area that does not obstruct the active window.
  • the electronic device 100 may move to the edge of the window or just outside the window.
  • control unit 350 determines that the cursor does not overlap the window (NO in step SB1407), control unit 350 switches from the mouse mode to the tablet mode without performing the cursor display change process (without executing step SB1409).
  • the mode switching process ends.
  • FIG. 69 is a flowchart illustrating a process flow of the mode switching (tablet mode to mouse mode) operation according to the ninth modification.
  • step SB1501 when the display control unit 456 included in the control unit 450 receives a signal indicating that a mode switching instruction has been received from the mode setting unit 454, the display unit 456 displays a mouse mode screen on the liquid crystal panel 240 based on the display data 433. Is displayed.
  • step SB1503 the panel input processing unit 453 included in the control unit 450 switches the processing method of the signal from the panel input unit 422. That is, the panel input processing unit 453 converts the signal from the panel input unit 422 into a mouse operation signal on the display panel 140.
  • step SB1505 the program execution unit 358 included in the control unit 350 determines whether the display of the cursor has been changed at the time of transition from the mouse mode to the tablet mode.
  • the program execution unit 358 stores the display mode (or display position) of the cursor in the mouse mode before the transition in the storage unit 330 when transitioning from the mouse mode to the tablet mode.
  • the program execution unit 358 compares the stored display form (or display position) with the cursor display form (or display position) in the tablet mode, and whether the cursor display has been changed. Judge whether.
  • the program execution unit 358 stores data representing the determination result in the storage unit 330 at the time of determination in step SB1407 in FIG. In step SB1505, it is determined whether the display of the cursor has been changed based on the stored data representing the determination result.
  • step SB1507 the program execution unit 356 and the display control unit 356 included in the control unit 350 display the cursor that has been changed at the time of transition from the mouse mode to the tablet mode. Perform display restoration processing. Specifically, control unit 350 performs processing similar to the processing described in FIG. 62, FIG. 64, or FIG. If the cursor display has not been changed (NO in step SB1505), control unit 350 ends the mode switching process without performing the cursor display recovery process.
  • FIG. 70 shows an appearance of the electronic device 100 according to the tenth modification.
  • FIG. 70 is a diagram illustrating an appearance of an electronic device 100 according to a tenth modification.
  • the configuration of electronic device 100 is the same as that of the eighth modification except that mouse 1100 is connected.
  • the mouse 1100 is an example of a pointing device.
  • the following description also applies to the electronic device 100 to which other pointing devices can be connected.
  • FIG. 71 is a block diagram illustrating a hardware configuration of electronic device 100.
  • the hardware configuration of the electronic device 100 shown in FIG. 71 is obtained by adding a mouse connector 197 to the configuration shown in FIG. 2 in the eighth modification.
  • a mouse 1100 can be attached to and detached from the mouse connector 197.
  • the mouse connector 197 detects the connection of the mouse 1100 and the removal of the mouse 1100, and sends a signal indicating the connection state of the mouse 1100 to the CPU 110 or the like.
  • the mouse connector 197 a connector such as a USB connector that physically connects the terminals on the mouse side can be used.
  • the mouse connector 197 is an example of an interface between the electronic device 100 and an external pointing device, and is not limited to the above.
  • the electronic device 100 may include an interface for connecting to a pointing device using wireless or the like.
  • the hardware configuration of the electronic device 100 is not limited to that shown in FIG.
  • a device in which a mouse connector 197 is added to the first unit 1001A may be used.
  • FIG. 72 is a diagram for explaining a change in cursor display control according to the tenth modification.
  • Display screen 5610 includes a cursor 5612.
  • the electronic device 100 changes the position of the cursor 5612 according to the change in the input position to the liquid crystal panel 240. Furthermore, in this modification, electronic device 100 moves cursor 5612 in accordance with the movement of mouse 1100. In FIG. 72, this is indicated by an arrow from the mouse 1100 to the liquid crystal panel 140.
  • FIG. 72 shows a display screen 5630 of the liquid crystal panel 140 and a display screen 5640 of the liquid crystal panel 240 in the tablet mode.
  • Display screen 5630 includes a cursor 5632 and a window 5634. Window 5634 is created by the executed book viewer application.
  • the electronic device 100 does not change the cursor display when the mouse 1100 is connected to the electronic device 100 when the mouse mode is changed to the tablet mode. That is, electronic device 100 displays the same cursor before and after mode switching. More specifically, electronic device 100 displays, in tablet mode, cursor 5632 having the same display form as cursor 5612 at the same position as cursor 5612 in mouse mode before the mode is switched.
  • the electronic device 100 can move the cursor 5632 according to the movement of the mouse 1100 even during the tablet mode.
  • FIG. 72 shows a display screen 5650 in which the user moves the cursor 5632 to the right.
  • the user can move the cursor even in the tablet mode.
  • the electronic device 100 does not move the cursor when shifting to the tablet mode. This is because if the cursor that the user can move becomes inconspicuous or moves without user operation, the operability of the cursor by the user is impaired. Even if the cursor overlaps the window, the user can move the cursor to a position where the window is easy to see by moving the mouse 1100, so that visibility is not hindered.
  • the electronic device 100 does not change the display of the mouse even when shifting from the tablet mode to the mouse mode.
  • FIG. 72 shows a display screen 5650 of the liquid crystal panel 140 and a display screen 5660 of the liquid crystal panel 240 when the state is changed from the state shown in the display screens 5030 and 5040 (tablet mode) to the mouse mode.
  • Display screen 5650 includes a cursor 5562 and a window 5654, similar to display screen 5630.
  • the basic flow of processing of the electronic device 100 according to the tenth modification is the same as that of the eighth modification (FIG. 56) and will not be repeated. However, since there is an operation by operating the mouse 1100, the mouse mode operation and the tablet mode operation are different from the eighth modification example and the ninth modification example. Also, the mode switching process is different from the first embodiment and the second embodiment, as described below. Hereinafter, a flow of processing different from that of the other embodiments will be described.
  • FIG. 73 is a flowchart showing the processing flow of the mouse mode operation according to the present modification.
  • control unit 350 On the first unit 1001 side will be described.
  • the operation flow of the control unit 350 is shown on the left side in FIG.
  • step SB1601 the control unit 350 determines whether or not the mouse 1100 is connected to the mouse connector 197.
  • step SB1603 If the control unit 350 determines that the mouse 1100 is not connected (NO in step SB1601), the process proceeds from step SB1603 to step SB1609. Since the processing from step SB1603 to step SB1609 is the same as the processing from step SB201 to step SB207 of FIG. 57, respectively, description thereof will not be repeated.
  • control unit 350 calculates position coordinates (mouse coordinates) designated by the mouse 1100 in step SB1611. Specifically, control unit 350 calculates mouse coordinates based on the amount of movement of mouse 1100 determined from the movement of the mouse ball and the like, the definition of the amount of change in coordinates corresponding to the amount of movement, and the like.
  • step SB1613 the control unit 350 acquires panel coordinates. This is similar to the process in step SB1603, and the description thereof will not be repeated.
  • step SB1615 the control unit 350 determines the cursor position based on the mouse coordinates and the panel coordinates.
  • step SB1617 the control unit 350 determines whether or not the mouse 1100 has been clicked. Specifically, control unit 350 determines whether a signal corresponding to a mouse 1100 click has been received from mouse connector 197.
  • control unit 350 executes an application operation based on the command corresponding to mouse 1100 click in step SB1621.
  • the command is not limited to a click operation, and may correspond to a double click, a drag, or the like.
  • control unit 350 receives a command from second unit 1002 in step SB1619. Thereafter, in step SB1621, control unit 350 executes an application operation corresponding to the command.
  • the operation of step SB1621 at this time is similar to that of step SB1609, and the description thereof will not be repeated.
  • step SB1621 the control unit 350 repeats the processing from step SB1601.
  • step SB1701 to step SB1711 The operation of the control unit 450 on the second unit 1002 side is shown on the right side in FIG.
  • the processing from step SB1701 to step SB1711 is the same as the processing from step SB301 to step SB311 in FIG. 57, and detailed description thereof will not be repeated.
  • FIG. 74 is a diagram showing the flow of processing of the tablet mode operation according to the present modification in the form of a flowchart.
  • control unit 350 On the first unit 1001 side will be described.
  • the operation flow of the control unit 350 is shown on the left side in FIG.
  • step SB1701 the control unit 350 determines whether or not the mouse 1100 is connected to the mouse connector 197.
  • step SB1701 When the control unit 350 determines that the mouse 1100 is not connected (NO in step SB1701), the control unit 350 proceeds to the processing of step SB1803 and step SB1805. Since the processes of step SB1803 and step SB1805 are the same as the processes of step SB401 and step SB403 of FIG. 58, respectively, description thereof will not be repeated.
  • step SB1701 When the control unit 350 determines that the mouse 1100 is connected (YES in step SB1701), the process proceeds from step SB1807 to step SB1815. Since the processing from step SB1807 to step SB1815 is the same as the processing from step SB1611 and step SB1615 to step SB1621 in FIG. 73, respectively, description thereof will not be repeated.
  • step SB1901 to step SB1909 is the same as the processing from step SB501 to step SB509 in FIG. 58, and detailed description thereof will not be repeated.
  • FIG. 75 is a flowchart showing a process flow of the mode switching (mouse mode to tablet mode) operation according to the third embodiment.
  • step SB2001 to step SB2005 is the same as the processing from step SB1401 to step SB1405 in FIG. 68, and description thereof will not be repeated.
  • step SB2007 the control unit 350 determines whether or not the mouse 1100 is connected to the mouse connector 197.
  • step SB2007 determines that the mouse 1100 is not connected (NO in step SB2007)
  • the control unit 350 proceeds to the process of step SB2009 (change of cursor display).
  • the process in step SB2009 is similar to the process in step SB1409 of FIG. 68, and the detailed description thereof will not be repeated.
  • control unit 350 determines that mouse 1100 is connected (YES in step SB2007), it does not perform cursor display change processing (without executing step SB2009), and switches from mouse mode to tablet mode. The mode switching process is terminated.
  • FIG. 76 shows mode switching (tablet mode to mouse mode) according to this modification.
  • FIG. 76 is a flowchart showing the process flow of the mode switching (tablet mode to mouse mode) operation according to the present modification.
  • Each process in FIG. 76 (step SB2101 to step SB2115) is the same as step SB1501 to step SB1507 of FIG. 69 described in the ninth modification, and detailed description thereof will not be repeated.
  • the liquid crystal panel 140 may be a display (single function display) that does not have a function as an input unit and only displays a screen. This configuration is useful when the liquid crystal panel 140 is large and difficult to form a touch panel.
  • the second liquid crystal panel 240 of the electronic device 100 may be a normal touch panel having a tablet function and a display function.
  • the present invention also includes a configuration in which each embodiment (modification) is appropriately combined.
  • an electronic device that combines the ninth modification and the tenth modification can be considered as one embodiment of the present invention. That is, an electronic device that changes the display of the cursor when an external pointing device is not connected and the cursor overlaps the window in the tablet mode is also an embodiment of the present invention.
  • the first unit 1001 and the second unit 1002 operate independently except for data exchange. Therefore, the second unit 1002 may be removable. Furthermore, the second unit 1002 may be replaceable with another unit (for example, a portable information terminal) having a function equivalent to that of the second unit 1002. Therefore, a system including an electronic device including the first unit 1001 and a unit connected to or connectable to the electronic device can be considered as one embodiment of the present invention.
  • the first command as described with reference to FIG. 8 is transmitted from the main body device 101 to the second unit 1002 or the display device 102.
  • the first command may include a field for designating a range for requesting transmission of scan data to the second unit 1002 or the display device 102 in addition to the fields shown in FIG.
  • FIG. 77 is a diagram for explaining such a modification of the command of type “000”.
  • the relative coordinate means a coordinate value of a difference between the coordinate value of the center coordinate obtained from the current scan result and the coordinate value of the center coordinate obtained from the previous scan result. That is, the relative coordinate is a coordinate indicating how much the operation position on the liquid crystal panel 240 or the like has changed between the previous scan and the current scan.
  • the CPU 110 writes the value of the scan range with the number “6” in the spare data area DA07 (see FIG. 7).
  • the image processing engine 280 is instructed to designate the scan range in the liquid crystal panel 240 by coordinates. To request.
  • the first command in which “01” is set in the spare data area DA07 requests the image processing engine 280 to set the scan range in the liquid crystal panel 240 to the entire scannable area of the liquid crystal panel 240. .
  • the first command requests transmission of the coordinate value of the relative coordinate of the center coordinate for the partial image.
  • the coordinate value of the center coordinate based on the previous scan result calculated each time the scan result is derived.
  • the transmission of the difference data of the coordinate value of the current center coordinate is requested.
  • the first command described with reference to FIG. 77 indicates the range of the scan data liquid crystal panel 240 that requests transmission when the scan range value of number “6” is written in the spare data area DA07. Can be specified.
  • the first command in FIG. 77 designates a certain area of the liquid crystal panel 240 as the coordinates of the scan range and sets “001” in the second field DA03, thereby performing an operation performed on the certain area.
  • the transmission of the coordinate value of the center coordinate of the position can be requested.
  • a specific area is designated as a scan range, and “111” is set in the second field DA03, so that the first command is executed within the above-described area. It is possible to request transmission of the change amount of the relative operation position in the touch operation.
  • the image data after being processed by the image processing engine 280 is stored in the data area DA14 (see FIG. 14) representing the image.
  • a coordinate value representing the difference between the coordinate values of the center coordinate between the current scan result and the previous scan result is written.
  • FIG. 78 is a flowchart of the processing. explain.
  • CPU 110 first reads the initial setting contents of liquid crystal panel 240 in the application program being executed in step SC10, and advances the process to step SC20.
  • the contents of the initial setting include display information, relative coordinate mode area information, and absolute coordinate mode area information, which will be described later.
  • step SC20 CPU 110 transmits the display information of liquid crystal panel 240 determined based on the initial setting or the analysis result of input information in step SC60 described later to second unit 1002, and proceeds to step SC30.
  • the information transmitted here includes the second command in FIG.
  • step SC30 CPU 110 transmits the relative coordinate mode area information and the absolute coordinate mode area information determined based on the initial setting described above or the analysis result of input information in step SC60 described later to second unit 1002, respectively. Then, the process proceeds to step SC50.
  • the relative coordinate mode area information is information for specifying an area in the display surface of the liquid crystal panel 240 that is designated to output relative coordinates for the operation when the operation is performed. 1 command is included.
  • the absolute coordinate mode area information is information for specifying an area on the display surface of the liquid crystal panel 240 that is designated to output the center coordinates of the partial image when operated. 1 command is included.
  • step SC50 CPU 110 determines whether information has been input to electronic device 100 or not.
  • the input of information to be determined here is not limited to the input of information to the input means provided in the first unit 1001 such as the operation key 177, but to the input means included in the second unit 1002 such as the liquid crystal panel 240. Includes information input.
  • CPU 110 determines that information has been input, it proceeds to step SC60.
  • step SC60 CPU 110 analyzes the contents of the information determined to be input in step SC50, analyzes the information input according to the program of the application being executed, and executes an appropriate process based on the analysis result. Then, the process proceeds to step SC70.
  • step SC70 the CPU 110 displays the display information transmitted to the second unit 1002 in step SC20 or the relative coordinate mode area information transmitted to the second unit 1002 in steps SC30 and SA40 as a result of the analysis and processing in step SC60. It is determined whether or not it is necessary to change at least one of the absolute coordinate mode area information. If it is determined that such necessity does not occur, the process returns to step SC50. On the other hand, if it is determined that a change is necessary, the process is returned to step SC20, and the changed information is transmitted to the second unit 1002 in steps SC20 to SC40, and the input of information is awaited in step SC50.
  • signal processing section 283 first waits at step SD10 until it receives at least one of the display information or area information from CPU 110, and determines that it has been received. The process proceeds to SD20.
  • step SD20 the signal processing unit 283 updates the display content of the liquid crystal panel 240 in accordance with the display information transmitted from the CPU 110, and advances the process to step SD30.
  • step SD30 the signal processing unit 283 updates the area management information stored in the storage device in the signal processing unit 283 based on the area information transmitted from the CPU 110, and advances the process to step SD40.
  • the area management information is an area designated as a relative coordinate mode area by the relative coordinate mode area information and an absolute coordinate mode area by the absolute coordinate mode area information among the areas that can be sensed by the liquid crystal panel 240. This is information for identifying the designated area.
  • step SD40 the signal processing unit 283 determines whether or not a touch operation has been performed in any of the sensing areas of the liquid crystal panel 240. If it is determined that the touch operation has been performed, the signal processing unit 283 proceeds to step SD70 and determines that the touch operation has not been performed. Then, the process proceeds to step SD50.
  • the touch operation means a state where the liquid crystal panel 240 is touched.
  • step SD50 the signal processing unit 283 determines whether or not an up operation has been performed in any of the sensing areas of the liquid crystal panel 240. If it is determined that the up operation has been performed, the process proceeds to step SD60. If not, the process proceeds to step SD10. Return processing.
  • the up operation means a change from a state where the liquid crystal panel 240 is touched to a state where there is no touch.
  • step SD250 the signal processing unit 283 proceeds to step SD60.
  • step SD60 the signal processing unit 283 determines whether or not the touch operation ended by the up operation detected in step SD50 is a touch operation whose duration is within a predetermined time in the relative coordinate mode region. . That is, in step SD60, the signal processing unit 283 determines whether or not the touch operation is released before continuing for a predetermined time in the relative coordinate mode area. If it is determined that this is the case, the process proceeds to step SD61. On the other hand, if not, that is, if it is determined that the previous touch operation is in the absolute coordinate mode area or the touch operation has exceeded the predetermined time in the relative coordinate mode area, the process proceeds to step SD62. Proceed.
  • step SD61 the signal processing unit 283 transmits information indicating that a click operation has been performed in the relative coordinate mode area (hereinafter also referred to as “touch information”) to the first unit 1001, and proceeds to step SD62. .
  • step SD62 the signal processing unit 283 clears the previous touch position information stored in the storage device in the signal processing unit 283, and returns the process to step SD10.
  • the previous touch position information is information updated in step SD130 described later, and is the center coordinates of the partial image at that time.
  • step SD70 it is determined whether or not the center coordinates determined to have been touched in step SD40 are within the range of the absolute coordinate mode area updated in step SD30. If so, the process proceeds to step SD80. If it is determined that this is not the case, the process proceeds to step SD90.
  • step SD80 the signal processing unit 283 transmits response data (see FIG. 14) including the center coordinates (absolute coordinate information) of the partial image determined to have been touched in step SD40 to the first unit 1001. Return processing to SD10.
  • step SD90 it is determined whether or not the coordinates determined to have been touched in step SD40 are included in the relative coordinate mode area updated in step SD30. If so, the process proceeds to step SD100 (see FIG. 80). The process proceeds, and if it is determined that it is not, the process returns to step SD10.
  • step SD100 the signal processing unit 283 determines whether or not information is stored as the previous touch position information at the present time. If it is determined that the information is stored, the process proceeds to step SD110. If it is cleared in step SD62 and no information is stored, the process proceeds to step SD130.
  • step SD110 the coordinate value of the difference between the center coordinates (current touch position information) of the partial image for the touch operation determined to have been touched in step SD40 and the previous touch position information stored in the storage device is calculated. Then, the process proceeds to step SD120.
  • step SD120 the signal processing unit 283 transmits the difference coordinate value (difference coordinate information) calculated in step SD110 to the first unit 1001, and advances the process to step SD130.
  • step SD130 the signal processing unit 283 updates the previous touch position information already stored in the storage device with the current touch position information, and returns the process to step SD10.
  • step SD10 After the signal processing unit 283 receives at least one of the display information or the region information from the CPU 110 in step SD10, the relative coordinate mode region is updated without updating the information. If the touch is continued, the process proceeds from step SD10 to step SD20, and then it is determined that the touch operation is performed in step SD40 through step SD20 and step SD30. Therefore, the process proceeds to step SD70. It is done. Since the touch operation is performed on the relative coordinate mode area, the process proceeds from step SD90 to step SD100. In the first step SD100, since the previous touch position information is not stored, the process returns to step SD10 via step SD130. If neither the display information nor the region information is updated, the process proceeds from step SD10 to step SD40.
  • step SD40 If the touch operation in the relative coordinate mode area is continued, the process proceeds from step SD40 to step SD100 through steps SD70 and SD90.
  • step SD110 since the previous touch position information is already stored, after the process of step SD110, the difference coordinate information is transmitted to the first unit 1001 in step SD120, and then the process returns to step SD10. Thereafter, while the touch operation on the relative coordinate mode area is continued, the processes of step SD10 to step SD40, step SD70, step SD90, step SD100 to step SD130, step SD10... Are repeated.
  • FIG. 81A shows an example of a screen displayed on the liquid crystal panel 140 by the execution of a web page browsing application which is an example of an application executed in the electronic device 100.
  • a screen 1401 displays a homepage screen titled “Sample Homepage A” which is an example of a homepage.
  • a pointer 1400 is displayed in the screen 1401. The display position of the pointer 1400 is changed by operating an operation key 177 or a relative coordinate mode area 2420 described later.
  • FIG. 81B is a diagram schematically illustrating an example of a screen displayed on the liquid crystal panel 240.
  • screen 2401 mainly includes an absolute coordinate mode area 2410 and a relative coordinate mode area 2420.
  • an upper button 2411 In the absolute coordinate mode area 2410, an upper button 2411, a lower button 2412, a television button 2414, a weather button 2415, and a sports button 2416 are displayed.
  • the position / shape / size set as the relative coordinate mode area 2420 is specified by the relative coordinate mode area information
  • the position / shape / size of the area set as the absolute coordinate mode area 2410 is It is specified by the absolute coordinate mode area information.
  • the positions of the various buttons 2411 to 2416 displayed in the absolute coordinate mode area 2410 and the types of images are specified by the absolute coordinate mode area information transmitted from the CPU 110.
  • the absolute coordinate mode area information includes a second command (see FIG. 9) for displaying an image for each button.
  • the application executed in the electronic apparatus 100 displays absolute coordinate mode area information (first information) that displays a button linked to the display content of the screen 1401 displayed on the liquid crystal panel 140 as a button to be displayed in the absolute coordinate mode area 2410. 2 commands) can be transmitted to the second unit 1002.
  • first information displays a button linked to the display content of the screen 1401 displayed on the liquid crystal panel 140 as a button to be displayed in the absolute coordinate mode area 2410. 2 commands
  • 2 commands can be transmitted to the second unit 1002.
  • buttons 2414 to 2416 corresponding to “TV”, “weather”, and “sports”, which are part of the menu displayed on the screen 1401 are displayed.
  • the CPU 110 is operated with respect to any of the buttons 2414 to 2416 and information indicating that is transmitted as response data (see FIG. 14) from the signal processing unit 283, the operated button for the application being executed is displayed.
  • the same processing as when the menu on the screen 1401 corresponding to is selected is executed.
  • the application can cause the absolute coordinate mode area 2410 to display buttons corresponding to some of the plurality of menus in the absolute coordinate mode area 2410, and the upper button 2411 and the lower button 2412 are operated.
  • the type of button corresponding to the menu among the plurality of menus displayed in the absolute coordinate mode area 2410 can be changed.
  • buttons 2413 to 2415 corresponding to the menus “Bulletin Board”, “TV”, and “Weather” are displayed in addition to upper button 2411 and lower button 2412. Yes.
  • buttons 2416 and 2417 corresponding to the menus of “sports” and “news” are shown for reference and are displayed in the absolute coordinate mode area 2410. is not.
  • buttons displayed in the absolute coordinate mode area 2410 include three buttons in response to an operation of the upper button 2411 or the lower button 2412 among the buttons 2413 to 2417 arranged as shown in FIG. 82A. Is selected and displayed in the absolute coordinate mode area 2410.
  • the button displayed in the absolute coordinate mode area 2410 is changed to 2414 to 2416.
  • buttons displayed in the absolute coordinate mode area 2410 are buttons 2415 to 2417 as shown in FIG. 82C.
  • the control mode of the liquid crystal panel 240 in which the button type displayed in the absolute coordinate mode area 2410 is selected according to the operation on the upper button 2411 or the lower button 2412 is as follows.
  • information (second command) for displaying three predetermined buttons among the five buttons is transmitted to the second unit 1002, and then transmitted in response to the first command from the main body apparatus 101.
  • the display position of the upper button 2411 or the lower button 2412, which is a kind of response data, is transmitted to the first unit 1001 as center coordinates (center coordinates of the partial image in FIG. 8), and the CPU 110 analyzes the response data.
  • the buttons displayed in the absolute coordinate mode area 2410 That transmits the display information such as to change the type (second command) to the second unit 1002 is realized by transmitting and receiving a series of information.
  • the CPU 110 displays information for displaying all the buttons 2413 to 2417 (image data to be displayed, etc.) to the second unit 1002 as display information to be transmitted to the second unit 1002 as display information when the application is activated.
  • the signal processing unit 283 executes control for selecting three buttons to be displayed in the absolute coordinate mode area 2410 from the five buttons 2413 to 2417 in response to an operation on the upper button 2411 and the lower button 2412. Also good.
  • the relative coordinate mode area 2420 is an area for detecting a tracing operation with a finger, a stylus, or the like for moving the display position of the pointer 1400 displayed on the liquid crystal panel 140 as in a conventional touch pad. Note that, as described as the processing of step SD60 to step SD61 in FIG. 79, in electronic device 100, a click operation on relative coordinate mode area 2420 is detected, and the operation is performed from display device 103 as response data. It is transmitted to the first unit 1001. Thereby, CPU 110 executes the application on the assumption that a click operation has been performed at the display position of pointer 1400 at that time.
  • the liquid crystal panel 240 displays the screen 2401 including the absolute coordinate mode region 2410 and the relative coordinate mode region 2420 corresponding to the contents of the application executed on the electronic device 100. .
  • the size and range of the absolute coordinate mode area and the relative coordinate mode area displayed on the liquid crystal panel 240 may be changed according to the type of application executed in the electronic device 100.
  • 83A and 83B show display contents of the liquid crystal panel 140 and the liquid crystal panel 240 when an application different from that described with reference to FIGS. 81A and 81B is executed in the electronic device 100.
  • FIG. 83A and 83B show display contents of the liquid crystal panel 140 and the liquid crystal panel 240 when an application different from that described with reference to FIGS. 81A and 81B is executed in the electronic device 100.
  • FIG. 83A shows a screen 1402 which is an example of a screen displayed on the liquid crystal panel 140.
  • a screen 1402 is a display screen for a game application, and a game title is displayed above it, or a screen 1403 showing a game state of the operator of the electronic device 100 and a game state of an opponent.
  • a screen 1404 is included.
  • a pointer 1400 is displayed on the screen 1402.
  • FIG. 83B shows a screen 2402 that is an example of a screen displayed on the liquid crystal panel 240.
  • the screen 2402 includes an absolute coordinate mode area 2430 and a relative coordinate mode area 2440.
  • the ratio of the sizes of the absolute coordinate mode area and the relative coordinate mode area on the screen displayed on the liquid crystal panel 240 can be changed for each application. Therefore, the ratio between the absolute coordinate mode area 2430 and the relative coordinate mode area 2440 is changed from the ratio between the absolute coordinate mode area 2410 and the relative coordinate mode area 2420 shown in FIG. 81B.
  • the function of the relative coordinate mode area 2440 of the screen 2402 displayed in FIG. 83B is the same as that of the relative coordinate mode area 2420 of FIG. 81B.
  • a handwriting pad area 2431 for inputting handwritten characters and figures, a button 2433 for clearing information input to the handwriting pad area 2431, and a handwriting pad area 2431 are displayed.
  • a button 2434 that is operated to transmit the current image information as absolute coordinate information from the signal processing unit 283 to the first unit 1001 is displayed.
  • a locus of an operation position from when the operation is started to the area until the button 2433 or the button 2434 is operated is displayed, and the current operation position is displayed at the pen tip.
  • a pen-shaped image 2432 shown as a position is displayed. The image 2432 is not necessarily displayed.
  • the sub-screen control process described with reference to FIG. 78 and the sub-side control process described with reference to FIGS. 79 and 80 are basically performed. Is executed. In executing this application, the sub-side control process is changed with respect to transmission of absolute coordinate information.
  • the absolute coordinate information is sequentially transmitted by the process of step SD80.
  • the absolute coordinate information is stored in the handwriting pad area 2431 after the operation is started (if the button 2433 is operated, the handwriting pad is thereafter
  • the locus of the operation position with respect to the handwriting pad area 2431 from when the operation to the area 2431 is started until the button 2434 is operated is stored, and the operation with respect to the button 2434 is performed as a condition.
  • the accumulated information on the locus of the operation position of the handwriting pad area 2431 is transmitted to the first unit 1001 as absolute coordinate information.
  • the storage device of the signal processing unit 283 can store display information, relative coordinate mode area information, and absolute coordinate mode area information for each application. As a result, the signal processing unit 283 simply transmits information specifying the type of application to be executed from the first unit, and the signal processing unit 283 displays the application such as the screen 2401 in FIG. 81B or the screen 2402 in FIG. A screen corresponding to the type can be displayed.
  • CPU 110 reads the initial setting in step SC10, and then in step SC21, specifies information (application specifying information) for specifying the application to be executed ( (Instead of the processing of step SC20 to step SC40 in FIG. 78).
  • the signal processing unit 283 waits until receiving the application specifying information in step SD11 instead of the process of step SD10 in FIG. If determined, the process proceeds to step SD12.
  • step SD12 the signal processing unit 283 associates the received application specifying information with the display information, the relative coordinate mode region information, and the absolute coordinate mode region information stored in the storage device in the signal processing unit 283. Is read.
  • step SD20 the signal processing unit 283 displays the display content of the liquid crystal panel 240 based on the display information, the relative coordinate mode area information, and the absolute coordinate mode area information read in step SD12 in step SD20 and step SD30. Update.
  • the display device 103 including the liquid crystal panel 240 may be mounted on the electronic device 100 or may be configured to be detachable from the electronic device.
  • the information processing terminal 9001 including at least the configuration of the second unit 1002 in the configuration of the electronic device 100 illustrated in FIG. 2 and the electronic device 100E including the configuration of the display device 102.
  • a system 9000 is shown.
  • the information processing terminal 9001 is configured to be fitted into a recess 100D provided in the electronic device 100E, for example.
  • a USB connector 194 is provided in the recess 100D, and the information processing terminal 9001 is configured to receive power from the electronic device 100E by being connected to the USB connector 194 by being fitted in the recess 100D. May be.
  • the information processing terminal 9001 may include a power source such as a storage battery for supplying power to each internal component.
  • FIG. 87 is a schematic diagram showing an appearance of the electronic device 100 according to the present modification. On the left side, the state when the content is displayed small on the first display panel 140 (or the display device 102A), and on the right side, the state when the content is displayed large on the first display panel 140, Each is shown.
  • electronic device 100 includes a first housing 100A and a second housing 100B.
  • the first casing 100A and the second casing 100B are foldably connected by a hinge 100C.
  • the first housing 100A includes a first photosensor built-in liquid crystal panel 140 (hereinafter also referred to as a first display panel 140).
  • the second housing 100B includes an operation key and a second liquid crystal panel 240 with a built-in photosensor (hereinafter also referred to as a second display panel 240 or a sub screen).
  • electronic device 100 includes two liquid crystal panels with a built-in optical sensor.
  • the electronic device 100 is configured as a portable device having a display function such as a PDA, a notebook personal computer, a portable phone, and an electronic dictionary.
  • Electronic device 100 uses first display panel 140 to display content such as moving image 140A, and also receives a command from the user via operation keys 177 and second display panel 240. Accept.
  • the second display panel 240 receives an instruction to move the pointer displayed on the first display panel 140 and an operation instruction to control reproduction of the moving image 140A displayed on the first display panel 140.
  • the first display panel 140 does not have to be a liquid crystal panel with a built-in optical sensor, and may be any display as long as content can be displayed.
  • the second display panel 240 since the second display panel 240 needs to be able to detect a touch operation by the user, it is preferable to use a touch panel having a tablet function and a display function or a liquid crystal panel with a built-in optical sensor.
  • the electronic device 100 causes the first display panel 140 to display the moving image 140A on a small window.
  • the electronic device 100 is set to the normal mode.
  • the electronic device 100 displays the pointer 140B on the first display panel 140 and accepts a movement command (first movement command) for the pointer 140B via the second display panel 240.
  • first movement command first movement command
  • the user can move the pointer 140B displayed on the first display panel 140 by performing a touch operation on the second display panel 240.
  • the electronic device 100 causes the first display panel 140 to display a main operation image 140C (second image) for controlling content reproduction.
  • electronic device 100 displays an image 240A indicating that the current mode is the normal mode on second display panel 240.
  • the user can also display the content in full screen by operating the operation keys 177 and the second display panel 240. That is, the user can change the display mode of the content on the first display panel 140 by operating the operation keys 177 and the second display panel 240.
  • the electronic device 100 is set to the full screen mode.
  • the electronic device 100 causes the second display panel 240 to display a sub operation image 240C (first image) for controlling content reproduction. At this time, the electronic device 100 displays an image 240B indicating that the current mode is the full screen mode on the second display panel 240.
  • the electronic device 100 provides an operation screen that is easy for the user to operate according to the situation, so that an operation that has good operability for the user if the purpose and target of the input command are different.
  • the problem of different images (operation screens) can be overcome.
  • the operation command that the user wants to input via the second display panel 240 varies depending on the display mode of the content displayed via the first display panel 140.
  • the user When the window for an application is displayed large on the first display panel 140, the user is likely to input an operation command for controlling the operation of the application via the second display panel 240. However, it is unlikely that an instruction for controlling another application is input. For example, when a window for an application for playing a moving image is displayed large on the first display panel 140, the user is likely to input an operation command for controlling the reproduction of the moving image. The possibility of inputting a pointer movement command is low.
  • the application window is displayed in a small size on the first display panel 140, the user is likely to input a command for controlling another application.
  • a window for reproducing a moving image is displayed on the first display panel 140 in a small size, there is a high possibility that the user inputs a pointer movement command.
  • the electronic device 100 provides an operation screen that is easy for the user to operate according to the situation based on the above viewpoint.
  • FIG. 88 is a cross-sectional view showing a configuration in which a photodiode receives external light during scanning. As shown in the figure, part of the external light is blocked by the finger 900. Therefore, the photodiode disposed under the surface area of the display panel 140 that is in contact with the finger 900 can hardly receive external light. In addition, although the photodiodes disposed under the surface area where the shadow of the finger 900 is formed can receive a certain amount of external light, the amount of external light received is small compared to the surface area where no shadow is formed.
  • the optical sensor circuit 144 can output a voltage corresponding to the position of the finger 900 relative to the surface of the display panel 140 from the sensor signal line SSj. it can.
  • the display panel 140 has a contact position of the finger 900, a contact range of the finger 900 (determined by the pressing force of the finger 900), and the display panel 140.
  • the voltage output from the sensor signal lines (SS1 to SSn) varies depending on the direction of the finger 900 with respect to the surface of the sensor.
  • the display device 102 can scan an image (hereinafter also referred to as a shadow image) obtained by blocking external light by the finger 900.
  • the display device 102 may be configured to perform scanning by turning on the backlight 179 and then performing scanning again by turning off the backlight 179.
  • the display device 102 may be configured to perform scanning by turning off the backlight 179 and then performing scanning again by turning on the backlight 179.
  • the operation of the display device 103 is controlled in accordance with a command (for example, a first command) from the main body device 101 as in the operation of the display device 102.
  • the display device 103 has the same configuration as the display device 102. Therefore, when the display device 103 receives the same command as the display device 102 from the main body device 101, the display device 103 performs the same operation as the display device 102. For this reason, description of the configuration and operation of the display device 103 will not be repeated.
  • the main device 101 can send commands having different commands to the display device 102 and the display device 103.
  • the display device 102 and the display device 103 perform different operations.
  • the main device 101 may send a command to either the display device 102 or the display device 103. In this case, only one display device performs an operation according to the command.
  • the main device 101 may send a command having the same command to the display device 102 and the display device 103. In this case, the display device 102 and the display device 103 perform the same operation.
  • the size of the display panel 140 of the display device 102 and the size of the display panel 240 of the display device 103 may be the same or different. Further, the resolution of the display panel 140 and the resolution of the display panel 240 may be the same or different.
  • electronic device 100 includes first display panel 140 with a built-in photosensor and second display panel 240 with a built-in photosensor, but as described above, the second display Only the panel 240 may include a tablet or a photosensor.
  • FIG. 89 is a block diagram showing a hardware configuration of electronic device 1300. Similar to the electronic device 100, the electronic device 1300 includes a first housing 100A and a second housing 100B. Referring to FIG. 89, electronic device 1300 includes a first unit 1001A and a second unit 1002. The first unit 1001A includes a main body device 101 and a display device 102A. The second unit 1002 includes a main device 104 and a display device 103.
  • the display device 102A is a display panel that does not incorporate a photosensor (that is, a display panel having only a display function).
  • the electronic device 1300 is different from the electronic device 100 in which the first unit 1001A includes a display panel that does not incorporate a photosensor, and the first unit 1001 includes a display panel 240 that incorporates a photosensor. Such an electronic device 1300 performs the above-described sensing using the display device 103 of the second unit 1002.
  • the first unit 1001 may be provided with, for example, a resistive touch panel or a capacitive touch panel instead of the display panel 140 incorporating the optical sensor.
  • the display device 102 includes the timer 182 and the display device 103 includes the timer 282.
  • the display device 102 and the display device 103 may share one timer. .
  • the electronic device 100 is described as a foldable device, but the electronic device 100 is not necessarily limited to the foldable device.
  • the electronic device 100 may be a sliding device configured such that the first housing 100A slides with respect to the second housing 100B.
  • the second unit 1002 is detachable from the first unit 1001 via the USB connectors 194 and 294.
  • the electronic device 100 which concerns on this Embodiment can exhibit the following functions, for example at the time of power activation.
  • the first unit 1001 activates a BIOS (Basic Input / Output System) by using power from the power supply circuit 192.
  • BIOS Basic Input / Output System
  • the second unit 1002 acquires power from the first unit 1001 via the USB connectors 194 and 294.
  • the second unit 1002 can transmit and receive data to and from the first unit 1001 by using the power.
  • the CPU 210 of the second unit 1002 can display the OS (Operation System) type on the display panel 240 in a selectable manner by using the power from the USB connectors 194 and 294.
  • OS Operaation System
  • the user selects an OS to be started up via the display panel 240.
  • the CPU 210 transmits a command (for example, a “first OS” command shown in FIG. 10) specifying the OS to be activated to the first unit 1001 via the USB connectors 194 and 294 according to the user's selection. .
  • the first unit 1001 starts the OS in response to the command.
  • the second unit 1002 transmits / receives data to / from an external mobile phone via the antenna 295.
  • the CPU 210 of the second unit 1002 acquires photographic image data and corresponding thumbnail data from an external mobile phone via the antenna 295, and stores the photographic image data and corresponding thumbnail data in the RAM 271 or the like.
  • the CPU 210 reads the thumbnail data from the RAM 271 and causes the display panel 240 to display a thumbnail image of the photo in a selectable manner.
  • the CPU 210 displays a photographic image on the display panel 240 in response to an external selection command.
  • the CPU 210 displays a photographic image on the display panel 140 or the display device 102A via the USB connector 294.
  • the second display panel 240 of the electronic device 100 may be a normal touch panel having a tablet function and a display function.
  • FIG. 90 is a block diagram showing a functional configuration of electronic device 100 (1300) according to the present embodiment.
  • the electronic device 100 includes a first display control unit 111, a reception unit 112, a size determination unit 113, a switching unit 114, and a second display control unit 115.
  • the electronic device 100 includes a RAM 171, a first display panel 140 (or the display device 102 ⁇ / b> A), a plurality of photosensor circuits 244, and a plurality of pixel circuits 241. Display panel 240.
  • the RAM 171 stores condition data 171A for storing predetermined conditions used when determining whether to switch the display mode, moving image data representing a moving image, still image data representing a still image or a photographic image, and the like.
  • Content data 171B is stored.
  • the first display panel 140 emits visible light based on image data and text data from the first display control unit 111, that is, based on an output signal from the CPU 110. More specifically, the first display panel 140 receives light from the backlight 179 based on image data or text data from the first display control unit 111 via the image processing engine 180 (FIG. 2) or the like. Display content and text while using.
  • Each of the plurality of photosensor circuits 244 of the second display panel 240 receives incident light and generates an electrical signal corresponding to the incident light.
  • the plurality of optical sensor circuits 244 as a whole input an electrical signal corresponding to incident light to the receiving unit 112 via the image processing engine 280 (FIG. 2) or the like.
  • the plurality of optical sensor circuits 244 may read the contact position of the finger 900, the stylus pen, or the like with the backlight 179 turned off as shown in FIG.
  • the plurality of photosensor circuits 244 and the image processing engine 280 realize an operation unit as a whole. Then, the operation unit accepts an operation command for controlling reproduction of content displayed on the first display panel 140 via the second display panel 240 or is displayed on the first display panel 140. A movement command (first movement command) for moving the pointer is received, or a change command for changing the size of the content displayed on the first display panel 140 is received.
  • Each of the plurality of pixel circuits 241 of the second display panel 240 emits visible light to the outside based on image data and text data from the second display control unit 115, that is, based on an output signal from the CPU 110. More specifically, the plurality of pixel circuits 241 as a whole are based on image data and text data from the second display control unit 115 via the image processing engine 280 (FIG. 2) and the like. Display content and text while using light.
  • the plurality of pixel circuits 241 and the image processing engine 280 realize a display unit as a whole. That is, the display unit displays an operation image, other images, text, and the like on the second display panel 240.
  • the first display control unit 111, the reception unit 112, the size determination unit 113, the switching unit 114, and the second display control unit 115 are functions realized by the CPU 110 and the like. More specifically, each function of the CPU 110 is a function realized by the CPU 110 executing a control program stored in the RAM 171 or the like to control each hardware shown in FIG.
  • the first display control unit 111 reads the content data 171B from the RAM 171 and causes the first display panel 140 to display the content. For example, the first display control unit 111 causes the first display panel 140 to reproduce a moving image.
  • the first display control unit 111 also changes the object to be displayed according to the set display mode. For example, the first display control unit 111 causes the first display panel 140 to display normal size content in the normal mode. The first display control unit 111 displays a pointer in the normal mode. The first display control unit 111 displays a main operation image 140C for operating content display in the normal mode. The first display control unit 111 causes the first display panel 140 to display the content on the full screen in the full screen mode.
  • the first display control unit 111 changes the display mode of the content based on the change command from the reception unit 112. For example, the first display control unit 111 changes the display size of the content in response to a change command for changing the window size from the reception unit 112.
  • the user uses the pointer 140B to pinch the edge of the window displaying the moving image 140A (content), change the size of the window, and release the edge to display the moving image 140A (content). Change the size.
  • the first display control unit 111 operates display of content based on an operation command from the reception unit 112. For example, the first display control unit 111 reproduces a moving image, fast-forwards a moving image, or executes a slide show of a still image.
  • the first display control unit 111 moves the pointer based on a movement command from the reception unit 112.
  • the accepting unit 112 receives an operation command input to the second display panel 240 based on an electric signal from the operation key 177 or an electric signal input from the plurality of optical sensor circuits 244 via the image processing engine 280. Accepts movement commands and change commands. More specifically, the reception unit 112 acquires image data output from the image processing engine 280 of the second display panel 240 at every sensing time, and operates, moves, or changes commands based on the image data. And so on.
  • the reception unit 112 may store the image data output from the image processing engine 180 in the RAM 171. That is, the first receiving unit 112 may constantly update the image data in the RAM 171 to the latest image data. Note that the first reception unit 112 may have a function realized by the CPU 110 and the plurality of photosensor circuits 144 of the first display panel 140. That is, the first receiving unit 112 may be a concept showing a functional block including a part of the function of the CPU 110 and the light receiving function of the first display panel 140.
  • the reception unit 112 generates a change command for changing the display mode of the displayed content based on, for example, the electric signal from the operation key 177 or the second display panel 240.
  • the accepting unit 112 delivers the change command to the first display control unit 111.
  • the change command is a command for changing the display size of the content (or the size of the window for displaying the content).
  • the reception unit 112 receives a transition command to the full screen mode input via the operation key 177 or the second display panel 240 as a change command, and displays the transition command in the first display mode.
  • the data is transferred to the control unit 111.
  • the reception unit 112 receives a transition command to the normal mode input via the operation key 177 or the second display panel 240 as a change command, and receives the transition command as the first display control unit 111. Pass to.
  • the receiving unit 112 receives a command to shift to the normal mode by detecting that the return button 240D (see the right side of FIG. 87) is pressed via the second display panel 240.
  • the reception unit 112 generates an operation command for controlling the display of content based on the absolute coordinates input via the second display panel 240 in the full screen mode.
  • the accepting unit 112 delivers the operation command to the first display control unit 111.
  • the reception unit 112 generates (accepts) an operation command for reproducing a moving image, an operation command for fast-forwarding, an operation command for cueing, or the like.
  • the accepting unit 112 delivers the operation command to the first display control unit 111.
  • the accepting unit 112 generates (accepts) a movement command for moving the pointer based on the relative coordinates input via the second display panel 240 in the normal mode.
  • the accepting unit 112 delivers the movement command to the first display control unit 111.
  • the size determination unit 113 reads the condition data 171A from the RAM 171 and determines whether or not the display mode of the content displayed on the first display panel 140 by the first display control unit 111 satisfies a predetermined condition. The determination result is output to the switching unit 114. For example, the size determination unit 113 determines that the display mode of the content satisfies the predetermined condition when the ratio of the area where the content is displayed to the entire first display panel 140 is equal to or greater than a predetermined value. Alternatively, the size determination unit 113 determines that the display mode satisfies the predetermined condition when the first display control unit 111 displays the content on the first display panel 140 in a full screen, and performs the first display control. When the unit 111 does not display the full screen content on the first display panel 140, it is determined that the display mode does not satisfy the predetermined condition.
  • the switching unit 114 switches the display mode based on the determination result from the size determination unit 113.
  • the switching unit 114 switches to the full screen mode when the size determining unit 113 determines that the display mode satisfies the predetermined condition, and switches to the normal mode when the size determining unit 113 determines that the display mode does not satisfy the predetermined condition. .
  • the second display control unit 115 accepts an operation command for operating the content display on the second display panel 240. Is displayed. That is, the second display control unit 115 displays the sub operation image 240C on the second display panel 240 in the full screen mode.
  • the second display panel 240 serves as an operation screen for controlling the reproduction of moving images, and the operability for the user is improved.
  • the second display control unit 115 causes the second display panel 240 to display a wallpaper image. That is, the second display control unit 115 displays the wallpaper image on the second display panel 240 in the normal mode. Alternatively, the second display control unit 115 displays nothing in the normal mode.
  • the second display control unit 115 displays an image 240A indicating that the second display panel 240 is in the normal mode, that is, the second display panel 240 is performing the mouse function.
  • the second display control unit 115 causes the second display panel 240 to be in the full screen mode, that is, the second display panel 240 exhibits a function of an operation screen dedicated to content.
  • a display image 240B is displayed.
  • FIG. 91 is an image diagram showing a processing procedure of content display processing in electronic device 100 according to the present embodiment.
  • a moving image is displayed on the first display panel 140 in advance.
  • the CPU 110 functioning as the first display control unit 111 reads the content data 171B from the RAM 171 and displays a moving image on the first display panel 140.
  • CPU 110 functioning as reception unit 112 receives a change in the display size of the content (when the determination is YES in step SE102)
  • CPU 110 functioning as size determination unit 113 has a predetermined content display mode after the change. It is determined whether or not the condition is satisfied (step SE104).
  • the CPU 110 determines whether or not the content is displayed on the first display panel 140 in full screen (step SE104). As shown on the right side of FIG. 87, when the content is displayed on the full screen on first display panel 140 (when the determination is YES in step SE104), CPU 110 functioning as switching unit 114 switches to the full screen mode. . That is, CPU 110 functioning as second display control unit 115 causes sub operation image 240C to be displayed on second display panel 240 (step SE106). For example, the second display control unit 115 causes the second display panel 240 to display an operation playback button, fast forward button, rewind button, cue button, or the like so that it can be selected (pressed).
  • CPU 110 functioning as receiving unit 112 receives an operation command for controlling the reproduction of content via second display panel 240 (step SE108).
  • CPU 110 functioning as switching unit 114 operates in normal mode. Switch to. That is, CPU 110 functioning as second display control unit 115 displays a normal image (for example, a wallpaper image) on second display panel 240 (step SE110). Alternatively, the second display control unit 115 does not display anything on the second display panel 240, that is, the second display panel 240 functions only as an optical sensor.
  • CPU 110 functioning as accepting unit 112 accepts a movement command for pointer 140B via second display panel 240 (step SE112). That is, the second display panel 240 performs the same function as a mouse.
  • FIG. 2 a first additional function of electronic device 100 (1300) according to the present embodiment will be described with reference to FIG. 2, FIG. 87, and FIG. FIG. 92 is a block diagram showing a functional configuration of electronic device 100 (1300) having the first additional function.
  • electronic device 100 has a convenient function when second display panel 240 shifts to a state in which sub operation image 240C (first image) is displayed.
  • first additional function described here is a convenient function when the first display panel 140 shifts to a state in which the main operation image 140C (second image) is displayed.
  • the functions of the first display panel 140, the second display panel 240, the size determination unit 113, the switching unit 114, and the second display control unit 115 are the same as those described above, description thereof will not be repeated here.
  • functions added to the receiving unit 112 and the first display control unit 111 will be mainly described.
  • the accepting unit 112 stores command data 171C in the RAM 171 based on an operation command input via the operation key 177, the sub operation image 240C of the second display panel 240, or the like. More specifically, the accepting unit 112 updates the instruction data 171C stored in the RAM 171 in accordance with the newly accepted operation instruction. Thus, the RAM 171 always stores instruction data 171C corresponding to the last (latest) operation instruction.
  • the first display control unit 111 reads the latest command data from the RAM 171 and switches the first display panel 140 to the latest operation command when switching from the full screen mode to the normal mode. Display the pointer at the corresponding position. Based on the command data, the first display control unit 111 superimposes and displays a pointer on the operation button corresponding to the operation command among the operation buttons included in the main operation image 140C.
  • FIG. 93 is an image diagram showing a screen transition of electronic device 100 having the first additional function.
  • the left side shows a state in which the sub-operation image 240C is displayed on the second display panel 240 by the second display control unit 115 in the full screen mode.
  • the accepting unit 112 When the user presses the fast-forward button 240X of the second display panel 240, that is, when the accepting unit 112 accepts a fast-forward command for moving images via the second display panel 240, the accepting unit 112 indicates a command indicating the fast-forward command.
  • the data 171C is stored in the RAM 171.
  • the accepting unit 112 accepts an instruction to shift to the normal mode
  • the main display image 140C is displayed on the first display panel 140 by the first display control unit 111 as shown on the right side of FIG. The state is shown.
  • the first display control unit 111 displays the pointer 140B at the position where the fast-forward button 140X of the main operation image 140C is displayed on the first display panel 140.
  • electronic device 100 can provide an operation screen that is easy for the user to operate according to the situation.
  • FIG. 94 is an image diagram showing a processing procedure of content display processing in electronic device 100 having the first additional function.
  • a moving image is displayed on the first display panel 140 in advance.
  • the CPU 110 functioning as the first display control unit 111 reads the content data 171B from the RAM 171 and displays a moving image on the first display panel 140.
  • CPU 110 functioning as reception unit 112 receives a change in the display size of the content (when the determination is YES in step SE102)
  • CPU 110 functioning as size determination unit 113 has a predetermined content display mode after the change. It is determined whether or not the condition is satisfied (step SE104).
  • the CPU 110 determines whether or not the content is displayed on the first display panel 140 in full screen (step SE104). As shown on the right side of FIG. 87, when the content is displayed on the full screen on first display panel 140 (when the determination is YES in step SE104), CPU 110 functioning as switching unit 114 switches to the full screen mode. . That is, CPU 110 functioning as second display control unit 115 causes sub operation image 240C to be displayed on second display panel 240 (step SE106). For example, the second display control unit 115 causes the second display panel 240 to display a play button for operation, a fast-forward button 240X, a rewind button, a cue button, and the like so as to be selectable (can be pressed).
  • CPU 110 functioning as receiving unit 112 receives an operation command for controlling the reproduction of content via second display panel 240 (step SE108).
  • the CPU 110 functioning as the accepting unit 112 accepts an operation command from the user via the sub operation image 240C of the second display panel 240 (step SE202).
  • CPU 110 stores (updates) command data 171C corresponding to the operation command in RAM 171 (step SE204).
  • CPU 110 functioning as switching unit 114 operates in normal mode. Switch to. That is, CPU 110 functioning as second display control unit 115 displays a normal image (for example, a wallpaper image) on second display panel 240 (step SE110). Alternatively, the second display control unit 115 does not display anything on the second display panel 240, that is, the second display panel 240 functions only as an optical sensor.
  • the CPU 110 functioning as the first display control unit 111 reads the latest command data 171C from the RAM 171 (step SE206).
  • CPU 110 causes first display panel 140 to display pointer 140B (above fast-forward button 140X) at the position corresponding to the latest operation command received from the user in main operation image 140C (step SE208).
  • CPU 110 functioning as accepting unit 112 accepts a movement command for pointer 140B via second display panel 240 (step SE112). That is, the second display panel 240 performs the same function as a mouse.
  • FIG. 95 is a block diagram showing a functional configuration of electronic device 100 (1300) having the second additional function.
  • the first additional function is a convenient function when the first display panel 140 shifts to a state in which the main operation image 140C (second image) is displayed.
  • the second additional function described here is a function for the first display panel 140 to display the pointer 140B while the content is displayed on the full screen. Note that the stroke determination unit 117 that realizes the second additional function can be additionally applied to the electronic device 100 having the first additional function.
  • Electronic device 100 includes a stroke determination unit 117 as a second additional function. Below, the function added to the reception part 112 and the 1st display control part 111 and the function of the stroke judgment part 117 are demonstrated.
  • the accepting unit 112 accepts various contact operations from the user via the second display panel 240 in addition to the functions described above.
  • the contact operation is, for example, a stroke operation in which the finger 900 is in contact with the second display panel 240 while sliding on the second display panel 240, or a tap operation (second operation in which the finger 900 touches the second display panel 240). Operation that hardly slides on the display panel 240).
  • the reception unit 112 detects a touch operation on the second display panel 240 by the user based on image data acquired from the second display panel 240 in the full screen mode. For example, based on image data sent from the second display panel 240 as needed, the reception unit 112 touches the second display panel 240 with the finger 900 for each image data (the second position of the finger 900). The center coordinate of the contact location on the display panel 240 is acquired, and time series data of the contact position is transferred to the stroke determination unit 117 as contact operation data.
  • the stroke determination unit 117 receives an operation command (tap operation) for content such as a moving image or a display command (stroke operation) for displaying a pointer on the second display panel 240 in the full-screen mode. Judge whether or not. That is, the stroke determination unit 117 determines whether a display command has been received based on the contact operation data from the reception unit 112 in the full screen mode.
  • an operation command tap operation
  • a display command stroke operation
  • the stroke determination unit 117 determines whether or not the length of the stroke of the contact operation on the second display panel 240 by the user is greater than or equal to a predetermined distance set in advance. Specifically, the stroke determination unit 117 calculates the length of the stroke of the contact operation by calculating the distance between the start position of the contact operation and the end position of the contact operation based on the contact operation data. Then, the stroke determination unit 117 determines that the user has input a display command for displaying a pointer when the length of the stroke of the contact operation is equal to or greater than a predetermined distance set in advance. On the other hand, when the stroke length of the contact operation is less than a predetermined distance, the stroke determination unit 117 determines that the user has pressed the operation button, that is, the user has input an operation command for the content.
  • the switching unit 114 switches to the normal mode.
  • the first display panel 140 causes the first display panel 140 to display a pointer 140B when the stroke determination unit 117 determines that a display command has been input.
  • the accepting unit 112 starts accepting a pointer movement command for moving the pointer 140B from the user via the second display panel 240.
  • FIG. 96 is an image diagram showing screen transition of the electronic device 100 having the second additional function.
  • the second display control unit 115 displays the sub-operation image 240C via the second display panel 240.
  • the stroke determination unit 117 performs an operation command for the content, for example, Accepts a fast-forward command for content.
  • the full screen mode is not changed and neither the screen of the first display panel 140 nor the screen of the second display panel 240 is changed. That is, when the user performs a tap operation on the second display panel 240, the second display panel 240 does not change from the full screen mode.
  • the switching unit 114 switches from the full screen mode to the normal mode, as shown in FIG. 96C. That is, the switching unit 114 sends a switching command to the first display control unit 111 and the second display control unit 115.
  • the first display control unit 111 displays the pointer 140B on the first display panel 140 while the content is displayed on the full screen.
  • the accepting unit 112 starts accepting an instruction to move the pointer 140B via the second display panel 240. That is, when the user performs a stroke operation on the second display panel 240, the second display panel 240 shifts from the full screen mode to the normal mode.
  • the first display control unit 111 may display the content on a part of the first display panel 140. Also, as shown on the right side of FIG. 93, the first display control unit 111 may cause the first display panel 140 to display the pointer 140B and the main operation image 140C. Then, the size determination unit 113 determines whether or not the display mode of the content displayed on the first display panel 140 by the first display control unit 111 satisfies a predetermined condition (whether the content is displayed on the full screen). to decide.
  • the switching unit 114 switches to the normal mode. That is, in the normal mode, the second display control unit 115 displays the wallpaper image on the second display panel 240. Alternatively, the second display control unit 115 displays nothing in the normal mode.
  • electronic device 100 can provide an operation screen that can be easily operated by the user according to the display state, and can also change the operation screen only by the user's intention.
  • FIG. 97 is an image diagram showing a processing procedure of content display processing in electronic device 100 having the second additional function.
  • a moving image is displayed on the first display panel 140 in advance.
  • the CPU 110 functioning as the first display control unit 111 reads the content data 171B from the RAM 171 and displays a moving image on the first display panel 140.
  • CPU 110 functioning as reception unit 112 receives a change in the display size of the content (when the determination is YES in step SE102)
  • CPU 110 functioning as size determination unit 113 has a predetermined content display mode after the change. It is determined whether or not the condition is satisfied (step SE104).
  • the CPU 110 determines whether or not the content is displayed on the first display panel 140 in full screen (step SE104). As shown on the right side of FIG. 87, when the content is displayed on the full screen on first display panel 140 (when the determination is YES in step SE104), CPU 110 functioning as switching unit 114 switches to the full screen mode. . That is, CPU 110 functioning as second display control unit 115 causes sub operation image 240C to be displayed on second display panel 240 (step SE106). For example, the second display control unit 115 causes the second display panel 240 to display an operation playback button, fast forward button, rewind button, cue button, or the like so that it can be selected (pressed).
  • CPU 110 functioning as receiving unit 112 receives an operation command for controlling the reproduction of content via second display panel 240 (step SE108).
  • CPU 110 functioning as accepting unit 112 waits for a contact operation from the user via second display panel 240 (step SE302).
  • CPU 110 functioning as stroke determination unit 117 receives a contact operation from the user (when the determination is YES in step SE302), CPU 110 calculates the stroke length of the contact operation based on the contact operation data (step SE304). ).
  • CPU 110 determines whether or not the stroke length is greater than or equal to a predetermined distance (step SE306).
  • step SE306 If the stroke length is equal to or longer than the predetermined distance (when the determination is YES in step SE306), CPU 110 causes first display panel 140 to display pointer 140B on the content and then the processing from step SE110. repeat. Conversely, when the stroke length is less than the predetermined distance (when the determination is NO in step SE306), CPU 110 repeats the processing from step SE302.
  • CPU 110 functioning as switching unit 114 operates in normal mode. Switch to. That is, CPU 110 functioning as second display control unit 115 displays a normal image (for example, a wallpaper image) on second display panel 240 (step SE110). Alternatively, the second display control unit 115 does not display anything on the second display panel 240, that is, the second display panel 240 functions only as an optical sensor.
  • the CPU 110 functioning as the accepting unit 112 accepts a pointer movement command via the second display panel 240 (step SE112). That is, the second display panel 240 performs the same function as a mouse.
  • FIG. 98 is a block diagram illustrating a functional configuration of electronic device 100 (1300) having the third additional function.
  • electronic device 100 receives contents to be displayed on second display panel 240 in accordance with the display state of first display panel 140 and a command to be received via second display panel 240. That is, the full screen mode and the normal mode are switched according to the display state of the first display panel 140.
  • the third additional function described here is based on the user operation, that is, the display state of the first display panel 140, the contents displayed on the second display panel 240, the second display function, The command received via the display panel 240 is changed.
  • instruction determination unit 118 and the like for realizing the third additional function can be applied to the electronic device 100 having the first additional function, or additionally applied to the electronic device 100 having the second additional function. It can also be applied to the electronic device 100 having the first additional function and the second additional function.
  • Electronic device 100 includes an instruction determination unit 118 as a third additional function. Below, the function added to the reception part 112 and the 1st display control part 111 and the function of the command determination part 118 are demonstrated.
  • the accepting unit 112 accepts various contact operations from the user via the second display panel 240 in addition to the functions described above.
  • the contact operation is, for example, a stroke operation in which the finger 900 is in contact with the second display panel 240 while sliding on the second display panel 240, or a tap operation (second operation in which the finger 900 touches the second display panel 240). Operation that hardly slides on the display panel 240).
  • the reception unit 112 performs the first display by the user based on the image data acquired from the first display panel 140 in the normal mode.
  • a touch operation on the panel 140 is detected. For example, based on the image data sent from the first display panel 240 as needed, the reception unit 112 touches the first display panel 240 with the finger 900 for each image data (first finger 900 first). The center coordinates of the contact point with the display panel 140 are acquired.
  • the reception unit 112 detects a touch operation on the second display panel 240 by the user based on the image data acquired from the second display panel 240. For example, based on image data sent from the second display panel 240 as needed, the reception unit 112 touches the second display panel 240 with the finger 900 for each image data (the second position of the finger 900). The center coordinates of the contact point with the display panel 240 are acquired.
  • the user inputs a movement command (second movement command) for moving the main operation image 140C to the electronic device 100 via the second display panel 240.
  • a movement command (second movement command) for moving the main operation image 140C to the electronic device 100 via the second display panel 240.
  • the first display panel 140 is a photosensor built-in liquid crystal panel or a touch panel
  • the user moves (drags) the main operation image 140C to the electronic device 100 via the first display panel 140.
  • a movement command (second movement command) can be input.
  • the accepting unit 112 sets the main operation image 140C to a selected (hold) state based on the contact position and the display position of the main operation image 140C.
  • the receiving unit 112 transfers the time series data of the contact position in the hold state to the stroke determination unit 117 as movement command data.
  • the instruction determination unit 118 determines that the held main operation image 140C is displayed on the lower end of the first display panel 140 (the second display panel 240 side of the first display panel 140 side) based on the movement instruction data. It is determined whether or not it has been moved to the end). More specifically, the command determination unit 118 determines whether or not the contact position has reached a predetermined area with the main operation image 140C being held. Alternatively, the command determination unit 118 acquires the coordinate value indicating the contact position, the movement direction of the contact position, and the movement speed of the contact position based on the movement command data, and performs the main operation based on the coordinate value, the movement direction, and the movement speed. It is determined whether or not the image 140C has disappeared to the lower end of the first display panel 140.
  • the switching unit 114 receives a mode switching command from the user when the command determining unit 118 determines that the predetermined position set at the lower end of the first display panel 140 has been reached while the contact position moves downward. Judge that That is, in the normal mode, the switching unit 114 determines that the instruction determination unit 118 has reached the predetermined area set at the lower end of the first display panel 140 while the contact position moves downward, and the full screen mode. Switch to.
  • the instruction determination unit 118 determines that the contact position has reached a predetermined area set at the lower end of the first display panel 140 while moving downward, the first display panel 140 The display panel 140 displays the content in full screen. Then, the size determination unit 113 determines whether or not the display mode of the content displayed on the first display panel 140 by the first display control unit 111 satisfies a predetermined condition (whether the content is displayed on the full screen). to decide.
  • the switching unit 114 switches to the full screen mode. That is, in the full screen mode, the second display control unit 115 displays the sub operation image 240C on the second display panel 240.
  • the accepting unit 112 starts accepting operation commands for content from the user via the second display panel 240.
  • 99A to 99C are image diagrams showing screen transition of the electronic device 100 having the third additional function.
  • the first display panel 140 is a liquid crystal panel with a built-in optical sensor or a touch panel.
  • the reception unit 112 sets the main operation image 140C to the hold state. To do.
  • the main operation image 140C is displayed in accordance with the contact position between the first display panel 140 and the finger 900. Move on the display panel 140.
  • the command The determination unit 118 determines that the main operation image 140C has reached a predetermined area, and the switching unit 114 switches to the full screen mode.
  • the first display panel 140 displays the content on the full screen.
  • the switching unit 114 switches to the full screen mode.
  • the second display panel 240 displays the sub operation image 240C.
  • the accepting unit 112 accepts an operation command for content via the operation screen of the second display panel 240.
  • FIG. 100 is an image diagram showing a processing procedure of content display processing in electronic device 100 having the third additional function.
  • a moving image is displayed on the first display panel 140 in advance.
  • the CPU 110 functioning as the first display control unit 111 reads the content data 171B from the RAM 171 and displays a moving image on the first display panel 140.
  • CPU 110 functioning as reception unit 112 receives a change in the display size of the content (when the determination is YES in step SE102)
  • CPU 110 functioning as size determination unit 113 has a predetermined content display mode after the change. It is determined whether or not the condition is satisfied (step SE104).
  • the CPU 110 determines whether or not the content is displayed on the first display panel 140 in full screen (step SE104). As shown on the right side of FIG. 87, when the content is displayed on the full screen on first display panel 140 (when the determination is YES in step SE104), CPU 110 functioning as switching unit 114 switches to the full screen mode. . That is, CPU 110 functioning as second display control unit 115 causes sub operation image 240C to be displayed on second display panel 240 (step SE106). For example, the second display control unit 115 causes the second display panel 240 to display an operation playback button, fast forward button, rewind button, cue button, or the like so that it can be selected (pressed).
  • CPU 110 functioning as receiving unit 112 receives an operation command for controlling the reproduction of content via second display panel 240 (step SE108).
  • CPU 110 functioning as switching unit 114 operates in normal mode. Switch to. That is, CPU 110 functioning as second display control unit 115 displays a normal image (for example, a wallpaper image) on second display panel 240 (step SE110). Alternatively, the second display control unit 115 does not display anything on the second display panel 240, that is, the second display panel 240 functions only as an optical sensor.
  • the CPU 110 functioning as the accepting unit 112 accepts a pointer movement command via the second display panel 240 (step SE112). That is, the second display panel 240 performs the same function as a mouse.
  • the CPU 110 functioning as the accepting unit 112 waits for a movement command of the main operation image 140C from the user via the first display panel 140 or the second display panel 240 (step SE402).
  • CPU 110 functioning as command determination unit 118 receives a movement command from the user (when the determination is YES in step SE402), whether or not main operation image 140C has reached a predetermined area based on the movement command data. Is determined (step SE404). For example, the CPU 110 determines whether or not the lower part of the main operation image 140C has disappeared downward from the first display panel 140.
  • main operation image 140C When main operation image 140C reaches a predetermined area (when the determination is YES in step SE404), CPU 110 displays the content on first screen on full screen and then repeats the processing from step SE106. . Conversely, when main operation image 140C does not reach the predetermined area (when determination is NO in step SE404), CPU 110 repeats the processing from step SE402.
  • the present invention can also be applied to a case where it is achieved by supplying a program to a system or apparatus. Then, a storage medium storing a program represented by software for achieving the present invention is supplied to the system or apparatus, and the computer (or CPU or MPU) of the system or apparatus stores the program code stored in the storage medium It is possible to enjoy the effects of the present invention also by reading and executing.
  • the program code itself read from the storage medium realizes the functions of the above-described embodiment, and the storage medium storing the program code constitutes the present invention.
  • a storage medium for supplying the program code for example, hard disk, optical disk, magneto-optical disk, CD-ROM, CD-R, magnetic tape, nonvolatile memory card (IC memory card), ROM (mask ROM, flash) EEPROM, etc.) can be used.
  • the function expansion is performed based on the instruction of the program code. It goes without saying that the CPU or the like provided in the board or the function expansion unit performs part or all of the actual processing and the functions of the above-described embodiments are realized by the processing.
  • An electronic apparatus includes a first display unit, a second display unit, an operation unit, and a control unit that controls a display mode of the first and second display devices.
  • the display unit is a display-integrated tablet capable of accepting an input from the outside, and the control unit is configured to display a screen created by processing executed in response to an input to the tablet on the first display unit.
  • a second mode in which a screen created by processing executed in response to an input to the tablet is displayed on the second display unit, and can be operated. In response to an operation on the operation unit, the first mode and Switch the operating mode between the second modes.
  • the electronic device of the present invention further includes a storage unit, and when the control unit switches the operation mode from the second mode to the first mode, the information specifying the operation content in the second mode.
  • the control unit switches the operation mode from the second mode to the first mode, the information specifying the operation content in the second mode.
  • the operation information is stored in the storage unit and the operation mode is switched from the first mode to the second mode, information corresponding to the operation information stored in the storage unit is displayed on the second display unit.
  • control unit when the control unit switches the mode to operate from the first mode to the second mode, if the operation information stored in the storage unit is in the initial state, the control unit selects a specific application. Start up and display the screen generated as a result of the execution of the specific application on the second display unit.
  • control unit initializes the operation information stored in the storage unit in response to a change in the power state of the electronic device or a restart of the electronic device.
  • control unit can execute a plurality of applications, and the plurality of applications include a specific application for starting another application among the plurality of applications.
  • the operation information stored in the storage unit is initialized.
  • control unit operates in the first mode when the electronic device is activated or restored from a specific power state.
  • control unit operates in the first mode while the electronic device is in a specific operation state.
  • control unit operates the second display unit only during a period during which the mode can be switched between the first mode and the second mode by operating the operation unit. , Display that the operating unit can be operated to perform switching between modes.
  • An electronic device control method includes a first display unit, a second display unit including a display-integrated tablet capable of accepting external input, an operation unit, and first and second units.
  • a control method for an electronic device comprising a control unit that controls a display mode of the display device, wherein the first display unit displays a screen created by processing executed in response to an input to the tablet; In the second mode in which a screen created by processing executed in response to an input to the tablet is displayed on the second display unit, the first mode and the second mode are operated in response to an operation on the operation unit. Switch between operating modes.
  • An electronic device control program includes a first display unit, a second display unit including a display-integrated tablet capable of receiving external input, an operation unit, and first and second units.
  • a computer-readable control program for controlling an electronic device comprising a control unit for controlling a display mode of the display device, wherein a screen created by processing executed in response to an input to the tablet is displayed on the electronic device.
  • the first mode to be displayed on one display unit and the second mode to display on the second display unit a screen created by processing executed in response to an input to the tablet.
  • the operation mode is switched between the first mode and the second mode.
  • a screen created by processing executed in response to an input to a tablet including the second display unit is displayed on the first display unit.
  • the first mode to be displayed on the screen and the second mode in which the screen created by the process executed in response to the input to the tablet is mainly displayed on the second display unit can be operated, and
  • the operation mode is switched between the first mode and the second mode in response to an operation on the operation unit.
  • the user can use an electronic apparatus including two display devices (first and second display units) in both the first mode and the second mode, and between these modes, Can be used seamlessly by switching with easy operation.
  • a plurality of sub-applications can be executed in the second mode, and the present invention is effective when the switching operation between each sub-application and the first mode is frequently performed.
  • an electronic device is a display that displays a first screen, a display-integrated tablet that displays a second screen and can accept input from the outside,
  • a control unit that controls operations of the display and the tablet, and the control unit includes a mode switching unit that switches between the first operation mode and the second operation mode of the control unit, and an execution unit that executes the program.
  • the execution unit executes the program according to the input to the tablet, displays an image created by the executed program on the display, and displays the image according to the change in the position of the input to the tablet.
  • An image created by executing the program by changing the displayed image and executing the program according to the input to the tablet in the second operation mode. It displays the tablet independently control the display of the display of changes in position of the input to the tablet.
  • the execution unit displays a cursor at a position in the display corresponding to the position of input to the tablet in the first operation mode, and independent of the position of input to the tablet in the second operation mode. Control the position of the cursor.
  • the execution unit changes the display of the cursor in accordance with switching from the first operation mode to the second operation mode.
  • the execution unit displays the cursor in a display form different from that in the first operation mode in the second operation mode.
  • the execution unit displays the cursor lighter than the cursor in the first operation mode in the second operation mode.
  • the execution unit stops displaying the cursor on the display in the second operation mode.
  • the execution unit determines that the cursor overlaps an active window in the display in the second operation mode, the execution unit changes the display of the cursor.
  • the execution unit moves the cursor to a predetermined display position in accordance with switching from the first operation mode to the second operation mode.
  • the execution unit displays a cursor on the end of the display in the second operation mode.
  • the execution unit determines that the cursor overlaps an active window in the display in the second operation mode, the execution unit moves the cursor to a predetermined display position.
  • the execution unit determines that the cursor overlaps an active window in the display in the second operation mode, the execution unit moves the cursor to an area outside the window.
  • the execution unit determines that the cursor is over the active window in the display in the second operation mode, the execution unit displays the cursor on the end of the display.
  • the electronic device further includes a storage device, and the execution unit stores the position of the cursor in the storage device in the first operation mode, and switches from the second operation mode to the first operation mode. In response, the cursor is displayed at the position of the cursor stored in the storage device.
  • the information processing apparatus further includes an interface to which an external pointing device can be connected, and when the execution unit determines that the pointing device is connected to the interface, before and after switching from the first operation mode to the second operation mode. Will display the same cursor.
  • the program includes a first program and a second program, and the execution unit executes the first program in response to an input to the tablet in the first operation mode, and performs a second operation. In the mode, the second program is executed in response to an input to the tablet.
  • the execution unit includes a first execution unit and a second execution unit, and the first execution unit executes the first program in response to an input to the tablet in the first operation mode. Then, the second execution unit executes the second program according to the input to the tablet in the second operation mode.
  • an information processing system including a first information processing unit and a second information processing unit, wherein the first information processing unit includes a display that displays a first screen; A first interface unit that exchanges data with the second information processing unit; and a first control unit that controls the display and the first interface unit.
  • the first control unit stores the first program A second execution unit for displaying an image generated by the executed first program and displaying an image created by the executed first program on the display; the second information processing unit displays a second screen; A display-integrated tablet that can be received, a second interface unit that exchanges data with the first information processing unit, a tablet, and a second interface unit A second control unit that controls, the second control unit executes a second program, a mode switching unit that switches between a first operation mode and a second operation mode of the second control unit A second execution unit that creates a first command for changing the display of the first program in response to a change in the position of the input to the tablet in the first operation mode.
  • the first command is transmitted to the first information processing unit by controlling the second interface unit, and the second program is executed in response to the input to the tablet in the second operation mode.
  • the image created by the second program is displayed on the tablet, the second command of the first program is created independently of the change in the position of the input to the tablet, and the second interface unit is controlled to control the second The first command To the information processing unit.
  • a display that displays a first screen, a display-integrated tablet that displays a second screen and can accept external input, and an execution that executes a program
  • displaying the image created by the executed program on the display, and displaying the image on the display in the first operation mode is displayed on the display in accordance with a change in the position of the input to the tablet.
  • executing a program in response to an input to the tablet in the second operation mode. Displays an image program created that the tablets, further comprising the step of controlling the display of the display independently of the change in the position of the input to the tablet.
  • a display that displays a first screen, a display-integrated tablet that displays a second screen and can accept external input, and an execution that executes a program A program for switching between a first operation mode and a second operation mode of the electronic device, and executing the program in response to an input to the tablet in the first operation mode And displaying the image created by the executed program on the display, and displaying the image on the display in the first operation mode is displayed on the display in accordance with a change in the position of the input to the tablet. And executing a program in response to an input to the tablet in the second operation mode.
  • An image executed program created and displayed on the tablet further comprising the step of controlling the display of the display independently of the change in the position of the input to the tablet.
  • An electronic device (or information processing system) according to the present invention includes a display that displays a first screen, and a display-integrated tablet that displays a second screen and can accept input from the outside. Further, the electronic device has a first operation mode and a second operation mode that can be switched to each other.
  • the electronic device changes the image displayed on the display based on the change in the input position to the tablet.
  • the electronic device controls the display of the image on the display independently of the change in the input position to the tablet.
  • the electronic device directly operates the display based on the input position to the tablet.
  • the electronic device operates the display through an operation based on the input position of the tablet on a UI (user interface) screen displayed on the second screen tablet.
  • the electronic device performs control such as suppressing an unnecessary display from appearing on the display due to input to the tablet.
  • the present invention it is possible to provide an electronic device or an information processing system having two display screens and two types of operation modes and having high operability.
  • the control method and control program of an electronic device which improve the operativity of the electronic device which has two display screens and two types of operation modes can be provided.
  • An electronic apparatus includes a first display unit that displays an image, a second display unit that displays an image and includes a touch sensor, a first storage unit, and the first storage unit.
  • a control unit that displays an output screen of an execution result of processing according to the application on the first display unit by executing a program of the application stored in the first storage unit,
  • the control unit includes information on a first operation position that is an absolute operation position in a first region in the second display unit that is determined based on the application, and the first that is determined based on the application.
  • the second display unit executes the application program based on the information on the second operation position, which is a relative operation position in the second region in the second display unit. Based on the detection output of the touch sensor, transmitting the first and the information of the second operation position to the control unit.
  • the touch sensor is an optical sensor.
  • control unit displays an image at a predetermined position in the first area based on the application and operates the predetermined position.
  • a predetermined process of the application is executed.
  • control unit transmits information specifying the first region and the second region to the second display unit, and the second display unit
  • the unit determines whether the operation position detected by the touch sensor is included in the first region or the second region, and determines that the operation position is included in the first region, Information on the first operation position is transmitted to the control unit based on the detection output of the touch sensor, and when it is determined that the information is included in the second area, the first operation position is determined based on the detection output of the touch sensor. Information on the operation position of 2 is transmitted to the control unit.
  • the control unit transmits identification information that is information for identifying an application being executed to the second display unit, and the second display unit.
  • An electronic apparatus executes a first display unit that displays an image, a first storage unit, and an application program stored in the first storage unit, Information processing comprising: a control unit that displays at least a part of an output screen of the execution result of processing according to the application on the first display unit; and a second display unit that displays an image and incorporates a touch sensor
  • a communication unit that transmits and receives information to and from the terminal, and the control unit is an absolute operation position in a first region in the second display unit that is determined based on the application.
  • the application program is executed based on a first operation position and a second operation position that is a relative operation position in a second region in the second display unit, and the communication unit includes: From serial information processing terminal, receiving the first and the information of the second operation position that is generated based on the detection output of the touch sensor.
  • the information processing terminal executes a program of an application stored in the first display unit that displays an image, a first storage unit, and the first storage unit.
  • An information processing terminal capable of transmitting and receiving information, and an electronic device including a control unit that displays at least a part of an output screen of an execution result of the processing according to the first display unit, and displays an image;
  • a second display unit having a built-in touch sensor, and a first region and a second region in the second display unit, which are determined from the electronic device based on an application executed in the electronic device
  • a receiving unit that receives information for specifying the absolute value in the first region based on the detection output of the touch sensor for execution of an application program by the control unit.
  • An information generation unit that generates information on a first operation position that is a correct operation position and information on a second operation position that is a relative operation position in the second region; and the first and second information A transmission unit that transmits information on the operation position to the electronic device.
  • An application program is an application program that is executed in an electronic device that includes a first display unit that displays an image and a second display unit that displays an image and includes a touch sensor.
  • Information on the first operation position which is an absolute operation position in the first area in the second display section determined based on the second display section, and relative in the second area in the second display section Obtaining information on the second operation position, which is a typical operation position, and the application based on the information on the first and second operation positions.
  • a step of executing the Deployment program is an application program that is executed in an electronic device that includes a first display unit that displays an image and a second display unit that displays an image and includes a touch sensor.
  • An application program is an application program executed in an electronic device including a first display unit that displays an image, and the execution result of processing according to the application is performed on the electronic device.
  • Information on the first operation position which is an absolute operation position in the first region in the second display unit defined based on the application, and is generated based on the application, and the second display unit Receiving information on a second operation position which is a relative operation position in the second region of the first area, and the first and second operations And a step of executing the program of the application based on the information of the location.
  • a control program is a control program for an information processing terminal that displays an image and includes a display unit with a built-in touch sensor, and is capable of transmitting and receiving information to and from an electronic device.
  • For execution of the application program based on the detection output of the touch sensor, information on the first operation position, which is an absolute operation position in the first area, and relative information in the second area
  • the display unit incorporating the touch sensor can be provided with the first region where the absolute operation position is detected and the second region where the relative operation position is detected,
  • the outline in the display section of each area can be changed for each application.
  • the user can input information by simultaneously using the first area and the second area on the display unit.
  • the present invention not only the first area and the second area, which have been used exclusively exclusively in the prior art, can be used simultaneously, but these areas can be used as touch sensors depending on the type of application in the main unit. Since the setting relating to the first area and the second area in the display unit with built-in is made, there is no need to use a setting tool or the like. As a result, the user can input information for executing the application to the electronic device by using the first area and the second area without taking the trouble of such setting.
  • a content display device includes first and second display panels, a first display control unit that displays content on the first display panel, and a reception unit that receives a change command for changing the display mode of the displayed content.
  • a first determination unit that determines whether or not the display mode satisfies a predetermined condition; and when the first determination unit determines that the display mode satisfies a predetermined condition, the content is displayed on the second display panel.
  • a second display control unit that displays a first image for receiving an operation command for operation.
  • the content display device switches to the first mode when the first determination unit determines that the display mode satisfies the predetermined condition, and the first determination unit determines that the display mode does not satisfy the predetermined condition
  • a switching unit for switching to the second mode is further provided.
  • the first display control unit displays a pointer on the first display panel in the second mode.
  • the reception unit receives a first movement command for moving the pointer via the second display panel in the second mode.
  • the first display control unit causes the first display panel to display the content and the second image for receiving an operation command for operating the display of the content.
  • the first display control unit displays the content on the first display panel without displaying the second image on the first display panel in the first mode.
  • a pointer is placed on the first display panel at a location corresponding to the last accepted operation command in the second image. Display.
  • the content display apparatus further includes a second determination unit that determines whether or not the reception unit has received a second movement command for moving the second image to a predetermined area in the second mode.
  • the switching unit switches to the first mode, and the first display control unit displays the content on the first display panel in full screen.
  • the content display device further includes a third determination unit that determines whether or not the reception unit has received a second predetermined command in the first mode.
  • the switching unit switches to the second mode, and the first display control unit displays a pointer on the first display panel.
  • the reception unit generates an operation command based on absolute coordinates input via the second display panel in the first mode, and inputs via the second display panel in the second mode.
  • a first movement command is generated based on the relative coordinates.
  • the content display mode is a content display size.
  • the first display control unit changes the display size of the content based on the change command.
  • the first determination unit determines that the display mode satisfies the predetermined condition when the first display control unit displays the content on the first display panel in a full screen, and the first display control When the part does not display the content on the first display panel on the full screen, it is determined that the display mode does not satisfy the predetermined condition.
  • the second display panel includes a plurality of photo sensor circuits that generate an input signal according to incident light and a plurality of pixel circuits that emit light according to an output signal.
  • the accepting unit accepts an operation command based on input signals from a plurality of optical sensor circuits.
  • the second display control unit displays the first image on the second display panel by outputting an output signal to the pixel circuit.
  • a content display method in a content display device including first and second display panels and an arithmetic processing unit.
  • the content display method includes a step in which the arithmetic processing unit displays content on the first display panel, a step in which the arithmetic processing unit accepts a change instruction for changing the display mode of the displayed content, and the arithmetic processing unit includes: A step of determining whether or not the display mode satisfies a predetermined condition; and an operation command for operating the display of content on the second display panel when the arithmetic processing unit determines that the display mode satisfies the predetermined condition Displaying a first image for accepting.
  • a content display program for displaying content on a content display device including first and second display panels and an arithmetic processing unit.
  • the content display program causes the arithmetic processing unit to display content on the first display panel, accepts a change command for changing the display mode of the displayed content, and whether the display mode satisfies a predetermined condition. And a step of displaying a first image for accepting an operation command for operating the display of content on the second display panel when it is determined that the display mode satisfies a predetermined condition.
  • a content display device As described above, according to the present invention, there are provided a content display device, a content display method, and a content display program that can provide an operation screen that is easy for a user to operate according to a situation.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

 電子機器では、「マウスモード」と「タブレットモード」の2つの動作モードで動作可能である。マウスモードでは、表示一体型タブレットからなる液晶パネル(240)への入力に応じてプログラムが実行される。当該プログラムの実行によって作成される当該プログラムの動作画面が、メイン画面に表示される。タブレットモードでは、液晶パネル(240)への入力に応じてプログラムが実行される。当該プログラムの実行によって生成されたプログラムの動作画面が、液晶パネル(240)に表示される。「本」というサブアプリケーションでは、それまでにブックビューアで閲覧するように選択されてきた電子ブックの履歴情報が記憶され、液晶パネル(240)に、当該履歴情報に応じた順序で、各電子書籍のソフトキーが表示される。

Description

2つの表示装置を有する電子機器、その制御方法および記録媒体
 本発明は、電子機器に関し、特に、2つの表示装置を有する電子機器、その制御方法および記録媒体に関する。
 現在、パーソナルコンピュータや携帯情報端末などの電子機器が、広く普及している。また、最近では、2つの表示装置を有する電子機器が普及しつつある。
 例えば、特開2000-172395号公報(文献1)に開示されている携帯情報端末は、2つの画面を有し、コンテンツを2つの画面のうち一方の画面に表示する。また、この携帯情報端末は、コンテンツのメニューバーやスライドバーを他方の画面に表示する。
 特開2001-306291号公報(文献2)には、主表示装置と補助表示装置とを備える情報処理装置が開示されている。この情報処理装置は、通常時には、コンテンツおよびコンテンツの付加情報の両方を主表示装置に表示する。情報処理装置は、コンテンツをフル画面表示するとき、付加情報をサブ画面に表示させる。
 特開2003-202948号公報(文献3)に開示されている電子装置は、主表示部と補助表示部とを有し、電子装置の通信の接続ステータスを補助表示部に表示する。
 特開2003-216297号公報(文献4)に開示されている電子装置も、特許文献3に記載の電子装置と同様、主表示部と補助表示部とを有する。この電子装置は、文字によるメッセージと、シンボルと、補助表示部の表示色および/または点滅表示との組み合わせにより、電子装置の状態情報を補助表示部に表示する。
 特開2004-5105号公報(文献5)に開示されている情報処理装置は、メインディスプレイ、メインディスプレイのコントローラ、表示一体型のポインティングデバイス、および、ポインティングデバイス専用のコントローラを備える。この情報処理装置は、OS(Operating System)の起動前に、ポインティングデバイスによってBIOS(Basic Input/Output System)などのシステム設定を行なえる。
 特開2004-5212号公報(文献6)にも、特許文献5に記載の情報処理装置と同様に、メインディスプレイ、メインディスプレイのコントローラ、表示一体型のポインティングデバイス、および、ポインティングデバイス専用のコントローラを備える情報処理装置が開示されている。特許文献6に開示されている情報処理装置は、誤操作の防止のために、ポインティングデバイスの表示画面が切り替わった際に、ポインティングデバイスの表示画面をメインディスプレイに表示する。
特開2000-172395号公報 特開2001-306291号公報 特開2003-202948号公報 特開2003-216297号公報 特開2004-5105号公報 特開2004-5212号公報
 上記したような電子機器では、ユーザは、サブディスプレイを、従来の多くのノートパソコンに備えられているタッチパッドと同様に使うことができる。つまり、このような電子機器では、サブディスプレイへの入力が、メインディスプレイに表示されるカーソルの位置を移動させたり、クリックやドラッグなどによりアプリケーションに指示を与えるための情報として処理される。
 ところで、携帯情報端末において、近年、サブディスプレイにアプリケーションの操作画面を表示し、そして、サブディスプレイに入力を行なうことで、当該アプリケーションを操作することができるようになってきている。つまり、サブディスプレイへの入力が、当該サブディスプレイに表示されるアプリケーションの操作画面への入力として処理される。
 なお、従来の携帯情報端末では、サブディスプレイへの入力の処理方法を上記2つの処理方法の間で切り替えようとした場合、電子機器をどのように制御すべきかについての詳細な考慮がなされていない。
 したがって、従来の技術を単純に利用した電子機器では、処理方法の切り替え時に、操作性の低下を招く可能性がある。
 本発明は、かかる実情に鑑み考え出されたものであり、その目的は、2つの表示装置を備えた電子機器の操作性を向上させることである。
 本発明に従った電子機器は、第1の表示部と、第2の表示部と、記憶部と、第1および第2の表示部の表示態様を制御する制御部とを備え、第2の表示部は、外部からの入力を受け付け可能な表示一体型のタブレットであり、制御部は、タブレットに対する入力に応じて実行した処理によって作成した画面を第1の表示部に表示させる第1のモードと、タブレットに対する入力に応じて実行した処理によって作成した画面を第2の表示部に表示させる第2のモードとで、動作が可能であり、第2のモードから第1のモードに動作するモードを切り替える場合には、第2のモードにおける動作の内容を特定する情報である動作情報を記憶部に記憶し、第1のモードから第2のモードに動作するモードを切り替える場合には、記憶部に記憶された動作情報に応じた情報を第2の表示部に表示させる。
 本発明に従った電子機器の制御方法は、第1の表示部と、外部からの入力を受け付け可能な表示一体型のタブレットからなる第2の表示部と、記憶部と、第1および第2の表示装置の表示態様を制御する制御部とを備える電子機器の制御方法であって、タブレットに対する入力に応じて実行した処理によって作成した画面を第1の表示部に表示させる第1のモードで動作するステップと、タブレットに対する入力に応じて実行した処理によって作成した画面を第2の表示部に表示させる第2のモードで動作するステップと、第2のモードから第1のモードに動作するモードを切り替えるときに、第2のモードにおける動作の内容を特定する情報である動作情報を記憶部に記憶するステップと、第1のモードから第2のモードに動作するモードを切り替えるときに、記憶部に記憶された動作情報に応じた情報を第2の表示部に表示させるステップとを備える。
 本発明に従った記録媒体は、第1の表示部と、外部からの入力を受け付け可能な表示一体型のタブレットからなる第2の表示部と、記憶部と、第1および第2の表示装置の表示態様を制御する制御部とを備える電子機器において実行される、制御プログラムを記録した記録媒体であって、制御プログラムは、電子機器に、タブレットに対する入力に応じて実行した処理によって作成した画面を第1の表示部に表示させる第1のモードで動作するステップと、タブレットに対する入力に応じて実行した処理によって作成した画面を第2の表示部に表示させる第2のモードで動作するステップと、第2のモードから第1のモードに動作するモードを切り替えるときに、第2のモードにおける動作の内容を特定する情報である動作情報を記憶部に記憶するステップと、第1のモードから第2のモードに動作するモードを切り替えるときに、記憶部に記憶された動作情報に応じた情報を第2の表示部に表示させるステップとを実行させる。
 本発明によれば、第1および第2の表示部を備え、その中の1つである第2の表示部が外部からの入力を受け付け可能な表示一体型のタブレットである電子機器において、当該電子機器は、2つの動作モード、つまり、当該タブレットに対する入力に応じて実行した処理によって作成した画面を第1の表示部に表示させる第1のモードと、当該タブレットに対する入力に応じて実行した処理によって作成した画面を第2の表示部に表示させる第2のモードとで、動作が可能である。そして、当該電子機器では、第2のモードから第1のモードに動作するモードを切り替える場合には、第2のモードにおける動作の内容を特定する情報である動作情報が記憶部に記憶され、また、第1のモードから第2のモードに動作するモードが切り替えられる場合には、記憶部に記憶された動作情報に応じた情報が第2の表示部に表示される。
 これにより、ユーザは、2つの表示装置(第1および第2の表示部)を備えた電子機器を第1のモードと第2のモードの双方で使用可能であり、かつ、これらのモードの中の一方のモードから他方のモードに動作モードを変更させた場合、第2の表示部において、当該他方のモードにおける動作の内容を特定する情報に基づいた表示を見ることができる。
 したがって、電子機器において、2つの表示装置の利用態様が異なる複数のモードの間で動作モードが切り替えられた場合に、当該切替後のモードについて、それまでの当該切替後のモードにおいて実行されてきた動作内容を第2の表示手段に反映させることができ、2つの表示装置を備えた電子機器の操作性を向上させることができる。
電子機器の外観を示す概略図である。 電子機器のハードウェア構成を表わすブロック図である。 液晶パネルの構成と当該液晶パネルの周辺回路とを示した図である。 液晶パネルとバックライトとの断面図である。 光センサ回路を動作させる際のタイミングチャートを示した図である。 スキャンの際にフォトダイオードがバックライトからの光を受光する構成を示した断面図である。 コマンドの概略構成を示した図である。 種別「000」のコマンドを説明するための図である。 種別「001」のコマンドを説明するための図である。 種別「010」のコマンドを説明するための図である。 種別「011」のコマンドを説明するための図である。 種別「100」のコマンドを説明するための図である。 種別「101」のコマンドを説明するための図である。 応答データの概略構成を示した図である。 指をスキャンすることにより得られた画像(スキャン画像)を示した図である。 図3に示したものと異なる光センサ内蔵液晶パネルの回路図である。 スキャンの際にフォトダイオードが外光を受光する構成を示した断面図である。 電子機器の変形例のハードウェア構成を表すブロック図である。 電子機器の第3の変形例の外観を示す概略図である。 図19の電子機器のハードウェア構成を表わすブロック図である。 電子機器の機能的構成をブロック図形式で示す図である。 マウスモードおよびタブレットモードのそれぞれにおいて電子機器が表示する画面を説明するための図である。 マウス画面の具体例を示す図である。 ホームメニュー画面の具体例を示す図である。 タブレットモードにおいて液晶パネルに表示される画面の遷移図である。 マウスモードとタブレットモードとの切り替え時の電子機器の動作について説明するための図である。 通常起動時の動作モードを模式的に示した図である。 復帰時の動作モードを模式的に示した図である。 タブレットモード時の電子機器の動作について説明するための図である。 文字入力画面の一例を示す図である。 手書き文字入力パッド利用時の電子機器の動作を説明するための第1の図である。 手書き文字入力パッド利用時の電子機器の動作を説明するための第2の図である。 テキストボックスが一杯のときの電子機器の動作を説明するための図である。 イラスト入力画面の一例を示す図である。 電卓画面の一例を示す図である。 インターネット画面の一例を示す図である。 スクロールバーを含むインターネット画面の一例を示す図である。 辞書選択画面の一例を示す図である。 スクロールバーを含む辞書選択画面の一例を示す図である。 電子機器が行なう処理の流れをフローチャート形式で示す図である。 マウスモード動作の処理の流れをフローチャート形式で示す図である。 タブレットモード動作の処理の流れをフローチャート形式で示す図である。 モード切替(マウスモードからタブレットモード)動作の処理の流れをフローチャート形式で示す図である。 モード切替(タブレットモードからマウスモード)動作の第1の処理の流れをフローチャート形式で示す図である。 電子機器の、サブアプリケーション「本」の実行中の状態を説明するための図である。 図21のブロック図の変形例を示す図である。 電子機器の、サブアプリケーション「本」の実行中の状態を説明するための図である。 本実施の形態の第4の変形例における、手書き文字入力パッド利用時の電子機器の動作を説明するための第1の図である。 本実施の形態の第4の変形例における、手書き文字入力パッド利用時の電子機器の動作を説明するための第2の図である。 本実施の形態の第4の変形例における、テキストボックスが一杯のときの電子機器の動作を説明するための図である。 本実施の形態の第5の変形例における、電子機器が行なう処理の流れをフローチャート形式で示す図である。 本実施の形態の第6の変形例における、通常起動時の動作モードを模式的に示した図である。 本実施の形態の第6の変形例における、復帰時の動作モードを模式的に示した図である。 本実施の形態の第7の変形例に係るカーソルの表示制御の変更について説明するための図である。 本実施の形態の第7の変形例に係るカーソルの表示制御の変更について説明するための図である。 本発明の第8の変形例における、電子機器が行なう処理の流れをフローチャート形式で示す図である。 本発明の第8の変形例における、マウスモード動作の処理の流れをフローチャート形式で示す図である。 本発明の第8の変形例における、タブレットモード動作の処理の流れをフローチャート形式で示す図である。 本発明の第8の変形例における、モード切替(マウスモードからタブレットモード)動作の処理の流れをフローチャート形式で示す図である。 本発明の第8の変形例における、モード切替(タブレットモードからマウスモード)動作の処理の流れをフローチャート形式で示す図である。 本発明の第8の変形例における、カーソルの表示形態の変更処理の流れをフローチャート形式で示す図である。 本発明の第8の変形例における、カーソルの表示形態の復旧処理の流れをフローチャート形式で示す図である。 本発明の第8の変形例における、カーソルの非表示にあたっての処理の流れをフローチャート形式で示す図である。 本発明の第8の変形例における、カーソル再表示処理の流れをフローチャート形式で示す図である。 本発明の第8の変形例における、マウスモードからタブレットモードへの移行の際のカーソルの移動にあたっての処理の流れをフローチャート形式で示す図である。 本発明の第8の変形例における、タブレットモードからマウスモードへの移行の際のカーソルの移動にあたっての処理の流れをフローチャート形式で示す図である。 本発明の第9の変形例における、カーソルの表示制御の変更について説明するための図である。 本発明の第9の変形例における、モード切替(マウスモードからタブレットモード)動作の処理の流れをフローチャート形式で示す図である。 本発明の第9の変形例における、モード切替(タブレットモードからマウスモード)動作の処理の流れをフローチャート形式で示す図である。 本発明の第10の変形例における、電子機器の外観を示す図である。 本発明の第10の変形例における、電子機器のハードウェア構成を表わすブロック図である。 本発明の第10の変形例における、カーソルの表示制御の変更について説明するための図である。 本発明の第10の変形例における、マウスモード動作の処理の流れをフローチャート形式で示す図である。 本発明の第10の変形例における、タブレットモード動作の処理の流れをフローチャート形式で示す図である。 本発明の第10の変形例における、モード切替(マウスモードからタブレットモード)動作の処理の流れをフローチャート形式で示す図である。 本発明の第10の変形例における、モード切替(タブレットモードからマウスモード)動作の処理の流れをフローチャート形式で示す図である。 図8の種別「000」のコマンドの変形例を説明するための図である。 図2の第1ユニットのCPUが実行するサブ画面制御処理のフローチャートである。 図2の第2ユニットの信号処理部が実行するサブ画面制御処理のフローチャートである。 図2の第2ユニットの信号処理部が実行するサブ側制御処理のフローチャートである。 図2の第1ユニットの液晶パネルの表示画面の一例を示す図である。 図2の第2ユニットの液晶パネルの表示画面の一例を示す図である。 図81Bの表示画面の変更について説明するための図である。 図81Bの表示画面の変更について説明するための図である。 図81Bの表示画面の変更について説明するための図である。 図2の第1ユニットの液晶パネルの表示画面の他の例を示す図である。 図2の第2ユニットの液晶パネルの表示画面の他の例を示す図である。 図78のサブ画面制御処理の変形例のフローチャートである。 図79のサブ側制御処理のフローチャートの変形例を示す図である。 本発明の一実施の形態である電子機器と情報処理端末の一例からなる情報処理システムの外観を示す図である。 本発明の第15の変形例の電子機器の第1の表示パネルにおける、コンテンツの表示態様の変更を説明するための図である。 スキャンの際にフォトダイオードが外光を受光する構成を示した断面図である。 電子機器の変形例のハードウェア構成を表すブロック図である。 本実施の形態に係る電子機器の機能構成を示すブロック図である。 本実施の形態に係る電子機器におけるコンテンツ表示処理の処理手順を示すフローチャートである。 第1の付加機能を有する電子機器の機能構成を示すブロック図である。 第1の付加機能を有する電子機器の画面推移を示すイメージ図である。 第1の付加機能を有する電子機器におけるコンテンツ表示処理の処理手順を示すイメージ図である。 第2の付加機能を有する電子機器の機能構成を示すブロック図である。 第2の付加機能を有する電子機器の画面推移を示すイメージ図である。 第2の付加機能を有する電子機器の画面推移を示すイメージ図である。 第2の付加機能を有する電子機器の画面推移を示すイメージ図である。 第2の付加機能を有する電子機器におけるコンテンツ表示処理の処理手順を示すイメージ図である。 第3の付加機能を有する電子機器の機能構成を示すブロック図である。 第3の付加機能を有する電子機器の画面推移を示すイメージ図である。 第3の付加機能を有する電子機器の画面推移を示すイメージ図である。 第3の付加機能を有する電子機器の画面推移を示すイメージ図である。 第3の付加機能を有する電子機器におけるコンテンツ表示処理の処理手順を示すイメージ図である。
 以下、図面を参照しつつ、本発明の実施の形態について説明する。以下の説明では、同一の部分には同一の符号を付してある。それらの名称および機能も同じである。したがってそれらについての詳細な説明は繰り返さない。
 <電子機器の外観>
 図1は、本実施の形態に係る電子機器100の外観を示した図である。図1を参照して、電子機器100は、第1の筐体100Aと第2の筐体100Bとを含む。
 第1の筐体100Aと第2の筐体100Bとは、ヒンジ100Cにより折畳み可能に接続されている。第1の筐体100Aは、光センサ内蔵液晶パネル140を備える。第2の筐体100Bは、光センサ内蔵液晶パネル240を備える。このように、電子機器100は、光センサ内蔵液晶パネルを2つ備える。
 なお、電子機器100は、PDA(Personal Digital Assistant)、ノート型のパーソナルコンピュータ、携帯型電話機、電子辞書などの表示機能を有する携帯型デバイスとして構成される。
 <ハードウェア構成について>
 次に、図2を参照して、電子機器100の具体的構成の一態様について説明する。図2は、電子機器100のハードウェア構成を表わすブロック図である。
 電子機器100は、第1ユニット1001と、第2ユニット1002とを含む。第2ユニット1002は、電子機器100から着脱可能に第1ユニット1001に接続されている。第1ユニット1001は、本体装置101と、表示装置102とを含む。第2ユニット1002は、表示装置103と、本体装置104とを含む。
 第1の筐体100Aは、表示装置102を含む。第2の筐体100Bは、本体装置101を含む。また、第2の筐体100Bは、第2ユニット1002を含む。
 (第1ユニットについて)
 本体装置101は、CPU(Central Processing Unit)110と、RAM(Random Access Memory)171と、ROM(Read-Only Memory)172と、メモリカードリーダライタ173と、外部通信部174と、マイク175と、スピーカ176と、操作キー177と、電源スイッチ191と、電源回路192と、電源検出部193と、USB(Universal Serial Bus)コネクタ194と、アンテナ195と、LAN(Local Area Network)コネクタ196とを含む。各構成要素(110,171~177,193)は、相互にデータバスDB1によって接続されている。メモリカードリーダライタ173には、メモリカード1731が装着される。
 CPU110は、プログラムを実行する。操作キー177は、電子機器100の使用者による指示の入力を受ける。RAM171は、CPU110によるプログラムの実行により生成されたデータ、または操作キー177を介して入力されたデータを揮発的に格納する。ROM172は、データを不揮発的に格納する。また、ROM172は、EPROM(Erasable Programmable Read-Only Memory)やフラッシュメモリなどのデータの書込みおよび消去が可能なROMである。
 外部通信部174は、他の電子機器と通信を行なう。具体的には、外部通信部174は、USBコネクタ194を介して、たとえば第2ユニット1002と通信を行なう。また、外部通信部174は、アンテナ195を介して、たとえば第2ユニット1002と無線通信を行なう。さらに、外部通信部174は、LANコネクタ196を介して、他の電子機器との間で有線通信を行なう。
 なお、本体装置101は、Bluetooth(登録商標)以外の無線通信により、他の電子機器と通信を行なってもよい。たとえば、外部通信部174は、図示しない無線LANアンテナを介して、LANに接続された他の電子機器との間で無線通信を行なってもよい。あるいは、図示しない赤外線ポートを介して、他の電子機器との間で無線通信を行なってもよい。
 電源スイッチ191は、電子機器100を起動させるためのスイッチである。
 電源スイッチ191がオンすると、電源回路192は、電源検出部193を介して、データバスDB1に接続されている各構成要素と表示装置102とに電力を供給する。また、電源スイッチ191がオンすると、電源回路192は、電源検出部193を介することなく、外部通信部174に電力を供給する。
 電源検出部193は、電源回路192からの出力を検出する。また、電源検出部193は、当該検出した出力に関する情報(たとえば、電圧値や電流値)を、CPU110に送る。
 USBコネクタ194は、第1ユニット1001を第2ユニット1002に接続するために用いられる。なお、本体装置101は、USBコネクタ194に加えて他のUSBコネクタを備えていてもよい。
 第1ユニット1001は、USBコネクタ194を介して、第2ユニット1002にデータを送信する。また、第1ユニット1001は、USBコネクタ194を介して、第2ユニット1002からデータを受信する。さらに、第1ユニット1001は、USBコネクタ194を介して、第2ユニット1002に電力を供給する。
 アンテナ195は、第1ユニット1001と、他の通信装置(たとえば第2ユニット1002)との間における、Bluetooth(登録商標)の規格に沿った通信に用いられる。LANコネクタ196は、電子機器100をLANに接続するために用いられる。
 表示装置102は、ドライバ130と、光センサ内蔵液晶パネル140(以下、液晶パネル140と称する)と、内部IF178と、バックライト179と、画像処理エンジン180とを含む。
 ドライバ130は、液晶パネル140およびバックライト179を駆動するための駆動回路である。ドライバ130に含まれる各種の駆動回路については、後述する。
 液晶パネル140は、液晶ディスプレイの機能と光センサの機能とを備えたデバイスである。つまり、液晶パネル140は、液晶を用いた画像の表示と、光センサを用いたセンシングとを行うことができる。液晶パネル140の詳細については、後述する。
 内部IF(Interface)178は、本体装置101と表示装置102との間で、データの遣り取りを仲介する。
 バックライト179は、液晶パネル140の裏面に配置された光源である。バックライト179は、当該裏面に対して均一な光を照射する。
 画像処理エンジン180は、ドライバ130を介して液晶パネル140の動作を制御する。ここで、当該制御は、内部IF178を介して本体装置101から送られてくる各種データに基づいて行われる。なお、当該各種データは、後述するコマンドを含む。また、画像処理エンジン180は、液晶パネル140から出力されるデータを処理し、処理したデータを内部IF178を介して本体装置101に送る。さらに、画像処理エンジン180は、ドライバ制御部181と、タイマ182と、信号処理部183とを含む。
 ドライバ制御部181は、ドライバ130に対して制御信号を送ることによりドライバ130の動作を制御する。また、ドライバ制御部181は、本体装置101から送られてくるコマンドを解析する。そして、ドライバ制御部181は、当該解析の結果に基づいた制御信号をドライバ130に送る。ドライバ130の動作の詳細については、後述する。
 タイマ182は、時刻情報を生成し、信号処理部183に対して時刻情報を送る。
 信号処理部183は、上記光センサから出力されるデータを受け取る。ここで、上記光センサから出力されるデータはアナログデータであるため、信号処理部183は、まず当該アナログデータをデジタルデータに変換する。さらに、信号処理部183は、当該デジタルデータに対して、本体装置101から送られてくるコマンドの内容に応じたデータ処理を行う。そして、信号処理部183は、上記データ処理を行った後のデータと、タイマ182から取得した時刻情報とを含んだデータ(以下、応答データと称する)を本体装置101に送る。また、信号処理部183は、後述するスキャンデータを連続して複数格納できるRAM(図示せず)を備えている。
 上記コマンドは、上記光センサによりセンシングを指示するセンシングコマンドを含む。当該センシングコマンドの詳細および上記応答データの詳細については、後述する(図7,図8,および図14)。
 なお、タイマ182は、必ずしも画像処理エンジン180に備えられている必要はない。たとえば、タイマ182は、表示装置102内における、画像処理エンジン180の外部に備えられていてもよい。あるいは、タイマ182は、本体装置101に備えられていてもよい。また、マイク175およびスピーカ176は、電子機器100が常に備える構成ではなく、電子機器100の実施例によっては、マイク175およびスピーカ176のいずれかあるいは両方を有さない構成であってもよい。
 ここで、表示装置102は、システム液晶を含んでいる。なお、システム液晶とは、液晶パネル140の周辺機器を当該液晶パネル140のガラス基板上に一体形成することにより得られるデバイスである。本実施の形態では、ドライバ130(バックライト179を駆動する回路を除く)と、内部IF178と、画像処理エンジン180とが、液晶パネル140のガラス基板上に一体形成されている。なお、表示装置102が、必ずしもシステム液晶を用いて構成されている必要はなく、ドライバ130(バックライト179を駆動する回路を除く)と、内部IF178と、画像処理エンジン180とが、上記ガラス基板以外の基板に構成されていてもよい。
 (第2ユニットについて)
 第2ユニット1002は、第1ユニット1001から電力の供給を受ける。具体的には、後述するUSBコネクタ294と第1ユニット1001のUSBコネクタ194とを接続することにより、第2ユニット1002は、第1ユニット1001の電源回路192から電力の供給を受ける。
 本体装置104は、CPU210と、RAM271と、ROM272と、外部通信部274と、電源検出部293と、USBコネクタ294と、アンテナ295と、信号強度検出部297とを含む。各構成要素(210,271,272,274,293)は、相互にデータバスDB2によって接続されている。
 CPU210は、プログラムを実行する。RAM271は、CPU210によるプログラムの実行により生成されたデータを揮発的に格納する。ROM272は、データを不揮発的に格納する。また、ROM272は、EPROM(Erasable Programmable Read-Only Memory)やフラッシュメモリなどのデータの書込みおよび消去が可能なROMである。
 外部通信部274は、他の電子機器との間で通信を行なう。具体的には、外部通信部274は、USBコネクタ294を介して、たとえば第1ユニット1001と通信を行なう。また、外部通信部274は、アンテナ295を介して、たとえば第1ユニット1001と通信を行なう。
 なお、本体装置104は、Bluetooth(登録商標)以外の無線通信により、他の電子機器(たとえば、第1ユニット1001)と通信を行なってもよい。たとえば、外部通信部274は、図示しない赤外線ポートを介して、他の電子機器との間で無線通信を行なってもよい。
 信号強度検出部297は、アンテナ295を介して受信した信号についての強度を検出する。そして、信号強度検出部297は、検出した強度を外部通信部274に送る。
 USBコネクタ294は、第2ユニット1002を第1ユニット1001に接続するために用いられる。
 第2ユニット1002は、USBコネクタ294を介して、第1ユニット1001にデータを送信する。また、第2ユニット1002は、USBコネクタ294を介して、第1ユニット1001からデータを受信する。さらに、第2ユニット1002は、上述したように、USBコネクタ294を介して、第1ユニット1001から電力の供給を受ける。なお、第2ユニット1002は、第1ユニット1001から供給された電力を、図示しないバッテリに蓄電する。
 アンテナ295は、第2ユニット1002と、たとえば第1ユニット1001との間における、Bluetooth(登録商標)の規格に沿った通信に用いられる。
 電源検出部293は、USBコネクタ294を介して給電された電力を検出する。また、電源検出部293は、当該検出した電力についての情報を、CPU210に送る。
 また、本体装置104は、赤外線通信を行なう機能を備えていてもよい。
 表示装置103は、ドライバ230と、光センサ内蔵液晶パネル240(以下、「液晶パネル240」と称する)と、内部IF278と、バックライト279と、画像処理エンジン280とを含む。画像処理エンジン280は、ドライバ制御部281と、タイマ282と、信号処理部283とを含む。
 表示装置103は、表示装置102と同様な構成を有する。つまり、ドライバ230、液晶パネル240、内部IF278、バックライト279、および画像処理エンジン280は、表示装置102における、ドライバ130、液晶パネル140、内部IF178、バックライト179、画像処理エンジン180と同じ構成をそれぞれ有する。ドライバ制御部281、タイマ282、および信号処理部283は、表示装置102における、ドライバ制御部181、タイマ182、信号処理部183と同じ構成をそれぞれ有する。したがって、表示装置103に含まれる各機能ブロックについての説明は、繰り返さない。
 ところで、電子機器100における処理は、各ハードウェアおよびCPU110により実行されるソフトウェアによって実現される。このようなソフトウェアは、ROM172に予め記憶されている場合がある。また、ソフトウェアは、メモリカード1731その他の記憶媒体に格納されて、プログラム製品として流通している場合もある。あるいは、ソフトウェアは、いわゆるインターネットに接続されている情報提供事業者によってダウンロード可能なプログラム製品として提供される場合もある。このようなソフトウェアは、メモリカードリーダライタ173その他の読取装置によりその記憶媒体から読み取られて、あるいは、通信部174または通信IF(図示せず)を介してダウンロードされた後、ROM172に一旦格納される。そのソフトウェアは、CPU110によってROM172から読み出され、RAM171に実行可能なプログラムの形式で格納される。CPU110は、そのプログラムを実行する。
 図2に示される電子機器100の本体装置101を構成する各構成要素は、一般的なものである。したがって、本発明の本質的な部分は、RAM171、ROM172、メモリカード1731その他の記憶媒体に格納されたソフトウェア、あるいはネットワークを介してダウンロード可能なソフトウェアであるともいえる。なお、電子機器100の本体装置101のハードウェアの動作は周知であるので、詳細な説明は繰り返さない。
 なお、記憶媒体としては、メモリカードに限られず、CD-ROM、FD(Flexible Disk)、ハードディスク、磁気テープ、カセットテープ、光ディスク(MO(Magnetic Optical Disc)/MD(Mini Disc)/DVD(Digital Versatile Disc))、IC(Integrated Circuit)カード(メモリカードを除く)、光カード、マスクROM、EPROM、EEPROM(Electronically Erasable Programmable Read-Only Memory)、フラッ
シュROMなどの半導体メモリ等の固定的にプログラムを格納する媒体でもよい。
 ここでいうプログラムとは、CPUにより直接実行可能なプログラムだけでなく、ソースプログラム形式のプログラム、圧縮処理されたプログラム、暗号化されたプログラム等を含む。
 <光センサ内蔵液晶パネルの構成および駆動について>
 次に、液晶パネル140の構成と、当該液晶パネル140の周辺回路の構成とについて説明する。図3は、液晶パネル140の構成と、当該液晶パネル140の周辺回路とを示した図である。
 図3を参照して、液晶パネル140は、画素回路141と、光センサ回路144と、走査信号線Giと、データ信号線SRjと、データ信号線SGjと、データ信号線SBjと、センサ信号線SSjと、センサ信号線SDjと、読出信号線RWiと、リセット信号線RSiとを含む。なお、iは、1≦i≦mを満たす自然数であり、jは1≦j≦nを満たす自然数である。
 また、図2に示した表示装置102のドライバ130は、液晶パネル140の周辺回路として、走査信号線駆動回路131と、データ信号線駆動回路132と、光センサ駆動回路133と、スイッチ134と、アンプ135とを含む。
 走査信号線駆動回路131は、図2に示すドライバ制御部181から制御信号TC1を受ける。そして、走査信号線駆動回路131は、制御信号TC1に基づき、各走査信号線(G1~Gm)に対して、走査信号線G1から順に予め定められた電圧を印加する。より詳しくは、走査信号線駆動回路131は、単位時間毎に走査信号線(G1~Gm)の中から1つの走査信号線を順次選択し、当該選択した走査信号線に対して後述するTFT(Thin Film Transistor)142のゲートをターンオンできるだけの電圧(以下、ハイレベル電圧)を印加する。なお、選択されていない走査信号線に対しては、ハイレベル電圧を印加することなく、ローレベル電圧を印加したままとする。
 データ信号線駆動回路132は、図2に示すドライバ制御部181から画像データ(DR,DG,DB)を受ける。そして、データ信号線駆動回路132は、3n個のデータ信号線(SR1~SRn,SG1~SGn,SB1~SBn)に対して、上記単位時間毎に、1行分の画像データに対応する電圧を順次印加する。
 なお、ここでは、いわゆる線順次方式と呼ばれる駆動方式を用いて説明したが、駆動方式はこれに限定されるものではない。
 画素回路141は、1つの画素の輝度(透過率)を設定するための回路である。また、画素回路141は、マトリクス状にm×n個配されている。より詳しくは、画素回路141は、図3の縦方向にm個、横方向にn個配されている。
 画素回路141は、Rサブピクセル回路141rと、Gサブピクセル回路141gと、Bサブピクセル回路141bとからなる。これら3つの回路(141r,141g,141b)は、それぞれ、TFT142と、画素電極と対向電極とからなる1組の電極対143と、図示しないコンデンサとを含む。
 なお、n型のトランジスタとp型のトランジスタとを作れるCMOS(Complementary Metal Oxide Semiconductor)を実現できること、キャリア(電子または正孔)の移動速度がアモルファスシリコン薄膜トランジスタ(a-Si TFT)に比べて数百倍早いことなどから、表示装置102では、TFT142として多結晶シリコン薄膜トランジスタ(p-Si TFT)が用いられる。なお、TFT142は、n型チャネルの電界効果トランジスタであるとして説明する。ただし、TFT142がp型チャネルの電界効果トランジスタであってもよい。
 Rサブピクセル回路141r内のTFT142のソースはデータ信号線SRjに接続されている。また、当該TFT142のゲートは走査信号線Giに接続されている。さらに、当該TFT142のドレインは、電極対143の画素電極に接続される。そして、画素電極と対向電極との間には、液晶が配される。なお、Gサブピクセル回路141gおよびBサブピクセル回路141bについても、各TFT142のソースが接続されるデータ信号線が異なる以外は、Rサブピクセル回路141rと同じ構成である。このため、これら2つの回路(141g,141b)についての説明は、繰り返さない。
 ここで、画素回路141における輝度の設定について説明する。まず、走査信号線Giに上記ハイレベル電圧を印加する。当該ハイレベル電圧の印加により、TFT142のゲートがターンオンする。このようにTFT142のゲートがターンオンした状態で、各データ信号線(SRj,SGj,SBj)に対して、それぞれ指定された電圧(1画素分の画像データに対応する電圧)を印加する。これにより、当該指定された電圧に基づいた電圧が画素電極に印加される。その結果、画素電極と対向電極との間に電位差が生じる。この電位差に基づいて、液晶が応答し、画素の輝度は予め定められた輝度に設定される。なお、当該電位差は、上記図示しないコンデンサ(補助容量)によって、次のフレーム期間において走査信号線Giが選択されるまで保持される。
 光センサ駆動回路133は、図2に示すドライバ制御部181から制御信号TC2を受ける。
 そして、光センサ駆動回路133は、制御信号TC2に基づき、単位時間毎にリセット信号線(RS1~RSm)の中から1つの信号線を順次選択し、当該選択した信号線に対して、予め定められたタイミングで通常よりもハイレベルな電圧VDDRを印加する。なお、選択されていないリセット信号線に対しては、選択されたリセット信号線に印加した電圧よりも低い電圧VSSRを印加したままとする。たとえば、電圧VDDRを0Vに、電圧VSSRを-5Vに設定すればよい。
 また、光センサ駆動回路133は、制御信号TC2に基づき、単位時間毎に読出信号線(RW1~RWm)の中から1つの信号線を順次選択し、当該選択した信号線に対して、予め定められたタイミングで通常よりもハイレベルな電圧VDDを印加する。なお、選択されていない読出信号線に対しては、上記電圧VSSRを印加したままとする。たとえば、VDDの値を8Vに設定すればよい。
 なお、電圧VDDRを印加するタイミング、および電圧VDDを印加するタイミングについては、後述する。
 光センサ回路144は、フォトダイオード145と、コンデンサ146と、TFT147とを含む。なお、以下では、TFT147がn型チャネルの電界効果トランジスタであるとして説明する。ただし、TFT147がp型チャネルの電界効果トランジスタであってもよい。
 フォトダイオード145のアノードは、リセット信号線RSiに接続されている。一方、フォトダイオード145のカソードは、コンデンサ146の一方の電極に接続されている。また、コンデンサ146の他方の電極は、読出信号線RWiに接続されている。なお、以下では、フォトダイオード145とコンデンサ146との接続点をノードNと称する。
 TFT147のゲートは、ノードNに接続されている。また、TFT147のドレインは、センサ信号線SDjに接続されている。さらに、TFT147のソースは、センサ信号線SSjに接続されている。光センサ回路144を用いたセンシングの詳細については、後述する。
 スイッチ134は、センサ信号線(SD1~SDn)に対して、予め定められた電圧を印加するか否かを切り換えるために設けられたスイッチである。スイッチ134の切り換え動作は、光センサ駆動回路133により行われる。なお、スイッチ134が導通状態となった場合にセンサ信号線(SD1~SDn)に印加される電圧については、後述する。
 アンプ135は、各センサ信号線(SS1~SSn)から出力された電圧を増幅する。なお、増幅された電圧は、図2に示した信号処理部183に送られる。
 なお、画素回路141を用いて画像を液晶パネル140に表示させるタイミングと、光センサ回路144を用いてセンシングするタイミングとについては、画像処理エンジン180が制御する。
 図4は、液晶パネル140とバックライト179との断面図である。図4を参照して、液晶パネル140は、アクティブマトリクス基板151Aと、対向基板151Bと、液晶層152とを含む。対向基板151Bは、アクティブマトリクス基板151Aに対向して配されている。液晶層152は、アクティブマトリクス基板151Aと対向基板151Bとに挟まれている。バックライト179は、アクティブマトリクス基板151Aに関し液晶層152と反対側に配されている。
 アクティブマトリクス基板151Aは、偏光フィルタ161と、ガラス基板162と、電極対143を構成する画素電極143aと、フォトダイオード145と、データ信号線157と、配向膜164とを含む。さらに、図4には示していないが、アクティブマトリクス基板151Aは、図3に示した、コンデンサ146と、TFT147と、TFT142と、走査信号線Giとを含む。
 また、アクティブマトリクス基板151Aにおいては、バックライト179側から、偏光フィルタ161、ガラス基板162、画素電極143a、および配向膜164が、この順に配されている。フォトダイオード145とデータ信号線157とは、ガラス基板162の液晶層152側に形成されている。
 対向基板151Bは、偏光フィルタ161と、ガラス基板162と、遮光膜163と、カラーフィルタ(153r,153g,153b)と、電極対143を構成する対向電極143bと、配向膜164とを含む。
 また、対向基板151Bにおいては、液晶層152側から、配向膜164、対向電極143b、カラーフィルタ(153r,153g,153b)、ガラス基板162、および偏光フィルタ161が、この順に配されている。遮光膜163は、カラーフィルタ(153r,153g,153b)と同一の層に形成されている。
 カラーフィルタ153rは、赤色の波長の光を透過させるフィルタである。カラーフィルタ153gは、緑色の波長の光を透過させるフィルタである。カラーフィルタ153bは、青色の波長の光を透過させるフィルタである。ここで、フォトダイオード145は、カラーフィルタ153bに対向する位置に配されている。
 液晶パネル140は、外光やバックライト179などの光源により発せられた光を遮ったり又は当該光を透過させたりすることによって、画像の表示をする。具体的には、液晶パネル140は、画素電極143aと対向電極143bとの間に電圧を印加することにより液晶層152の液晶分子の向きを変化させ、上記光を遮ったり、あるいは透過させる。ただし、液晶だけでは光を完全に遮ることができないため、特定の偏光方向の光のみを透過させる偏光フィルタ161を配置している。
 なお、フォトダイオード145の位置は、上記の位置に限定されるものではなく、カラーフィルタ153rに対向する位置やカラーフィルタ153gに対向する位置に設けることも可能である。
 ここで、光センサ回路144の動作について説明する。図5は、光センサ回路144を動作させる際のタイミングチャートを示した図である。図5において、電圧VINTは、光センサ回路144内のノードNにおける電位を示している。また、電圧VPIXは、図3に示したセンサ信号線SSjからの出力電圧であって、アンプ135によって増幅される前の電圧を示している。
 以下では、光センサ回路144をリセットするためのリセット期間と、光センサ回路144を用いて光をセンシングするためのセンシング期間と、センシングした結果を読み出す読出期間とに分けて説明する。
 まず、リセット期間について説明する。リセット期間においては、リセット信号線RSiに印加する電圧を、ローレベル(電圧VSSR)からハイレベル(電圧VDDR)へと瞬間的に切り換える。一方、読出信号線RWiに印加する電圧は、ローレベル(電圧VSSR)のままとする。このように、リセット信号線RSiに上記ハイレベルの電圧を印加することにより、フォトダイオード145の順方向(アノード側からカソード側)に電流が流れ始める。その結果、ノードNの電位である電圧VINTは、以下の式(1)で示す値となる。なお、式(1)では、フォトダイオード145における順方向の電圧降下量をVfとしている。
 VINT=VSSR+|VDDR-VSSR|-Vf … (1)
 それゆえ、ノードNの電位は、図5に示すとおり、電圧VDDRよりもVfだけ小さな値となる。
 ここで、電圧VINTは、TFT147のゲートをターンオンさせる閾値以下であるため、センサ信号線SSjからの出力はない。このため、電圧VPIXは変化しない。また、コンデンサ146の電極間には、上記電圧VINT分の差が生じる。このため、コンデンサ146には、当該差に応じた電荷が蓄積される。
 次に、センシング期間について説明する。リセット期間に続くセンシング期間においては、リセット信号線RSiに印加する電圧は、ハイレベル(電圧VDDR)からローレベル(電圧VSSR)へと瞬間的に切り換わる。一方、読出信号線RWiに印加する電圧は、ローレベル(電圧VSSR)のままとする。
 このように、リセット信号線RSiに印加する電圧をローレベルに変化させることにより、ノードNの電位は、リセット信号線RSiの電圧および読出信号線RWiの電圧よりも高くなる。このため、フォトダイオード145においては、カソード側の電圧がアノード側の電圧よりも高くなる。つまり、フォトダイオード145は、逆バイアスの状態となる。このような逆バイアスの状態において、光源からの光をフォトダイオード145が受光すると、フォトダイオード145のカソード側からアノード側へと電流が流れ始める。その結果、図5に示すとおり、ノードNの電位(つまり、電圧VINT)は時間の経過とともに低くなる。
 なお、このように電圧VINTが低下し続けるため、TFT147のゲートはターンオンした状態にはならない。それゆえ、センサ信号線SSjからの出力はない。このため、電圧VPIXは変化しない。
 次に、読出期間について説明する。センシング期間に続く読出期間においては、リセット信号線RSiに印加する電圧をローレベル(電圧VSSR)のままとする。一方、読出信号線RWiに印加する電圧は、ローレベル(電圧VSSR)からハイレベル(電圧VDD)へと瞬間的に切り換わる。ここで、電圧VDDは、電圧VDDRよりも高い値である。
 このように、読出信号線RWiにハイレベルの電圧を瞬間的に印加することにより、図5に示すとおり、コンデンサ146を介してノードNの電位が引き上げられる。なお、ノードNの電位の上昇幅は、読出信号線RWiに印加する電圧に応じた値となる。ここで、ノードNの電位(つまり、電圧VINT)が、TFT147のゲートをターンオンさせる閾値以上まで引き上げられるため、TFT147のゲートがターンオンする。
 この際、TFT147のドレイン側に接続されたセンサ信号線SDj(図3参照)に予め一定電圧を印加しておけば、TFT147のソース側に接続されたセンサ信号線SSjからは、図5のVPIXのグラフに示すとおり、ノードNの電位に応じた電圧が出力される。
 ここで、フォトダイオード145が受光する光の量(以下、受光量と称する)が少ないと、図5のVINTのグラフに示す直線の傾きが緩やかになる。その結果、電圧VPIXは、受光量が多い場合に比べて高くなる。このように、光センサ回路144は、フォトダイオード145の受光量に応じて、センサ信号線SSjに出力する電圧の値を変化させる。
 ところで、上記においては、m×n個存在する光センサ回路のうち、1つの光センサ回路144に着目して、その動作を説明した。以下では、液晶パネル140における各光センサ回路の動作について説明する。
 まず、光センサ駆動回路133は、n個のセンサ信号線(SD1~SDn)の全てに対して、予め定められた電圧を印加する。次に、光センサ駆動回路133は、リセット信号線RS1に対して、通常よりもハイレベルな電圧VDDRを印加する。なお、他のリセット信号線(RS2~RSm)および読出信号線(RW1~RWm)については、ローレベルの電圧を印加したままの状態とする。これにより、図3における1行目のn個の光センサ回路が、上述したリセット期間に入る。その後、1行目のn個の光センサ回路は、センシング期間に入る。さらに、その後、1行目のn個の光センサ回路は、読出期間に入る。
 なお、n個のセンサ信号線(SD1~SDn)の全てに対して予め定められた電圧を印加するタイミングは、上記のタイミングに限定されず、少なくとも読出期間前に印加されるタイミングであればよい。
 1行目のn個の光センサ回路の読出期間が終了すると、光センサ駆動回路133は、リセット信号線RS2に対して、通常よりもハイレベルな電圧VDDRを印加する。つまり、2行目のn個の光センサ回路のリセット期間に入る。リセット期間が終了すると、2行目のn個の光センサ回路は、センシング期間に入り、その後は、読出期間に入る。
 以降は、上述した処理が、順に、3行目のn個の光センサ回路、4行目のn個の光センサ回路、…m行目のn個の光センサ回路に対して行われる。その結果、センサ信号線(SS1~SSn)からは、1行目のセンシング結果、2行目のセンシング結果、…、m行目のセンシング結果が、この順に出力される。
 なお、表示装置102においては、上記のように行毎にセンシングが行われるとともに、行毎にセンシング結果が液晶パネル140から出力される。このため、以下では、液晶パネル140から出力される1行目からm行目までのm行分の電圧に関するデータに対して、信号処理部183が上述したデータ処理を行った後のデータを、「スキャンデータ」と称する。つまり、スキャンデータとは、スキャン対象物(たとえば、ユーザの指)をスキャンすることにより得られる画像データを指す。また、当該スキャンデータに基づいて表示された画像を、「スキャン画像」と称する。さらに、以下では、センシングを「スキャン」と称する。
 また、上記においては、m×n個の光センサ回路全てを用いてスキャンを行う構成を例に挙げたが、これに限定されるものではない。予め選択された光センサ回路を用いて、液晶パネル140の表面の一部の領域に関してスキャンを行うことも構成としてもよい。
 以下では、電子機器100が、両構成のいずれの構成をも採れるものとする。さらに、当該構成間の切り換えは、操作キー177を介した入力などに基づく本体装置101から送られてくるコマンドにより行われるものとする。なお、液晶パネル140の表面の一部の領域に関してスキャンを行う場合、画像処理エンジン180が、スキャン対象領域の設定を行う。なお、当該領域の設定を、操作キー177を介してユーザが指定できる構成としてもよい。
 このように、液晶パネル140の表面の一部の領域に関してスキャンを行う場合には、画像の表示に関し、以下のような利用の態様がある。1つ目は、上記一部の領域(以下、スキャン領域と称する)以外の表面の領域において、画像を表示させる態様である。2つ目は、上記スキャン領域以外の表面の領域において、画像を表示させない態様である。いずれの態様とするかは、本体装置101から画像処理エンジン180に送られてくるコマンドに基づく。
 図6は、液晶パネル140とバックライト179との断面図であって、スキャンの際にフォトダイオード145がバックライト179からの光を受光する構成を示した図である。
 図6を参照して、ユーザの指900が液晶パネル140の表面に接触している場合、バックライト179から発せられた光の一部は、当該接触している領域ではユーザの指900(略平面)にて反射される。そして、フォトダイオード145は、当該反射された光を受光する。
 また、指900が接触していない領域においても、バックライト179から発せられた光の一部は、ユーザの指900にて反射される。この場合においても、フォトダイオード145は、当該反射された光を受光する。ただし、当該領域においては液晶パネル140の表面に指900が接触していないため、指900が接触している領域よりも、フォトダイオード145の受光量は少なくなる。なお、バックライト179から発せられた光のうち、ユーザの指900に到達しない光のほとんどについては、フォトダイオード145は受光できない。
 ここで、バックライト179を、少なくともセンシング期間においては点灯させておくことにより、光センサ回路144は、ユーザの指900により反射した光の光量に応じた電圧をセンサ信号線SSjから出力することができる。このように、バックライト179の点灯と消灯とを制御することにより、液晶パネル140では、指900の接触位置、指900の接触している範囲(指900の押圧力によって定まる)、液晶パネル140の表面に対する指900の方向などに応じて、センサ信号線(SS1からSSn)から出力される電圧が変化することになる。
 以上により、表示装置102は、指900によって光が反射されることにより得られる像(以下、反射像とも称する)をスキャンすることができる。
 なお、指900以外のスキャン対象物としては、スタイラスなどが挙げられる。
 ところで、本実施の形態においては、電子機器100の表示装置として液晶パネルを例に挙げて説明しているが、液晶パネルの代わりに有機EL(Electro-Luminescence)パネルなどの他のパネルを用いてもよい。
 <データについて>
 次に、第1ユニット1001と第2ユニット1002との間でやり取りされるコマンド、および第1ユニット1001内の本体装置101と表示装置102との間でやり取りされるコマンドについて説明する。
 図7は、コマンドの概略構成を示した図である。図7を参照して、コマンドは、ヘッダDA01と、第1フィールドDA02と、第2フィールドDA03と、第3フィールドDA04と、第4フィールドDA05と、第5フィールドDA06と、予備のデータ領域DA07とを含む。
 図8は、種別「000」のコマンド(つまり、センシングコマンド)を説明するための図である。CPU110は、種別「000」のコマンド(以下、「第1コマンド」と称する)を、第1ユニット1001の本体装置101から第2ユニット1002に送る。あるいは、CPU110は、第1コマンドを、本体装置101から表示装置102に送る。なお、以下においては、CPU110が第1コマンドを第1ユニット1001の本体装置101から第2ユニット1002に送る場合を例に挙げて説明する。
 CPU110は、ヘッダDA01に、コマンドの種別(「000」)、コマンドの送信先等を書き込む。CPU110は、第1フィールドDA02に、番号が「1」のタイミングの値を書き込む。CPU110は、第2フィールドDA03に、番号が「2」のデータ種別の値を書き込む。CPU110は、第3フィールドDA04に、番号が「3」の読取方式の値を書き込む。CPU110は、第4フィールドDA05に、番号が「4」の画像階調の値を書き込む。CPU110は、第5フィールドDA06に、番号が「5」の解像度の値を書き込む。
 第1フィールドDA02に「00」が設定された第1コマンドは、画像処理エンジン280に対して、そのときのスキャンデータの送信を要求する。つまり、センシング第1コマンドは、当該第1コマンドを画像処理エンジン280が受信した後に、液晶パネル240の光センサ回路を用いてスキャンすることにより得られるスキャンデータの送信を要求する。また、第1フィールドDA02に「01」が設定された第1コマンドは、スキャン結果に変化があったときのスキャンデータの送信を要求する。さらに、第1フィールドDA02に「10」が設定された第1コマンドは、一定周期毎にスキャンデータの送信を要求する。
 第2フィールドDA03に「001」が設定された第1コマンドは、部分画像における中心座標の座標値の送信を要求する。また、第2フィールドDA03に「010」が設定された第1コマンドは、スキャン結果が変化した部分画像のみの送信を要求する。なお、スキャン結果が変化したとは、前回のスキャン結果と今回のスキャン結果が異なっていることを指す。さらに、第2フィールドDA03に「100」が設定された第1コマンドは、全体画像の送信を要求する。
 ここで、「全体画像」とは、m×n個の光センサ回路を用いてスキャンした際に、各光センサ回路から出力される電圧に基づいて、画像処理エンジン280により生成された画像である。また、「部分画像」とは、全体画像の一部である。部分画像に関して、スキャン結果が変化した部分画像のみの送信を要求する構成とした理由については後述する。
 なお、上記座標値と上記部分画像または上記全体画像とを同時に要求する構成としてもよい。また、液晶パネル240の表面の一部の領域に関してスキャンを行う構成の場合には、上記全体画像はスキャンが行われる領域に対応した画像となる。
 第3フィールドDA04に「00」が設定されたセンシング第1コマンドは、バックライト279を点灯してスキャンすることを要求する。また、第3フィールドDA04に「01」が設定された第1コマンドは、バックライト279を消灯してスキャンすることを要求する。なお、バックライト279を消灯してスキャンする構成については後述する(図17)。さらに、第3フィールドDA04に「10」が設定された第1コマンドは、反射と透過とを併用してスキャンすることを要求する。なお、反射と透過とを併用するとは、バックライト279を点灯してスキャンする方式と、バックライトを消灯してスキャンする方式とを切り換えて、スキャン対象物のスキャンを行うことを指す。
 第4フィールドDA05に「00」が設定された第1コマンドは、白黒の2値の画像データを要求する。また、第4フィールドDA05に「01」が設定された第1コマンドは、多階調の画像データを要求する。さらに、第4フィールドDA05に「10」が設定された第1コマンドは、RGBのカラーの画像データを要求する。
 第5フィールドDA06に「0」が設定された第1コマンドは、解像度の高い画像データを要求する。また、第5フィールドDA06に「1」が設定された第1コマンドは、解像度の低い画像データを要求する。
 また、上記第1コマンドには、図8に示したデータ以外に、スキャンを行う領域(光センサ回路144を駆動する画素の領域)の指定、スキャンを行うタイミング、バックライト179の点灯のタイミングなどが記述されている。
 なお、画像処理エンジン280は、第1コマンドの内容を解析し、当該解析の結果に従ったデータ(つまり、応答データ)を本体装置101に送り返す。
 図9は、種別「001」のコマンド(以下、「第2コマンド」と称する)を説明するための図である。CPU110は、第2コマンドを、第1ユニット1001の本体装置101から第2ユニット1002に送る。
 CPU110は、ヘッダDA01に、コマンドの種別(「001」)、コマンドの送信先等を書き込む。CPU110は、第1フィールドDA02に、番号が「1」の表示要求の値を書き込む。CPU110は、第2フィールドDA03に、番号が「2」の個数/種類に関する情報を書き込む。CPU110は、第3フィールドDA04に、番号が「3」の表示範囲の値を書き込む。CPU110は、第4フィールドDA05に、番号が「4」の画像データに関する情報を書き込む。
 第1フィールドDA02に「001」が設定された第2コマンドは、液晶パネル240(サブ画面)に画像を表示させることを画像処理エンジン280に対して要求する。また、第1フィールドDA02に「010」が設定された第2コマンドは、液晶パネル240にアイコンを表示させることを画像処理エンジン280に対して要求する。さらに、第1フィールドDA02に「011」が設定された第2コマンドは、液晶パネル240に手書領域を表示させることを画像処理エンジン280に対して要求する。
 第2フィールドDA03には、液晶パネル240に表示させる画像の個数、および手書言語の種類を指定する番号が格納される。画像処理エンジン280は、当該画像の個数、または言語の種類に応じた処理を行う。
 第3フィールドDA04に「01」が設定された第2コマンドは、液晶パネル240における表示範囲を座標にて指定することを、画像処理エンジン280に対して要求する。また、第3フィールドDA04に「10」が設定された第2コマンドは、液晶パネル240における表示範囲を表示領域の全体にすることを、画像処理エンジン280に対して要求する。
 第4フィールドDA05には、液晶パネル240に表示させる画像データと、当該画像データを表示する位置情報とが格納される。画像処理エンジン280は、当該位置情報で特定される位置に当該画像データを表示する処理を行う。
 図10は、種別「010」のコマンド(以下、「第3コマンド」と称する)を説明するための図である。CPU110は、第3コマンドを、第1ユニット1001の本体装置101から第2ユニット1002に送る。あるいは、CPU210は、第3コマンドを、第2ユニット1002の本体装置104から第1ユニット1001に送る。
 CPU110,210は、ヘッダDA01に、コマンドの種別(「010」)、コマンドの送信先等を書き込む。CPU110,210は、第1フィールドDA02に、番号が「1」のOS(Operating System)処理要求の値を書き込む。CPU110,210は、第2フィールドDA03に、番号が「2」のOS情報の値を書き込む。
 第1フィールドDA02に「01」または「10」が設定された第3コマンドは、第2ユニット1002から第1ユニット1001に送信される。
 第1フィールドDA02に「01」が設定された第3コマンドは、第1ユニット1001に対して、当該第1ユニット1001(メイン装置)のOSの種類を示した情報の送信を要求する。また、第1フィールドDA02に「10」が設定された第3コマンドは、第1ユニット1001に対して、OS情報にて指定されたOSの起動を要求する。
 第2フィールドDA03に「000」、「001」、または「010」が設定された第3コマンドは、第2ユニット1002から第1ユニット1001に送信される。
 第2フィールドDA03に「000」が設定された第3コマンドは、第1ユニット1001におけるOSの起動を要求しない。また、第2フィールドDA03に「001」が設定された第3コマンドは、第2ユニット1002が第1OSの起動を選択したことを示す。さらに、第2フィールドDA03に「010」が設定された第3コマンドは、第2ユニット1002が第2OSの起動を選択したことを示す。
 図11は、種別「011」のコマンド(以下、「第4コマンド」と称する)を説明するための図である。CPU210は、第4コマンドを、第2ユニット1002の本体装置104から第1ユニット1001に送る。
 CPU210は、ヘッダDA01に、コマンドの種別(「011」)、コマンドの送信先等を書き込む。CPU210は、第1フィールドDA02に、番号が「1」の起動アプリに関する情報を書き込む。CPU210は、第2フィールドDA03に、番号が「2」の起動時情報を書き込む。
 第1フィールドDA02には、第1ユニット1001において起動させるアプリを指定する情報が格納される。第2フィールドDA03には、起動設定時に用いる情報、および起動後に用いる情報が格納される。
 図12は、種別「100」のコマンド(以下、「第5コマンド」と称する)を説明するための図である。CPU210は、第5コマンドを、第2ユニット1002の本体装置104から第1ユニット1001に送る。
 CPU210は、ヘッダDA01に、コマンドの種別(「100」)、コマンドの送信先等を書き込む。CPU210は、第1フィールドDA02に、番号が「1」の受信要求に関する情報を書き込む。CPU210は、第2フィールドDA03に、番号が「2」の個数に関する情報を書き込む。CPU210は、第3フィールドDA04に、番号が「3」のファイルに関する情報を書き込む。
 第1フィールドDA02に「01」が設定された第5コマンドは、第1ユニット1001に対してファイルの受信を要求する。また、第2フィールドDA03には、第2ユニット1002が第1ユニット1001に送信するファイルの個数が格納される。さらに、第3フィールドDA04には、第2ユニット1002が第1ユニット1001に送信するファイルが格納される。
 図13は、種別「101」のコマンド(以下、「第6コマンド」と称する)を説明するための図である。CPU110は、第6コマンドを、第1ユニット1001の本体装置101から第2ユニット1002に送る。あるいは、CPU210は、第6コマンドを、第2ユニット1002の本体装置104から第1ユニット1001に送る。
 CPU110,210は、ヘッダDA01に、コマンドの種別(「101」)、コマンドの送信先等を書き込む。CPU110,210は、第1フィールドDA02に、番号が「1」の通信種別の値を書き込む。CPU110,210は、第2フィールドDA03に、番号が「2」の接続先の値を書き込む。CPU110,210は、第3フィールドDA04に、番号が「3」の転送先の値を書き込む。CPU110,210は、第4フィールドDA05に、番号が「4」の信号強度の取得タイミングの値を書き込む。
 第1フィールドDA02に「001」が設定された第6コマンドは、相手側の装置に対して赤外線通信を行なうことを要求する。また、第1フィールドDA02に「010」が設定された第6コマンドは、相手側の装置に対してBluetooth(登録商標)による無線通信を行なうことを要求する。さらに、第1フィールドDA02に「011」が設定された第6コマンドは、相手側の装置に対してLAN通信を行なうことを要求する。
 第2フィールドDA03に「000」が設定された第6コマンドは、通信の接続先を指定する情報を有していないことを示す。
 また、第2フィールドDA03に「001」が設定された第6コマンドは、第1ユニット1001によって、当該第1ユニット1001の接続先の装置に送信される。そのような第6コマンドは、第1ユニット1001が接続する装置に関する情報の送信を要求する。
 さらに、第2フィールドDA03に「010」が設定された第6コマンドは、第2ユニット1002によって、当該第2ユニット1002の接続先の第1ユニット1001に送信される。そのような第6コマンドは、第2ユニット1002が接続する第1ユニット1001に関する情報の送信を要求する。
 また、第2フィールドDA03に「011」が設定された第6コマンドは、第2ユニット1002によって、当該第2ユニット1002の接続先の第1ユニット1001に送信される。そのような第6コマンドは、第2ユニット1002に関する情報を接続先の機器情報として設定することを要求する。
 さらに、第2フィールドDA03に「100」が設定された第6コマンドは、第1ユニット1001によって、当該第1ユニット1001の接続先の装置(たとえば、第2ユニット1002)に送信される。そのような第6コマンドは、第1ユニット1001に関する情報を接続先の機器情報として設定することを要求する。
 第3フィールドDA04に「000」が設定された第6コマンドは、データ(たとえば、ファイル)の転送先を指定する情報を有していないことを示す。
 また、第3フィールドDA04に「001」が設定された第6コマンドは、第1ユニット1001によって、データ転送先の装置に送信される。そのような第6コマンドは、データ転送先の装置に関する情報の送信を要求する。
 さらに、第3フィールドDA04に「010」が設定された第6コマンドは、第2ユニット1002によって、データ転送先の第1ユニット1001に送信される。そのような第6コマンドは、データ転送先の第1ユニット1001に関する情報の送信を要求する。
 また、第3フィールドDA04に「011」が設定された第6コマンドは、第2ユニット1002によって、データ転送先の第1ユニット1001に送信される。そのような第6コマンドは、第2ユニット1002に関する情報をデータ転送元の機器情報として設定することを要求する。
 さらに、第3フィールドDA04に「100」が設定された第6コマンドは、第1ユニット1001によって、データ転送先の装置(たとえば、第2ユニット1002)に送信される。そのような第6コマンドは、第1ユニット1001に関する情報をデータ転送元の機器情報として設定することを要求する。
 第4フィールドDA05に「00」、「01」、「10」、または「11」が設定された第6コマンドは、第1ユニット1001によって、第2ユニット1002に送信される。
 第4フィールドDA05に「00」が設定された第6コマンドは、第2ユニット1002に対して、信号強度を示したデータの送信を要求しない。また、第4フィールドDA05に「01」が設定された第6コマンドは、信号強度検出部297に対して、そのときの信号強度を示したデータの送信を要求する。さらに、第4フィールドDA05に「10」が設定された第6コマンドは、信号強度に変化があったときの信号強度を示したデータの送信を要求する。また、第4フィールドDA05に「11」が設定された第6コマンドは、一定周期毎に信号強度を示したデータの送信を要求する。
 図14は、応答データの概略構成を示した図である。応答データは、第1コマンド(センシングコマンド)の内容に応じたデータである。
 第1コマンドが本体装置101から第2ユニット1002に送信された場合、CPU210は、応答データを、表示装置103から第1ユニット1001に送信する。また、第1コマンドが本体装置101から第1ユニット1001の表示装置102に送信された場合、画像処理エンジン180は、応答データを、画像処理エンジン180から本体装置101に送信する。なお、以下では、第1コマンドが本体装置101から第2ユニット1002に送信された場合を例に挙げて説明する。
 図14を参照して、応答データは、ヘッダのデータ領域DA11と、座標を示すデータ領域DA12と、時刻を示すデータ領域DA13と、画像を示すデータ領域DA14とを含む。ここで、座標を示すデータ領域DA12には、部分画像の中心座標の値が書き込まれる。また、時刻を示すデータ領域には、画像処理エンジン280のタイマ282から取得した時刻情報が書き込まれる。さらに、画像を示すデータ領域には、画像処理エンジン280により処理がされた後の画像データ(つまり、スキャンデータ)が書き込まれる。
 図15は、指900をスキャンすることにより得られた画像(つまり、スキャン画像)を示した図である。図15を参照して、太実線で囲まれた領域W1の画像が全体画像であり、破線で囲まれた領域P1の画像が部分画像である。また、太線で示した十字の中心点C1が、中心座標となる。
 本実施の形態では、矩形の領域であって、かつセンサ信号線SSjからの出力電圧が予め定められた値以上となった光センサ回路が備えられた画素(つまり、予め定められた階調または予め定められた輝度以上の画素)全てを含む領域を、部分画像の領域としている。
 また、中心座標は、部分画像の領域における各画素の階調を考慮して決定される座標である。具体的には、中心座標は、部分画像内の各画素に関し、画素の階調と、当該画素と上記矩形の中心点(つまり図心)との距離とに基づき、重み付け処理を行うことにより決定される。つまり、中心座標は、部分画像の図心とは必ずしも一致しない。
 ただし、必ずしも中心座標の位置は上記に限定されるものではなく、中心座標を上記図心の座標あるいは図心の近傍の座標としてもよい。
 第1コマンドのデータ種別を示すデータ領域に「001」が設定されている場合には、画像処理エンジン280は、座標を示すデータ領域DA12に上記中心座標の値を書き込む。この場合、画像処理エンジン280は、画像を示すデータ領域DA14には画像データを書き込まない。画像処理エンジン280は、上記中心座標の値の書き込みを行なった後、当該中心座標の値を含む応答データを本体装置104に送る。本体装置104は、当該中心座標の値を含む応答データを第1ユニット1001の本体装置101に送る。このように、データ種別を示すデータ領域に「001」が設定されている場合には、第1コマンドは、画像データの出力を要求せずに、中心座標の値の出力を要求する。
 また、第1コマンドのデータ種別を示すデータ領域に「010」が設定されている場合には、画像処理エンジン280は、画像を示すデータ領域DA14に、スキャン結果が変化した部分画像の画像データを書き込む。この場合、画像処理エンジン280は、中心座標の値を座標を示すデータ領域DA12に書き込まない。画像処理エンジン280は、上記スキャン結果が変化した部分画像の画像データの書き込みを行なった後、当該部分画像の画像データを含む応答データを本体装置104に送る。本体装置104は、当該部分画像の画像データを含む応答データを第1ユニット1001の本体装置101に送る。このように、データ種別を示すデータ領域に「010」が設定されている場合には、第1コマンドは、中心座標の値の出力を要求せずに、スキャン結果が変化した部分画像の画像データの出力を要求する。
 なお、上記のように、スキャン結果が変化した部分画像のみの送信を要求する構成とした理由は、スキャンデータのうち部分画像の領域のスキャンデータが、当該領域以外のスキャンデータよりも重要度の高いデータであること、および、指900などのスキャン対象物との接触状態により、スキャンデータのうち部分画像の領域に相当する領域のスキャンデータが変化しやすいことによる。
 また、第1コマンドのデータ種別を示すデータ領域に「011」が設定されている場合には、画像処理エンジン280は、座標を示すデータ領域DA12に中心座標の値を書き込むとともに、画像を示すデータ領域DA14にスキャン結果が変化した部分画像の画像データを書き込む。その後、画像処理エンジン280は、当該中心座標の値と当該部分画像の画像データとを含む応答データを本体装置104に送る。本体装置104は、当該中心座標の値と当該部分画像の画像データとを含む応答データを第1ユニット1001の本体装置101に送る。このように、データ種別を示すデータ領域に「011」が設定されている場合には、第1コマンドは、中心座標の値の出力と、スキャン結果が変化した部分画像の画像データの出力とを要求する。
 また、第1コマンドのデータ種別を示すデータ領域に「100」が設定されている場合には、画像処理エンジン280は、図14に示した応答データの画像を示すデータ領域DA14に、全体画像の画像データを書き込む。この場合、画像処理エンジン280は、中心座標の値を座標を示すデータ領域DA12に書き込まない。画像処理エンジン280は、上記全体画像の画像データの書き込みを行なった後、当該全体画像の画像データを含む応答データを本体装置104に送る。本体装置104は、当該全体画像の画像データを含む応答データを第1ユニット1001の本体装置101に送る。このように、データ種別を示すデータ領域に「100」が設定されている場合には、第1コマンドは、中心座標の値の出力を要求せずに、全体画像の画像データの出力を要求する。
 また、第1コマンドのデータ種別を示すデータ領域に「101」が設定されている場合には、画像処理エンジン280は、座標を示すデータ領域DA12に中心座標の値を書き込むとともに、画像を示すデータ領域DA14に全体画像の画像データを書き込む。その後、画像処理エンジン280は、当該中心座標の値と当該全体画像の画像データとを含む応答データを本体装置104に送る。本体装置104は、当該中心座標の値と当該全体画像の画像データとを含む応答データを第1ユニット1001の本体装置101に送る。このように、データ種別を示すデータ領域に「101」が設定されている場合には、第1コマンドは、中心座標の値の出力と、全体画像の画像データの出力とを要求する。
 <構成の第1の変形例について>
 ところで、液晶パネル140の構成は、図3に示した構成に限定されるものではない。以下では、図3とは異なる態様の液晶パネルについて説明する。
 図16は、上記異なる態様である光センサ内蔵液晶パネル140Aの回路図である。図16を参照して、光センサ内蔵液晶パネル140A(以下、液晶パネル140Aと称する)は、1画素内に3つの光センサ回路(144r,144g,144b)を含んでいる。このように液晶パネル140Aが1画素内に3つの光センサ回路(144r,144g,144b)を備える点において、液晶パネル140Aは、1画素内に1つの光センサ回路を備える液晶パネル140と異なる。なお、光センサ回路144の構成と、3つの各光センサ回路(144r,144g,144b)との構成は同じである。
 また、1画素内における3つのフォトダイオード(145r,145g,145b)は、それぞれ、カラーフィルタ153r、カラーフィルタ153g、カラーフィルタ153bに対向する位置に配されている。それゆえ、フォトダイオード145rは赤色の光を受光し、フォトダイオード145gは緑色の光を受光し、フォトダイオード145bは青色の光を受光する。
 また、液晶パネル140は1画素内において1つの光センサ回路144しか含まないため、1画素内に配設されるTFT147用のデータ信号線は、センサ信号線SSjとセンサ信号線SDjとの2本であった。しかしながら、液晶パネル140Aは1画素内において3つの光センサ回路(144r,144g,144b)を含むため、1画素内に配設されるTFT(147r,147g,147b)用のデータ信号線は6本となる。
 具体的には、カラーフィルタ153rに対向する位置に配されたフォトダイオード145rのカソードに接続されたTFT147rに対応して、センサ信号線SSRjとセンサ信号線SDRjとが配設される。また、カラーフィルタ153gに対向する位置に配されたフォトダイオード145gのカソードに接続されたTFT147gに対応して、センサ信号線SSGjとセンサ信号線SDGjとが配設される。さらに、カラーフィルタ153bに対向する位置に配されたフォトダイオード145bのカソードに接続されたTFT147bに対応して、センサ信号線SSBjとセンサ信号線SDBjとが配設される。
 このような液晶パネル140Aにおいては、バックライト179から照射された白色光は、3つのカラーフィルタ(153r,153g,153b)を透過し、液晶パネル140Aの表面では、赤、緑、および青とが混ざり白色光となる。ここで、スキャン対象物により白色光が反射されると、スキャン対象物の表面の色素に白色光の一部が吸収され、また一部が反射される。そして、反射された光は、再度、3つのカラーフィルタ(153r,153g,153b)を透過する。
 この際、カラーフィルタ153rは赤色の波長の光を透過し、フォトダイオード145rは、当該赤色の波長の光を受光する。また、カラーフィルタ153gは緑色の波長の光を透過し、フォトダイオード145gは、当該緑色の波長の光を受光する。また、カラーフィルタ153bは青色の波長の光を透過し、フォトダイオード145bは、当該青色の波長の光を受光する。つまり、スキャン対象物によって反射された光は3つのカラーフィルタ(153r,153g,153b)によって3原色(R,G,B)に色分解され、各フォトダイオード(145r,145g,145b)は、それぞれに対応した色の光を受光する。
 スキャン対象物の表面の色素に白色光の一部が吸収されると、各フォトダイオード(145r,145g,145b)の受光量が各フォトダイオード(145r,145g,145b)で異なることになる。このため、センサ信号線SSRjとセンサ信号線SSGjとセンサ信号線SSBjとの出力電圧は互いに異なる。
 それゆえ、各出力電圧に応じて、Rの階調とGの階調とBの階調とを画像処理エンジン180が決定することにより、画像処理エンジン180はRGBのカラー画像を本体装置101へ送ることができる。
 以上述べたように、電子機器100が液晶パネル140Aを備えた構成とすることにより、スキャン対象物をカラーでスキャンできることになる。
 次に、図17を参照して、前述のスキャンの方法(つまり、図6における反射像をスキャンする方法)とは異なるスキャンの方法について説明する。
 図17は、スキャンの際にフォトダイオードが外光を受光する構成を示した断面図である。同図に示すとおり、外光の一部は、指900によって遮られる。それゆえ、指900と接触している液晶パネル140の表面領域の下部に配されたフォトダイオードは、ほとんど外光を受光できない。また、指900の影が形成された表面領域の下部に配されたフォトダイオードは、ある程度の外光を受光できるものの、影が形成されていない表面領域に比べると外光の受光量が少ない。
 ここで、バックライト179を、少なくともセンシング期間においては消灯させておくことにより、光センサ回路144は、液晶パネル140の表面に対する指900の位置に応じた電圧をセンサ信号線SSjから出力することができる。このように、バックライト179を点灯と消灯とを制御することにより、液晶パネル140では、指900の接触位置、指900の接触している範囲(指900の押圧力によって定まる)、液晶パネル140の表面に対する指900の方向などに応じて、センサ信号線(SS1からSSn)から出力される電圧が変化することになる。
 以上により、表示装置102は、指900によって外光が遮られることにより得られる像(以下、影像とも称する)をスキャンすることができる。
 さらに、表示装置102を、バックライト179を点灯させてスキャンを行った後に、バックライト179を消灯させて再度スキャンを行う構成としてもよい。あるいは、表示装置102を、バックライト179を消灯させてスキャンを行った後に、バックライト179を点灯させて再度スキャンを行う構成としてもよい。
 この場合には、2つのスキャン方式を併用することになるため、2つのスキャンデータを得ることができる。それゆえ、一方のスキャン方式のみを用いてスキャンする場合に比べて、精度の高い結果を得ることができる。
 <表示装置について>
 表示装置103の動作は、表示装置102の動作と同様、本体装置101からのコマンド(たとえば、第1コマンド)に応じて制御される。表示装置103は表示装置102と同様な構成を有する。それゆえ、表示装置103が表示装置102と同じコマンドを本体装置101から受け付けた場合、表示装置103は表示装置102と同様の動作を行う。このため、表示装置103の構成や動作についての説明は繰り返さない。
 なお、本体装置101は、表示装置102と表示装置103とに対して、命令が異なるコマンドを送ることができる。この場合、表示装置102と表示装置103とは別々の動作を行う。また、本体装置101は、表示装置102および表示装置103のいずれかに対して、コマンドを送ってもよい。この場合、一方の表示装置のみがコマンドに応じた動作を行う。また、本体装置101が、表示装置102と表示装置103とに命令が同じコマンドを送ってもよい。この場合、表示装置102と表示装置103とは、同じ動作を行う。
 なお、表示装置102の液晶パネル140のサイズと表示装置103の液晶パネル240のサイズとは、同じであってもよいし又は異なっていてもよい。また、液晶パネル140の解像度と液晶パネル240の解像度とは、同じであってもよいし又は異なっていてもよい。
 <構成の第2の変形例について>
 本実施の形態では、電子機器100が、液晶パネル140と液晶パネル240といったそれぞれに光センサを内蔵した液晶パネルを備える構成について説明するが、一方の液晶パネルのみが光センサを内蔵している構成であってもよい。
 図18は、電子機器1300のハードウェア構成を表すブロック図である。電子機器1300は、電子機器100と同様、第1の筐体100Aと、第2の筐体100Bとを含む。また、図18を参照して、電子機器1300は、第1ユニット1001Aと、第2ユニット1002とを含む。第1ユニット1001Aは、本体装置101と、表示装置102Aとを含む。第2ユニット1002は、本体装置104と、表示装置103とを含む。
 表示装置102Aは、光センサを内蔵しない液晶パネル(つまり、表示機能のみを有する液晶パネル)を含む。電子機器1300は、第1ユニット1001Aが光センサを内蔵しない液晶パネルを含む点で、第1ユニット1001が光センサを内蔵した液晶パネル240を含む電子機器100と異なる。このような電子機器1300は、第2ユニット1002の表示装置103を用いて上述したセンシングを行なう。
 また、第1ユニット1001は、光センサを内蔵した液晶パネル140の代わりに、たとえば抵抗膜方式や静電容量方式のタッチパネルを備えてもよい。
 また、本実施の形態では、表示装置102がタイマ182を備え、表示装置103がタイマ282を備える構成として説明するが、表示装置102と表示装置103とが1つのタイマを共有する構成としてもよい。
 また、本実施の形態では、電子機器100を折畳型の機器として説明するが、電子機器100は必ずしも折畳型に限定されるものではない。たとえば、電子機器100は、第1の筐体100Aが第2の筐体100Bに対してスライドする構成のスライド式の機器であってもよい。
 本実施の形態に係る電子機器100は、上記のように構成されているため、第2ユニット1002が、USBコネクタ194,294を介して第1ユニット1001に着脱自在になっている。
 そして、本実施の形態に係る電子機器100は、たとえば電源投入時において、以下のような機能を発揮することができる。まず、ユーザが第1ユニット1001の電源スイッチ191を押下すると、第1ユニット1001は電源回路192からの電力を利用することによってBIOS(Basic Input/Output System)を起動させる。
 第2ユニット1002は、USBコネクタ194,294を介して第1ユニット1001から電力を取得する。第2ユニット1002は、当該電力を利用することによって、第1ユニット1001との間でデータを送受信することができる。このとき、第2ユニット1002のCPU210は、USBコネクタ194,294からの電力を使用することによって、液晶パネル240にOS(Operation System)の種類を選択可能に表示させることができる。なお、第2ユニット1002は、USBコネクタ194,294を介さずに、直接、電源192から電力の供給を受けても良い。
 ユーザは、液晶パネル240を介して、起動したいOSを選択する。CPU210は、ユーザの選択に応じ、USBコネクタ194,294を介して第1ユニット1001へと、起動すべきOSを指定するコマンド(たとえば、図10に示す「第1のOS」コマンド)を送信する。第1ユニット1001は、当該コマンドに応じて、OSを起動する。
 また、たとえば、第2ユニット1002は、アンテナ295を介して外部の携帯電話などとの間でデータの送受信を行う。第2ユニット1002のCPU210は、アンテナ295を介して、外部の携帯電話から写真画像データや対応するサムネイルデータを取得して、当該写真画像データや対応するサムネイルデータをRAM271などに格納する。CPU210は、RAM271からサムネイルデータを読み出して、液晶パネル240に写真のサムネイル画像を選択可能に表示させる。
 そして、外部からの選択命令に応じて、CPU210は、液晶パネル240に写真画像を表示させる。あるいは、CPU210は、USBコネクタ294を介して、写真画像を液晶パネル140あるいは表示装置102Aに表示させる。
 <構成の第3の変形例>
 本実施の形態では、電子機器100は、図19に示されるように、第2の筐体100Bに、さらに、キー操作部を備えていても良い。また、本実施の形態では、電子機器100は、ノート型のパーソナルコンピュータとして構成される。なお、電子機器100は、PDA(Personal Digital Assistant)、携帯型電話機、電子辞書などの表示機能を有するデバイスとして構成されてもよい。図20に、図19に示した電子機器100のハードウェア構成を表わすブロック図を示す。
 図20に示された本体装置101は、図2に示した電子機器100の本体装置101に、さらに、HDD(Hard Disc Drive)170を備える。
 電子機器100では、CPU110は、プログラムを実行する。操作キー177は、電子機器100の使用者による指示の入力を受ける。HDD170は、データの書込みおよび読出しが可能な記憶装置である。ただし、HDD170は、そのような記憶装置の一例である。電子機器100では、HDD170の代わりに、フラッシュメモリなどの記憶装置を用いられてもよい。
 また、図20に示された本体装置104は、図2に示された本体装置104に対して、タイマ273と、キー操作部(左クリックキー241と、センターキー242と、右クリックキー243)とをさらに含む。各構成要素(210,241~243,271,272,274,273,293)は、相互にデータバスDB2によって接続されている。
 図21は、図19の電子機器100の機能的構成を示すブロック図である。
 電子機器100は、すでに説明したとおり、第1ユニット1001と、第2ユニット1002とを含む。以下、図21を参照して、電子機器100の機能的構成について説明する。
 第1ユニット1001は、表示部310と、入力部320と、記憶部330と、インターフェース部340と、制御部350とを含む。第1ユニット1001は、電子機器100の主要な動作を行なう。
 表示部310は、第1ユニット1001内部の情報を外部に表示する。入力部320は、外部からの指示を受け付ける。本実施の形態では、液晶パネル140が、表示部310および入力部320の機能を兼ね備える。ただし、表示部310としては、他の表示装置、例えば、LCD(Liquid Crystal Display)などのディスプレイを用いてもよい。また、操作キー177も入力部320の機能を果たす。
 記憶部330は、第1ユニット1001の表示部310(液晶パネル140)に表示される画面の基となる表示データ333、プログラム334、動作パラメータ335などの情報を格納する。記憶部330は、一般に、複数のプログラム334を格納する。ここでのプログラム334としては、汎用的なアプリケーションソフト、例えば、ワープロやWebブラウザなどがある。
 動作パラメータ335は、プログラム334の動作条件を与えるための情報である。動作パラメータ335としては、例えば、マルチウィンドウのプログラム334において、操作キー177の押下などに応じて動作するアクティブなウィンドウを示すデータがある。
 インターフェース部340は、第2ユニット1002側のインターフェース部440との間で情報の授受を行なう。本実施の形態では、第1ユニット1001と第2ユニット1002が直接接続されている場合、USBコネクタ194がインターフェース部340として機能する。第1ユニット1001と第2ユニット1002が直接接続されていない場合、アンテナ195がインターフェース部340として機能する。ただし、インターフェース部340による情報の授受方法は、これに限られるわけではない。
 制御部350は、入力部320からの指示等に基づいて、表示部310、記憶部330、および、インターフェース部340の動作を制御する。制御部350は、入力処理部352と、表示制御部356と、プログラム実行部358とを含む。本実施の形態では、CPU110および画像処理エンジン180が制御部350に相当する。ただし、CPU110の各機能は、専用回路などのハードウェアによって実現されてもよい。また、画像処理エンジン180の各機能は、ソフトウェアを実行するCPU110によって実現されてもよい。すなわち、制御部350の各機能は、ハードウェアによって実現されてもよいし、ソフトウェアによって実現されてもよい。
 入力処理部352は、入力部320から受け取った信号を、プログラム実行部358に送信する。表示制御部356は、記憶部330に格納される表示データ333に基づいて、表示部310の動作を制御する。プログラム実行部358は、入力部320から受け付けた指示などに基づいて、プログラム334を実行する。具体的には、RAM171をワーキングメモリとして用いて、プログラム334を実行するCPU110がプログラム実行部358に相当する。
 第2ユニット1002は、表示部410と、入力部420と、記憶部430と、インターフェース部440と、制御部450と、タイマ273とを含む。
 表示部410は、第2ユニット1002内部の情報を外部に表示する。入力部420は、外部からの指示を受け付ける。本実施の形態では、光センサ内蔵液晶パネル240、左クリックキー241、センターキー242、および、右クリックキー243が入力部420に相当する。また、本実施の形態では、光センサ内蔵液晶パネル240が、表示部410および入力部420(パネル入力部422)の機能を兼ね備える。ただし、表示部410としては、他の表示装置、例えば、LCDなどのディスプレイを用いてもよい。また、入力部320としては、光センサ内蔵液晶パネル240に限られず、入力位置を認識する機能を有するデバイス(タブレット)を用いることができる。例えば、入力部420として、静電容量型のタッチパネルを用いてもよい。このように表示部410と入力部420との機能を実現する構成物を、「表示一体型タッチパッド」とよぶ。
 記憶部430は、入力データ431、表示データ433、プログラム434、動作パラメータ435、時刻データ436、およびモードデータ437などの情報を格納する。
 入力データ431は、入力部420が受け付けた入力に基づき作成されたデータである。特に、本実施の形態においては、入力データ431は、入力の履歴に対応する入力履歴432を含む。入力履歴432は、手書き文字データ432aおよびイラストデータ432bを含む。手書き文字データ432aおよびイラストデータ432bの詳細は後述する。
 表示データ433は、第2ユニット1002の表示部410(液晶パネル240)に表示される画面の基となる。表示データ433には、記憶部430に格納されている画像データ(壁紙など)や、プログラム434の実行にともない作成された画像データが含まれる。
 本実施の形態においては、記憶部430は、複数のプログラム434を格納する。プログラム434は、液晶パネル240に動作画面を表示するアプリケーションソフト(例えば、手書き文字入力ソフトや、手描きイラスト入力ソフトや、電卓ソフト)を含む。プログラム434の詳細については、後述する。
 動作パラメータ435は、第1ユニット1001における動作パラメータ335と同様、プログラム434の動作条件を与えるための情報である。特に、本実施の形態では、動作パラメータ435は、プログラム434によって作成された所定のイベントからの経過時間のカウント値を含む。
 時刻データ436は、タイマ273で測定された時刻を表わす。時刻データ436は、時間経過に応じて所定の動作を行なうプログラム434の実行の際などに、利用される。
 モードデータ437は、入力処理部452の動作モードを表わす情報である。入力処理部452の動作モードは複数あり、モードデータ437は、現在の動作モードを表わす。具体的には、例えば、所定の記憶領域に格納されたフラグを、モードデータ437とみなせる。なお、入力処理部452の動作モードの詳細については、後述する。
 インターフェース部440は、第1ユニット1001側のインターフェース部340との間で情報の授受を行なう。本実施の形態では、第1ユニット1001と第2ユニット1002が直接接続されている場合、USBコネクタ294がインターフェース部440として機能する。第1ユニット1001と第2ユニット1002が直接接続されていない場合、アンテナ295がインターフェース部440として機能する。ただし、インターフェース部440による情報の授受方法は、これに限られるわけではない。
 制御部450は、入力部420が受け付けた指示等に基づいて、表示部410、記憶部430、および、インターフェース部440の動作を制御する。制御部450は、入力処理部452と、表示制御部456と、プログラム実行部458とを含む。
 入力処理部452は、入力部420からの信号を、プログラム実行部458またはインターフェース部440に送信する。入力処理部452は、パネル入力処理部453と、モード設定部454とを含む。
 パネル入力処理部453は、パネル入力部422からの信号を処理する。例えば、パネル入力処理部453は、信号の履歴に基づいて、入力履歴432(手書き文字データ432aやイラストデータ432bなど)を作成する。パネル入力処理部453の動作の詳細については後述する。
 モード設定部454は、入力部420からの所定の信号(センターキー242の押下による信号など)に基づいて、パネル入力処理部453の動作モードを設定する。モード設定部454の動作の詳細については後述する。
 表示制御部456は、表示データ433に基づいて、表示部410の動作を制御する。表示制御部456は、例えば、表示部410に、プログラム434の実行の結果、作成された画面(動作画面)などを表示する。
 プログラム実行部458は、入力部420から受け付けた指示などに基づいて、プログラム434を実行する。具体的には、RAM271をワーキングメモリとして用いて、プログラム434を実行するCPU210がプログラム実行部458に相当する。
 <動作の概略>
 (マウスモードとタブレットモード)
 電子機器100は、液晶パネル240に入力された指示、すなわち、液晶パネル240への物体(指900やスタイラス950など)の接触に応じて、アプリケーションの動作のための指示を出す。電子機器100(より特定的には、パネル入力処理部453)には、「マウスモード」と「タブレットモード」との2つの動作モードがある。電子機器100は、これらの2つの動作モードに応じて動作する。
 電子機器100は、マウスモードにおいては、液晶パネル240への入力に応じてプログラム334を実行し、実行されたプログラム334が作成した画像(以下、「プログラムの動作画面」とよぶ)を液晶パネル140に表示する。
 具体的には、電子機器100は、マウスモードにおいて、液晶パネル240への入力位置の変化に応じて、リアルタイムに、液晶パネル140の動作画面中のカーソルを移動する。なお、ここで、「カーソル」とは、文字や、図、表示オブジェクトなどの入力位置を指し示す表示のことを指す。
 また、電子機器100は、マウスモードにおいて、液晶パネル240への所定の入力に応じて、第1ユニット1001のプログラム334に所定の動作を指示するコマンドを作成する。例えば、電子機器100は、液晶パネル240がクリックやダブルクリック、ドラッグなどに相当する入力を受け付けたと判断すると、入力に応じて、プログラム334を実行する。この際に電子機器100が行なう動作は、プログラム334によって決まる。
 すなわち、電子機器100がマウスモードにあるとき、ユーザは、液晶パネル240をタッチパッドとして使うことができる。以下では、簡単のため、カーソル位置の移動および液晶パネル240への所定の入力に応じたプログラム334の動作を総称して、「マウス動作」と呼ぶことにする。
 タブレットモードにおいては、電子機器100は、液晶パネル240への入力に応じてプログラム434(またはプログラム334)を実行し、実行されたプログラムの動作画面を液晶パネル240に表示する。また、電子機器100は、液晶パネル240に動作画面が表示されるプログラムに対するコマンドを作成する。例えば、液晶パネル240に操作ボタンが表示されている場合、電子機器100は、プログラム434を実行し、タッチされた液晶パネル240上の操作ボタンに応じた動作を行なう。すなわち、電子機器100がタブレットモードにあるとき、ユーザは、液晶パネル240をタッチスクリーンとして使うことができる。
 電子機器100は、動作モードを、所定の指示に基づいて、切り替える。本実施の形態では、電子機器100は、センターキー242の押下に応じて、動作モードを切り替える。
 ただし、動作モードの切替指示は、センターキー242の押下に限られない。電子機器100は、センターキー242以外の操作キー177の押下に応じて動作モードを切り替えてもよい。また、電子機器100は、液晶パネル140または液晶パネル240に表示される操作ボタンの選択に応じて、動作モードを切り替えてもよい。また、電子機器100は、電子機器の動作状態(起動処理中、スリープや休止状態からの復帰中など)によっても動作モードを切り替える。この点については、後で詳しく説明する。
 マウスモードおよびタブレットモードでの液晶パネル140および液晶パネル240の表示について、図22を参照して説明する。図22は、マウスモードおよびタブレットモードのそれぞれにおいて電子機器が表示する画面を説明するための図である。
 マウスモードにおいて、電子機器100は、液晶パネル140にワープロソフトやWebブラウザなどのソフトの動作画面500を表示する。画面500は、現在広く普及している(すなわち1つのディスプレイを持つ)パーソナルコンピュータによる表示画面と同様なものである。ただし、図22においては、簡単のため、画面500の中身は描いていない。また、画面500は、この具体例に限られるわけではない。
 画面500は、カーソル510を含む。ここでは、カーソル510は、画面500上を自由に移動可能なポインタ(マウスポインタ)であるとする。ただし、カーソル510は、ポインタに限られない。カーソル510は、文字や表示オブジェクトの入力位置を指し示す表示であってもよい。また、カーソル510の表示形態は、図22に示すもの(矢印)に限られるわけではない。また、電子機器100は、カーソル510の表示形態を、その指し示す位置によって変えてもよい。
 また、マウスモードにおいて、電子機器100は、液晶パネル240に画面600を表示する。以下、マウスモード時に液晶パネル240に表示される画面を「マウス画面」とも呼ぶ。図22を参照して、画面600は、ガイダンス表示610を含む。
 ガイダンス表示610は、左クリックキー241、センターキー242、および右クリックキー243が押下されたときの電子機器100の動作の説明を表わすための表示である。ガイダンス表示610は、左ガイダンス表示612と、センターガイダンス表示614と、右ガイダンス表示616とを含む。
 左ガイダンス表示612と、センターガイダンス表示614と、右ガイダンス表示616とは、それぞれ、左クリックキー241、センターキー242、および右クリックキー243が押下されたときの電子機器100の動作を説明する文字および/または記号を含む(ただし、そのような文字および記号は、図22には示していない)。
 なお、マウス画面は、左ガイダンス表示612、センターガイダンス表示614および右ガイダンス表示616を、常には表示していなくてもよい。本実施の形態では、電子機器100は、対応するキーが無効のときは、左ガイダンス表示612、センターガイダンス表示614および右ガイダンス表示616を液晶パネル240に表示しない。
 マウス画面の1つの具体例を図23に示す。図23を参照して、画面600は、左ガイダンス表示612と、センターガイダンス表示614と、右ガイダンス表示616とを含む。
 図23では、左ガイダンス表示612は、文字「左クリック」を含む。この表示がなされているときは、電子機器100は、左クリックキー241の押下に応じて、左クリック動作(決定処理など)を行なう。左クリック動作は、起動中のプログラムによって決まる。
 図23では、センターガイダンス表示614は、文字「タッチスクリーン操作」を含む。この表示がなされるのは、電子機器100がマウスモードにあるときである。この表示がなされているときは、電子機器100は、センターキー242の押下に応じて、タブレットモードに移行する。
 なお、電子機器100は、タブレットモードにあるときは、センターガイダンス表示614に文字「マウス操作」を含む文字を表示する。この表示がなされているときは、電子機器100は、センターキー242の押下に応じて、マウスモードに移行する。
 右ガイダンス表示616は、文字「右クリック」を含む。これは、右クリックキー243の押下に応じて、電子機器100が右クリック動作(メニューの表示など)を行なうことを示している。右クリックの詳細動作は、起動中のプログラムによって決まる。
 なお、本実施の形態では、マウス画面は、ユーザが設定できるものとする。ユーザは、電子機器100に格納した写真などの画像をマウス画面の壁紙に設定できてもよい。また、壁紙は、時計やカレンダーなどユーザ操作を必要としないアクセサリの動作画面であってもよい。また、ユーザがマウス画面を設定できない場合も、マウス画面は、図23に示すものに限られるものではない。また、壁紙は、電子機器100の状態によっても、自動的に変化し得る。
 具体的には、マウス画面として表示される画像のデータがROM272やRAM271等の記憶装置に記憶され、CPU210は、マウスモードにおいて、当該記憶装置から画像データを読み出して、液晶パネル240に表示させる。
 図22に戻って、タブレットモード時の画面について説明する。タブレットモードにおいて、液晶パネル140は、ワープロソフトやWebブラウザなどのソフトの動作画面700を表示する。動作画面700の内容は、動作画面500と同様である。
 また、タブレットモードにおいて、電子機器100は、液晶パネル240に画面800を表示する。以下、タブレットモード時に液晶パネル240に表示される画面を「タブレット画面」とも呼ぶ。図22を参照して、画面800は、ガイダンス表示810および操作ボタン表示820を含む。
 ガイダンス表示810は、マウスモードにおけるガイダンス表示610と同様に、左ガイダンス表示812と、センターガイダンス表示814と、右ガイダンス表示816とを含む。これらの役割および動作は、それぞれ、左ガイダンス表示612と、センターガイダンス表示614と、右ガイダンス表示616と同様であり、これらの詳細な説明は繰り返さない。
 操作ボタン表示820は、アプリケーションの選択に用いられる。電子機器100は、操作ボタン表示820に対応する領域内に、外部物体(指900あるいはスタイラス950など)の接触を検知すると、領域に対応した所定の動作を開始する。
 (プログラムについて)
 ここで、電子機器100において、実行されるプログラムについて説明しておく。
 本実施の形態に係る電子機器100が実行するプログラムには、液晶パネル140に動作画面が表示されるプログラム(以下、「メインアプリケーション」とよぶ)と、液晶パネル240に動作画面が表示されるプログラム(以下、「サブアプリケーション」とよぶ)とがある。
 メインアプリケーションとしては、ブラウザ、辞書、ブックビューア、フォトビューアなど、現在の電子機器上で動作するアプリケーションを想定することができる。サブアプリケーションとしては、例えば、液晶パネル240への入力を利用する入力パッド(手書き文字入力パッド、手描きイラスト入力パッド、電卓/数字入力パッドなど)や、メインアプリケーションの操作補助用のアプリケーションがある。
 本実施の形態の説明においては、サブアプリケーションは、メインアプリケーションと独立であるとしている。メインアプリケーションは、第1ユニット1001の記憶部330に格納されている。一方、サブアプリケーションは、第2ユニット1002の記憶部430に格納されている。
 このように、メインアプリケーションは、サブアプリケーションと分離している。そのため、メインアプリケーションとしては、他の電子機器でも動作する汎用的なアプリケーションを利用することができる。この場合、サブアプリケーションのメインアプリケーションとのデータのやり取りの仕様を、メインアプリケーションの仕様に合わせる。例えば、サブアプリケーションによるマウス動作の指示は、従来のタッチパッドやマウスからの動作指示に合わせる。
 さらに、本実施の形態では、メインアプリケーションを実行するプログラム実行部358と、サブアプリケーションを実行するプログラム実行部458とは、独立である。このようにすることで、メインアプリケーションを実行するプロセッサ(本実施の形態では、CPU110)の負荷を減らすことができる。特に、電子機器100のCPUの性能が低い場合には、このようにプログラム実行部を分割することが有効である。
 本実施の形態のように第1ユニット1001および第2ユニット1002のそれぞれに制御部および記憶部を備えることで、第1ユニット1001と第2ユニット1002との間のデータのやりとりを少なくでき、処理を高速化しうる。
 ただし、サブアプリケーションは、必ずしもメインアプリケーションと独立でなくてもよい。すなわち、同一のプログラムが、メインアプリケーションおよびサブアプリケーションの両方として機能してもよい。具体的には、プログラムの一部が、液晶パネル140に表示する画面を作成し、プログラムの他の一部が、液晶パネル240に表示する画面を作成してもよい。
 また、メインアプリケーションおよびサブアプリケーションは、同一のプロセッサによって実行されてもよい。この場合は、アプリケーションを実行するプロセッサが、液晶パネル140および液晶パネル240の両方の動作を制御することになる。
 (サブアプリケーション)
 本実施の形態においては、電子機器100は、タブレットモードにおいて、複数のサブアプリケーションのいずれかを実行する。また、サブアプリケーションの1つに、実行するアプリケーションを決定するための「ホームアプリケーション」がある。
 ホームアプリケーションは、アプリケーション選択のためのランチャーである。ホームアプリケーションは、複数のサブアプリケーションの中からの1つのサブアプリケーションの選択のための画面(以下、「ホームメニュー画面」)を液晶パネル240に表示する。
 図24に、ホームメニュー画面の具体例を示す。図24を参照して、ホームメニュー画面は、ガイダンス表示810と、操作ボタン表示820a~820iと、マウス不可表示830とを含む。操作ボタン表示820a~820iがタッチされると、ホームアプリケーションは、操作ボタン表示820a~820iに対応するサブアプリケーションを呼び出す。マウス不可表示830は、電子機器100が、液晶パネル240への入力によって、マウス動作を行なわないことを示すための表示である。この表示は、ユーザが、タブレットモードにおける電子機器100の動作を正確に理解するのに役立つ。また、ユーザが、マウスモードとタブレットモードとを区別するのにも役立つ。
 本実施の形態においては、電子機器100は、ユーザの指示に基づいて、ホームメニュー画面をカスタマイズ可能であるとする。なお、ホームメニュー画面のカスタマイズが不可能な場合であっても、ホームメニュー画面の構成は、図24に示すものに限られるわけではない。例えば、操作ボタン表示820の個数や配置は、図24に示すものに限られない。また、マウス不可表示830も、図24に示すものに限られない。あるいは、マウス不可表示830は、ホームメニュー画面に含まれていなくてもよい。
 なお、タブレットモードにおけるデフォルトのサブアプリケーションは、ホームアプリケーションであるとする。すなわち、電子機器100が、起動後(電源を入れた後)、初めてタブレットモードで動作するときは、ホームアプリケーションを実行する。
 タブレットモードにおいて液晶パネル240に表示される画面800の遷移について、図25を参照して説明する。図25は、タブレットモードにおいて液晶パネル240に表示される画面800の遷移図である。
 図25を参照して、ユーザがホームメニュー画面800aの操作ボタン表示820(手描きイラスト)を選択すると、電子機器100は、手描きイラストアプリケーションを実行し、画面800bを液晶パネル240に表示する。画面800bは、手描きイラストアプリケーションの動作画面である。図25に示す画面800bでは、その手描き入力枠内に、当該手書きイラストアプリケーション実行中に入力された犬の絵が描かれている。
 画面800bにおいて、ユーザが、操作ボタン表示820(ホーム)を選択すると、電子機器100は、ウィンドウ800dを液晶パネル240に表示する。ここで、電子機器100は、ウィンドウ800dを画面800bと排他的に表示してもよいし、ウィンドウ800dを画面800bに重畳して表示してもよい。ウィンドウ800dは、作成した手描きイラストを保存するかを問い合わせる文章と、“はい”“いいえ”“キャンセル”の操作ボタン表示820とを含む。
 ウィンドウ800dの“はい”が選択されると、電子機器100は、ウィンドウ800dの表示前に入力枠になされている手描きイラストを、電子機器100内部あるいは外付けの記憶装置(ハードディスクやフラッシュメモリなど)に格納する。また、電子機器100は、ホームメニュー画面800aを、液晶パネル240に表示する。
 ウィンドウ800dの“いいえ”が選択されると、電子機器100は、ホームメニュー画面800aを、液晶パネル240に表示する。この場合、電子機器100は、ウィンドウ800dの表示前に入力枠になされている手描きイラストを、記憶装置に格納しない。
 ウィンドウ800dの“キャンセル”が選択されると、電子機器100は、ウィンドウ800dの表示前の画面800bを、液晶パネル240に表示する。すなわち、ユーザは、キャンセルを選択すれば、引き続き、その手描き入力枠内に、手描きイラストの作成を行なうことができる。
 ユーザがホームメニュー画面800aの操作ボタン表示820e(インターネット)を選択すると、電子機器100は、Webブラウザを起動するための、ホームページのリスト選択用の動作画面800cを液晶パネル140に表示する。
 画面800cにおいて、ユーザが、操作ボタン表示820(ホーム)を選択すると、電子機器100は、ホームメニュー画面800aを、液晶パネル240に表示する。この場合は、電子機器100は、入力されたデータの保存処理は行なわない。したがって、電子機器100は、ウィンドウ800dのような問合せ画面を表示することはしない。
 <モードの切り替え>
 ここからは、マウスモードとタブレットモードとの切り替えに際しての電子機器100の動作について、図26を参照しつつ、詳しく説明する。図26は、マウスモードとタブレットモードとの切り替え時の電子機器100の動作について説明するための図である。
 本実施の形態においては、電子機器100は、すでに説明したように、基本的には、センターキー242の押下に応じて、動作モードを切り替える。電子機器100は、タブレットモードからマウスモードに移行することも、マウスモードからタブレットモードに移行することも可能である。
 本実施の形態では、電子機器100は、タブレットモードからマウスモードに移行する際に、液晶パネル240への入力の処理方法の変更を行なう。すなわち、電子機器100は、液晶パネル240への入力を、サブアプリケーションへの動作指示ではなく、マウス動作指示であるとして扱うようにする。また、電子機器100は、マウスモードへの移行時に、液晶パネル240にマウス画面を表示する。
 ただし、電子機器100は、マウスモードに移行した後も、タブレットモードにおいて実行していたアプリケーションを動作させ続けておく。このことにより、電子機器100は、マウスモードからタブレットモードに移行する際に、スムーズに液晶パネル240に画面を表示することができる。これは、サブアプリケーションの立ち上げ時間が不要であるためである。
 また、タブレットモードにおいて実行していたアプリケーションを動作させ続けていることにより、ユーザがタブレットモードの途中に一時的に液晶パネル140によりマウス動作を行なう場合の操作性が向上する。例えば、電子機器100が、タブレットモードからマウスモードに移行したのち、タブレットモードに再び移行することを考える。電子機器100は、上のように動作するため電子機器100は、マウスモードへの移行前と移行後において、同一のサブアプリケーションの動作画面を液晶パネル240に表示する。したがって、ユーザは、マウス動作を行なった後、マウス動作前のサブアプリケーションを引き続き利用することができる。
 また、電子機器100は、マウスモードのみならずタブレットモードにおいても、メインアプリケーションの動作画面を液晶パネル140に表示する。したがって、電子機器100は、メインアプリケーションの動作画面の見易さを損なうことなく、ユーザに、サブアプリケーションの操作を行なわせることができる。
 (動作開始時のモード)
 特に、電子機器100の動作開始時に関係する動作モードの切り替えについて説明しておく。本実施の形態においては、電子機器100の動作開始には、大きく分けて、(i)電源オフ状態からの起動(以下、通常起動とよぶ)と、(ii)省電力状態からの起動(以下、再開とよぶ)との2つがあるものとする。
 ここで、「電源オフ状態」とは、電子機器100の各部(電子機器100の起動に必要な部分を除く)の動作が停止した状態である。「省電力状態」は、電子機器100の動作の一部が停止した状態である。
 省電力状態には、「スタンバイ状態」と、「休止状態」と、スタンバイ状態と休止状態との組み合わせである「ハイブリッドスリープ状態」とがある。
 スタンバイ状態への移行指示を受け付けると、電子機器100は、作業中のデータをRAM171に保存する。また、電子機器100は、動作の再開に必要な部分(電源回路192、電源検出部193、RAM171など)以外を除く部分への電源の供給を止める。
 休止状態への移行指示を受け付けると、電子機器100は、作業中のデータをハードディスク170に保存する。また、電子機器100は、動作の再開に必要な部分(電源回路192、電源検出部193など)以外への電源の供給を停止する。
 ハイブリッドスリープ状態に移行するためのハイブリッドスリープ処理が開始されると、電子機器100は、作業中のデータを、まずメモリに格納する。それと同時に、電子機器100は、スリープ状態で、指示から所定の時間が経過すると、メモリに格納されたデータをメモリからハードディスクにコピーする。
 ただし、省電力状態の種類は、上述のものに限られるわけではない。また、電子機器100は、必ずしもこれらすべての省電力化処理を準備できなくてもよい。
 さて、まず、(i)通常起動における動作モードについて図27を参照しつつ説明する。図27は、通常起動時の動作モードを模式的に示した図である。
 通常起動時には、電子機器100は、まず、OS(Operating System)を起動するためのブート処理を行なう。ブート処理の間、電子機器100は、液晶パネル140に、ブート画面2501を表示する。また、ブート処理の間、電子機器100の動作モードは、マウスモードである。電子機器100は、液晶パネル240に所定のマウス画面(以下、固定画面とよぶ)2502を表示する。固定画面2502は、ガイダンス表示を含まない。ブート処理の間、モード切替は実行不可能であるためである。
 ブート処理が完了すると、電子機器100は、ログイン画面2503を液晶パネル140に表示する。この時も、電子機器100は、固定画面2504を表示する。
 電子機器100は、ログインが完了すると、液晶パネル140にデスクトップ画面2505を表示する。また、電子機器100は、液晶パネル240にマウス画面2506を表示する。この段階において、電子機器100は、マウスモードからタブレットモードへの切り替えを行なうことができるようになっている。これにともない、マウス画面2506は、図23に示したマウス画面600と同様に、ガイダンス表示を含む。
 なお、タブレットモードにおけるデフォルトのサブアプリケーションは、ホームアプリケーションであるとする。すなわち、電子機器100が、起動後(電源を入れた後)、最初にタブレットモードで動作するときは、ホームアプリケーションを実行する。この動作は、電源オフからの起動に限らず、電子機器100を再起動した場合も同様である。
 次に、(ii)復帰における動作モードについて図28を参照しつつ説明する。図28は、復帰時の動作モードを模式的に示した図である。
 省電力状態からの再開時には、電子機器100は、まず、メモリやハードディスクなどの記憶装置に格納された、作業状態に関するデータを読み出す。この間、電子機器100は、液晶パネル140に、再開中画面2601を表示する。なお、再開中画面2601は表示を省略されても良い。また、この間、電子機器100の動作モードは、マウスモードである。電子機器100は、液晶パネル240に固定画面2602を表示する。
 作業状態の読出しが完了すると、電子機器100は、ログイン画面2603を液晶パネル140に表示する。この時も、電子機器100は、固定画面2604を表示する。電子機器100における設定によっては、このログイン画面は表示されない場合もあり、その場合は、自動的に次のログイン完了画面に移行する。
 電子機器100は、ログインが完了すると、読み出した作業状態に基づいて、液晶パネル140に、省電力状態への移行直前に液晶パネル140に表示されていた表示画面2605を再び表示する。また、電子機器100は、液晶パネル240に、省電力状態への移行直前に動作していたサブアプリケーションに基づく表示画面2606を表示する。
 なお、電子機器100は、ログインの完了後、液晶パネル140に、必ず、マウス画面を表示してもよい。再開後にユーザが最初に行なう動作がマウス動作であることが見込まれる場合などには、この処理によって操作性を向上することができる。
 また、電子機器100では、OS起動時や、スリープ状態からの復帰中、ログインユーザを切り替える際の待機状態中(たとえば、液晶パネル140に、新たなユーザのログイン情報の入力を促す画面が表示されている期間を含む待機状態中)、液晶パネル140にスクリーンセーバ表示がなされている期間中など、次に電子機器100をマウスにより操作する可能性が高い場合には、液晶パネル240にマウス画面を表示し、マウスモードに切り替えるようにしても良い。
 電子機器100は、このようにOS起動時やスリープ状態からの復帰中等にマウスモードで動作することにより、特定の電源状態から起動または復帰する場合に第1のモードで動作することとなる。また、電子機器100は、ログインユーザ切り替えのための待機状態中やスクリーンセーバ表示期間中などにマウスモードで動作することにより、特定の動作状態にある間に第1のモードで動作することとなる。
 <タブレットモード時の動作>
 ここからは、タブレットモード時の電子機器100の動作について、図29を参照しつつ、より詳しく説明する。図29は、タブレットモード時の電子機器100の動作について説明するための図である。
 タブレットモードにおいて、電子機器100は、大きく分けて、ホームアプリケーションの実行、入力パッドアプリケーションの実行、または、サブ画面活用ソフトの実行のいずれかを行なう。
 電子機器100は、ホームアプリケーションの実行中、ホームメニュー画面800aを液晶パネル240に表示する。電子機器100は、ホームアプリケーションの実行中、液晶パネル240への所定位置(操作ボタン表示によって示される)へのタッチを受け付けると、入力パッドを呼び出す。また、電子機器100は、ホームアプリケーションの実行中、液晶パネル240への所定位置へのタッチを受け付けると、サブ画面活用ソフトの実行を開始する。
 電子機器100は、入力パッドを呼び出すと、入力用の画面を液晶パネル240に表示する。図29を参照して、本実施の形態においては、3種の入力パッド、すなわち、手書き文字入力パッドと、手描きイラスト入力パッドと、電卓/数字入力パッドとがある。液晶パネル240に表示される画面2702~2704は、それぞれ、手書き文字入力パッドと、手描きイラスト入力パッドと、電卓/数字入力パッドの動作画面である。各入力パッドの詳細については後述する。
 また、電子機器100は、入力パッドの実行時に所定の指示を受け付けると、ホームアプリケーションを起動する。本実施の形態では、入力パッドの動作画面は、ホームボタンを含んでおり、電子機器100は、ホームボタンへのタッチに応じて、入力パッドを終了し、ホームアプリケーションを起動する。
 図29を参照して、本実施の形態におけるサブ画面活用ソフトとしては、2画面活用ガイド、インターネット、辞書、本、写真、ゲームがある。
 「2画面活用ガイド」は、オンラインマニュアルである。電子機器100は、2画面活用ガイドを実行すると、HDD170または外部サーバからマニュアルデータを取得し、液晶パネル240(または液晶パネル140、あるいは、液晶パネル140および液晶パネル240の両方)にマニュアルを表示する。
 「インターネット」は、Webブラウザを起動し、種々のホームページ画面を呼び出すためのソフトであり、以下、Webページ呼び出しソフトとよぶ。このソフトの動作の詳細については、後述する。
 「辞書」は、電子辞書を呼び出すためのソフトであり、以下、辞書呼び出しソフトと呼ぶ。本実施の形態では、このソフトは、複数の電子辞書の中から1つの電子辞書を呼び出す。このソフトの動作の詳細については、後述する。
 「本」は、ブックビューアで閲覧する電子書籍(例えば、XMDF(Mobile Document Format)形式の書籍)を選択するためのソフトである。「写真」は、写真スライドショーの表示のためのソフトである。
 「ゲーム」は、液晶パネル240にゲーム画面を表示するゲームソフトである。本実施の形態では、「ゲーム」は、液晶パネル240のタッチ操作を活かしたゲームであるとする。
 電子機器100は、サブ画面活用ソフトの実行時に所定の指示を受け付けると、サブ画面活用ソフトを終了し、ホームアプリケーションを起動する。本実施の形態では、サブ画面活用ソフトの動作画面は、ホームボタンを含んでおり、電子機器100は、ホームボタンへのタッチに応じて、ホームアプリケーションを起動する。
 (手書き文字入力パッド)
 手書き文字入力パッドを実行する電子機器100(具体的にはアプリケーションを実行するCPU210)の動作について、図30を参照しつつ説明する。図30は、手書き文字入力パッドの起動中に電子機器100が液晶パネル240に表示する画面(文字入力画面)の一例を示す図である。
 図30を参照して、文字入力画面は、センターガイダンス表示814と、マウス不可表示830と、ホームボタン840と、テキストボックス2801と、貼付ボタン2802と、候補エリア2803と、後退ボタン2804と、手書きエリア2805と、認識モード切替ボタン2806と、認識ボタン2807と、消去ボタン2808とを含む。
 テキストボックス2801は、手書き文字認識の結果、確定した文字を表示する。テキストボックス2801は、確定した文字を最大10文字まで表示可能である。ただし、テキストボックス2801に表示される文字の最大数は、これに限られるわけではない。
 貼付ボタン2802が、テキストボックス2801に文字列(1文字または複数の文字)が存在する場合に、押下されると、電子機器100は、液晶パネル140に表示されているアクティブなアプリケーションに文字列を送信する。文字列が送信されると、テキストボックス2801の内容は自動的に(ユーザからの特別な操作無しに)クリアされる。
 また、貼付ボタン2802は、テキストボックス2801に文字列が存在しない場合は、Enterキーとして機能する。例えば、ユーザは、貼付ボタン2802を押下して、検索ボックスに文字列を送信した後、再び、貼付ボタン2802を押すことで、アプリケーションに検索を実行させることができる。なお、テキストボックス2801に文字列が存在しない(あるいは、貼付ボタン2802がEnterキーとして機能する)場合、電子機器100は、貼付ボタン2802に表示する文字を「Enter」に変更する。
 候補エリア2803は、入力の認識候補を表示する。本実施の形態では、候補エリア2803は、認識候補を、第1候補から順に上から最大で5つ表示する。ただし、候補エリア2803に表示される候補の最大数は、これに限られるわけではない。
 本実施の形態では、電子機器100は、第1候補(候補エリア2803の1番上の文字)は、自動的にテキストボックス2801に追加する。また、電子機器100は、候補エリア2803内の候補の選択に応じて、追加された文字を変更することができる。第1候補は、ユーザ入力しようとしていた文字である可能性が高いため、第1候補を自動的にテキストボックス2801に追加することで、ユーザによる操作回数を削減できる。
 後退ボタン2804が押下されると、電子機器100は、テキストボックス2801内の文字列のうち最後の文字を消去する。なお、テキストボックス2801に文字列がない場合は、電子機器100は、後退ボタン2804の押下にともなう動作は行なわない。
 手書きエリア2805は、外部からの入力を受け付ける。電子機器100は、手書きエリア2805への入力の履歴に対応する手書き文字データ432aを作成し、記憶部430に格納する。電子機器100は、例えば、所定の時間内に入力があった座標すべて、あるいは、所定の時間内で時間的に連続する入力の開始および終了時の座標を、手書き文字データ432aとして作成する。また、電子機器100は、入力を受け付けた座標(あるいは手書き文字データ432a)に対応する図形を手書きエリア2805に表示する。
 本実施の形態では、手書きエリア2805は、2つの領域(エリア2805aおよびエリア2805b)を含む。電子機器100は、エリア2805aおよびエリア2805bのそれぞれの手書き文字データ432aを作成する。
 認識モード切替ボタン2806は、手書き入力の認識モードを切り替える。本実施の形態では、「自動モード」および「手動モード」の2つの認識モードがある。なお、手書き入力パッドを最初に起動したときの認識モードは、自動モードであるとする。
 「自動モード」では、電子機器100は、ペンアップ(手書きエリア2805への入力の終了)から所定の時間経過後に、自動的に、手書きエリア2805への入力の文字認識を開始する。自動モードには、ユーザの操作回数を削減できるという利点がある。なお、電子機器100は、自動モードにおいて、ペンアップではなく、他のイベント、例えば、手書きエリア2805への入力開始から所定の時間経過後に、文字認識を自動開始してもよい。
 「手動モード」では、電子機器100は、認識ボタン2807の押下まで、文字認識を開始しない。手動モードには、ユーザが落ち着いて文字入力を行なうことができるという利点がある。
 認識ボタン2807が押下されると、電子機器100は、入力エリア2805への入力に基づく手書き文字データ432aの文字認識を開始する。なお、自動モードにも、認識開時間よりも先に認識ボタン2807が押下されれば、電子機器100は、手書き文字データ432aの文字認識を開始する。
 消去ボタン2808が押下されると、電子機器100は、入力エリア2805に表示されている図形および手書き文字データ432aを消去する。消去ボタン2805は、ユーザが文字認識前に手書きした文字を書きなおす際に使用される。
 手書き文字入力パッドの利用方法について、図31および図32を参照して説明する。図31および図32は、それぞれ、手書き文字入力パッド利用時の電子機器100の動作を説明するための図である。ここでは、ユーザが、検索ボックスを含む画面を表示するアプリケーション(Webブラウザなど)の利用中に、液晶パネル240を利用して2文字の漢字からなる文字列(strings or phrase)を入力し、当該入力された文字列に関する検索を行なう場合の動作例を説明する。
 画面2910は、マウスモードにおいて液晶パネル140が表示する画面である。この時、液晶パネル240は、マウス画面2920を表示している。液晶パネル140に表示された画面2910は、メインアプリケーションの動作画面である。画面2910は、検索ボックス2912および検索開始ボタン2914を含む。液晶パネル240上の指900の移動にともなうマウス動作により、検索ボックス2912がアクティブになっているものとする。
 画面2930は、液晶パネル140に画面2910が表示されている状態で、モードの切替指示(具体的には、センターキー242の押下)があった後に、液晶パネル240に表示される画面である。
 ここでは、画面2930は、ホームメニュー画面である。
 画面2940は、画面2930に対して手書き文字入力パッドの呼び出し用のボタン(画面2930中の丸で囲んでいる)が押下されたあと、液晶パネル240に表示される画面である。画面2940は、文字入力画面である。
 画面2950は、スタイラス950により画面2940に対し手書き入力がなされたときに、液晶パネル240に表示される画面である。画面2950の入力エリアには、手書き入力に対応する図形2952が表示される。
 画面2960は、スタイラス950が液晶パネル240から離れたときに、液晶パネル240に表示される画面である。画面2950の候補エリアには、手書き入力に対応する候補文字(5個の漢字)が表示されている。また、テキストボックスには、候補エリアに表示された候補の中の第1の候補の文字2962が表示される。
 画面2970は、第1の候補の文字2962が確定されたときの、液晶パネル240に表示される画面の一例である。文字2972は、確定された文字である。画面2970では、候補エリアには候補の文字が表示されなくなっている。
 図32を参照して、画面3010は、画面2970が表示された後、ユーザがスタイラス950による手書き入力を行なった状態で液晶パネル240に表示される画面である。画面3010は、手書き入力に対応する図形3012を含む。
 画面3020は、画面3010にタッチしていたスタイラス950が画面3010(液晶パネル240)から離れたときに、液晶パネル240に表示される画面である。画面3030の候補エリアには、手書き入力に対応する候補文字が表示されている。また、テキストボックスには、候補文字の中から第1の候補の文字3022が、すでに確定された文字(図31の画面2970参照)の右側に追加される。
 画面3030は、画面3020に対して、スタイラス950により候補エリア内の文字3032が押下されたときに、液晶パネル240に表示される画面である。文字3032の押下にともない、テキストボックス内に表示されていた文字が文字3032に表示されていたものに変化する(文字3034)。
 画面3040,3050は、文字3034が確定されたあとの、液晶パネル140,240のそれぞれに表示される画面である。画面3040は、検索ボックス3042および検索開始ボタン3044を含む。文字3034の確定後、表示画面3050内の貼付ボタンがスタイラス950により押下されると、テキストボックス内の文字列が、アクティブな検索ボックス3042に入力される。
 画面3060,3070は、画面3050に対してEnterボタン(貼付ボタン)が押下され、画面3040に対して検索ボタン3044が押下されたあとの、液晶パネル140,240のそれぞれに表示される画面である。表示画面3070内のEnterボタンの押下は、検索開始キー3044の押下と同じ効果を発揮する。すなわち、メインアプリケーションは、Enterボタンの押下に応じて、検索ボックス3042内の文字列に関する検索を実行し、検索結果を、画面3060に表示する。
 なお、本実施の形態では、テキストボックスが一杯(テキストボックスに、入力可能な最大数の文字が入力されている)ときは、電子機器100は、それ以上、手書きを受け付けない。テキストボックスが一杯のときの電子機器100の動作を図33を参照して説明する。
 画面3110は、すでにテキストボックスが一杯の(テキストボックスに10文字入っている)状態で、ユーザがスタイラス950により入力エリアに入力をしようとしている状態で液晶パネル240に表示される画面を示している。画面3110のテキストボックスには、文字列3112(10文字の文字列)が表示されている。
 スタイラス950が液晶パネル240に接触すると、電子機器100は、警告表示3122を含む画面3120を液晶パネル240に表示する。警告表示3122は、文字の確定、すなわち、貼付ボタンの押下を促す文字列を含む。ここでは、警告表示3122が含む文字列は「貼付ボタンにタッチしてください」としているが、文字列はこれに限られるわけではない。
 警告表示3122の表示後、液晶パネル240には、画面3130が表示される。画面3130は、画面3110に表示される内容と同様の内容を表示する。ユーザは、この画面3130が表示されている間に、貼付ボタンを押して、テキストボックスに表示されている文字列を確定したり、後退ボタンを押してすでにテキストボックスに入力された文字を消去したりすることで、文字入力を続けることができる。なお、電子機器100は、例えば、警告表示3122の表示から所定の時刻の経過後に自動的に、あるいは、液晶パネル240への何らかの指示に応じて、画面3120から画面3130に、液晶パネル240に表示させる画面を変更する。
 本実施の形態では、手書き文字データ432a(図19参照)は、RAM271などに一時的に記憶されており、電子機器100は、手書き文字入力パッドの終了の際、手書き文字データ432aを破棄するものとする。したがって、手書き文字入力パッドを再度呼び出した際には、ユーザは、改めて文字を入力することができる。
 ただし、電子機器100は、手書き文字データ432aを保持しておき、再度の手書き入力パッドの利用時に、ユーザが前回の続きから手書き入力を行なえるようにしてもよい。この場合、電子機器100は、手書き文字入力パッドの再開時に、手書き文字データ432aに基づいて、手書き文字データ432aに対応する図形を液晶パネル240に表示する。
 なお、ユーザが、手書き文字入力パッドに上記の2つの動作(手書き文字データ432aの保持の有無)のいずれを行なわせるかを選択できてもよい。この場合、ユーザは、手書き文字入力パッドが上の2つの動作のいずれを行なわせるかを、手書き文字入力の使用態様に応じて、適宜定めることができる。
 (手描きイラスト入力パッド)
 手描きイラスト入力パッドを実行する電子機器100(具体的にはアプリケーションを実行するCPU210)の動作について、図34を参照しつつ説明する。図34は、手描きイラスト入力パッドの起動中に電子機器100が液晶パネル240に表示する画面(イラスト入力画面)の一例を示す図である。
 図34を参照して、イラスト入力画面は、センターガイダンス表示814と、マウス不可表示830と、ホームボタン840と、描画エリア3201と、元に戻すボタン3202と、ペン/定規/消しゴムボタン3203と、ペン太さボタン3204と、ペン色ボタン3205と、スタンプボタン3206と、フレームボタン3207と、全消去ボタン3208と、画面キャプチャーボタン3209と、メール添付ボタン3210と、ファイル保存ボタン3211と、貼付ボタン3212とを含む。
 描画エリア3201は、外部からの入力を受け付ける。電子機器100は、描画エリア3201への入力および描画設定(入力ツール、ペン太さ、ペン色など)に基づいて、イラストデータ432bを作成し、記憶部430に格納する。イラストデータ432bは、手書き文字データ432aと同様に、所定の時間内に入力があった座標すべて、あるいは、所定の時間内で時間的に連続する入力の開始および終了時の座標を含む。イラストデータ432bは、さらに、描画設定(入力ツール、ペン太さ、ペン色など)に関するデータを含む。
 本実施の形態では、描画エリア3201の横長さと縦長さとの比は、4:3である。これは、手書きイラスト入力パッドを用いて、写真の加工も行なうためである。ただし、描画エリア3201の縦横比は、これに限られるものではない。
 元に戻すボタン3202は、描画エリア3201への直前の入力動作を取り消すためのボタンである。電子機器100は、入力履歴432に記録されている入力を時間順に管理しており、元に戻すボタン3202が押下されると、直前の入力を入力履歴432から削除する。同時に、対応する描画部分を、描画エリア3201から消去する。
 ペン/定規/消しゴムボタン3203は、描画エリア3201への描画ツールを選択するためのボタンである。ペン/定規/消しゴムボタン3203の押下に応じて、電子機器100は、描画ツールをペン、定規、消しゴム、ペン…の順に切り替える。
 ペン太さボタン3204は、ペン太さの設定のためのボタンである。電子機器100は、ペン太さボタン3204の押下に応じて、ペンツールの選択時に描画エリア3201への入力に応じて描かれる線の太さの設定を変更する。あるいは、電子機器100は、ペン太さボタン3204が押下されると、線の太さをユーザに設定させるための画面を液晶パネル240に表示してもよい。
 ペン色ボタン3205は、ペン色の設定のためのボタンである。ペン色ボタン3205の押下に応じて、ペンツールの選択時に描画エリア3201への入力に応じて描かれる線の色の設定を変更する。あるいは、電子機器100は、ペン色ボタン3205が押下されると、線の色をユーザに設定させるための画面を液晶パネル240に表示してもよい。
 スタンプボタン3206は、描画エリア3201への入力に応じて、描画エリア3201にスタンプが描かれるようにするためのボタンである。
 フレームボタン3207は、描画エリア3201に描かれるイラストに、飾り枠などのフレームを追加するためのボタンである。
 全消去ボタン3208は、イラストデータ432bを全て削除するためのボタンである。ユーザは、このボタンを押すことで、描画エリア3201を、手描きイラスト入力パッド起動時の状態(無地)にすることができる。
 画面キャプチャーボタン3209は、液晶パネル140に表示されている画面の一部を描画エリア3201に表示するためのボタンである。メール添付ボタン3210は、イラストデータ432bを、電子メールに添付するためのボタンである。ファイル保存ボタン3211は、イラストデータ432bを、指定された記憶領域に保存するためのボタンである。イラストデータ432bを記憶する領域は、固定のものであってもよいし、ユーザにより指定可能であってもよい。
 貼付ボタン3212は、イラストデータ432bを、アクティブなメインアプリケーションに送るためのボタンである。貼付ボタン3212が押下されると、電子機器100は、手描きイラスト入力パッドが作成したイラストデータ432bを、アクティブなメインアプリケーションに与える。ユーザは、手描きイラスト入力パッドを用いて、例えば、メインアプリケーションで作成中の書類の中に、イラストを挿入することができる。
 なお、本実施の形態では、図25を参照して説明したように、手描きイラスト入力パッドは、手描きイラスト入力パッドの終了指示を受け付けた際に、作成した手描きイラストデータ432bの保存の要否を問い合わせる。ただし、この問い合わせは、必須ではない。手描きイラスト入力パッドは、終了時に、それまでに作成された手描きイラストデータ432bを自動的に破棄してもよい。
 (電卓/数字入力パッド)
 電卓/数字入力パッドを実行する電子機器100(具体的にはアプリケーションを実行するCPU210)の動作について、図35を参照しつつ説明する。図35は、電卓/数字入力パッドの起動中に電子機器100が液晶パネル240に表示する画面(電卓画面)の一例を示す図である。
 図35を参照して、電卓画面は、センターガイダンス表示814と、マウス不可表示830と、ホームボタン840と、数字ボックス3301と、貼付ボタン3302と、数字ボタン3303と、機能ボタン3304とを含む。
 数字ボックス3301は、入力された数字、または、計算結果の数字を表示する。数字ボックス3301が表示できる数字の最大数は、8つであるとする。ただし、最大数は、8つに限られない。
 貼付ボタン3302が押下されると、電子機器100は、液晶パネル140に表示されているアクティブなアプリケーションに数字ボックス3301に表示されている数字を送信する。
 数字ボタン3303は、数字ボックス3301に数字を入力するためのボタンである。機能ボタン3304は、四則演算などの所定の演算を指示するボタンである。数字ボタン3303および機能ボタン3304が押下されたときの電子機器100の動作は、通常の電卓あるいは電卓アプリケーションの動作と同様であるので、ここでは、その詳細な説明を繰り返さない。
 (インターネット)
 サブ画面活用ソフトの1つであるWebページ呼び出しソフトを実行する電子機器100(具体的にはアプリケーションを実行するCPU210)の動作について、図36を参照しつつ説明する。図36は、Webページ呼び出しソフトの起動中に電子機器100が液晶パネル240に表示する画面(インターネット画面)の一例を示す図である。
 図36を参照して、インターネット画面は、ガイダンス表示810(左ガイダンス表示812、センターガイダンス表示814および右ガイダンス表示816)と、複数の操作ボタン表示820と、マウス不可表示830と、ホームボタン840とを含む。
 操作ボタン表示820は、それぞれ、呼び出すWebページに対応している。各操作ボタン表示820は、対応するWebページの名称(図中、「インターネット2」など)を表わす文字を含む。電子機器100は、操作ボタン表示820に対応する領域へのタッチを検出すると、Webブラウザを起動して、選択されたWebページを液晶パネル140(あるいは液晶パネル240)に表示する。
 なお、Webページ呼び出しソフトは、液晶パネル240にスクロールバーを表示してもよい。スクロールバーを含むインターネット画面の一例を図37に示す。図37を参照して、インターネット画面は、スクロールバー3500を含む。ユーザが、スクロールバー3500中のスライダ3502をドラッグすると、Webページ呼び出しソフトは、インターネット画面をスクロールする。
 (辞書)
 サブ画面活用ソフトの1つである辞書呼び出しソフトを実行する電子機器100(具体的にはアプリケーションを実行するCPU210)の動作について、図38を参照しつつ説明する。図38は、辞書呼び出しソフトの起動中に電子機器100が液晶パネル240に表示する画面(辞書選択画面)の一例を示す図である。
 図38を参照して、辞書選択画面は、ガイダンス表示810(左ガイダンス表示812、センターガイダンス表示814および右ガイダンス表示816)と、複数の操作ボタン表示820と、マウス不可表示830と、ホームボタン840とを含む。
 操作ボタン表示820は、それぞれ、呼び出す電子辞書に対応している。各操作ボタン表示820は、対応する電子辞書の名称(図中、「英和辞典」など)を表わす文字を含む。電子機器100は、操作ボタン表示820に対応する領域へのタッチを検出すると、電子辞書を起動して、起動した電子辞書の画面を液晶パネル140(あるいは液晶パネル240)に表示する。
 なお、辞書呼び出しソフトは、液晶パネル240にスクロールバーを表示してもよい。スクロールバーを含む辞書選択画面の一例を図39に示す。図39を参照して、辞書選択ト画面は、スクロールバー3700を含む。ユーザが、スクロールバー3700中のスライダ3702をドラッグすると、辞書呼び出しソフトは、辞書選択画面をスクロールする。
 <処理の流れ>
 (基本的な流れ)
 図40を参照して、本実施の形態に係る電子機器100が行なう処理の流れについて説明する。図40は、電子機器100が行なう処理の流れをフローチャート形式で示す図である。なお、図40では、第1ユニット1001内の制御部350が行なう処理および第2ユニット1002内の制御部450が行なう処理をまとめて示している。
 ステップS101において、制御部350および制御部450は、電子機器100の通常起動の指示あるいは再開の指示を受け付けると、通常起動処理あるいは再開処理を行なう。
 通常起動とは、すでに説明しているとおり、電源オフ状態からの起動である。制御部350が行なう通常起動処理としては、例えば、ブート処理や、液晶パネル140へのブート画面の表示がある。制御部450が行なう通常起動処理としては、液晶パネル240へのブート画面の表示がある。
 制御部350および制御部450は、電源オフ状態での所定のボタン(電源スイッチ191など)の押下などを通常起動の指示として扱う。なお、一方の制御部(制御部450または350)が、通常起動の指示を受け付けて、自らの通常起動処理を行なうとともに、他方の制御部(制御部350または450)へ通常起動処理の指示を与える構成であってもよい。
 再開とは、すでに説明しているとおり、省電力状態からの起動である。制御部350が行なう再開処理としては、RAM171やHDD170などに格納された作業状態の読み出しや、液晶パネル140への再開中画面の表示がある。制御部450が行なう再開処理としては、RAM271やHDD170などに格納された作業状態の読み出しや、液晶パネル240への再開中画面の表示がある。
 制御部350および制御部450は、省電力状態での所定のボタン(電源スイッチ191など)の押下や液晶パネル240へのタッチなどを通常起動の指示として扱う。なお、一方の制御部(450または350)は、再開指示を受け付けた他方の制御部(350または450)からの指示に応じて、再開処理を行ってもよい。
 ステップS103において、制御部450に含まれるモード設定部454は、動作モードをマウスモードまたはタブレットモードのいずれかに決定する。
 本実施の形態では、通常起動の場合の動作モードは、マウスモードに決められている。モード設定部454は、通常起動の場合、記憶部430内のモードデータ437をマウスモードを表わすデータに設定する。
 また、モード設定部454は、再開時には、モードデータ437を、省電力状態前のモードデータ437を動作モードに基づいて決定する。この場合、制御部450は、省電力状態への移行時または再開時に、省電力状態前のモードデータ437をRAM271などに格納しておくものとする。あるいは、モード設定部454は、再開時には、モードデータ437を、常にマウスモードを表わすデータに設定してもよい。この場合、制御部450は、省電力状態前のモードデータ437の記憶処理を行なわなくてよい。
 ステップS105において、入力処理部452は、動作モードがマウスモードであるか判定する。すなわち、入力処理部452は、モードデータ437に基づいて、動作モードがマウスモードかどうか判断する。
 動作モードがマウスモードである場合(ステップS105においてYES)、制御部350および制御部450は、ステップS107のマウスモード動作に進む。動作モードがマウスモードでない場合(ステップS105においてNO)、制御部350および制御部450は、ステップS113のタブレットモード動作に進む。
 ステップS107において、制御部350および制御部450は、マウスモード動作を行なう。すなわち、制御部350および制御部450は、液晶パネル240への入力がメインアプリケーションのマウス動作を起こすように、電子機器100の各部を制御する。マウスモード動作の詳細については後述する。
 ステップS109において、モード設定部454は、モード切替指示を受け付けたかどうか判断する。具体的には、モード設定部454は、センターキー242の押下に応じた信号を受け付けたかどうか判断する。ただし、モード切替指示は、センターキー242の押下に限られるわけではない。
 マウスモード中にモード切替指示があった場合(ステップS109においてYES)、制御部450は、ステップS111のマウスモードからタブレットモードへの切替処理を実行する。モード切替指示がない場合(ステップS109においてNO)、制御部350および制御部450は、ステップS107(マウスモード動作)からの処理を繰り返す。
 ステップS111において、制御部450は、マウスモードからタブレットモードへの切替処理を実行する。例えば、制御部450は、ステップS111において、サブアプリケーションの動作画面の液晶パネル240への表示、パネル入力処理部453の動作切り替えを行なう。マウスモードからタブレットモードへの切替処理の詳細については後述する。ステップS111の終了後、制御部350および制御部450は、ステップS113のタブレットモード動作に進む。
 ステップS113において、制御部350および制御部450は、タブレットモード動作を行なう。すなわち、制御部350および制御部450は、サブアプリケーションが液晶パネル240への入力に応じて動作するように、電子機器100の各部を制御する。タブレットモード動作の詳細については後述する。
 ステップS115において、モード設定部454は、モード切替指示を受け付けたかどうか判断する。具体的には、モード設定部454は、センターキー242の押下に応じた信号を受け付けたかどうか判断する。ただし、モード切替指示は、センターキー242の押下に限られるわけではない。
 タブレットモード中にモード切替指示があった場合(ステップS115においてYES)、制御部450は、ステップS117のタブレットモードからマウスモードへの切替処理を実行する。モード切替指示がない場合(ステップS115においてNO)、制御部350および制御部450は、ステップS113(タブレットモード動作)からの処理を繰り返す。
 ステップS117において、制御部450は、タブレットモードからマウスモードへの切替処理を実行する。例えば、制御部450は、ステップS117において、マウス画面の液晶パネル240への表示、パネル入力処理部453の動作切り替えを行なう。タブレットモードからマウスモードへの切替処理の詳細については後述する。ステップS117の終了後、制御部350および制御部450は、ステップS107のマウスモード動作に進む。
 なお、制御部350および制御部450は、電源オフの指示あるいは省電力状態への移行指示を受け付けた時点で、電源切断処理あるいは省電力状態への移行処理を行なう。これらの処理は割り込み処理であり、図40のいずれかのステップの後に行われる。ただし、これらの処理は、図40には示していない。
 (マウスモード動作)
 図40のステップS107におけるマウスモード動作について、図41を参照しつつ、詳細に説明する。図41は、マウスモード動作の処理の流れをフローチャート形式で示す図である。
 まず、第1ユニット1001側の制御部350の動作について説明する。制御部350の動作の流れは、図41中、左側に示されている。
 ステップS201において、制御部350は、インターフェース部340から座標データを取得する。この座標データは、第2ユニット1002側の制御部450が、インターフェース部440を介してインターフェース部440に送信したものである。
 ステップS203において、制御部350は、座標データに基づいて、カーソル位置を決定する。ステップS203の処理を行なうのは、より具体的には、制御部350に含まれるプログラム実行部358である。プログラム実行部358は、プログラム334を実行して、カーソル位置を決定する。
 ステップS205において、制御部350は、インターフェース部340からコマンドを取得する。このコマンドは、第2ユニット1002側の制御部450が、インターフェース部440を介してインターフェース部340に送信したものである。
 ステップS207において、制御部350は、コマンドに応じたアプリケーション動作を行なう。具体的には、プログラム実行部358が、プログラム334を実行してアプリケーション動作を行なう。プログラム実行部358は、アプリケーションの種類、カーソル位置およびコマンドの種類に基づいて、アプリケーション動作を決定する。
 アプリケーション動作は、現在普及しているアプリケーションのマウスのクリックにともなう動作と同様のものである。アプリケーション動作は、例えば、カーソル位置にあるファイルやフォルダの選択や起動、あるいは、カーソル位置にあるボタン(最小(最大)化ボタン、閉じるボタンなど)に応じた処理の実行などを含む。
 続いて、第2ユニット1002側の制御部450の動作について説明する。制御部450の動作の流れは、図41中、右側に示されている。
 ステップS301において、制御部450の入力処理部452に含まれるパネル入力処理部453は、液晶パネル240(パネル入力部422)からスキャン画像を取得する。
 ステップS303において、パネル入力処理部453は、ステップS301にて取得したスキャン画像に基づいて、液晶パネル240への入力位置を特定する座標データを計算する。
 ステップS305において、パネル入力処理部453は、インターフェース部440を制御し、座標データを、第1ユニット1001側のインターフェース部340へ送信する。
 ステップS307において、パネル入力処理部453は、ステップS301の実行から、所定のスキャンサイクル時間が経過したかどうか判断する。スキャンサイクル時間が経過している場合(ステップS307においてYES)、パネル入力処理部453は、ステップS301(スキャン画像の取得)からの処理を繰り返す。スキャンサイクル時間が経過していない場合(ステップS307においてNO)、制御部450は、ステップS309の処理に進む。
 ステップS309において、入力処理部452は、クリック動作があったかどうか判断する。具体的には、入力処理部452は、左クリックキー241または右クリックキー243の押下があったかどうかを判断する。なお、入力処理部452は、液晶パネル240へのタップ動作をクリック動作と判定してもよい。入力処理部452は、具体的には、所定の短時間内に液晶パネル240中の特定領域で、外部物体の検出開始および検出終了があった場合に、タップ動作があったと判断する。
 クリック動作がない場合(ステップS309においてNO)、制御部450は、ステップS307からの処理を繰り返す。クリック動作があった場合(ステップS309においてYES)、制御部450は、ステップS311の処理に進む。
 ステップS311において、入力処理部452は、インターフェース部440を制御し、ステップS309におけるクリック動作に応じて、コマンドを第1ユニット1001側のインターフェース部340に送信する。
 ここで、入力処理部452は、クリック動作の種類に応じてコマンドの種類を決定するものとする。例えば、入力処理部452は、左クリックキー241が押下されたときと、右クリックキー243が押下されたときとで、異なるコマンドを送信する。
 なお、以上では、クリック動作によるコマンド送信を説明してきた。しかしながら、コマンド送信を引き起こす動作は、クリック動作に限られない。例えば、入力処理部452は、ダブルクリックやドラッグまたはマルチタッチやゼスチャー動作などに応じたコマンドを送信してもよい。
 (タブレットモード動作)
 図40のステップS109におけるタブレットモード動作について、図42を参照しつつ、詳細に説明する。図42は、タブレットモード動作の処理の流れをフローチャート形式で示す図である。
 まず、第1ユニット1001側の制御部350の動作について説明する。制御部350の動作の流れは、図42中、左側に示されている。
 ステップS401において、制御部350は、インターフェース部340からデータを取得する。ここでの「データ」とは、第2ユニット1002側の制御部450が、サブアプリケーションを実行することにより作成したものである。
 「データ」は、具体的には、例えば、文字(あるいは数字)データやイラストデータである。また、データは、コマンドであることもある。例えば、手書き文字入力パッドの動作画面中の「Enter」がタッチされた場合には、制御部450は、コマンドを作成する。
 ステップS403において、制御部350は、データに応じたアプリケーション動作を行なう。具体的には、プログラム実行部358が、プログラム334を実行してアプリケーション動作を行なう。プログラム実行部358は、ステップS401にて取得したデータを、実行しているメインアプリケーションにより処理する。ステップS403が終了すると、制御部350は、ステップS401の処理に戻る。
 続いて、第2ユニット1002側の制御部450の動作について説明する。制御部450の動作の流れは、図42中、右側に示されている。
 ステップS501において、制御部450の入力処理部452に含まれるパネル入力処理部453は、液晶パネル240(パネル入力部422)からスキャン画像を取得する。
 ステップS503において、パネル入力処理部453は、ステップS501にて取得したスキャン画像に基づいて、液晶パネル240への入力位置を特定する座標データを計算する。
 ステップS505において、パネル入力処理部453は、ステップS501の実行から、所定のスキャンサイクル時間が経過したかどうか判断する。スキャンサイクル時間が経過している場合(ステップS505においてYES)、パネル入力処理部453は、ステップS501(スキャン画像の取得)からの処理を繰り返す。スキャンサイクル時間が経過していない場合(ステップS505においてNO)、制御部450は、ステップS507の処理に進む。
 ステップS507において、制御部450は、サブアプリケーション動作を行なう。サブアプリケーション動作は、タイムカウントによる動作実行を含む。制御部450は、ステップS507において、インターフェース部440を制御し、データを第1ユニット1001側に送信することもある。
 ステップS509において、制御部450は、実行されているアプリケーションの動作を決定するデータ(「動作要素」とよぶ)を記憶部430に格納する。本実施の形態では、イベントからの経過時間などを含む動作パラメータ435や、入力履歴432が、動作要素に該当する。なお、制御部450は、ステップS509の処理を、所定の時間間隔、動作要素の変更時、動作要素の保存時(例えば、イラストの保存時)などに行なうものとする。制御部450は、ステップS509の実行後、ステップS505からの処理を繰り返す。
 (モード切替:マウスモードからタブレットモード)
 図40のステップS107におけるモード切替(マウスモードからタブレットモード)について、図43を参照しつつ、詳細に説明する。図43は、モード切替(マウスモードからタブレットモード)動作の処理の流れをフローチャート形式で示す図である。
 ステップS601において、制御部450に含まれるモード設定部454は、記憶部430に格納されている、直前アプリケーションの動作定義をロードする。
 ここで、「直前アプリケーション」とは、モード設定部454が、タブレットモードへのモード切替指示を受け付ける前で、最後にタブレットモードで動作していたサブアプリケーションである。本実施の形態では、マウスモード時にもサブアプリケーションは動作し続けるので、直前アプリケーションは、モード切替指示時に動作しているサブアプリケーションと同一である。
 ステップS603において、制御部450に含まれるプログラム実行部458は、ステップS601でロードした動作定義に基づいて、直前まで実行していたサブアプリケーションの動作の実行を再開する。そして、プログラム実行部458は、表示制御部456を制御して、表示部410に、サブアプリケーションの動作画面を表示する。
 ただし、プログラム実行部458は、ステップS601の処理を、ステップS603の処理中に、随時、行なってもよい。すなわち、直前アプリケーションの実行中、必要に応じて、記憶部430に格納された動作定義を読み出し、読み出したデータに基づいて、サブアプリケーションを実行してもよい。
 ステップS605において、制御部450に含まれるパネル入力処理部453は、パネル入力部422からの信号の処理方法を切り替える。すなわち、パネル入力処理部453は、パネル入力部422からの信号を、サブアプリケーションの動作指示に変換するようにする。
 (モード切替:タブレットモードからマウスモード)
 ここからは、図40のステップS113におけるモード切替(タブレットモードからマウスモード)について、詳細に説明する。
 図44は、モード切替(タブレットモードからマウスモード)動作の第1の処理の流れをフローチャート形式で示す図である。
 電子機器100では、マウスモードからタブレットモードに動作モードが切り替えられる際、直前アプリケーションの動作定義がロードされるように構成される。この場合、タブレットモードに切り替えられた直後の液晶パネル240には、前回のタブレットモード実行中であってマウスモードへ切り替えられる直前に表示されていた画面が、表示される。
 この動作定義は、センターキー242の押下等によりタブレットモードからマウスモードに動作モードが切り替えられる際に、RAM271等から構成される記憶部430に記憶される。
 具体的には、このようなモード切り替えの際に、プログラム実行部458は、ステップS701で、実行中のアプリケーション(直前アプリケーション)を特定する情報および当該アプリケーションにおけるその時点での動作内容を、動作定義としてRAM271に記憶させる。
 そして、ステップS703において、制御部450に含まれる表示制御部456は、モード設定部454からモードの切替指示があった旨を表わす信号を受け取ると、表示データ433に基づいて、液晶パネル240にマウスモード画面を表示する。
 そして、ステップS705において、制御部450に含まれるパネル入力処理部453は、パネル入力部422からの信号の処理方法を切り替える。すなわち、パネル入力処理部453は、パネル入力部422からの信号を、サブアプリケーションの動作指示に変換する。
 上記のように記憶された動作定義は、マウスモードからタブレットモードに動作モードが切り替えられる際に読み込まれ、ロードされる(図43のステップS601)。なお、動作定義が記憶されていない場合(初期化された状態)には、ステップS601では、ホームアプリケーションが起動される。
 なお、記憶された動作定義は、電子機器100の電源がOFFされるとき、または、電子機器100が再起動される際には、初期化されることが好ましい。これにより、電子機器100の通常起動や再起動後、再開の後などに、初めてタブレットモードが実行される際には、液晶パネル240には、まずホームメニューが表示されることになる。
 また、電子機器100では、サブアプリケーションが実行された後、ホームボタンがタッチされる等によりホームアプリケーションが起動される際に、動作定義が初期化されることが好ましい。その場合、この時点で動作モードがマウスモードに切り替えられた場合、タブレットモードに復帰した時点で、ホームアプリケーションの表示画面が表示される。これは、動作定義が初期化されていた場合、ステップS601において、ホームアプリケーションが起動されるからである。したがって、ホームアプリケーションが起動されていた場合には、マウスモードへの切替えが行なわれる際に、現在のタブレットモードの動作定義を記憶することは不要である。
 <サブアプリケーション「本」に関する処理について>
 本実施の形態では、電子機器100において、マウスモードからタブレットモードに動作モードが切り替えられた場合に、液晶パネル240には、それまでのタブレットモードにおける動作内容に応じた情報が表示される。
 たとえば、「本」というサブアプリケーションでは、それまでの当該サブアプリケーションにおいて、ブックビューアで閲覧するように選択された電子ブックの履歴情報を記憶し、液晶パネル240に、当該履歴情報に基づいた表示を行なう。以下、サブアプリケーション「本」に従った動作について説明する。
 図45を参照して、ユーザがホームメニュー画面800aの操作ボタン表示820x(サブ画面活用ソフトの「本」)を選択すると、電子機器100は、サブアプリケーションの「本」を実行し、画面800eを液晶パネル240に表示する。画面800eは、本アプリケーションの動作画面である。
 画面800eは、左ガイダンス表示とセンターガイダンス表示と右ガイダンス表示(図37等の、左ガイダンス表示812、センターガイダンス表示814、右ガイダンス表示816)を含む。
 また、画面800eでは、その上部中央に、実行中にサブアプリケーションを示す「本」という文字が表示され、また、その左方に、「タイトル順」と「履歴順表示」という文字列が表示されている。
 さらに、画面800eの中央には、ブックビューアにおける閲覧の対象となる電子書籍の名称を示す、「電子ブック5」「電子ブック4」「電子ブック1」等の、電子ブックごとにその名称の文字列を表示するソフトキーが表示されている。画面800eでは、各電子ブックを表すソフトキーは、「本」アプリケーションにおいて選択された履歴に応じて上から順に配列されている。
 この場合、電子機器100では、図46に示されるように、記憶部430の入力データ431として、ブック情報432cが記憶される。
 ブック情報432cは、表1に示す「ブック名称情報」と表2に示す「ブック履歴情報」を含む。
Figure JPOXMLDOC01-appb-T000001
Figure JPOXMLDOC01-appb-T000002
 ブック名称情報は、ブックビューアにおける閲覧の対象として選択できる電子書籍を特定する情報が、たとえばその名称の順序で配列された情報である。
 ブック履歴情報は、「本」アプリケーションにおいて、ブックビューザでの閲覧の対象として選択された電子書籍を特定する情報が、新しく選択された順序で配列された情報である。
 「本」アプリケーションの動作画面としては、デフォルトで、各電子書籍の情報を、上記したブック履歴情報に従った順序で、ソフトキーとして表示する。
 なお、各ソフトキー内に表示される情報は、画面800eに示すように電子書籍の名称であっても良いし、電子書籍に対応した画像であっても良い。
 「本」アプリケーションの動作画面では、各電子書籍のソフトキーの表示の配列を、ブック名称情報に応じたものとブック履歴情報に応じたものとの間で変更することができる。
 つまり、当該動作画面では、「タイトル順」と「履歴順表示」の文字列が表示されるが、ソフトキーがブック名称情報に応じた配列で表示されている場合には、「タイトル順」は単なる文字列として表示されるが、「履歴順表示」はソフトキーとして表示される。そして、「履歴順表示」のソフトキーが選択操作されると、各電子書籍のソフトキーの表示の配列が、ブック履歴情報に応じたものに変更される。また、ソフトキーがブック履歴報に応じた配列で表示されている場合には、「タイトル順」がソフトキーとして表示され、「履歴順表示」が単なる文字列として表示される。そして、「タイトル順」のソフトキーが選択操作されると、各電子書籍のソフトキーの表示の配列が、ブック名称情報に応じたものに変更される。
 画面800eの上部には、「○○○○ブックス」というソフトキーが表示されている。当該ソフトキーは、ネットワーク上の、電子機器100を、電子書籍をダウンロードできるサイトに接続させるために操作されるものである。「○○○○ブックス」のソフトキーが操作されると、制御部450から第1ユニット1001へ、当該サイトに接続させるためのデータが送信される(ステップS507)。これにより、電子機器100では、当該サイトに接続され、液晶パネル140には、当該サイトのホームページ画面が表示される。
 一方、画面800e内の電子書籍を選択するためのソフトキーが操作されると、制御部450から第1ユニット1001へ、ブックビューアを起動して選択されたソフトキーに対応した電子書籍の閲覧するためのデータが送信される(ステップS507)。これにより、電子機器100では、液晶パネル140に、ブックビューアの、選択された電子書籍の閲覧画面が表示される。この場合、制御部450は、たとえば、マウスモードに動作を切り替え、液晶パネル240に対し、ブックビューアについてのページめくり等の操作を受け付ける。
 ブック履歴情報は、「本」アプリケーションにおいて電子書籍が選択されるたびに更新される。たとえば、表2に示す状態から、「電子ブック6」という電子書籍が選択された場合、ブック履歴情報は、表3に示すものへと更新される。これに応じて、「本」アプリケーションの動作画面では、図47の画面800fで表示されるように、電子書籍に対応するソフトキーの配列が変更される。
Figure JPOXMLDOC01-appb-T000003
 [第4の変形例]
 本実施の形態の第4の変形例として、手書き文字入力パッドの利用方法について、図48および図49を参照して説明する。ここでは、ユーザが、検索ボックスを含む画面を表示するアプリケーション(Webブラウザなど)の利用中に、液晶パネル240を利用して2文字の漢字からなる文字列(strings or phrase)を入力し、当該入力された文字列に関する検索を行なう場合の動作例を説明する。
 画面12910は、マウスモードにおいて液晶パネル140が表示する画面である。この時、液晶パネル240は、マウス画面12920を表示している。液晶パネル140に表示された画面12910は、メインアプリケーションの動作画面である。画面12910は、検索ボックス12912および検索開始ボタン12914を含む。液晶パネル240上の指900の移動にともなうマウス動作により、検索ボックス12912がアクティブになっているものとする。
 画面12930は、液晶パネル140に画面12910が表示されている状態で、モードの切替指示(具体的には、センターキー242の押下)があった後に、液晶パネル240に表示される画面である。
 ここでは、画面12930は、ホームメニュー画面である。
 画面12940は、画面12930に対して手書き文字入力パッドの呼び出し用のボタン(画面12930中の丸で囲んでいる)が押下されたあと、液晶パネル240に表示される画面である。画面12940は、文字入力画面である。
 画面12950は、スタイラス950により画面12940に対し手書き入力がなされたときに、液晶パネル240に表示される画面である。画面12950の入力エリアには、手書き入力に対応する図形12952が表示される。
 画面12960は、スタイラス950が液晶パネル240から離れたときに、液晶パネル240に表示される画面である。画面12950の候補エリアには、手書き入力に対応する候補文字(5個の文字)が表示されている。また、テキストボックスには、候補エリアに表示された候補の中の第1の候補の文字12962が表示される。
 画面12970は、第1の候補の文字12962が確定されたときの、液晶パネル240に表示される画面の一例である。文字12972は、確定された文字である。画面12970では、候補エリアには候補の文字が表示されなくなっている。
 図49を参照して、画面13010は、画面12970が表示された後、ユーザがスタイラス950による手書き入力を行なった状態で液晶パネル240に表示される画面である。画面13010は、手書き入力に対応する図形13012を含む。
 画面13020は、画面13010にタッチしていたスタイラス950が画面13010(液晶パネル240)から離れたときに、液晶パネル240に表示される画面である。画面13030の候補エリアには、手書き入力に対応する候補文字が表示されている。また、テキストボックスには、候補文字の中から第1の候補の文字13022が、すでに確定された文字(図48の画面12970参照)の右側に追加される。
 画面13030は、画面13020に対して、スタイラス950により候補エリア内の文字13032が押下されたときに、液晶パネル240に表示される画面である。文字13032の押下にともない、テキストボックス内に表示されていた文字が文字13032に表示されていたものに変化する(文字13034)。
 画面13040,13050は、文字13034が確定されたあとの、液晶パネル140,240のそれぞれに表示される画面である。画面13040は、検索ボックス13042および検索開始ボタン13044を含む。文字13034の確定後、表示画面13050内の貼付ボタンがスタイラス950により押下されると、テキストボックス内の文字列が、アクティブな検索ボックス13042に入力される。
 画面13060,13070は、画面13050に対してEnterボタン(貼付ボタン)が押下され、画面13040に対して検索ボタン13044が押下されたあとの、液晶パネル140,240のそれぞれに表示される画面である。表示画面13070内のEnterボタンの押下は、検索開始キー13044の押下と同じ効果を発揮する。すなわち、メインアプリケーションは、Enterボタンの押下に応じて、検索ボックス13042内の文字列に関する検索を実行し、検索結果を、画面13060に表示する。
 なお、本実施の形態では、テキストボックスが一杯(テキストボックスに、入力可能な最大数の文字が入力されている)ときは、電子機器100は、それ以上、手書きを受け付けない。テキストボックスが一杯のときの電子機器100の動作を図50を参照して説明する。
 画面13110は、すでにテキストボックスが一杯の(テキストボックスに10文字入っている)状態で、ユーザがスタイラス950により入力エリアに入力をしようとしている状態で液晶パネル240に表示される画面を示している。画面13110のテキストボックスには、文字列13112(10文字の文字列)が表示されている。
 スタイラス950が液晶パネル240に接触すると、電子機器100は、警告表示13122を含む画面13120を液晶パネル240に表示する。警告表示13122は、文字の確定、すなわち、貼付ボタンの押下を促す文字列を含む。ここでは、警告表示13122が含む文字列は「貼付ボタンにタッチしてください」としているが、文字列はこれに限られるわけではない。
 警告表示13122の表示後、液晶パネル240には、画面13130が表示される。画面13130は、画面13110に表示される内容と同様の内容を表示する。ユーザは、この画面13130が表示されている間に、貼付ボタンを押して、テキストボックスに表示されている文字列を確定したり、後退ボタンを押してすでにテキストボックスに入力された文字を消去したりすることで、文字入力を続けることができる。なお、電子機器100は、例えば、警告表示13122の表示から所定の時刻の経過後に自動的に、あるいは、液晶パネル240への何らかの指示に応じて、画面13120から画面13130に、液晶パネル240に表示させる画面を変更する。
 本実施の形態では、手書き文字データ432a(図19参照)は、RAM271などに一時的に記憶されており、電子機器100は、手書き文字入力パッドの終了の際、手書き文字データ432aを破棄するものとする。したがって、手書き文字入力パッドを再度呼び出した際には、ユーザは、改めて文字を入力することができる。
 ただし、電子機器100は、手書き文字データ432aを保持しておき、再度の手書き入力パッドの利用時に、ユーザが前回の続きから手書き入力を行なえるようにしてもよい。この場合、電子機器100は、手書き文字入力パッドの再開時に、手書き文字データ432aに基づいて、手書き文字データ432aに対応する図形を液晶パネル240に表示する。
 なお、ユーザが、手書き文字入力パッドに上記の2つの動作(手書き文字データ432aの保持の有無)のいずれを行なわせるかを選択できてもよい。この場合、ユーザは、手書き文字入力パッドが上の2つの動作のいずれを行なわせるかを、手書き文字入力の使用態様に応じて、適宜定めることができる。
 [第5の変形例]
 図51は、図38に示した電子機器100の処理の変形例のフローチャートである。
 図51を参照して、本実施の形態に係る電子機器100が行なう処理の流れについて説明する。なお、図51では、第1ユニット1001内の制御部350が行なう処理および第2ユニット1002内の制御部450が行なう処理をまとめて示している。
 ステップSA101において、制御部350および制御部450は、電子機器100の通常起動(再起動を含む)の指示あるいは再開の指示を受け付けると、通常起動処理あるいは再開処理を行なう。
 通常起動とは、すでに説明しているとおり、電源オフ状態からの起動である。制御部350が行なう通常起動処理としては、例えば、ブート処理や、液晶パネル140へのブート画面の表示がある。制御部450が行なう通常起動処理としては、液晶パネル240へのブート画面の表示がある。
 制御部350および制御部450は、電源オフ状態での所定のボタン(電源スイッチ191など)の押下などを通常起動の指示として扱う。なお、一方の制御部(制御部450または350)が、通常起動の指示を受け付けて、自らの通常起動処理を行なうとともに、他方の制御部(制御部350または450)へ通常起動処理の指示を与える構成であってもよい。
 再開とは、すでに説明しているとおり、省電力状態からの起動である。制御部350が行なう再開処理としては、RAM171やHDD170などに格納された作業状態の読み出しや、液晶パネル140への再開中画面の表示がある。制御部450が行なう再開処理としては、RAM271やHDD170などに格納された作業状態の読み出しや、液晶パネル240への再開中画面の表示がある。
 制御部350および制御部450は、省電力状態での所定のボタン(電源スイッチ191など)の押下や液晶パネル240へのタッチなどを再開の指示として扱う。なお、一方の制御部(450または350)は、再開指示を受け付けた他方の制御部(350または450)からの指示に応じて、再開処理を行ってもよい。
 次に、ステップSA103において、制御部350および制御部450は、マウスモード動作に進む。
 マウスモード中にモード切替指示があった場合(ステップSA105においてYES)、制御部450は、ステップSA107のマウスモードからタブレットモードへの切替処理を実行する。モード切替指示がない場合(ステップSA105においてNO)、制御部350および制御部450は、ステップSA103(マウスモード動作)からの処理を繰り返す。
 ステップSA107において、制御部450は、マウスモードからタブレットモードへの切替処理を実行する。例えば、制御部450は、ステップSA107において、サブアプリケーションの動作画面の液晶パネル240への表示、パネル入力処理部453の動作切り替えを行なう。マウスモードからタブレットモードへの切替処理の詳細については後述する。ステップSA107の終了後、制御部350および制御部450は、ステップSA109のタブレットモード動作に進む。
 ステップSA109において、制御部350および制御部450は、タブレットモード動作を行なう。すなわち、制御部350および制御部450は、サブアプリケーションが液晶パネル240への入力に応じて動作するように、電子機器100の各部を制御する。タブレットモード動作の詳細については後述する。
 ステップSA111において、モード設定部454は、モード切替指示を受け付けたかどうか判断する。具体的には、モード設定部454は、センターキー242の押下に応じた信号を受け付けたかどうか判断する。ただし、モード切替指示は、センターキー242の押下に限られるわけではない。
 タブレットモード中にモード切替指示があった場合(ステップSA111においてYES)、制御部450は、ステップSA113のタブレットモードからマウスモードへの切替処理を実行する。モード切替指示がない場合(ステップSA111においてNO)、制御部350および制御部450は、ステップSA109(タブレットモード動作)からの処理を繰り返す。
 ステップSA113において、制御部450は、タブレットモードからマウスモードへの切替処理を実行する。例えば、制御部450は、ステップSA113において、マウス画面の液晶パネル240への表示、パネル入力処理部453の動作切り替えを行なう。タブレットモードからマウスモードへの切替処理の詳細については後述する。ステップSA113の終了後、制御部350および制御部450は、ステップSA103のマウスモード動作に進む。
 なお、制御部350および制御部450は、電源オフまたは再起動の指示あるいは省電力状態への移行指示を受け付けた時点で、電源切断処理あるいは省電力状態への移行処理を行なう。これらの処理は割り込み処理であり、図51のいずれかのステップの後に行われる。ただし、これらの処理は、図51には示していない。
 また、図28を参照して説明したように、電子機器100では、省電力状態からの再開時には、液晶パネル140に再開中画面2601が表示されるとともに、動作モードがマウスモードに固定される。よって、再開動作中には、モード切替指示に対応する操作がなされても、制御部350および制御部450は、当該操作を受付けない。よって、再開動作中は、ステップSA105からステップSA107に処理が進められることはない。
 また、図28を参照して説明したように、電子機器100では、省電力状態完了後、液晶パネル240に、省電力状態への移行直前に動作していたサブアプリケーションに基づく表示画面2606が表示される。
 このような制御内容は、以下のようにして実現される。つまり、電子機器100は、省電力状態の完了時にマウスモードからタブレットモードへの切替指示に相当する信号が発生するように構成されている。そして、当該信号発生により、ステップSA105からステップSA107へ処理が進められる。これにより、省電力状態からの再開動作中は、電子機器100の動作モードがマウスモードに固定され(ステップSA103~ステップSA105)、そして、省電力状態からの再開動作が完了すると、電子機器100の動作モードはタブレットモードへと切り替えられる(ステップSA107)。
 [本実施の形態の本質的な効果について]
 本実施の形態では、液晶パネル140により第1の表示部が構成され、液晶パネル240により第2の表示部が構成される。
 また、電子機器1において、液晶パネル240への入力に応じてプログラム334が実行されることによって作成されるプログラムの動作画面が液晶パネル140に表示されるマウスモードにより、第1のモードが構成されている。
 また、電子機器1において、液晶パネル240への入力に応じてプログラム434(またはプログラム334)が実行されることによって生成されたプログラムの動作画面が液晶パネル240に表示されるタブレットモードにより、第2のモードが構成されている。
 そして、電子機器1では、センターキー242等が押下されることにより、上記モードが切り替えられる。
 上記のように、電子機器1は、マウスモードからタブレットモードに動作モードが切り替えられる際、直前アプリケーションの動作定義がロードされるように構成されても良い。この場合、タブレットモードに切り替えられた直後の液晶パネル240には、前回のタブレットモード実行中であってマウスモードへ切り替えられる直前に表示されていた画面が、表示される。
 なお、以上説明した本実施の形態では、電子機器100は、動作モードがマウスモードへと切り替えられる際にサブアプリケーションの動作は終了していたが、マウスモードにおいても、サブアプリケーションが動作し続けるように構成されても良い。
 また、以上説明した本発明の実施の形態においては、液晶パネル140は、入力部としての機能を持たず、画面の表示のみを行なうディスプレイ(単機能ディスプレイ)であっても良い。特に、液晶パネル140が大型でタッチパネルとすることが困難な場合、このような構成は有用である。
 また、第1ユニット1001と第2ユニット1002とは、データのやり取りを除いて独立に動作する。そのため、第2ユニット1002は、第1ユニット1001に対して取り外し可能であっても良い。
 さらに、電子機器100において、第2ユニット1002は、第2ユニット1002と同等の機能を有する他のユニット(例えば、携帯情報端末)と取替え可能に構成されても良い。したがって、第1ユニット1001を備える電子機器と、当該電子機器に接続されている、あるいは接続可能となっているユニットとを含むシステムを、本発明の一実施態様と考えることができる。
 本実施の形態によれば、第1の表示部と第2の表示部を備えた電子機器において、第2の表示部を含むタブレットに対する入力に応じて実行した処理によって作成した画面を第1の表示部に表示させる第1のモードと、当該タブレットに対する入力に応じて実行した処理によって作成した画面を主に第2の表示部に表示させる第2のモードの2種類のモードの動作が可能となり、かつ、操作手段に対する操作に応じて、第1のモードと第2のモードの間で動作するモードが切り替えられる。
 したがって、ユーザは、2つの表示装置(第1および第2の表示部)を備えた電子機器を第1のモードと第2のモードの双方で使用可能であり、かつ、これらのモード間を、容易な操作で切り替えてシームレスで使用することができる。
 特に、電子機器において、第2のモードにおいて複数のサブアプリケーションが実行可能であり、それぞれのサブアプリケーションと第1のモードとの間での切り替え操作を頻繁に行なう場合、本発明は有効である。
 [第7の変形例]
 本実施の形態の電子機器100の第7の変形例では、カーソル表示制御が実行される。
 <カーソル表示制御>
 電子機器100は、マウスモードにおいては、液晶パネル240への入力位置の変更(液晶パネル240上での物体のスライドなど)により、液晶パネル140に表示されたカーソルを移動できる。
 一方、電子機器100は、タブレットモードにおいては、液晶パネル240への入力位置の変更(液晶パネル240上での物体のスライドなど)によっては、カーソルを移動しない。すなわち、タブレットモードにおいて、カーソル表示は、メインアプリケーションの動作に直接関係するわけではない。そのため、液晶パネル140に表示された画像の視認性を妨げないために、タブレットモードにおいては、カーソル表示を目立たなくすることが好ましい。
 そこで、本実施の形態では、電子機器100は、タブレットモードの間、カーソルを、マウスモードにおける表示形態と比べて目立ちにくい表示形態で表示する。具体的には、電子機器100は、タブレットモードの間、カーソルを、マウスモードに比べて、薄く表示する。より具体的には、電子機器100は、例えば、カーソルの輝度を削減する。あるいは、電子機器100は、カーソルの表示色の透過性を上げる。
 図54を参照して、本実施の形態に係るカーソルの表示制御の変更について、説明する。図54は、第1の実施の形態に係るカーソルの表示制御の変更について説明するための図である。
 図54では、マウスモードにおける液晶パネル140の表示画面3810および液晶パネル240の表示画面3820が示されている。
 表示画面3810は、カーソル3812を含む。表示画面3810内のカーソル3812以外の部分には、メインアプリケーションの動作画面が表示される。
 表示画面3820は、壁紙などのマウス画面が表示される。ただし、図54では、簡単のため、メインアプリケーションの動作画面およびマウス画面については、詳しく図示していない。なお、このことは、以下の図についても同様にあてはまる。
 マウスモードにおいて、電子機器100は、液晶パネル240への入力位置の変化に応じて、リアルタイムに、カーソル3812を移動する。このことは、図55では、液晶パネル240から液晶パネル140に向かう実線の矢印で示されている。
 また、図54には、タブレットモードにおける液晶パネル140の表示画面3830および液晶パネル240の表示画面3840が示されている。ここでは、電子機器100がタブレットモードのホームアプリケーションからブックビューアアプリケーションを起動した場合を例にとって示している。ただし、ここでの電子機器100の動作の説明は、電子機器100がブックビューア以外のサブアプリケーションを起動した場合にもあてはまる。
 表示画面3830は、カーソル3832およびウィンドウ3834を含む。ウィンドウ3834は、実行されたブックビューアアプリケーションにより作成されたものである。ウィンドウ3834は、ブックビューアアプリケーションの動作画面を表示する。
 カーソル3832は、マウスモードにおけるカーソル3812に比べ表示濃度が薄い。なお、図54の表示画面3830では、カーソル3832が薄いことを表わすために、カーソル3832が、その内部に斜線を施されて示されている。実際は、カーソル3832が、斜線を施されて表示される必要はない。
 表示画面3840は、ブックビューアアプリケーションの動作補助画面を表示する。ユーザは、動作補助画面に対する操作によって、ページめくりなどを行なうことができる。しかし、ユーザは、液晶パネル240への入力位置の変更により、カーソル3832を移動することはできない。すなわち、タブレットモードにおいては、電子機器100は、液晶パネル240への入力位置の変更を、カーソル3832の移動に反映しない。図54の表示画面3830では、このことを、液晶パネル240から液晶パネル140に向かう破線の矢印で示している。
 電子機器100が液晶パネル240への入力位置によってカーソル3832の位置を変えるとすると、ユーザがページめくりなどの操作を行なう都度、カーソル3832が移動するため、液晶パネル140の視認性が悪くなるおそれがある。本実施の形態のように、電子機器100が、タブレットモードにおいて、タブレットへの入力位置とは独立に液晶パネル140のカーソル位置を制御することで、液晶パネル140の表示画面が見づらくなることを防ぐことができる。
 また、マウスモードとタブレットモードとでカーソルの表示形態が変わることで、ユーザは、液晶パネル240への入力によりカーソルが移動可能かどうかを把握しやすくなる。
 図54の表示画面3850,3860は、図54の表示画面3830,3840に示す状態(タブレットモード)から、マウスモードに移行したあとの、液晶パネル140の表示画面3850および液晶パネル240の表示画面3860である。
 表示画面3850は、カーソル3852およびウィンドウ3854を含む。ウィンドウ3854は、タブレットモードにおけるウィンドウ3834と同じものである。つまり、電子機器100は、タブレットモードからマウスモードに移行した後も、タブレットモードにおいて液晶パネル140に表示されていたアプリケーションの動作画面を、引き続き、液晶パネル140に表示する。
 逆に、電子機器100は、マウスモードからタブレットモードに移行した後も、マウスモードにおいて液晶パネル140に表示されていたアプリケーションの動作画面を、引き続き、液晶パネル140に表示する。
 このように、電子機器100は、マウスモードとタブレットモードとの切り替えの前後で、同一の動作画面を液晶パネル140に表示する。そのため、電子機器100の操作性は向上する。ユーザは、液晶パネル140に表示されたアプリケーションの動作画面を視認しながら、必要に応じて、マウス動作あるいは液晶パネル140に動作画面が表示されているアプリケーションの動作を補助するアプリケーションの操作を選択的に行なうことができる。
 カーソル3852は、表示画面3810のカーソル3812と同様の表示形態で表示される。すなわち、電子機器100は、マウスモードにおいては、液晶パネル140に同じ形態のカーソルを表示する。
 表示画面3820と同様、表示画面3860は、マウス画面である。また、電子機器100は、液晶パネル240への入力位置の変化に応じて、カーソル3852を移動する。
 なお、ここまでは、図54を参照しつつ、電子機器100が、タブレットモードにおいてカーソルをマウスモードに比べて薄く表示する例について説明した。しかしながら、タブレットモードにおいてカーソルを目立たなくする方法は、これに限られるわけではない。
 例えば、電子機器100は、タブレットモードにおいて、カーソル表示を中止してもよい。つまり、電子機器100は、タブレットモードにおいて、カーソルを非表示にしてもよい。これは、表示形態の変更の一形態としてもとらえることができる。すなわち、電子機器100は、カーソルを完全な透明に設定することで、カーソルを非表示にできる。
 あるいは、電子機器100は、タブレットモードにおいては、カーソルを含まない表示データを作成することで、カーソルを非表示にしてもよい。この場合は、電子機器100は、タブレットモードからマウスモードに移行した後、所定の位置(例えば、液晶パネル140の画面の隅など)にカーソルを表示する。あるいは、電子機器100は、タブレットモードへの移行時に、カーソル位置をRAM271などの記憶装置に格納しておき、マウスモードへの移行時に、記憶装置からカーソル位置を読み出して、読み出したカーソル位置にカーソルを表示してもよい。
 また、電子機器100は、タブレットモードにおいて、カーソルを目立たなくするために、カーソルの表示位置を移動してもよい。この動作例について、図55を参照して説明する。図55は、第1の実施の形態の変形例に係るカーソルの表示制御の変更について説明するための図である。
 図55では、マウスモードにおける液晶パネル140の表示画面3910および液晶パネル240の表示画面3920が示されている。表示画面3910は、カーソル3912を含む。表示画面3920は、マウス画面である。液晶パネル140,240に表示画面3910,3920が表示されている状態では、電子機器100は、表示画面3810,3820が表示されている状態と同様に動作する。すなわち、電子機器100は、液晶パネル240への入力位置に応じてカーソル3912を移動する。
 図55では、さらに、タブレットモードにおける液晶パネル140の表示画面3930および液晶パネル240の表示画面3940が示されている。ここでは、表示画面3830,3840と同様に、電子機器100がブックビューアを実行している場合を例にとって示している。ただし、ここでの電子機器100の動作の説明は、やはり、電子機器100がブックビューア以外のアプリケーションを実行している場合にもあてはまる。
 表示画面3930はカーソル3932およびウィンドウ3934を含む。ウィンドウ3934は、表示画面3830におけるウィンドウ3834と同様、アプリケーションにより作成されたものである。
 カーソル3932は、画面の右下隅にある。すなわち、電子機器100は、タブレットモードにおいて、マウスモードにおけるカーソルを所定の位置に移動する。このようにカーソルの表示位置を変更することで、ウィンドウ3934がカーソルによって見づらくなることを防ぐことができる。図55(b)には、理解の容易のため、マウスモードでのカーソル3912の位置に対応する仮想的なカーソル3932Aを破線にて示している。
 本実施の形態では、電子機器100は、カーソルをディスプレイの画面の右下隅に移動する。このように、カーソルをディスプレイの画面の端部に移動することで、より確実に、画面の視認性を向上できる。なお、ここで「端部」とは、画面の4隅に限られず、画面の各辺あるいは各辺から所定の距離以内の領域であってもよい。また、カーソルは全て表示されていなくても良く、一部または殆ど全てが画面の端に隠れていても良い。
 また、本実施の形態では、カーソル3932の表示形態は、図55に示すように、マウスモードにおける表示形態と同様であるとする。ただし、電子機器100は、移動後のカーソルをマウスモードに比べて薄く表示するなどの表示形態の変更を行なってもよい。
 図55には、表示画面3930,3940が表示される状態(タブレットモード)から、マウスモードに移行したあとの、液晶パネル140の表示画面3950および液晶パネル240の表示画面3960が示されている。
 表示画面3950はカーソル3952およびウィンドウ3954を含む。図55において、ウィンドウ3934とウィンドウ3954との関係は、図54におけるウィンドウ3834とウィンドウ3854の関係と同様である。
 カーソル3952は、表示画面3910に示すカーソル3812と同じ位置に表示される。すなわち、電子機器100は、マウスモードからタブレットモードへの移行前と、タブレットモードからマウスモードへの復帰後とにおいて、液晶パネル140の画面内の同じ位置にカーソルを表示する。なお、図55の表示画面3950には、理解の容易のため、タブレットモードでのカーソル3932の位置に対応する仮想的なカーソル3952Aを破線にて示している。
 このカーソルの移動のために、電子機器100は、マウスモードからタブレットモードへの移行に際して、カーソル位置をRAM271などの記憶装置に格納する。そして、電子機器100は、タブレットモードからマウスモードへの復帰時に、記憶されたカーソル位置を読み出し、読み出したカーソル位置にカーソルを表示する。
 このように、タブレットモードの前後のマウスモードにおいて同じ位置にカーソルを表示することで、ユーザは、マウスモードからタブレットモードに一旦移行しても、再びマウスモードに戻った後に同じ位置からマウス動作を行なうことができる。
 ただし、電子機器100は、タブレットモードからマウスモードに移行する際にカーソルをタブレットモードへの移行前の位置に必ずしも移動させなくてよい。このときにカーソルを移動させないほうが、ユーザが、マウス動作をしやすいこともある。
 表示画面3920と同様、表示画面3960は、マウス画面である。また、電子機器100は、液晶パネル240への入力位置の変化に応じて、カーソル3952を移動する。
 [第8の変形例]
 (モード切替:マウスモードからタブレットモード)
 図56のステップSB111におけるモード切替(マウスモードからタブレットモード)について、図59を参照しつつ、詳細に説明する。図59は、モード切替(マウスモードからタブレットモード)動作の処理の流れをフローチャート形式で示す図である。
 ステップSB601において、制御部450に含まれるモード設定部454は、記憶部430に格納されている、直前アプリケーションの動作要素をロードする。
 ここで、「直前アプリケーション」とは、モード設定部454が、タブレットモードへのモード切替指示を受け付ける前で、最後にタブレットモードで動作していたサブアプリケーションである。本実施の形態では、マウスモード時にもサブアプリケーションは動作し続けるので、直前アプリケーションは、モード切替指示時に動作しているサブアプリケーションと同一である。
 ステップSB603において、制御部450に含まれるプログラム実行部458は、ステップSB601でロードした動作要素に基づいて、直前アプリケーションを実行する。そして、プログラム実行部458は、表示制御部456を制御して、表示部410に、サブアプリケーションの動作画面を表示する。
 ただし、プログラム実行部458は、ステップSB601の処理を、ステップSB603の処理中に、随時、行なってもよい。すなわち、直前アプリケーションの実行中、必要に応じて、記憶部430に格納された動作要素を読み出し、読み出したデータに基づいて、サブアプリケーションを実行してもよい。
 ステップSB605において、制御部450に含まれるパネル入力処理部453は、パネル入力部422からの信号の処理方法を切り替える。すなわち、パネル入力処理部453は、パネル入力部422からの信号を、サブアプリケーションの動作指示に変換するようにする。
 ステップSB607において、プログラム実行部358および表示制御部356は、液晶パネル140内のカーソルの表示を変更する。カーソルの表示変更にあたっての処理の詳細については、後述する。
 (モード切替:タブレットモードからマウスモード)
 ここからは、図56のステップSB117におけるモード切替(タブレットモードからマウスモード)について、図60を参照しつつ、詳細に説明する。図60は、モード切替(タブレットモードからマウスモード)動作の処理の流れをフローチャート形式で示す図である。
 ステップSB701において、制御部450に含まれる表示制御部456は、モード設定部454からモードの切替指示があった旨を表わす信号を受け取ると、表示データ433に基づいて、液晶パネル240にマウスモード画面を表示する。
 ステップSB703において、制御部450に含まれるパネル入力処理部453は、パネル入力部422からの信号の処理方法を切り替える。すなわち、パネル入力処理部453は、パネル入力部422からの信号を、液晶パネル140上のマウス動作用の信号に変換するようにする。
 ステップSB705において、制御部350に含まれるプログラム実行部358および表示制御部356は、マウスモードからタブレットモードの移行時に変更されたカーソルの表示の復旧処理を行なう。カーソルの復旧処理の詳細については、後述する。
 (カーソルの表示変更および復旧[その1]:表示形態の変更)
 ここからは、図59のステップSB607における処理(カーソルの表示変更)および図60のステップSB705における処理(カーソルの復旧)の詳細について説明する。
 まず、タブレットモードにおいてカーソルを薄く表示するなど、マウスモードとタブレットモードとにおいてカーソルの表示形態を変更する場合に、制御部350が行なう処理について図61を参照して説明する。図61は、カーソルの表示形態の変更処理の流れをフローチャート形式で示す図である。
 ステップSB801において、制御部350に含まれる表示制御部356は、記憶部330からタブレットモード用のカーソル表示データをロードする。タブレットモード用のカーソル表示データは、予め記憶部330に格納されているものとする。タブレットモード用のカーソル表示データは、マウスモード用のカーソル表示データ(これも記憶部330に格納されているものとする)と異なる。具体的には、タブレットモード用のカーソル表示データは、マウスモード用のカーソル表示データに比べて、輝度が低く設定されていたり、透過度が高く設定されていたりする。
 ステップSB803において、表示制御部356は、ステップSB801にてロードしたタブレットモード用のカーソル表示データに基づいて、液晶パネル140にタッチモード用のカーソルを表示する。
 図61を参照して説明したカーソルの表示形態の変更に対応するカーソルの復旧処理について、図62を参照して説明する。図62は、カーソルの表示形態の復旧処理の流れをフローチャート形式で示す図である。
 ステップSB901において、制御部350に含まれる表示制御部356は、記憶部330からマウスモード用のカーソル表示データをロードする。
 ステップSB903において、表示制御部356は、ステップSB901にてロードしたマウスモード用のカーソル表示データに基づいて、液晶パネル140にマウスモード用のカーソルを表示する。
 なお、ここでは、表示制御部356は、タブレットモード用およびマウスモード用それぞれのカーソル表示データを予め格納しているものとした。しかしながら、表示制御部356は、一方のカーソル表示データを他方のカーソル表示データに基づいて作成してもよい。例えば、表示制御部356は、あらかじめ格納されているマウスモード用のカーソル表示データに対し、輝度や透過度に関する所定の変更処理を施すことで、カーソル表示データを作成してもよい。
 (カーソルの表示変更および復旧[その2]:カーソルの表示/非表示)
 続いて、タブレットモードにおいてカーソルを非表示にする場合に、制御部350が行なう処理について図63を参照して説明する。図63は、カーソルの非表示にあたっての処理の流れをフローチャート形式で示す図である。
 ステップSB1001において、制御部350は、現在のカーソル位置を記憶部330に格納する。ここで、「現在」とは、制御部350がマウスモードからタブレットモードへのモード切り替え指示を受け付けた時点のことを指す。
 ステップSB1003において、制御部350は、液晶パネル140のカーソルを非表示にする。具体的には、制御部350に含まれるプログラム実行部358は、カーソル表示に関する部分を除いてプログラムを実行した結果に基づいて表示データを作成する。表示制御部356は、作成された表示データに基づく画面を液晶パネル140に表示する。
 なお、制御部350は、カーソル表示を完全に透明化することによりカーソルを非表示にしてもよい。この場合、制御部350は、図61に示した処理と同様の処理により、無色に対応するカーソル表示データを呼び出すことで、カーソルを非表示にする。あるいは、制御部350は、表示中のカーソル(つまりマウスモードにおけるカーソル)の表示データを変更することで、カーソルを非表示にしてもよい。
 図63を参照して説明したカーソルの非表示化に対応するカーソルの復旧処理について、図64を参照して説明する。図64は、カーソル再表示処理の流れをフローチャート形式で示す図である。
 ステップSB1101において、制御部350に含まれる表示制御部356は、記憶部330から、図63のステップSB1001にて記憶部330に格納された“現在のカーソル位置”をロードする。
 ステップSB1103において、表示制御部356は、ステップSB1101にてロードしたカーソル位置に、カーソルを表示する。このとき、表示制御部350は、マウスモード用のカーソル表示データに基づいて、マウスモード用のカーソルを表示する。
 (カーソルの表示変更および復旧[その3]:カーソルの移動)
 続いて、マウスモードからタブレットモードへの移行の際に、カーソルを移動する場合に、制御部350が行なう処理について図65を参照して説明する。図65は、マウスモードからタブレットモードへの移行の際のカーソルの移動にあたっての処理の流れをフローチャート形式で示す図である。
 ステップSB1201において、制御部350は、現在のカーソル位置を記憶部330に格納する。ここで、「現在」とは、以前の説明と同様、制御部350がマウスモードからタブレットモードへのモード切り替え指示を受け付けた時点のことを指す。
 ステップSB1203において、制御部350は、液晶パネル140のカーソルを移動する。具体的には、制御部350に含まれるプログラム実行部358は、記憶部330に予め格納されているタブレットモードにおけるカーソルの指定位置を読み出す。そして、プログラム実行部358は、読み出した指定位置にカーソルを表示する表示データを作成する。表示制御部356は、作成された表示データに基づく画像を液晶パネル140に表示する。
 図65を参照して説明したカーソルの移動に対応するカーソルの復旧処理について、図66を参照して説明する。図66は、タブレットモードからマウスモードへの移行の際のカーソルの移動にあたっての処理の流れをフローチャート形式で示す図である。
 ステップSB1301において、制御部350に含まれる表示制御部356は、記憶部330から、図65のステップSB1201にて記憶部330に格納された“現在のカーソル位置”をロードする。
 ステップSB1303において、表示制御部356は、ステップSB3101にてロードしたカーソル位置に、カーソルを表示する。このとき、表示制御部350は、マウスモード用のカーソル表示データに基づいて、マウスモード用のカーソルを表示する。
 なお、マウスモードへの復帰時に、カーソル位置を以前のマウスモードでのカーソル位置に戻さない場合、ステップSB1201およびステップSB1301の処理は必要でない。この場合は、記憶部330は、カーソルの再表示時のカーソルの表示位置を予め格納しておく。表示制御部356は、カーソルの再表示時には、所定の表示位置を記憶部330からロードする。そして、表示制御部356は、ロードした所定の表示位置にカーソルを表示する。
 [第9の変形例]
 上記した第8の変形例に係る電子機器100は、マウスモードからタブレットモードへの移行時に、必ず、カーソルの表示を変更していた。これに対し、第9の変形例に係る電子機器100は、カーソルが液晶パネル140の表示画面内のアクティブなウインドウに重複する場合に限り、カーソルの表示を変更する。
 第9の変形例に係るカーソルの表示制御の変更について、図67を参照して説明する。図67は、本変形例に係るカーソルの表示制御の変更について説明するための図である。
 図67では、マウスモードにおける液晶パネル140の表示画面5110および液晶パネル240の表示画面5120が示されている。表示画面5110は、カーソル5112を含む。
 図67の表示画面5110では、説明のため、異なる2つの位置にカーソル5112が示されている。ただし、実際には、液晶パネル140に表示されるカーソル5112は、1つであり、同時に2つのカーソル5112が液晶パネル140に表示されることはない。表示画面5110では、一方のカーソル5112に括弧をつけることで、このことを表している。なお、この表示方法は、表示画面5130,5150についても同様である。
 また、図67では、タブレットモードにおける液晶パネル140の表示画面5130および液晶パネル240の表示画面5140が示されている。ここでは、図54の表示画面3830,3840などと同様、電子機器100がブックビューアを実行している場合を例にとって示している。
 表示画面5130は、カーソル5132およびウィンドウ5134を含む。ウィンドウ5134は、実行されたブックビューアアプリケーションにより作成されたアクティブなウインドウである。
 ここでは、電子機器100が、カーソルを移動する場合の動作について説明する。本題9の変形例においては、電子機器100は、カーソル5132の表示位置を、タブレットモードへの切り替え前のマウスモードにおける表示位置と、ウィンドウ5134との位置関係に基づいて決定する。
 マウスモードにおけるカーソル位置がウィンドウ5134の表示領域と重複していない場合、電子機器100は、タブレットモードにおいて、マウスモードでの表示位置と同じ位置に、カーソルを表示する。つまり、電子機器100は、マウスモードにおいて、表示画面5110において括弧を付していないカーソル5112の位置にカーソルを表示していた場合、タブレットモードでは、括弧を付していないカーソル5132の位置にカーソルを表示する。
 一方、マウスモードにおけるカーソル位置がウィンドウ5134の表示領域と重複している場合、電子機器100は、マウスモードからタブレットモードへの移行の際に、カーソルを移動し、タブレットモードにおいて、ウィンドウ5134の表示領域外にカーソルを表示する。つまり、電子機器100は、マウスモードにおいて、図67の表示画面5110において括弧を付したカーソル5112の位置にカーソルを表示していた場合、タブレットモードでは、括弧を付したカーソル5132の位置にカーソルを表示する。なお、表示画面5130では、理解の容易のため、マウスモードでのカーソル5112の位置に対応する仮想的なカーソル5132Aを破線にて示している。
 また、図67では、表示画面5130,5140で示した状態(タブレットモード)から、マウスモードに移行したあとの、液晶パネル140の表示画面5150および液晶パネル240の表示画面5160が示されている。
 表示画面5150はカーソル5152およびウィンドウ5154を含む。ウィンドウ5134とウィンドウ5154との関係は、ウィンドウ3834とのウィンドウ3854(図54参照)との関係と同様である。
 電子機器100は、マウスモードからタブレットモードへの移行時に、カーソルの表示位置を移動していない場合は、マウスモードへの復帰前と同じ位置にカーソルを表示する(表示画面5150中、括弧を付していないカーソル5152)。
 一方、電子機器100は、マウスモードからタブレットモードへの移行時に、カーソルの表示位置を移動していた場合は、カーソルを、タブレットモードへの移行前のマウスモードでの位置と同じ位置に移動する(表示画面5150中、括弧を付したカーソル5152)。なお、表示画面5150では、理解の容易のため、タブレットモードでの括弧を付したカーソル5132の位置に対応する仮想的なカーソル5152Aを破線にて示している。
 以上では、カーソルがアクティブなウインドウと重複した場合のカーソルの移動について説明したが、電子機器100は、カーソルがウインドウに重複した場合に、カーソルを薄く表示するなどの表示形態の変更を行なってもよい。
 第9の変形例に係る電子機器100のハードウェア構成および機能的構成は、第8の変形例のものとほぼ同様であり、これらの詳細な説明は繰り返さない。ただし、以下で説明するように、制御部350および制御部450が行なう処理において、第8の変形例と第9の変形例とは相違する。
 また、第9の変形例に係る電子機器100の処理の基本的な流れは、第8の変形例(図56)と同様であり繰り返さない。また、マウスモード動作およびタブレットモード動作についても、第8の変形例(図57および図58)と同様であり繰り返さない。ただし、モード切替処理が、以下で説明するとおり、第8の変形例とは異なる。
 第9の変形例に係るモード切替(マウスモードからタブレットモード)について、図68を参照しつつ、詳細に説明する。図68は、第9の変形例に係るモード切替(マウスモードからタブレットモード)動作の処理の流れをフローチャート形式で示す図である。
 ステップSB1401において、制御部450に含まれるモード設定部454は、記憶部430に格納されている、直前アプリケーションの動作要素をロードする。ここで、「直前アプリケーション」とは、すでに説明したとおり、モード設定部454が、タブレットモードへのモード切替指示を受け付ける前で、最後にタブレットモードで動作していたサブアプリケーションである。
 ステップSB1403において、制御部450に含まれるプログラム実行部458は、ステップSB1401でロードした動作要素に基づいて、直前アプリケーションを実行する。そして、プログラム実行部458は、表示制御部456を制御して、表示部410に、サブアプリケーションの動作画面を表示する。
 ただし、プログラム実行部458は、ステップSB1401の処理を、ステップSB1403の処理中に、随時、行なってもよい。すなわち、直前アプリケーションの実行中、必要に応じて、記憶部430に格納された動作要素を読み出し、読み出したデータに基づいて、サブアプリケーションを実行してもよい。
 ステップSB1405において、制御部450に含まれるパネル入力処理部453は、パネル入力部422からの信号の処理方法を切り替える。すなわち、パネル入力処理部453は、パネル入力部422からの信号を、サブアプリケーションの動作指示に変換するようにする。
 ステップSB1407において、プログラム実行部358は、カーソルがウィンドウの表示領域に重複するかどうか判断する。具体的には、プログラム実行部358は、アクティブなウィンドウの表示領域を示すデータおよびカーソルの表示位置を特定するデータを記憶部330から読み出す。そして、プログラム実行部358は、それぞれのデータで特定される位置に共通するものがある場合、カーソルがウィンドウの表示領域に重複すると判断する。
 なお、プログラム実行部358は、実際よりも広めのウィンドウの表示領域あるいはカーソルの表示位置を用いて、カーソルとウィンドウとの重なりを判断してもよい。このようにすれば、電子機器100は、ウィンドウ外にあるもののウィンドウの近傍に位置しており、ウィンドウの視認を妨げる可能性のあるカーソルを移動することができる。
 制御部350は、カーソルがウィンドウに重複すると判断した場合(ステップSB1407においてYES)、ステップSB1409の処理に進む。ステップSB1409において、制御部350は、液晶パネル140に表示されているカーソルの表示変更処理を行なう。具体的には、制御部350は、図61、図63、あるいは、図65で説明した処理と同様の処理を行なう。
 なお、上では、電子機器100が、カーソルを画面の隅に移動する例を示したが、電子機器100は、ウィンドウの視認を妨げない領域にカーソルを移動すればよい。例えば、電子機器100は、第8の変形例と同様、カーソルを画面の各辺上などの画面の端部に移動してもよい。また、電子機器100は、カーソルを少なくとも、アクティブウィンドウに対して目障りにならない程度の領域に移動すればよい。例えば、電子機器100は、ウィンドウの端部またはそのすぐ外側に移動してもよい。
 一方、制御部350は、カーソルがウィンドウに重複しないと判断した場合(ステップSB1407においてNO)、カーソルの表示変更処理を行なわずに(ステップSB1409を実行せずに)、マウスモードからタブレットモードへのモード切替処理を終了する。
 (モード切替:タブレットモードからマウスモード)
 ここからは、第9の変形例に係るモード切替(タブレットモードからマウスモード)について、図69を参照しつつ、詳細に説明する。図69は、第9の変形例に係るモード切替(タブレットモードからマウスモード)動作の処理の流れをフローチャート形式で示す図である。
 ステップSB1501において、制御部450に含まれる表示制御部456は、モード設定部454からモードの切替指示があった旨を表わす信号を受け取ると、表示データ433に基づいて、液晶パネル240にマウスモード画面を表示する。
 ステップSB1503において、制御部450に含まれるパネル入力処理部453は、パネル入力部422からの信号の処理方法を切り替える。すなわち、パネル入力処理部453は、パネル入力部422からの信号を、表示パネル140上のマウス動作用の信号に変換するようにする。
 ステップSB1505において、制御部350に含まれるプログラム実行部358は、マウスモードからタブレットモードへの移行時に、カーソルの表示が変更されていたかどうか判断する。
 例えば、プログラム実行部358は、マウスモードからタブレットモードへの移行時に、移行前のマウスモードでのカーソルの表示形態(あるいは表示位置)を記憶部330に格納しておく。そして、プログラム実行部358は、ステップSB1505において、格納された表示形態(あるいは表示位置)と、タブレットモードでのカーソルの表示形態(あるいは表示位置)とを比較し、カーソルの表示が変更されているかどうか判断する。
 あるいは、プログラム実行部358は、図68におけるステップSB1407の判断の際に、判断結果を表わすデータを記憶部330に格納しておく。そして、ステップSB1505において、格納された判断結果を表わすデータに基づいて、カーソルの表示が変更されているかどうか判断する。
 カーソルの表示が変更されていた場合(ステップSB1505においてYES)、ステップSB1507において、制御部350に含まれるプログラム実行部356および表示制御部356は、マウスモードからタブレットモードの移行時に変更されたカーソルの表示の復旧処理を行なう。具体的には、制御部350は、図62、図64、あるいは、図66で説明した処理と同様の処理を行なう。カーソルの表示が変更されていなかった場合(ステップSB1505においてNO)、制御部350は、カーソルの表示の復旧処理を行なわず、モード切替処理を終了する。
 [第10の変形例]
 第10の変形例では、外部のポインティングデバイスを接続可能な電子機器100について説明する。第10の変形例に係る電子機器100の外観を図70に示す。図70は、第10の変形例に係る電子機器100の外観を示す図である。
 図70を参照して、電子機器100の構成は、マウス1100が接続される点を除いて、第8の変形例と同様である。なお、マウス1100は、ポインティングデバイスの一例である。他のポインティングデバイスが接続可能な電子機器100についても以下の説明はあてはまる。
 第10の変形例に係る電子機器100のハードウェアの構成の位置態様について、図71を参照して説明する。図71は、電子機器100のハードウェア構成を表わすブロック図である。
 図71に示す電子機器100のハードウェア構成は、第8の変形例において図2に示した構成に、マウスコネクタ197を追加したものである。マウスコネクタ197には、マウス1100を着脱可能である。マウスコネクタ197は、マウス1100の接続およびマウス1100の取り外しを検知し、マウス1100の接続状態を表わす信号をCPU110等に送る。
 マウスコネクタ197としては、マウス側の端子を物理的に接続するUSBコネクタなどのコネクタを用いることができる。ただし、マウスコネクタ197は、電子機器100と外部のポインティングデバイスとのインターフェースの一例であって、上述のものに限られるわけではない。例えば、電子機器100は、無線などを用いてポインティングデバイスと接続するインターフェースを備えていてもよい。
 また、電子機器100のハードウェア構成は、図71に示すものに限られない。例えば、第8の変形例と同様に、第1ユニット1001のかわりに、第1ユニット1001Aにマウスコネクタ197を追加したものを用いてもよい。
 第10の変形例に係るカーソルの表示制御の変更について、図72を参照して説明する。図72は、第10の変形例に係るカーソルの表示制御の変更について説明するための図である。
 図72には、マウスモードにおける液晶パネル140の表示画面5610および液晶パネル240の表示画面5620が示されている。表示画面5610はカーソル5612を含む。
 第8の変形例および第9の変形例と同様、電子機器100は、液晶パネル240への入力位置の変更に応じて、カーソル5612の位置を変更する。さらに、本変形例では、電子機器100は、マウス1100の移動に応じて、カーソル5612を移動させる。図72では、このことをマウス1100から液晶パネル140に向かう矢印で示している。
 また、図72には、タブレットモードにおける液晶パネル140の表示画面5630および液晶パネル240の表示画面5640が示されている。ここでは、図54などと同様、電子機器100がブックビューアを実行している場合を例にとって示している。表示画面5630はカーソル5632およびウィンドウ5634を含む。ウィンドウ5634は、実行されたブックビューアアプリケーションにより作成されたものである。
 第10の変形例に係る電子機器100は、マウス1100が電子機器100に接続されている間は、マウスモードからタブレットモードに移行した際に、カーソルの表示を変更しない。すなわち、電子機器100は、モードの切り替え前後で同じカーソルを表示する。より具体的には、電子機器100は、タブレットモードにおいて、モードの切り替え前のマウスモードのカーソル5612と同じ位置に、カーソル5612と同じ表示形態のカーソル5632を表示する。
 本変形例では、タブレットモードの間も、電子機器100は、マウス1100の移動に応じて、カーソル5632を移動できる。
 図72の表示画面5650は、ユーザがカーソル5632を右に移動した様子を示している。このようにタブレットモードにおいてもユーザがカーソルを移動できる。
 そこで、本変形例に係る電子機器100は、タブレットモードへの移行時に、カーソルを移動しない。ユーザが移動できるカーソルが、目立たなくなったり、ユーザの操作なしに移動すると、かえって、ユーザによるカーソルの操作性が損なわれるためである。また、カーソルがウインドウに重複したとしても、ユーザは、マウス1100を移動することで、カーソルをウインドウが見やすくなるような位置に移動できるので、視認性が妨げれられることもない。
 電子機器100は、タブレットモードからマウスモードへの移行時にも、マウスの表示を変更しない。
 また、図72に、表示画面5030,5040に示す状態(タブレットモード)からマウスモードに移行した場合の、液晶パネル140の表示画面5650および液晶パネル240の表示画面5660が示されている。表示画面5650は、表示画面5630と同様に、カーソル5652とウィンドウ5654とを含む。
 第10の変形例に係る電子機器100の処理の基本的な流れは、第8の変形例(図56)と同様であり繰り返さない。しかし、マウス1100の操作による動作もあるため、マウスモード動作およびタブレットモード動作は、第8の変形例や第9の変形例と異なる。また、モード切替処理も、以下で説明するとおり、第1の実施の形態や第2の実施の形態とは異なる。以下、他の実施の形態と異なる処理の流れについて説明する。
 (マウスモード動作)
 第10の変形例に係るマウスモード動作について、図73を参照しつつ、詳細に説明する。図73は、本変形例に係るマウスモード動作の処理の流れをフローチャート形式で示す図である。
 まず、第1ユニット1001側の制御部350の動作について説明する。制御部350の動作の流れは、図73中、左側に示されている。
 ステップSB1601において、制御部350は、マウスコネクタ197にマウス1100が接続されているかどうか判断する。
 制御部350は、マウス1100が接続されていないと判断した場合(ステップSB1601においてNO)、ステップSB1603からステップSB1609の処理に進む。ステップSB1603からステップSB1609の処理は、それぞれ、図57のステップSB201からステップSB207の処理と同様であるため、これらの説明は繰り返さない。
 制御部350は、マウス1100が接続されていると判断した場合(ステップSB1601においてYES)、ステップSB1611において、マウス1100により指定される位置座標(マウス座標)を算出する。具体的には、制御部350は、マウスボールの動きなどから決定されるマウス1100の移動量、ならびに、移動量に対応する座標の変化量の定義などに基づいて、マウス座標を算出する。
 ステップSB1613において、制御部350はパネル座標を取得する。これは、ステップSB1603の処理と同様であり、その説明は繰り返さない。
 ステップSB1615において、制御部350は、マウス座標およびパネル座標に基づいて、カーソル位置を決定する。
 ステップSB1617において、制御部350は、マウス1100のクリックがあったかどうかを判断する。具体的には、制御部350は、マウスコネクタ197から、マウス1100のクリックに対応する信号を受け付けたかどうか判断する。
 マウス1100のクリックがあった場合(ステップSB1617においてYES)、制御部350は、ステップSB1621において、マウス1100のクリックに対応するコマンドに基づいたアプリケーション動作を実行する。なお、コマンドは、クリック動作に限らず、ダブルクリックやドラッグなどに対応するものであってもよい。
 一方、マウス1100のクリックがなかった場合(ステップSB1617においてNO)、制御部350は、ステップSB1619において、第2ユニット1002からのコマンドを受信する。その後、制御部350は、ステップSB1621において、コマンドに応じたアプリケーション動作を実行する。この時のステップSB1621の動作は、ステップSB1609と同様であり、その説明は繰り返さない。
 ステップSB1621のあと、制御部350は、ステップSB1601からの処理を繰り返す。
 第2ユニット1002側の制御部450の動作については、図73中、右側に示している。ステップSB1701からステップSB1711の処理は、図57のステップSB301からステップSB311の処理と同様であり、これらの詳細な説明は繰り返さない。
 (タブレットモード動作)
 本変形例に係るタブレットモード動作について図74を参照して説明する。図74は、本変形例に係るタブレットモード動作の処理の流れをフローチャート形式で示す図である。
 まず、第1ユニット1001側の制御部350の動作について説明する。制御部350の動作の流れは、図74中、左側に示されている。
 ステップSB1701において、制御部350は、マウスコネクタ197にマウス1100が接続されているかどうか判断する。
 制御部350は、マウス1100が接続されていないと判断した場合(ステップSB1701においてNO)、ステップSB1803およびステップSB1805の処理に進む。ステップSB1803およびステップSB1805の処理は、それぞれ、図58のステップSB401およびステップSB403の処理と同様であるため、これらの説明は繰り返さない。
 制御部350は、マウス1100が接続されていると判断した場合(ステップSB1701においてYES)、ステップSB1807からステップSB1815の処理に進む。ステップSB1807からステップSB1815の処理は、それぞれ、図73のステップSB1611ならびにステップSB1615からステップSB1621の処理と同様であるため、これらの説明は繰り返さない。
 第2ユニット1002側の制御部450の動作については、図74中、右側に示している。ステップSB1901からステップSB1909の処理は、図58のステップSB501からステップSB509の処理と同様であり、これらの詳細な説明は繰り返さない。
 本変形例に係るモード切替(マウスモードからタブレットモード)について、図75を参照しつつ、詳細に説明する。図75は、第3の実施の形態に係るモード切替(マウスモードからタブレットモード)動作の処理の流れをフローチャート形式で示す図である。
 ステップSB2001からステップSB2005までの処理は、図68のステップSB1401からステップSB1405までの処理と同様であり、これらの説明は繰り返さない。
 ステップSB2007において、制御部350は、マウスコネクタ197にマウス1100が接続されているかどうか判断する。
 制御部350は、マウス1100が接続されていないと判断した場合(ステップSB2007においてNO)、ステップSB2009の処理(カーソルの表示変更)に進む。ステップSB2009での処理は、図68のステップSB1409での処理と同様であり、その詳細な説明は繰り返さない。
 一方、制御部350は、マウス1100が接続されていると判断した場合(ステップSB2007においてYES)、カーソルの表示変更処理を行なわずに(ステップSB2009を実行せずに)、マウスモードからタブレットモードへのモード切替処理を終了する。
 (モード切替:タブレットモードからマウスモード)
 本変形例に係るモード切替(タブレットモードからマウスモード)を、図76に示す。図76は、本変形例に係るモード切替(タブレットモードからマウスモード)動作の処理の流れをフローチャート形式で示す図である。図76の各処理(ステップSB2101からステップSB2115)は、第9の変形例で説明した図69のステップSB1501からステップSB1507と同様であり、これらの詳細な説明は繰り返さない。
 [その他]
 本明細書において説明した実施の形態(各変形例)においては、液晶パネル140は、入力部としての機能を持たず、画面の表示のみを行なうディスプレイ(単機能ディスプレイ)であってもよい。液晶パネル140が大型でタッチパネルにするのが困難な場合に、この構成は有用である。
 一方、電子機器100の第2の液晶パネル240は、タブレット機能と表示機能とを有する通常のタッチパネルであってもよい。
 また、各実施の形態(変形例)を適宜組み合わせた構成も、本発明に含まれることはもちろんである。例えば、第9の変形例と第10の変形例とを組み合わせた電子機器も本発明の一形態と考えることができる。すなわち、外部のポインティングデバイスが接続されておらず、かつ、タブレットモードにおいて、カーソルがウィンドウに重複するときに、カーソルの表示を変更する電子機器も、本発明の一つの実施の形態である。
 また、第1ユニット1001と第2ユニット1002とは、データのやり取りを除いて独立に動作する。そのため、第2ユニット1002は、取り外し可能であってもよい。さらに、第2ユニット1002は、第2ユニット1002と同等の機能を有する他のユニット(例えば、携帯情報端末)と取り替え可能であってもよい。したがって、第1ユニット1001を備える電子機器と、その電子機器に接続されている、あるいは接続可能なユニットとを含むシステムを、本発明の一態様と考えることができる。
 [第11の変形例]
 電子機器100では、図8を参照して説明したような第1コマンドが、本体装置101から、第2ユニット1002または表示装置102に送信される。なお、第1コマンドは、図8に示されたフィールドに加え、第2ユニット1002または表示装置102に対してスキャンデータの送信を要求する範囲を指定するフィールドを含んでいてもよい。種別「000」のコマンドのこのような変形例を説明するための図を、図77に示す。
 図77を参照して、この変形例の第1コマンドでは、図8に示されたコマンドと比較して、第2フィールドDA03に設定される値として、「111」が追加されている。第2フィールドDA03に「111」が設定された第1コマンドは、相対座標の座標値の送信を要求する。
 ここで、相対座標とは、今回のスキャン結果によって求められた中心座標の座標値と前回のスキャン結果によって求められた中心座標の座標値の差分の座標値を意味する。つまり、相対座標は、液晶パネル240などにおける操作位置が、前回のスキャン時と今回のスキャン時との間でどれだけ変化したかを表わす座標である。
 図77に示された第1コマンドでは、CPU110は、予備のデータ領域DA07(図7参照)に、番号が「6」のスキャン範囲の値を書込む。
 予備のデータ領域DA07に「00」が設定された第1コマンドは、第2ユニット1002に送信された場合、液晶パネル240におけるスキャンの範囲を座標にて指定することを、画像処理エンジン280に対して要求する。また、予備のデータ領域DA07に「01」が設定された第1コマンドは、液晶パネル240におけるスキャン範囲を液晶パネル240のスキャン可能領域の全体にすることを、画像処理エンジン280に対して要求する。
 なお、図77を参照して説明した第1コマンドは、第2ユニット1002に送信された場合、第2フィールドDA03に「001」が設定された場合には、部分画像における中心座標の座標値の送信を要求する。つまり、液晶パネル240に対してタッチ操作がなされた場合に当該操作位置の絶対的な座標値の送信を要求する。
 一方、第1コマンドは、第2フィールドDA03に「111」が設定された場合、部分画像についての中心座標の相対座標の座標値の送信を要求する。これにより、液晶パネル240上での操作位置が当該液晶パネル240にタッチされたまま移動された場合には、スキャン結果が導出されるたびに算出される前回のスキャン結果に基づく中心座標の座標値に対する今回の中心座標の座標値の差分のデータの送信が要求される。
 また、図77を参照して説明した第1コマンドは、予備のデータ領域DA07に番号の「6」のスキャン範囲の値が書込まれた場合、送信を要求するスキャンデータの液晶パネル240の範囲を指定できる。
 つまり、図77を参照して説明した第1コマンドによれば、液晶パネル240の全体のスキャンデータの送信を要求することもできるし、データ種別に応じたスキャン範囲を指定してスキャンデータの送信を要求することもできる。
 このことから、図77の第1コマンドは、スキャン範囲の座標として液晶パネル240のある領域を指定し、第2フィールドDA03に「001」を設定することにより、上記ある領域に対してなされた操作位置の中心座標の座標値の送信を要求することができる。また、図77の第1コマンドは、スキャン範囲としてある特定の領域が指定され、そして、第2フィールドDA03に「111」を設定されることにより、第1コマンドは、上記した領域内で行なわれたタッチ操作における相対的な操作位置の変化量の送信を要求することができる。
 なお、第2フィールドDA03に「111」が設定された第1コマンドの応答データとしては、画像を表わすデータ領域DA14(図14参照)には、画像処理エンジン280により処理がされた後の画像データとして、今回のスキャン結果と前回のスキャン結果における中心座標の座標値の差分を表わす座標値が書込まれる。
 <サブ画面制御処理について>
 次に、電子機器100において実行されているアプリケーションの状態に応じて液晶パネル240を制御するためにCPU110が実行する処理(サブ画面制御処理)について、当該処理のフローチャートである図78を参照して説明する。
 図78を参照して、サブ画面制御処理では、CPU110は、まずステップSC10で、実行中のアプリケーションプログラムにおける、液晶パネル240についての初期設定の内容を読込み、ステップSC20へ処理を進める。初期設定の内容には、後述する表示情報、相対座標モード領域情報、および絶対座標モード領域情報が含まれる。
 ステップSC20では、CPU110は、上記初期設定または後述するステップSC60での入力情報の解析結果に基づいて決定される液晶パネル240の表示情報を第2ユニット1002に送信して、ステップSC30へ処理を進める。ここで送信される情報は、図9の第2コマンドを含む。
 ステップSC30では、CPU110は、上記した初期設定または後述するステップSC60での入力情報の解析結果に基づいて決定される相対座標モード領域情報と絶対座標モード領域情報とを第2ユニット1002にそれぞれ送信して、ステップSC50へ処理を進める。
 相対座標モード領域情報とは、液晶パネル240の表示面の中で、操作がなされたときに当該操作についての相対座標を出力するように指定される領域を特定する情報であり、図77の第1コマンドを含む。
 絶対座標モード領域情報とは、液晶パネル240の表示面の中で、操作されるときに部分画像の中心座標を出力するように指定される領域を特定するための情報であり、図77の第1コマンドを含む。
 ステップSC50では、CPU110は、電子機器100に対して情報の入力があったか否かを判断する。ここで判断対象となる情報の入力とは、操作キー177などの第1ユニット1001に設けられた入力手段に対する情報の入力に限らず、液晶パネル240などの第2ユニット1002に含まれる入力手段に対する情報入力も含む。
 そして、CPU110は、情報の入力があったと判断すると、ステップSC60へ処理を進める。
 ステップSC60では、CPU110は、ステップSC50で入力されたと判断した情報について、その内容を解析し、実行中のアプリケーションのプログラムに従って入力された情報を解析し、当該解析結果に基づいた適切な処理を実行して、ステップSC70へ処理を進める。
 ステップSC70では、CPU110は、ステップSC60による解析および処理の実行の結果として、ステップSC20で第2ユニット1002に送信した表示情報またはステップSC30,SA40で第2ユニット1002に送信した相対座標モード領域情報と絶対座標モード領域情報の、少なくとも一方に変更の必要が生じたか否かを判断し、そのような必要が生じていないと判断すると、処理をステップSC50へ戻す。一方、変更の必要が生じたと判断すると、ステップSC20へ処理を戻し、ステップSC20~ステップSC40で、変更後のそれぞれの情報を第2ユニット1002に送信した後、ステップSC50で情報の入力を待つ。
 <サブ側制御処理>
 次に、CPU110が上記したサブ画面制御処理を実行することによって第2ユニット1002に情報が送信されたことに応じて、信号処理部283が液晶パネル240の制御を実行するための処理(サブ側制御処理)について、当該処理のフローチャートである図79および図80を参照して説明する。
 まず図79を参照して、サブ側制御処理では、信号処理部283は、まずステップSD10で、CPU110から上記した表示情報または領域情報の少なくとも一方を受信するまで待機し、受信したと判断するとステップSD20へ処理を進める。
 ステップSD20では、信号処理部283は、CPU110から送信されてきた表示情報に従って、液晶パネル240の表示内容を更新して、ステップSD30へ処理を進める。
 ステップSD30では、信号処理部283は、CPU110から送信されてきた領域情報に基づいて当該信号処理部283内の記憶装置に記憶されている領域管理情報を更新して、ステップSD40へ処理を進める。
 ここで、領域管理情報とは、液晶パネル240のセンシングが可能な領域の中で、相対座標モード領域情報により相対座標モード領域と指定された領域および絶対座標モード領域情報により絶対座標モード領域に指定された領域を特定する情報である。
 ステップSD40では、信号処理部283は、液晶パネル240のセンシングが可能な領域のいずれかにおいてタッチ操作がなされたか否かを判断し、なされたと判断するとステップSD70へ処理を進め、なされていないと判断するとステップSD50へ処理を進める。
 ここで、タッチ操作があったとは、液晶パネル240へのタッチがある状態を意味する。
 ステップSD50では、信号処理部283は、液晶パネル240のセンシング可能な領域のいずれかにおいてアップ操作があったか否かを判断し、あったと判断するとステップSD60へ処理を進め、なかったと判断するとステップSD10へ処理を戻す。
 ここで、アップ操作とは、液晶パネル240へのタッチがあった状態から無い状態へと変化することをいう。
 そして、信号処理部283は、ステップSD250でアップ操作があったと判断すると、ステップSD60へ処理を進める。
 ステップSD60では、信号処理部283は、ステップSD50で検出したアップ操作によって終了したタッチ操作が、相対座標モード領域において、その継続時間が所定時間以内であったタッチ操作であるか否かを判断する。つまり、ステップSD60では、信号処理部283は、相対座標モード領域において、所定時間継続する前にタッチ操作が解除されたか否かを判断する。そして、そうであると判断すると、ステップSD61へ処理を進める。一方、そうではない、つまり、それ以前のタッチ操作が絶対座標モード領域におけるものであったり、または、相対座標モード領域における上記所定時間を越えたタッチ操作であったと判断すると、ステップSD62へ処理を進める。
 ステップSD61では、信号処理部283は、相対座標モード領域において、クリック操作がなされた旨の情報(以下、「タッチ情報」とも呼ぶ)を第1ユニット1001へ送信して、ステップSD62へ処理を進める。
 ステップSD62では、信号処理部283は、当該信号処理部283内の記憶装置に記憶された前回タッチ位置情報をクリアして、ステップSD10へ処理を戻す。前回タッチ位置情報とは、後述するステップSD130で更新される情報であり、その時点での部分画像の中心座標である。
 ステップSD70では、ステップSD40でタッチ操作があったと判断した中心座標が、ステップSD30で更新した絶対座標モード領域の範囲内であるか否かを判断し、そうであると判断するとステップSD80へ処理を進め、そうではないと判断するとステップSD90へ処理を進める。
 ステップSD80では、信号処理部283は、ステップSD40でタッチ操作があったと判断した部分画像の中心座標(絶対座標情報)を含む応答データ(図14参照)を第1ユニット1001へ送信して、ステップSD10へ処理を戻す。
 ステップSD90では、ステップSD40でタッチ操作があったと判断した座標が、ステップSD30で更新した相対座標モード領域に含まれるか否かを判断し、そうであると判断するとステップSD100(図80参照)へ処理を進め、そうではないと判断するとステップSD10へ処理を戻す。
 図80を参照して、ステップSD100では、信号処理部283は、現時点で前回タッチ位置情報として情報が記憶されているか否かを判断し、記憶されていると判断するとステップSD110へ処理を進め、ステップSD62でクリアされたままで情報の記憶がない場合には、ステップSD130へ処理を進める。
 ステップSD110では、ステップSD40でタッチ操作があったと判断したタッチ操作についての部分画像の中心座標(現在のタッチ位置情報)と記憶装置に記憶されている前回のタッチ位置情報の差分の座標値を算出して、ステップSD120へ処理を進める。
 ステップSD120では、信号処理部283は、ステップSD110で算出した差分の座標値(差分座標情報)を第1ユニット1001に送信して、ステップSD130へ処理を進める。
 ステップSD130では、信号処理部283は、記憶装置に既に記憶されている前回のタッチ位置情報を、現在のタッチ位置情報で更新して、ステップSD10へ処理を戻す。
 以上説明したサブ側制御処理では、信号処理部283が、ステップSD10で、CPU110から上記の表示情報または領域情報の少なくとも一方を受信した後、これらの情報が更新されることなく相対座標モード領域をタッチし続けた場合には、ステップSD10からステップSD20へ処理を進められた後、ステップSD20およびステップSD30を経てステップSD40でタッチ操作がなされていることが判断されるため、ステップSD70へ処理が進められる。そして、タッチ操作が相対座標モード領域に対してなされているものであるため、ステップSD90からステップSD100へと処理が進められる。初回のステップSD100の処理では、前回タッチ位置情報が記憶されていないため、処理は、ステップSD130を経て、ステップSD10に戻される。そして、表示情報および領域情報のいずれの更新もなければ、処理は、ステップSD10からステップSD40に進められる。相対座標モード領域におけるタッチ操作が継続されていれば、処理は、ステップSD40からステップSD70とステップSD90を経て、ステップSD100へ進められる。ここで、前回タッチ位置情報はすでに記憶されているため、ステップSD110の処理を経て、ステップSD120で差分座標情報が第1ユニット1001へ送信された後、ステップSD10に処理が戻される。この後、相対座標モード領域へのタッチ操作が継続されている間は、ステップSD10~ステップSD40、ステップSD70、ステップSD90、ステップSD100~ステップSD130、ステップSD10…、の処理が繰り返される。
 <表示画面について>
 次に、上記したサブ画面制御処理およびサブ側制御処理が実行されることによって液晶パネル140および液晶パネル240に表示される内容の一例を説明する。
 図81Aは、電子機器100において実行されるアプリケーションの一例であるウェブページ閲覧アプリケーションの実行によって液晶パネル140に表示される画面の一例を示すものである。
 図81Aでは、画面1401には、ホームページの一例である「サンプルホームページA」とタイトルを付されたホームページの画面が表示されている。また、画面1401内には、ポインタ1400が表示されている。ポインタ1400は、操作キー177や、後述する相対座標モード領域2420に対して操作がなされることにより、その表示位置が変更される。
 図81Bは、液晶パネル240に表示される画面の一例を模式的に示す図である。
 図81Bを参照して、画面2401は、主に、絶対座標モード領域2410と相対座標モード領域2420を含む。
 絶対座標モード領域2410には、上ボタン2411、下ボタン2412、テレビボタン2414、天気ボタン2415、および、スポーツボタン2416が表示されている。
 液晶パネル240において、相対座標モード領域2420として設定される位置・形状・大きさは、相対座標モード領域情報によって特定され、絶対座標モード領域2410として設定される領域の位置・形状・大きさは、絶対座標モード領域情報によって特定される。また、絶対座標モード領域2410内に表示される各種のボタン2411~2416の位置や画像の種類は、CPU110から送信される絶対座標モード領域情報によって特定される。具体的には、当該絶対座標モード領域情報には、各ボタンについての画像を表示するための第2コマンド(図9参照)が含まれる。
 電子機器100において実行されているアプリケーションは、絶対座標モード領域2410に表示させるボタンとして、液晶パネル140に表示される画面1401の表示内容に連動したボタンを表示させるような絶対座標モード領域情報(第2コマンド)を第2ユニット1002に送信することができる。これにより、絶対座標モード領域2410では、画面1401に表示されているメニューの一部である、「テレビ」「天気」「スポーツ」のそれぞれに対応するボタン2414~2416が表示されている。CPU110は、ボタン2414~2416のいずれかに対して操作がなされ、その旨の情報を応答データ(図14参照)として信号処理部283から送信されると、実行中のアプリケーションについて、操作されたボタンに対応した画面1401上のメニューが選択されたのと同じ処理を実行する。
 画面1401には、上記した「テレビ」「天気」「スポーツ」の3つのメニューの他に、「ニュース」「掲示板」というメニューも表示されている。アプリケーションは、絶対座標モード領域2410に、これらの複数のメニューの一部に対応したボタンを絶対座標モード領域2410に表示させることができ、かつ、上ボタン2411や下ボタン2412が操作されることにより、絶対座標モード領域2410に表示される、上記複数のメニューの中のメニューに対応するボタンの種類を変更することができる。
 具体的には、図81Bに示された状態から、下ボタン2412に対してタッチ操作がなされると、液晶パネル240の表示内容は、図82Cに示されるように変化する。
 図82Aを参照して、絶対座標モード領域2410には、上ボタン2411と下ボタン2412の他に、「掲示板」「テレビ」「天気」のそれぞれのメニューに対応したボタン2413~2415が表示されている。なお、図82Aにおいて、「スポーツ」「ニュース」のそれぞれのメニューに対応したボタンであるボタン2416,2417は、参考として示されているのであって、絶対座標モード領域2410内に表示されているものではない。
 絶対座標モード領域2410に表示されるボタンとしては、図82Aに示されるように配列されたボタン2413~2417の中から、上ボタン2411または下ボタン2412を操作されることに応じて、3つのボタンが選択されて、絶対座標モード領域2410に表示される。
 たとえば、図82Aに表示されている状態から、下ボタン2412が1回タッチ操作されると、絶対座標モード領域2410に表示されるボタンは、2414~2416に変更される。
 図82Bに示される状態から、さらに、下ボタン2412が1回操作されると、絶対座標モード領域2410に表示されるボタンは、図82Cに示されるように、ボタン2415~2417とされる。
 このように、上ボタン2411または下ボタン2412に対する操作に応じて、絶対座標モード領域2410に表示されるボタン種類が選択されるような液晶パネル240の制御態様は、CPU110が、まず絶対座標モード領域2410に、5つのボタンの中から予め定められた3つのボタンを表示するための情報(第2コマンド)を第2ユニット1002に送信し、その後、本体装置101からの第1コマンドに応じて送信される応答データの一種である、上ボタン2411または下ボタン2412の表示位置が中心座標(図8の部分画像の中心座標)として第1ユニット1001に送信され、CPU110は、当該応答データの解析結果として、図82Bや図82Cに示されるように、絶対座標モード領域2410に表示させるボタンの種類を変更するような表示情報(第2コマンド)を第2ユニット1002に送信するという、一連の情報の送受信によって実現される。
 なお、CPU110は、アプリケーションの起動時に表示情報として第2ユニット1002に送信する表示情報として、ボタン2413~2417のすべてのボタンを表示するための情報(表示する画像データ等)を第2ユニット1002に送信し、信号処理部283が、上ボタン2411および下ボタン2412に対する操作に応じて、5つのボタン2413~2417の中から絶対座標モード領域2410に表示させる3つのボタンを選択する制御を実行してもよい。
 相対座標モード領域2420は、従来のタッチパッドのように、液晶パネル140に表示されるポインタ1400の表示位置を移動させるための、指やスタイラスなどによるなぞる操作を検出するための領域である。なお、図79のステップSD60~ステップSD61の処理として説明したように、電子機器100では、相対座標モード領域2420に対するクリック操作が検出され、当該操作がなされたことが、応答データとして表示装置103から第1ユニット1001に送信される。これにより、CPU110は、その時点でのポインタ1400の表示位置においてクリック操作がなされたものとして、アプリケーションを実行する。
 [第12の変形例]
 <表示内容の変形例について>
 以上説明したように、電子機器100では、液晶パネル240では、電子機器100で実行されているアプリケーションの内容に対応した、絶対座標モード領域2410と相対座標モード領域2420を含む画面2401が表示される。
 なお、液晶パネル240に表示される絶対座標モード領域や相対座標モード領域の大きさや範囲は、電子機器100において実行されるアプリケーションの種類に応じて変更される場合がある。
 図83Aおよび図83Bに、図81Aおよび図81Bを参照して説明したものとは別のアプリケーションが電子機器100において実行されている場合の液晶パネル140および液晶パネル240の表示内容を示す。
 図83Aは、液晶パネル140に表示される画面の一例である画面1402が示されている。
 画面1402は、ゲームのアプリケーションについての表示画面であり、その上方にはゲームのタイトルが表示され、または、電子機器100の操作者のゲームの状態を示す画面1403と対戦相手のゲームの状態を示す画面1404を含む。また、画面1402には、ポインタ1400が表示されている。
 図83Bは、液晶パネル240に表示される画面の一例である画面2402が示されている。
 画面2402は、絶対座標モード領域2430と相対座標モード領域2440を含む。液晶パネル240に表示される画面における絶対座標モード領域と相対座標モード領域の大きさの割合は、アプリケーションごとに変更することができる。このことから、絶対座標モード領域2430と相対座標モード領域2440の割合は、図81Bに示される絶対座標モード領域2410と相対座標モード領域2420の大きさの割合とは変更されている。
 図83Bに表示される画面2402の相対座標モード領域2440の機能は、図81Bの相対座標モード領域2420と同様のものである。
 絶対座標モード領域2430には、手書きの文字や図形を入力するための手書きパッド領域2431と、手書きパッド領域2431に入力された情報をクリアするためのボタン2433と、手書きパッド領域2431に表示されている画像情報を絶対座標情報として信号処理部283から第1ユニット1001へ送信させるために操作されるボタン2434とが表示されている。手書きパッド領域2431内には、当該領域に対して操作が開始されてからボタン2433またはボタン2434が操作されるまでの間の操作位置の軌跡が表示され、さらに、現在の操作位置をペン先の位置として示すペン形状の画像2432が表示されている。画像2432は、必ずしも表示されなくともよい。
 図83Aおよび図83Bを参照して説明したアプリケーションが実行されているときには、基本的に図78を参照して説明したサブ画面制御処理や図79および図80を参照して説明したサブ側制御処理が実行される。なお、このアプリケーションの実行に際しては、サブ側制御処理が、絶対座標情報の送信に関し変更される。
 具体的には、図79を参照して説明したサーバ側制御処理では、ステップSD80の処理により、絶対座標情報は、逐次的に送信されていた。一方、図83Aおよび図83Bを参照して説明したアプリケーションでは、絶対座標情報は、手書きパッド領域2431に対して操作が開始されてから(ボタン2433に対して操作がなされた場合にはその後手書きパッド領域2431に対して操作が開始されてから)、ボタン2434が操作されるまでの、手書きパッド領域2431に対する操作位置の軌跡を記憶しておき、そして、ボタン2434に対する操作がなされたことを条件として、絶対座標情報として、当該蓄積された手書きパッド領域2431の操作位置の軌跡の情報が第1ユニット1001へと送信される。
 [第13の変形例]
 <処理内容の変形例について>
 図78を参照して説明したサブ画面制御処理では、表示装置103に対して、表示情報とともに相対座標モード領域情報や絶対座標モード領域情報が送信されていた。
 なお、信号処理部283の記憶装置には、アプリケーションごとに表示情報や相対座標モード領域情報や絶対座標モード領域情報を記憶させておくことができる。これにより、第1ユニットから、実行するアプリケーションの種類を特定する情報を送信されるだけで、信号処理部283は、液晶パネル240に図81Bの画面2401や図83Bの画面2402のようなアプリケーションの種類に応じた画面を表示させることができる。
 このような場合、図78に示されたサブ画面制御処理のフローチャートは、たとえば図84に示されるように変更され、また、図79に示されたサブ側制御処理のフローチャートは、たとえば図85に示すように変更される。
 図84を参照して、このサブ画面制御処理の変形例では、CPU110は、ステップSC10で初期設定を読込んだ後、ステップSC21で、実行するアプリケーションを特定する情報(アプリケーション特定情報)を、(図78のステップSC20~ステップSC40の処理の代わりに)送信する。
 また、図85に示されるサブ側制御処理の変形例では、信号処理部283は、図84のステップSD10の処理の代わりに、ステップSD11で、アプリケーション特定情報を受信するまで待機し、受信したと判断するとステップSD12へ処理を進める。
 そして、信号処理部283は、ステップSD12において、受信したアプリケーション特定情報に関連付けられて当該信号処理部283内の記憶装置に記憶されている表示情報および相対座標モード領域情報と絶対座標モード領域情報とを読込む。
 そして、ステップSD20で、信号処理部283は、ステップSD20およびステップSD30において、ステップSD12で読込んだ表示情報および相対座標モード領域情報と絶対座標モード領域情報に基づいて、液晶パネル240の表示内容を更新させる。
 [第14の変形例]
 <電子機器の構成の変形例>
 液晶パネル240を含む表示装置103は、電子機器100に搭載されていても良いし、電子機器に対して着脱可能に構成されていても良い。
 図86に、図2に示した電子機器100の構成の中の、少なくとも第2ユニット1002の構成を含む情報処理端末9001と、表示装置102に構成を含む電子機器100Eとによって構成される情報処理システム9000を示す。
 情報処理端末9001は、たとえば、電子機器100Eに設けられた凹部100Dにはめ込まれるよう構成されている。
 凹部100DにUSBコネクタ194が設けられ、情報処理端末9001は、凹部100Dにはめ込まれることによりUSBコネクタ294がUSBコネクタ194と接続され、これにより、電子機器100Eから電力の供給を受けるように構成されていても良い。
 また、情報処理端末9001は、内部の各構成要素に電力を供給するための蓄電池等の電源を備えていても良い。
 [第15の変形例]
 <電子機器100の全体構成>
 コンテンツ表示装置の第15の変形例に係る電子機器100の全体構成について説明する。
 図87は、本変形例に係る電子機器100の外観を示す概略図である。左側には、第1の表示パネル140(あるいは表示装置102A)にコンテンツを小さく表示させたときの状態が、右側には、第1の表示パネル140にコンテンツを大きく表示させたときの状態が、それぞれ示されている。
 図87を参照して、電子機器100は、第1の筐体100Aと第2の筐体100Bとを含む。第1の筐体100Aと第2の筐体100Bとは、ヒンジ100Cにより折畳み可能に接続されている。第1の筐体100Aは、第1の光センサ内蔵液晶パネル140(以下、第1の表示パネル140ともいう。)を備える。第2の筐体100Bは、操作キーと第2の光センサ内蔵液晶パネル240(以下、第2の表示パネル240あるいはサブ画面ともいう。)を備える。このように、本実施の形態に係る電子機器100は、光センサ内蔵液晶パネルを2つ備える。なお、電子機器100は、PDA、ノート型のパーソナルコンピュータ、携帯型電話機、電子辞書などの表示機能を有する携帯型デバイスとして構成される。
 そして、本実施の形態に係る電子機器100は、第1の表示パネル140を用いて動画像140Aなどのコンテンツを表示するとともに、操作キー177および第2の表示パネル240を介してユーザからの命令を受け付ける。第2の表示パネル240は、第1の表示パネル140に表示されるポインタの移動命令や、第1の表示パネル140に表示される動画像140Aなどの再生を制御する操作命令を受け付ける。
 なお、第1の表示パネル140は、光センサ内蔵液晶パネルである必要はなく、コンテンツが表示可能であればよい。一方、第2の表示パネル240は、ユーザによるタッチ操作を検出できる必要があるため、タブレット機能と表示機能とを有するタッチパネルや、光センサ内蔵液晶パネルを利用することが好ましい。
 <電子機器100の動作概要>
 次に、図87を参照して、本実施の形態に係る電子機器100の動作概要について説明する。
 図87において左側に示すように、電子機器100は、第1の表示パネル140に動画像140Aを小さいウィンドウ上で表示させる。動画像140Aが小さいウィンドウ上で表示されている場合、電子機器100は通常モードに設定される。通常モードにおいては、電子機器100は、第1の表示パネル140にポインタ140Bを表示し、第2の表示パネル240を介してポインタ140Bの移動命令(第1の移動命令)を受け付ける。これによって、ユーザは、第2の表示パネル240に対するタッチ操作を行うことにより、第1の表示パネル140に表示されているポインタ140Bを移動させることができる。
 このとき、電子機器100は、第1の表示パネル140に、コンテンツの再生を制御するためのメイン操作画像140C(第2の画像)を表示させる。同時に、電子機器100は、第2の表示パネル240に、現在通常モードであることを示す画像240Aを表示する。
 一方、図87の右側に示すように、ユーザは、操作キー177や第2の表示パネル240を操作することにより、コンテンツを全画面表示させることもできる。すなわち、ユーザは、操作キー177や第2の表示パネル240を操作することにより、第1の表示パネル140によるコンテンツの表示態様を変更することができる。コンテンツが全画面表示されている場合、電子機器100は全画面モードに設定される。
 全画面モードにおいては、電子機器100は、第2の表示パネル240に、コンテンツの再生を制御するためのサブ操作画像240C(第1の画像)を表示させる。このとき、電子機器100は、第2の表示パネル240に、現在全画面モードであることを示す画像240Bを表示する。
 このようにして、ユーザは、第2の表示パネル240のサブ操作画像240Cにタッチすることによって、容易にコンテンツの再生を制御することができる。換言すれば、本実施の形態に係る電子機器100は、状況に応じてユーザが操作し易い操作画面を提供することによって、入力される命令の目的や対象が異なればユーザにとって操作性がよい操作画像(操作画面)が異なるという問題点を克服することができる。
 より詳細には、第1の表示パネル140を介して表示されるコンテンツの表示態様に応じて、ユーザが第2の表示パネル240(操作パネル)を介して入力したい操作命令は変化する。
 第1の表示パネル140にアプリケーション用のウィンドウが大きく表示されている場合には、ユーザは第2の表示パネル240を介して当該アプリケーションの動作を制御するための操作命令を入力する可能性は高いが、他のアプリケーションを制御するための命令を入力する可能性は低い。たとえば、第1の表示パネル140に動画像を再生するアプリケーション用のウィンドウが大きく表示されている場合には、ユーザは動画像の再生を制御するための操作命令を入力する可能性は高いが、ポインタの移動命令を入力する可能性は低い。
 逆に、第1の表示パネル140にアプリケーション用のウィンドウが小さく表示されている場合には、ユーザが他のアプリケーションを制御するための命令を入力する可能性が高い。たとえば、第1の表示パネル140に動画像を再生するウィンドウを小さく表示している場合には、ユーザがポインタの移動命令を入力する可能性が高い。
 本実施の形態に係る電子機器100は、上記の観点に基づいて、状況に応じてユーザが操作し易い操作画面を提供するものである。
 [第16の変形例]
 次に、図88を参照して、前述のスキャンの方法(つまり、図6における反射像をスキャンする方法)とは異なるスキャンの方法について説明する。
 図88は、スキャンの際にフォトダイオードが外光を受光する構成を示した断面図である。同図に示すとおり、外光の一部は、指900によって遮られる。それゆえ、指900と接触している表示パネル140の表面領域の下部に配されたフォトダイオードは、ほとんど外光を受光できない。また、指900の影が形成された表面領域の下部に配されたフォトダイオードは、ある程度の外光を受光できるものの、影が形成されていない表面領域に比べると外光の受光量が少ない。
 ここで、バックライト179を、少なくともセンシング期間においては消灯させておくことにより、光センサ回路144は、表示パネル140の表面に対する指900の位置に応じた電圧をセンサ信号線SSjから出力することができる。このように、バックライト179を点灯と消灯とを制御することにより、表示パネル140では、指900の接触位置、指900の接触している範囲(指900の押圧力によって定まる)、表示パネル140の表面に対する指900の方向などに応じて、センサ信号線(SS1からSSn)から出力される電圧が変化することになる。
 以上により、表示装置102は、指900によって外光が遮られることにより得られる像(以下、影像とも称する)をスキャンすることができる。
 さらに、表示装置102を、バックライト179を点灯させてスキャンを行った後に、バックライト179を消灯させて再度スキャンを行う構成としてもよい。あるいは、表示装置102を、バックライト179を消灯させてスキャンを行った後に、バックライト179を点灯させて再度スキャンを行う構成としてもよい。
 この場合には、2つのスキャン方式を併用することになるため、2つのスキャンデータを得ることができる。それゆえ、一方のスキャン方式のみを用いてスキャンする場合に比べて、精度の高い結果を得ることができる。
 <表示装置について>
 表示装置103の動作は、表示装置102の動作と同様、本体装置101からのコマンド(たとえば、第1コマンド)に応じて制御される。表示装置103は表示装置102と同様な構成を有する。それゆえ、表示装置103が表示装置102と同じコマンドを本体装置101から受け付けた場合、表示装置103は表示装置102と同様の動作を行う。このため、表示装置103の構成や動作についての説明は繰り返さない。
 なお、本体装置101は、表示装置102と表示装置103とに対して、命令が異なるコマンドを送ることができる。この場合、表示装置102と表示装置103とは別々の動作を行う。また、本体装置101は、表示装置102および表示装置103のいずれかに対して、コマンドを送ってもよい。この場合、一方の表示装置のみがコマンドに応じた動作を行う。また、本体装置101が、表示装置102と表示装置103とに命令が同じコマンドを送ってもよい。この場合、表示装置102と表示装置103とは、同じ動作を行う。
 なお、表示装置102の表示パネル140のサイズと表示装置103の表示パネル240のサイズとは、同じであってもよいし又は異なっていてもよい。また、表示パネル140の解像度と表示パネル240の解像度とは、同じであってもよいし又は異なっていてもよい。
 [第17の変形例]
 本実施の形態では、電子機器100が、光センサを内蔵した第1の表示パネル140と光センサを内蔵した第2の表示パネル240とを備えているが、前述したように、第2の表示パネル240のみがタブレットや光センサを内蔵している構成であってもよい。
 図89は、電子機器1300のハードウェア構成を表すブロック図である。電子機器1300は、電子機器100と同様、第1の筐体100Aと、第2の筐体100Bとを含む。また、図89を参照して、電子機器1300は、第1ユニット1001Aと、第2ユニット1002とを含む。第1ユニット1001Aは、本体装置101と、表示装置102Aとを含む。第2ユニット1002は、本体装置104と、表示装置103とを含む。
 表示装置102Aは、光センサを内蔵しない表示パネル(つまり、表示機能のみを有する表示パネル)である。電子機器1300は、第1ユニット1001Aが光センサを内蔵しない表示パネルを含む点で、第1ユニット1001が光センサを内蔵した表示パネル240を含む電子機器100と異なる。このような電子機器1300は、第2ユニット1002の表示装置103を用いて上述したセンシングを行う。
 また、第1ユニット1001は、光センサを内蔵した表示パネル140の代わりに、たとえば抵抗膜方式や静電容量方式のタッチパネルを備えてもよい。
 また、本実施の形態では、表示装置102がタイマ182を備え、表示装置103がタイマ282を備える構成として説明するが、表示装置102と表示装置103とが1つのタイマを共有する構成としてもよい。
 また、本実施の形態では、電子機器100を折畳型の機器として説明するが、電子機器100は必ずしも折畳型に限定されるものではない。たとえば、電子機器100は、第1の筐体100Aが第2の筐体100Bに対してスライドする構成のスライド式の機器であってもよい。
 本実施の形態に係る電子機器100は、上記のように構成されているため、第2ユニット1002が、USBコネクタ194,294を介して第1ユニット1001に着脱自在になっている。
 そして、本実施の形態に係る電子機器100は、たとえば電源投入時において、以下のような機能を発揮することができる。まず、ユーザが第1ユニット1001の電源スイッチ191を押下すると、第1ユニット1001は電源回路192からの電力を利用することによってBIOS(Basic Input/Output System)を起動させる。
 第2ユニット1002は、USBコネクタ194,294を介して第1ユニット1001から電力を取得する。第2ユニット1002は、当該電力を利用することによって、第1ユニット1001との間でデータを送受信することができる。このとき、第2ユニット1002のCPU210は、USBコネクタ194,294からの電力を使用することによって、表示パネル240にOS(Operation System)の種類を選択可能に表示させることができる。
 ユーザは、表示パネル240を介して、起動したいOSを選択する。CPU210は、ユーザの選択に応じ、USBコネクタ194,294を介して第1ユニット1001へと、起動すべきOSを指定するコマンド(たとえば、図10に示す「第1のOS」コマンド)を送信する。第1ユニット1001は、当該コマンドに応じて、OSを起動する。
 また、たとえば、第2ユニット1002は、アンテナ295を介して外部の携帯電話などとの間でデータの送受信を行う。第2ユニット1002のCPU210は、アンテナ295を介して、外部の携帯電話から写真画像データや対応するサムネイルデータを取得して、当該写真画像データや対応するサムネイルデータをRAM271などに格納する。CPU210は、RAM271からサムネイルデータを読み出して、表示パネル240に写真のサムネイル画像を選択可能に表示させる。
 そして、外部からの選択命令に応じて、CPU210は、表示パネル240に写真画像を表示させる。あるいは、CPU210は、USBコネクタ294を介して、写真画像を表示パネル140あるいは表示装置102Aに表示させる。
 なお、上述したように、電子機器100の第2の表示パネル240は、タブレット機能と表示機能とを有する通常のタッチパネルであってもよい。
 [第18の変形例]
 <本実施の形態に係る電子機器100の機能構成>
 以下では、図2、図87および図90を参照して、本実施の形態に係る電子機器100(1300)の機能構成について説明する。なお、図90は、本実施の形態に係る電子機器100(1300)の機能構成を示すブロック図である。
 本実施の形態に係る電子機器100は、第1の表示制御部111と、受付部112と、サイズ判断部113と、切替部114と、第2の表示制御部115とを含む。また、電子機器100は、図2にも示したように、RAM171と、第1の表示パネル140(あるいは表示装置102A)と、複数の光センサ回路244および複数の画素回路241とを含む第2の表示パネル240とを含む。
 まず、RAM171は、表示モードを切り替えるか否かを判断する際に利用される所定条件を格納する条件データ171Aと、動画像を表わす動画像データや静止画像や写真画像を表わす静止画像データなどのコンテンツデータ171Bとを記憶する。
 第1の表示パネル140は、第1の表示制御部111からの画像データやテキストデータに基づいて、すなわちCPU110からの出力信号に基づいて外部に可視光を発する。より詳細には、第1の表示パネル140は、画像処理エンジン180(図2)などを介して、第1の表示制御部111からの画像データやテキストデータに基づいて、バックライト179からの光を利用しながらコンテンツやテキストなどを表示する。
 第2の表示パネル240の複数の光センサ回路244のそれぞれは、入射光を受光して、入射光に応じた電気信号を生成する。複数の光センサ回路244は全体として、画像処理エンジン280(図2)などを介して、入射光に対応する電気信号を受付部112に入力する。なお、複数の光センサ回路244は、図88に示すようにバックライト179を消灯させた状態で、指900やスタイラスペンなどの接触位置を読み取ってもよい。
 このように、本実施の形態に係る複数の光センサ回路244および画像処理エンジン280は全体として操作部を実現する。そして、操作部は、第2の表示パネル240を介して、第1の表示パネル140に表示されているコンテンツの再生を制御するための操作命令を受け付けたり、第1の表示パネル140に表示されているポインタを移動させる移動命令(第1の移動命令)を受け付けたり、第1の表示パネル140に表示されているコンテンツのサイズを変更する変更命令を受け付けたりする。
 第2の表示パネル240の複数の画素回路241のそれぞれは、第2の表示制御部115からの画像データやテキストデータに基づいて、すなわちCPU110からの出力信号に基づいて外部に可視光を発する。より詳細には、複数の画素回路241は全体として、画像処理エンジン280(図2)などを介して、第2の表示制御部115からの画像データやテキストデータに基づいて、バックライト179からの光を利用しながらコンテンツやテキストなどを表示する。
 このように、本実施の形態に係る複数の画素回路241および画像処理エンジン280は全体として表示部を実現する。すなわち、表示部は、第2の表示パネル240に操作画像やその他の画像やテキストなどを表示させる。
 第1の表示制御部111と、受付部112と、サイズ判断部113と、切替部114と、第2の表示制御部115とは、CPU110などによって実現される機能である。より詳細には、CPU110が有する各機能は、CPU110がRAM171などに記憶される制御プログラムを実行して、図2に示される各ハードウェアを制御することによって実現される機能である。
 まず、第1の表示制御部111は、RAM171からコンテンツデータ171Bを読み出して、第1の表示パネル140にコンテンツを表示させる。たとえば、第1の表示制御部111は、第1の表示パネル140に動画像を再生させる。
 本実施の形態に係る第1の表示制御部111は、設定されている表示モードに応じて、表示するオブジェクトも変更する。たとえば、第1の表示制御部111は、通常モードにおいては、第1の表示パネル140に通常サイズのコンテンツを表示させる。第1の表示制御部111は、通常モードにおいてはポインタを表示させる。第1の表示制御部111は、通常モードにおいてはコンテンツの表示を操作するためのメイン操作画像140Cを表示する。第1の表示制御部111は、全画面モードにおいては、第1の表示パネル140にコンテンツを全画面表示させる。
 第1の表示制御部111は、受付部112からの変更命令に基づいて、コンテンツの表示態様を変更する。たとえば、第1の表示制御部111は、受付部112からのウィンドウサイズを変更する旨の変更命令に応じて、コンテンツの表示サイズを変更する。ユーザは、ポインタ140Bを用いて、動画像140A(コンテンツ)を表示するウィンドウの端部をつまみ、当該ウィンドウのサイズを変更し、当該端部をリリースすることによって、動画像140A(コンテンツ)の表示サイズを変更する。
 また、第1の表示制御部111は、受付部112からの操作命令に基づいて、コンテンツの表示を操作する。たとえば、第1の表示制御部111は、動画像を再生したり、動画像を早送りしたり、静止画像のスライドショウを実行する。
 また、通常モードにおいては、第1の表示制御部111は、受付部112からの移動命令に基づいてポインタを移動させる。
 受付部112は、操作キー177からの電気信号、あるいは複数の光センサ回路244から画像処理エンジン280を介して入力される電気信号に基づいて、第2の表示パネル240に入力された操作命令や移動命令や変更命令などを受け付ける。より詳細には、受付部112は、センシング時間毎に第2の表示パネル240の画像処理エンジン280から出力される画像データを取得して、当該画像データに基づいて操作命令や移動命令や変更命令などを生成する。
 そして、受付部112は、画像処理エンジン180から出力された画像データをRAM171に記憶してもよい。すなわち、第1の受付部112は、RAM171の画像データを常時最新の画像データに更新してもよい。なお、第1の受付部112は、CPU110と第1の表示パネル140の複数の光センサ回路144とによって実現される機能であってもよい。すなわち、第1の受付部112は、CPU110の一部の機能と第1の表示パネル140の受光機能とを含む機能ブロックを示す概念であってもよい。
 このようにして、受付部112は、たとえば、操作キー177や第2の表示パネル240からの電気信号に基づいて、表示されるコンテンツの表示態様を変更する変更命令を生成する。受付部112は、変更命令を第1の表示制御部111へ受け渡す。たとえば、変更命令は、コンテンツの表示サイズ(あるいはコンテンツを表示するウィンドウのサイズ)を変更する命令である。
 あるいは、受付部112は、通常モードにおいては、操作キー177あるいは第2の表示パネル240を介して入力される全画面モードへの移行命令を変更命令として受け付けて、当該移行命令を第1の表示制御部111に受け渡す。受付部112は、全画面モードにおいて、操作キー177あるいは第2の表示パネル240を介して入力される通常モードへの移行命令を変更命令として受け付けて、当該移行命令を第1の表示制御部111に受け渡す。なお、受付部112は、第2の表示パネル240を介して戻るボタン240D(図87右側を参照。)が押下されたことを検知することによって、通常モードへの移行命令を受け付ける。
 また、受付部112は、全画面モードにおいて、第2の表示パネル240を介して入力される絶対座標に基づいて、コンテンツの表示を制御するための操作命令を生成する。受付部112は操作命令を第1の表示制御部111へ受け渡す。たとえば、受付部112は、動画像を再生する操作命令や早送りする操作命令や頭出しをする操作命令などを生成する(受け付ける)。受付部112は、操作命令を第1の表示制御部111に受け渡す。
 受付部112は、通常モードにおいて、第2の表示パネル240を介して入力される相対座標に基づいて、ポインタを移動させるための移動命令を生成する(受け付ける)。受付部112は、移動命令を第1の表示制御部111へ受け渡す。
 サイズ判断部113は、RAM171から条件データ171Aを読み出して、第1の表示制御部111が第1の表示パネル140に表示させているコンテンツの表示態様が所定条件を満たすか否かを判断し、判断結果を切替部114に出力する。サイズ判断部113は、たとえば、コンテンツが表示されているエリアの第1の表示パネル140全体に対して占める割合が所定値以上である場合に、コンテンツの表示態様が所定条件を満たすと判断する。あるいは、サイズ判断部113は、第1の表示制御部111が第1の表示パネル140にコンテンツを全画面表示させている場合に、表示態様が所定条件を満たすと判断し、第1の表示制御部111が第1の表示パネル140にコンテンツを全画面表示させていない場合に、表示態様が所定条件を満たさないと判断する。
 切替部114は、サイズ判断部113からの判断結果に基づいて、表示モードを切替える。切替部114は、サイズ判断部113が表示態様が所定条件を満たすと判断した場合に全画面モードに切り替え、サイズ判断部113が表示態様が所定条件を満たさないと判断した場合に通常モードに切り替える。
 第2の表示制御部115は、サイズ判断部113が表示態様が所定条件を満たすと判断した場合に、第2の表示パネル240にコンテンツの表示を操作するための操作命令を受け付けるサブ操作画像240Cを表示させる。すなわち、第2の表示制御部115は、全画面モードにおいて、第2の表示パネル240にサブ操作画像240Cを表示させる。これによって、たとえば、第2の表示パネル240が動画像の再生を制御するための操作画面の役割を果たし、ユーザの操作性が向上する。
 一方、第2の表示制御部115は、サイズ判断部113がコンテンツの表示態様が所定条件を満たさないと判断した場合には、第2の表示パネル240に壁紙画像を表示させる。すなわち、第2の表示制御部115は、通常モードにおいて、第2の表示パネル240に壁紙画像を表示させる。あるいは、第2の表示制御部115は、通常モードにおいては何も表示しない。
 第2の表示制御部115は、通常モードにおいては、第2の表示パネル240に、通常モードであること、すなわち第2の表示パネル240がマウス機能を発揮していることを示す画像240Aを表示させる。第2の表示制御部115は、全画面モードにおいては、第2の表示パネル240に、全画面モードであること、すなわち第2の表示パネル240がコンテンツ専用の操作画面の機能を発揮していること示す画像240Bを表示させる。
 <本実施の形態に係るコンテンツ表示処理>
 次に、図2、図87、図90および図91を参照して、本実施の形態に係る電子機器100におけるコンテンツ表示処理について説明する。なお、図91は、本実施の形態に係る電子機器100におけるコンテンツ表示処理の処理手順を示すイメージ図である。以下では、予め第1の表示パネル140に動画像を表示させる場合について説明する。
 まず、第1の表示制御部111として機能するCPU110は、RAM171からコンテンツデータ171Bを読み出して、第1の表示パネル140に動画像を表示させている。受付部112として機能するCPU110が、コンテンツの表示サイズの変更を受け付けると(ステップSE102にて判断がYESである場合)、サイズ判断部113として機能するCPU110は、変更後のコンテンツの表示態様が所定条件を満たすか否かを判断する(ステップSE104)。
 ここでは、CPU110は、コンテンツが第1の表示パネル140に全画面表示されているか否かを判断する(ステップSE104)。図87右側に示すように、コンテンツが第1の表示パネル140に全画面表示されている場合(ステップSE104にて判断がYESである場合)、切替部114として機能するCPU110は全画面モードに切り替える。すなわち、第2の表示制御部115として機能するCPU110は、第2の表示パネル240にサブ操作画像240Cを表示させる(ステップSE106)。たとえば、第2の表示制御部115は、第2の表示パネル240に、操作用の再生ボタンや早送りボタンや巻き戻しボタンや頭出しボタンなどを選択可能(押下可能)に表示させる。受付部112として機能するCPU110は、第2の表示パネル240を介してコンテンツの再生を制御するための操作命令を受け付ける(ステップSE108)。
 一方、図87左側に示すように、コンテンツが第1の表示パネル140の一部に表示されている場合(ステップSE104にて判断がNOである場合)、切替部114として機能するCPU110は通常モードに切り替える。すなわち、第2の表示制御部115として機能するCPU110は、第2の表示パネル240に通常の画像(たとえば壁紙画像など)を表示させる(ステップSE110)。あるいは、第2の表示制御部115は、第2の表示パネル240には何も表示させない、すなわち第2の表示パネル240は光センサとしてのみ機能する。受付部112として機能するCPU110は、第2の表示パネル240を介してポインタ140Bの移動命令を受け付ける(ステップSE112)。すなわち、第2の表示パネル240は、マウス同様の機能を発揮する。
 <電子機器100の第1の付加機能>
 次に、図2、図87、図92を参照して、本実施の形態に係る電子機器100(1300)の第1の付加機能について説明する。図92は、第1の付加機能を有する電子機器100(1300)の機能構成を示すブロック図である。
 上記のように、本実施の形態に係る電子機器100は、第2の表示パネル240がサブ操作画像240C(第1の画像)を表示する状態へと移行するときに便利な機能を有するものであった。一方、ここで説明する第1の付加機能は、第1の表示パネル140がメイン操作画像140C(第2の画像)を表示する状態へと移行するときに便利な機能である。
 第1の表示パネル140、第2の表示パネル240、サイズ判断部113、切替部114、第2の表示制御部115の機能は上述したものと同様であるため、ここでは説明を繰り返さない。以下では、主に受付部112と第1の表示制御部111とに付加された機能について説明する。
 受付部112は、上述した機能に加えて、操作キー177や第2の表示パネル240のサブ操作画像240Cなどを介して入力される操作命令に基づいて、命令データ171CをRAM171に記憶する。より詳細には、受付部112は、新たに受け付けた操作命令に応じて、RAM171に記憶されている命令データ171Cを更新する。これによって、RAM171には、常に最後の(最新の)操作命令に対応する命令データ171Cが記憶される。
 第1の表示制御部111は、上述した機能に加えて、全画面モードから通常モードへと切り替わる際に、RAM171から最新の命令データを読み出して、第1の表示パネル140に最新の操作命令に対応する位置にポインタを表示させる。第1の表示制御部111は、命令データに基づいて、メイン操作画像140Cに含まれる操作ボタンのうちの操作命令に対応する操作ボタン上にポインタを重畳して表示させる。
 図93は、第1の付加機能を有する電子機器100の画面推移を示すイメージ図である。図93では、左側には、全画面モードにおいて、第2の表示制御部115によって、第2の表示パネル240にサブ操作画像240Cが表示される状態が示されている。ユーザが第2の表示パネル240の早送りボタン240Xを押下した場合、すなわち受付部112が第2の表示パネル240を介して動画像の早送り命令を受け付けた場合、受付部112は早送り命令を示す命令データ171CをRAM171に記憶する。
 その後、受付部112が通常モードへ移行する旨の命令を受け付けると、図93右側に示すように、第1の表示制御部111によって、第1の表示パネル140にメイン操作画像140Cが表示された状態が示されている。このとき、第1の表示制御部111は、第1の表示パネル140にメイン操作画像140Cの早送りボタン140Xが表示されている位置にポインタ140Bを表示させる。
 これによって、ユーザは、再度動画像の早送りを行いたい場合に、ポインタ140Bを早送りボタン140Xまで移動させる必要がなくなる。換言すれば、ポインタ140Bを移動させるために、第2の表示パネル240への精緻なタッチ操作を行なう必要がなくなる。つまり、本実施の形態に係る電子機器100は、状況に応じてユーザが操作し易い操作画面を提供できる。
 <第1の付加機能を有する電子機器100におけるコンテンツ表示処理>
 次に、図2、図87、図92、図93、図94を参照して、本実施の形態に係る電子機器100におけるコンテンツ表示処理について説明する。なお、図94は、第1の付加機能を有する電子機器100におけるコンテンツ表示処理の処理手順を示すイメージ図である。以下では、予め第1の表示パネル140に動画像を表示させる場合について説明する。
 まず、第1の表示制御部111として機能するCPU110は、RAM171からコンテンツデータ171Bを読み出して、第1の表示パネル140に動画像を表示させている。受付部112として機能するCPU110が、コンテンツの表示サイズの変更を受け付けると(ステップSE102にて判断がYESである場合)、サイズ判断部113として機能するCPU110は、変更後のコンテンツの表示態様が所定条件を満たすか否かを判断する(ステップSE104)。
 ここでは、CPU110は、コンテンツが第1の表示パネル140に全画面表示されているか否かを判断する(ステップSE104)。図87右側に示すように、コンテンツが第1の表示パネル140に全画面表示されている場合(ステップSE104にて判断がYESである場合)、切替部114として機能するCPU110は全画面モードに切り替える。すなわち、第2の表示制御部115として機能するCPU110は、第2の表示パネル240にサブ操作画像240Cを表示させる(ステップSE106)。たとえば、第2の表示制御部115は、第2の表示パネル240に、操作用の再生ボタンや早送りボタン240Xや巻き戻しボタンや頭出しボタンなどを選択可能(押下可能)に表示させる。受付部112として機能するCPU110は、第2の表示パネル240を介してコンテンツの再生を制御するための操作命令を受け付ける(ステップSE108)。
 受付部112として機能するCPU110は、第2の表示パネル240のサブ操作画像240Cを介して、ユーザからの操作命令を受け付ける(ステップSE202)。CPU110は、操作命令に対応する命令データ171CをRAM171に記憶する(更新する)(ステップSE204)。
 一方、図87左側に示すように、コンテンツが第1の表示パネル140の一部に表示されている場合(ステップSE104にて判断がNOである場合)、切替部114として機能するCPU110は通常モードに切り替える。すなわち、第2の表示制御部115として機能するCPU110は、第2の表示パネル240に通常の画像(たとえば壁紙画像など)を表示させる(ステップSE110)。あるいは、第2の表示制御部115は、第2の表示パネル240には何も表示させない、すなわち第2の表示パネル240は光センサとしてのみ機能する。
 第1の表示制御部111として機能するCPU110は、RAM171から最新の命令データ171Cを読み出す(ステップSE206)。CPU110は、第1の表示パネル140に、メイン操作画像140Cのうちの、ユーザから受け付けた最新の操作命令に対応する位置に(早送りボタン140Xの上に)ポインタ140Bを表示させる(ステップSE208)。受付部112として機能するCPU110は、第2の表示パネル240を介してポインタ140Bの移動命令を受け付ける(ステップSE112)。すなわち、第2の表示パネル240は、マウス同様の機能を発揮する。
 <電子機器100の第2の付加機能>
 次に、図2、図87、図95を参照して、本実施の形態に係る電子機器100(1300)の第2の付加機能について説明する。図95は、第2の付加機能を有する電子機器100(1300)の機能構成を示すブロック図である。
 上記のように、第1の付加機能は、第1の表示パネル140がメイン操作画像140C(第2の画像)を表示する状態へと移行するときに便利な機能であった。一方、ここで説明する第2の付加機能は、コンテンツが全画面表示された状態のままで第1の表示パネル140がポインタ140Bを表示するための機能である。なお、第2の付加機能を実現するストローク判断部117などは、第1の付加機能を有する電子機器100に追加的に適用することもできる。
 第1の表示パネル140、第2の表示パネル240、サイズ判断部113、第2の表示制御部115の機能は上述したものと同様であるため、ここでは説明を繰り返さない。電子機器100は、第2の付加機能としてストローク判断部117を含む。以下では、受付部112と第1の表示制御部111とに付加された機能およびストローク判断部117の機能について説明する。
 受付部112は、上述した機能に加えて、第2の表示パネル240を介してユーザから各種の接触操作を受け付ける。接触操作は、たとえば、指900が第2の表示パネル240に接触したまま第2の表示パネル240上をスライドするストローク操作や、指900が第2の表示パネル240にタッチするタップ操作(第2の表示パネル240上をほとんどスライドしない操作)を含む。
 受付部112は、全画面モードにおいて、第2の表示パネル240から取得する画像データに基づいて、ユーザによる第2の表示パネル240への接触操作を検知する。たとえば、受付部112は、第2の表示パネル240からの随時送られてくる画像データに基づいて、当該画像データ毎の指900の第2の表示パネル240への接触位置(指900の第2の表示パネル240への接触箇所の中心座標)を取得し、当該接触位置の時系列データを接触操作データとしてストローク判断部117に受け渡す。
 ストローク判断部117は、全画面モードにおいて、動画像などのコンテンツに対する操作命令(タップ操作)を受け付けたのか、第2の表示パネル240にポインタを表示させるための表示命令(ストローク操作)を受け付けたのかを判断する。すなわち、ストローク判断部117は、全画面モードにおいて、受付部112からの接触操作データに基づいて表示命令を受け付けたか否かを判断する。
 ストローク判断部117は、ユーザの第2の表示パネル240に対する接触操作のストロークの長さが予め設定された所定距離以上であるか否かを判断する。具体的には、ストローク判断部117は、接触操作データに基づいて、接触操作の開始位置と接触操作の終了位置とを距離を計算することによって、接触操作のストロークの長さを計算する。そして、ストローク判断部117は、接触操作のストロークの長さが予め設定された所定距離以上である場合に、ユーザがポインタを表示させるための表示命令を入力したと判断する。一方、ストローク判断部117は、接触操作のストロークの長さが予め設定された所定距離未満である場合に、ユーザが操作ボタンを押下した、すなわちユーザがコンテンツに対する操作命令を入力したと判断する。
 切替部114は、ストローク判断部117が表示命令が入力されたと判断した場合、通常モードへ切り替える。同時に、第1の表示パネル140は、ストローク判断部117が表示命令が入力されたと判断した場合、第1の表示パネル140にポインタ140Bを表示させる。これによって、受付部112は、第2の表示パネル240を介して、ユーザからポインタ140Bを移動する旨のポインタ移動命令の受け付けを開始する。
 図96は、第2の付加機能を有する電子機器100の画面推移を示すイメージ図である。図96Aに示すように、全画面モードにおいては、第2の表示制御部115は第2の表示パネル240を介してサブ操作画像240Cを表示する。そして、ユーザの指900が、第2の表示パネル240の早送りボタン240Xに接触して、スライドすることなく第2の表示パネル240から離れた場合、ストローク判断部117は、コンテンツに対する操作命令、たとえばコンテンツの早送り命令を受け付ける。このとき、全画面モードのまま移行せず、第1の表示パネル140の画面も第2の表示パネル240の画面も変化しない。すなわち、ユーザが第2の表示パネル240に対してタップ操作をした場合、第2の表示パネル240は全画面モードから変化しない。
 一方、図96Bに示すように、ユーザの指900が、第2の表示パネル240に接触し、所定距離以上スライドしてから第2の表示パネル240から離れた場合、すなわちストローク判断部117がユーザの指900のスライドした距離(接触操作のストロークの長さ)が所定距離以上であると判断した場合、図96Cに示すように、切替部114は全画面モードから通常モードへと切り替える。すなわち、切替部114は、第1の表示制御部111と第2の表示制御部115に切替命令を送る。これによって、第1の表示制御部111は、コンテンツを全画面表示したまま、第1の表示パネル140にポインタ140Bを表示させる。そして、受付部112は、第2の表示パネル240を介してポインタ140Bの移動命令を受け付け始める。すなわち、ユーザが第2の表示パネル240に対してストローク操作をした場合、第2の表示パネル240は全画面モードから通常モードへと移行する。
 ただし、ユーザが第2の表示パネル240に対してストローク操作をした場合に、第1の表示制御部111が第1の表示パネル140の一部にコンテンツを表示させてもよい。また、図93右側に示すように、第1の表示制御部111が第1の表示パネル140にポインタ140Bやメイン操作画像140Cを表示させてもよい。そして、サイズ判断部113が、第1の表示制御部111が第1の表示パネル140に表示させているコンテンツの表示態様が所定条件を満たすか否か(コンテンツが全画面表示されているか)を判断する。
 ここでは、コンテンツが全画面表示されていないため、切替部114が通常モードに切り替える。つまり、通常モードにおいて、第2の表示制御部115は、第2の表示パネル240に壁紙画像を表示させる。あるいは、第2の表示制御部115は、通常モードにおいては何も表示しない。
 これによって、ユーザは、全画面モード中でも、たとえばポインタ140Bを所望のオブジェクト上に移動させて、電子機器100の第1の表示パネル140や第2の表示パネル240に当該オブジェクトの説明を表示させることなどができる。すなわち、本実施の形態に係る電子機器100は、表示状態に応じてユーザが操作し易い操作画面を提供するとともに、ユーザの意思のみによって操作画面を変更することもできる。
 <第2の付加機能を有する電子機器100におけるコンテンツ表示処理>
 次に、図2、図87、図95、図96A~図96C、図97を参照して、本実施の形態に係る電子機器100におけるコンテンツ表示処理について説明する。なお、図97は、第2の付加機能を有する電子機器100におけるコンテンツ表示処理の処理手順を示すイメージ図である。以下では、予め第1の表示パネル140に動画像を表示させる場合について説明する。
 まず、第1の表示制御部111として機能するCPU110は、RAM171からコンテンツデータ171Bを読み出して、第1の表示パネル140に動画像を表示させている。受付部112として機能するCPU110が、コンテンツの表示サイズの変更を受け付けると(ステップSE102にて判断がYESである場合)、サイズ判断部113として機能するCPU110は、変更後のコンテンツの表示態様が所定条件を満たすか否かを判断する(ステップSE104)。
 ここでは、CPU110は、コンテンツが第1の表示パネル140に全画面表示されているか否かを判断する(ステップSE104)。図87右側に示すように、コンテンツが第1の表示パネル140に全画面表示されている場合(ステップSE104にて判断がYESである場合)、切替部114として機能するCPU110は全画面モードに切り替える。すなわち、第2の表示制御部115として機能するCPU110は、第2の表示パネル240にサブ操作画像240Cを表示させる(ステップSE106)。たとえば、第2の表示制御部115は、第2の表示パネル240に、操作用の再生ボタンや早送りボタンや巻き戻しボタンや頭出しボタンなどを選択可能(押下可能)に表示させる。受付部112として機能するCPU110は、第2の表示パネル240を介してコンテンツの再生を制御するための操作命令を受け付ける(ステップSE108)。
 受付部112として機能するCPU110は、第2の表示パネル240を介して、ユーザからの接触操作を待ち受ける(ステップSE302)。ストローク判断部117として機能するCPU110は、ユーザからの接触操作を受け付けると(ステップSE302にて判断がYESである場合)、接触操作データに基づいて接触操作のストロークの長さを計算する(ステップSE304)。CPU110は、ストローク長さが所定距離以上であるか否かを判断する(ステップSE306)。
 ストローク長さが所定距離以上である場合(ステップSE306にて判断がYESである場合)、CPU110は、第1の表示パネル140にコンテンツ上にポインタ140Bを表示させたうえで、ステップSE110からの処理を繰り返す。逆に、ストローク長さが所定距離未満である場合(ステップSE306にて判断がNOである場合)、CPU110はステップSE302からの処理を繰り返す。
 一方、図87左側に示すように、コンテンツが第1の表示パネル140の一部に表示されている場合(ステップSE104にて判断がNOである場合)、切替部114として機能するCPU110は通常モードに切り替える。すなわち、第2の表示制御部115として機能するCPU110は、第2の表示パネル240に通常の画像(たとえば壁紙画像など)を表示させる(ステップSE110)。あるいは、第2の表示制御部115は、第2の表示パネル240には何も表示させない、すなわち第2の表示パネル240は光センサとしてのみ機能する。
 受付部112として機能するCPU110は、第2の表示パネル240を介してポインタの移動命令を受け付ける(ステップSE112)。すなわち、第2の表示パネル240は、マウス同様の機能を発揮する。
 <電子機器100の第3の付加機能>
 次に、図2、図87、図98を参照して、本実施の形態に係る電子機器100(1300)の第3の付加機能について説明する。図98は、第3の付加機能を有する電子機器100(1300)の機能構成を示すブロック図である。
 上記のように、本実施の形態に係る電子機器100は第1の表示パネル140の表示状態に応じて第2の表示パネル240に表示させる内容や第2の表示パネル240を介して受け付ける命令を変更するものであって、すなわち第1の表示パネル140の表示状態に応じて全画面モードと通常モードとが切り替わるものであった。ここで説明する第3の付加機能は、ユーザ操作に応じて、すなわちユーザが能動的に、第1の表示パネル140の表示状態や、第2の表示パネル240に表示させる内容や、第2の表示パネル240を介して受け付ける命令を変更するものである。
 なお、第3の付加機能を実現する命令判断部118などは、第1の付加機能を有する電子機器100に適用することもできるし、第2の付加機能を有する電子機器100に追加的に適用することもできるし、第1の付加機能および第2の付加機能を有する電子機器100に追加的に適用することもできる。
 第1の表示パネル140、第2の表示パネル240、サイズ判断部113、第2の表示制御部115の機能は上述したものと同様であるため、ここでは説明を繰り返さない。電子機器100は、第3の付加機能として命令判断部118を含む。以下では、受付部112と第1の表示制御部111とに付加された機能および命令判断部118の機能について説明する。
 受付部112は、上述した機能に加えて、第2の表示パネル240を介してユーザから各種の接触操作を受け付ける。接触操作は、たとえば、指900が第2の表示パネル240に接触したまま第2の表示パネル240上をスライドするストローク操作や、指900が第2の表示パネル240にタッチするタップ操作(第2の表示パネル240上をほとんどスライドしない操作)を含む。
 第1の表示パネル140が光センサ内蔵型液晶パネルやタッチパネルである場合、受付部112は、通常モードにおいて、第1の表示パネル140から取得される画像データに基づいて、ユーザによる第1の表示パネル140への接触操作を検知する。たとえば、受付部112は、第1の表示パネル240からの随時送られてくる画像データに基づいて、当該画像データ毎の指900の第1の表示パネル240への接触位置(指900の第1の表示パネル140への接触箇所の中心座標)を取得する。
 また、受付部112は、第2の表示パネル240から取得する画像データに基づいて、ユーザによる第2の表示パネル240への接触操作を検知する。たとえば、受付部112は、第2の表示パネル240から随時送られてくる画像データに基づいて、当該画像データ毎の指900の第2の表示パネル240への接触位置(指900の第2の表示パネル240への接触箇所の中心座標)を取得する。
 このように、ユーザは、第2の表示パネル240を介して電子機器100に、メイン操作画像140Cを移動させるための移動命令(第2の移動命令)を入力する。そして、第1の表示パネル140が光センサ内蔵型液晶パネルやタッチパネルである場合には、ユーザは、第1の表示パネル140を介しても電子機器100にメイン操作画像140Cを移動(ドラッグ)させるための移動命令(第2の移動命令)を入力することができる。
 受付部112は、接触位置とメイン操作画像140Cの表示位置とに基づいて、メイン操作画像140Cを選択(ホールド)状態にする。受付部112は、ホールド状態における接触位置の時系列データを移動命令データとしてストローク判断部117に受け渡す。
 命令判断部118は、通常モードにおいて、移動命令データに基づいて、ホールドされたメイン操作画像140Cが第1の表示パネル140の下端(第1の表示パネル140のうちの第2の表示パネル240側の端部)へと移動させられたか否かを判断する。より詳細には、命令判断部118は、メイン操作画像140Cがホールドされた状態で、接触位置が所定エリアに達したか否かを判断する。あるいは、命令判断部118は、移動命令データに基づいて接触位置を示す座標値や接触位置の移動方向や接触位置の移動速度を取得して、座標値や移動方向や移動速度に基づいてメイン操作画像140Cが第1の表示パネル140の下端へと消えていったか否かを判断する。
 切替部114は、命令判断部118が接触位置が下方へ移動しながら第1の表示パネル140の下端に設定された所定エリアに達したと判断した場合に、ユーザからのモード切替命令が入力されたと判断する。すなわち、切替部114は、通常モードにおいて、命令判断部118が接触位置が下方へ移動しながら第1の表示パネル140の下端に設定された所定エリアに達したと判断した場合に、全画面モードへ切り替える。
 より詳細には、第1の表示パネル140は、命令判断部118が接触位置が下方へ移動しながら第1の表示パネル140の下端に設定された所定エリアに達したと判断した場合、第1の表示パネル140にコンテンツを全画面表示させる。そして、サイズ判断部113が、第1の表示制御部111が第1の表示パネル140に表示させているコンテンツの表示態様が所定条件を満たすか否か(コンテンツが全画面表示されているか)を判断する。
 ここでは、コンテンツが全画面表示されているため、切替部114が全画面モードに切り替える。つまり、全画面モードにおいて、第2の表示制御部115は、第2の表示パネル240にサブ操作画像240Cを表示させる。受付部112は、第2の表示パネル240を介して、ユーザからコンテンツに対する操作命令の受け付けを開始する。
 図99A~図99Cは、第3の付加機能を有する電子機器100の画面推移を示すイメージ図である。ここでは、第1の表示パネル140が光センサ内蔵型液晶パネルやタッチパネルである場合について説明する。図99Aに示すように、通常モードにおいて、ユーザの指900が第1の表示パネル140のメイン操作画像140Cが表示されている位置に接触すると、受付部112はメイン操作画像140Cをホールド状態に設定する。メイン操作画像140Cがホールド状態において、ユーザの指900が第1の表示パネル140の表面上をスライドすると、第1の表示パネル140と指900との接触位置に従って、メイン操作画像140Cが第1の表示パネル140上を移動する。
 図99Bに示すように、ユーザの指900がメイン操作画像140Cを保持して第1の表示パネル140の下端(第1の表示パネル140の下部に設けられる所定エリア)へと移動させると、命令判断部118がメイン操作画像140Cが所定エリアに達したと判断し、切替部114は全画面モードへ切り替える。
 図99Cに示すように、全画面モードに移行すると、第1の表示パネル140はコンテンツを全画面表示する。換言すれば、第1の表示パネル140がコンテンツを全画面表示すると、切替部114が全画面モードへ切り替える。全画面モードにおいて、第2の表示パネル240は、サブ操作画像240Cを表示する。受付部112は、第2の表示パネル240の操作画面を介してコンテンツに対する操作命令を受け付ける。
 <第3の付加機能を有する電子機器100におけるコンテンツ表示処理>
 次に、図2、図87、図98、図99A~図99C、図100を参照して、本実施の形態に係る電子機器100におけるコンテンツ表示処理について説明する。なお、図100は、第3の付加機能を有する電子機器100におけるコンテンツ表示処理の処理手順を示すイメージ図である。以下では、予め第1の表示パネル140に動画像を表示させる場合について説明する。
 まず、第1の表示制御部111として機能するCPU110は、RAM171からコンテンツデータ171Bを読み出して、第1の表示パネル140に動画像を表示させている。受付部112として機能するCPU110が、コンテンツの表示サイズの変更を受け付けると(ステップSE102にて判断がYESである場合)、サイズ判断部113として機能するCPU110は、変更後のコンテンツの表示態様が所定条件を満たすか否かを判断する(ステップSE104)。
 ここでは、CPU110は、コンテンツが第1の表示パネル140に全画面表示されているか否かを判断する(ステップSE104)。図87右側に示すように、コンテンツが第1の表示パネル140に全画面表示されている場合(ステップSE104にて判断がYESである場合)、切替部114として機能するCPU110は全画面モードに切り替える。すなわち、第2の表示制御部115として機能するCPU110は、第2の表示パネル240にサブ操作画像240Cを表示させる(ステップSE106)。たとえば、第2の表示制御部115は、第2の表示パネル240に、操作用の再生ボタンや早送りボタンや巻き戻しボタンや頭出しボタンなどを選択可能(押下可能)に表示させる。受付部112として機能するCPU110は、第2の表示パネル240を介してコンテンツの再生を制御するための操作命令を受け付ける(ステップSE108)。
 一方、図87左側に示すように、コンテンツが第1の表示パネル140の一部に表示されている場合(ステップSE104にて判断がNOである場合)、切替部114として機能するCPU110は通常モードに切り替える。すなわち、第2の表示制御部115として機能するCPU110は、第2の表示パネル240に通常の画像(たとえば壁紙画像など)を表示させる(ステップSE110)。あるいは、第2の表示制御部115は、第2の表示パネル240には何も表示させない、すなわち第2の表示パネル240は光センサとしてのみ機能する。
 受付部112として機能するCPU110は、第2の表示パネル240を介してポインタの移動命令を受け付ける(ステップSE112)。すなわち、第2の表示パネル240は、マウス同様の機能を発揮する。
 受付部112として機能するCPU110は、第1の表示パネル140あるいは第2の表示パネル240を介して、ユーザからのメイン操作画像140Cの移動命令を待ち受ける(ステップSE402)。命令判断部118として機能するCPU110は、ユーザからの移動命令を受け付けると(ステップSE402にて判断がYESである場合)、移動命令データに基づいてメイン操作画像140Cが所定エリアに達したか否かを判断する(ステップSE404)。たとえば、CPU110は、メイン操作画像140Cの下部が、第1の表示パネル140の下方へと消えていったか否かを判断する。
 メイン操作画像140Cが所定エリアに達した場合(ステップSE404にて判断がYESである場合)、CPU110は、第1の表示パネル140にコンテンツを全画面表示したうえで、ステップSE106からの処理を繰り返す。逆に、メイン操作画像140Cが所定エリアに達しない場合(ステップSE404にて判断がNOである場合)、CPU110はステップSE402からの処理を繰り返す。
 <その他の実施の形態>
 本発明は、システム或いは装置にプログラムを供給することによって達成される場合にも適用できることはいうまでもない。そして、本発明を達成するためのソフトウェアによって表されるプログラムを格納した記憶媒体を、システム或いは装置に供給し、そのシステム或いは装置のコンピュータ(又はCPUやMPU)が記憶媒体に格納されたプログラムコードを読出し実行することによっても、本発明の効果を享受することが可能となる。
 この場合、記憶媒体から読出されたプログラムコード自体が前述した実施の形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。
 プログラムコードを供給するための記憶媒体としては、例えば、ハードディスク、光ディスク、光磁気ディスク、CD-ROM、CD-R、磁気テープ、不揮発性のメモリカード(ICメモリカード)、ROM(マスクROM、フラッシュEEPROMなど)などを用いることができる。
 また、コンピュータが読出したプログラムコードを実行することにより、前述した実施の形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているOS(オペレーティングシステム)などが実際の処理の一部または全部を行い、その処理によって前述した実施の形態の機能が実現される場合も含まれることは言うまでもない。
 さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるCPUなどが実際の処理の一部または全部を行い、その処理によって前述した実施の形態の機能が実現される場合も含まれることは言うまでもない。
 [まとめ]
 本発明に従った電子機器は、第1の表示部と、第2の表示部と、操作部と、第1および第2の表示装置の表示態様を制御する制御部とを備え、第2の表示部は、外部からの入力を受け付け可能な表示一体型のタブレットであり、制御部は、タブレットに対する入力に応じて実行した処理によって作成した画面を第1の表示部に表示させる第1のモードと、タブレットに対する入力に応じて実行した処理によって作成した画面を第2の表示部に表示させる第2のモードとで、動作が可能であり、操作部に対する操作に応じて、第1のモードと第2のモードの間で動作するモードを切り替える。
 また、本発明の電子機器は、記憶部をさらに備え、制御部は、第2のモードから第1のモードに動作するモードを切り替える場合には、第2のモードにおける動作の内容を特定する情報である動作情報を記憶部に記憶し、第1のモードから第2のモードに動作するモードを切り替える場合には、記憶部に記憶された動作情報に応じた情報を第2の表示部に表示させる。
 また、本発明の電子機器では、制御部は、第1のモードから第2のモードに動作するモードを切り替える場合に、記憶部に記憶された動作情報が初期状態にあれば、特定のアプリケーションを起動し、第2の表示部に当該特定のアプリケーションの実行の結果生成した画面を表示させる。
 また、本発明の電子機器では、制御部は、電子機器の電源状態の変化、または電子機器の再起動に応じて、記憶部に記憶させた動作情報を初期化する。
 また、本発明の電子機器では、制御部は、複数のアプリケーションを実行可能であり、複数のアプリケーションは、複数のアプリケーションの中の他のアプリケーションを起動させるための特定のアプリケーションを含み、制御部は、特定のアプリケーションが起動した場合には、記憶部に記憶させた動作情報を初期化する。
 また、本発明の電子機器では、制御部は、電子機器が特定の電源状態から起動または復帰する場合に、第1のモードで動作する。
 また、本発明の電子機器では、制御部は、電子機器が特定の動作状態にある間は、第1のモードで動作する。
 また、本発明の電子機器では、制御部は、第2の表示部に、操作部が操作されることによって第1のモードと第2のモードの間のモードの切り替えを実行可能な期間にのみ、操作部がモード間の切り替えを実行すために操作し得ることを表示する。
 本発明に従った電子機器の制御方法は、第1の表示部と、外部からの入力を受け付け可能な表示一体型のタブレットからなる第2の表示部と、操作部と、第1および第2の表示装置の表示態様を制御する制御部とを備える電子機器の制御方法であって、タブレットに対する入力に応じて実行した処理によって作成した画面を第1の表示部に表示させる第1のモードと、タブレットに対する入力に応じて実行した処理によって作成した画面を第2の表示部に表示させる第2のモードとで、動作し、操作部に対する操作に応じて、第1のモードと第2のモードの間で動作するモードを切り替える。
 本発明に従った電子機器の制御プログラムは、第1の表示部と、外部からの入力を受け付け可能な表示一体型のタブレットからなる第2の表示部と、操作部と、第1および第2の表示装置の表示態様を制御する制御部とを備える電子機器を制御するためのコンピュータ読取可能な制御プログラムであって、電子機器に、タブレットに対する入力に応じて実行した処理によって作成した画面を第1の表示部に表示させる第1のモードと、タブレットに対する入力に応じて実行した処理によって作成した画面を第2の表示部に表示させる第2のモードとで、動作させ、操作部に対する操作に応じて、第1のモードと第2のモードの間で動作するモードを切り替えさせる。
 本発明によれば、第1の表示部と第2の表示部を備えた電子機器において、第2の表示部を含むタブレットに対する入力に応じて実行した処理によって作成した画面を第1の表示部に表示させる第1のモードと、当該タブレットに対する入力に応じて実行した処理によって作成した画面を主に第2の表示部に表示させる第2のモードの2種類のモードの動作が可能となり、かつ、操作部に対する操作に応じて、第1のモードと第2のモードの間で動作するモードが切り替えられる。
 したがって、ユーザは、2つの表示装置(第1および第2の表示部)を備えた電子機器を第1のモードと第2のモードの双方で使用可能であり、かつ、これらのモード間を、容易な操作で切り替えてシームレスで使用することができる。
 特に、電子機器において、第2のモードにおいて複数のサブアプリケーションが実行可能であり、それぞれのサブアプリケーションと第1のモードとの間での切り替え操作を頻繁に行なう場合、本発明は有効である。
 本発明の1つの局面に従うと、電子機器であって、第1の画面を表示するディスプレイと、第2の画面を表示し、かつ、外部からの入力を受け付け可能な表示一体型のタブレットと、ディスプレイおよびタブレットの動作を制御する制御部とを備え、制御部は、制御部の第1の動作モードと第2の動作モードとを切り替えるモード切替部と、プログラムを実行する実行部とを含み、実行部は、第1の動作モードにおいて、タブレットへの入力に応じてプログラムを実行し、実行されたプログラムが作成した画像をディスプレイに表示し、タブレットへの入力の位置の変化に応じてディスプレイに表示された画像を変更し、第2の動作モードにおいて、タブレットへの入力に応じてプログラムを実行し、実行されたプログラムが作成した画像をタブレットに表示し、タブレットへの入力の位置の変化とは独立にディスプレイの表示を制御する。
 好ましくは、実行部は、第1の動作モードにおいて、タブレットへの入力の位置に応じたディスプレイ内の位置にカーソルを表示し、第2の動作モードにおいて、タブレットへの入力の位置とは独立にカーソルの位置を制御する。
 さらに好ましくは、実行部は、第1の動作モードから第2の動作モードへの切り替えに応じて、カーソルの表示を変更する。
 さらに好ましくは、実行部は、第2の動作モードにおいて、カーソルを、第1の動作モードとは異なる表示形態で表示する。
 さらに好ましくは、実行部は、第2の動作モードにおいて、カーソルを、第1の動作モードにおけるカーソルよりも薄く表示する。
 さらに好ましくは、実行部は、第2の動作モードにおいて、ディスプレイへのカーソルの表示を中止する。
 さらに好ましくは、実行部は、第2の動作モードにおいて、カーソルがディスプレイ内のアクティブなウィンドウに重なっていると判断すると、カーソルの表示を変更する。
 さらに好ましくは、実行部は、第1の動作モードから第2の動作モードへの切り替えに応じて、カーソルを所定の表示位置に移動する。
 さらに好ましくは、実行部は、第2の動作モードにおいて、カーソルをディスプレイの端部に表示する。
 さらに好ましくは、実行部は、第2の動作モードにおいて、カーソルがディスプレイ内のアクティブなウィンドウに重なっていると判断すると、カーソルを所定の表示位置に移動する。
 さらに好ましくは、実行部は、第2の動作モードにおいて、カーソルがディスプレイ内のアクティブなウィンドウに重なっていると判断すると、カーソルをウィンドウ外の領域に移動する。
 さらに好ましくは、実行部は、第2の動作モードにおいて、カーソルがディスプレイ内のアクティブなウィンドウに重なっていると判断すると、カーソルをディスプレイの端部に表示する。
 さらに好ましくは、電子機器は、記憶装置をさらに備え、実行部は、第1の動作モードにおいて、カーソルの位置を記憶装置に格納し、第2の動作モードから第1の動作モードへの切り替えに応じて、記憶装置に記憶されたカーソルの位置にカーソルを表示する。
 さらに好ましくは、外部のポインティングデバイスを接続可能なインターフェースをさらに備え、実行部は、インターフェースにポインティングデバイスが接続されていると判断すると、第1の動作モードから第2の動作モードへの切り替えの前後で、同一のカーソルを表示する。
 さらに好ましくは、プログラムは、第1のプログラムと第2のプログラムとを含み、実行部は、第1の動作モードにおいて、タブレットへの入力に応じて第1のプログラムを実行し、第2の動作モードにおいて、タブレットへの入力に応じて第2のプログラムを実行する。
 さらに好ましくは、実行部は、第1の実行部と、第2の実行部とを含み、第1の実行部は、第1の動作モードにおいてタブレットへの入力に応じて第1のプログラムを実行し、第2の実行部は、第2の動作モードにおいてタブレットへの入力に応じて第2のプログラムを実行する。
 本発明の他の局面に従うと、第1の情報処理ユニットと第2の情報処理ユニットとを備える情報処理システムであって、第1の情報処理ユニットは、第1の画面を表示するディスプレイと、第2の情報処理ユニットとデータの授受を行なう第1のインターフェース部と、ディスプレイおよび第1のインターフェース部を制御する第1の制御部とを備え、第1の制御部は、第1のプログラムを実行し、実行された第1のプログラムが作成した画像をディスプレイに表示する第1の実行部を含み、第2の情報処理ユニットは、第2の画面を表示し、かつ、外部からの入力を受け付け可能な表示一体型のタブレットと、第1の情報処理ユニットとデータの授受を行なう第2のインターフェース部と、タブレットおよび第2のインターフェース部を制御する第2の制御部とを備え、第2の制御部は、第2の制御部の第1の動作モードと第2の動作モードとを切り替えるモード切替部と、第2のプログラムを実行する第2の実行部とを含み、第2の実行部は、第1の動作モードにおいて、タブレットへの入力の位置の変化に応じて第1のプログラムの表示を変更する第1のコマンドを作成し、第2のインターフェース部を制御して第1のコマンドを第1の情報処理ユニットに送信し、第2の動作モードにおいて、タブレットへの入力に応じて第2のプログラムを実行し、実行された第2のプログラムが作成した画像をタブレットに表示し、タブレットへの入力の位置の変化とは独立に第1のプログラムの第2のコマンドを作成し、第2のインターフェース部を制御して第2のコマンドを第1の情報処理ユニットに送信する。
 本発明のさらに他の局面に従うと、第1の画面を表示するディスプレイと、第2の画面を表示し、かつ、外部からの入力を受け付け可能な表示一体型のタブレットと、プログラムを実行する実行部とを有する電子機器の制御方法であって、電子機器の第1の動作モードと第2の動作モードとを切り替えるステップと、第1の動作モードにおいて、タブレットへの入力に応じてプログラムを実行し、実行されたプログラムが作成した画像をディスプレイに表示するステップとを備え、第1の動作モードにおいて画像をディスプレイに表示するステップは、タブレットへの入力の位置の変化に応じてディスプレイに表示された画像を変更するステップを含み、第2の動作モードにおいて、タブレットへの入力に応じてプログラムを実行し、実行されたプログラムが作成した画像をタブレットに表示し、タブレットへの入力の位置の変化とは独立にディスプレイの表示を制御するステップをさらに備える。
 本発明のさらに他の局面に従うと、第1の画面を表示するディスプレイと、第2の画面を表示し、かつ、外部からの入力を受け付け可能な表示一体型のタブレットと、プログラムを実行する実行部とを有する電子機器の制御プログラムであって、電子機器の第1の動作モードと第2の動作モードとを切り替えるステップと、第1の動作モードにおいて、タブレットへの入力に応じてプログラムを実行し、実行されたプログラムが作成した画像をディスプレイに表示するステップとを備え、第1の動作モードにおいて画像をディスプレイに表示するステップは、タブレットへの入力の位置の変化に応じてディスプレイに表示された画像を変更するステップを含み、第2の動作モードにおいて、タブレットへの入力に応じてプログラムを実行し、実行されたプログラムが作成した画像をタブレットに表示し、タブレットへの入力の位置の変化とは独立にディスプレイの表示を制御するステップをさらに備える。
 本発明に係る電子機器(あるいは情報処理システム)は、第1の画面を表示するディスプレイと、第2の画面を表示し、かつ、外部からの入力を受付可能な表示一体型のタブレットとを備える。また、電子機器には、互いに切り替え可能な、第1の動作モードと第2の動作モードとがある。
 電子機器は、第1の動作モードにおいては、タブレットへの入力位置の変化に基づいて、ディスプレイに表示された画像を変更する。一方、電子機器は、第2の動作モードにおいては、タブレットへの入力位置の変化とは独立に、ディスプレイの画像の表示を制御する。
 より具体的には、電子機器は、第1の動作モードにおいて、タブレットへの入力位置に基づいて直接ディスプレイを操作する。また、電子機器は、第2の動作モードにおいては、第2の画面タブレットに表示されたUI(ユーザー・インタフェース)画面へのタブレットの入力位置に基づく操作を通じて、ディスプレイの操作を行なう。電子機器は、第1の動作モードから第2の動作モードへの切り替えに応じて、タブレットへの入力によってディスプレイに不要な表示が現れることを抑制するなどの制御を行なう。
 その結果、本発明によれば、2つの表示画面と2種類の動作モードを有し、かつ、操作性の高い電子機器あるいは情報処理システムを提供することができる。あるいは、本発明によれば、2つの表示画面と2種類の動作モードを有する電子機器の操作性を向上させる電子機器の制御方法および制御プログラムを提供することができる。
 本発明のある局面に従った電子機器は、画像を表示する第1の表示部と、画像を表示しかつタッチセンサが内蔵された第2の表示部と、第1の記憶部と、前記第1の記憶部に記憶されたアプリケーションのプログラムを実行することにより、当該アプリケーションに従った処理の実行結果の出力画面の少なくとも一部を前記第1の表示部に表示する制御部とを備え、前記制御部は、前記アプリケーションに基づいて定められる前記第2の表示部の中の第1の領域における絶対的な操作位置である第1の操作位置の情報と、前記アプリケーションに基づいて定められる前記第2の表示部の中の第2の領域における相対的な操作位置である第2の操作位置の情報とに基づいて、前記アプリケーションのプログラムを実行し、前記第2の表示部は、前記タッチセンサの検出出力に基づいて、前記第1および第2の操作位置の情報を前記制御部に送信する。
 また、本発明の電子機器では、好ましくは、前記タッチセンサは、光センサによって構成される。
 また、本発明の電子機器では、好ましくは、前記制御部は、前記アプリケーションに基づいて、前記第1の領域に所定の位置に画像を表示させ、前記所定の位置を操作されたことに応じて前記アプリケーションの所定の処理を実行する。
 また、本発明の電子機器では、好ましくは、前記制御部は、前記第2の表示部に対し、前記第1の領域および前記第2の領域を指定する情報を送信し、前記第2の表示部は、前記タッチセンサによって検出された操作位置が前記第1の領域または前記第2の領域のいずれに含まれるかを判断し、前記第1の領域に含まれると判断した場合には、前記タッチセンサの検出出力に基づいて前記第1の操作位置の情報を前記制御部に送信し、前記第2の領域に含まれると判断した場合には、前記タッチセンサの検出出力に基づいて前記第2の操作位置の情報を前記制御部に送信する。
 また、本発明の電子機器では、好ましくは、前記制御部は、前記第2の表示部に、実行中のアプリケーションを特定するための情報である特定用情報を送信し、前記第2の表示部は、アプリケーションの種類と前記第1の領域および前記第2の領域を定める情報とを関連付けて記憶する第2の記憶部を含み、前記特定用情報と前記第2の記憶部の記憶内容に基づいて、前記タッチセンサによって検出された操作位置が前記第1の領域または前記第2の領域のいずれに含まれるかを判断し、前記第1の領域に含まれると判断した場合には、前記タッチセンサの検出出力に基づいて前記第1の操作位置の情報を前記制御部に送信し、前記第2の領域に含まれると判断した場合には、前記タッチセンサの検出出力に基づいて前記第2の操作位置の情報を前記制御部に送信する。
 本発明の他の局面に従った電子機器は、画像を表示する第1の表示部と、第1の記憶部と、前記第1の記憶部に記憶されたアプリケーションのプログラムを実行することにより、当該アプリケーションに従った処理の実行結果の出力画面の少なくとも一部を前記第1の表示部に表示する制御部と、画像を表示しかつタッチセンサが内蔵された第2の表示部を備える情報処理端末との間で情報の送受信を行なう通信部とを備え、前記制御部は、前記アプリケーションに基づいて定められる前記第2の表示部の中の第1の領域における絶対的な操作位置である第1の操作位置、および、前記第2の表示部の中の第2の領域における相対的な操作位置である第2の操作位置に基づいて前記アプリケーションのプログラムを実行し、前記通信部は、前記情報処理端末から、前記タッチセンサの検出出力に基づいて生成された前記第1および第2の操作位置の情報を受信する。
 本発明に従った情報処理端末は、画像を表示する第1の表示部と、第1の記憶部と、前記第1の記憶部に記憶されたアプリケーションのプログラムを実行することにより、当該アプリケーションに従った処理の実行結果の出力画面の少なくとも一部を前記第1の表示部に表示する制御部とを含む電子機器と、情報の送受信が可能な情報処理端末であって、画像を表示しかつタッチセンサが内蔵された第2の表示部と、前記電子機器から、前記電子機器において実行されるアプリケーションに基づいて定められる、前記第2の表示部の中の第1の領域および第2の領域を特定する情報を受信する受信部と、前記制御部によるアプリケーションのプログラムの実行のため、前記タッチセンサの検出出力に基づいて、前記第1の領域における絶対的な操作位置である第1の操作位置の情報、および、前記第2の領域における相対的な操作位置である第2の操作位置の情報を生成する情報生成部と、前記第1および第2の操作位置の情報を前記電子機器に送信する送信部とを備える。
 本発明のある局面に従ったアプリケーションプログラムは、画像を表示する第1の表示部と、画像を表示しかつタッチセンサが内蔵された第2の表示部とを備える電子機器において実行されるアプリケーションプログラムであって、前記電子機器に、前記アプリケーションに従った処理の実行結果の出力画面の少なくとも一部を前記第1の表示部に表示するステップと、前記タッチセンサの検出出力に基づいて前記アプリケーションに基づいて定められる前記第2の表示部の中の第1の領域における絶対的な操作位置である第1の操作位置の情報、および、前記第2の表示部の中の第2の領域における相対的な操作位置である第2の操作位置の情報を取得するステップと、前記第1および前記第2の操作位置の情報に基づいて前記アプリケーションのプログラムを実行するステップとを実行させる。
 本発明の他の局面に従ったアプリケーションプログラムは、画像を表示する第1の表示部を備える電子機器において実行されるアプリケーションプログラムであって、前記電子機器に、前記アプリケーションに従った処理の実行結果の出力画面の少なくとも一部を前記第1の表示部に表示するステップと、画像を表示しかつタッチセンサが内蔵された第2の表示部を備える情報処理端末から、前記タッチセンサの検出出力に基づいて生成される、前記アプリケーションに基づいて定められる前記第2の表示部の中の第1の領域における絶対的な操作位置である第1の操作位置の情報、および、前記第2の表示部の中の第2の領域における相対的な操作位置である第2の操作位置の情報を受信するステップと、前記第1および前記第2の操作位置の情報に基づいて前記アプリケーションのプログラムを実行するステップとを実行させる。
 本発明に従った制御プログラムは、画像を表示しかつタッチセンサが内蔵された表示部を備え、電子機器との間で情報の送受信が可能な情報処理端末の制御プログラムであって、前記情報処理端末に、前記電子機器から、前記電子機器で実行されるアプリケーションに基づいて定められる前記表示部の中の第1の領域と第2の領域を特定する情報を受信するステップと、前記電子機器におけるアプリケーションのプログラムの実行のため、前記タッチセンサの検出出力に基づいて、前記第1の領域における絶対的な操作位置である第1の操作位置の情報、および、前記第2の領域における相対的な操作位置である第2の操作位置の情報を生成するステップと、前記第1および第2の操作位置の情報を前記電子機器に送信するステップとを実行させる。
 本発明によれば、タッチセンサを内蔵された表示部に、絶対的な操作位置が検出される第1の領域と相対的な操作位置が検出される第2の領域を設けることができ、また、各領域の表示部内の外郭はアプリケーションごとに変更することが可能となる。
 したがって、ユーザは、表示部において、第1の領域と第2の領域を同時に利用して、情報を入力できる。
 また、本発明によれば、単に、従来排他的にしか利用されていなかった第1の領域と第2の領域とを同時に利用できるだけでなく、これらの領域が本体装置においてアプリケーションの種類によってタッチセンサを内蔵された表示部における第1の領域と第2の領域に関する設定がなされるため、設定ツール等を使用する必要がない。これにより、ユーザは、そのような設定の際の手間をかけることなく、第1の領域および第2の領域を利用して、電子機器にアプリケーションを実行するための情報を入力できる。
 この発明のある局面に従うと、コンテンツ表示装置が提供される。コンテンツ表示装置は、第1および第2の表示パネルと、第1の表示パネルにコンテンツを表示させる第1の表示制御部と、表示されるコンテンツの表示態様を変更する変更命令を受け付ける受付部と、表示態様が所定条件を満たすか否かを判断する第1の判断部と、第1の判断部が表示態様が所定条件を満たすと判断した場合に、第2の表示パネルにコンテンツの表示を操作するための操作命令を受け付けるための第1の画像を表示させる第2の表示制御部とを備える。
 好ましくは、コンテンツ表示装置は、第1の判断部が表示態様が所定条件を満たすと判断した場合に第1のモードに切り替え、第1の判断部が表示態様が所定条件を満たさないと判断した場合に第2のモードに切り替える切替部をさらに備える。第1の表示制御部は、第2のモードにおいて、第1の表示パネルにポインタを表示させる。受付部は、第2のモードにおいて、第2の表示パネルを介してポインタを移動させるための第1の移動命令を受け付ける。
 好ましくは、第1の表示制御部は、第2のモードにおいて、第1の表示パネルに、コンテンツとコンテンツの表示を操作するための操作命令を受け付けるための第2の画像とを表示させる。
 好ましくは、第1の表示制御部は、第1のモードにおいて、第1の表示パネルに第2の画像を表示させることなく、第1の表示パネルにコンテンツを表示させる。
 好ましくは、第1の表示制御部は、第2のモードに切り替わった際に、第1の表示パネルに、第2の画像のうちの、最後に受け付けられた操作命令に対応する箇所にポインタを表示させる。
 好ましくは、コンテンツ表示装置は、第2のモードにおいて、受付部が第2の画像を所定エリアに移動させる第2の移動命令を受け付けたか否かを判断する第2の判断部をさらに備える。第2の判断部が受付部が第2の移動命令を受け付けたと判断した場合、切替部が第1のモードに切り替えるとともに、第1の表示制御部が第1の表示パネルにコンテンツを全画面表示させる。
 好ましくは、コンテンツ表示装置は、第1のモードにおいて、受付部が第2の所定命令を受け付けたか否かを判断する第3の判断部をさらに備える。第3の判断部が受付部が第2の所定命令を受け付けたと判断した場合、切替部が第2のモードに切り替えるとともに、第1の表示制御部が第1の表示パネルにポインタを表示させる。
 好ましくは、受付部は、第1のモードにおいて、第2の表示パネルを介して入力される絶対座標に基づいて操作命令を生成し、第2のモードにおいて、第2の表示パネルを介して入力される相対座標に基づいて第1の移動命令を生成する。
 好ましくは、コンテンツの表示態様とは、コンテンツの表示サイズである。第1の表示制御部は、変更命令に基づいてコンテンツの表示サイズを変更する。
 好ましくは、第1の判断部は、第1の表示制御部が第1の表示パネルにコンテンツを全画面表示させている場合に、表示態様が所定条件を満たすと判断し、第1の表示制御部が第1の表示パネルにコンテンツを全画面表示させていない場合に、表示態様が所定条件を満たさないと判断する。
 好ましくは、第2の表示パネルは、入射光に応じて入力信号を生成する複数の光センサ回路と、出力信号に応じて光を発する複数の画素回路とを含む。受付部は、複数の光センサ回路からの入力信号に基づいて操作命令を受け付ける。第2の表示制御部は、画素回路に出力信号を出力することによって、第2の表示パネルに第1の画像を表示させる。
 この発明の別の局面に従うと、第1および第2の表示パネルと演算処理部とを備えるコンテンツ表示装置におけるコンテンツ表示方法が提供される。コンテンツ表示方法は、演算処理部が、第1の表示パネルにコンテンツを表示させるステップと、演算処理部が、表示されるコンテンツの表示態様を変更する変更命令を受け付けるステップと、演算処理部が、表示態様が所定条件を満たすか否かを判断するステップと、演算処理部が、表示態様が所定条件を満たすと判断した場合に、第2の表示パネルにコンテンツの表示を操作するための操作命令を受け付けるための第1の画像を表示させるステップとを備える。
 この発明の別の局面に従うと、第1および第2の表示パネルと演算処理部とを備えるコンテンツ表示装置にコンテンツ表示させるためのコンテンツ表示プログラムが提供される。コンテンツ表示プログラムは、演算処理部に、第1の表示パネルにコンテンツを表示させるステップと、表示されるコンテンツの表示態様を変更する変更命令を受け付けるステップと、表示態様が所定条件を満たすか否かを判断するステップと、表示態様が所定条件を満たすと判断した場合に、第2の表示パネルにコンテンツの表示を操作するための操作命令を受け付けるための第1の画像を表示させるステップとを実行させる。
 以上のように、本発明によって、状況に応じてユーザが操作し易い操作画面を提供できるコンテンツ表示装置、コンテンツ表示方法、およびコンテンツ表示プログラムが提供される。
 今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて請求の範囲によって示され、請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
 100 電子機器、100A,100B 筐体、100C ヒンジ、100D 凹部、101,104 本体装置、102,102A,103 表示装置、130,230 ドライバ、131 操作信号線駆動回路、132 データ信号線駆動回路、133 光センサ駆動回路、134 スイッチ、135 アンプ、140,140A,240 液晶パネル、141 画素回路、141b,141g,141r サブピクセル回路、143 電極対、143a 画素電極、143b 対向電極、144 光センサ回路、145,145b,145g,145r フォトダイオード、146 コンデンサ、151A アクティブマトリックス基板、151B 対向基板、152 液晶層、153b,153g,153r カラーフィルタ、157 データ信号線、161 偏光フィルタ、162 ガラス基板、163 遮光膜、164 配向膜、173 メモリカードリーダライタ、174,274 外部通信部、175 マイク、176 スピーカ、177 操作キー、179,279 バックライト、180,280 画像処理エンジン、181,281 ドライバ制御部、182,282 タイマ、183,283 信号処理部、191 電源スイッチ、192 電源回路、193,293 電源検出部、194,294 コネクタ、195,295 アンテナ、196 コネクタ、297 信号強度検出部、310,410 表示部、320,420 入力部、330,430 記憶部、340,440 インターフェース部、350,450 制御部、432c ブック履歴、900 指、1001,1001A 第1ユニット、1002 第2ユニット。

Claims (6)

  1.  第1の表示部(102)と、
     第2の表示部(103)と、
     記憶部(271)と、
     前記第1および第2の表示部の表示態様を制御する制御部(110,210)とを備え、
     前記第2の表示部は、外部からの入力を受け付け可能な表示一体型のタブレットであり、
     前記制御部は、
      前記タブレットに対する入力に応じて実行した処理によって作成した画面を前記第1の表示部に表示させる第1のモードと、前記タブレットに対する入力に応じて実行した処理によって作成した画面を前記第2の表示部に表示させる第2のモードとで、動作が可能であり、
      前記第2のモードから前記第1のモードに動作するモードを切り替える場合には、前記第2のモードにおける動作の内容を特定する情報である動作情報を前記記憶部に記憶し、
      前記第1のモードから前記第2のモードに動作するモードを切り替える場合には、前記記憶部に記憶された前記動作情報に応じた情報を前記第2の表示部に表示させる、電子機器(100)。
  2.  前記制御部は、前記第1のモードから前記第2のモードに動作するモードを切り替える場合に、前記記憶部に記憶された前記動作情報に応じた情報として、ソフトキーの配列を含む画面を前記第2の表示部に表示させる、請求の範囲第1項に記載の電子機器。
  3.  前記第2のモードでは、コンテンツの選択が可能であり、
     前記記憶部は、前記動作情報として、前記第2のモードにおいてコンテンツが選択された履歴に関する情報を記憶し、
     前記ソフトキーは、前記記憶部に記憶された前記コンテンツが選択された履歴に関する情報に対応して配列された、コンテンツを選択するためのソフトキーである、請求の範囲第2項に記載の電子機器。
  4.  前記記憶部は、前記第2のモードにおいて選択可能なコンテンツを特定する情報を、その名称に従った順序で記憶し、
     前記制御部は、前記ソフトキーを、前記コンテンツが選択された履歴に関する情報に対応して配列するか、前記名称に従った順序で配列するかを選択する情報の入力を受付ける、請求の範囲第3項に記載の電子機器。
  5.  第1の表示部(102)と、外部からの入力を受け付け可能な表示一体型のタブレットからなる第2の表示部(103)と、記憶部(271)と、前記第1および第2の表示装置の表示態様を制御する制御部とを備える電子機器(100)の制御方法であって、
     前記タブレットに対する入力に応じて実行した処理によって作成した画面を前記第1の表示部に表示させる第1のモードで動作するステップと、
     前記タブレットに対する入力に応じて実行した処理によって作成した画面を前記第2の表示部に表示させる第2のモードで動作するステップと、
     前記第2のモードから前記第1のモードに動作するモードを切り替えるときに、前記第2のモードにおける動作の内容を特定する情報である動作情報を前記記憶部に記憶するステップと、
     前記第1のモードから前記第2のモードに動作するモードを切り替えるときに、前記記憶部に記憶された前記動作情報に応じた情報を前記第2の表示部に表示させるステップとを備える、電子機器の制御方法。
  6.  第1の表示部と、外部からの入力を受け付け可能な表示一体型のタブレットからなる第2の表示部と、記憶部(271)と、前記第1および第2の表示装置の表示態様を制御する制御部とを備える電子機器(100)において実行される制御プログラムを記録した記録媒体(1731)であって、
     前記制御プログラムは、前記電子機器に、
     前記タブレットに対する入力に応じて実行した処理によって作成した画面を前記第1の表示部に表示させる第1のモードで動作するステップと、
     前記タブレットに対する入力に応じて実行した処理によって作成した画面を前記第2の表示部に表示させる第2のモードで動作するステップと、
     前記第2のモードから前記第1のモードに動作するモードを切り替えるときに、前記第2のモードにおける動作の内容を特定する情報である動作情報を前記記憶部に記憶するステップと、
     前記第1のモードから前記第2のモードに動作するモードを切り替えるときに、前記記憶部に記憶された前記動作情報に応じた情報を前記第2の表示部に表示させるステップとを実行させる、記録媒体。
PCT/JP2009/068425 2008-10-28 2009-10-27 2つの表示装置を有する電子機器、その制御方法および記録媒体 WO2010050477A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US13/126,438 US20110205178A1 (en) 2008-10-28 2009-10-27 Electronic device having two display devices, method of controlling the same, and recording medium
CN2009801429933A CN102197358A (zh) 2008-10-28 2009-10-27 具有2个显示装置的电子设备、其控制方法以及记录介质

Applications Claiming Priority (10)

Application Number Priority Date Filing Date Title
JP2008277131A JP5526397B2 (ja) 2008-10-28 2008-10-28 コンテンツ表示装置、コンテンツ表示方法、およびコンテンツ表示プログラム
JP2008-277131 2008-10-28
JP2008281840A JP2010108373A (ja) 2008-10-31 2008-10-31 電子機器、アプリケーションプログラム、情報処理端末およびその制御プログラム
JP2008-281840 2008-10-31
JP2009-049290 2009-03-03
JP2009049290A JP5526400B2 (ja) 2009-03-03 2009-03-03 電子機器、情報処理システム、電子機器の制御方法および電子機器の制御プログラム
JP2009055112A JP2010211384A (ja) 2009-03-09 2009-03-09 電子機器、電子機器の制御方法および電子機器の制御プログラム
JP2009-055254 2009-03-09
JP2009-055112 2009-03-09
JP2009055254A JP5707029B2 (ja) 2009-03-09 2009-03-09 電子機器、電子機器の制御方法および電子機器の制御プログラム

Publications (1)

Publication Number Publication Date
WO2010050477A1 true WO2010050477A1 (ja) 2010-05-06

Family

ID=42128838

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2009/068425 WO2010050477A1 (ja) 2008-10-28 2009-10-27 2つの表示装置を有する電子機器、その制御方法および記録媒体

Country Status (3)

Country Link
US (1) US20110205178A1 (ja)
CN (1) CN102197358A (ja)
WO (1) WO2010050477A1 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013047975A (ja) * 2012-10-29 2013-03-07 Toshiba Corp 情報処理装置および入力方法
WO2015029222A1 (ja) * 2013-08-30 2015-03-05 富士通株式会社 情報処理装置,表示制御プログラム及び表示制御方法
CN112684996A (zh) * 2020-12-31 2021-04-20 联想(北京)有限公司 一种控制方法、装置及电子设备
US10986252B2 (en) 2015-06-07 2021-04-20 Apple Inc. Touch accommodation options
US11354032B2 (en) 2011-06-05 2022-06-07 Apple Inc. Devices, methods, and graphical user interfaces for providing control of a touch-based user interface absent physical touch capabilities
US11947792B2 (en) 2011-12-29 2024-04-02 Apple Inc. Devices, methods, and graphical user interfaces for providing multitouch inputs and hardware-based features using a single touch input

Families Citing this family (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110089012A (ko) * 2010-01-29 2011-08-04 삼성전자주식회사 전자책 단말기 및 그의 멀티태스킹 히스토리 제공방법
KR101741465B1 (ko) * 2010-06-18 2017-05-31 삼성전자주식회사 화소 회로 및 이를 구비하는 디스플레이 장치
CA2811253C (en) * 2010-09-24 2018-09-04 Research In Motion Limited Transitional view on a portable electronic device
CN103154875B (zh) 2010-09-24 2018-05-29 2236008安大略有限公司 便携式电子设备的告警显示
US20120086658A1 (en) * 2010-10-08 2012-04-12 Payam Moradian Tablet computer with option for one or two screens
AU2011329649B2 (en) * 2010-11-18 2016-12-01 Google Llc Orthogonal dragging on scroll bars
US8941607B2 (en) * 2010-12-16 2015-01-27 Hung-Ta LIU MEMS display with touch control function
TWI437474B (zh) * 2010-12-16 2014-05-11 Hongda Liu 雙模式觸控感應元件暨其觸控顯示器相關裝置及其觸控驅動方法
US9069421B2 (en) 2010-12-16 2015-06-30 Hung-Ta LIU Touch sensor and touch display apparatus and driving method thereof
CN102841675B (zh) * 2011-06-23 2017-07-11 中兴通讯股份有限公司 一种移动终端及移动终端输入控制方法
US20130063368A1 (en) * 2011-09-14 2013-03-14 Microsoft Corporation Touch-screen surface temperature control
US9046976B2 (en) * 2011-09-28 2015-06-02 Hung-Ta LIU Method for transmitting and detecting touch sensing signals and touch device using the same
JP5460679B2 (ja) * 2011-11-28 2014-04-02 ソニー株式会社 情報処理装置、情報処理方法、およびコンテンツファイルのデータ構造
JP5337228B2 (ja) 2011-12-02 2013-11-06 株式会社東芝 情報処理装置、表示制御方法およびプログラム
JP2015503794A (ja) * 2011-12-30 2015-02-02 インテル・コーポレーション ステータス決定を利用する対話型の描画認識
JP6124169B2 (ja) * 2012-06-08 2017-05-10 クラリオン株式会社 表示装置
TWI461896B (zh) * 2012-11-07 2014-11-21 Chih Chung Lin 具光電轉換之觸控面板
TWI515615B (zh) * 2013-04-30 2016-01-01 財團法人工業技術研究院 觸控裝置及其觸控感測方法
US10628103B2 (en) * 2013-06-07 2020-04-21 Semiconductor Energy Laboratory Co., Ltd. Information processor and program
KR102144553B1 (ko) * 2013-08-30 2020-08-13 삼성전자주식회사 다중 디스플레이 방법, 저장 매체 및 전자 장치
US9658734B2 (en) * 2014-02-17 2017-05-23 Beijing Lenovo Software Ltd. Information processing method and electronic device
JP6081409B2 (ja) * 2014-06-16 2017-02-15 富士フイルム株式会社 プリント注文受付機とその作動方法および作動プログラム
JP6239449B2 (ja) * 2014-06-24 2017-11-29 京セラ株式会社 携帯端末、通知制御プログラムおよび通知制御方法
US9740310B2 (en) * 2015-05-22 2017-08-22 Adobe Systems Incorporated Intuitive control of pressure-sensitive stroke attributes
KR20170124068A (ko) * 2016-05-01 2017-11-09 (주)이노프레소 복합 휴먼 인터페이스가 구비된 전자기기
US10289238B2 (en) 2016-05-01 2019-05-14 Innopresso, Inc. Electronic device having multi-functional human interface
JP6792073B2 (ja) 2016-06-23 2020-11-25 イノプレッソ、インコーポレイテッド 複合ヒューマンインターフェースが備えられた電子機器
CN107015721A (zh) 2016-10-20 2017-08-04 阿里巴巴集团控股有限公司 一种应用界面的管理方法和装置
KR102592857B1 (ko) 2016-12-16 2023-10-24 삼성디스플레이 주식회사 표시패널 및 이를 포함하는 표시장치
CN108664080A (zh) * 2017-03-31 2018-10-16 华硕电脑股份有限公司 控制方法、电子装置及非瞬时电脑可读取记录介质
TWI671634B (zh) * 2018-07-10 2019-09-11 立新 陳 第三方會議設備控制系統
CN112799557B (zh) * 2021-01-28 2022-03-22 青岛海信移动通信技术股份有限公司 一种水墨屏显示控制方法、终端及计算机可读存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1097407A (ja) * 1996-09-19 1998-04-14 Toshiba Corp 携帯型情報機器およびアイコンの表示制御方法
JP2000339097A (ja) * 1998-12-16 2000-12-08 Sony Corp 情報処理装置およびその制御方法、並びに記録媒体

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6560612B1 (en) * 1998-12-16 2003-05-06 Sony Corporation Information processing apparatus, controlling method and program medium
JP2003248550A (ja) * 2002-02-22 2003-09-05 Toshiba Corp 情報処理装置およびコンピュータの操作機能拡張方法
JP2004234544A (ja) * 2003-01-31 2004-08-19 Toshiba Corp 情報処理装置および操作ウィンドウ表示方法
US7533116B2 (en) * 2004-04-30 2009-05-12 Lacy Donald D Method and system for displaying files to a user

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1097407A (ja) * 1996-09-19 1998-04-14 Toshiba Corp 携帯型情報機器およびアイコンの表示制御方法
JP2000339097A (ja) * 1998-12-16 2000-12-08 Sony Corp 情報処理装置およびその制御方法、並びに記録媒体

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11354032B2 (en) 2011-06-05 2022-06-07 Apple Inc. Devices, methods, and graphical user interfaces for providing control of a touch-based user interface absent physical touch capabilities
US11775169B2 (en) 2011-06-05 2023-10-03 Apple Inc. Devices, methods, and graphical user interfaces for providing control of a touch-based user interface absent physical touch capabilities
US11947792B2 (en) 2011-12-29 2024-04-02 Apple Inc. Devices, methods, and graphical user interfaces for providing multitouch inputs and hardware-based features using a single touch input
JP2013047975A (ja) * 2012-10-29 2013-03-07 Toshiba Corp 情報処理装置および入力方法
WO2015029222A1 (ja) * 2013-08-30 2015-03-05 富士通株式会社 情報処理装置,表示制御プログラム及び表示制御方法
US10986252B2 (en) 2015-06-07 2021-04-20 Apple Inc. Touch accommodation options
US11470225B2 (en) 2015-06-07 2022-10-11 Apple Inc. Touch accommodation options
CN112684996A (zh) * 2020-12-31 2021-04-20 联想(北京)有限公司 一种控制方法、装置及电子设备
CN112684996B (zh) * 2020-12-31 2023-08-18 联想(北京)有限公司 一种控制方法、装置及电子设备

Also Published As

Publication number Publication date
US20110205178A1 (en) 2011-08-25
CN102197358A (zh) 2011-09-21

Similar Documents

Publication Publication Date Title
WO2010050477A1 (ja) 2つの表示装置を有する電子機器、その制御方法および記録媒体
JP5540344B2 (ja) 電子機器、メニューの選択方法、メニューの選択プログラム
JP5278948B2 (ja) オブジェクト表示装置、オブジェクト表示方法、およびオブジェクト表示プログラム
JP5322163B2 (ja) 表示装置、表示方法、および表示プログラム
JP2010134625A (ja) 電子機器、表示制御方法、およびプログラム
JP5707029B2 (ja) 電子機器、電子機器の制御方法および電子機器の制御プログラム
JP2011008424A (ja) 電子機器、動作モード設定方法、およびプログラム
JP5526397B2 (ja) コンテンツ表示装置、コンテンツ表示方法、およびコンテンツ表示プログラム
JP5526400B2 (ja) 電子機器、情報処理システム、電子機器の制御方法および電子機器の制御プログラム
JP5303785B2 (ja) 表示装置、表示方法、および表示プログラム
JP5344555B2 (ja) オブジェクト表示装置、オブジェクト表示方法、およびオブジェクト表示プログラム
JP5126895B2 (ja) 電子機器、および表示制御方法
JP5334171B2 (ja) 電子機器、および表示制御方法
JP5322161B2 (ja) 電子機器、情報処理システム、電子機器の制御方法および電子機器の制御プログラム
JP5617120B2 (ja) 電子機器、表示制御方法、およびプログラム
JP5110594B2 (ja) 情報処理装置、情報処理方法、および情報処理プログラム
JP5380729B2 (ja) 電子機器、表示制御方法、およびプログラム
JP2010204729A (ja) テキスト表示装置、テキスト表示方法、およびテキスト表示プログラム
WO2010103888A1 (ja) コンテンツ表示装置、コンテンツ表示方法、およびコンテンツ表示プログラムを記録するコンピュータ読取可能な記録媒体
JP5257892B2 (ja) 電子機器、画面切替方法および画面切替プログラム
JP5289889B2 (ja) 表示装置、表示装置の制御方法、表示装置を制御するためのプログラム
JP2010211384A (ja) 電子機器、電子機器の制御方法および電子機器の制御プログラム
JP2010108373A (ja) 電子機器、アプリケーションプログラム、情報処理端末およびその制御プログラム
JP2010117768A (ja) 電子機器、その制御方法およびその制御プログラム
JP5172641B2 (ja) 電子機器、情報処理方法および情報処理プログラム

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 200980142993.3

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 09823587

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 13126438

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 3547/CHENP/2011

Country of ref document: IN

122 Ep: pct application non-entry in european phase

Ref document number: 09823587

Country of ref document: EP

Kind code of ref document: A1