WO2018117085A1 - 携帯端末装置、情報処理装置、連携システム及び表示制御方法 - Google Patents

携帯端末装置、情報処理装置、連携システム及び表示制御方法 Download PDF

Info

Publication number
WO2018117085A1
WO2018117085A1 PCT/JP2017/045480 JP2017045480W WO2018117085A1 WO 2018117085 A1 WO2018117085 A1 WO 2018117085A1 JP 2017045480 W JP2017045480 W JP 2017045480W WO 2018117085 A1 WO2018117085 A1 WO 2018117085A1
Authority
WO
WIPO (PCT)
Prior art keywords
display
terminal device
information processing
unit
mobile terminal
Prior art date
Application number
PCT/JP2017/045480
Other languages
English (en)
French (fr)
Inventor
俊一郎 長尾
将士 高野
紘史 下川
和也 秦
Original Assignee
パイオニア株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パイオニア株式会社 filed Critical パイオニア株式会社
Priority to US16/473,162 priority Critical patent/US20190346937A1/en
Priority to EP17883182.2A priority patent/EP3561652A4/en
Priority to JP2018557994A priority patent/JP6829269B2/ja
Publication of WO2018117085A1 publication Critical patent/WO2018117085A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/1632External expansion units, e.g. docking stations
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/02Input arrangements using manually operated switches, e.g. using keyboards or dials
    • G06F3/023Arrangements for converting discrete items of information into a coded form, e.g. arrangements for interpreting keyboard generated codes as alphanumeric codes, operand codes or instruction codes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/14Display of multiple viewports
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/02Constructional features of telephone sets
    • H04M1/04Supports for telephone transmitters or receivers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/72Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72409User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories

Definitions

  • the present invention relates to a mobile terminal device, an information processing device, a cooperation system, a display control method, and a display control program.
  • information devices have been provided with an input unit in which hard keys and touch keys are arranged.
  • the information device performs various processes in accordance with an input operation to the input unit by the user.
  • Patent Document 1 As a technique related to such an input operation, a technique for inputting a target without confirming a key arrangement has been proposed (see Patent Document 1: hereinafter referred to as “conventional example”).
  • the conventional technique when a predetermined word is included in the recognition result of the input voice, the area in the effective range of the touch panel is large without changing the display image on the display screen on which the touch panel is arranged. A touch key associated with the predetermined word is assigned to the range.
  • the conventional technology does not display touch key functions. For this reason, the user cannot know whether or not a predetermined word is correctly recognized by voice recognition and an appropriate touch key is assigned. As a result, when the user operates the touch key, there is a possibility that processing not intended by the user is executed.
  • the input unit in such a portable terminal device is usually configured to include a touch panel.
  • the portable terminal device is portable, and the area of the touch panel is limited.
  • the number of touch keys tends to increase. For this reason, the area of each touch key region tends to be small. As a result, it is necessary to pay attention to the display of the corresponding icon when operating the touch key. The tendency as described above may hinder the user from easily performing an operation input to the mobile terminal device.
  • an input unit is arranged.
  • the input unit has various devices.
  • the input unit arranged in the electrical component mounted on the vehicle has been devised so that the user can perform the operation input easily, safely and reliably.
  • the invention according to claim 1 is a portable terminal device connectable with an information processing device, a specifying unit for specifying an operation state including an operation mode of the portable terminal device; and an icon corresponding to the operation mode;
  • a display control unit configured to display in a first display area disposed in an operation area capable of accepting a user operation in an input unit included in the information processing apparatus.
  • the invention according to claim 5 is an information processing apparatus connectable to a mobile terminal device, and has an input unit having an operation area capable of accepting a user operation; and an operation of the mobile terminal apparatus arranged in the operation area And an information display unit having a first display area for displaying an icon corresponding to the mode.
  • the invention according to claim 11 is a cooperative system comprising: an information processing device; and a mobile terminal device, wherein the information processing device includes an input unit having an operation area capable of accepting a user operation; And an information display unit having a display area for displaying an icon; and the mobile terminal device specifies an operation state including an operation mode of the mobile terminal device; and according to the operation mode And a display control unit that displays an icon in the display area.
  • the invention according to claim 12 is a display control method used in a mobile terminal device that includes a specifying unit; a display control unit; and is connectable to an information processing device, wherein the specifying unit is the mobile terminal.
  • a display control step of displaying in the display area is a display control method used in a mobile terminal device that includes a specifying unit; a display control unit; and is connectable to an information processing device, wherein the specifying unit is the mobile terminal.
  • a specifying step of specifying an operation state including an operation mode of the apparatus and the display control unit is arranged with an icon corresponding to the operation mode in an operation area where a user operation in an input unit provided in the information processing apparatus can be received.
  • a display control step of displaying in the display area is a display control method used in
  • the invention described in claim 13 is a display control program characterized by causing a computer included in the mobile terminal device to execute the display control method described in claim 12.
  • FIG. 1 It is a block diagram which shows the structure of the cooperation system which concerns on one Embodiment. It is a figure for demonstrating the external appearance of the information processing apparatus and portable terminal device in the cooperation system which concerns on 1st Example. It is a figure for demonstrating the internal structure of the information processing apparatus of FIG. 2, and a portable terminal device. It is a flowchart for demonstrating the process of the control part of FIG. It is a figure for showing the example of a display change in the 1st example. It is a figure for demonstrating the internal structure of the information processing apparatus and portable terminal device in the cooperation system which concerns on 2nd Example. It is a flowchart for demonstrating the process of the control part of FIG.
  • FIG. 9 is a flowchart (No. 1) for describing processing by the control unit of FIG. 8;
  • FIG. 9 is a flowchart (No. 2) for explaining processing by the control unit of FIG. 8.
  • FIG. It is a figure for showing the example of a display change in the 3rd example.
  • FIG. 1 shows a configuration of a cooperation system 900 according to an embodiment.
  • the cooperation system 900 includes an information processing device 700 and a mobile terminal device 800.
  • the portable terminal device 800 can be detachably held by a holding unit (not shown) included in the information processing device 700.
  • connection for communication between the information processing device 700 and the portable terminal device 800 may be a wired connection using a wired cable or a wireless connection using short-range wireless communication.
  • the information processing apparatus 700 includes an input unit 710, an information display unit 720, and a display processing unit 730.
  • the information processing apparatus 700 includes elements other than these elements. Then, the information processing apparatus 700 is configured to switch between an operation when cooperating with the mobile terminal device 800 and an operation when cooperating with the mobile terminal device 800 are not performed.
  • the input unit 710 has at least one operation area that can accept a user operation.
  • the operation area is an area for a plurality of hard keys for inputting by a mechanical push-down operation.
  • the key top portion of the hard key has a concave shape with respect to the peripheral region, and can be distinguished from the peripheral region by touch.
  • the information display unit 720 receives the display data sent from the display processing unit 730. Then, the information display unit 720 performs display according to the display data.
  • the information display unit 720 includes a first display area 721 and a second display area 722.
  • the first display area 721 is arranged in the operation area of the input unit 710.
  • the first display area 721 is arranged at the key top portion of the hard key described above. That is, the first display area 721 includes a plurality of individual areas called individual areas for each hard key. An icon can be displayed for each individual area.
  • the second display area 722 is arranged at a position different from the input unit 710. In the second display area 722, character information or the like can be displayed.
  • the above-described display processing unit 730 receives the display designation transmitted from the mobile terminal device 800 when the information processing device 700 is operating in cooperation with the mobile terminal device 800. Then, the display processing unit 730 generates display data based on the display designation. The display data generated in this way is sent to the information display unit 720. As a result, the information display unit 720 performs display according to the display designation transmitted from the mobile terminal device 800.
  • the display processing unit 730 generates unique display data and sends the generated display data to the information display unit 720 when the information processing apparatus 700 is not operating in cooperation with the mobile terminal device 800. As a result, the information display unit 720 performs a unique display on the information processing apparatus 700.
  • the portable terminal device 800 includes a specifying unit 810, a display control unit 820, and a portable display unit 830.
  • the mobile terminal device 800 includes elements other than these elements, and can perform functions unique to the mobile terminal device 800.
  • the above-described specifying unit 810 specifies an operation state including an operation mode being executed by the mobile terminal device 800. Then, the specifying unit 810 sends the specifying result to the display control unit 820.
  • the display control unit 820 includes the first display area 721 for each operation mode of the mobile terminal device 800 and the icon allocation information regarding the icon display allocation to the mobile display unit 830, and the second for each operation state of the mobile terminal device 800. Display information in the display area 722 is held inside.
  • the icon assignment information includes information on the shape of the icon displayed on the portable display unit 830 when the cooperative operation is not performed and the shape of the icon displayed on the first display area 721 during the cooperative operation. ing.
  • the icon assignment information does not include icons assigned to the first display area 721 in the same operation mode as icons assigned to the portable display unit 830 for each operation mode.
  • the display control unit 820 receives the identification result sent from the identification unit 810. Then, when the mobile terminal device 800 is operating in cooperation with the information processing device 700, the display control unit 820 displays a display that is transmitted to the information processing device 700 (more specifically, the display processing unit 730) according to the specific result. And the display data according to the display image of the portable display part 830 are produced
  • the generated display designation is transmitted to the information processing apparatus 700.
  • the generated display data is sent to the portable display unit 830.
  • the display control unit 820 generates unique display data and sends the generated display data to the portable display unit 830 when the portable terminal device 800 is not operating in cooperation with the information processing device 700. As a result, the mobile display unit 830 performs a unique display on the mobile terminal device 800.
  • the portable display unit 830 receives the display data sent from the display control unit 820. And the portable display part 830 performs the display according to the said display data.
  • a touch panel (not shown) is arranged on the display screen of the portable display unit 830 so that an input operation using the touch panel can be performed.
  • the display control unit 820 Upon receiving the identification result by the identifying unit 810 during the cooperative operation, the display control unit 820 determines whether or not an operation state transition has occurred in the mobile terminal device 800. If the result of the transition determination is negative, the transition determination is repeated.
  • the display control unit 820 performs an operation mode change determination as to whether or not the operation state transition of the mobile terminal device 800 is a transition accompanied by a change in the operation mode. If the result of the operation mode change determination is negative, the display control unit 820 generates display data corresponding to the image to be displayed on the portable display unit 830 after the operation state transition. Then, the display control unit 820 sends the generated display data to the portable display unit 830. As a result, the mobile display unit 830 displays an image after the operation state transition.
  • the display data of the image displayed on the portable display unit 830 does not include the display data of the icon displayed in the first display area 721.
  • the display control unit 820 performs information change determination as to whether or not to change the information displayed in the second display area 722 along with the operation state transition.
  • the display control unit 820 ends the process associated with the operation state transition and waits for the report of the next specific result by the specifying unit 810.
  • the display control unit 820 If the result of the information change determination is affirmative, the display control unit 820 generates new information to be displayed in the second display area 722 as a display designation. Then, the display control unit 820 transmits the generated display designation to the information processing apparatus 700. As a result, information corresponding to the new operation state is displayed in the second display area 722. Then, the display control unit 820 ends the process associated with the operation state transition, and waits for the report of the next specific result by the specifying unit 810.
  • the display control unit 820 first displays a new one to be displayed in the first display area 721 based on the icon assignment information held inside. An icon corresponding to a different operation mode and an icon corresponding to a new operation mode to be displayed on the portable display unit 830 are determined. Subsequently, the display control unit 820 generates information including a new operation mode to be displayed in the second display area 722 according to the change of the operation mode, based on the above-described display information held inside.
  • the display control unit 820 generates display data corresponding to an image to be displayed on the portable display unit 830 after the operation mode is changed, including an icon determined as an icon to be displayed on the portable display unit 830. Then, the display control unit 820 sends the generated display data to the portable display unit 830. As a result, the mobile display unit 830 displays the image after the operation mode change.
  • the display control unit 820 generates, as a display designation, information including an icon to be displayed in the first display area 721 and its shape, and a new operation mode to be displayed in the second display area 722. Then, the display control unit 820 transmits the generated display designation to the information processing apparatus 700. As a result, an icon corresponding to the new operation mode of the mobile terminal device 800 is displayed in the first display area 721, and information corresponding to the new operation mode is displayed in the second display area 722. Then, the display control unit 820 ends the process accompanying the operation state transition accompanied by the change of the operation mode, and waits for the report of the next specific result by the specifying unit 810.
  • each of the information processing device 700 and the mobile terminal device 800 displays a unique display of the information display unit 720 and It is displayed on the portable display unit 830.
  • the specifying unit 810 specifies the operation state including the operation mode of the mobile terminal device 800 and sends the specifying result to the display control unit 820.
  • the display control unit 820 performs information processing according to the change in the operation mode.
  • a display designation including an icon to be displayed in the first display area 721 in the device 700 and its shape is generated. Then, the display control unit 820 transmits the generated display designation to the information processing apparatus 700.
  • the input unit 710 of the information processing apparatus 700 can be appropriately used when an operation is input to the mobile terminal device 800, and user convenience can be improved.
  • the shape of the icon displayed in the first display area 721 is the same when the mobile terminal device 800 and the information processing device 700 are not operating in cooperation (including the case where they are not connected).
  • the shape of the icon displayed on the portable display unit 830 is the same. For this reason, when performing input with respect to the portable terminal device 800 using the operation area
  • information on the operating state of the mobile terminal device 800 is displayed in the second display area 722. For this reason, the convenience of the user who performs input using the operation area in which the first display area 721 is arranged can be improved.
  • the shape of the operation region in the input unit 710 of the information processing apparatus 700 has a concave shape with respect to the peripheral region of the operation region, and is a shape that can be identified by touch. For this reason, the user can easily identify the operation area, and the convenience for the user can be improved.
  • the portable terminal device 800 is detachably held by the holding unit provided in the information processing device 700. For this reason, for example, when the information processing device 700 is an in-vehicle device, the mobile terminal device 800 can be placed at a fixed position for the user, and the user can view the information processing device 700 and the mobile terminal device 800 at the same time. Therefore, the convenience for the user can be improved.
  • the shape of the operation region in the input unit of the information processing apparatus is a concave shape with respect to the peripheral region of the operation region.
  • the shape of the operation region in the input unit of the information processing device may be a convex shape with respect to the peripheral region of the operation region. Also in this case, the user can easily identify the operation area, and the convenience for the user can be improved.
  • the input unit of the information processing apparatus is configured with a hard key.
  • the input unit of the information processing apparatus may be configured with a soft key such as a touch key.
  • icons to be displayed on the portable display unit the icons that are displayed in the first display area before the change of the operation mode but are no longer displayed in the first display area after the change of the operation mode are changed. It is also possible to include an icon that is determined to ensure display even in a later operation mode. In this case, an icon that can be an operation target even in the changed operation mode can be displayed with reasonableness on either the portable display unit or the first display area.
  • the information processing apparatus in the above embodiment may be a vehicle-mounted device or an apparatus placed in a house.
  • the icon to be displayed in the first display area and the icon to be displayed on the mobile display unit are determined based on predetermined icon assignment information.
  • the higher the frequency of use of the operation area corresponding to the icon displayed in each operation mode the higher the priority may be, and the icon to be displayed in the first display area may be determined.
  • the display control unit internally holds the icon display allocation information for each operation mode of the mobile terminal device and the display information in the second display area for each operation state of the mobile terminal device. I made it.
  • the icon display allocation information for each operation mode of the mobile terminal device and the display information in the second display area for each operation state of the mobile terminal device are held in the external server, and the icon display related to the specified operation state
  • the allocation information and the display information in the second display area may be acquired from the external server via a communication network.
  • the mobile terminal device side performs icon display allocation for each operation mode, but the information processing device side may perform the icon display allocation.
  • the specifying unit 810 and the display control unit 820 in the above embodiment are configured as a computer as a calculation unit having a central processing unit (CPU: Central Processing Unit) and the like, and a program prepared in advance is executed on the computer. By doing so, you may make it implement
  • This program is recorded on a computer-readable recording medium such as a hard disk, CD-ROM, or DVD, and is read from the recording medium and executed by the computer.
  • the program may be acquired in a form recorded on a portable recording medium such as a CD-ROM or DVD, or may be acquired in a form distributed via a network such as the Internet. Also good.
  • FIG. 2 schematically shows the configuration of the cooperation system 300A according to the first embodiment.
  • the cooperation system 300A includes an information processing device 100A that performs the function of the information processing device 700 in the above-described embodiment, and a mobile terminal device 200A that performs the function of the mobile terminal device 800 in the above-described embodiment. It has.
  • the portable terminal device 200A can be detachably held by a holding unit 150 included in the information processing apparatus 100A.
  • the mobile terminal device 200A and the information processing device 100A can communicate with each other.
  • the connection for communication between the mobile terminal device 200A and the information processing apparatus 100A may be a wired connection using a wired cable or a wireless connection using short-range wireless communication.
  • the information processing apparatus 100A includes operation keys 110 1 to 110 4 in addition to the holding unit 150.
  • the operation keys 110 1 to 110 4 are a plurality of hard keys for inputting by a mechanical pressing operation.
  • the operation area which is the key top portion of the operation keys 110 1 to 110 4 has a concave shape with respect to the peripheral area, and can be distinguished from the peripheral area by tactile sense.
  • the operation keys 110 1 to 110 4 are collectively referred to as “input unit 110”. Note that the input unit 110 functions as the input unit 710 in the above-described embodiment.
  • the information processing apparatus 100A includes first display areas 121 1 to 121 4 that can display icons, and a second display area 122 that can display character information and the like.
  • first display areas 121 1 to 121 4 are collectively referred to as “first display area 121”.
  • the first display area 121 serves as the function of the first display area 721 in the above-described embodiment, and the second display area 122 functions as the second display area 722 in the above-described embodiment. Has come to fulfill.
  • the second display area 122 is arranged in an area different from the arrangement area of the operation keys 110 1 to 110 4 .
  • the mobile terminal device 200A includes a display unit 230.
  • a touch panel (not shown) is arranged on the display screen of the display unit 230, and an input operation using the touch panel can be performed.
  • the display unit 230 functions as the portable display unit 830 in the above-described embodiment.
  • the information processing apparatus 100 ⁇ / b> A includes a display unit 120 and a processing unit 130 ⁇ / b> A in addition to the input unit 110 described above.
  • the information processing apparatus 100A includes elements other than these elements. Then, the information processing apparatus 100A is configured to switch between an operation when cooperating with the mobile terminal device 200A and an operation when not cooperating with the mobile terminal device 200A.
  • the display unit 120 includes the first display area 121 and the second display area 122 described above.
  • Display unit 120 receives display data sent from processing unit 130A.
  • the display unit 120 performs display according to the display data. That is, the display unit 120 performs the function of the information display unit 720 in the above-described embodiment.
  • the above-described processing unit 130A includes a central processing unit (CPU: Central Processing Unit) and the like.
  • the processing unit 130A is configured to implement the functions of the information processing apparatus 100A by executing various programs. This function includes the function of the display processing unit 730 in the above-described embodiment.
  • the processing unit 130A receives the display designation transmitted from the mobile terminal device 200A when the information processing device 100A operates in cooperation with the mobile terminal device 200A. Then, the processing unit 130A generates display data based on the display designation. The display data generated in this way is sent to the display unit 120. As a result, the display unit 120 performs display according to the display designation transmitted from the mobile terminal device 200A.
  • the processing unit 130A generates unique display data and sends the generated display data to the display unit 120 when the information processing apparatus 100A is not operating in cooperation with the mobile terminal device 200A. As a result, the display unit 120 performs a unique display on the information processing apparatus 100A.
  • the mobile terminal device 200A includes a control unit 220A in addition to the display unit 230 and the touch panel described above.
  • the control unit 220A includes a central processing unit (CPU: Central Processing Unit) and the like.
  • the control unit 220A is configured to implement the functions of the mobile terminal device 200A by executing various programs. Such functions include the functions of the specifying unit 810 and the display control unit 820 in the above-described embodiment.
  • control unit 220A includes a first display area 121 for each operation mode of the mobile terminal device 200A, icon allocation information regarding icon display allocation to the display unit 230, and a second display area for each operation state of the mobile terminal device 200A.
  • Display information 122 is held inside.
  • the icon assignment information includes the icon shape displayed on the display unit 230 when the cooperative operation is not performed, and the icon shape information displayed on the first display area 121 during the cooperative operation. Yes.
  • the icons assigned to the display unit 230 according to the operation mode do not include the icons assigned to the first display area 121. Further, in the icon assignment information, icons assigned to the display unit 230 are displayed in the first display area 121 before the change of the operation mode, but are displayed in the first display area 121 after the change of the operation mode. Among the icons that have disappeared, icons that are determined to ensure display even in the changed operation mode are included.
  • the control unit 220A specifies the operation state including the operation mode of the mobile terminal device 200A.
  • the operation mode indicates the operation of each application executed by the mobile terminal device 200A.
  • Specific examples of the operation mode include a navigation mode for guiding and guiding the user, an audio mode for performing music playback control, and the home that is displayed first when the mobile terminal device 200A and the information processing device 100A are connected. Screen mode and the like.
  • the operation mode is not limited to these examples, and there may be various modes such as a call mode and a mail mode that are not illustrated.
  • Examples of functions assigned as icons when the operation mode is the navigation mode include a function for displaying the current position of the user, an enlargement / reduction function for enlarging / reducing the map, and a voice recognition function for receiving the user's voice.
  • Examples of functions assigned as icons when the operation mode is the audio mode include music playback, pause, fast forward, and rewind functions.
  • examples of functions assigned as icons when the operation mode is the home screen mode include a function for shifting to the navigation mode and a function for shifting to the audio mode.
  • a function frequently used by the user may be assigned as an icon.
  • the function assigned to the icon for each operation mode is not limited to the above example.
  • the functions assigned to icons according to the operation mode are stored in association with each operation mode. This association may be set in advance by the manufacturer, or may be arbitrarily changed by the user.
  • the control unit 220A displays a display designation to be transmitted to the information processing device 100A (more specifically, the processing unit 130A) according to the specific result, and the display unit Display data corresponding to the display image 230 is generated. Note that the display designation and display data generation processing during the cooperative operation executed by the control unit 220A will be described later.
  • the generated display designation is transmitted to the information processing apparatus 100A.
  • the generated display data is sent to the display unit 230.
  • the control unit 220A generates unique display data and sends the generated display data to the display unit 230 when the mobile terminal device 200A is not operating in cooperation with the information processing apparatus 100A. As a result, the display unit 230 performs a unique display on the mobile terminal device 200A.
  • the display unit 230 receives display data sent from the control unit 220A.
  • the display unit 230 performs display according to the display data. That is, the display unit 230 performs the function of the portable display unit 830 in the above-described embodiment.
  • step S11 when the operation state including the operation mode of the mobile terminal device 200A is specified during the cooperative operation, in step S11, the control unit 220A operates the mobile terminal device 200A based on the specification result. It is determined whether or not a transition has occurred. If the determination result in step S11 is negative (step S11: N), the process proceeds to step S16 described later.
  • step S11 determines whether or not the operation mode has changed.
  • step S12 If the determination result in step S12 is negative (step S12: N), the process proceeds to step S13.
  • control unit 220A In step S13, control unit 220A generates display designation to information processing apparatus 100A and display data to be sent to display unit 230 at the time of operation state transition not accompanied by a change in operation mode.
  • step S13 the control unit 220A generates display data corresponding to the image to be displayed on the display unit 230 after the operation state transition. Then, the control unit 220A sends the generated display data to the display unit 230. As a result, the display unit 230 displays an image after the operation state transition.
  • control unit 220A performs an information change determination as to whether or not to change the information to be displayed in the second display area 122 along with the operation state transition. If the result of the information change determination is negative, the control unit 220A ends the process of step S13 without generating display designation and display data. Then, the process proceeds to step S16.
  • control unit 220A When the result of the information change determination is affirmative, the control unit 220A generates, as a display designation, new information to be displayed in the second display area 122 based on the above-described display information held inside. To do. Then, the control unit 220A transmits the generated display designation to the information processing apparatus 100A. As a result, information corresponding to the new operation state is displayed in the second display area 122. And the process of step S13 is complete
  • step S12 determines whether the determination result in step S12 described above is affirmative (step S12: Y). If the determination result in step S12 described above is affirmative (step S12: Y), the process proceeds to step S14.
  • step S ⁇ b> 14 the control unit 220 ⁇ / b> A uses the icon corresponding to the new operation mode to be displayed in the first display area 121 based on the above-described icon assignment information held inside, and the new to be displayed on the display unit 230. Determine the icon according to the operating mode.
  • step S15 the control unit 220A generates display data corresponding to an image to be displayed on the display unit 230 after the operation mode is changed, including an icon determined as an icon to be displayed on the display unit 230. Then, the control unit 220A sends the generated display data to the display unit 230. As a result, the display unit 230 displays the image after the operation mode change.
  • control unit 220A generates information including a new operation mode to be displayed in the second display area 122 as the operation mode changes. Subsequently, the control unit 220A generates, as a display designation, information including an icon to be displayed in the first display area 121 and its shape, and a new operation mode to be displayed in the second display area 122. Then, the control unit 220A transmits the generated display designation to the information processing apparatus 100A. As a result, the icon corresponding to the new operation mode of the mobile terminal device 200A is displayed in the first display area 121, and the information corresponding to the new operation mode is displayed in the second display area 122.
  • step S16 the control unit 220A determines whether or not a cooperative operation is being performed. If the determination result in step S16 is affirmative (step S16: Y), the process returns to step S11. Thereafter, the processes in steps S11 to S16 are repeated until the determination result in step S16 becomes negative. When the determination result in step S16 is negative (step S16: N), the display control process of the control unit 220A during the linkage operation ends.
  • FIG. 5 shows a display example when the operation mode is changed from the first operation mode to the second operation mode.
  • FIG. 5 illustrates the case of icons AK.
  • each of the information processing device 100A and the mobile terminal device 200A displays a unique display. Is displayed.
  • the control unit 220A when the operation state including the operation mode of the mobile terminal device 200A is specified, the control unit 220A, when the information processing device 100A and the mobile terminal device 200A are operating in cooperation, It is determined whether or not the operation mode has changed according to the specific result.
  • the control unit 220A When the operation mode changes, the control unit 220A generates a display designation including an icon to be displayed in the first display area 121 in the information processing apparatus 100A and its shape in accordance with the change in the operation mode. Then, the control unit 220A transmits the generated display designation to the information processing apparatus 100A.
  • the input unit 110 of the information processing apparatus 100A can be appropriately used for operation input to the mobile terminal apparatus 200A, and the convenience for the user can be improved.
  • the control unit 220A displays the icon that is displayed in the first display area 121 before the change of the operation mode, but is no longer displayed in the first display area 121 after the change of the operation mode. Among them, an icon that is determined to ensure display even in the changed operation mode is included in the icon displayed on the display unit 230. Then, the control unit 220A generates display data corresponding to an image to be displayed on the display unit 230 after the operation state transition, including an icon determined as an icon to be displayed on the display unit 230, and displays the generated display data. Send to section 230. For this reason, icon display can be performed appropriately and user convenience can be improved.
  • the shape of the icon displayed in the first display area 121 is the case where the mobile terminal device 200A and the information processing device 100A are not cooperatively operated (including the case where they are not connected). Because of the operation of the same function, the shape of the icon displayed on the display unit 230 is the same. For this reason, when performing input with respect to 200 A of portable terminal devices using the operation area
  • information on the operating state of the mobile terminal device 200A is displayed in the second display area 122. For this reason, the convenience of the user who performs the input using the operation area in which the first display area 121 is arranged can be improved.
  • the information processing apparatus may be an in-vehicle device or a device placed in a house.
  • the shape of the operation region in the input unit 110 of the information processing apparatus 100A has a concave shape with respect to the peripheral region of the operation region, and is a shape that can be identified by touch. For this reason, the user can easily identify the operation area, and the convenience for the user can be improved.
  • the portable terminal device 200A is detachably held by the holding unit 150 provided in the information processing apparatus 100A. For this reason, for example, when the information processing apparatus 100A is an in-vehicle device, the mobile terminal device 200A can be placed at a fixed position for the user, and the user can view the information processing apparatus 100A and the mobile terminal device 200A simultaneously. Therefore, the convenience for the user can be improved.
  • FIG. 6 shows a configuration of a cooperation system 300B according to the second embodiment.
  • the cooperation system 300B includes an information processing apparatus 100B instead of the information processing apparatus 100A and the mobile terminal apparatus 200A compared to the cooperation system 300A (see FIG. 3) described above. Instead, the mobile terminal device 200B is different.
  • the information processing apparatus 100B is different from the information processing apparatus 100A in that it includes a control unit 130B instead of the processing unit 130A.
  • the portable terminal device 200B is different from the portable terminal device 200A in that a processing unit 220B is provided instead of the control unit 220A.
  • description will be made mainly focusing on these differences.
  • the processing unit 220B specifies the operation state of the mobile terminal device 200B, and displays the specified result as the information processing device 100B (more specifically, To the control unit 130B).
  • the above processing unit 220B receives the display designation transmitted from the information processing apparatus 100B when operating in cooperation with the mobile terminal apparatus 200B and the information processing apparatus 100B. Then, the processing unit 220B generates display data of an image to be displayed on the display unit 230 in consideration of icon assignment in the display designation. The display data generated in this way is sent to the display unit 230. As a result, the display unit 230 performs display according to the display designation transmitted from the information processing apparatus 100B.
  • the control unit 130B holds the icon assignment information and the display information therein as in the case of the control unit 220A described above.
  • Control unit 130B receives the identification result transmitted from processing unit 220B. Then, the control unit 130B generates display data corresponding to the display designation to be transmitted to the mobile terminal device 200B (more specifically, the processing unit 220B) and the display image of the display unit 120 according to the specific result.
  • the display designation and display data generation processing at the time of the cooperative operation executed by the control unit 130B will be described later.
  • the generated display designation is transmitted to the mobile terminal device 200B.
  • the generated display data is sent to the display unit 120.
  • the control unit 130B generates unique display data and sends the generated display data to the display unit 120 when the mobile terminal device 200B is not operating in cooperation with the information processing apparatus 100B. As a result, the display unit 120 performs a unique display on the information processing apparatus 100B.
  • step S21 when the identification result of the operation state of the mobile terminal device 200B specified by the processing unit 220B is received during the cooperative operation, the control unit 130B causes the operation state transition in the mobile terminal device 200B in step S21. Whether or not has occurred is determined. If the determination result in step S21 is negative (step S21: N), the process proceeds to step S26 described later.
  • step S21 When a new operation state is specified and the determination result in step S21 is affirmative (step S21: Y), the process proceeds to step S22.
  • step S22 control unit 130B determines whether or not the operation mode has changed.
  • step S22 If the determination result in step S22 is negative (step S22: N), the process proceeds to step S23.
  • step S ⁇ b> 23 control unit 130 ⁇ / b> B generates display data to be sent to display unit 120.
  • step S23 the control unit 130B determines whether or not to change the information displayed in the second display area 122 in accordance with the operation state transition. If the result of the information change determination is negative, the control unit 130B ends the process of step S23 without generating display data. Then, the process proceeds to step S26.
  • step S23 If the result of the information change determination is affirmative, the control unit 130B generates display data to be sent to the display unit 120 based on the above-described display information held inside. Then, the control unit 130B sends the generated display data to the display unit 120. As a result, information corresponding to the new operation state is displayed in the second display area 122. And the process of step S23 is complete
  • step S24 the control unit 130B displays an icon corresponding to a new operation mode to be displayed in the first display area 121 based on the above-described icon assignment information held inside, and a new to be displayed on the display unit 230. Determine the icon according to the operating mode.
  • step S25 the control unit 130B generates an icon display designation determined as an icon to be displayed on the display unit 230. Then, control unit 130B sends the generated display designation to processing unit 220B. As a result, the display unit 230 displays the image after the operation mode change.
  • control unit 130B generates information including a new operation mode to be displayed in the second display area 122 as the operation mode changes. Subsequently, the control unit 130B generates display data including icons to be displayed in the first display area 121 and information corresponding to a new operation mode to be displayed in the second display area 122. Then, the control unit 130B sends the generated display data to the display unit 120. As a result, an icon corresponding to the new operation mode of the mobile terminal device 200B is displayed in the first display area 121, and information corresponding to the new operation mode is displayed in the second display area 122.
  • step S26 the control unit 130B determines whether or not a cooperative operation is being performed. If the determination result in step S26 is affirmative (step S26: Y), the process returns to step S21. Thereafter, the processes in steps S21 to S26 are repeated until the determination result in step S26 becomes negative. And if the determination result in step S26 becomes negative (step S26: N), the display control process of the control part 130B at the time of cooperation operation
  • each of the information processing apparatus 100B and the mobile terminal apparatus 200B has its own display, the display unit 120, and the display. Displayed on the unit 230.
  • FIG. 8 shows the configuration of a cooperative system 300C according to the third embodiment.
  • the cooperation system 300C includes an information processing apparatus 100C instead of the information processing apparatus 100A, and the mobile terminal apparatus 200A, as compared with the cooperation system 300A (see FIG. 3) described above.
  • the mobile terminal device 200C is different.
  • description will be made mainly focusing on these differences.
  • the information processing apparatus 100C is different from the information processing apparatus 100A in that a processing unit 130C is provided instead of the processing unit 130A. Then, the information processing apparatus 100C is configured to switch between an operation when cooperating with the mobile terminal device 200C and an operation when cooperating with the mobile terminal device 200C.
  • the processing unit 130C includes a central processing unit (CPU: Central Processing Unit) and the like.
  • the processing unit 130C is configured to implement the functions of the information processing apparatus 100C by executing various programs.
  • the processing unit 130C receives the display designation transmitted from the mobile terminal device 200C when the information processing device 100C is operating in cooperation with the mobile terminal device 200C. Then, the processing unit 130C generates icon display data to be displayed in the first display area 121 in consideration of icon assignment in the display designation. The display data generated in this way is sent to the display unit 120. As a result, in the first display area 121, icon display according to the display designation transmitted from the information processing apparatus 100C is performed.
  • the processing unit 130C causes the second display area 122 to perform display according to the operation mode of the mobile terminal device 200C.
  • the processing unit 130C generates unique display data and sends the generated display data to the display unit 120 when the information processing apparatus 100C is not operating in cooperation with the mobile terminal device 200C. As a result, the display unit 120 performs unique display on the information processing apparatus 100C.
  • the mobile terminal device 200C includes a sensor 211, a wireless communication unit 212, and a control unit 220C in addition to the display unit 230 and the touch panel described above.
  • a touch panel that can accept user operations is arranged on the display screen of the display unit 230.
  • the sensor 211 includes an acceleration sensor.
  • the detection result by the sensor 211 is sent to the control unit 220C.
  • the control unit 220C Upon receiving the acceleration detection result by the sensor 211, the control unit 220C performs time integration processing of the acceleration, and the like, so that the moving speed of the mobile terminal device 200C (the moving speed of the moving body that moves together with the mobile terminal device 200C). To get to.
  • the wireless communication unit 212 receives emergency level information such as disaster information via the communication network, and the wireless communication unit 212 sends the acquired emergency level information to the control unit 220C.
  • the control unit 220C acquires the urgency level corresponding to the urgency level information.
  • the above-described control unit 220C includes a central processing unit (CPU: Central Processing Unit) and the like.
  • the control unit 220C is configured to implement the functions of the mobile terminal device 200C by executing various programs.
  • the control unit 220 ⁇ / b> C holds an icon to be displayed on the display unit 230 and a shape thereof when the cooperative operation is not performed.
  • the control unit 220C stores therein operation area arrangement information in the input unit 110 of the information processing apparatus 100C.
  • control unit 220C is determined in such a manner that the touch key corresponding to the icon displayed on the display unit 230 and the key corresponding to the icon displayed on the first display area 121 are used more frequently. Importance information for each icon is stored internally.
  • control unit 220 ⁇ / b> C stores therein risk information indicating the risk of operation of the corresponding touch key for each icon displayed on the display unit 230.
  • the degree of risk is determined in advance based on the necessity of the user to watch the icon. For example, when the icon is a seek bar icon, since the necessity of gazing at the icon for adjusting the position of the seek bar is high, the risk level is set high. When the icon is a track-up icon in music reproduction, the degree of danger is set low because the necessity of icon gazing is low. Also, if the icon is an icon for repeat mode setting in music playback, the repeat mode display changes each time the operation is performed, and it can not be said that the necessity of icon gazing is low. It is set lower than the case of the above and higher than the case of the track up icon.
  • the control unit 220C acquires the moving speed and the urgency information as described above. Then, the control unit 220C switches between the first display mode and the second display mode based on the acquired moving speed and urgency information when the information processing apparatus 100C is operating in cooperation with the mobile terminal device 200C.
  • control unit 220C generates display data corresponding to an image to be displayed on the display unit 230 for both the first and second display modes, and sends the generated display data to the display unit 230. In addition, in the second display mode, control unit 220C transmits a display designation to processing unit 130C to information processing apparatus 100C.
  • the first display mode is a display mode in which an icon corresponding to the operation mode of the information processing apparatus 100C is displayed on the display unit 120 of the information processing apparatus 100C.
  • the second display mode at least a part of the icons displayed on the display unit 230 in the first display mode is displayed in the first display area 121, and an icon including the icon displayed in the first display area 121 is displayed.
  • This is a display mode that is not displayed on the display unit 230.
  • the display corresponding to the operation mode of the information processing apparatus 100 ⁇ / b> C is performed in the second display area 122.
  • control unit 220C The processing executed by the control unit 220C will be described later.
  • the display unit 230 receives display data sent from the control unit 220C.
  • the display unit 230 performs display according to the display data.
  • a touch panel capable of accepting a user operation is arranged on the display screen of the display unit 230. Then, the control unit 220 ⁇ / b> C is determined in such a manner that the touch key corresponding to the icon displayed on the display unit 230 and the key corresponding to the icon displayed on the first display area 121 are used more frequently. Importance information for each icon is stored internally. In addition, the control unit 220 ⁇ / b> C stores therein risk information indicating the risk of operation of the corresponding touch key for each icon displayed on the display unit 230.
  • the display control process includes a display mode determination process and a display execution process.
  • the information processing apparatus 100C and the mobile terminal apparatus 200C operate in a coordinated manner, and the initial display mode is the first display mode.
  • step S31 the control unit 220C that newly acquired the moving speed or the urgency level determines whether the moving speed is lower than the threshold speed.
  • the threshold speed is determined in advance based on experiments, simulations, and experiences from the viewpoint of ensuring safety.
  • step S31 determines whether or not the urgency level is lower than the threshold urgency level.
  • the threshold urgency level is determined in advance based on experiments, simulations, and experiences from the viewpoint of ensuring safety.
  • step S32 determines the display mode to be the first display mode. And a process progresses to step S35 mentioned later.
  • step S31 or step S32 If the determination result in step S31 or step S32 is negative (step S31: N or step S32: N), the process proceeds to step S34.
  • step S34 control unit 220C determines the display mode to be the second display mode. Then, the process proceeds to step S35.
  • step S35 the control unit 220C determines whether or not a cooperative operation is being performed. If the determination result in step S35 is affirmative (step S35: Y), the process returns to step S31. Thereafter, the processes in steps S31 to S35 are repeated until the determination result in step S35 is negative. When the determination result in step S35 is negative (step S35: N), the display mode determination process ends.
  • step S41 the control unit 220C determines whether or not the display mode is the first display mode. If the determination result in step S41 is affirmative (step S41: Y), the process proceeds to step S42.
  • step S42 the control unit 220C generates display data corresponding to an image similar to the image displayed on the display unit 230 when the mobile terminal device 200C is not operating in cooperation with the information processing device 100C. Subsequently, the control unit 220C sends the generated display data to the display unit 230. As a result, the display unit 230 displays the first display mode similar to the case where the mobile terminal device 200C is not operating in cooperation with the information processing device 100C. Then, the process proceeds to step S45.
  • step S41 determines an icon to be displayed in the first display area 121 within a range in which safety for the operation can be secured based on the importance level information, the risk level information, and the arrangement information held therein.
  • step S44 the control unit 220C generates display designation to be transmitted to the information processing apparatus 100C and display data to be transmitted to the display unit 230.
  • step S44 the control unit 220C generates a display designation including the shape and arrangement of the icons to be displayed in the first display area 121 determined in step S43. Then, the control unit 220C transmits the generated display designation to the information processing apparatus 100C. As a result, an icon according to the display designation is displayed in the first display area 121.
  • the control unit 220C determines an icon to be displayed on the display unit 230.
  • the icons thus determined are the icons excluding the icons to be displayed in the first display area 121 and the icons that are problematic in operation. That is, an icon having a high importance but a sufficiently low risk is determined as an icon displayed on the display unit 230 in the second display mode.
  • the control unit 220C determines an image that is a part of the image displayed on the display unit 230 and that is enlarged and displayed important information in the current operation state. Then, the control unit 220C generates display data corresponding to the determined image and the image corresponding to the icon determined to be displayed on the display unit 230, and sends the generated display data to the display unit 230. . As a result, display on the display unit 230 in the second display mode is performed.
  • step S44 the process proceeds to step S45.
  • step S45 the control unit 220C determines whether or not a cooperative operation is being performed.
  • step S45: Y If the determination result in step S45 is affirmative (step S45: Y), the process returns to step S41. Thereafter, the processes in steps S41 to S45 are repeated until the determination result in step S45 becomes negative. When the determination result in step S45 is negative (step S45: N), the display execution process ends.
  • the display unit 230 performs the same display as in the first display mode, and no display is performed on the display unit 120.
  • FIG. 11 shows a display example when the display mode is changed from the first display mode to the second display mode.
  • FIG. 11A shows a display example in the first display mode
  • FIG. 11B shows a display example in the second display mode.
  • the control unit 220C displays the icon displayed on the display unit 230 in the first display mode based on the moving speed and the urgency level. It is determined whether or not it is appropriate for the user to perform an operation using. If the result of this determination is negative, the controller 220C determines the display mode as the second display mode. Subsequently, the control unit 220 ⁇ / b> C determines an icon to be displayed in the first display area 121 and displays the determined icon in the first icon display area 121. In addition, the display unit 230 displays icons excluding icons to be displayed in the first display area 121 and icons that are not appropriate to perform operations in accordance with the icons displayed in the display unit 230.
  • the input unit 110 of the information processing device 100C can be appropriately used according to the external situation of the mobile terminal device 200C.
  • control unit 220C selects the icon displayed in the first display area 121 in the second display mode according to the importance of input using the operation area corresponding to each icon. For this reason, the icon displayed on the 1st display area 121 at the time of the 2nd display mode can be selected appropriately.
  • the controller 220C determines the importance according to the frequency of input using the operation area corresponding to each icon. For this reason, the importance of an icon can be determined reasonably.
  • control unit 220C selects the icon displayed in the first display area 121 in the second display mode according to the risk of input using the operation area corresponding to each icon. For this reason, the icon displayed on the 1st display area 121 at the time of the 2nd display mode can be selected appropriately.
  • the shape of the operation region in the input unit of the information processing apparatus is a concave shape with respect to the peripheral region of the operation region.
  • the shape of the operation region in the input unit of the information processing device may be a convex shape with respect to the peripheral region of the operation region. Also in this case, the user can easily identify the operation area, and the convenience for the user can be improved.
  • the information processing apparatus in the first to third embodiments described above may be a vehicle-mounted device or a device placed in a house.
  • the input unit of the information processing apparatus is configured with a hard key.
  • the input unit of the information processing apparatus may be configured with a soft key such as a touch key.
  • the icons to be displayed in the first display area and the icons to be displayed in the portable display unit are determined based on predetermined icon assignment information.
  • the control unit holds the icon assignment information for each operation state of the mobile terminal device and the display information in the second display area.
  • the icon display allocation information for each operation state of the mobile terminal device and the display information in the second display area are held in the external server, and the icon display allocation information regarding the specified operation state and the display in the second display area are displayed.
  • Information may be acquired from the external server via a communication network.
  • the display object for switching the display destination is an icon.
  • the combination of the moving speed and the urgency level of the moving body that moves together with the mobile terminal device is adopted as the external situation of the mobile terminal device considered when switching the display mode.
  • display mode switching may be switched according to an arbitrary external situation.
  • the display mode is switched based on safety considerations.
  • the display mode may be switched from other aspects such as user convenience.
  • the second display mode information corresponding to the operation mode of the mobile terminal device is displayed in the second display area.
  • information according to an external situation such as information on the moving speed and the urgency level may be displayed in the second display area.
  • the icon corresponding to the operation mode of the mobile terminal device is displayed on the display unit of the information processing device in the first display mode.
  • the first display mode nothing may be displayed on the display unit of the information processing apparatus.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • User Interface Of Digital Computer (AREA)
  • Telephone Function (AREA)
  • Input From Keyboards Or The Like (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Computer Vision & Pattern Recognition (AREA)

Abstract

特定部(810)が、携帯端末装置(800)の動作モードを含む動作状態を特定し、特定結果を表示制御部(820)へ送る。情報処理装置(700)と携帯端末装置(800)とが連携動作しているとき、当該特定結果により、携帯端末装置(800)の動作モードが変化していることが分ると、表示制御部(820)は、動作モードの変化に応じて、情報処理装置(700)における第1表示領域(721)に表示させるアイコン及びその形状を含む表示指定を生成する。そして、表示制御部(820)は、生成された表示指定を情報処理装置(700)へ送信する。このため、携帯端末装置への操作入力に際して、他の情報処理装置の入力部を適切に利用することができる。

Description

携帯端末装置、情報処理装置、連携システム及び表示制御方法
 本発明は、携帯端末装置、情報処理装置、連携システム、表示制御方法及び表示制御プログラムに関する。
 従来から、情報機器には、ハードキーやタッチキーが配置された入力部が備えられている。情報機器は、ユーザによる入力部への入力操作に応じて様々な処理を行うようになっている。
 こうした入力操作に関連する技術として、キー配置を確認しなくとも目的の入力を行うための技術が提案されている(特許文献1参照:以下、「従来例」という)。かかる従来例の技術では、入力音声の認識結果に所定のワードが含まれている場合には、タッチパネルが配置されている表示画面における表示画像を変化させずに、タッチパネルの有効範囲における面積の大きな範囲に、当該所定のワードに関連するタッチキーが割り付けられる。
特開2010-281572号公報
 従来例の技術では、タッチキーの機能の表示がなされない。このため、ユーザは、音声認識により所定のワードが正しく認識され、適切なタッチキーが割り付けられたか否かを知ることができない。この結果、ユーザがタッチキーを操作したときに、ユーザの意図しない処理が実行される可能性があった。
 ところで、スマートフォン等の携帯端末装置が広く普及している。こうした携帯端末装置における入力部は、通常、タッチパネルを備えて構成されているが、携帯端末装置は携帯可能であることが必須であり、タッチパネルの面積にも限界がある。そして、近年の携帯端末装置は、スマートフォンに代表されるように多機能であるため、タッチキーの数が多くなる傾向である。このため、個々のタッチキーの領域の面積は小さくなる傾向にある。この結果、タッチキーの操作に際しては、対応するアイコンの表示を注視して行うことが必要となってきている。以上のような傾向は、ユーザにとって、携帯端末装置に対する操作入力を簡易に行うことの妨げになりかねない。
 さて、入力部が配置された情報処理装置としては様々な種類があるが、当該入力部には、ユーザが操作入力を簡易に、かつ、確実に行えることができるようにするため、様々な工夫がなされている。例えば、車両に搭載される電装品に配置された入力部には、ユーザが操作入力を簡易に、安全に、かつ、確実に行えることができるようにするための工夫がなされている。
 このため、携帯端末装置への操作入力に際して、他の情報処理装置の入力部を利用することができる技術が望まれている。かかる要請に応えることが、本発明が解決すべき課題の一つとして挙げられる。
 請求項1に記載の発明は、情報処理装置と接続可能な携帯端末装置であって、前記携帯端末装置の動作モードを含む動作状態を特定する特定部と;前記動作モードに応じたアイコンを、前記情報処理装置が備える入力部におけるユーザ操作を受付可能な操作領域に配置された第1表示領域に表示させる表示制御部と;を備えることを特徴とする携帯端末装置である。
 請求項5に記載の発明は、携帯端末装置と接続可能な情報処理装置であって、ユーザ操作を受付可能な操作領域を有する入力部と;前記操作領域に配置され、前記携帯端末装置の動作モードに応じたアイコンを表示する第1表示領域を有する情報表示部と;を備えることを特徴とする情報処理装置である。
 請求項11に記載の発明は、情報処理装置と;携帯端末装置と;を備える連携システムであって、前記情報処理装置は、ユーザ操作を受付可能な操作領域を有する入力部と;前記操作領域に配置され、アイコンを表示する表示領域を有する情報表示部と;を備え、前記携帯端末装置は、前記携帯端末装置の動作モードを含む動作状態を特定する特定部と;前記動作モードに応じたアイコンを、前記表示領域に表示させる表示制御部と;を備える、ことを特徴とする連携システムである。
 請求項12に記載の発明は、特定部と;表示制御部と;を備え、情報処理装置と接続可能な携帯端末装置において使用される表示制御方法であって、前記特定部が、前記携帯端末装置の動作モードを含む動作状態を特定する特定工程と;前記表示制御部が、前記動作モードに応じたアイコンを、前記情報処理装置が備える入力部におけるユーザ操作を受付可能な操作領域に配置された表示領域に表示させる表示制御工程と;を備えることを特徴とする表示制御方法である。
 請求項13に記載の発明は、携帯端末装置が有するコンピュータに、請求項12に記載の表示制御方法を実行させる、ことを特徴とする表示制御プログラムである。
一実施形態に係る連携システムの構成を示すブロック図である。 第1実施例に係る連携システムにおける情報処理装置及び携帯端末装置の外観を説明するための図である。 図2の情報処理装置及び携帯端末装置の内部構成を説明するための図である。 図3の制御部の処理を説明するためのフローチャートである。 第1実施例における表示変化例を示すための図である。 第2実施例に係る連携システムにおける情報処理装置及び携帯端末装置の内部構成を説明するための図である。 図6の制御部の処理を説明するためのフローチャートである。 第3実施例に係る連携システムにおける情報処理装置及び携帯端末装置の内部構成を説明するための図である。 図8の制御部による処理を説明するためのフローチャート(その1)である。 図8の制御部による処理を説明するためのフローチャート(その2)である。 第3実施例における表示変化例を示すための図である。
 100A … 情報処理装置
 110  … 入力部
 120  … 表示部(情報表示部)
 121  … 第1表示領域
 122  … 第2表示領域
 150  … 保持部
 200A … 携帯端末装置
 220A … 制御部(表示制御部及び特定部)
 230  … 表示部(携帯表示部)
 300A … 連携システム
 700  … 情報処理装置
 710  … 入力部
 720  … 情報表示部
 721  … 第1表示領域
 722  … 第2表示領域
 800  … 携帯端末装置
 810  … 特定部
 820  … 表示制御部
 830  … 携帯表示部
 900  … 連携システム
 以下、本発明の一実施形態を、図1を参照して説明する。なお、以下の説明においては、同一又は同等の要素については同一符号を付し、重複する説明を省略する。
 [構成]
 図1には、一実施形態に係る連携システム900の構成が示されている。この図1に示されるように、連携システム900は、情報処理装置700と、携帯端末装置800とを備えている。ここで、携帯端末装置800は、情報処理装置700が備える不図示の保持部により、着脱可能に保持できるようになっている。
 また、情報処理装置700と携帯端末装置800とは通信可能となっている。ここで、情報処理装置700と携帯端末装置800との通信のための接続は、有線ケーブルによる有線接続であってもよいし、近距離無線通信による無線接続であってもよい。
 <情報処理装置700の構成>
 上記の情報処理装置700は、入力部710と、情報表示部720と、表示処理部730とを備える。ここで、情報処理装置700は、これらの要素以外の要素を備えている。そして、情報処理装置700は、携帯端末装置800と連携する際の動作と、携帯端末装置800と連携しない際の動作とを切り替えて実行するようになっている。
 上記の入力部710は、ユーザ操作を受付可能な少なくとも1つの操作領域を有している。本実施形態では、操作領域は、機械的な押し下げ操作により入力を行う複数のハードキーの領域となっている。そして、本実施形態では、ハードキーのキートップ部分は、周辺領域に対して凹状の形状を有しており、触覚により、周辺領域との識別が可能となっている。
 上記の情報表示部720は、表示処理部730から送られた表示データを受ける。そして、情報表示部720は、当該表示データに従った表示を行う。
 情報表示部720は、第1表示領域721と、第2表示領域722とを有している。ここで、第1表示領域721は、入力部710の操作領域に配置されている。本実施形態では、第1表示領域721は、上述したハードキーのキートップ部分に配置されている。すなわち、第1表示領域721は、ハードキーごとの個別領域という複数の個別領域から構成されている。そして、当該個別領域ごとに、アイコンの表示が可能となっている。
 また、第2表示領域722は、入力部710とは異なる位置に配置される。第2表示領域722は、文字情報等が表示可能となっている。
 上記の表示処理部730は、情報処理装置700が携帯端末装置800と連携動作しているときには、携帯端末装置800から送信された表示指定を受信する。そして、表示処理部730は、当該表示指定に基づいて表示データを生成する。こうして生成された表示データは、情報表示部720へ送られる。この結果、情報表示部720では、携帯端末装置800から送信された表示指定に従った表示が行われる。
 なお、表示処理部730は、情報処理装置700が携帯端末装置800と連携動作していないとき、独自な表示データを生成し、生成された表示データを情報表示部720へ送る。この結果、情報表示部720では、情報処理装置700に独自な表示が行われる。
 <携帯端末装置800の構成>
 上記の携帯端末装置800は、特定部810と、表示制御部820と、携帯表示部830とを備えている。ここで、携帯端末装置800は、これらの要素以外の要素を備えており、携帯端末装置800に固有の機能を果たすことができるようになっている。
 上記の特定部810は、携帯端末装置800が実行している動作モードを含む動作状態を特定する。そして、特定部810は、特定結果を表示制御部820へ送る。
 上記の表示制御部820は、携帯端末装置800の動作モードごとの第1表示領域721及び携帯表示部830へのアイコン表示割当に関するアイコン割当情報、及び、携帯端末装置800の動作状態ごとの第2表示領域722における表示情報を内部に保持している。ここで、アイコン割当情報には、連携動作していないときにおける携帯表示部830に表示させるアイコンの形状であり、かつ、連携動作時に第1表示領域721に表示させるアイコンの形状の情報が含まれている。また、アイコン割当情報では、動作モードごとに携帯表示部830に割り当てられるアイコンとして、同一動作モードで第1表示領域721に割り当てられるアイコンが含まれないようになっている。
 表示制御部820は、特定部810から送られた特定結果を受ける。そして、表示制御部820は、携帯端末装置800が情報処理装置700と連携動作しているときには、特定結果に応じて、情報処理装置700(より詳しくは、表示処理部730)へ送信する表示指定、及び、携帯表示部830の表示画像に応じた表示データの生成を行う。なお、表示制御部820により実行される、連携動作時の表示指定及び表示データの生成処理については、後述する。
 生成された表示指定は、情報処理装置700へ送信される。また、生成された表示データの生成は、携帯表示部830へ送られる。
 なお、表示制御部820は、携帯端末装置800が情報処理装置700と連携動作していないとき、独自な表示データを生成し、生成された表示データを携帯表示部830へ送る。この結果、携帯表示部830では、携帯端末装置800に独自な表示が行われる。
 上記の携帯表示部830は、表示制御部820から送られた表示データを受ける。そして、携帯表示部830は、当該表示データに従った表示を行う。
 なお、携帯表示部830の表示画面上には不図示のタッチパネルが配置されており、当該タッチパネルを利用した入力操作ができるようになっている。
 [動作]
 次に、上記のように構成された連携システム900の動作について、連係動作時における表示制御部820の処理に主に着目して説明する。なお、情報処理装置700と携帯端末装置800とは連携動作しているものとする。
 連携動作時に特定部810による特定結果を受けると、表示制御部820は、携帯端末装置800において動作状態遷移が発生したか否かの遷移判定を行う。当該遷移判定の結果が否定的であった場合には、遷移判定を繰り返す。
 遷移判定の結果が肯定的であった場合には、表示制御部820は、携帯端末装置800の動作状態遷移が動作モードの変化を伴う遷移であるか否かの動作モード変化判定を行う。動作モード変化判定の結果が否定的であった場合には、表示制御部820は、動作状態遷移後において携帯表示部830に表示させる画像に応じた表示データを生成する。そして、表示制御部820は、生成された表示データを携帯表示部830へ送る。この結果、携帯表示部830には、動作状態遷移後の画像が表示される。
 なお、携帯表示部830に表示させる画像の表示データには、第1表示領域721に表示されているアイコンの表示データは含まれないようになっている。
 引き続き、表示制御部820は、動作状態遷移に伴って、第2表示領域722に表示させる情報を変化させるか否かの情報変化判定を行う。情報変化判定の結果が否定的であった場合には、表示制御部820は、当該動作状態遷移に伴う処理を終了し、特定部810による次の特定結果の報告を待つ。
 情報変化判定の結果が肯定的であった場合には、表示制御部820は、第2表示領域722に表示させる新たな情報を表示指定として生成する。そして、表示制御部820は、生成された表示指定を情報処理装置700へ送信する。この結果、第2表示領域722には、新たな動作状態に応じた情報が表示される。そして、表示制御部820は、当該動作状態遷移に伴う処理を終了し、特定部810による次の特定結果の報告を待つ。
 上述した動作モード変化判定の結果が肯定的であった場合には、表示制御部820は、まず、内部に保持している上述のアイコン割当情報に基づいて、第1表示領域721に表示させる新たな動作モードに応じたアイコン、及び、携帯表示部830に表示させる新たな動作モードに応じたアイコンを決定する。引き続き、表示制御部820は、内部に保持している上述の表示情報に基づいて、動作モードの変化に伴って、第2表示領域722に表示させる新たな動作モードを含む情報を生成する。
 次に、表示制御部820は、携帯表示部830に表示させるアイコンとして決定されたアイコンを含む、動作モード変化後において携帯表示部830に表示させる画像に応じた表示データを生成する。そして、表示制御部820は、生成された表示データを携帯表示部830へ送る。この結果、携帯表示部830には、動作モード変化後の画像が表示される。
 引き続き、表示制御部820は、第1表示領域721に表示させるアイコン及びその形状、並びに、第2表示領域722に表示させる新たな動作モードを含む情報を、表示指定として生成する。そして、表示制御部820は、生成された表示指定を情報処理装置700へ送信する。この結果、第1表示領域721には、携帯端末装置800の新たな動作モードに応じたアイコンが表示されるとともに、第2表示領域722には新たな動作モードに応じた情報が表示される。そして、表示制御部820は、当該動作モードの変化を伴う動作状態遷移に伴う処理を終了し、特定部810による次の特定結果の報告を待つ。
 なお、情報処理装置700と携帯端末装置800とが連携動作していない場合には、上述したように、情報処理装置700及び携帯端末装置800のそれぞれにおいて、独自の表示が、情報表示部720及び携帯表示部830に表示される。
 以上説明したように、本実施形態では、特定部810が、携帯端末装置800の動作モードを含む動作状態を特定し、特定結果を表示制御部820へ送る。情報処理装置700と携帯端末装置800とが連携動作しているとき、当該特定結果により、動作モードが変化したことが分ると、表示制御部820は、動作モードの変化に応じて、情報処理装置700における第1表示領域721に表示させるアイコン及びその形状を含む表示指定を生成する。そして、表示制御部820は、生成された表示指定を情報処理装置700へ送信する。
 したがって、本実施形態によれば、携帯端末装置800に対する操作入力に際して、情報処理装置700の入力部710を適切に利用することができ、ユーザの利便性を向上させることができる。
 また、本実施形態では、第1表示領域721に表示されるアイコンの形状は、携帯端末装置800と情報処理装置700とが連携動作していない場合(接続されていない場合を含む)に、同一機能の操作のために、携帯表示部830に表示されるアイコンの形状と同一となっている。このため、第1表示領域721が配置された操作領域を利用して携帯端末装置800に対する入力を行う際に、ユーザは、違和感なく入力操作を行うことができる。
 また、本実施形態では、第2表示領域722に、携帯端末装置800における動作状態の情報が表示される。このため、第1表示領域721が配置された操作領域を利用した入力を行うユーザの利便性を向上させることができる。
 また、本実施形態では、情報処理装置700の入力部710における操作領域の形状が、操作領域の周辺領域に対して凹状の形状を有しており、触覚により識別可能な形状としている。このため、ユーザによる操作領域の識別を容易に行うことができ、ユーザの利便性を向上させることができる。
 また、本実施形態では、情報処理装置700が備える保持部により、携帯端末装置800が着脱自在に保持される。このため、例えば、情報処理装置700が車載器の場合に、携帯端末装置800をユーザにとって固定的な位置に配置することができ、ユーザが情報処理装置700と携帯端末装置800とを同時に視認可能な位置に配置されることになるため、利用者の利便性を向上させることができる。
 [実施形態の変形]
 本発明は、上記の実施形態に限定されるものではなく、様々な変形が可能である。
 例えば、上記の実施形態では、情報処理装置の入力部における操作領域の形状を、操作領域の周辺領域に対して凹状の形状とした。これに対し、情報処理装置の入力部における操作領域の形状を、操作領域の周辺領域に対して凸状の形状としてもよい。この場合にも、ユーザによる操作領域の識別を容易に行うことができ、ユーザの利便性を向上させることができる。
 また、上記の実施形態では、情報処理装置の入力部を、ハードキーを備えて構成するようにした。これに対し、情報処理装置の入力部を、タッチキー等のソフトキーを備えて構成するようにしてもよい。
 また、携帯表示部に表示させるアイコンとしては、動作モードの変化前には第1表示領域に表示されていたが、動作モードの変化後には第1表示領域に表示されなくなったアイコンの内、変化後の動作モードでも表示を確保することが定められたアイコンが含まれるようにしてもよい。この場合には、変化後の動作モードにおいても操作対象となり得るアイコンを、携帯表示部及び第1表示領域のいずれかに合理性を持って表示させることができる。
 また、上記の実施形態における情報処理装置は、車載器であってもよいし、家屋内に置かれる装置であってもよい。
 また、上記の実施形態では、予め定められたアイコン割当情報に基づいて、第1表示領域に表示させるアイコン、及び、携帯表示部に表示させるアイコンを決定するようにした。これに対し、各動作モードで表示されたアイコンに対応する操作領域の使用頻度が高いほど優先順位を高くして、第1表示領域に表示させるアイコンを決定するようにしてもよい。
 また、上記の実施形態では、表示制御部が、携帯端末装置の動作モードごとのアイコン表示割当の情報、及び、携帯端末装置の動作状態ごとの第2表示領域における表示情報を内部に保持するようにした。これに対し、携帯端末装置の動作モードごとのアイコン表示割当の情報、及び、携帯端末装置の動作状態ごとの第2表示領域における表示情報を外部サーバに保持させ、特定された動作状態に関するアイコン表示割当の情報及び第2表示領域における表示情報を、通信網を介して、当該外部サーバから取得するようにしてもよい。
 また、上記の実施形態では、携帯端末装置側が、動作モードごとのアイコン表示割当を行うようにしたが、情報処理装置側が、当該アイコン表示割当を行うようにしてもよい。
 なお、上記の実施形態における特定部810及び表示制御部820を、中央処理装置(CPU:Central Processing Unit)等を備えた演算手段としてのコンピュータとして構成し、予め用意されたプログラムを当該コンピュータで実行することにより、上記の実施形態における特定部810及び表示制御部820の一部又は全部の機能を実現するようにしてもよい。このプログラムはハードディスク、CD-ROM、DVD等のコンピュータで読み取り可能な記録媒体に記録され、当該コンピュータによって記録媒体から読み出されて実行される。また、このプログラムは、CD-ROM、DVD等の可搬型記録媒体に記録された形態で取得されるようにしてもよいし、インターネットなどのネットワークを介した配信の形態で取得されるようにしてもよい。
 以下、本発明の実施例を、図面を参照して説明する。なお、以下の説明及び図面においては、同一又は同等の要素については同一の符号を付し、重複する説明を省略する。
 [第1実施例]
 まず、本発明の第1実施例を、図2~図5を主に参照して説明する。
 <構成>
 図2には、第1実施例に係る連携システム300Aの構成が概略的に示されている。図2に示されるように、連携システム300Aは、上述した実施形態における情報処理装置700の機能を果たす情報処理装置100Aと、上述した実施形態における携帯端末装置800の機能を果たす携帯端末装置200Aとを備えている。ここで、携帯端末装置200Aは、情報処理装置100Aが備える保持部150により、着脱可能に保持できるようになっている。
 また、携帯端末装置200Aと情報処理装置100Aとは通信可能となっている。ここで、携帯端末装置200Aと情報処理装置100Aとの通信のための接続は、有線ケーブルによる有線接続であってもよいし、近距離無線通信による無線接続であってもよい。
 上記の情報処理装置100Aは、保持部150に加えて、操作キー1101~1104を備えている。第1実施例では、操作キー1101~1104は、機械的な押し下げ操作により入力を行う複数のハードキーとなっている。そして、操作キー1101~1104のキートップ部分である操作領域は、周辺領域に対して凹状の形状を有しており、触覚により、周辺領域との識別が可能となっている。
 以下、操作キー1101~1104を総称する場合には、「入力部110」というものとする。なお、入力部110が、上述した実施形態における入力部710の機能を果たすようになっている。
 また、情報処理装置100Aは、アイコン表示可能な第1表示領域1211~1214と、文字情報等を表示可能な第2表示領域122とを備えている。以下、第1表示領域1211~1214を総称する場合には、「第1表示領域121」というものとする。
 なお、第1表示領域121が、上述した実施形態における第1表示領域721の機能を果たすようになっている、また、第2表示領域122が、上述した実施形態における第2表示領域722の機能を果たすようになっている。
 第1表示領域121j(j=1~4)は、操作キー110jのキートップ部分に配置されている。また、第2表示領域122は、操作キー1101~1104の配置領域とは異なる領域に配置されている。
 上記の携帯端末装置200Aは、表示部230を備えている。ここで、表示部230の表示画面上には不図示のタッチパネルが配置されており、当該タッチパネルを利用した入力操作ができるようになっている。なお、表示部230が、上述した実施形態における携帯表示部830の機能を果たすようになっている。
 《情報処理装置100Aの構成》
 情報処理装置100Aは、図3に示されるように、上述した入力部110に加えて、表示部120と、処理部130Aとを備える。ここで、情報処理装置100Aは、これらの要素以外の要素を備えている。そして、情報処理装置100Aは、携帯端末装置200Aと連携する際の動作と、携帯端末装置200Aと連携しない際の動作とを切り替えて実行するようになっている。
 上記の表示部120は、上述した第1表示領域121及び第2表示領域122を有している。表示部120は、処理部130Aから送られた表示データを受ける。そして、表示部120は、当該表示データに従った表示を行う。すなわち、表示部120は、上述した実施形態における情報表示部720の機能を果たすようになっている。
 上記の処理部130Aは、中央処理装置(CPU:Central Processing Unit)等を備えて構成されている。処理部130Aは、様々なプログラムを実行することにより、情報処理装置100Aの機能を実現させるようになっている。かかる機能には、上述した実施形態における表示処理部730の機能が含まれている。
 すなわち、処理部130Aは、情報処理装置100Aが携帯端末装置200Aと連携動作しているときには、携帯端末装置200Aから送信された表示指定を受信する。そして、処理部130Aは、当該表示指定に基づいて表示データを生成する。こうして生成された表示データは、表示部120へ送られる。この結果、表示部120では、携帯端末装置200Aから送信された表示指定に従った表示が行われる。
 なお、処理部130Aは、情報処理装置100Aが携帯端末装置200Aと連携動作していないとき、独自な表示データを生成し、生成された表示データを表示部120へ送る。この結果、表示部120では、情報処理装置100Aに独自な表示が行われる。
 《携帯端末装置200Aの構成》
 上記の携帯端末装置200Aは、図3に示されるように、上述した表示部230及びタッチパネルに加えて、制御部220Aを備えている。
 上記の制御部220Aは、中央処理装置(CPU:Central Processing Unit)等を備えて構成されている。制御部220Aは、様々なプログラムを実行することにより、携帯端末装置200Aの機能を実現させるようになっている。かかる機能には、上述した実施形態における特定部810及び表示制御部820の機能が含まれている。
 なお、制御部220Aは、携帯端末装置200Aの動作モードごとの第1表示領域121及び表示部230へのアイコン表示割当に関するアイコン割当情報、及び、携帯端末装置200Aの動作状態ごとの第2表示領域122における表示情報を内部に保持している。ここで、アイコン割当情報には、連携動作していないときにおける表示部230に表示させるアイコンの形状であり、かつ、連携動作時に第1表示領域121に表示させるアイコンの形状の情報が含まれている。
 また、アイコン割当情報では、動作モードに応じて表示部230に割り当てられるアイコンには、第1表示領域121に割り当てられるアイコンが含まれないようになっている。さらに、アイコン割当情報では、表示部230に割り当てられるアイコンには、動作モードの変化前には第1表示領域121に表示されていたが、動作モードの変化後には第1表示領域121に表示されなくなったアイコンの内、変化後の動作モードでも表示を確保することが定められたアイコンが含まれるようになっている。
 制御部220Aは、携帯端末装置200Aの動作モードを含む動作状態を特定する。ここで、動作モードとは携帯端末装置200Aによって実行される各々のアプリケーションの動作のことを示す。動作モードの具体例としては、ユーザに対して案内誘導を行うナビゲーションモード、音楽の再生制御等を行うオーディオモード、携帯端末装置200Aと情報処理装置100Aとを接続した際に最初に表示されるホーム画面モード等が挙げられる。なお、動作モードはこれらの例に限られず、通話モードやメールモード等の例示はしない様々なモードがあってもよい。
 動作モードがナビゲーションモードの場合にアイコンとして割り当てられる機能の例としては、ユーザの現在位置を表示する機能、地図を拡大縮小する拡大・縮小機能、ユーザの音声を受け付ける音声認識機能等が挙げられる。また、動作モードがオーディオモードの場合にアイコンとして割り当てられる機能の例として、音楽再生、一時停止、早送り、巻き戻しの機能等が挙げられる。
 また、動作モードがホーム画面モードの場合にアイコンとして割り当てられる機能の例として、上記ナビゲーションモードに移行する機能、上記オーディオモードに移行する機能等が挙げられる。また、ホーム画面モードの場合には、ユーザが頻繁に利用する機能をアイコンとして割り当てるようにしてもよい。
 なお、動作モードごとのアイコンに割り当てられる機能は上述の例には限られない。
 動作モードに応じたアイコンに割り当てられる機能は、動作モード毎に対応付けて記憶されている。この対応付けは予め製造者によって事前に設定されていてもよいし、ユーザが任意に変更するようにしてもよい。
 制御部220Aは、携帯端末装置200Aが情報処理装置100Aと連携しているときには、特定結果に応じて、情報処理装置100A(より詳しくは、処理部130A)へ送信する表示指定、及び、表示部230の表示画像に応じた表示データの生成を行う。なお、制御部220Aにより実行される、連携動作時の表示指定及び表示データの生成処理については、後述する。
 生成された表示指定は、情報処理装置100Aへ送信される。また、生成された表示データは、表示部230へ送られる。
 なお、制御部220Aは、携帯端末装置200Aが情報処理装置100Aと連携動作していないとき、独自な表示データを生成し、生成された表示データを表示部230へ送る。この結果、表示部230では、携帯端末装置200Aに独自な表示が行われる。
 上記の表示部230は、制御部220Aから送られた表示データを受ける。そして、表示部230は、当該表示データに従った表示を行う。すなわち、表示部230は、上述した実施形態における携帯表示部830の機能を果たすようになっている。
 <動作>
 次に、上記のように構成された連携システム300Aの動作について、連係動作時における制御部220Aの表示制御処理に主に着目して説明する。なお、情報処理装置100Aと携帯端末装置200Aとは連携動作しているものとする。
 図4に示されるように、連携動作時に携帯端末装置200Aの動作モードを含む動作状態を特定されると、ステップS11において、制御部220Aが、特定結果に基づいて、携帯端末装置200Aにおいて動作状態遷移が発生したか否かを判定する。ステップS11における判定結果が否定的であった場合(ステップS11:N)には、処理は、後述するステップS16へ進む。
 新たな動作状態が特定され、ステップS11における判定結果が肯定的となると(ステップS11:Y)、処理はステップS12へ進む。ステップS12では、制御部220Aが、動作モードが変化したか否かを判定する。
 ステップS12における判定結果が否定的であった場合(ステップS12:N)には、処理はステップS13へ進む。ステップS13では、制御部220Aが、動作モードの変化を伴わない動作状態遷移時の情報処理装置100Aへの表示指定及び表示部230へ送る表示データを生成する。
 ステップS13における処理では、制御部220Aが、動作状態遷移後において表示部230に表示させる画像に応じた表示データを生成する。そして、制御部220Aは、生成された表示データを表示部230へ送る。この結果、表示部230には、動作状態遷移後の画像が表示される。
 引き続き、制御部220Aは、動作状態遷移に伴って、第2表示領域122に表示させる情報を変化させるか否かの情報変化判定を行う。情報変化判定の結果が否定的であった場合には、制御部220Aは、表示指定及び表示データを生成することなく、ステップS13の処理を終了する。そして、処理はステップS16へ進む。
 情報変化判定の結果が肯定的であった場合には、制御部220Aは、内部に保持している上述した表示情報に基づいて、第2表示領域122に表示させる新たな情報を表示指定として生成する。そして、制御部220Aは、生成された表示指定を情報処理装置100Aへ送信する。この結果、第2表示領域122には、新たな動作状態に応じた情報が表示される。そして、ステップS13の処理が終了し、処理はステップS16へ進む。
 上述したステップS12における判定結果が肯定的であった場合(ステップS12:Y)には、処理はステップS14へ進む。ステップS14では、制御部220Aが、内部に保持している上述のアイコン割当情報に基づいて、第1表示領域121に表示させる新たな動作モードに応じたアイコン、及び、表示部230に表示させる新たな動作モードに応じたアイコンを決定する。
 次に、ステップS15において、制御部220Aが、表示部230に表示させるアイコンとして決定されたアイコンを含む、動作モード変化後において表示部230に表示させる画像に応じた表示データを生成する。そして、制御部220Aは、生成された表示データを表示部230へ送る。この結果、表示部230には、動作モード変化後の画像が表示される。
 次いで、制御部220Aは、動作モードの変化に伴って、第2表示領域122に表示させる新たな動作モードを含む情報を生成する。引き続き、制御部220Aは、第1表示領域121に表示させるアイコン及びその形状、並びに、第2表示領域122に表示させる新たな動作モードを含む情報を、表示指定として生成する。そして、制御部220Aは、生成された表示指定を情報処理装置100Aへ送信する。この結果、第1表示領域121には、携帯端末装置200Aの新たな動作モードに応じたアイコンが表示されるとともに、第2表示領域122には新たな動作モードに応じた情報が表示される。
 こうしてステップS15の処理が終了すると、処理はステップS16へ進む。ステップS16では、制御部220Aが、連携動作中であるか否かを判定する。ステップS16における判定結果が肯定的であった場合(ステップS16:Y)には、処理はステップS11へ戻る。以後、ステップS16における判定結果が否定的となるまで、ステップS11~S16の処理が繰り返される。そして、ステップS16における判定結果が否定的となると(ステップS16:N)、連係動作時における制御部220Aの表示制御処理が終了する。
 なお、図5には、動作モードが第1動作モードから第2動作モードに変化した場合における表示例が示されている。図5においては、アイコンA~Kの場合が例示されている。
 情報処理装置100Aと携帯端末装置200Aとが連携動作していない場合には、上述したように、情報処理装置100A及び携帯端末装置200Aのそれぞれにおいて、独自の表示が、表示部120及び表示部230に表示される。
 以上説明したように、第1実施例では、携帯端末装置200Aの動作モードを含む動作状態を特定すると、制御部220Aは、情報処理装置100Aと携帯端末装置200Aとが連携動作しているとき、特定結果により、動作モードが変化したか否かを判定する。そして、動作モードが変化した場合、制御部220Aは、動作モードの変化に応じて、情報処理装置100Aにおける第1表示領域121に表示させるアイコン及びその形状を含む表示指定を生成する。そして、制御部220Aは、生成された表示指定を情報処理装置100Aへ送信する。
 したがって、第1実施例によれば、携帯端末装置200Aに対する操作入力に際して、情報処理装置100Aの入力部110を適切に利用することができ、ユーザの利便性を向上させることができる。
 また、第1実施例では、制御部220Aが、動作モードの変化前には第1表示領域121に表示されていたが、動作モードの変化後には第1表示領域121に表示されなくなったアイコンの内、変化後の動作モードでも表示を確保することが定められたアイコンを、表示部230に表示させるアイコンに含ませる。そして、制御部220Aは、表示部230に表示させるアイコンとして決定されたアイコンを含む、動作状態遷移後において表示部230に表示させる画像に応じた表示データを生成し、生成された表示データを表示部230へ送る。このため、アイコン表示を適切に行うことができ、利用者の利便性を向上させることができる。
 また、第1実施例では、第1表示領域121に表示されるアイコンの形状は、携帯端末装置200Aと情報処理装置100Aとが連携動作していない場合(接続されていない場合を含む)に、同一機能の操作のために、表示部230に表示されるアイコンの形状と同一となっている。このため、第1表示領域121が配置された操作領域を利用して携帯端末装置200Aに対する入力を行う際に、ユーザは、違和感なく入力操作を行うことができる。
 また、第1実施例では、第2表示領域122に、携帯端末装置200Aにおける動作状態の情報が表示される。このため、第1表示領域121が配置された操作領域を利用した入力を行うユーザの利便性を向上させることができる。
 また、情報処理装置は、車載器であってもよいし、家屋内に置かれる装置であってもよい。
 また、第1実施例では、情報処理装置100Aの入力部110における操作領域の形状が、操作領域の周辺領域に対して凹状の形状を有しており、触覚により識別可能な形状
としている。このため、ユーザによる操作領域の識別を容易に行うことができ、ユーザの利便性を向上させることができる。
 また、第1実施例では、情報処理装置100Aが備える保持部150により、携帯端末装置200Aが着脱自在に保持される。このため、例えば、情報処理装置100Aが車載器の場合に、携帯端末装置200Aをユーザにとって固定的な位置に配置することができ、ユーザが情報処理装置100Aと携帯端末装置200Aとを同時に視認可能な位置に配置されることになるため、利用者の利便性を向上させることができる。
 [第2実施例]
 まず、本発明の第2実施例を、図6及び図7を主に参照して説明する。
 <構成>
 図6には、第2実施例に係る連携システム300Bの構成が示されている。この図6に示されるように、連携システム300Bは、上述した連携システム300A(図3参照)と比べて、情報処理装置100Aに代えて情報処理装置100Bを備えること、及び、携帯端末装置200Aに代えて携帯端末装置200Bとを備える点が異なっている。
 上記の情報処理装置100Bは、情報処理装置100Aと比べて、処理部130Aに代えて制御部130Bを備える点が異なっている。また、上記の携帯端末装置200Bは、携帯端末装置200Aと比べて、制御部220Aに代えて処理部220Bを備える点が異なっている。以下、これらの相違点に主に着目して説明する。
 なお、処理部220Bは、携帯端末装置200Bと情報処理装置100Bとが連携動作をしている場合には、携帯端末装置200Bの動作状態を特定し、特定結果を情報処理装置100B(より詳しくは、制御部130B)へ送信するようになっている。
 上記の処理部220Bは、携帯端末装置200Bと情報処理装置100Bと連携動作しているときには、情報処理装置100Bから送信された表示指定を受信する。そして、処理部220Bは、当該表示指定におけるアイコン割当を考慮して、表示部230に表示させる画像の表示データを生成する。こうして生成された表示データは、表示部230へ送られる。この結果、表示部230では、情報処理装置100Bから送信された表示指定に従った表示が行われる。
 上記の制御部130Bは、上述した制御部220Aの場合と同様に、アイコン割当情報及び表示情報を内部に保持している。制御部130Bは、処理部220Bから送信された特定結果を受ける。そして、制御部130Bは、特定結果に応じて、携帯端末装置200B(より詳しくは、処理部220B)へ送信する表示指定、及び、表示部120の表示画像に応じた表示データの生成を行う。なお、制御部130Bにより実行される、連携動作時の表示指定及び表示データの生成処理については、後述する。
 生成された表示指定は、携帯端末装置200Bへ送信される。また、生成された表示データは、表示部120へ送られる。
 なお、制御部130Bは、携帯端末装置200Bが情報処理装置100Bと連携動作していないとき、独自な表示データを生成し、生成された表示データを表示部120へ送る。この結果、表示部120では、情報処理装置100Bに独自な表示が行われる。
 <動作>
 次に、上記のように構成された連携システム300Bの動作について、連係動作時における制御部130Bの処理に主に着目して説明する。なお、情報処理装置100Bと携帯端末装置200Bとは連携動作しているものとする。
 図7に示されるように、連携動作時に、処理部220Bにより特定された携帯端末装置200Bの動作状態の特定結果を受信すると、ステップS21において、制御部130Bが、携帯端末装置200Bにおいて動作状態遷移が発生したか否かを判定する。ステップS21における判定結果が否定的であった場合(ステップS21:N)には、処理は、後述するステップS26へ進む。
 新たな動作状態が特定され、ステップS21における判定結果が肯定的となると(ステップS21:Y)、処理はステップS22へ進む。ステップS22では、制御部130Bが、動作モードが変化したか否かを判定する。
 ステップS22における判定結果が否定的であった場合(ステップS22:N)には、処理はステップS23へ進む。ステップS23では、制御部130Bが、表示部120へ送る表示データを生成する。
 なお、ステップS23では、制御部130Bが、動作状態遷移に伴って、第2表示領域122に表示させる情報を変化させるか否かの情報変化判定を行う。情報変化判定の結果が否定的であった場合には、制御部130Bは、表示データを生成することなく、ステップS23の処理を終了する。そして、処理はステップS26へ進む。
 情報変化判定の結果が肯定的であった場合には、制御部130Bは、内部に保持している上述した表示情報に基づいて、表示部120へ送る表示データを生成する。そして、制御部130Bは、生成された表示データを表示部120へ送る。この結果、第2表示領域122には、新たな動作状態に応じた情報が表示される。そして、ステップS23の処理が終了し、処理はステップS26へ進む。
 上述したステップS22における判定結果が肯定的であった場合(ステップS22:Y)には、処理はステップS24へ進む。ステップS24では、制御部130Bが、内部に保持している上述のアイコン割当情報に基づいて、第1表示領域121に表示させる新たな動作モードに応じたアイコン、及び、表示部230に表示させる新たな動作モードに応じたアイコンを決定する。
 次に、ステップS25において、制御部130Bが、表示部230に表示させるアイコンとして決定されたアイコンの表示指定を生成する。そして、制御部130Bは、生成された表示指定を処理部220Bへ送る。この結果、表示部230には、動作モード変化後の画像が表示される。
 次いで、制御部130Bは、動作モードの変化に伴って、第2表示領域122に表示させる新たな動作モードを含む情報を生成する。引き続き、制御部130Bは、第1表示領域121に表示させるアイコン、及び、第2表示領域122に表示させる新たな動作モードに応じた情報を含む表示データを生成する。そして、制御部130Bは、生成された表示データを表示部120へ送る。この結果、第1表示領域121には、携帯端末装置200Bの新たな動作モードに応じたアイコンが表示されるとともに、第2表示領域122には新たな動作モードに応じた情報が表示される。
 こうしてステップS25の処理が終了すると、処理はステップS26へ進む。ステップS26では、制御部130Bが、連携動作中であるか否かを判定する。ステップS26における判定結果が肯定的であった場合(ステップS26:Y)には、処理はステップS21へ戻る。以後、ステップS26における判定結果が否定的となるまで、ステップS21~S26の処理が繰り返される。そして、ステップS26における判定結果が否定的となると(ステップS26:N)、連係動作時における制御部130Bの表示制御処理が終了する。
 なお、情報処理装置100Bと携帯端末装置200Bとが連携動作していない場合には、上述したように、情報処理装置100B及び携帯端末装置200Bのそれぞれにおいて、独自の表示が、表示部120及び表示部230に表示される。
 以上説明したように、第2実施例によれば、携帯端末装置200Bに対する操作入力に際して、上述した第1実施例の場合と同様の効果を奏することができる。
 [第3実施例]
 次いで、本発明の第3実施例を、図8~図11を主に参照して説明する。
 <構成>
 図8には、第3実施例に係る連携システム300Cの構成が示されている。この図8に示されるように、連携システム300Cは、上述した連携システム300A(図3参照)と比べて、情報処理装置100Aに代えて、情報処理装置100Cを備えること、及び、携帯端末装置200Aに代えて、携帯端末装置200Cとを備える点が異なっている。以下、これらの相違点に主に着目して説明する。
 《情報処理装置100Cの構成》
 上記の情報処理装置100Cは、図8に示されるように、情報処理装置100Aと比べて、処理部130Aに代えて処理部130Cを備える点が異なっている。そして、情報処理装置100Cは、携帯端末装置200Cと連携する際の動作と、携帯端末装置200Cと連携しない際の動作とを切り替えて実行するようになっている。
 上記の処理部130Cは、中央処理装置(CPU:Central Processing Unit)等を備えて構成されている。処理部130Cは、様々なプログラムを実行することにより、情報処理装置100Cの機能を実現させるようになっている。
 処理部130Cは、情報処理装置100Cが携帯端末装置200Cと連携動作しているときには、携帯端末装置200Cから送信された表示指定を受信する。そして、処理部130Cは、当該表示指定におけるアイコン割当を考慮して、第1表示領域121に表示させるアイコンの表示データを生成する。こうして生成された表示データは、表示部120へ送られる。この結果、第1表示領域121では、情報処理装置100Cから送信された表示指定に従ったアイコン表示が行われる。ここで、処理部130Cは、情報処理装置100Cが携帯端末装置200Cと連携動作しているときには、第2表示領域122には、携帯端末装置200Cの動作モードに応じた表示を行わせる。
 なお、処理部130Cは、情報処理装置100Cが携帯端末装置200Cと連携動作していないとき、独自な表示データを生成し、生成された表示データを表示部120へ送る。この結果、表示部120では、情報処理装置100Cに独自な表示が行われる。
 《携帯端末装置200Cの構成》
 上記の携帯端末装置200Cは、図8に示されるように、上述した表示部230及びタッチパネルに加えて、センサ211と、無線通信部212と、制御部220Cとを備えている。なお、表示部230の表示画面上には、上述した第1実施例の場合と同様に、ユーザ操作を受付可能なタッチパネルが配置されている。
 上記のセンサ211には、第3実施例では、加速度センサが含まれている。センサ211による検出結果は、制御部220Cへ送られる。なお、センサ211による加速度の検出結果を受けると、制御部220Cは、当該加速度の時間積分処理等を行って、携帯端末装置200Cの移動速度(携帯端末装置200Cとともに移動する移動体の移動速度)を取得するようになっている。
 上記の無線通信部212は、通信網を介して、災害情報等の緊急度情報を受信する、そして、無線通信部212は、取得された緊急度情報を制御部220Cへ送る。なお、無線通信部212から送られた緊急度情報を受けると、制御部220Cは、当該緊急度情報に対応する緊急度を取得するようになっている。
 上記の制御部220Cは、中央処理装置(CPU:Central Processing Unit)等を備えて構成されている。制御部220Cは、様々なプログラムを実行することにより、携帯端末装置200Cの機能を実現させるようになっている。
 制御部220Cは、連携動作していないときにおける表示部230に表示させるアイコン及びその形状を内部に保持している。また、制御部220Cは、情報処理装置100Cの入力部110における操作領域の配置情報を内部に保持している。
 さらに、制御部220Cは、表示部230に表示されているアイコンに対応するタッチキー、及び、第1表示領域121に表示されたアイコンに対応するキーの利用頻度が高いと高くなる態様で定められるアイコンごとの重要度情報を内部に保持している。また、制御部220Cは、表示部230に表示されているアイコンごと、対応するタッチキーの操作の危険度を示す危険度情報を内部に保持している。
 なお、危険度は、ユーザのアイコン注視の必要度に基づいて、予め定められる。例えば、アイコンがシークバーのアイコンの場合には、当該シークバーの位置調整のためにアイコン注視の必要性が高いので、危険度が高く定められる。また、アイコンが楽曲再生におけるトラックアップのアイコンの場合には、アイコン注視の必要度が低いので、危険度が低く定められる。また、アイコンが楽曲再生におけるリピートモード設定用のアイコンである場合には、リピートモードの表示が操作のたび変化し、アイコン注視の必要度が低いとはいえないので、危険度が、シークバーのアイコンの場合よりも低く、かつ、トラックアップのアイコンの場合よりも高く定められる。
 制御部220Cは、上述したようにして、移動速度及び緊急度情報を取得する。そして、制御部220Cは、情報処理装置100Cが携帯端末装置200Cと連携動作しているとき、取得された移動速度及び緊急度情報に基づいて、第1表示モードと第2表示モードとを切り替える。
 制御部220Cは、第1及び第2表示モードの双方について、表示部230に表示させる画像に対応する表示データを生成し、生成された表示データを表示部230へ送る。また、制御部220Cは、第2表示モードでは、処理部130Cへの表示指定を情報処理装置100Cへ送信する。
 ここで、第1表示モードは、情報処理装置100Cの表示部120に、情報処理装置100Cの動作モードに応じたアイコンを表示させる表示モードである。また、第2表示モードは、第1表示モードにおいて表示部230に表示されているアイコンの少なくとも一部を第1表示領域121に表示させ、第1表示領域121に表示させたアイコンを含むアイコンを表示部230に表示させない表示モードである。ここで、第2表示モードにおいては、第2表示領域122には、情報処理装置100Cの動作モードに応じた表示を行わせる。
 なお、制御部220Cが実行する処理については、後述する。
 上記の表示部230は、制御部220Cから送られた表示データを受ける。そして、表示部230は、当該表示データに従った表示を行う。
 なお、表示部230の表示画面上には、ユーザ操作を受付可能なタッチパネルが配置されている。そして、制御部220Cは、表示部230に表示されているアイコンに対応するタッチキー、及び、第1表示領域121に表示されたアイコンに対応するキーの利用頻度が高いと高くなる態様で定められるアイコンごとの重要度情報を内部に保持している。また、制御部220Cは、表示部230に表示されているアイコンごと、対応するタッチキーの操作の危険度を示す危険度情報を内部に保持している。
 <動作>
 次に、上記のように構成された連携システム300Cの動作について、連係動作時における制御部220Cの表示制御処理に主に着目して説明する。ここで、表示制御処理には、表示モード決定処理及び表示実行処理が含まれる。
 なお、情報処理装置100Cと携帯端末装置200Cとは連携動作しており、かつ、当初の表示モードは、第1表示モードであるものとする。
 《表示モード決定処理》
 まず、表示モード決定処理について説明する。
 表示モード決定処理では、図9に示されるように、ステップS31において、移動速度又は緊急度を新たに取得した制御部220Cが、移動速度が閾値速度よりも低いか否かを判定する。なお、閾値速度は、安全性の確保の観点から、実験、シミュレーション、経験に基づいて、予め定められる。
 ステップS31における判定の結果が肯定的であった場合(ステップS31:Y)には、処理はステップS32へ進む。ステップS32では、制御部220Cが、緊急度が閾値緊急度より低いか否かを判定する。なお、閾値緊急度は、安全性の確保の観点から、実験、シミュレーション、経験に基づいて、予め定められる。
 ステップS32における判定の結果が肯定的であった場合(ステップS32:Y)には、処理はステップS33へ進む。ステップS33では、制御部220Cが、表示モードを第1表示モードに決定する。そして、処理は、後述するステップS35へ進む。
 ステップS31又はステップS32における判定結果が否定的であった場合(ステップS31:N、又は、ステップS32:N)には、処理はステップS34へ進む。ステップS34では、制御部220Cが、表示モードを第2表示モードに決定する。そして、処理はステップS35へ進む。
 ステップS35では、制御部220Cが、連携動作中であるか否かを判定する。ステップS35における判定結果が肯定的であった場合(ステップS35:Y)には、処理はステップS31へ戻る。以後、ステップS35における判定結果が否定的となるまで、ステップS31~S35の処理が繰り返される。そして、ステップS35における判定結果が否定的となると(ステップS35:N)、表示モード決定処理が終了する。
 《表示実行処理》
 次に、表示実行処理について説明する。
 表示モード決定処理では、図10に示されるように、ステップS41において、制御部220Cが、表示モードが第1表示モードであるか否かを判定する。ステップS41における判定結果が肯定的であった場合(ステップS41:Y)には、処理はステップS42へ進む。
 ステップS42では、制御部220Cが、携帯端末装置200Cが情報処理装置100Cと連携動作していない場合に表示部230に表示される画像と同様の画像に対応する表示データを生成する。引き続き、制御部220Cは、生成された表示データを表示部230へ送る。この結果、表示部230では、携帯端末装置200Cが情報処理装置100Cと連携動作していない場合と同様な第1表示モードの表示が行われる。そして、処理はステップS45へ進む。
 上述したステップS41における判定の結果が否定的であった場合(ステップS41:N)には、処理はステップS43へ進む。ステップS43では、制御部220Cは、内部に保持された重要度情報、危険度情報及び配置情報に基づいて、操作に対する安全を確保できる範囲で、第1表示領域121に表示させるアイコンを決定する。
 次に、ステップS44において、制御部220Cが、情報処理装置100Cへ送信する表示指定及び表示部230へ送る表示データを生成する。
 ステップS44における処理では、制御部220Cが、ステップS43において決定された、第1表示領域121に表示させるアイコンの形状及び配置を含む表示指定を生成する。そして、制御部220Cは、生成された表示指定を情報処理装置100Cへ送信する。この結果、第1表示領域121に、当該表示指定に従ったアイコンが表示される。
 次に、制御部220Cは、表示部230に表示させるアイコンを決定する。こうして決定されたアイコンは、第1表示領域121に表示させるアイコン、及び、操作に際して安全上の問題があるアイコンを除いたアイコンである。すなわち、重要度は高いが、危険度が十分に低いアイコンが、第2表示モードにおいて、表示部230に表示されるアイコンに決定される。
 引き続き、制御部220Cは、第1表示モードであれば、表示部230に表示されていた画像の一部であって、現時点の動作状態においては重要な情報を拡大表示させた画像を決定する。そして、制御部220Cは、決定された画像、及び、表示部230に表示させることに決定されたアイコンに対応する画像に応じた表示データを生成し、生成された表示データを表示部230へ送る。この結果、第2表示モードにおける表示部230での表示が行われる。
 こうしてステップS44の処理が終了すると、処理はステップS45へ進む。ステップS45では、制御部220Cが、連携動作中であるか否かを判定する。
 ステップS45における判定結果が肯定的であった場合(ステップS45:Y)には、処理はステップS41へ戻る。以後、ステップS45における判定結果が否定的となるまで、ステップS41~S45の処理が繰り返される。そして、ステップS45における判定結果が否定的となると(ステップS45:N)、表示実行処理が終了する。
 なお、情報処理装置100Cと携帯端末装置200Cとが連携動作していないときには、表示部230では、第1表示モードと同様の表示が行われ、表示部120に何の表示もなされない。
 なお、図11には、表示モードが第1表示モードから第2表示モードに変化した場合における表示例が示されている。ここで、図11(A)には、第1表示モードにおける表示例が示され、図11(B)には、第2表示モードにおける表示例が示されている。
 以上説明したように、第3実施例では、移動速度及び緊急度が取得されると、制御部220Cは、移動速度及び緊急度に基づいて、第1表示モードにおいて表示部230に表示されたアイコンを利用した操作をユーザに行わせることが適切か否かの判定を行う。この判定の結果が否定的であった場合には、制御部220Cは、表示モードを第2表示モードに決定する。引き続き、制御部220Cは、第1表示領域121に表示させるアイコンを決定し、決定されたアイコン第1表示領域121に表示させる。また、第1表示領域121に表示させるアイコン、及び、表示部230に表示されたアイコンに従った操作を行うことが適切ではないアイコンを除いたアイコンを、表示部230に表示させる。
 したがって、第3実施例によれば、携帯端末装置200Cへの操作入力に際して、携帯端末装置200Cの外部状況に応じて、情報処理装置100Cの入力部110を適宜利用することができる。
 また、第3実施例では、制御部220Cは、第2表示モード時に第1表示領域121に表示されるアイコンを、アイコンのそれぞれに対応する操作領域を利用した入力の重要度に従って選択する。このため、第2表示モード時に第1表示領域121に表示されるアイコンを、適切に選択することができる。
 また、第3実施例では、制御部220Cは、アイコンのそれぞれに対応する操作領域を利用した入力の頻度に従って、重要度を決定する。このため、アイコンの重要度を合理的に決定することができる。
 また、第3実施例では、制御部220Cは、第2表示モード時に第1表示領域121に表示されるアイコンを、アイコンのそれぞれに対応する操作領域を利用した入力の危険度に従って選択する。このため、第2表示モード時に第1表示領域121に表示されるアイコンを、適切に選択することができる。
 [実施例の変形]
 本発明は、上記の第1~第3実施例に限定されるものではなく、様々な変形が可能である。
 例えば、上記の第1~第3実施例では、情報処理装置の入力部における操作領域の形状を、操作領域の周辺領域に対して凹状の形状とした。これに対し、情報処理装置の入力部における操作領域の形状を、操作領域の周辺領域に対して凸状の形状としてもよい。この場合にも、ユーザによる操作領域の識別を容易に行うことができ、ユーザの利便性を向上させることができる。
 また、上記の第1~第3実施例における情報処理装置は、車載器であってもよいし、家屋内に置かれる装置であってもよい。
 また、上記の第1~第3実施例では、情報処理装置の入力部を、ハードキーを備えて構成するようにした。これに対し、情報処理装置の入力部を、タッチキー等のソフトキーを備えて構成するようにしてもよい。
 また、上記の第1及び第2実施例では、予め定められたアイコン割当情報に基づいて、第1表示領域に表示させるアイコンを、及び、携帯表示部に表示させるアイコンを決定するようにした。これに対し、各動作モードで表示されたアイコンに応じた操作領域の使用頻度が高いほど優先順位を高くして、第1表示領域に表示させるアイコンを決定するようにしてもよい。
 また、上記の第1及び第2実施例では、制御部が、携帯端末装置の動作状態ごとのアイコン割当情報及び第2表示領域における表示情報を内部に保持するようにした。これに対し、携帯端末装置の動作状態ごとのアイコン表示割当の情報及び第2表示領域における表示情報を外部サーバに保持させ、特定された動作状態に関するアイコン表示割当の情報及び第2表示領域における表示情報を、通信網を介して、当該外部サーバから取得するようにしてもよい。
 また、上記の第1~第3実施例では、表示先を切り替える表示物をアイコンとした。これに対し、アイコン以外の表示物の表示先を切り替えるようにしてもよい。
 また、上記の第3実施例では、表示モードの切替に際して考慮する携帯端末装置の外部状況として、携帯端末装置ともに移動する移動体の移動速度と緊急度との組み合わせを採用した。これに対し、任意の外部状況に応じて、表示モードの切替を切り替えるようにしてもよい。
 また、上記の第3実施例では、安全面から判断して、表示モードの切替を行うようにした。これに対し、ユーザの利便性等の他の面から表示モードの切替を行うようにしてもよい。
 また、上記の第3実施例では、第2表示モードにおいて、第2表示領域には携帯端末装置の動作モードに応じた情報を表示させるようにした。これに対し、第2表示モードにおいて、移動速度や緊急度の情報等の外部状況に応じた情報を第2表示領域に表示させるようにしてもよい。
 また、上記の第3実施例では、第1表示モードにおいて、情報処理装置の表示部に、携帯端末装置の動作モードに応じたアイコンを表示させるようした。これに対し、第1表示モードでは、情報処理装置の表示部に、何も表示させないようにしてもよい。

Claims (13)

  1.  情報処理装置と接続可能な携帯端末装置であって、
     前記携帯端末装置の動作モードを含む動作状態を特定する特定部と;
     前記動作モードに応じたアイコンを、前記情報処理装置が備える入力部におけるユーザ操作を受付可能な操作領域に配置された第1表示領域に表示させる表示制御部と;
     を備えることを特徴とする携帯端末装置。
  2.  前記第1表示領域に表示されるアイコンの形状は、前記携帯端末装置が備える携帯表示部に表示されるアイコンの形状と同一である、ことを特徴とする請求項1に記載の携帯端末装置。
  3.  前記表示制御部は、前記特定された動作状態の情報を、前記第1表示領域とは異なる前記情報処理装置に配置された第2表示領域に表示させる、ことを特徴とする請求項1又は2に記載の携帯端末装置。
  4.  前記表示制御部は、前記動作モードが第1動作モードから第2動作モードに変化した場合、前記第1動作モードでは前記第1表示領域に表示されていたが、前記第2動作モードでは前記第1表示領域に表示されなくなったアイコンを前記携帯端末装置が備える携帯表示部に表示させる、ことを特徴とする請求項1~3のいずれか一項に記載の携帯端末装置。
  5.  携帯端末装置と接続可能な情報処理装置であって、
     ユーザ操作を受付可能な操作領域を有する入力部と;
     前記操作領域に配置され、前記携帯端末装置の動作モードに応じたアイコンを表示する第1表示領域を有する情報表示部と;
     を備えることを特徴とする情報処理装置。
  6.  前記操作領域は、触覚により識別可能な形状を有する、ことを特徴とする請求項5に記載の情報処理装置。
  7.  前記操作領域は、前記操作領域の周辺領域に対して凸状の形状を有する、ことを特徴とする請求項6に記載の情報処理装置。
  8.  前記操作領域は、前記操作領域の周辺領域に対して凹状の形状を有する、ことを特徴とする請求項6に記載の情報処理装置。
  9.  前記情報表示部は、前記動作モードを含む前記携帯端末装置の動作状態を表示する第2表示領域を更に有する、ことを特徴とする請求項5~8のいずれか一項に記載の情報処理装置。
  10.  前記携帯端末装置を着脱可能に保持する保持部を更に備える、ことを特徴とする請求項5~9のいずれか一項に記載の情報処理装置。
  11.  情報処理装置と;携帯端末装置と;を備える連携システムであって、
     前記情報処理装置は、
      ユーザ操作を受付可能な操作領域を有する入力部と;
      前記操作領域に配置され、アイコンを表示する表示領域を有する情報表示部と;を備え、
     前記携帯端末装置は、
      前記携帯端末装置の動作モードを含む動作状態を特定する特定部と;
      前記動作モードに応じたアイコンを、前記表示領域に表示させる表示制御部と;を備える、
     ことを特徴とする連携システム。
  12.  特定部と;表示制御部と;を備え、情報処理装置と接続可能な携帯端末装置において使用される表示制御方法であって、
     前記特定部が、前記携帯端末装置の動作モードを含む動作状態を特定する特定工程と;
     前記表示制御部が、前記動作モードに応じたアイコンを、前記情報処理装置が備える入力部におけるユーザ操作を受付可能な操作領域に配置された表示領域に表示させる表示制御工程と;
     を備えることを特徴とする表示制御方法。
  13.  携帯端末装置が有するコンピュータに、請求項12に記載の表示制御方法を実行させる、ことを特徴とする表示制御プログラム。
PCT/JP2017/045480 2016-12-22 2017-12-19 携帯端末装置、情報処理装置、連携システム及び表示制御方法 WO2018117085A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US16/473,162 US20190346937A1 (en) 2016-12-22 2017-12-19 Mobile terminal device, information processing device, cooperative system, and method for controlling display
EP17883182.2A EP3561652A4 (en) 2016-12-22 2017-12-19 MOBILE TERMINAL DEVICE, INFORMATION PROCESSING DEVICE, COOPERATIVE SYSTEM AND DISPLAY CONTROL PROCESS
JP2018557994A JP6829269B2 (ja) 2016-12-22 2017-12-19 携帯端末装置、情報処理装置、連携システム及び表示制御方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016249757 2016-12-22
JP2016-249757 2016-12-22

Publications (1)

Publication Number Publication Date
WO2018117085A1 true WO2018117085A1 (ja) 2018-06-28

Family

ID=62626389

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/045480 WO2018117085A1 (ja) 2016-12-22 2017-12-19 携帯端末装置、情報処理装置、連携システム及び表示制御方法

Country Status (4)

Country Link
US (1) US20190346937A1 (ja)
EP (1) EP3561652A4 (ja)
JP (3) JP6829269B2 (ja)
WO (1) WO2018117085A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021072608A (ja) * 2019-10-30 2021-05-06 呉江玲 音声認識のカーナビゲーション操縦装置

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6829269B2 (ja) * 2016-12-22 2021-02-10 パイオニア株式会社 携帯端末装置、情報処理装置、連携システム及び表示制御方法
US11029837B2 (en) 2018-08-30 2021-06-08 Rovi Guides, Inc. System and method to alter a user interface of a self-driving vehicle in cases of perceived emergency based on accelerations of a wearable user device

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0736234U (ja) * 1993-11-30 1995-07-04 ミツミ電機株式会社 キー入力装置
JP2010281572A (ja) 2009-06-02 2010-12-16 Clarion Co Ltd 車載装置および車載装置の制御方法
JP2011259259A (ja) * 2010-06-10 2011-12-22 Alpine Electronics Inc 電子機器および操作キーの割当方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8090309B2 (en) * 2004-10-27 2012-01-03 Chestnut Hill Sound, Inc. Entertainment system with unified content selection
JP6370193B2 (ja) * 2014-10-29 2018-08-08 アルパイン株式会社 電子装置、システムおよび動作モード選択プログラム
JP6829269B2 (ja) * 2016-12-22 2021-02-10 パイオニア株式会社 携帯端末装置、情報処理装置、連携システム及び表示制御方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0736234U (ja) * 1993-11-30 1995-07-04 ミツミ電機株式会社 キー入力装置
JP2010281572A (ja) 2009-06-02 2010-12-16 Clarion Co Ltd 車載装置および車載装置の制御方法
JP2011259259A (ja) * 2010-06-10 2011-12-22 Alpine Electronics Inc 電子機器および操作キーの割当方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021072608A (ja) * 2019-10-30 2021-05-06 呉江玲 音声認識のカーナビゲーション操縦装置

Also Published As

Publication number Publication date
JP6829269B2 (ja) 2021-02-10
EP3561652A1 (en) 2019-10-30
EP3561652A4 (en) 2020-09-02
JPWO2018117085A1 (ja) 2019-10-24
JP2022140777A (ja) 2022-09-27
US20190346937A1 (en) 2019-11-14
JP2021082311A (ja) 2021-05-27

Similar Documents

Publication Publication Date Title
JP2021082311A (ja) 携帯端末装置、情報処理装置、連携システム及び表示制御方法
JP6218201B2 (ja) メニュー画面表示方法、車載装置
JP6057504B2 (ja) 電子装置、出力制御方法および出力制御プログラム
CN103634205A (zh) 集成即时通讯/社交应用的车载娱乐系统及方法
CN104334411A (zh) 车载信息系统、信息终端、应用执行方法
JP6284104B2 (ja) 情報通信端末、対話提供方法
JP2014174485A (ja) 情報通信端末、およびその対話方法
JP6362875B2 (ja) 車載装置、車載情報システム
JP6282599B2 (ja) 情報表示制御装置および通信端末
CN105711523A (zh) 车载智能终端、系统及信息共享方法
KR20180010240A (ko) 유저 입력의 조작성을 향상시키는 프로그램, 게임 시스템, 전자 장치, 서버 및 게임 제어 방법
JP2015220533A (ja) 車載情報システム、車載装置、情報端末、アプリケーション実行方法
JP2018105930A (ja) 携帯端末装置、連携システム及び表示制御方法
JP2018107524A (ja) 携帯端末装置、情報処理装置、連携システム及び表示制御方法
JP6035108B2 (ja) 情報端末、情報システム、情報端末用プログラム
JPWO2014112095A1 (ja) 情報表示制御装置
US11209960B2 (en) Control method of terminal device
JP2012191349A (ja) 車載機器システム及び該車載機器システムを構成する車載機器及び携帯端末
JP2012149998A (ja) 車載機器システム及びそれに用いられる車載機器及び携帯端末
JP6004993B2 (ja) ユーザインタフェース装置
JP2014228927A (ja) 電子機器
JP6033335B2 (ja) 情報表示制御装置
JP5812322B2 (ja) 車載機器システム及び該車載システムを構成する車載機器
JP2018004545A (ja) 車載システム及び車載装置
JPWO2015097853A1 (ja) 情報処理装置、携帯端末、制御方法及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17883182

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2018557994

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2017883182

Country of ref document: EP

Effective date: 20190722