WO2015083321A1 - 携帯電子機器連携システム、車載表示装置、および連携用プログラム - Google Patents

携帯電子機器連携システム、車載表示装置、および連携用プログラム Download PDF

Info

Publication number
WO2015083321A1
WO2015083321A1 PCT/JP2014/005569 JP2014005569W WO2015083321A1 WO 2015083321 A1 WO2015083321 A1 WO 2015083321A1 JP 2014005569 W JP2014005569 W JP 2014005569W WO 2015083321 A1 WO2015083321 A1 WO 2015083321A1
Authority
WO
WIPO (PCT)
Prior art keywords
gui
electronic device
portable electronic
vehicle
web browser
Prior art date
Application number
PCT/JP2014/005569
Other languages
English (en)
French (fr)
Inventor
信一 赤間
Original Assignee
本田技研工業株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 本田技研工業株式会社 filed Critical 本田技研工業株式会社
Priority to US15/039,508 priority Critical patent/US20170024227A1/en
Priority to CN201480062018.2A priority patent/CN105917320B/zh
Priority to JP2015551374A priority patent/JP6240987B2/ja
Publication of WO2015083321A1 publication Critical patent/WO2015083321A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G06F13/38Information transfer, e.g. on bus
    • G06F13/382Information transfer, e.g. on bus using universal interface adapter
    • G06F13/385Information transfer, e.g. on bus using universal interface adapter for adaptation of a particular data processing system to different peripheral devices
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44Arrangements for executing specific programs
    • G06F9/451Execution arrangements for user interfaces
    • G06F9/452Remote windowing, e.g. X-Window System, desktop virtualisation
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00Aspects of data communication
    • G09G2370/02Networking aspects
    • G09G2370/027Arrangements and methods specific for the display of internet documents
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2380/00Specific applications
    • G09G2380/10Automotive applications

Definitions

  • the present invention relates to a portable electronic device cooperation system, an in-vehicle display device, and a cooperation program, and more particularly, to a portable electronic device cooperation system, an in-vehicle display device, and a cooperation program used in a vehicle.
  • a portable device In a vehicle, a portable device is used in cooperation with an in-vehicle device. 2. Description of the Related Art Conventionally, a navigation device that links a mobile device and an in-vehicle device and remotely operates the in-vehicle device using the mobile device is known (see Patent Document 1). On the other hand, since the function of the mobile device has been improved, the mobile device communicates with a server outside the vehicle and displays it on the screen of the mobile device. In addition, since the screen size of the mobile device is small, it is also considered to display on a vehicle-mounted device having a screen larger than the screen of the mobile device. However, applications for mobile devices have diversified, and depending on the application, it has become necessary to create and distribute them for each on-vehicle device.
  • the portable electronic device cooperation system of the present invention includes a vehicle-mounted display device having a cooperation interface for connecting a display unit and an operation unit to a portable electronic device, a web capable of direct operation via a GUI and indirect operation using a program language.
  • a mobile electronic device provided with a browser and a program for cooperation, and a web application server that provides a web application that uses the web browser.
  • the web browser GUI is displayed on the display unit via the cooperation interface, and a pseudo GUI is constructed on the operation unit based on the contents of the display, and the operation of the pseudo GUI is operated.
  • the web browser is indirectly operated by a program language by being output from the unit to the portable electronic device.
  • the portable electronic device cooperation system uses position information of an operation to the operation unit of the pseudo GUI as a parameter in an indirect operation.
  • the portable electronic device cooperation system controls the display unit so that the screen display mode when the direct operation is performed is different when the screen display mode by the direct operation and the indirect operation is different.
  • the portable electronic device cooperation system configures a pseudo GUI using an in-vehicle GUI and an in-vehicle GUI having a function equivalent to that of a web browser GUI.
  • the output of the GUI is used as a parameter.
  • the in-vehicle display device of the present invention is connected to a display unit, an operation unit, a web browser capable of direct operation via a GUI and indirect operation using a program language, and a portable electronic device including a cooperation program.
  • a linkage interface displays a web browser GUI on the display unit, constructs a pseudo GUI on the operation unit based on the display content, and outputs the pseudo GUI operation from the operation unit to the portable electronic device.
  • an indirect operation of the web browser in the programming language is executed.
  • the cooperation program according to the present invention is used for a cooperation interface that connects an in-vehicle display device and a portable electronic device, and can perform direct operation via a GUI and indirect operation using a program language.
  • the cooperation program includes a step of displaying a web browser GUI on the display unit via the cooperation interface, a step of constructing a pseudo GUI on the operation unit based on the content of the display, and an operation of the pseudo GUI. And performing an indirect operation of the web browser based on the program language.
  • FIG. 1 is a block diagram showing an overall configuration of a portable electronic device cooperation system according to an embodiment of the present invention.
  • the portable electronic device cooperation system 1 includes a server 10, a portable electronic device 20, and an in-vehicle display device 30.
  • the server 10 functions as a web server that can provide web services.
  • the web service is, for example, a social networking service (SNS) or a map service.
  • the server 10 also distributes various applications and programs used in the vehicle.
  • the server 10 may be a single server or a plurality of servers. In a plurality of cases, communication between the servers 10 is performed by wire or wireless.
  • the portable electronic device 20 is a portable electronic device, and is used by being brought into the vehicle from outside the vehicle.
  • the portable electronic device 20 can use, for example, a multi-function mobile phone called a smartphone.
  • the in-vehicle display device 30 is provided in the vehicle.
  • the in-vehicle display device 30 includes not only a display unit but also an operation unit that is an input unit from a user, such as a touch panel.
  • the server 10 and the portable electronic device 20 transmit information through various communications using radio.
  • the portable electronic device 20 and the in-vehicle display device 30 transmit information through wired communication such as USB (Universal Serial Bus) or wireless communication such as Bluetooth (Bluetooth (registered trademark)).
  • Information such as a display signal is transmitted from the portable electronic device 20 to the in-vehicle display device 30.
  • Information such as operation signals is transmitted from the in-vehicle display device 30 to the portable electronic device 20.
  • Transmission / reception of content described in HTML (HyperText Markup Language) or the like between the server 10 and the portable electronic device 20 is performed using, for example, a communication protocol called HTTP (Hypertext Transfer Protocol).
  • HTTP Hypertext Transfer Protocol
  • web applications that are used via a web browser are known.
  • an environment called rich client has been provided.
  • a web browser on the portable electronic device 20 side is used, and the web browser is sufficiently controlled from the in-vehicle display device 30 side. You need to be able to do it.
  • the web browser cannot be remotely operated from devices other than the portable electronic device 20 due to security or functional restrictions. Things exist.
  • the web browser of the portable electronic device 20 is operated by programming internally while mirroring the screen of the portable electronic device 20 on the display unit of the in-vehicle display device 30. Then, the operation on the in-vehicle display device 30 can be applied in a pseudo manner as the operation of the web browser of the portable electronic device 20. Therefore, the portable electronic device 20 and the vehicle-mounted display device 30 are configured as described below.
  • FIG. 2 is a block diagram illustrating a schematic configuration of the portable electronic device.
  • the portable electronic device 20 includes a display unit 100, an operation unit 110, a processing unit 120, a server communication unit 130, an in-vehicle display device communication unit 140, and a storage unit 150.
  • the display unit 100 includes a display device that displays graphics and text messages, and can be configured using, for example, a liquid crystal display (LCD) or an organic EL (electroluminescence) display.
  • the operation unit 110 is an input device for the user to input information and instructions to the portable electronic device 20.
  • the operation unit 110 can be a touch panel provided on the display screen of the display unit 100.
  • the operation unit 110 will be described as a touch panel mounted on the entire surface of the display screen of the display unit 100.
  • the server communication unit 130 communicates with the server 10 placed outside the vehicle via, for example, a wireless network.
  • the in-vehicle display device communication unit 140 communicates information with the in-vehicle display device 30 through wired communication such as USB and wireless communication such as Bluetooth.
  • the processing unit 120 is a computer having a processor such as a CPU (Central Processing Unit), a ROM (Read Only Memory) in which a program is written, and a RAM (Random Access Memory) for temporary storage of data.
  • An interface unit 160 is provided.
  • the cooperation interface unit 160 is realized by the processing unit 120 being a computer executing a program, and the computer program can be stored in any computer-readable storage medium.
  • the linkage interface unit 160 is realized by executing a program, and can be configured as dedicated hardware including one or more electrical components.
  • the storage unit 150 can be an arbitrary nonvolatile storage device including a semiconductor memory, or a combination of a nonvolatile storage device and a volatile storage device.
  • the storage unit 150 also stores various application programs and work data that the processing unit 120 generates or refers to during its operation.
  • FIG. 3 is a block diagram illustrating a conceptual configuration of a cooperation program for portable electronic devices.
  • the cooperation program 200 includes a main program 210, an in-vehicle cooperation module 220, a mobile electronic device web browser 230, and a web content 240.
  • the main program 210 is located at the lowest layer of the cooperation program 200.
  • the main program 210 is a program serving as a base for operating the in-vehicle cooperation module 220 and the mobile electronic device web browser 230.
  • the in-vehicle cooperation module 220 is located in a hierarchy above the main program 210.
  • the in-vehicle cooperation module 220 executes cooperation processing with the in-vehicle display device 30.
  • the in-vehicle cooperation module 220 processes and processes an operation signal and a display signal that communicate with the in-vehicle display device 30.
  • the in-vehicle cooperation module 220 executes transmission processing and reception processing with the in-vehicle display device 30.
  • the mobile electronic device web browser 230 is located in a hierarchy above the main program 210.
  • the portable electronic device web browser 230 can be used by calling a web browser function from the OS of the portable electronic device 20.
  • the mobile electronic device web browser 230 communicates with the server 10 to execute web content reception processing and request transmission.
  • the web content 240 is located in a hierarchy above the mobile electronic device web browser 230.
  • the web content 240 is content in a format such as HTML or JPEG (Joint Photographic Experts Group).
  • the main program 210, the in-vehicle cooperation module 220, and the mobile electronic device web browser 230 constitute a mobile electronic device application 250.
  • the portable electronic device application 250 functions as a web browser that can be displayed and operated on the in-vehicle display device 30.
  • the cooperation program 200 can be distributed from the server 10.
  • an in-vehicle cooperation module is stored for each in-vehicle display device mounted in each vehicle type.
  • the web application is added, modified, or expanded on the server 10 by the manufacturer of the in-vehicle display device. As a result, the web application can be upgraded quickly and distributed to the mobile electronic device 20 to easily follow the evolution of the mobile electronic device 20.
  • the user can also access the server 10 and customize the display screen to his / her preference.
  • FIG. 4 is a block diagram illustrating a schematic configuration of the in-vehicle display device.
  • the in-vehicle display device 30 includes a display unit 300, an operation unit 310, a processing unit 320, a portable electronic device communication unit 330, and a storage unit 350.
  • the display unit 300 includes a display device that displays graphics and text messages, and can be configured using, for example, a liquid crystal display device or an organic EL display.
  • the operation unit 310 is an input device for the user to input information and instructions to the in-vehicle display device 30.
  • the operation unit 310 can be a touch panel provided on the display screen of the display unit 300.
  • the operation unit 310 will be described mainly using a touch panel mounted on the entire display screen of the display unit 300.
  • FIG. 5 is a diagram illustrating coordinates of the touch panel.
  • xP is detected as x-coordinate
  • yP is detected as y-coordinate
  • a position of coordinates (xP, yP) is detected.
  • This coordinate may be an absolute position of the touch panel 400 or a relative position.
  • the portable electronic device communication unit 330 communicates information with the portable electronic device 20 by wired communication such as USB or wireless communication such as Bluetooth.
  • the processing unit 320 is a computer having a processor such as a CPU, a ROM in which a program is written, and a memory such as a RAM for temporary storage of data, and includes a cooperation interface unit 360.
  • the cooperation interface unit 360 is realized by the processing unit 320 being a computer executing a program, and the computer program can be stored in any computer-readable storage medium.
  • the cooperation interface unit 360 is an interface unit for cooperation with the mobile electronic device 20.
  • the cooperation interface unit 360 is realized by executing a program, and can also be configured as dedicated hardware including one or more electric components.
  • the storage unit 350 can be an arbitrary nonvolatile storage device including a semiconductor memory or a hard disk device (HDD, Hard Disc Drive) or a combination of a nonvolatile storage device and a volatile storage device.
  • a semiconductor memory or a hard disk device (HDD, Hard Disc Drive) or a combination of a nonvolatile storage device and a volatile storage device.
  • HDD Hard Disc Drive
  • the cooperation interface unit 160 of the mobile electronic device 20 performs processing of information input by the in-vehicle display device 30 and transmission processing of information displayed by the in-vehicle display device 30.
  • the cooperation interface unit 160 transmits a screen to be displayed on the display screen of the mobile electronic device 20 to the in-vehicle display device 30.
  • the display unit 300 of the in-vehicle display device 30 is different from the display unit 100 of the portable electronic device 20 but displays the same content.
  • the cooperation interface unit 360 of the in-vehicle display device 30 displays the web browser screen sent from the mobile electronic device 20 on the display unit 300. As described above, the display on the display unit 300 of the in-vehicle display device 30 is displayed in conjunction with the display on the display unit 100 of the portable electronic device 20.
  • the linkage interface unit 160 converts information input from the operation unit 310 of the in-vehicle display device 30 into information input from the operation unit 110 of the portable electronic device 20. .
  • Some applications only accept operations from the operation unit 110 of the mobile electronic device 20. Therefore, by converting the information input from the operation unit 310 of the in-vehicle display device 30, a GUI (graphical User Interface) of the portable electronic device 20 is partially imitated, as if the GUI of the portable electronic device 20 is simulated. Make sure you are operating.
  • GUI graphical User Interface
  • Such a GUI is referred to as a pseudo GUI.
  • the pseudo GUI is an interface that emulates the GUI inherent in the mobile electronic device 20 in a pseudo manner.
  • the operation unit 310 of the in-vehicle display device 30 is used as the operation unit 110 of the portable electronic device 20.
  • the processing is different from the case where the web application is directly operated using the GUI of the portable electronic device 20, and thus information conversion is required. Further, if the operation using the GUI of the portable electronic device 20 is a direct operation, the operation from the in-vehicle display device 30 can be referred to as an indirect operation.
  • the cooperation interface unit 160 uses information input from the operation unit 310 of the in-vehicle display device 30 and converts the information using a program language, thereby enabling indirect operation from the in-vehicle display device 30. Thereby, the information input by the in-vehicle display device 30 becomes the information input by the operation unit 110 of the portable electronic device 20.
  • the operation unit 310 of the in-vehicle display device 30 when a touch operation (a state where the user touches the touch panel) is performed on the operation unit 310 of the in-vehicle display device 30, the current x coordinate position and y coordinate position of the touch operation in the cooperation interface unit 360 of the in-vehicle display device 30.
  • the immediately preceding x coordinate position, y coordinate position, and time stamp are acquired and transmitted to the portable electronic device 20.
  • the cooperation interface unit 160 uses each coordinate position information as a parameter, converts it into touch operation information that can be transmitted to, for example, JavaScript (registered trademark), and reflects such a pseudo GUI as an indirect operation in the web application.
  • the operation unit 310 of the in-vehicle display device 30 has input means other than the touch panel such as a dedicated switch or a mouse, an internal operation that is not displayed on the display unit 300 may be performed. Even in this case, the operation of the operation unit 310 by the user is converted to enable indirect operation in the program language.
  • an absolute operation input to the operation unit 310 of the in-vehicle display device 30 is absolutely necessary.
  • the target / relative position can be used as a position input for operation input of the portable electronic device 20.
  • Many GUIs operate on the basis of location, so many web applications are available.
  • the cooperation interface unit 160 enables direct operation via the GUI by the operation unit 110 of the portable electronic device 20.
  • the display unit 300 is controlled so as to be the screen display mode when the direct operation is performed.
  • the user's selection may be highlighted, the input password may be masked, or the display mode may change in some way.
  • the input result may be shown immediately without performing such processing, and it is difficult for the user to understand the operation.
  • the display unit 300 is controlled to be the same as the screen display mode when the direct operation is performed. Can be suppressed. Whether or not the screen display mode by direct operation and indirect operation is different is determined by the portable electronic device 20 inquiring of the in-vehicle display device 20. Further, this determination may be made based on information stored in advance for each in-vehicle display device 20 in the portable electronic device 20.
  • the in-vehicle display device 30 has a GUI that can perform the same function as the portable electronic device 20, when the GUI is used in the in-vehicle display device 30, the operability becomes higher, drawing, The response of the operation response is improved. Therefore, in an indirect operation, when there is an in-vehicle GUI having a function equivalent to the GUI of the web browser, a pseudo GUI is configured using the in-vehicle GUI, and the output of the in-vehicle GUI is used as a parameter. Moreover, the GUI of the vehicle-mounted display device 30 and the portable electronic device 20 can be compared to provide an optimal GUI. For example, a software keyboard on the vehicle side at the time of character input and a list call for date and time selection correspond to these functions. The in-vehicle display device 30 can provide an easy-to-use safe HMI (Human Machine Interface) designed by the manufacturer of the in-vehicle display device 30.
  • HMI Human Machine Interface
  • Whether the in-vehicle GUI having the same function as the GUI of the web browser used in the mobile electronic device 20 exists is determined by the mobile electronic device 20 inquiring of the in-vehicle display device 20. Further, this determination may be made based on information stored in advance for each in-vehicle display device 20 in the portable electronic device 20.
  • the portable electronic device 20 operates on the portable electronic device browser using an application unified with the web application. Therefore, it is possible to quickly respond to new contents without changing the software of the in-vehicle display device 30.
  • FIG. 6 is a flowchart showing an operation procedure of the portable electronic device cooperation system according to the embodiment of the present invention.
  • FIG. 7 is a diagram showing a web application screen displayed on the in-vehicle display device.
  • step S100 which is an initial state
  • a launcher menu 500 is displayed on the display unit 300 of the in-vehicle display device 30 using software embedded in the in-vehicle display device 20.
  • the launcher menu 500 is a list of files and programs registered in advance with icons. Various icons are displayed on the launcher menu 500.
  • the process proceeds to step S110.
  • step S110 it is determined whether or not the in-vehicle display device 30 has an in-vehicle GUI having the same function as the GUI of the web browser. If it does not exist, the process proceeds to step S120. If it exists, the process proceeds to step S130. In step S120, the cooperation interface 360 is set so as to construct a pseudo GUI. The process proceeds to step S140. In step S130, the cooperation interface 360 is set so as to construct a pseudo GUI using the in-vehicle GUI. The process proceeds to step S140.
  • step S140 the application corresponding to the icon 510 is identified from the position of the touched operation unit 310 and activated.
  • the display unit 300 displays a web browser screen 520 of the application sent from the portable electronic device 20.
  • icons 521, 522, 523, 524, 525, and 526 are displayed. That is, the web browser GUI is displayed on the display unit 300.
  • the operation from the operation unit 310 becomes a pseudo GUI input, and the display and the operation are combined. It becomes a pseudo GUI.
  • the position information of the icon 521 is output to the portable electronic device 20 using the parameter as a parameter. The process proceeds to step S150.
  • step S150 it is determined whether the screen display mode by the direct operation and the indirect operation is different. If the screen display mode is different, the process proceeds to step S160. Otherwise, the process proceeds to step S170.
  • step S160 the display unit 300 is controlled so as to be in a screen display mode when directly operated. Then exit.
  • step S170 the image display is displayed without being changed. Then exit.
  • step S140 for example, when the icon 521 is clicked, a web application content screen 530 relating to the location is displayed in steps 160 and 170. Similarly, when the user clicks on the icon 522, a web application content screen 540 related to navigation is displayed, and when the user clicks the icon 523, a web application content screen 550 related to a message is displayed. In the upper part of the screens 530, 540, and 550, an icon 560 indicating the web application of the original screen 520 is displayed in the upper part so that the hierarchical relationship can be understood.
  • functions such as checking a weather forecast, searching for a gourmet, and viewing a map with a web browser of a personal computer are as if the functions of the in-vehicle display device 30 are via the browser of the portable electronic device 20. It can be realized like a function.
  • the cooperation program 200 may be in the in-vehicle display device 30.
  • the cooperation interface unit 360 of the in-vehicle display device 30 performs direct operation and indirect operation processing, and transmits the remote control program directly from the in-vehicle display device 30 to the web browser of the portable electronic device 20.
  • the cooperation program 200 can be distributed from the server 10 to the in-vehicle display device 30 via the portable electronic device 20.
  • an in-vehicle display device having a cooperation interface that connects the display unit and the operation unit to the portable electronic device, direct operation via GUI, and indirect operation using a program language.
  • a portable electronic device provided with a possible web browser and a cooperation program, and a web application server that provides a web application using the web browser.
  • the web browser GUI is displayed on the display unit via the cooperation interface, and a pseudo GUI is constructed on the operation unit based on the contents of the display, and the operation of the pseudo GUI is operated.
  • the web browser is indirectly operated by a program language by being output from the unit to the portable electronic device.
  • the web browser since the GUI changes depending on the distribution contents because it is a server-type web application, since the web browser can be operated only with a program language for indirect operation prepared in advance, the man-hour for application development is reduced.
  • prepared in advance means that the web browser can be operated by programming.
  • a general web browser can execute a script language or the like, which is a program language for indirect operation, and is designed to be operable.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • User Interface Of Digital Computer (AREA)
  • Information Transfer Between Computers (AREA)
  • Navigation (AREA)

Abstract

 サーバからの情報を、携帯機器のウエブ・ブラウザを介して利用するウエブ・アプリケーションを、車載装置で利用する場合に好適な携帯電子機器連携システムが望まれている。 携帯電子機器連携システムは、携帯電子機器と接続する連携インターフェースを備えた車載表示装置と、直接操作とプログラム言語による間接操作とが可能な連携用プログラムを備えた携帯電子機器と、サーバと、を備える。 携帯電子機器連携システムは、連携インターフェースを介して、表示部にはウエブ・ブラウザのGUIが表示され、表示の内容に基づいて操作部上に疑似的GUIが構築され、疑似的GUIの操作が操作部から携帯電子機器へ出力されることによって、プログラム言語によるウエブ・ブラウザの間接操作を実行する。

Description

携帯電子機器連携システム、車載表示装置、および連携用プログラム
 本発明は、携帯電子機器連携システム、車載表示装置、および連携用プログラムに関し、特に、車両で利用される携帯電子機器連携システム、車載表示装置、および連携用プログラムに関する。
 車両内では、携帯機器を車載装置と連携して使用することが行われている。
 従来、携帯機器と車載装置とを連携し、携帯機器を用いて車載装置を遠隔操作するナビゲーション装置が知られている(特許文献1参照)。
 一方、携帯機器の機能が向上したことで、携帯機器が車外のサーバと通信して携帯機器の画面に表示することが実施されている。また、携帯機器の画面のサイズは小さいので、携帯機器の画面より大きな画面を有する車載装置に表示することも考えられている。
 しかし、携帯機器のアプリケーションが多様化し、アプリケーションによっては、車載装置別に応じて作成し、頒布する必要が出てきた。
国際公開第2012/157014号
 車外のサーバからの情報を、携帯機器のウエブ・ブラウザを介して利用するウエブ・アプリケーションを、車載装置で利用する場合に好適な携帯電子機器連携システムが望まれている。
 本発明の携帯電子機器連携システムは、表示部と操作部を、携帯電子機器と接続する連携インターフェースを備えた車載表示装置と、GUIを介した直接操作とプログラム言語による間接操作とが可能なウエブ・ブラウザ、及び連携用プログラムを備えた携帯電子機器と、ウエブ・ブラウザを利用するウエブ・アプリケーションを提供するウエブ・アプリサーバと、を備える。
 携帯電子機器連携システムは、連携インターフェースを介して、表示部にはウエブ・ブラウザのGUIが表示され、表示の内容に基づいて操作部上に疑似的GUIが構築され、疑似的GUIの操作が操作部から携帯電子機器へ出力されることによって、プログラム言語によるウエブ・ブラウザの間接操作を実行する。
 本発明の一の態様によると、携帯電子機器連携システムは、間接操作において、疑似的GUIの操作部への操作の位置情報を、パラメータとして用いる。
 本発明の他の態様によると、携帯電子機器連携システムは、直接操作と間接操作による画面表示態様が異なる場合、直接操作した場合の画面表示態様となるように表示部を制御する。
 本発明の他の態様によると、携帯電子機器連携システムは、間接操作において、ウエブ・ブラウザのGUIと同等機能を有する車載GUIが存在する場合、車載GUIを用いて疑似的GUIを構成し、車載GUIの出力を、パラメータとして用いる。
 本発明の車載表示装置は、表示部と、操作部と、GUIを介した直接操作とプログラム言語による間接操作とが可能なウエブ・ブラウザ、及び連携用プログラムを備えた携帯電子機器との接続をする連携インターフェースと、を備える。
 その連携インターフェースは、表示部にはウエブ・ブラウザのGUIを表示し、表示の内容に基づいて操作部上に疑似的GUIを構築し、疑似的GUIの操作が操作部から携帯電子機器へ出力することによって、プログラム言語によるウエブ・ブラウザの間接操作を実行する。
 本発明の連携用プログラムは、車載表示装置と携帯電子機器とを接続し、GUIを介した直接操作とプログラム言語による間接操作とが可能な連携インターフェースに使用される。
 連携用プログラムは、連携インターフェースを介して、表示部にはウエブ・ブラウザのGUIが表示するステップと、表示の内容に基づいて操作部上に疑似的GUIを構築するステップと、疑似的GUIの操作に基づいて、プログラム言語によるウエブ・ブラウザの間接操作を実行するステップと、を備える。
本発明の実施形態に係る携帯電子機器連携システムの全体構成を示すブロック図である。 携帯電子機器の概略構成を示すブロック図である。 携帯電子機器の連携プログラムの概念構成を示すブロック図である。 車載表示装置の概略構成を示すブロック図である。 タッチパネルの座標を示す図である。 本発明の実施形態に係る携帯電子機器連携システムの動作手順を示すフローチャートである。 車載表示装置で表示されるウエブ・アプリケーション画面を示す図である。
 以下、図面を参照して、本発明の実施の形態を説明する。
 図1は、本発明の実施形態に係る携帯電子機器連携システムの全体構成を示すブロック図である。
 携帯電子機器連携システム1は、サーバ10と、携帯電子機器20と、車載表示装置30と、を備える。
 サーバ10は、ウェブ・サービスを提供可能なウェブ・サーバとして機能する。ウェブ・サービスは、例えばソーシャル・ネットワーキング・サービス(SNS;social networking service)や、地図サービスである。またサーバ10は、車内で使用される各種アプリケーションやプログラムの配信も行う。
 サーバ10は、単独であっても、複数であってもよい。複数の場合、サーバ10間の通信は、有線または無線で行われる。
 携帯電子機器20は、持ち運び可能な電子機器であり、車外から車内に持ち込んで使用される。携帯電子機器20は、たとえば、スマートフォンと呼ばれる多機能携帯電話を用いることができる。
 車載表示装置30は、車両内に備えられている。車載表示装置30は、表示部だけでなく、タッチパネルなど、ユーザからの入力手段である操作部も有する。
 サーバ10と携帯電子機器20とは、無線を使用した各種通信で情報の伝達を行う。
 携帯電子機器20と車載表示装置30とは、USB(Universal Serial Bus)などの有線通信、ブルートゥース(Bluetooth(登録商標))などの無線通信で情報の伝達を行う。携帯電子機器20から車載表示装置30へは、表示信号などの情報を伝送する。車載表示装置30から携帯電子機器20へは、操作信号などの情報を伝送する。
 サーバ10と携帯電子機器20との、HTML((HyperText Markup Language)などで記述されたコンテンツの送受信は、たとえばHTTP(Hypertext Transfer Protocol)という通信プロトコルを用いて行われる。
 一般に、ウエブ・ブラウザを介して利用するウエブ・アプリケーションが知られている。また、ウエブ・アプリケーション開発動作環境の充実にともない、リッチクライアント(rich client)と呼ばれる環境が提供されている。さらに車載表示装置30と連携させて、ウエブ・ベースのリッチクライアントを実現する場合、携帯電子機器20側のウエブ・ブラウザを利用することとなり、そのウエブ・ブラウザを車載表示装置30側から十分にコントロールできることが必要となる。
 しかしながら、携帯電子機器20のオペレーティング・システム(OS)やハードウエアによっては、セキュリティや機能上の制約から、ウエブ・ブラウザを携帯電子機器20以外の装置から遠隔操作することができない又は制限されているものが存在する。
 そこで本実施形態では、そのような制約のある環境の場合、携帯電子機器20の画面を車載表示装置30の表示部にミラーリングしつつ、携帯電子機器20のウエブ・ブラウザを内部的にプログラミングによって操作し、疑似的に車載表示装置30での操作を携帯電子機器20のウエブ・ブラウザの操作として適用できるようにする。
 そのために、携帯電子機器20と車載表示装置30とは、以下に説明するように構成する。
 まず、携帯電子機器20を説明する。
 図2は、携帯電子機器の概略構成を示すブロック図である。
 携帯電子機器20は、表示部100と、操作部110と、処理ユニット120と、サーバ通信部130と、車載表示装置通信部140と、記憶ユニット150と、を備える。
 表示部100は、グラフィックスやテキストメッセージを表示する表示装置を含み、例えば液晶表示装置(LCD、Liquid Crystal Display)や有機EL(electroluminescence)ディスプレイを用いて構成することができる。
 操作部110は、ユーザが携帯電子機器20に対して情報や指示を入力するための入力デバイスである。操作部110は、表示部100の表示画面上に設けられたタッチパネルとすることができる。以下、操作部110は、表示部100の表示画面上の全面に装着されたタッチパネルとして説明する。
 サーバ通信部130は、車外に置かれたサーバ10と、例えば無線ネットワークを介した通信を行う。
 車載表示装置通信部140は、車載表示装置30と、USBなどの有線通信、ブルートゥースなどの無線通信で情報の通信を行う。
 処理ユニット120は、CPU(Central Processing Unit)等のプロセッサ、プログラムが書き込まれたROM(Read Only Memory)、データの一時記憶のためのRAM(Random Access Memory)等のメモリを有するコンピュータであり、連携インターフェース部160を備える。連携インターフェース部160は、コンピュータである処理ユニット120がプログラムを実行することにより実現され、当該コンピュータ・プログラムは、コンピュータ読み取り可能な任意の記憶媒体に記憶させておくことができる。
 なお、連携インターフェース部160は、プログラムの実行により実現されるほか、それぞれ一つ以上の電気部品を含む専用のハードウエアとして構成することもできる。
 記憶ユニット150は、半導体メモリを含む、任意の不揮発性の記憶装置又は不揮発性の記憶装置と揮発性の記憶装置との組み合わせとすることができる。記憶ユニット150は、各種アプリケーション・プログラムや、処理ユニット120がその動作に伴って生成又は参照する作業データも記憶する。
 次に、連携インターフェース部160で実行される連携プログラムについて説明する。
 図3は、携帯電子機器の連携プログラムの概念構成を示すブロック図である。
 連携プログラム200は、メインプログラム210と、車載連携モジュール220と、携帯電子機器ウエブ・ブラウザ230と、ウエブ・コンテンツ240とを備える。
 メインプログラム210は、連携プログラム200の最下層に位置する。メインプログラム210は、車載連携モジュール220と、携帯電子機器ウエブ・ブラウザ230とを動作させるためのベースとなるプログラムである。
 車載連携モジュール220は、メインプログラム210の上の階層に位置する。車載連携モジュール220は、車載表示装置30との連携処理を実行する。車載連携モジュール220は、車載表示装置30と通信する操作信号、表示信号を加工し、処理する。また車載連携モジュール220は、車載表示装置30との送信処理、受信処理を実行する。
 携帯電子機器ウエブ・ブラウザ230は、メインプログラム210の上の階層に位置する。携帯電子機器ウエブ・ブラウザ230は、携帯電子機器20のOSからウエブ・ブラウザ機能を呼び出して利用できる。また携帯電子機器ウエブ・ブラウザ230は、サーバ10と通信し、ウエブ・コンテンツの受信処理やリクエスト送信を実行する。
 ウエブ・コンテンツ240は、携帯電子機器ウエブ・ブラウザ230の上の階層に位置する。ウエブ・コンテンツ240は、たとえばHTML、JPEG(Joint Photographic Experts Group)などの形式によるコンテンツである。
 メインプログラム210と、車載連携モジュール220と、携帯電子機器ウエブ・ブラウザ230とは、携帯電子機器アプリケーション250を構成する。携帯電子機器アプリケーション250は、車載表示装置30で表示と操作が可能なウエブ・ブラウザとして機能する。
 連携プログラム200は、サーバ10から配布することができる。
 サーバ10においては、各車種で装着された車載表示装置のそれぞれに対して車載連携モジュールを格納している。ウエブ・アプリケーションは、車載表示装置の製造者により、サーバ10上で追加、修正、拡張がされる。これにより、ウエブ・アプリケーションは、バージョンアップが早くできるようになり、携帯電子機器20へ配布することにより、携帯電子機器20の進化への追従が容易にできる。
 また、ユーザは、サーバ10にアクセスして、表示画面を自分の好みにカスタマイズすることもできる。
 次に車載表示装置30を説明する。
 図4は、車載表示装置の概略構成を示すブロック図である。
 車載表示装置30は、表示部300と、操作部310と、処理ユニット320と、携帯電子機器通信部330と、記憶ユニット350と、を備える。
 表示部300は、グラフィックスやテキストメッセージを表示する表示装置を含み、例えば液晶表示装置や有機ELディスプレイを用いて構成することができる。
 操作部310は、ユーザが車載表示装置30に対して情報や指示を入力するための入力デバイスである。操作部310は、表示部300の表示画面上に設けられたタッチパネルとすることができる。以下、操作部310は、表示部300の表示画面上の全面に装着されたタッチパネルを主として説明する。
 タッチパネルでは、縦横で示される座標により、ユーザに触れられた位置が検出される。
 図5は、タッチパネルの座標を示す図である。
 ユーザが、タッチパネル400で、図5のP点に触れると、x座標としてxP、y座標としてyPが検出され、座標(xP,yP)という位置が検出される。この座標は、タッチパネル400の絶対的な位置であってもよく、相対的な位置であってもよい。
 携帯電子機器通信部330は、携帯電子機器20と、USBなどの有線通信、ブルートゥースなどの無線通信で情報の通信を行う。
 処理ユニット320は、CPU等のプロセッサ、プログラムが書き込まれたROM、データの一時記憶のためのRAM等のメモリを有するコンピュータであり、連携インターフェース部360を備える。連携インターフェース部360は、コンピュータである処理ユニット320がプログラムを実行することにより実現され、当該コンピュータ・プログラムは、コンピュータ読み取り可能な任意の記憶媒体に記憶させておくことができる。
 連携インターフェース部360は、携帯電子機器20と連携するためのインターフェース部である。
 連携インターフェース部360は、プログラムの実行により実現されるほか、それぞれ一つ以上の電気部品を含む専用のハードウエアとして構成することもできる。
 記憶ユニット350は、半導体メモリやハードディスク装置(HDD、Hard Disc Drive)を含む、任意の不揮発性の記憶装置又は不揮発性の記憶装置と揮発性の記憶装置との組み合わせとすることができる。
 次に、携帯電子機器20と車載表示装置30との連携に関して説明する。
 携帯電子機器20の連携インターフェース部160は、車載表示装置30で入力される情報の処理と、車載表示装置30で表示する情報の送信処理と、を行う。
 車載表示装置30で表示する情報の送信処理として、連携インターフェース部160は、携帯電子機器20の表示画面に表示する画面を、車載表示装置30へ送信する。
 車載表示装置30の表示部300は、携帯電子機器20の表示部100と異なるが、同じ内容を表示させるようにする。
 車載表示装置30の連携インターフェース部360は、携帯電子機器20から送られたウエブ・ブラウザの画面を表示部300に表示する。
 このように、車載表示装置30の表示部300への表示に関しては、携帯電子機器20の表示部100への表示と連動させて表示をさせる。
 車載表示装置30で入力される情報の処理として、連携インターフェース部160は、車載表示装置30の操作部310から入力された情報を、携帯電子機器20の操作部110で入力された情報に変換する。
 アプリケーションによっては、携帯電子機器20の操作部110からの操作しか受け付けないものがある。そのため、車載表示装置30の操作部310から入力された情報を変換することにより、携帯電子機器20が有するGUI(graphical User Interface)を部分的に模して、あたかも携帯電子機器20のGUIを疑似的に操作しているようにする。
 このようなGUIを疑似的GUIと呼ぶものとする。疑似的GUIとは、携帯電子機器20が本来有するGUIを疑似的にエミュレートしたインターフェースとなる。
 本実施形態では、車載表示装置30の操作部310を、携帯電子機器20の操作部110として利用するものである。
 疑似的GUIを用いてウエブ・アプリケーションを操作する場合は、直接的に携帯電子機器20のGUIを用いて操作する場合とは処理が異なるので、情報の変換が必要となる。
 また、携帯電子機器20のGUIを用いて操作する場合を直接操作とすると、車載表示装置30からの操作を間接操作ということができる。
 連携インターフェース部160は、車載表示装置30の操作部310から入力された情報を用いて、プログラム言語により変換し、車載表示装置30からの間接操作を可能とする。
 これにより、車載表示装置30で入力された情報が、あたかも携帯電子機器20の操作部110で入力された情報となる。
 たとえば、車載表示装置30の操作部310でタッチ操作(タッチパネルにユーザが触れている状態)がされると、車載表示装置30の連携インターフェース部360でタッチ操作の現在のx座標位置、y座標位置、直前のx座標位置、y座標位置、タイムスタンプが取得され、それらが携帯電子機器20へ送信される。
 連携インターフェース部160は、各座標位置情報をパラメータとして用い、たとえばJavaScript(登録商標)へ伝達できるタッチ操作情報に変換し、このような疑似GUIを間接操作としてウエブ・アプリケーションに反映する。
 また、車載表示装置30の操作部310が専用スイッチやマウスなど、タッチパネル以外の入力手段を有する場合、表示部300に表示されない内部操作をすることがある。この場合でもユーザによる操作部310の操作を変換し、プログラム言語による間接操作を可能にする。
 このような疑似的GUIを用いた間接操作により、アプリケーションによっては携帯電子機器20の操作部110からの操作しか受け付けない場合であっても、車載表示装置30の操作部310への操作入力の絶対的・相対的な位置を、携帯電子機器20の操作入力の位置入力として用いることができる。多くのGUIが、位置に基づいて操作しているため、多くのウエブ・アプリケーションを利用できるようになる。
 一方、連携インターフェース部160は、携帯電子機器20の操作部110により、GUIを介した直接操作を可能とする。
 ここで、直接操作と間接操作による画面表示態様が異なる場合、直接操作した場合の画面表示態様となるように表示部300を制御する。
 直接操作した場合は、ユーザの選択箇所がハイライトしたり、入力したパスワードがマスクされたり、何らかの意味をもって表示態様が変化する場合がある。一方で間接操作の場合、そのような処理が行われずに直ちに入力結果が示されることもあり、ユーザはその操作が分かりにくい。
 そこで、直接操作と間接操作の画面表示態様が異なる場合、直接操作した場合の画面表示態様と同じになるように表示部300を制御することで、車載表示装置30からの遠隔操作時の違和感を抑制することができる。
 直接操作と間接操作による画面表示態様が異なるか否かの判定は、携帯電子機器20が車載表示装置20に問い合わせて判定する。またこの判定は、携帯電子機器20の内部に予め車載表示装置20毎に格納している情報に基づいて判定してもよい。
 また、車載表示装置30に携帯電子機器20と同等の機能を発揮しうるGUIが存在する場合、そのGUIを利用した方が車載表示装置30で利用する際に操作性が高くなったり、描画や操作応答の反応が良くなる。
 そこで、間接操作において、ウエブ・ブラウザのGUIと同等機能を有する車載GUIが存在する場合、車載GUIを用いて疑似的GUIを構成し、車載GUIの出力を、パラメータとして用いる。また、車載表示装置30と携帯電子機器20のGUIを比較し、最適なGUIを提供することができる。例えば、文字入力時の車載側のソフトウエア・キーボードや、日時選択のリスト呼び出しがそれらの機能に相当する。
 車載表示装置30では、車載表示装置30の製造者が設計した、使いやすい安全なHMI(Human Machine Interface)を提供することができる。
 携帯電子機器20で使用されるウエブ・ブラウザのGUIと同等機能を有する車載GUIが存在するかどうかは、携帯電子機器20が車載表示装置20に問い合わせて判定する。またこの判定は、携帯電子機器20の内部に予め車載表示装置20毎に格納している情報に基づいて判定してもよい。
 携帯電子機器20では、ウエブ・アプリケーションで統一されたアプリケーションを用いて携帯電子機器ブラウザ上で動作する。そのため、車載表示装置30のソフトウエアの変更なしで、新しいコンテンツにいち早く対応することができる。
 次に、携帯電子機器連携システムの動作手順について図6と図7を参照して説明する。
 図6は、本発明の実施形態に係る携帯電子機器連携システムの動作手順を示すフローチャートである。
 図7は、車載表示装置で表示されるウエブ・アプリケーション画面を示す図である。
 まず初期状態であるステップS100で、車載表示装置30の表示部300に車載表示装置20の組み込みソフトウエアによるランチャー(Launcher)メニュー500が表示される。
 ランチャーメニュー500とは、あらかじめ登録しておいたファイルやプログラムをアイコンで一覧表示したものである。ランチャーメニュー500には種々のアイコンが表示されている。
 ユーザが1つのアイコン510を操作部310で触れられると、ステップS110へ移る。
 ステップS110で、ウエブ・ブラウザのGUIと同等機能を有する車載GUIが車載表示装置30に存在するかどうかを判定する。存在しなければ、ステップS120へ移行する。存在すればステップS130へ移行する。
 ステップS120で、疑似的GUIを構築するように連携インターフェース360を設定する。ステップS140へ移行する。
 ステップS130で、車載GUIを用いた疑似的GUIを構築するように連携インターフェース360を設定する。ステップS140へ移行する。
 ステップS140で、触れられた操作部310の位置からアイコン510に対応したアプリケーションが特定され、起動される。表示部300には、携帯電子機器20から送られた、そのアプリケーションのウエブ・ブラウザの画面520を表示する。画面520には、アイコン521、522、523、524、525、526が表示されている。すなわち、表示部300には、ウエブ・ブラウザのGUIが表示される。
 ここで、起動されたアプリケーションのウエブ・ブラウザが、携帯電子機器20の操作部110以外からの操作を受け付けないとすると、操作部310からの操作は疑似的GUIの入力となり、表示と操作を併せて疑似的GUIとなる。
 ユーザが、アイコン521をクリックすると、アイコン521の位置情報を、パラメータとして用いて、携帯電子機器20へ出力する。ステップS150へ移行する。
 ステップS150で、直接操作と間接操作による画面表示態様が異なるか否かを判定する。画面表示態様が異なる場合、ステップS160へ移行する。それ以外はステップS170へ移行する。
 ステップS160で、直接操作した場合の画面表示態様となるように表示部300を制御する。その後終了する。
 ステップS170で、画像表示を変更せずに表示する。その後終了する。
 ステップS140において、たとえば、アイコン521をクリックすると、ステップ160、170において場所に関するウエブ・アプリコンテンツの画面530が表示される。同様にユーザが、アイコン522をクリックすると、ナビゲーションに関するウエブ・アプリコンテンツの画面540が表示され、アイコン523をクリックすると、メッセージに関するウエブ・アプリコンテンツの画面550が表示される。
 画面530、540、550の上部には、元の画面520のウエブ・アプリケーションを示すアイコン560が上部に表示され、階層関係がわかるようになっている。
 このように、パーソナル・コンピュータのウエブ・ブラウザで、天気予報を調べたり、グルメ検索したり、地図を見たりするような機能が、携帯電子機器20のブラウザを介して、あたかも車載表示装置30の機能のように実現できる。
 以上、連携プログラム200は携帯電子機器20内にある例を説明したが、他の実施形態として、連携プログラム200の全部または一部が車載表示装置30内にあってもよい。
 この場合、車載表示装置30の連携インターフェース部360が直接操作と間接操作の処理をし、車載表示装置30から直接携帯電子機器20のウエブ・ブラウザへ遠隔制御プログラムを発信する。
 また、連携プログラム200は、サーバ10から携帯電子機器20を経由して、車載表示装置30へ配布されることができる。
 本実施形態の携帯電子機器連携システムによれば、表示部と操作部を、携帯電子機器と接続する連携インターフェースを備えた車載表示装置と、GUIを介した直接操作とプログラム言語による間接操作とが可能なウエブ・ブラウザ、及び連携用プログラムを備えた携帯電子機器と、ウエブ・ブラウザを利用するウエブ・アプリケーションを提供するウエブ・アプリサーバと、を備える。
 携帯電子機器連携システムは、連携インターフェースを介して、表示部にはウエブ・ブラウザのGUIが表示され、表示の内容に基づいて操作部上に疑似的GUIが構築され、疑似的GUIの操作が操作部から携帯電子機器へ出力されることによって、プログラム言語によるウエブ・ブラウザの間接操作を実行する。
 これにより、サーバ型ウエブ・アプリケーションの汎用性を生かしつつ、異質なデバイスからのウエブ・ブラウザ経由でのGUIの操作が可能となる。ウエブ・ブラウザのセキュリティ上の問題で、遠隔操作を禁止されていたり、タッチセンサの精度の違い等により、異なるデバイス間で遠隔操作が難しい場合でも、表示と操作を切り分けることで、その遠隔操作が可能となる。
 また、サーバ型ウエブ・アプリケーションなので配信内容によってGUIは都度変化するが、ウエブ・ブラウザを予め用意されている間接操作用プログラム言語のみで操作できるようにしたため、アプリケーション開発の工数も減る。
 ここで予め用意されている、というのは、そのウエブ・ブラウザをプログラミングにより操作可能となっている、という意味である。例えば、一般的なウエブ・ブラウザは、間接操作用プログラム言語であるスクリプト言語等を実行可能なようになっており、動作可能なように設計されている。
 本実施形態によると、携帯電子機器連携システムでウエブ・ベースのリッチクライアントを利用することが好適に実現できる。
 なお本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
 1・・・携帯電子機器連携システム、10・・・サーバ、20・・・携帯電子機器、30・・・車載表示装置、100、300・・・表示部、110、310・・・操作部、120、320・・・処理ユニット、130・・・サーバ通信部、140・・・車載表示装置通信部、150、350・・・記憶ユニット、160、360・・・連携インターフェース、200・・・連携プログラム、210・・・メインプログラム、220・・・車載連携モジュール、230・・・携帯電子機器ウエブ・ブラウザ、240・・・ウエブ・コンテンツ、250・・・携帯電子機器アプリケーション、330・・・携帯電子機器通信部、400・・・タッチパネル、500・・・ランチャーメニュー、510、521、522、523、524、525、526、560・・・アイコン、520、530、540、550・・・画面。

Claims (12)

  1.  表示部と操作部を、携帯電子機器と接続する連携インターフェースを備えた車載表示装置と、
     GUIを介した直接操作とプログラム言語による間接操作とが可能なウエブ・ブラウザ、及び連携用プログラムを備えた携帯電子機器と、
     前記ウエブ・ブラウザを利用するウエブ・アプリケーションを提供するウエブ・アプリサーバと、を備え、
     前記連携インターフェースを介して、
     前記表示部には前記ウエブ・ブラウザのGUIが表示され、
     前記表示の内容に基づいて前記操作部上に疑似的GUIが構築され、
     前記疑似的GUIの操作が前記操作部から前記携帯電子機器へ出力されることによって、前記プログラム言語による前記ウエブ・ブラウザの前記間接操作を実行する、
     携帯電子機器連携システム。
  2.  前記間接操作において、前記疑似的GUIの前記操作部への操作の位置情報を、パラメータとして用いる、
     請求項1に記載の携帯電子機器連携システム。
  3.  前記直接操作と前記間接操作による画面表示態様が異なる場合、前記直接操作した場合の前記画面表示態様となるように前記表示部を制御する、
     請求項1に記載の携帯電子機器連携システム。
  4.  前記間接操作において、前記ウエブ・ブラウザのGUIと同等機能を有する車載GUIが存在する場合、前記車載GUIを用いて前記疑似的GUIを構成し、前記車載GUIの出力を、パラメータとして用いる、
     請求項1に記載の携帯電子機器連携システム。
  5.  表示部と、
     操作部と、
     GUIを介した直接操作とプログラム言語による間接操作とが可能なウエブ・ブラウザ、及び連携用プログラムを備えた携帯電子機器との接続をする連携インターフェースと、を備え、
     前記連携インターフェースは、
     前記表示部には前記ウエブ・ブラウザのGUIを表示し、
     前記表示の内容に基づいて前記操作部上に疑似的GUIを構築し、
     前記疑似的GUIの操作が前記操作部から前記携帯電子機器へ出力することによって、前記プログラム言語による前記ウエブ・ブラウザの前記間接操作を実行する、
     車載表示装置。
  6.  前記間接操作において、前記疑似的GUIの前記操作部への操作の位置情報を、パラメータとして用いる、
     請求項5に記載の車載表示装置。
  7.  前記直接操作と前記間接操作による画面表示態様が異なる場合、前記直接操作した場合の前記画面表示態様となるように前記表示部を制御する、
     請求項5に記載の車載表示装置。
  8.  前記間接操作において、前記ウエブ・ブラウザのGUIと同等機能を有する車載GUIが存在する場合、前記車載GUIを用いて疑似的GUIを構成し、前記車載GUIの出力を、パラメータとして用いる、
     請求項5に記載の車載表示装置。
  9.  車載表示装置と携帯電子機器とを接続し、GUIを介した直接操作とプログラム言語による間接操作とが可能な連携インターフェースに使用される連携用プログラムであって、
     前記連携インターフェースを介して、
     表示部にウエブ・ブラウザのGUIが表示するステップと、
     前記表示の内容に基づいて操作部上に疑似的GUIを構築するステップと、
     前記疑似的GUIの操作に基づいて、前記プログラム言語による前記ウエブ・ブラウザの前記間接操作を実行するステップと、
     を備える連携用プログラム。
  10.  前記間接操作において、前記疑似的GUIの前記操作部への操作の位置情報を、パラメータとして用いるステップと、
     をさらに備える、請求項9に記載の連携用プログラム。
  11.  前記直接操作と前記間接操作による画面表示態様が異なる場合、前記直接操作した場合の前記画面表示態様となるように前記表示部を制御するステップと、
     をさらに備える、請求項9に記載の連携用プログラム。
  12.  前記間接操作において、前記ウエブ・ブラウザのGUIと同等機能を有する車載GUIが存在する場合、前記車載GUIを用いて前記疑似的GUIを構成し、前記車載GUIの出力を、パラメータとして用いるステップと、
     をさらに備える、請求項9に記載の連携用プログラム。
PCT/JP2014/005569 2013-12-03 2014-11-05 携帯電子機器連携システム、車載表示装置、および連携用プログラム WO2015083321A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US15/039,508 US20170024227A1 (en) 2013-12-03 2014-11-05 A mobile electronic device cooperative system
CN201480062018.2A CN105917320B (zh) 2013-12-03 2014-11-05 一种移动电子装置协同系统
JP2015551374A JP6240987B2 (ja) 2013-12-03 2014-11-05 携帯電子機器連携システム、車載表示装置、および連携用プログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2013249810 2013-12-03
JP2013-249810 2013-12-03

Publications (1)

Publication Number Publication Date
WO2015083321A1 true WO2015083321A1 (ja) 2015-06-11

Family

ID=53273108

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2014/005569 WO2015083321A1 (ja) 2013-12-03 2014-11-05 携帯電子機器連携システム、車載表示装置、および連携用プログラム

Country Status (4)

Country Link
US (1) US20170024227A1 (ja)
JP (1) JP6240987B2 (ja)
CN (1) CN105917320B (ja)
WO (1) WO2015083321A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI742421B (zh) * 2018-12-12 2021-10-11 富智捷股份有限公司 使用者介面整合方法和車載裝置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006277638A (ja) * 2005-03-30 2006-10-12 Alpine Electronics Inc 車載システム
JP2011514996A (ja) * 2008-03-02 2011-05-12 ヤフー! インコーポレイテッド セキュアなブラウザベースのアプリケーション
JP2013172165A (ja) * 2012-02-17 2013-09-02 Honda Access Corp 車載装置と携帯情報端末が連携するシステム
JP2013186859A (ja) * 2012-03-12 2013-09-19 Pioneer Electronic Corp 入力装置、入力装置の設定方法、入力装置用プログラム、および、記録媒体
JP2013225294A (ja) * 2012-03-19 2013-10-31 Konami Digital Entertainment Co Ltd 制御装置、制御方法、プログラムおよびシステム

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090284476A1 (en) * 2008-05-13 2009-11-19 Apple Inc. Pushing a user interface to a remote device
JP5192434B2 (ja) * 2009-04-10 2013-05-08 富士通テン株式会社 情報提供システム、車載装置、携帯端末、及び処理方法
CN102118688A (zh) * 2009-12-31 2011-07-06 上海博泰悦臻电子设备制造有限公司 汽车信息系统
US20130241720A1 (en) * 2012-03-14 2013-09-19 Christopher P. Ricci Configurable vehicle console
US8688320B2 (en) * 2011-01-11 2014-04-01 Robert Bosch Gmbh Vehicle information system with customizable user interface
JP2012222403A (ja) * 2011-04-04 2012-11-12 Denso Corp 情報表示システム、当該システムを構成する車載装置及び携帯装置
US20130335320A1 (en) * 2011-05-13 2013-12-19 Mitsubishi Electric Corporation Remote control communication device and navigation device
JP2013021632A (ja) * 2011-07-14 2013-01-31 Denso Corp 車両用通信システム、携帯通信端末、および、車両用機器
US8548532B1 (en) * 2011-09-27 2013-10-01 Sprint Communications Company L.P. Head unit to handset interface and integration
KR102032717B1 (ko) * 2011-09-29 2019-10-17 삼성전자주식회사 차량 내 통지 서비스 방법, 기계로 읽을 수 있는 저장 매체, 헤드 유닛 장치 및 모바일 장치
JP5581301B2 (ja) * 2011-11-30 2014-08-27 株式会社ホンダアクセス 車載装置と携帯情報端末が連携するシステム
KR101982243B1 (ko) * 2012-09-28 2019-05-24 삼성전자주식회사 사용자 단말 장치, 전자 장치 및 그 제어 방법
US8914012B2 (en) * 2012-10-16 2014-12-16 Excelfore Corporation System and method for monitoring apps in a vehicle to reduce driver distraction
US9857193B2 (en) * 2013-06-08 2018-01-02 Apple Inc. Mapping application with turn-by-turn navigation mode for output to vehicle display
US10251034B2 (en) * 2013-03-15 2019-04-02 Blackberry Limited Propagation of application context between a mobile device and a vehicle information system

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006277638A (ja) * 2005-03-30 2006-10-12 Alpine Electronics Inc 車載システム
JP2011514996A (ja) * 2008-03-02 2011-05-12 ヤフー! インコーポレイテッド セキュアなブラウザベースのアプリケーション
JP2013172165A (ja) * 2012-02-17 2013-09-02 Honda Access Corp 車載装置と携帯情報端末が連携するシステム
JP2013186859A (ja) * 2012-03-12 2013-09-19 Pioneer Electronic Corp 入力装置、入力装置の設定方法、入力装置用プログラム、および、記録媒体
JP2013225294A (ja) * 2012-03-19 2013-10-31 Konami Digital Entertainment Co Ltd 制御装置、制御方法、プログラムおよびシステム

Also Published As

Publication number Publication date
CN105917320B (zh) 2019-12-20
JPWO2015083321A1 (ja) 2017-03-16
CN105917320A (zh) 2016-08-31
JP6240987B2 (ja) 2017-12-06
US20170024227A1 (en) 2017-01-26

Similar Documents

Publication Publication Date Title
JP6786403B2 (ja) 通信システム、通信機器、制御方法及びプログラム
EP2564286B1 (en) Method and apparatus for providing interoperability between devices
US9626198B2 (en) User interface for a vehicle system
JP6478181B2 (ja) 携帯端末と外部表示装置の連結運用方法及びこれを支援する装置
CN103049190B (zh) 一种移动通信终端及控制设备操作的方法
CN103051693B (zh) 设备控制方法与移动通信终端
CN108028960B (zh) 电子装置及其控制方法
KR20140073243A (ko) Http 메시지 처리 방법 및 장치
US20130246509A1 (en) Information processing system, user terminal, information processing device, and non-transitory computer readable recording medium
US10789033B2 (en) System and method for providing widget
KR102004986B1 (ko) 어플리케이션 실행 방법 및 시스템, 단말과 그 기록 매체
EP2963935A1 (en) Multi screen display controlled by a plurality of remote controls
JP2011176591A (ja) 携帯端末を用いた無線通信システム
AU2011346329A1 (en) Virtual input/output device for printers
JP2011243146A (ja) 中継サーバ及びそのプログラム、webサイト閲覧システム、webサイト閲覧方法、並びにアプリケーションプログラム
JP2009276889A (ja) サーバ装置、クライアント装置、サーバベース・コンピューティング・システム、サーバ制御プログラム、クライアント制御プログラム
CN105955739A (zh) 一种图形界面的处理方法、装置和系统
CN110708527A (zh) 图像显示装置、图像显示装置的图像显示方法及存储介质
JP2007251630A (ja) リモートデスクトップ表示方法
JP2020042573A (ja) デバイス診断ウェブシステムおよびデバイス診断方法
CN109491670A (zh) 一种页面显示方法及终端设备
WO2014006758A1 (ja) 情報処理方法
JP6240987B2 (ja) 携帯電子機器連携システム、車載表示装置、および連携用プログラム
EP2681664B1 (en) Browsing method, device, and computer-readable storage medium
CN106201220B (zh) 显示内容获取方法及装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14867543

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2015551374

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 15039508

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 14867543

Country of ref document: EP

Kind code of ref document: A1