WO2015083321A1 - 携帯電子機器連携システム、車載表示装置、および連携用プログラム - Google Patents
携帯電子機器連携システム、車載表示装置、および連携用プログラム Download PDFInfo
- Publication number
- WO2015083321A1 WO2015083321A1 PCT/JP2014/005569 JP2014005569W WO2015083321A1 WO 2015083321 A1 WO2015083321 A1 WO 2015083321A1 JP 2014005569 W JP2014005569 W JP 2014005569W WO 2015083321 A1 WO2015083321 A1 WO 2015083321A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- gui
- electronic device
- portable electronic
- vehicle
- web browser
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
- G06F3/1423—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
- G06F13/38—Information transfer, e.g. on bus
- G06F13/382—Information transfer, e.g. on bus using universal interface adapter
- G06F13/385—Information transfer, e.g. on bus using universal interface adapter for adaptation of a particular data processing system to different peripheral devices
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/04847—Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/451—Execution arrangements for user interfaces
- G06F9/452—Remote windowing, e.g. X-Window System, desktop virtualisation
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2370/00—Aspects of data communication
- G09G2370/02—Networking aspects
- G09G2370/027—Arrangements and methods specific for the display of internet documents
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2380/00—Specific applications
- G09G2380/10—Automotive applications
Definitions
- the present invention relates to a portable electronic device cooperation system, an in-vehicle display device, and a cooperation program, and more particularly, to a portable electronic device cooperation system, an in-vehicle display device, and a cooperation program used in a vehicle.
- a portable device In a vehicle, a portable device is used in cooperation with an in-vehicle device. 2. Description of the Related Art Conventionally, a navigation device that links a mobile device and an in-vehicle device and remotely operates the in-vehicle device using the mobile device is known (see Patent Document 1). On the other hand, since the function of the mobile device has been improved, the mobile device communicates with a server outside the vehicle and displays it on the screen of the mobile device. In addition, since the screen size of the mobile device is small, it is also considered to display on a vehicle-mounted device having a screen larger than the screen of the mobile device. However, applications for mobile devices have diversified, and depending on the application, it has become necessary to create and distribute them for each on-vehicle device.
- the portable electronic device cooperation system of the present invention includes a vehicle-mounted display device having a cooperation interface for connecting a display unit and an operation unit to a portable electronic device, a web capable of direct operation via a GUI and indirect operation using a program language.
- a mobile electronic device provided with a browser and a program for cooperation, and a web application server that provides a web application that uses the web browser.
- the web browser GUI is displayed on the display unit via the cooperation interface, and a pseudo GUI is constructed on the operation unit based on the contents of the display, and the operation of the pseudo GUI is operated.
- the web browser is indirectly operated by a program language by being output from the unit to the portable electronic device.
- the portable electronic device cooperation system uses position information of an operation to the operation unit of the pseudo GUI as a parameter in an indirect operation.
- the portable electronic device cooperation system controls the display unit so that the screen display mode when the direct operation is performed is different when the screen display mode by the direct operation and the indirect operation is different.
- the portable electronic device cooperation system configures a pseudo GUI using an in-vehicle GUI and an in-vehicle GUI having a function equivalent to that of a web browser GUI.
- the output of the GUI is used as a parameter.
- the in-vehicle display device of the present invention is connected to a display unit, an operation unit, a web browser capable of direct operation via a GUI and indirect operation using a program language, and a portable electronic device including a cooperation program.
- a linkage interface displays a web browser GUI on the display unit, constructs a pseudo GUI on the operation unit based on the display content, and outputs the pseudo GUI operation from the operation unit to the portable electronic device.
- an indirect operation of the web browser in the programming language is executed.
- the cooperation program according to the present invention is used for a cooperation interface that connects an in-vehicle display device and a portable electronic device, and can perform direct operation via a GUI and indirect operation using a program language.
- the cooperation program includes a step of displaying a web browser GUI on the display unit via the cooperation interface, a step of constructing a pseudo GUI on the operation unit based on the content of the display, and an operation of the pseudo GUI. And performing an indirect operation of the web browser based on the program language.
- FIG. 1 is a block diagram showing an overall configuration of a portable electronic device cooperation system according to an embodiment of the present invention.
- the portable electronic device cooperation system 1 includes a server 10, a portable electronic device 20, and an in-vehicle display device 30.
- the server 10 functions as a web server that can provide web services.
- the web service is, for example, a social networking service (SNS) or a map service.
- the server 10 also distributes various applications and programs used in the vehicle.
- the server 10 may be a single server or a plurality of servers. In a plurality of cases, communication between the servers 10 is performed by wire or wireless.
- the portable electronic device 20 is a portable electronic device, and is used by being brought into the vehicle from outside the vehicle.
- the portable electronic device 20 can use, for example, a multi-function mobile phone called a smartphone.
- the in-vehicle display device 30 is provided in the vehicle.
- the in-vehicle display device 30 includes not only a display unit but also an operation unit that is an input unit from a user, such as a touch panel.
- the server 10 and the portable electronic device 20 transmit information through various communications using radio.
- the portable electronic device 20 and the in-vehicle display device 30 transmit information through wired communication such as USB (Universal Serial Bus) or wireless communication such as Bluetooth (Bluetooth (registered trademark)).
- Information such as a display signal is transmitted from the portable electronic device 20 to the in-vehicle display device 30.
- Information such as operation signals is transmitted from the in-vehicle display device 30 to the portable electronic device 20.
- Transmission / reception of content described in HTML (HyperText Markup Language) or the like between the server 10 and the portable electronic device 20 is performed using, for example, a communication protocol called HTTP (Hypertext Transfer Protocol).
- HTTP Hypertext Transfer Protocol
- web applications that are used via a web browser are known.
- an environment called rich client has been provided.
- a web browser on the portable electronic device 20 side is used, and the web browser is sufficiently controlled from the in-vehicle display device 30 side. You need to be able to do it.
- the web browser cannot be remotely operated from devices other than the portable electronic device 20 due to security or functional restrictions. Things exist.
- the web browser of the portable electronic device 20 is operated by programming internally while mirroring the screen of the portable electronic device 20 on the display unit of the in-vehicle display device 30. Then, the operation on the in-vehicle display device 30 can be applied in a pseudo manner as the operation of the web browser of the portable electronic device 20. Therefore, the portable electronic device 20 and the vehicle-mounted display device 30 are configured as described below.
- FIG. 2 is a block diagram illustrating a schematic configuration of the portable electronic device.
- the portable electronic device 20 includes a display unit 100, an operation unit 110, a processing unit 120, a server communication unit 130, an in-vehicle display device communication unit 140, and a storage unit 150.
- the display unit 100 includes a display device that displays graphics and text messages, and can be configured using, for example, a liquid crystal display (LCD) or an organic EL (electroluminescence) display.
- the operation unit 110 is an input device for the user to input information and instructions to the portable electronic device 20.
- the operation unit 110 can be a touch panel provided on the display screen of the display unit 100.
- the operation unit 110 will be described as a touch panel mounted on the entire surface of the display screen of the display unit 100.
- the server communication unit 130 communicates with the server 10 placed outside the vehicle via, for example, a wireless network.
- the in-vehicle display device communication unit 140 communicates information with the in-vehicle display device 30 through wired communication such as USB and wireless communication such as Bluetooth.
- the processing unit 120 is a computer having a processor such as a CPU (Central Processing Unit), a ROM (Read Only Memory) in which a program is written, and a RAM (Random Access Memory) for temporary storage of data.
- An interface unit 160 is provided.
- the cooperation interface unit 160 is realized by the processing unit 120 being a computer executing a program, and the computer program can be stored in any computer-readable storage medium.
- the linkage interface unit 160 is realized by executing a program, and can be configured as dedicated hardware including one or more electrical components.
- the storage unit 150 can be an arbitrary nonvolatile storage device including a semiconductor memory, or a combination of a nonvolatile storage device and a volatile storage device.
- the storage unit 150 also stores various application programs and work data that the processing unit 120 generates or refers to during its operation.
- FIG. 3 is a block diagram illustrating a conceptual configuration of a cooperation program for portable electronic devices.
- the cooperation program 200 includes a main program 210, an in-vehicle cooperation module 220, a mobile electronic device web browser 230, and a web content 240.
- the main program 210 is located at the lowest layer of the cooperation program 200.
- the main program 210 is a program serving as a base for operating the in-vehicle cooperation module 220 and the mobile electronic device web browser 230.
- the in-vehicle cooperation module 220 is located in a hierarchy above the main program 210.
- the in-vehicle cooperation module 220 executes cooperation processing with the in-vehicle display device 30.
- the in-vehicle cooperation module 220 processes and processes an operation signal and a display signal that communicate with the in-vehicle display device 30.
- the in-vehicle cooperation module 220 executes transmission processing and reception processing with the in-vehicle display device 30.
- the mobile electronic device web browser 230 is located in a hierarchy above the main program 210.
- the portable electronic device web browser 230 can be used by calling a web browser function from the OS of the portable electronic device 20.
- the mobile electronic device web browser 230 communicates with the server 10 to execute web content reception processing and request transmission.
- the web content 240 is located in a hierarchy above the mobile electronic device web browser 230.
- the web content 240 is content in a format such as HTML or JPEG (Joint Photographic Experts Group).
- the main program 210, the in-vehicle cooperation module 220, and the mobile electronic device web browser 230 constitute a mobile electronic device application 250.
- the portable electronic device application 250 functions as a web browser that can be displayed and operated on the in-vehicle display device 30.
- the cooperation program 200 can be distributed from the server 10.
- an in-vehicle cooperation module is stored for each in-vehicle display device mounted in each vehicle type.
- the web application is added, modified, or expanded on the server 10 by the manufacturer of the in-vehicle display device. As a result, the web application can be upgraded quickly and distributed to the mobile electronic device 20 to easily follow the evolution of the mobile electronic device 20.
- the user can also access the server 10 and customize the display screen to his / her preference.
- FIG. 4 is a block diagram illustrating a schematic configuration of the in-vehicle display device.
- the in-vehicle display device 30 includes a display unit 300, an operation unit 310, a processing unit 320, a portable electronic device communication unit 330, and a storage unit 350.
- the display unit 300 includes a display device that displays graphics and text messages, and can be configured using, for example, a liquid crystal display device or an organic EL display.
- the operation unit 310 is an input device for the user to input information and instructions to the in-vehicle display device 30.
- the operation unit 310 can be a touch panel provided on the display screen of the display unit 300.
- the operation unit 310 will be described mainly using a touch panel mounted on the entire display screen of the display unit 300.
- FIG. 5 is a diagram illustrating coordinates of the touch panel.
- xP is detected as x-coordinate
- yP is detected as y-coordinate
- a position of coordinates (xP, yP) is detected.
- This coordinate may be an absolute position of the touch panel 400 or a relative position.
- the portable electronic device communication unit 330 communicates information with the portable electronic device 20 by wired communication such as USB or wireless communication such as Bluetooth.
- the processing unit 320 is a computer having a processor such as a CPU, a ROM in which a program is written, and a memory such as a RAM for temporary storage of data, and includes a cooperation interface unit 360.
- the cooperation interface unit 360 is realized by the processing unit 320 being a computer executing a program, and the computer program can be stored in any computer-readable storage medium.
- the cooperation interface unit 360 is an interface unit for cooperation with the mobile electronic device 20.
- the cooperation interface unit 360 is realized by executing a program, and can also be configured as dedicated hardware including one or more electric components.
- the storage unit 350 can be an arbitrary nonvolatile storage device including a semiconductor memory or a hard disk device (HDD, Hard Disc Drive) or a combination of a nonvolatile storage device and a volatile storage device.
- a semiconductor memory or a hard disk device (HDD, Hard Disc Drive) or a combination of a nonvolatile storage device and a volatile storage device.
- HDD Hard Disc Drive
- the cooperation interface unit 160 of the mobile electronic device 20 performs processing of information input by the in-vehicle display device 30 and transmission processing of information displayed by the in-vehicle display device 30.
- the cooperation interface unit 160 transmits a screen to be displayed on the display screen of the mobile electronic device 20 to the in-vehicle display device 30.
- the display unit 300 of the in-vehicle display device 30 is different from the display unit 100 of the portable electronic device 20 but displays the same content.
- the cooperation interface unit 360 of the in-vehicle display device 30 displays the web browser screen sent from the mobile electronic device 20 on the display unit 300. As described above, the display on the display unit 300 of the in-vehicle display device 30 is displayed in conjunction with the display on the display unit 100 of the portable electronic device 20.
- the linkage interface unit 160 converts information input from the operation unit 310 of the in-vehicle display device 30 into information input from the operation unit 110 of the portable electronic device 20. .
- Some applications only accept operations from the operation unit 110 of the mobile electronic device 20. Therefore, by converting the information input from the operation unit 310 of the in-vehicle display device 30, a GUI (graphical User Interface) of the portable electronic device 20 is partially imitated, as if the GUI of the portable electronic device 20 is simulated. Make sure you are operating.
- GUI graphical User Interface
- Such a GUI is referred to as a pseudo GUI.
- the pseudo GUI is an interface that emulates the GUI inherent in the mobile electronic device 20 in a pseudo manner.
- the operation unit 310 of the in-vehicle display device 30 is used as the operation unit 110 of the portable electronic device 20.
- the processing is different from the case where the web application is directly operated using the GUI of the portable electronic device 20, and thus information conversion is required. Further, if the operation using the GUI of the portable electronic device 20 is a direct operation, the operation from the in-vehicle display device 30 can be referred to as an indirect operation.
- the cooperation interface unit 160 uses information input from the operation unit 310 of the in-vehicle display device 30 and converts the information using a program language, thereby enabling indirect operation from the in-vehicle display device 30. Thereby, the information input by the in-vehicle display device 30 becomes the information input by the operation unit 110 of the portable electronic device 20.
- the operation unit 310 of the in-vehicle display device 30 when a touch operation (a state where the user touches the touch panel) is performed on the operation unit 310 of the in-vehicle display device 30, the current x coordinate position and y coordinate position of the touch operation in the cooperation interface unit 360 of the in-vehicle display device 30.
- the immediately preceding x coordinate position, y coordinate position, and time stamp are acquired and transmitted to the portable electronic device 20.
- the cooperation interface unit 160 uses each coordinate position information as a parameter, converts it into touch operation information that can be transmitted to, for example, JavaScript (registered trademark), and reflects such a pseudo GUI as an indirect operation in the web application.
- the operation unit 310 of the in-vehicle display device 30 has input means other than the touch panel such as a dedicated switch or a mouse, an internal operation that is not displayed on the display unit 300 may be performed. Even in this case, the operation of the operation unit 310 by the user is converted to enable indirect operation in the program language.
- an absolute operation input to the operation unit 310 of the in-vehicle display device 30 is absolutely necessary.
- the target / relative position can be used as a position input for operation input of the portable electronic device 20.
- Many GUIs operate on the basis of location, so many web applications are available.
- the cooperation interface unit 160 enables direct operation via the GUI by the operation unit 110 of the portable electronic device 20.
- the display unit 300 is controlled so as to be the screen display mode when the direct operation is performed.
- the user's selection may be highlighted, the input password may be masked, or the display mode may change in some way.
- the input result may be shown immediately without performing such processing, and it is difficult for the user to understand the operation.
- the display unit 300 is controlled to be the same as the screen display mode when the direct operation is performed. Can be suppressed. Whether or not the screen display mode by direct operation and indirect operation is different is determined by the portable electronic device 20 inquiring of the in-vehicle display device 20. Further, this determination may be made based on information stored in advance for each in-vehicle display device 20 in the portable electronic device 20.
- the in-vehicle display device 30 has a GUI that can perform the same function as the portable electronic device 20, when the GUI is used in the in-vehicle display device 30, the operability becomes higher, drawing, The response of the operation response is improved. Therefore, in an indirect operation, when there is an in-vehicle GUI having a function equivalent to the GUI of the web browser, a pseudo GUI is configured using the in-vehicle GUI, and the output of the in-vehicle GUI is used as a parameter. Moreover, the GUI of the vehicle-mounted display device 30 and the portable electronic device 20 can be compared to provide an optimal GUI. For example, a software keyboard on the vehicle side at the time of character input and a list call for date and time selection correspond to these functions. The in-vehicle display device 30 can provide an easy-to-use safe HMI (Human Machine Interface) designed by the manufacturer of the in-vehicle display device 30.
- HMI Human Machine Interface
- Whether the in-vehicle GUI having the same function as the GUI of the web browser used in the mobile electronic device 20 exists is determined by the mobile electronic device 20 inquiring of the in-vehicle display device 20. Further, this determination may be made based on information stored in advance for each in-vehicle display device 20 in the portable electronic device 20.
- the portable electronic device 20 operates on the portable electronic device browser using an application unified with the web application. Therefore, it is possible to quickly respond to new contents without changing the software of the in-vehicle display device 30.
- FIG. 6 is a flowchart showing an operation procedure of the portable electronic device cooperation system according to the embodiment of the present invention.
- FIG. 7 is a diagram showing a web application screen displayed on the in-vehicle display device.
- step S100 which is an initial state
- a launcher menu 500 is displayed on the display unit 300 of the in-vehicle display device 30 using software embedded in the in-vehicle display device 20.
- the launcher menu 500 is a list of files and programs registered in advance with icons. Various icons are displayed on the launcher menu 500.
- the process proceeds to step S110.
- step S110 it is determined whether or not the in-vehicle display device 30 has an in-vehicle GUI having the same function as the GUI of the web browser. If it does not exist, the process proceeds to step S120. If it exists, the process proceeds to step S130. In step S120, the cooperation interface 360 is set so as to construct a pseudo GUI. The process proceeds to step S140. In step S130, the cooperation interface 360 is set so as to construct a pseudo GUI using the in-vehicle GUI. The process proceeds to step S140.
- step S140 the application corresponding to the icon 510 is identified from the position of the touched operation unit 310 and activated.
- the display unit 300 displays a web browser screen 520 of the application sent from the portable electronic device 20.
- icons 521, 522, 523, 524, 525, and 526 are displayed. That is, the web browser GUI is displayed on the display unit 300.
- the operation from the operation unit 310 becomes a pseudo GUI input, and the display and the operation are combined. It becomes a pseudo GUI.
- the position information of the icon 521 is output to the portable electronic device 20 using the parameter as a parameter. The process proceeds to step S150.
- step S150 it is determined whether the screen display mode by the direct operation and the indirect operation is different. If the screen display mode is different, the process proceeds to step S160. Otherwise, the process proceeds to step S170.
- step S160 the display unit 300 is controlled so as to be in a screen display mode when directly operated. Then exit.
- step S170 the image display is displayed without being changed. Then exit.
- step S140 for example, when the icon 521 is clicked, a web application content screen 530 relating to the location is displayed in steps 160 and 170. Similarly, when the user clicks on the icon 522, a web application content screen 540 related to navigation is displayed, and when the user clicks the icon 523, a web application content screen 550 related to a message is displayed. In the upper part of the screens 530, 540, and 550, an icon 560 indicating the web application of the original screen 520 is displayed in the upper part so that the hierarchical relationship can be understood.
- functions such as checking a weather forecast, searching for a gourmet, and viewing a map with a web browser of a personal computer are as if the functions of the in-vehicle display device 30 are via the browser of the portable electronic device 20. It can be realized like a function.
- the cooperation program 200 may be in the in-vehicle display device 30.
- the cooperation interface unit 360 of the in-vehicle display device 30 performs direct operation and indirect operation processing, and transmits the remote control program directly from the in-vehicle display device 30 to the web browser of the portable electronic device 20.
- the cooperation program 200 can be distributed from the server 10 to the in-vehicle display device 30 via the portable electronic device 20.
- an in-vehicle display device having a cooperation interface that connects the display unit and the operation unit to the portable electronic device, direct operation via GUI, and indirect operation using a program language.
- a portable electronic device provided with a possible web browser and a cooperation program, and a web application server that provides a web application using the web browser.
- the web browser GUI is displayed on the display unit via the cooperation interface, and a pseudo GUI is constructed on the operation unit based on the contents of the display, and the operation of the pseudo GUI is operated.
- the web browser is indirectly operated by a program language by being output from the unit to the portable electronic device.
- the web browser since the GUI changes depending on the distribution contents because it is a server-type web application, since the web browser can be operated only with a program language for indirect operation prepared in advance, the man-hour for application development is reduced.
- prepared in advance means that the web browser can be operated by programming.
- a general web browser can execute a script language or the like, which is a program language for indirect operation, and is designed to be operable.
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Human Computer Interaction (AREA)
- User Interface Of Digital Computer (AREA)
- Information Transfer Between Computers (AREA)
- Navigation (AREA)
Abstract
Description
従来、携帯機器と車載装置とを連携し、携帯機器を用いて車載装置を遠隔操作するナビゲーション装置が知られている(特許文献1参照)。
一方、携帯機器の機能が向上したことで、携帯機器が車外のサーバと通信して携帯機器の画面に表示することが実施されている。また、携帯機器の画面のサイズは小さいので、携帯機器の画面より大きな画面を有する車載装置に表示することも考えられている。
しかし、携帯機器のアプリケーションが多様化し、アプリケーションによっては、車載装置別に応じて作成し、頒布する必要が出てきた。
携帯電子機器連携システムは、連携インターフェースを介して、表示部にはウエブ・ブラウザのGUIが表示され、表示の内容に基づいて操作部上に疑似的GUIが構築され、疑似的GUIの操作が操作部から携帯電子機器へ出力されることによって、プログラム言語によるウエブ・ブラウザの間接操作を実行する。
その連携インターフェースは、表示部にはウエブ・ブラウザのGUIを表示し、表示の内容に基づいて操作部上に疑似的GUIを構築し、疑似的GUIの操作が操作部から携帯電子機器へ出力することによって、プログラム言語によるウエブ・ブラウザの間接操作を実行する。
連携用プログラムは、連携インターフェースを介して、表示部にはウエブ・ブラウザのGUIが表示するステップと、表示の内容に基づいて操作部上に疑似的GUIを構築するステップと、疑似的GUIの操作に基づいて、プログラム言語によるウエブ・ブラウザの間接操作を実行するステップと、を備える。
携帯電子機器連携システム1は、サーバ10と、携帯電子機器20と、車載表示装置30と、を備える。
サーバ10は、単独であっても、複数であってもよい。複数の場合、サーバ10間の通信は、有線または無線で行われる。
車載表示装置30は、車両内に備えられている。車載表示装置30は、表示部だけでなく、タッチパネルなど、ユーザからの入力手段である操作部も有する。
携帯電子機器20と車載表示装置30とは、USB(Universal Serial Bus)などの有線通信、ブルートゥース(Bluetooth(登録商標))などの無線通信で情報の伝達を行う。携帯電子機器20から車載表示装置30へは、表示信号などの情報を伝送する。車載表示装置30から携帯電子機器20へは、操作信号などの情報を伝送する。
サーバ10と携帯電子機器20との、HTML((HyperText Markup Language)などで記述されたコンテンツの送受信は、たとえばHTTP(Hypertext Transfer Protocol)という通信プロトコルを用いて行われる。
そのために、携帯電子機器20と車載表示装置30とは、以下に説明するように構成する。
図2は、携帯電子機器の概略構成を示すブロック図である。
携帯電子機器20は、表示部100と、操作部110と、処理ユニット120と、サーバ通信部130と、車載表示装置通信部140と、記憶ユニット150と、を備える。
操作部110は、ユーザが携帯電子機器20に対して情報や指示を入力するための入力デバイスである。操作部110は、表示部100の表示画面上に設けられたタッチパネルとすることができる。以下、操作部110は、表示部100の表示画面上の全面に装着されたタッチパネルとして説明する。
車載表示装置通信部140は、車載表示装置30と、USBなどの有線通信、ブルートゥースなどの無線通信で情報の通信を行う。
なお、連携インターフェース部160は、プログラムの実行により実現されるほか、それぞれ一つ以上の電気部品を含む専用のハードウエアとして構成することもできる。
図3は、携帯電子機器の連携プログラムの概念構成を示すブロック図である。
連携プログラム200は、メインプログラム210と、車載連携モジュール220と、携帯電子機器ウエブ・ブラウザ230と、ウエブ・コンテンツ240とを備える。
車載連携モジュール220は、メインプログラム210の上の階層に位置する。車載連携モジュール220は、車載表示装置30との連携処理を実行する。車載連携モジュール220は、車載表示装置30と通信する操作信号、表示信号を加工し、処理する。また車載連携モジュール220は、車載表示装置30との送信処理、受信処理を実行する。
ウエブ・コンテンツ240は、携帯電子機器ウエブ・ブラウザ230の上の階層に位置する。ウエブ・コンテンツ240は、たとえばHTML、JPEG(Joint Photographic Experts Group)などの形式によるコンテンツである。
サーバ10においては、各車種で装着された車載表示装置のそれぞれに対して車載連携モジュールを格納している。ウエブ・アプリケーションは、車載表示装置の製造者により、サーバ10上で追加、修正、拡張がされる。これにより、ウエブ・アプリケーションは、バージョンアップが早くできるようになり、携帯電子機器20へ配布することにより、携帯電子機器20の進化への追従が容易にできる。
また、ユーザは、サーバ10にアクセスして、表示画面を自分の好みにカスタマイズすることもできる。
図4は、車載表示装置の概略構成を示すブロック図である。
車載表示装置30は、表示部300と、操作部310と、処理ユニット320と、携帯電子機器通信部330と、記憶ユニット350と、を備える。
操作部310は、ユーザが車載表示装置30に対して情報や指示を入力するための入力デバイスである。操作部310は、表示部300の表示画面上に設けられたタッチパネルとすることができる。以下、操作部310は、表示部300の表示画面上の全面に装着されたタッチパネルを主として説明する。
図5は、タッチパネルの座標を示す図である。
ユーザが、タッチパネル400で、図5のP点に触れると、x座標としてxP、y座標としてyPが検出され、座標(xP,yP)という位置が検出される。この座標は、タッチパネル400の絶対的な位置であってもよく、相対的な位置であってもよい。
連携インターフェース部360は、プログラムの実行により実現されるほか、それぞれ一つ以上の電気部品を含む専用のハードウエアとして構成することもできる。
携帯電子機器20の連携インターフェース部160は、車載表示装置30で入力される情報の処理と、車載表示装置30で表示する情報の送信処理と、を行う。
車載表示装置30の表示部300は、携帯電子機器20の表示部100と異なるが、同じ内容を表示させるようにする。
このように、車載表示装置30の表示部300への表示に関しては、携帯電子機器20の表示部100への表示と連動させて表示をさせる。
本実施形態では、車載表示装置30の操作部310を、携帯電子機器20の操作部110として利用するものである。
また、携帯電子機器20のGUIを用いて操作する場合を直接操作とすると、車載表示装置30からの操作を間接操作ということができる。
これにより、車載表示装置30で入力された情報が、あたかも携帯電子機器20の操作部110で入力された情報となる。
連携インターフェース部160は、各座標位置情報をパラメータとして用い、たとえばJavaScript(登録商標)へ伝達できるタッチ操作情報に変換し、このような疑似GUIを間接操作としてウエブ・アプリケーションに反映する。
直接操作した場合は、ユーザの選択箇所がハイライトしたり、入力したパスワードがマスクされたり、何らかの意味をもって表示態様が変化する場合がある。一方で間接操作の場合、そのような処理が行われずに直ちに入力結果が示されることもあり、ユーザはその操作が分かりにくい。
直接操作と間接操作による画面表示態様が異なるか否かの判定は、携帯電子機器20が車載表示装置20に問い合わせて判定する。またこの判定は、携帯電子機器20の内部に予め車載表示装置20毎に格納している情報に基づいて判定してもよい。
そこで、間接操作において、ウエブ・ブラウザのGUIと同等機能を有する車載GUIが存在する場合、車載GUIを用いて疑似的GUIを構成し、車載GUIの出力を、パラメータとして用いる。また、車載表示装置30と携帯電子機器20のGUIを比較し、最適なGUIを提供することができる。例えば、文字入力時の車載側のソフトウエア・キーボードや、日時選択のリスト呼び出しがそれらの機能に相当する。
車載表示装置30では、車載表示装置30の製造者が設計した、使いやすい安全なHMI(Human Machine Interface)を提供することができる。
図6は、本発明の実施形態に係る携帯電子機器連携システムの動作手順を示すフローチャートである。
図7は、車載表示装置で表示されるウエブ・アプリケーション画面を示す図である。
ランチャーメニュー500とは、あらかじめ登録しておいたファイルやプログラムをアイコンで一覧表示したものである。ランチャーメニュー500には種々のアイコンが表示されている。
ユーザが1つのアイコン510を操作部310で触れられると、ステップS110へ移る。
ステップS120で、疑似的GUIを構築するように連携インターフェース360を設定する。ステップS140へ移行する。
ステップS130で、車載GUIを用いた疑似的GUIを構築するように連携インターフェース360を設定する。ステップS140へ移行する。
ユーザが、アイコン521をクリックすると、アイコン521の位置情報を、パラメータとして用いて、携帯電子機器20へ出力する。ステップS150へ移行する。
ステップS170で、画像表示を変更せずに表示する。その後終了する。
画面530、540、550の上部には、元の画面520のウエブ・アプリケーションを示すアイコン560が上部に表示され、階層関係がわかるようになっている。
この場合、車載表示装置30の連携インターフェース部360が直接操作と間接操作の処理をし、車載表示装置30から直接携帯電子機器20のウエブ・ブラウザへ遠隔制御プログラムを発信する。
また、連携プログラム200は、サーバ10から携帯電子機器20を経由して、車載表示装置30へ配布されることができる。
携帯電子機器連携システムは、連携インターフェースを介して、表示部にはウエブ・ブラウザのGUIが表示され、表示の内容に基づいて操作部上に疑似的GUIが構築され、疑似的GUIの操作が操作部から携帯電子機器へ出力されることによって、プログラム言語によるウエブ・ブラウザの間接操作を実行する。
ここで予め用意されている、というのは、そのウエブ・ブラウザをプログラミングにより操作可能となっている、という意味である。例えば、一般的なウエブ・ブラウザは、間接操作用プログラム言語であるスクリプト言語等を実行可能なようになっており、動作可能なように設計されている。
Claims (12)
- 表示部と操作部を、携帯電子機器と接続する連携インターフェースを備えた車載表示装置と、
GUIを介した直接操作とプログラム言語による間接操作とが可能なウエブ・ブラウザ、及び連携用プログラムを備えた携帯電子機器と、
前記ウエブ・ブラウザを利用するウエブ・アプリケーションを提供するウエブ・アプリサーバと、を備え、
前記連携インターフェースを介して、
前記表示部には前記ウエブ・ブラウザのGUIが表示され、
前記表示の内容に基づいて前記操作部上に疑似的GUIが構築され、
前記疑似的GUIの操作が前記操作部から前記携帯電子機器へ出力されることによって、前記プログラム言語による前記ウエブ・ブラウザの前記間接操作を実行する、
携帯電子機器連携システム。 - 前記間接操作において、前記疑似的GUIの前記操作部への操作の位置情報を、パラメータとして用いる、
請求項1に記載の携帯電子機器連携システム。 - 前記直接操作と前記間接操作による画面表示態様が異なる場合、前記直接操作した場合の前記画面表示態様となるように前記表示部を制御する、
請求項1に記載の携帯電子機器連携システム。 - 前記間接操作において、前記ウエブ・ブラウザのGUIと同等機能を有する車載GUIが存在する場合、前記車載GUIを用いて前記疑似的GUIを構成し、前記車載GUIの出力を、パラメータとして用いる、
請求項1に記載の携帯電子機器連携システム。 - 表示部と、
操作部と、
GUIを介した直接操作とプログラム言語による間接操作とが可能なウエブ・ブラウザ、及び連携用プログラムを備えた携帯電子機器との接続をする連携インターフェースと、を備え、
前記連携インターフェースは、
前記表示部には前記ウエブ・ブラウザのGUIを表示し、
前記表示の内容に基づいて前記操作部上に疑似的GUIを構築し、
前記疑似的GUIの操作が前記操作部から前記携帯電子機器へ出力することによって、前記プログラム言語による前記ウエブ・ブラウザの前記間接操作を実行する、
車載表示装置。 - 前記間接操作において、前記疑似的GUIの前記操作部への操作の位置情報を、パラメータとして用いる、
請求項5に記載の車載表示装置。 - 前記直接操作と前記間接操作による画面表示態様が異なる場合、前記直接操作した場合の前記画面表示態様となるように前記表示部を制御する、
請求項5に記載の車載表示装置。 - 前記間接操作において、前記ウエブ・ブラウザのGUIと同等機能を有する車載GUIが存在する場合、前記車載GUIを用いて疑似的GUIを構成し、前記車載GUIの出力を、パラメータとして用いる、
請求項5に記載の車載表示装置。 - 車載表示装置と携帯電子機器とを接続し、GUIを介した直接操作とプログラム言語による間接操作とが可能な連携インターフェースに使用される連携用プログラムであって、
前記連携インターフェースを介して、
表示部にウエブ・ブラウザのGUIが表示するステップと、
前記表示の内容に基づいて操作部上に疑似的GUIを構築するステップと、
前記疑似的GUIの操作に基づいて、前記プログラム言語による前記ウエブ・ブラウザの前記間接操作を実行するステップと、
を備える連携用プログラム。 - 前記間接操作において、前記疑似的GUIの前記操作部への操作の位置情報を、パラメータとして用いるステップと、
をさらに備える、請求項9に記載の連携用プログラム。 - 前記直接操作と前記間接操作による画面表示態様が異なる場合、前記直接操作した場合の前記画面表示態様となるように前記表示部を制御するステップと、
をさらに備える、請求項9に記載の連携用プログラム。 - 前記間接操作において、前記ウエブ・ブラウザのGUIと同等機能を有する車載GUIが存在する場合、前記車載GUIを用いて前記疑似的GUIを構成し、前記車載GUIの出力を、パラメータとして用いるステップと、
をさらに備える、請求項9に記載の連携用プログラム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US15/039,508 US20170024227A1 (en) | 2013-12-03 | 2014-11-05 | A mobile electronic device cooperative system |
CN201480062018.2A CN105917320B (zh) | 2013-12-03 | 2014-11-05 | 一种移动电子装置协同系统 |
JP2015551374A JP6240987B2 (ja) | 2013-12-03 | 2014-11-05 | 携帯電子機器連携システム、車載表示装置、および連携用プログラム |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013249810 | 2013-12-03 | ||
JP2013-249810 | 2013-12-03 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2015083321A1 true WO2015083321A1 (ja) | 2015-06-11 |
Family
ID=53273108
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2014/005569 WO2015083321A1 (ja) | 2013-12-03 | 2014-11-05 | 携帯電子機器連携システム、車載表示装置、および連携用プログラム |
Country Status (4)
Country | Link |
---|---|
US (1) | US20170024227A1 (ja) |
JP (1) | JP6240987B2 (ja) |
CN (1) | CN105917320B (ja) |
WO (1) | WO2015083321A1 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI742421B (zh) * | 2018-12-12 | 2021-10-11 | 富智捷股份有限公司 | 使用者介面整合方法和車載裝置 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006277638A (ja) * | 2005-03-30 | 2006-10-12 | Alpine Electronics Inc | 車載システム |
JP2011514996A (ja) * | 2008-03-02 | 2011-05-12 | ヤフー! インコーポレイテッド | セキュアなブラウザベースのアプリケーション |
JP2013172165A (ja) * | 2012-02-17 | 2013-09-02 | Honda Access Corp | 車載装置と携帯情報端末が連携するシステム |
JP2013186859A (ja) * | 2012-03-12 | 2013-09-19 | Pioneer Electronic Corp | 入力装置、入力装置の設定方法、入力装置用プログラム、および、記録媒体 |
JP2013225294A (ja) * | 2012-03-19 | 2013-10-31 | Konami Digital Entertainment Co Ltd | 制御装置、制御方法、プログラムおよびシステム |
Family Cites Families (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20090284476A1 (en) * | 2008-05-13 | 2009-11-19 | Apple Inc. | Pushing a user interface to a remote device |
JP5192434B2 (ja) * | 2009-04-10 | 2013-05-08 | 富士通テン株式会社 | 情報提供システム、車載装置、携帯端末、及び処理方法 |
CN102118688A (zh) * | 2009-12-31 | 2011-07-06 | 上海博泰悦臻电子设备制造有限公司 | 汽车信息系统 |
US20130241720A1 (en) * | 2012-03-14 | 2013-09-19 | Christopher P. Ricci | Configurable vehicle console |
US8688320B2 (en) * | 2011-01-11 | 2014-04-01 | Robert Bosch Gmbh | Vehicle information system with customizable user interface |
JP2012222403A (ja) * | 2011-04-04 | 2012-11-12 | Denso Corp | 情報表示システム、当該システムを構成する車載装置及び携帯装置 |
US20130335320A1 (en) * | 2011-05-13 | 2013-12-19 | Mitsubishi Electric Corporation | Remote control communication device and navigation device |
JP2013021632A (ja) * | 2011-07-14 | 2013-01-31 | Denso Corp | 車両用通信システム、携帯通信端末、および、車両用機器 |
US8548532B1 (en) * | 2011-09-27 | 2013-10-01 | Sprint Communications Company L.P. | Head unit to handset interface and integration |
KR102032717B1 (ko) * | 2011-09-29 | 2019-10-17 | 삼성전자주식회사 | 차량 내 통지 서비스 방법, 기계로 읽을 수 있는 저장 매체, 헤드 유닛 장치 및 모바일 장치 |
JP5581301B2 (ja) * | 2011-11-30 | 2014-08-27 | 株式会社ホンダアクセス | 車載装置と携帯情報端末が連携するシステム |
KR101982243B1 (ko) * | 2012-09-28 | 2019-05-24 | 삼성전자주식회사 | 사용자 단말 장치, 전자 장치 및 그 제어 방법 |
US8914012B2 (en) * | 2012-10-16 | 2014-12-16 | Excelfore Corporation | System and method for monitoring apps in a vehicle to reduce driver distraction |
US9857193B2 (en) * | 2013-06-08 | 2018-01-02 | Apple Inc. | Mapping application with turn-by-turn navigation mode for output to vehicle display |
US10251034B2 (en) * | 2013-03-15 | 2019-04-02 | Blackberry Limited | Propagation of application context between a mobile device and a vehicle information system |
-
2014
- 2014-11-05 US US15/039,508 patent/US20170024227A1/en not_active Abandoned
- 2014-11-05 CN CN201480062018.2A patent/CN105917320B/zh active Active
- 2014-11-05 WO PCT/JP2014/005569 patent/WO2015083321A1/ja active Application Filing
- 2014-11-05 JP JP2015551374A patent/JP6240987B2/ja not_active Expired - Fee Related
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006277638A (ja) * | 2005-03-30 | 2006-10-12 | Alpine Electronics Inc | 車載システム |
JP2011514996A (ja) * | 2008-03-02 | 2011-05-12 | ヤフー! インコーポレイテッド | セキュアなブラウザベースのアプリケーション |
JP2013172165A (ja) * | 2012-02-17 | 2013-09-02 | Honda Access Corp | 車載装置と携帯情報端末が連携するシステム |
JP2013186859A (ja) * | 2012-03-12 | 2013-09-19 | Pioneer Electronic Corp | 入力装置、入力装置の設定方法、入力装置用プログラム、および、記録媒体 |
JP2013225294A (ja) * | 2012-03-19 | 2013-10-31 | Konami Digital Entertainment Co Ltd | 制御装置、制御方法、プログラムおよびシステム |
Also Published As
Publication number | Publication date |
---|---|
CN105917320B (zh) | 2019-12-20 |
JPWO2015083321A1 (ja) | 2017-03-16 |
CN105917320A (zh) | 2016-08-31 |
JP6240987B2 (ja) | 2017-12-06 |
US20170024227A1 (en) | 2017-01-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6786403B2 (ja) | 通信システム、通信機器、制御方法及びプログラム | |
EP2564286B1 (en) | Method and apparatus for providing interoperability between devices | |
US9626198B2 (en) | User interface for a vehicle system | |
JP6478181B2 (ja) | 携帯端末と外部表示装置の連結運用方法及びこれを支援する装置 | |
CN103049190B (zh) | 一种移动通信终端及控制设备操作的方法 | |
CN103051693B (zh) | 设备控制方法与移动通信终端 | |
CN108028960B (zh) | 电子装置及其控制方法 | |
KR20140073243A (ko) | Http 메시지 처리 방법 및 장치 | |
US20130246509A1 (en) | Information processing system, user terminal, information processing device, and non-transitory computer readable recording medium | |
US10789033B2 (en) | System and method for providing widget | |
KR102004986B1 (ko) | 어플리케이션 실행 방법 및 시스템, 단말과 그 기록 매체 | |
EP2963935A1 (en) | Multi screen display controlled by a plurality of remote controls | |
JP2011176591A (ja) | 携帯端末を用いた無線通信システム | |
AU2011346329A1 (en) | Virtual input/output device for printers | |
JP2011243146A (ja) | 中継サーバ及びそのプログラム、webサイト閲覧システム、webサイト閲覧方法、並びにアプリケーションプログラム | |
JP2009276889A (ja) | サーバ装置、クライアント装置、サーバベース・コンピューティング・システム、サーバ制御プログラム、クライアント制御プログラム | |
CN105955739A (zh) | 一种图形界面的处理方法、装置和系统 | |
CN110708527A (zh) | 图像显示装置、图像显示装置的图像显示方法及存储介质 | |
JP2007251630A (ja) | リモートデスクトップ表示方法 | |
JP2020042573A (ja) | デバイス診断ウェブシステムおよびデバイス診断方法 | |
CN109491670A (zh) | 一种页面显示方法及终端设备 | |
WO2014006758A1 (ja) | 情報処理方法 | |
JP6240987B2 (ja) | 携帯電子機器連携システム、車載表示装置、および連携用プログラム | |
EP2681664B1 (en) | Browsing method, device, and computer-readable storage medium | |
CN106201220B (zh) | 显示内容获取方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 14867543 Country of ref document: EP Kind code of ref document: A1 |
|
ENP | Entry into the national phase |
Ref document number: 2015551374 Country of ref document: JP Kind code of ref document: A |
|
WWE | Wipo information: entry into national phase |
Ref document number: 15039508 Country of ref document: US |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 14867543 Country of ref document: EP Kind code of ref document: A1 |