JP6414473B2 - 車両用表示システム、携帯端末装置、車両用表示プログラム - Google Patents

車両用表示システム、携帯端末装置、車両用表示プログラム Download PDF

Info

Publication number
JP6414473B2
JP6414473B2 JP2015009449A JP2015009449A JP6414473B2 JP 6414473 B2 JP6414473 B2 JP 6414473B2 JP 2015009449 A JP2015009449 A JP 2015009449A JP 2015009449 A JP2015009449 A JP 2015009449A JP 6414473 B2 JP6414473 B2 JP 6414473B2
Authority
JP
Japan
Prior art keywords
terminal device
mobile terminal
vehicle
layer
state
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015009449A
Other languages
English (en)
Other versions
JP2016134833A (ja
Inventor
伊藤　正也
正也 伊藤
拡基 鵜飼
拡基 鵜飼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp filed Critical Denso Corp
Priority to JP2015009449A priority Critical patent/JP6414473B2/ja
Priority to CN201680005497.3A priority patent/CN107113344B/zh
Priority to PCT/JP2016/000129 priority patent/WO2016117296A1/ja
Priority to US15/539,894 priority patent/US10268440B2/en
Publication of JP2016134833A publication Critical patent/JP2016134833A/ja
Application granted granted Critical
Publication of JP6414473B2 publication Critical patent/JP6414473B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/41407—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance embedded in a portable device, e.g. video client on a mobile phone, PDA, laptop
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/02—Arrangements for holding or mounting articles, not otherwise provided for for radio sets, television sets, telephones, or the like; Arrangement of controls thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1454—Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
    • G06F3/1462—Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay with means for detecting differences between the image stored in the host and the images displayed on the remote displays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72409—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories
    • H04M1/72412—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories using two-way short-range wireless interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M11/00—Telephonic communication systems specially adapted for combination with other electrical systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/41422—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance located in transportation means, e.g. personal vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8166—Monomedia components thereof involving executable data, e.g. software
    • H04N21/8173—End-user applications, e.g. Web browser, game
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2400/00—Special features of vehicle units
    • B60Y2400/92—Driver displays
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • G06F3/1431—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display using a single graphics controller
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • G06F3/1438—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display using more than one graphics controller
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2380/00—Specific applications
    • G09G2380/10—Automotive applications
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/37—Details of the operation on graphic patterns
    • G09G5/377—Details of the operation on graphic patterns for mixing or overlaying two or more graphic patterns
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/60—Substation equipment, e.g. for use by subscribers including speech amplifiers
    • H04M1/6033—Substation equipment, e.g. for use by subscribers including speech amplifiers for providing handsfree use or a loudspeaker mode in telephone sets
    • H04M1/6041—Portable telephones adapted for handsfree use
    • H04M1/6075—Portable telephones adapted for handsfree use adapted for handsfree use in a vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/16—Details of telephonic subscriber devices including more than one display unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Software Systems (AREA)
  • Mechanical Engineering (AREA)
  • Telephone Function (AREA)
  • User Interface Of Digital Computer (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Telephonic Communication Services (AREA)
  • Selective Calling Equipment (AREA)

Description

本発明は、携帯端末装置によるアプリケーションの実行画面を車両用装置に表示する車両用表示システム、当該車両用表示システムを構築する携帯端末装置、および、当該携帯端末装置に組み込まれて実行される車両用表示プログラムに関する。
従来より、車両に搭載される車両用装置に携帯端末装置を通信可能に接続するシステムが考えられている（例えば、特許文献１参照）。
特開２０１２−３３７４号公報
この種のシステムでは、携帯端末装置が実行するアプリケーションの出力画面を車両用装置の表示部に表示する技術が考えられている。しかし、携帯端末装置の表示部に表示する一次画面を、そのまま車両用装置の表示部に転送して表示すると、例えば文字が小さくなる、見難いレイアウトになる、などといった問題が生じる。そこで、近年では、携帯端末装置において一次画面を車両用装置の表示部に対応する二次画面に変換し、その二次画面を車両用装置の表示部に出力する技術が考えられている。
しかしながら、現行のシステムは、アプリケーションに対する操作入力を携帯端末装置から行い、実行中のアプリケーションの出力画面の表示を車両用装置から行うことを前提としている。即ち、現行のシステムは、車両用装置の表示部をあくまでも表示出力用のサブスクリーンとして扱っており、車両用装置からの操作入力を想定していない。そのため、現行の携帯端末装置は、操作に係る機能、即ち、アプリケーションを操作するための操作レイヤを生成して車両用装置に提供する機能や、携帯端末装置の状態を示す状態レイヤを生成して車両用装置に提供する機能を備えていない。従って、現行のシステムでは、操作レイヤや状態レイヤを車両用装置の表示部に表示することができない。一般的に、車両用装置の表示部は、携帯端末装置の表示部よりも画面サイズが大きい。そのため、このような比較的大きい車両用装置の表示部に操作レイヤや状態レイヤが表示されれば、操作性の向上を図ることができ、また、携帯端末装置の状態を認識しやすくできる。
そこで、本発明は、携帯端末装置の表示部に表示するための一次画面を車両用装置の表示部に対応する二次画面に変換して当該車両用装置の表示部から表示する車両用表示システムに関し、車両用装置の表示部に操作レイヤや状態レイヤも表示できる構成を提供する。また、本発明は、この車両用表示システムを構築する携帯端末装置、および、当該携帯端末装置に組み込まれて実行される車両用表示プログラムを提供する。
本発明に係る車両用表示システムは、車両に搭載される車両用装置と、車両用装置に通信可能に接続される携帯端末装置と、を備え、携帯端末装置において実行するアプリケーションの出力画面を車両用装置に表示する車両用表示システムである。そして、携帯端末装置は、アプリケーションの実行に伴い生成する出力画面を当該携帯端末装置の表示部に一次画面として表示するものであり、その一次画面を車両用装置の表示部に対応する二次画面に変換する機能を有する。また、携帯端末装置は、アプリケーションを操作するための操作レイヤを生成する機能、および、携帯端末装置の状態を示す状態レイヤを生成する機能を有する。そして、携帯端末装置は、二次画面に加えて、さらに操作レイヤおよび状態レイヤも車両用装置に送信する。一方、車両用装置は、携帯端末装置から二次画面、操作レイヤ、状態レイヤを得ると、二次画面とともに操作レイヤおよび状態レイヤを当該車両用装置の表示部に表示する。この構成によれば、比較的大きい車両用装置の表示部に操作レイヤや状態レイヤも表示される。よって、操作性の向上を図ることができ、また、携帯端末装置の状態を認識しやすくできる。
本実施形態に係る車両用表示システムの構成例を概略的に示すブロック図 操作レイヤの一例を示す図（その１） 操作レイヤの一例を示す図（その２） 操作レイヤの一例を示す図（その３） 状態レイヤの一例を示す図 第１実施形態に係る表示制御の一例を示すフローチャート 車両用装置の表示部に表示される表示画面の断面を概念的に示す図 二次画面の表示例を示す図 第２実施形態に係る表示制御の一例を示すフローチャート
以下、車両用表示システムに係る複数の実施形態について図面を参照しながら説明する。なお、各実施形態において実質的に同一の要素には同一の符号を付し、説明を省略する。
（第１実施形態）
図１に例示する車両用表示システム１００は、車両用装置１０、携帯端末装置２０、遠隔操作装置３０を備える。以下、車両用表示システム１００を単に「表示システム１００」と称する。表示システム１００は、携帯端末装置２０において実行するアプリケーションの出力画面を車両用装置１０に表示する構成である。
車両用装置１０は、例えばナビゲーション装置などといった車両に搭載される各種の装置により構成されている。車両用装置１０は、制御部１１、操作部１２、表示部１３、通信部１４などを備える。制御部１１は、マイクロコンピュータを主体として構成されており、車両用装置１０の動作全般を制御する。また、制御部１１は、マイクロコンピュータにおいて制御プログラムを実行することにより、二次画面表示処理部４１をソフトウェアにより仮想的に実現する。なお、車両用装置１０は、二次画面表示処理部４１をハードウェアにより構成してもよい。
操作部１２は、表示部１３に設けられるタッチパネルスイッチや表示部１３の周辺に設けられている機械的なスイッチなどにより構成されており、ユーザによる各種スイッチの操作に応じて操作信号を制御部１１に出力する。表示部１３は、例えば液晶ディスプレイなどで構成されており、制御部１１からの表示指令信号に基づいて各種画面を表示する。通信部１４は、例えば無線通信モジュールなどにより構成されている。通信部１４は、車両内に持ち込まれ所定の通信範囲内に存在する携帯端末装置２０との間に無線の通信回線を確立し、車両用装置１０を携帯端末装置２０に無線通信可能に接続する。
二次画面表示処理部４１は、二次画面表示手段の一例であり、詳しくは後述するように、携帯端末装置２０から得られる二次画面を車両用装置１０の表示部１３に表示する。また、二次画面表示処理部４１は、携帯端末装置２０から得られる操作レイヤや状態レイヤを二次画面とともに車両用装置１０の表示部１３に表示する。
携帯端末装置２０は、例えばスマートフォンなどといったユーザが携帯する各種の携帯型の通信端末により構成されている。携帯端末装置２０は、制御部２１、操作部２２、表示部２３、通信部２４などを備える。制御部２１は、マイクロコンピュータを主体として構成されており、携帯端末装置２０の動作全般を制御する。また、制御部２１は、マイクロコンピュータにおいて制御プログラムを実行することにより、一次画面表示処理部５１、変換処理部５２、操作レイヤ生成処理部５３、状態レイヤ生成処理部５４、送信処理部５５をソフトウェアにより仮想的に実現する。なお、携帯端末装置２０は、これらの処理部５１〜５５をハードウェアにより構成してもよい。
操作部２２は、表示部２３に設けられるタッチパネルスイッチや表示部２３の周辺に設けられている機械的なスイッチなどにより構成されており、ユーザによる各種スイッチの操作に応じて操作信号を制御部２１に出力する。表示部２３は、例えば液晶ディスプレイなどで構成されており、制御部２１からの表示指令信号に基づいて各種画面を表示する。通信部２４は、例えば無線通信モジュールなどにより構成されている。通信部２４は、所定の通信範囲内に存在する車両用装置１０との間に無線の通信回線を確立し、携帯端末装置２０を車両用装置１０に無線通信可能に接続する。
一次画面表示処理部５１は、一次画面表示手段の一例であり、制御部２１がアプリケーションを実行すると、そのアプリケーションの実行に伴い生成される出力画面を携帯端末装置２０の表示部２３に一次画面として表示する。一次画面は、携帯端末装置２０の表示部２３に対応する画面である。即ち、一次画面は、表示部２３のサイズや解像度などに適合した画面となっている。表示部２３に表示される一次画面においては、文字の大きさや画面のレイアウトなどといった表示要素が、表示部２３を見るユーザにとって視認しやすい形態により表示される。
変換処理部５２は、変換手段の一例であり、一次画面を車両用装置１０の表示部１３に対応する二次画面に変換する。即ち、携帯端末装置２０には、車両用装置１０の表示部１３に係る各種の属性情報、例えば表示部１３のサイズや解像度などといった情報が与えられている。変換処理部５２は、表示部１３の属性情報に基づいて、一次画面を表示部１３に適合する形式の二次画面に変換する。詳しくは後述するようにして表示部１３に表示される二次画面においては、文字の大きさや画面のレイアウトなどといった表示要素が、表示部１３を見るユーザにとって視認しやすい形態により表示される。なお、この二次画面には、アプリケーションの操作に係る機能や携帯端末装置２０の状態を示す機能が含まれていない。
操作レイヤ生成処理部５３は、操作レイヤ生成手段の一例であり、制御部２１が実行するアプリケーションを操作するための操作レイヤを生成する。操作レイヤ生成処理部５３が生成する操作レイヤは、図２に例示するキーボードレイヤＬａ１、図３に例示するミニプレイヤーレイヤＬａ２、図４に例示するランチャーレイヤＬａ３などである。キーボードレイヤＬａ１は、アルファベット、ひらがな、カタカナ、数字、記号などを入力するためのレイヤである。ミニプレイヤーレイヤＬａ２は、音源を再生するミニプレイヤーを操作するためのレイヤである。ランチャーレイヤＬａ３は、過去に実行したアプリケーションを呼び出すランチャー機能を操作するためのレイヤである。
状態レイヤ生成処理部５４は、状態レイヤ生成手段の一例であり、携帯端末装置２０の現在の状態を示す状態レイヤを生成する。状態レイヤ生成処理部５４が生成する状態レイヤは、図５に例示するステータスバーレイヤＬｂ１などである。ステータスバーレイヤＬｂ１は、携帯端末装置２０の現在の状態、例えば、車両用装置１０との間に確立されている通信回線の接続強度の状態や携帯端末装置２０の図示しないバッテリの充電状態などを示すレイヤである。
送信処理部５５は、送信手段の一例であり、変換処理部５２によって生成された二次画面のデータ、操作レイヤ生成処理部５３によって生成された操作レイヤ、状態レイヤ生成処理部５４によって生成された状態レイヤを、通信部２４を介して車両用装置１０に送信する。なお、これらの機能部５２〜５４は、遠隔操作装置３０が携帯端末装置２０に通信可能に接続されている場合に限り動作するようになっている。即ち、制御部２１は、携帯端末装置２０に遠隔操作装置３０が通信可能に接続されていない場合には、機能部５２〜５３をオフする。そして、制御部２１は、携帯端末装置２０に遠隔操作装置３０が通信可能に接続されると、機能部５２〜５４をオンする。
遠隔操作装置３０は、携帯端末装置２０を遠隔操作するために設けられた専用のコントローラである。遠隔操作装置３０は、例えば車両の図示しないステアリングホイールなどに着脱可能に取り付けられる。遠隔操作装置３０は、制御部３１、操作部３２、通信部３３などを備える。制御部３１は、マイクロコンピュータを主体として構成されており、遠隔操作装置３０の動作全般を制御する。操作部３２は、遠隔操作装置３０の本体部に設けられる図示しない機械的なスイッチなどにより構成されており、ユーザによる各種スイッチの操作に応じて操作信号を制御部３１に出力する。通信部３３は、例えば無線通信モジュールなどにより構成されており、所定の通信範囲内に存在する携帯端末装置２０との間に無線の通信回線を確立し、遠隔操作装置３０を携帯端末装置２０に無線通信可能に接続する。制御部３１は、操作部３２から入力される各種の操作信号を、通信部３３を介して携帯端末装置２０に送信する。携帯端末装置２０は、操作部２２から入力される各種の操作信号に基づいて動作するほか、遠隔操作装置３０から入力される各種の操作信号に基づいて動作することも可能である。
次に、表示システム１００による表示制御の一例を説明する。図６に例示するように、携帯端末装置２０は、制御部２１によりアプリケーションの実行を開始すると、そのアプリケーションの実行に伴い生成される出力画面を当該携帯端末装置２０の表示部２３に一次画面として表示する（Ａ１）。ステップＡ１は、一次画面表示処理の一例である。そして、携帯端末装置２０は、当該携帯端末装置２０に遠隔操作装置３０が通信可能に接続されているか否かを確認する（Ａ２）。
携帯端末装置２０は、遠隔操作装置３０が通信可能に接続されていない場合には（Ａ２：ＮＯ）、アプリケーションの実行に伴い一次画面の表示部２３への表示を継続する。しかし、携帯端末装置２０は、遠隔操作装置３０が通信可能に接続されている場合には（Ａ２：ＹＥＳ）、携帯端末装置２０用の一次画面を車両用装置１０用の二次画面に変換する（Ａ３）。ステップＡ３は、変換処理の一例である。また、携帯端末装置２０は、操作レイヤおよび状態レイヤを生成する（Ａ４，Ａ５）。ステップＡ４は操作レイヤ生成処理の一例であり、ステップＡ５は状態レイヤ生成処理の一例である。そして、携帯端末装置２０は、得られた二次画面、操作レイヤ、状態レイヤのデータを、通信部２４を介して車両用装置１０に送信する（Ａ６）。ステップＡ６は、送信処理の一例である。
車両用装置１０は、携帯端末装置２０から二次画面、操作レイヤ、状態レイヤのデータを受信すると（Ｂ１：ＹＥＳ）、その受信したデータに基づいて二次画面、操作レイヤ、状態レイヤを車両用装置１０の表示部１３に表示する（Ｂ２）。このとき、車両用装置１０は、図７に例示するように、二次画面Ｇ２をベースとし、その上に操作レイヤＬａおよび状態レイヤＬｂを重ねるようにして表示する。これにより、図８に例示するように、車両用装置１０の表示部１３には、二次画面とともに、操作レイヤＬａおよび状態レイヤＬｂが表示されるようになる。
携帯端末装置２０は、二次画面、操作レイヤ、状態レイヤのデータを送信すると、遠隔操作装置３０から操作信号が入力されたか否かを監視する（Ａ７）。そして、携帯端末装置２０は、遠隔操作装置３０から操作信号が入力されると（Ａ７：ＹＥＳ）、その操作信号を車両用装置１０に送信する（Ａ８）。また、携帯端末装置２０は、入力された操作信号に基づいて動作する。これにより、携帯端末装置２０は、遠隔操作装置３０により遠隔操作される。一方、車両用装置１０は、携帯端末装置２０から操作信号を受信すると（Ｂ３：ＹＥＳ）、その操作信号に基づく操作内容を、表示部１３に表示している操作レイヤに反映させる（Ｂ４）。これにより、表示部１３に表示されている操作レイヤは、あたかも遠隔操作装置３０により操作されているように変化する。
また、携帯端末装置２０は、二次画面、操作レイヤ、状態レイヤのデータを送信すると、当該携帯端末装置２０の状態が変化したか否かを監視する（Ａ９）。即ち、携帯端末装置２０は、車両用装置１０との間に確立されている通信回線の接続強度の変化や、バッテリの充電状態の変化などといった携帯端末装置２０の現在の状態を監視する。そして、携帯端末装置２０は、当該携帯端末装置２０の状態が変化すると（Ａ９：ＹＥＳ）、変化後の状態、つまり、携帯端末装置２０の現在状態を示す現在状態データを車両用装置１０に送信する（Ａ１０）。一方、車両用装置１０は、携帯端末装置２０から現在状態データを受信すると（Ｂ５：ＹＥＳ）、その現在状態データに基づく現在状態を、表示部１３に表示している状態レイヤに反映させる（Ｂ６）。これにより、表示部１３に表示されている状態レイヤは、携帯端末装置２０の実際の状態変化に連動して変化する。
携帯端末装置２０は、アプリケーションの実行が完了するまで、ステップＡ７〜Ａ１０の処理を繰り返し実行する。そして、携帯端末装置２０は、アプリケーションの実行が完了すると、この制御を終了する。また、携帯端末装置２０は、この制御を終了すると、車両用装置１０に終了信号を送信する。一方、車両用装置１０は、携帯端末装置２０から終了信号を受信するまで、ステップＢ３〜Ｂ６の処理を繰り返し実行する。そして、車両用装置１０は、終了信号を受信すると、この制御を終了する。
表示システム１００によれば、比較的大きい車両用装置１０の表示部１３に操作レイヤや状態レイヤも表示される。よって、ユーザは、より大きな表示部１３に表示される表示内容に基づいてアプリケーションを操作することができ、操作性の向上を図ることができる。また、より大きな表示部１３に携帯端末装置２０の現在の状態が表示されるから、その状態を認識しやすくできる。
また、表示システム１００によれば、携帯端末装置２０は、遠隔操作装置３０が当該携帯端末装置２０に通信可能に接続されていることを条件に、操作レイヤおよび状態レイヤを生成して車両用装置１０に送信する。この構成によれば、アプリケーションの実行主体を携帯端末装置２０としつつ、そのアプリケーションに対する操作入力を外部の遠隔操作装置３０から行い、そのアプリケーションの出力を外部の車両用装置１０から行うシステムが実現される。即ち、ユーザは、携帯端末装置２０を意識しなくとも、遠隔操作装置３０の操作と車両用装置１０が表示する表示内容の確認とに基づき、アプリケーションを利用することができる。
（第２実施形態）
この実施形態では、携帯端末装置２０は、二次画面、操作レイヤ、状態レイヤのデータを車両用装置１０に送信すると（Ａ６）、一次画面表示処理部５１により、表示部２３に所定の固定画面を表示する（Ａ６ａ）。固定画面は、動的な一次画面に代わる静的な画面である。固定画面としては、例えば、全面単一色のブロック画面、所定の絵柄が施された画面、実行中のアプリケーションのロゴマークなどが施された画面など、動きを伴わない静的な画面であれば、種々の画面を採用することができる。
この実施形態によれば、携帯端末装置２０に表示される動的な一次画面が隠される。そのため、ユーザは、車両用装置１０に表示される二次画面に集中することができ、携帯端末装置２０をより意識することなくアプリケーションを利用することができる。
（その他の実施形態）
本発明は、上述した実施形態に限定されるものではなく、その要旨を逸脱しない範囲で種々の実施形態に適用可能である。例えば、操作レイヤおよび状態レイヤは、上記に例示したものに限られず、種々のレイヤを採用することができる。また、車両用装置１０と携帯端末装置２０は、有線通信可能に接続してもよい。また、ステアリングホイールに対する遠隔操作装置３０の取り付け位置は、ステアリングホイールを握るユーザの指が無理なく到達する範囲内に設定することが好ましい。
図面中、１０は車両用装置、１３は車両用装置の表示部、２０は携帯端末装置、２３は携帯端末装置の表示部、３０は遠隔操作装置、４１は二次画面表示処理部（二次画面表示手段）、５１は一次画面表示処理部（一次画面表示手段）、５２は変換処理部（変換手段）、５３は操作レイヤ生成処理部（操作レイヤ生成手段）、５４は状態レイヤ生成処理部（状態レイヤ生成手段）、５５は送信処理部（送信手段）、１００は車両用表示システムを示す。

Claims (4)

  1. 車両に搭載される車両用装置（１０）と、前記車両用装置に通信可能に接続される携帯端末装置（２０）と、を備え、前記携帯端末装置において実行するアプリケーションの出力画面を前記車両用装置に表示する車両用表示システム（１００）であって、
    前記携帯端末装置は、
    前記アプリケーションの実行に伴い生成する出力画面を当該携帯端末装置の表示部（２３）に一次画面として表示する一次画面表示手段（５１）と、
    前記一次画面を前記車両用装置の表示部（１３）に対応する二次画面に変換する変換手段（５２）と、
    前記アプリケーションを操作するための操作レイヤを生成する操作レイヤ生成手段（５３）と、
    前記携帯端末装置の状態を示す状態レイヤを生成する状態レイヤ生成手段（５４）と、
    前記二次画面、前記操作レイヤ、前記状態レイヤを前記車両用装置に送信する送信手段（５５）と、を備え、
    前記車両用装置は、
    前記二次画面とともに前記操作レイヤおよび前記状態レイヤを当該車両用装置の表示部に表示する二次画面表示手段（４１）を備え、
    前記携帯端末装置を遠隔操作する遠隔操作装置（３０）が前記携帯端末装置に通信可能に接続されていることを条件に、前記操作レイヤ生成手段は前記操作レイヤを生成し、前記状態レイヤ生成手段は前記状態レイヤを生成し、前記送信手段は、前記操作レイヤおよび前記状態レイヤを前記車両用装置に送信する車両用表示システム。
  2. 前記一次画面表示手段は、前記送信手段が前記二次画面、前記操作レイヤ、前記状態レイヤを前記車両用装置に送信すると、前記携帯端末装置の表示部に所定の固定画面を表示する請求項１に記載の車両用表示システム。
  3. 車両に搭載される車両用装置（１０）に通信可能に接続される携帯端末装置（２０）であって、
    前記車両用装置とともに、前記携帯端末装置において実行するアプリケーションの出力画面を前記車両用装置に表示する車両用表示システム（１００）を構築し、
    前記アプリケーションの実行に伴い生成する出力画面を当該携帯端末装置の表示部（２３）に一次画面として表示する一次画面表示手段（５１）と、
    前記一次画面を前記車両用装置の表示部（１３）に対応する二次画面に変換する変換手段（５２）と、
    前記アプリケーションを操作するための操作レイヤを生成する操作レイヤ生成手段（５３）と、
    前記携帯端末装置の状態を示す状態レイヤを生成する状態レイヤ生成手段（５４）と、
    前記二次画面、前記操作レイヤ、前記状態レイヤを前記車両用装置に送信する送信手段（５５）と、
    を備え、
    前記携帯端末装置を遠隔操作する遠隔操作装置（３０）が前記携帯端末装置に通信可能に接続されていることを条件に、前記操作レイヤ生成手段は前記操作レイヤを生成し、前記状態レイヤ生成手段は前記状態レイヤを生成し、前記送信手段は、前記操作レイヤおよび前記状態レイヤを前記車両用装置に送信する携帯端末装置。
  4. 車両に搭載される車両用装置（１０）と、前記車両用装置に通信可能に接続される携帯端末装置（２０）と、を備え、前記携帯端末装置において実行するアプリケーションの出力画面を前記車両用装置に表示する車両用表示システム（１００）において、前記携帯端末装置に組み込まれて実行されるプログラムであって、
    前記アプリケーションの実行に伴い生成する出力画面を当該携帯端末装置の表示部（２３）に一次画面として表示する一次画面表示処理（Ａ１）と、
    前記一次画面を前記車両用装置の表示部（１３）に対応する二次画面に変換する変換処理（Ａ３）と、
    前記アプリケーションを操作するための操作レイヤを生成する操作レイヤ生成処理（Ａ４）と、
    前記携帯端末装置の状態を示す状態レイヤを生成する状態レイヤ生成処理（Ａ５）と、
    前記二次画面、前記操作レイヤ、前記状態レイヤを前記車両用装置に送信する送信処理（Ａ６）と、
    を行うものであって、
    前記携帯端末装置を遠隔操作する遠隔操作装置（３０）が前記携帯端末装置に通信可能に接続されていることを条件に、前記操作レイヤ生成処理により前記操作レイヤを生成し、前記状態レイヤ生成処理により前記状態レイヤを生成し、前記送信処理により、前記操作レイヤおよび前記状態レイヤを前記車両用装置に送信する車両用表示プログラム。

JP2015009449A 2015-01-21 2015-01-21 車両用表示システム、携帯端末装置、車両用表示プログラム Active JP6414473B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2015009449A JP6414473B2 (ja) 2015-01-21 2015-01-21 車両用表示システム、携帯端末装置、車両用表示プログラム
CN201680005497.3A CN107113344B (zh) 2015-01-21 2016-01-13 车辆用显示系统、移动终端装置、存储车辆用显示程序的介质
PCT/JP2016/000129 WO2016117296A1 (ja) 2015-01-21 2016-01-13 車両用表示システム、携帯端末装置、車両用表示プログラム
US15/539,894 US10268440B2 (en) 2015-01-21 2016-01-13 Vehicle display system, mobile terminal apparatus, and vehicle display program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015009449A JP6414473B2 (ja) 2015-01-21 2015-01-21 車両用表示システム、携帯端末装置、車両用表示プログラム

Publications (2)

Publication Number Publication Date
JP2016134833A JP2016134833A (ja) 2016-07-25
JP6414473B2 true JP6414473B2 (ja) 2018-10-31

Family

ID=56416851

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015009449A Active JP6414473B2 (ja) 2015-01-21 2015-01-21 車両用表示システム、携帯端末装置、車両用表示プログラム

Country Status (4)

Country Link
US (1) US10268440B2 (ja)
JP (1) JP6414473B2 (ja)
CN (1) CN107113344B (ja)
WO (1) WO2016117296A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7311295B2 (ja) * 2019-03-29 2023-07-19 本田技研工業株式会社 制御装置、制御方法及びプログラム
CA3137721A1 (en) 2019-04-22 2020-10-29 Navisect, Inc. System and method to conduct bone surgery

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102005023544A1 (de) * 2005-05-21 2006-12-07 Bayerische Motoren Werke Ag Anschluss von persönlichen Endgeräten an das Kommunikationssystem eines Kraftfahrzeuges
EP2091784B1 (en) * 2006-12-20 2012-02-01 Johnson Controls Technology Company Remote display reproduction system and method
JP5243107B2 (ja) * 2008-05-27 2013-07-24 クラリオン株式会社 ナビゲーション装置、画面表示制御方法
JP5546784B2 (ja) 2009-03-24 2014-07-09 シャープ株式会社 通知装置、通知システム、通知装置の制御方法、制御プログラム、及び該プログラムを記録したコンピュータ読み取り可能な記録媒体
US8559936B2 (en) 2010-05-28 2013-10-15 Robert Bosch Gmbh Remote control of a telephone
JP2012003374A (ja) 2010-06-15 2012-01-05 J & K Car Electronics Corp 操作装置および操作方法
EP2698968B1 (en) 2011-04-15 2015-11-25 Clarion Co., Ltd. Information terminal, on-board information system, on-board device, and information terminal program
KR20150031098A (ko) * 2013-09-13 2015-03-23 삼성전자주식회사 화면 미러링 방법 및 그에 따른 디스플레이 기기
US9886134B2 (en) * 2013-12-27 2018-02-06 Pioneer Corporation Terminal device, calibration method and calibration program

Also Published As

Publication number Publication date
CN107113344A (zh) 2017-08-29
US10268440B2 (en) 2019-04-23
CN107113344B (zh) 2020-11-20
US20180011672A1 (en) 2018-01-11
JP2016134833A (ja) 2016-07-25
WO2016117296A1 (ja) 2016-07-28

Similar Documents

Publication Publication Date Title
KR101154770B1 (ko) 휴대기기와 연동하는 사용자 인터페이스를 구비한 차량용 오디오 비디오 단말 시스템 및 그 연동 방법
US20190212732A1 (en) Vehicle and control method
CN104520787A (zh) 头戴式计算机作为具有自动语音识别和头部追踪输入的辅助显示器
JP2003244343A (ja) 表示装置、携帯端末及び情報表示システム
JP6119658B2 (ja) タッチ式入力システム
JP2013507874A (ja) 携帯用機器の制御方法、ディスプレイ装置の制御方法及び映像システムの制御方法
JP2011176591A (ja) 携帯端末を用いた無線通信システム
JP5743523B2 (ja) 電子装置
JP2009237895A (ja) 地図表示システム、地図表示方法およびプログラム
WO2016051440A1 (ja) 車両及びステアリングユニット
JP2013153346A (ja) 遠隔操作システム
CN105975350A (zh) 用于集成交通工具应用的方法和设备
JP2018529166A (ja) 端末間の画面制御方法、装置及び記憶媒体
JP6414473B2 (ja) 車両用表示システム、携帯端末装置、車両用表示プログラム
JP2007253648A (ja) 入力支援システムおよびそのシステムを構成する車載端末装置
JP2011166290A (ja) 室内通信用中継装置、室内通信システム及び室内通信方法
JP2004120577A (ja) 機器制御装置
JP2014004860A (ja) 車載端末および通信方法
JP2010130369A (ja) 車載装置および遠隔操作システム
WO2016092764A1 (ja) 携帯端末、携帯端末操作システム、通信制御プログラム、及び通信制御方法
JP2009129111A (ja) 無線通信機器、認証方法、及び無線接続制御方法
JP2014003395A (ja) 遠隔操作コントローラ
KR101612382B1 (ko) 정전식 터치 패널과 블루투스 통신 모듈을 내장한 휴대폰 케이스, 그리고 이를 이용한 휴대폰 본체 제어 방법
JP4148104B2 (ja) 表示操作システム
WO2016062032A1 (zh) 一种分体式可穿戴设备

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170821

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180710

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180809

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180905

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180918

R151 Written notification of patent or utility model registration

Ref document number: 6414473

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250