WO2012127768A1 - 車両用装置および外部機器画面表示システム - Google Patents

Abstract

　表示部（11）を備えた外部機器（10）と接続され、当該表示部の各画素の画素情報を取得する車両用装置は、前記画素情報に基づいて、前記表示部に表示されている画面を表示する車両用表示部（106）と、前記画素情報から定まる画素関連画像情報と関連付けて制御内容を記憶している制御内容記憶装置（112）と、前記画素情報に基づいて、前記画素関連画像情報を決定する画素関連画像情報決定装置（121）と、その画素関連画像情報決定装置が決定した画素関連画像情報と、前記制御内容記憶装置の記憶内容とに基づいて制御内容を決定し、その決定した制御を行う制御装置（123）とを有する。

Description

車両用装置および外部機器画面表示システム 関連出願の相互参照

　本出願は、当該開示内容が参照によって本出願に組み込まれた、２０１１年３月２３日に出願された日本特許出願２０１１－６４７３２を基にしている。

　本開示は、外部機器の表示画面を表示することができる車両用装置、および、それら車両用装置と外部機器とを有する外部機器画面表示システムに関する。

　車両用装置として、外部機器の表示画面を表示することができる装置が知られている。たとえば特許文献１の装置がそれである。特許文献１の装置は、外部機器である携帯電話機の画面を車両の表示器に表示できるようになっている。また、特許文献１では、携帯電話機の画面がどういう内容の情報か、具体的には、交通情報か動画か音楽情報かを車両用装置が識別し、画面の情報および車両の走行状態に応じて、車両の表示器に表示する携帯電話機の画面の大きさを変更したり、あるいは、非表示にしたりしている。この識別を車両用装置が行えるようにするために、携帯電話機側で識別用の情報が画像データに付加されている。

　また、携帯端末のアプリケーションプログラムを車両用機器にインストールしなくても、携帯端末の画面を車両用機器の表示器に表示でき、且つ、車両用機器側からの操作（たとえば画面のタッチ操作）により、携帯端末の操作を可能にする技術が提案されている。この技術として、たとえば、ターミナルモードという規格が知られている。なお、ターミナルモードは上記技術の一例であるが、本明細書ではターミナルモードを上記技術の総称の意味で用いる。

　ターミナルモードでは、車両用機器を、携帯端末の画面表示部および操作部として利用するものである。それ故、基本的には携帯端末のアプリケーションプログラムを車両用機器にインストールしなくてもよい。また、携帯端末から車両用機器に送信されてくる情報は、基本的には、画素毎の色情報（以下、画素情報）のみである。ターミナルモードでは、携帯端末のアプリケーションプログラム（以下、単にアプリケーション）を車両用機器にインストールしなくても、車両用機器は携帯端末の機能を利用できることから、車両用機器の処理負荷が軽減できる等の利点がある。

　前述のように、ターミナルモードでは、携帯端末から車両用機器に送信される情報は、基本的には画素情報のみであり、また、前述のように、携帯端末のアプリケーションプログラムは車両用機器にインストールされない。そのため、携帯端末のあるアプリケーションを実行し、そのアプリケーションの画面が車両用機器に表示されている状態で、そのアプリケーションに車両用機器が機能を付加することは困難である。

　たとえば、前述の特許文献１では、画像データに、その画像データの種別を識別するための識別用の情報が付加されて車両用装置に送信されるようになっている。しかし、ターミナルモードでは、このような識別用の情報は基本的には送信されないので、特許文献１のように、識別用の情報に基づいて、車両の表示器に表示する携帯電話機の画面の大きさを変更することはできない。

　また、近年、ナビゲーション機能（道路案内機能）を備えた携帯端末も多数知られていることから、携帯端末のナビゲーション画面をターミナルモードにより車両の表示器に表示することも考えられる。この場合、車両用ナビゲーション装置と同様に、走行中は、道路地図を表示しつつも、一部の機能（タッチスイッチ操作など）を制限することが好ましい。タッチスイッチ操作を制限する場合、車両用ナビゲーション装置であれば、道路地図の表示色はそのままで、タッチスイッチの色を、非作動状態であることを示す色に変更する（例えばトーンダウンさせる）などが行われている。しかし、ターミナルモードでは、前述のように、基本的には、画素情報のみが携帯端末から車両用機器に送信されるのであり、タッチスイッチであることを示すデータは送信されない。よって、ターミナルモードにおいては、従来の技術をそのまま適用して、車両用機器で、携帯端末の画面の一部を変更して表示することができない。

　その他にも、ターミナルモードにより携帯端末の画面を車両用機器に表示している状態で、携帯端末が実行しているアプリケーションに車両用機器側で種々の機能を付加したいことも考えられる。しかし、ターミナルモードでは、従来の技術をそのまま適用して、車両用機器側で、携帯端末が実行しているアプリケーションに例えば走行規制機能などの種々の機能を付加することができないという問題がある。

特開２００９－２８１９９１号公報

　本開示は、上記問題に鑑みてなされたものであり、その目的とするところは、外部機器から画素情報のみしか取得できないとしても、車両側で、外部機器が実行するアプリケーションに対して機能を付加することができる車両用装置、および、それら車両用装置と外部機器とを有する外部機器画面表示システムを提供することにある。

　本開示の第一の態様において、表示部を備えた外部機器と接続され、外部機器の表示部の各画素の画素情報を取得する車両用装置は、前記画素情報に基づいて、前記外部機器の表示部に表示されている画面を表示する車両用表示部と、前記画素情報に基づいて定まる画素関連画像情報と関連付けて制御内容を記憶している制御内容記憶装置と、前記画素情報に基づいて、前記画素関連画像情報を決定する画素関連画像情報決定装置と、その画素関連画像情報決定装置が決定した画素関連画像情報と、前記制御内容記憶装置の記憶内容とに基づいて制御内容を決定し、その決定した制御を行う制御装置とを有する。

　上記の車両用装置は、画素情報に基づいて制御内容を決定できるようにしているので、外部機器から画素情報のみしか取得できないとしても、車両側で、外部機器が実行するアプリケーションに対して機能を付加することができる。

　本開示の第二の態様において、車両用装置の車両用表示部に外部機器の表示部の画面を表示する外部機器画面表示システムは、第一の態様の車両用装置と、前記外部機器とを有する。前記画素関連図形情報は、前記車両用表示部に表示される図形の色の特徴である図形色特徴を含む。前記制御内容記憶装置は、前記図形色特徴と関連付けて制御内容を記憶する。前記外部機器は、前記制御内容記憶装置に記憶されている制御内容を行うための予め設定された図形を、前記図形色特徴を有するように前記表示部に描画させる。前記外部機器は、前記表示部の各画素の画素情報を、逐次、前記車両用装置に送信する。前記画素関連画像情報決定装置は、前記画素情報に基づいて定まる画面内での色の変化に基づいて、前記図形色特徴を決定する。

　このようにすれば、外部機器において、予め設定された図形が、車両用装置の制御内容記憶装置に記憶されている図形色特徴を有するように描画されることから、車両用装置は、図形色特徴の決定精度が向上するとともに、その図形色特徴と関連付けられている制御内容の実行精度が向上する。また、外部機器は、予め設定された図形を、車両用装置の制御内容記憶装置に記憶されている図形色特徴を有するように描画する以外は、従来のアプリケーションを変更する必要がないことから、アプリケーションの変更も少なくできる。

　本開示における上記あるいは他の目的、構成、利点は、下記の図面を参照しながら、以下の詳細説明から、より明白となる。図面において、
図1は、本開示が適用された外部機器画面表示システム１のシステム構成図であり、 図２は、制御装置が実行する制御内容を示すフローチャートであり、 図３は、抑制表示の一例を説明する図である。

　以下、本開示の実施形態を図面に基づいて説明する。図１は、本開示が適用された外部機器画面表示システム１のシステム構成図である。図１に示すように、この外部機器画面表示システム１は、携帯端末１０と車両用装置１００とを備えている。

　携帯端末１０は外部機器に相当するものであり、周知のスマートフォンやその他の携帯電話機、ＰＤＡ等が該当する。この携帯端末１０は端末表示部１１を備えており、また、図示しない内部にＣＰＵ、ＲＯＭ、ＲＡＭ等を備えている。そして、ＲＯＭには種々のアプリケーションプログラムが記憶されており、ＣＰＵによって、ＲＯＭに記憶されているアプリケーションプログラムが実行されることにより、端末表示部１１に種々の内容の画面が表示される。

　端末表示部１１には、携帯端末１０の種類が異なったり、また、実行されるアプリケーションが異なったりすることで、種々の画面が表示される。ただし、本実施形態では、車両用装置１００の記憶装置１１２に、走行規制対象ボタンとして記憶されているボタンについては、走行規制制御と関連付けられている色特徴を有するように描画されるようになっている。

　また、携帯端末１０は、有線通信および無線通信の少なくともいずれかにより、車両用装置１００との通信が可能となっている。有線接続としては、例えば、ＵＳＢケーブルによる通信があり、また、無線接続としては、例えば、Bluetooth（登録商標）規格による通信がある。携帯端末１０は、車両用装置１００と通信が確立した状態で、端末表示部１１に表示されている画面の各画素の画素情報（各画素の色を示す情報）を車両用装置１００に逐次送信する。

　車両用装置１００は、無線通信部１０２、有線通信部１０４、車両用表示部１０６、操作スイッチ１０８、車両情報取得部１１０、記憶装置１１２、制御装置１２０を備えている。無線通信部１０２は携帯端末１０との間で無線通信を行い、有線通信部１０４は携帯端末１０との間で有線通信を行う。なお、無線通信部１０２と有線通信部１０４のいずれか一方のみが備えられていてもよい。

　この通信部１０２、１０４により、携帯端末１０から送信される画素情報が受信され、その画素情報が制御装置１２０に出力される。制御装置１２０は、通信部１０２、１０４から供給される画素情報に基づいて、車両用表示部１０６に、端末表示部１１に表示されている画面（以下、端末画面という）を表示する。なお、車両用表示部１０６に表示される端末画面を、以下では、擬似端末画面という。擬似端末画面は、基本的には端末画面と同一であるが、表示部の画素数、表示部の大きさの違い、表示領域の縦横比の違いなどにより、端末画面全体に対して、共通の規則に基づいた座標変換が適宜行われて擬似端末画面とされる。また、後述するように、画素関連画像情報に基づいて、端末画面のうちの一部分を適宜修正して擬似端末画面とすることも行う。

　車両用表示部１０６は、車両の車室内において乗員から視認可能な位置に配置され、上述の擬似端末画面が表示される。例えば、周知のナビゲーション装置に備えられているディスプレイをこの車両用表示部１０６として利用することができる。

　操作スイッチ１０８は、この車両用装置１００を車両の乗員が操作するためのスイッチである。この操作スイッチ１０８には、車両用表示部１０６の表示面に重ねられたタッチスイッチ、或いは、表示面を遠隔操作する遠隔操作スイッチが含まれる。車両用表示部１０６に擬似端末画面が表示されている状態では、このタッチスイッチが接触操作されると、接触操作位置を示す情報が携帯端末１０に送信される。ただし、後述するように、本実施形態では、接触操作位置を示す情報が送信されない場合もある。携帯端末１０では、接触操作位置を示す情報が送信されてきた場合、その情報に基づいて端末表示部１１における対応位置を判断し、その対応位置が接触操作された場合と同じ処理を実行する。

　車両情報取得部１１０は、車両用装置１００が搭載されている車両の車両情報を、車内ＬＡＮ等を介して車両内の他の機器、センサから取得する。取得する車両情報には、車両の走行状態（すなわち、車両が走行中かどうか）を示す走行状態情報が含まれる。この走行状態情報とは、具体的には、車速、シフトポジション、車両の位置などがある。

　記憶装置１１２は、制御内容記憶手段として機能するものであり、画素関連画像情報と関連付けて制御内容が記憶されている。この画素関連画像情報は、携帯端末１０から送信されてくる画素情報に基づいて定めることができる情報であって、端末画面の何らかの情報を示すものである。この画素関連画像情報には、画素関連図形情報と動画存否情報とが含まれる。画素関連図形情報は端末画面内の図形の表示上の特徴を示す情報であり、動画存否情報は、端末画面内に動画が存在しているか否かを示す情報である。また、画素関連図形情報には、図形色特徴、規制図形領域が含まれる。

　図形色特徴は、端末画面内の図形の色の特徴を示すものであり、具体的には、図形の外形色や図形の内部色である。規制図形領域は、車両用表示部１０６に表示される走行規制対象図形の表示領域を示すものである。また、この規制図形領域としては、図形がボタンであるもの、すなわち、規制ボタン領域が含まれる。それ以外に、図形として、文字や文字以外の記号も含まれる。さらに、画素関連図形情報には、図形色特徴、規制図形領域以外にも、端末画面内の図形の位置、大きさも含まれる。

　記憶装置１１２には、上述した種々の画素関連画像情報に関連付けて制御内容が記憶されている。次に、その制御内容について説明する。たとえば、規制図形領域と関連づけて記憶されている制御内容としては次の（１）、（２）に示す制御内容があり、また、動画存否情報と関連付けて記憶されている制御内容としては（３）に示す制御内容がある。

　（１）は、車両が走行中である場合には、擬似端末画面の規制図形領域を、端末画面に表示されている走行規制対象図形の表示領域よりも視認性を低下させた抑制表示とするという制御内容である。視認性を低下させる程度は適宜設定すればよいが、抑制表示には、全く表示しないという態様も含まれる。

　（２）は、規制ボタン領域と関連づけて記憶されている制御内容である。その制御内容は、車両が走行中でない場合には、擬似端末画面の規制ボタン領域が接触操作されると、接触操作位置を示す情報を携帯端末１０へ送信するが、車両が走行中である場合には、擬似端末画面の規制ボタン領域が車両用表示部１０６の表示面に重ねられたタッチスイッチにより接触操作されても、接触操作位置を示す情報を携帯端末１０に送信しないという制御内容である。

　（３）は、動画存否情報と関連づけて記憶されている制御内容である。その制御内容は、車両が走行中であって、動画存否情報が、端末画面に動画が存在していることを示す情報である場合には、擬似端末画面には動画を表示しないという制御内容である。動画を表示しない場合、動画表示領域には所定の静止画像を表示する。

　制御装置１２０は、図示しない内部に、ＣＰＵ、ＲＯＭ，ＲＡＭ等を備えたコンピュータであり、ＣＰＵが、ＲＯＭ、ＲＡＭ等の機能を利用しつつ処理を行うことで、この制御装置１２０は、画素関連画像情報決定部１２１、車両走行状態決定部１２２、表示部制御部１２３として機能する。

　画素関連画像情報決定部１２１は、画素関連情報決定手段に相当するものであり、通信部１０２、１０４から供給される画素情報に基づいて、端末画面から、記憶装置１１２に制御内容と関連づけて記憶されている種々の画素関連画像情報を決定する。

　前述のように、画素関連画像情報には画像関連図形情報があり、この画像関連図形情報には、端末画面内の図形の色の特徴を示す図形色特徴がある。図形色特徴の決定に際しては、まず、画面内において図形が表示されている領域を決定する必要がある。この決定には、周知の種々の画像認識技術を利用することができ、たとえば、画面内で同一の色が連続している部分を１つの図形として認識する。また、そのようにして認識した図形が、線状であって閉じた形状となっている場合には、図形の枠であると認識し、その枠およびその内部を一つの図形と認識する。図形色特徴は、これらのようにして認識した図形の枠やその内部が何色であるかを示すものである。なお、図形には複数の色が使用されていることも多いが、この場合、図形内での比率が所定値以上の色を図形色特徴とする。

　また、画像関連図形情報には、端末画面内の図形の形状の特徴を示す図形形状特徴がある。図形形状特徴の決定に際しては、上述のように周知の種々の画像認識技術を利用することができる。また、図形形状特徴の決定は、端末画面から文字認識処理により読み取った文字情報と、予め記憶しておいた文字情報とに基づいて決定してもよい。具体的には端末画面に表示された画像情報より読み取られた文字情報が予め記憶された文字情報と一致する場合には、当該端末画面における文字情報、或いは、文字情報が描画されている領域の周囲の一定領域、或いは、周囲に枠線がある場合には当該枠線の内側領域を図形形状特徴として決定する。

　また、前述のように、画像関連図形情報には規制図形領域も含まれる。この規制図形領域の決定は、たとえば、予め走行規制対象図形を記憶しておき、その予め記憶しておいた走行規制対象図形とのパターンマッチングにより、端末画面から規制図形領域を決定する。なお、走行規制対象図形の例としては、前述のように、文字や、文字以外の記号、走行規制対象ボタンがある。なお、規制図形領域の決定は、端末画面から文字認識処理により読み取った文字情報と、予め記憶しておいた規制文字情報とに基づいて決定してもよい。具体的には端末画面に表示された画像情報より読み取られた文字情報が予め記憶された規制文字情報と一致する場合には、当該端末画面における文字情報が描画されている領域の周囲の一定領域、或いは、周囲に枠線がある場合には当該枠線の内側領域を規制図形領域として決定する。また、規制図形領域の決定方法としては、他に、走行規制対象図形の図形色特徴を記憶しておき、端末画面からその色特徴を探索することで、規制図形領域を決定する方法もある。具体的には、走行規制対象図形の外形色あるいは内部色を記憶しておき、端末画面から、走行規制対象図形の外形色あるいは内部色が使用されている領域を探索することで規制図形領域を決定する。

　また、画素関連画像情報には、端末画面に動画が含まれているか否かを示す動画存否情報がある。この動画存否情報の決定は次のようにして行う。すなわち、同一の画素に対する画素情報が短時間で変化しているか否かにより、端末画面に動画が含まれているか否を決定する。

　車両走行状態決定部１２２は、車両情報取得部１１０が取得した走行状態情報を用いて、車両が走行中であるか走行中でないかを逐次判断する。表示部制御部１２３には、通信部１０２、１０４から画素情報が逐次供給され、画素関連画像情報決定部１２１から画素関連画像情報が逐次供給され、車両走行状態決定部１２２から、車両が走行中であるか走行中でないかを判断した判断結果が逐次供給される。この表示部制御部１２３は制御手段に相当する。

　表示部制御部１２３は、通信部１０２、１０４から逐次供給される画素情報に基づいて、車両用表示部１０６に擬似端末画面を表示する。この擬似端末画面は、基本的には、端末画面全体を共通の規則に基づいて修正した画面である。ただし、記憶装置１１２に記憶されている制御内容と関連付けて記憶されている画素関連画像情報が端末画面に含まれている場合には、制御内容に従った修正を行った擬似端末画面を車両用表示部１０６に表示する。

　また、表示部制御部１２３は、車両用表示部１０６の表示内容制御だけでなく、車両用表示部１０６が操作スイッチ１０８により接触操作された場合の制御も行う。すなわち、擬似端末画面が接触操作されたことを示す信号が操作スイッチ１０８から供給されると、接触操作位置を示す情報を携帯端末１０へ送信する。ただし、記憶装置１１２には、前述の（２）の制御内容が記憶されているので、車両が走行中である場合には、擬似端末画面の規制ボタン領域が車両用表示部１０６の表示面に重ねられたタッチスイッチにより接触操作されても、接触操作位置を示す情報を携帯端末１０に送信しない。

　次に、制御装置１２０が実行する制御内容を図２に示すフローチャートに基づいて説明する。このフローチャートは、車両用装置１００と携帯端末１０との通信が確立しており、携帯端末１０から、逐次、画素情報が送信されている状態で実行される。

　まず、ステップＳ１では、画像データ（画素情報）を受信部１０２、１０４から取得する。この処理は、画素関連画像情報決定部１２１が行う。続くステップＳ２、Ｓ３は、車両走行状態決定部１２２の処理であり、ステップＳ２では、車両の走行状態を車両情報取得部１１０から取得する。そして、ステップＳ３では、ステップＳ２で取得した走行状態に基づいて、車両が走行中かどうかを判断する。この判断が否定判断である場合にはステップＳ４へ進み、肯定判断である場合にはステップＳ７へ進む。

　ステップＳ４～Ｓ６は表示部制御部１２３の処理であり、ステップＳ４では、ステップＳ１で取得した画像データを用いて、携帯端末１０の端末表示部１１に表示されている画面を、車両用表示部１０６に再生表示する。ステップＳ５では、操作スイッチ１０８により画面操作があったか否かを判断する。この判断が否定判断であった場合にはステップＳ１へ戻る。一方、肯定判断であった場合にはステップＳ６へ進み、接触操作位置を示す情報を通信部１０２、１０４を介して携帯端末１０へ送信する。その後、ステップＳ１へ戻る。

　次に、走行中である場合に実行するステップＳ７以下を説明する。ステップＳ７、Ｓ８は、画素関連画像情報決定部１２１の処理である。ステップＳ７では、ステップＳ１で取得した画像データ内に走行規制対象図形があるか否かを判断し、走行規制対象図形があった場合には、さらに、その図形の表示領域、すなわち、規制図形領域も決定する。なお、規制図形領域には規制ボタン領域も含まれる。ステップＳ８では、その画像データ内に動画があるかないかを判断する。

　ステップＳ９～Ｓ１１は表示部制御部１２３の処理であり、ステップＳ９では、ステップＳ７、Ｓ８の判断結果に基づいて、走行中用に修正した擬似端末画面を車両用表示部１０６に表示する。具体的には、ステップＳ７で走行規制対象図形があると判断している場合には、その走行規制対象図形が表示されている領域である規制図形領域を、視認性を低下させた抑制表示とする。

　ここで、抑制表示の一例を説明する。図３（Ａ）には、端末表示部１１の画面の一部を概念的に示している。図３（Ａ）には、ボタンＡとボタンＢとが示されている。また、ボタンＢは、携帯端末１０において走行規制対象ボタンとして記憶されており、走行規制対象ボタンであることにより、走行規制制御と関連付けられている色特徴として所定の走行規制色の外枠Ｗを備えたボタンとなっている。

　携帯端末１０からは画素情報のみが車両用装置１００に送信されるが、この走行規制色の外枠ＷをボタンＢが備えることで、車両用装置１００は、簡単な処理で且つ確実に規制ボタン領域を決定することができる。車両用装置１００は、車両が駐停車中である場合（走行中でない場合）には、図３（Ｂ）に示すように、車両用表示部１０６に、端末画面を再現した擬似端末画面を表示する。一方、車両が走行中である場合には、図３（Ｃ）に示すように、ボタンＢが、端末表示部１１のボタンＢよりも視認性が低下した抑制表示となっている擬似端末画面を表示する。

　図２に説明を戻す。ステップＳ１０では、操作スイッチ１０８により画面操作があったか否かを判断する。この判断が否定判断であった場合にはステップＳ１へ戻る。一方、肯定判断であった場合にはステップＳ１１へ進む。ステップＳ１１では、接触操作位置が規制ボタン領域であるか否かをさらに判断する。この判断が否定判断である場合にはステップＳ６へ進み、接触操作位置を示す情報を通信部１０２、１０４を介して携帯端末１０へ送信する。一方、ステップＳ１１の判断が肯定判断である場合には、直ちにステップＳ１へ戻る。よって、接触操作位置が規制ボタン領域である場合には接触操作位置を示す情報は携帯端末１０へ送信されないことになる。

　以上、説明した本実施形態によれば、車両用装置１００は、記憶装置１１２に、図形色特徴や動画存否情報など、画素情報に基づいて定まる画像情報である画素関連画像情報と関連付けて制御内容を記憶している。また、画素関連画像情報決定部１２１は、携帯端末１０から取得した画素情報に基づいて画素関連画像情報を決定する。そして、表示部制御部１２３は、画素関連画像情報決定部１２１が決定した画素関連画像情報と、記憶装置１１２に記憶されている記憶内容とに基づいて制御内容を決定して制御を行う。このように、画素情報に基づいて制御内容を決定できるようにしているので、携帯端末１０から画素情報のみしか取得できないとしても、車両用装置１００は、携帯端末１０が実行するアプリケーションに対して、前述の（１）～（３）に例示したような機能を付加することができる。

　前述の実施形態では、走行規制対象ボタンの色特徴として、走行規制対象色の外枠Ｗを示したが、走行規制対象ボタンの色特徴を図形の内部の色としてもよい。

　また、前述の実施形態では、携帯端末１０は、車両用装置１００の記憶装置１１２に走行規制対象ボタンとして記憶されているボタンについては、走行規制制御と関連付けられている色特徴を有するように描画していた。しかし、このようにしないで、携帯端末１０は車両用装置１００において走行規制が行われるか図形であるかどうかを考慮することなく図形を描画してもよい。この場合には、車両用装置１００において、端末画面内の図形の種々の特徴からその図形の内容を判断して、走行規制を行うかどうかを決定する。上記図形の種々の特徴としては、図形が文字や文字以外の記号であるか否かや、さらには、どのような文字・記号であるかも含まれる。

　また、前述の実施形態では、規制図形領域と関連づけて記憶されている制御内容として（１）、（２）を示したが、いずれか一方のみを規制図形領域と関連づけて記憶してもよいし、また、その他の制御を規制図形領域と関連づけて記憶してもよい。その他の制御としては、特定の文字・記号を抑制表示するなどがある。

　上記の開示は、下記の態様を含む。

　本開示の第一の態様において、表示部を備えた外部機器と接続され、外部機器の表示部の各画素の画素情報を取得する車両用装置は、前記画素情報に基づいて、前記外部機器の表示部に表示されている画面を表示する車両用表示部と、前記画素情報に基づいて定まる画素関連画像情報と関連付けて制御内容を記憶している制御内容記憶装置と、前記画素情報に基づいて、前記画素関連画像情報を決定する画素関連画像情報決定装置と、その画素関連画像情報決定装置が決定した画素関連画像情報と、前記制御内容記憶装置の記憶内容とに基づいて制御内容を決定し、その決定した制御を行う制御装置とを有する。

　上記の車両用装置は、画素情報に基づいて制御内容を決定できるようにしているので、外部機器から画素情報のみしか取得できないとしても、車両側で、外部機器が実行するアプリケーションに対して機能を付加することができる。なお、上記画素関連画像情報には、画素関連図形情報、動画存否情報が含まれる。また、画素関連図形情報には、図形色特徴、規制図形領域、規制ボタン領域が含まれる。さらに、図形色特徴には図形の外形色が含まれる。

　代案として、前記画素関連画像情報は、前記車両用表示部に表示される図形の情報である画素関連図形情報を含んでもよい。前記画素関連画像情報決定装置は、前記画素情報に基づいて定まる画面内での色の変化に基づいて、前記画素関連図形情報を決定する。前記制御内容記憶装置は、前記画素関連図形情報と関連づけて制御内容を記憶している。よって、外部機器から画素情報のみしか取得できないとしても、車両用表示部に表示される図形に基づいて、車両側で、外部機器が実行するアプリケーションに対して機能を付加することができる。

　代案として、前記画素関連図形情報は、前記車両用表示部に表示される図形の色の特徴である図形色特徴を含んでもよい。前記制御内容記憶装置は、前記図形色特徴と関連付けて制御内容を記憶する。前記画素関連画像情報決定装置は、前記画素情報に基づいて定まる画面内での色の変化に基づいて、前記図形色特徴を決定する。

　代案として、車両用装置は、さらに、前記車両が走行中か否かを判断する車両走行状態判断装置を備えてもよい。前記画素関連図形情報は、前記外部機器の表示部に表示される走行規制対象図形を示す規制図形領域に関する情報を含む。前記画素関連画像情報決定装置は、前記画素情報に基づいて定まる画面内での色の変化に基づいて、前記規制図形領域を決定するものである。前記制御内容記憶装置は、前記規制図形領域と関連づけて制御内容を記憶している。当該制御内容は、前記車両走行状態判断装置により車両が走行中であると判断されている場合には、前記規制図形領域を抑制表示する制御を含む。前記規制図形領域を抑制表示する制御において、車両用表示部は、前記外部機器の表示部に表示されている前記走行規制対象図形の視認性よりも低い視認性を有する前記規制図形領域を表示する。このようにすれば、外部機器から画素情報のみしか取得できないとしても、車両が走行中である場合に、車両用表示部に表示される走行規制対象図形の表示領域を抑制表示とすることができる。

　代案として、車両用装置は、さらに、前記車両が走行中か否かを判断する車両走行状態判断装置を備えてもよい。前記画素関連図形情報は、前記車両用表示部に表示される走行規制対象ボタンを示す規制ボタン領域に関する情報を有する。前記画素関連画像情報決定装置は、前記画素情報に基づいて定まる画面内での色の変化に基づいて、前記規制ボタン領域を決定するものである。前記制御内容記憶装置は、前記規制ボタン領域と関連づけて制御内容を記憶している。当該制御内容は、前記車両走行状態判断装置により車両が走行中でないと判断されている場合には、前記規制ボタン領域が接触操作されると、接触操作位置を示す情報を前記外部機器へ送信する制御を含む。当該制御内容は、さらに、前記車両走行状態判断装置により車両が走行中であると判断されている場合には、前記規制ボタン領域が接触操作されても、接触操作位置を示す情報を送信しない制御を含んでいる。このようにすれば、外部機器から画素情報のみしか取得できないとしても、車両が走行中である場合に、車両用表示部を介して走行規制対象ボタンの操作を行うことを禁止することができる。

　代案として、前記画素関連画像情報は、前記車両用表示部に表示される画面に動画が存在しているか否かを示す動画存否情報を含んでもよい。前記画素関連画像情報決定装置は、同一の画素に対する画素情報の時間的な変化に基づいて、前記動画存否情報を決定する。前記制御内容記憶装置は、前記動画存否情報と関連づけて制御内容を記憶している。よって、外部機器から画素情報のみしか取得できないとしても、車両用表示部に動画が表示されるか否かに基づいて、車両側で、外部機器が実行するアプリケーションに対して機能を付加することができる。

　代案として、車両用装置は、さらに、前記車両が走行中か否かを判断する車両走行状態判断装置を備えてもよい。当該制御内容は、前記車両走行状態判断装置により車両が走行中であると判断され、かつ、前記動画存否情報が、前記車両用表示部に表示される画面に動画が存在していることを示している場合、前記車両用表示部に動画を表示しない制御を含んでいる。このようにすれば、外部機器から画素情報のみしか取得できないとしても、車両が走行中である場合に、車両用表示部に動画を表示しないようにすることができる。

　本開示の第二の態様において、車両用装置の車両用表示部に外部機器の表示部の画面を表示する外部機器画面表示システムは、第一の態様の車両用装置と、前記外部機器とを有する。前記画素関連図形情報は、前記車両用表示部に表示される図形の色の特徴である図形色特徴を含む。前記制御内容記憶装置は、前記図形色特徴と関連付けて制御内容を記憶する。前記外部機器は、前記制御内容記憶装置に記憶されている制御内容を行うための予め設定された図形を、前記図形色特徴を有するように前記表示部に描画させる。前記外部機器は、前記表示部の各画素の画素情報を、逐次、前記車両用装置に送信する。前記画素関連画像情報決定装置は、前記画素情報に基づいて定まる画面内での色の変化に基づいて、前記図形色特徴を決定する。

　このようにすれば、外部機器において、予め設定された図形が、車両用装置の制御内容記憶装置に記憶されている図形色特徴を有するように描画されることから、車両用装置は、図形色特徴の決定精度が向上するとともに、その図形色特徴と関連付けられている制御内容の実行精度が向上する。また、外部機器は、予め設定された図形を、車両用装置の制御内容記憶装置に記憶されている図形色特徴を有するように描画する以外は、従来のアプリケーションを変更する必要がないことから、アプリケーションの変更も少なくできる。

　代案として、前記制御内容記憶装置は、図形の外形色を前記図形色特徴とし、その外形色と関連付けて制御内容を記憶してもよい。前記外部機器は、前記車両用装置で所定の制御を行うための予め設定された図形を、前記制御内容記憶装置に記憶されている外形色を有するように前記表示部に描画させる。前記外部機器は、前記表示部の各画素の画素情報を、逐次、前記車両用装置に送信する。前記画素関連画像情報決定装置は、前記画素情報に基づいて定まる画面内での色の変化に基づいて、前記外形色を決定する。この場合、外部機器は、予め設定された図形を、車両用装置の制御内容記憶装置に記憶されている外形色を有するように描画することになるが、これは、従来のアプリケーションにおいて描画していた図形の外形色を変更し、あるいは、外形色の枠を追加するのみである。よって、従来のアプリケーションからの変更を特に少なくすることができる。

　本開示は、好適な実施例を参照して開示されたが、本開示が当該好適な実施例やその構造に限られるわけではないと理解される。本開示は、種々の変形例や等価な配列を包含することを意図している。加えて、単に一要素を多くあるいは少なく含むような、好適な、あるいは、他の種々の組み合わせや形態もまた、本開示の範疇と射程内に入る。

Claims (9)

1. 　表示部（11）を備えた外部機器（10）と接続され、外部機器（10）の表示部（11）の各画素の画素情報を取得する車両用装置は、
   　前記画素情報に基づいて、前記外部機器（10）の表示部（11）に表示されている画面を表示する車両用表示部（106）と、
   　前記画素情報に基づいて定まる画素関連画像情報と関連付けて制御内容を記憶している制御内容記憶装置（112）と、
   　前記画素情報に基づいて、前記画素関連画像情報を決定する画素関連画像情報決定装置（121）と、
   　その画素関連画像情報決定装置（121）が決定した画素関連画像情報と、前記制御内容記憶装置（112）の記憶内容とに基づいて制御内容を決定し、その決定した制御を行う制御装置（123）とを有する。
2. 　請求項１に記載の車両用装置において、
   　前記画素関連画像情報は、前記車両用表示部（106）に表示される図形の情報である画素関連図形情報を含み、
   　前記画素関連画像情報決定装置（121）は、前記画素情報に基づいて定まる画面内での色の変化に基づいて、前記画素関連図形情報を決定し、
   　前記制御内容記憶装置（112）は、前記画素関連図形情報と関連づけて制御内容を記憶している。
3. 　請求項２に記載の車両用装置において、
   　前記画素関連図形情報は、前記車両用表示部（106）に表示される図形の色の特徴である図形色特徴を含み、
   　前記制御内容記憶装置（112）は、前記図形色特徴と関連付けて制御内容を記憶し、
   　前記画素関連画像情報決定装置（121）は、前記画素情報に基づいて定まる画面内での色の変化に基づいて、前記図形色特徴を決定する。
4. 　請求項２に記載の車両用装置は、さらに、
   　前記車両が走行中か否かを判断する車両走行状態判断装置（122）を備え、
   　前記画素関連図形情報は、前記外部機器（10）の表示部（11）に表示される走行規制対象図形を示す規制図形領域に関する情報を含み、
   　前記画素関連画像情報決定装置（121）は、前記画素情報に基づいて定まる画面内での色の変化に基づいて、前記規制図形領域を決定するものであり、
   　前記制御内容記憶装置（112）は、前記規制図形領域と関連づけて制御内容を記憶しており、
   　当該制御内容は、前記車両走行状態判断装置（122）により車両が走行中であると判断されている場合には、前記規制図形領域を抑制表示する制御を含み、
   　前記規制図形領域を抑制表示する制御において、車両用表示部（106）は、前記外部機器（10）の表示部（11）に表示されている前記走行規制対象図形の視認性よりも低い視認性を有する前記規制図形領域を表示する。
5. 　請求項２に記載の車両用装置は、さらに、
   　前記車両が走行中か否かを判断する車両走行状態判断装置（122）を備え、
   　前記画素関連図形情報は、前記車両用表示部（106）に表示される走行規制対象ボタンを示す規制ボタン領域に関する情報を有し、
   　前記画素関連画像情報決定装置（121）は、前記画素情報に基づいて定まる画面内での色の変化に基づいて、前記規制ボタン領域を決定するものであり、
   　前記制御内容記憶装置（112）は、前記規制ボタン領域と関連づけて制御内容を記憶しており、
   　当該制御内容は、前記車両走行状態判断装置（122）により車両が走行中でないと判断されている場合には、前記規制ボタン領域が接触操作されると、接触操作位置を示す情報を前記外部機器（10）へ送信する制御を含み、
   　当該制御内容は、さらに、前記車両走行状態判断装置（122）により車両が走行中であると判断されている場合には、前記規制ボタン領域が接触操作されても、接触操作位置を示す情報を送信しない制御を含んでいる。
6. 　請求項１～５のいずれか１項に記載の車両用装置において、
   　前記画素関連画像情報は、前記車両用表示部（106）に表示される画面に動画が存在しているか否かを示す動画存否情報を含み、
   　前記画素関連画像情報決定装置（121）は、同一の画素に対する画素情報の時間的な変化に基づいて、前記動画存否情報を決定し、
   　前記制御内容記憶装置（112）は、前記動画存否情報と関連づけて制御内容を記憶している。
7. 　請求項６に記載の車両用装置は、さらに、
   　前記車両が走行中か否かを判断する車両走行状態判断装置（122）を備え、
   　当該制御内容は、前記車両走行状態判断装置（122）により車両が走行中であると判断され、かつ、前記動画存否情報が、前記車両用表示部（106）に表示される画面に動画が存在していることを示している場合、前記車両用表示部（106）に動画を表示しない制御を含んでいる。
8. 　車両用装置の車両用表示部（106）に外部機器（10）の表示部（11）の画面を表示する外部機器画面表示システムは、
   　請求項２に記載の車両用装置（100）と、
   　前記外部機器（10）とを有し、
   　前記画素関連図形情報は、前記車両用表示部（106）に表示される図形の色の特徴である図形色特徴を含み、
   　前記制御内容記憶装置（112）は、前記図形色特徴と関連付けて制御内容を記憶し、
   　前記外部機器（10）は、前記制御内容記憶装置（112）に記憶されている制御内容を行うための予め設定された図形を、前記図形色特徴を有するように前記表示部（11）に描画させ、
   　前記外部機器（10）は、前記表示部（11）の各画素の画素情報を、逐次、前記車両用装置（100）に送信し、
   　前記画素関連画像情報決定装置（121）は、前記画素情報に基づいて定まる画面内での色の変化に基づいて、前記図形色特徴を決定する。
9. 　請求項８に記載の外部機器画面表示システムにおいて、
   　前記制御内容記憶装置（112）は、図形の外形色を前記図形色特徴とし、その外形色と関連付けて制御内容を記憶し、
   　前記外部機器（10）は、前記車両用装置で所定の制御を行うための予め設定された図形を、前記制御内容記憶装置（112）に記憶されている外形色を有するように前記表示部（11）に描画させ、
   　前記外部機器（10）は、前記表示部（11）の各画素の画素情報を、逐次、前記車両用装置（100）に送信し、
   　前記画素関連画像情報決定装置（121）は、前記画素情報に基づいて定まる画面内での色の変化に基づいて、前記外形色を決定する。
    
    

Images