JP6643461B2 - 広告掲示板ディスプレイ、及び、車両乗員のデモグラフィック情報のセンシングにより広告を選択的に表示する方法 - Google Patents

Description

関連出願
本出願は、２０１５年９月４日出願の米国特許仮出願第６２／２１４，４１６号明細書（Ｕ．Ｓ．Ｐｒｏｖｉｓｉｏｎａｌ Ａｐｐｌｉｃａｔｉｏｎ Ｎｏ．６２／２１４，４１６）の利益を請求するものであり、ここでこの文献を参照したことにより、その開示内容全体が本明細書に取り込まれたものとする。

背景技術
本発明のいくつかの実施形態は、広告掲示板ディスプレイシステムに関する。このシステムは、車両の車内乗員センシングシステムからデータを受信し、このデータを分析して、車両乗員の方に向けられた広告掲示板ディスプレイに広告を提示する。

電子広告掲示板ディスプレイのコンセプトは以前より知られている。電子広告掲示板ディスプレイによって、周期的に変化する様々な広告が提示される。しかしながら、それらの広告は、広告主による支払いに基づいて選択されるにすぎず、広告掲示板ディスプレイを眺める位置にいる車両内の乗員について何らかの情報ももたずに、又は、それらの乗員との関連なく、表示されるのである。

概要
車両を含め、製品は、特定の顧客のデモグラフィクスに合わせてカスタマイズされることが多くなっている。多くの適用事例は、車両内の乗員各々のデモグラフィック（人口統計学的属性）プロフィール（ｄｅｍｏｇｒａｐｈｉｃ ｐｒｏｆｉｌｅ）について改善された情報から、利益を得ることができる。例えば、乗員のデモグラフィック（人口統計学的属性）情報（ｄｅｍｏｇｒａｐｈｉｃ ｉｎｆｏｒｍａｔｉｏｎ）を用いて、車両をそれらのユーザのニーズに合わせてデザインすることができ、自動車システムは乗員のニーズとアクションとに基づき応答及び調整可能である。車両内の乗員数及び乗員のプロフィールを特定することに加えて、広告（例えば、広告掲示板）に対するリアクションなど、外部からの刺激に対する乗員各々のリアクションを分析するのも、役に立つであろう。それによって広告主は、広告の対象をより的確に乗員に絞ることができる。

対象が絞られた車両外の電子ディスプレイを用いて、マーケティング担当者及び広告主を支援するために、データマイニング及び機械学習を通して、緻密なプロフィールがモデリングされ分析される。

１つの実施形態において、本発明によれば、道路の近傍に配置された広告掲示板ディスプレイに接近中の１つ又は複数の車両内の乗員に向けて、広告掲示板ディスプレイシステムにより広告を選択的に表示する方法が提供される。本発明に係る方法は、乗員数、乗員のデモグラフィック情報及び車両ポジション情報を、広告掲示板ディスプレイに接近中の１つ又は複数の車両の車内乗員センシングシステムから受信することと、乗員に関連する広告を特定するために、デモグラフィック情報及び乗員数を処理することと、広告掲示板ディスプレイに接近中の１つ又は複数の車両に対して、関連する広告を広告掲示板ディスプレイにより選択的に表示することと、を含む。

別の実施形態によれば、広告掲示板ディスプレイシステムは、乗員のデモグラフィック情報を取得するための１つ又は複数の車両における車内乗員センシングシステムの動作に応答して、１つ又は複数の車両内の乗員に向けて、広告掲示板ディスプレイに広告を提示する。道路の近傍に配置された広告掲示板ディスプレイのほか、広告掲示板ディスプレイシステムは、プロセッサ及びメモリを通信ユニットと共に備えたディスプレイコントローラを含み、通信ユニットによって、ディスプレイコントローラと、１つ又は複数の車両の車内センシングシステムとの間の通信が提供される。プロセッサは、通信ユニットを介して、１つ又は複数の車両内にいる乗員数と、１つ又は複数の車両内にいる乗員各々のデモグラフィック情報と、車両ポジション情報とを、車内乗員センシングシステムから受信するように構成されており、車内乗員センシングシステムは、１つ又は複数の車両各々に配置されたビデオカメラを含んでいる。少なくともデモグラフィック情報及び車両ポジション情報に応答して、プロセッサは、１つ又は複数の車両の乗員のデモグラフィック情報に合わせて対象が絞られた広告を選択的に表示するために、広告掲示板ディスプレイに出力を供給する。

さらに別の実施形態において、本発明によれば、道路の近傍に配置された広告掲示板ディスプレイに接近中の１つ又は複数の車両内の乗員に対して、広告掲示板ディスプレイシステムの広告掲示板ディスプレイに広告を選択的に表示する方法が提供される。この方法は、広告掲示板ディスプレイに接近中の車両の車内乗員センシングシステムにて、車両内の乗員の顔を含むビデオデータを取得するために、ビデオカメラを操作することを含む。ビデオデータは電子制御ユニットへ供給される。本発明に係る方法は、ＧＰＳ信号をセンシングして車両の車両ポジション情報を特定することと、ビデオデータから車両内にいる乗員数を検出することと、乗員の顔のビデオデータからデモグラフィック情報を特定することと、を含む。本発明に係る方法はさらに、車両ポジション情報、乗員数及び乗員のデモグラフィック情報を、車内乗員センシングシステムのメモリに記憶することと、乗員数、デモグラフィック情報及び車両ポジション情報をワイヤレス伝送することと、を含む。さらに、本発明に係る方法は、広告掲示板ディスプレイシステムのディスプレイコントローラにて、広告掲示板ディスプレイに接近中の車両の車内乗員センシングシステムによりワイヤレス伝送された乗員数、乗員のデモグラフィック情報及び車両ポジション情報を受信することを含む。広告掲示板ディスプレイシステムは、デモグラフィック情報及び乗員数を処理して、乗員に関連する広告を特定し、接近中の車両の乗員に向けて、関連する広告を広告掲示板ディスプレイに選択的に表示する。

詳細な説明及び添付の図面を考察すれば、本発明のさらに別の態様が明らかになるであろう。

道路と、いくつかの実施形態による広告掲示板ディスプレイシステムとを示す図である。 いくつかの実施形態による車内乗員センシングシステムを示すブロック図である。 いくつかの実施形態による電子コントローラを示すブロック図である。 いくつかの実施形態による車両のダッシュボード及びフロントガラスを示す前面図である。 いくつかの実施形態による車両乗員に関するデータを検出する方法を示すフローチャートである。 いくつかの実施形態による、音声認識を含む車両乗員に関するマーケティングメタデータを検出する方法を示すフローチャートである。 いくつかの実施形態による、乗員メタデータを使用した広告掲示板ディスプレイシステムとのインタラクション方法を示すフローチャートである。

詳細な説明
本発明のいくつかの実施形態について詳細に説明する前に、本発明はその適用に関して、以下の説明又は以下の図面で示す構造の詳細及び構成要素の配置に限定されるものではない、ということを理解されたい。本発明は、他の実施形態でも実現可能であるし、多様な手法で実施又は実行することができる。

さらにここで理解しておきたいのは、本願で採用した表現や用語は、説明を目的としたものにすぎず、限定とみなされるものではないことである。本願で用いられている「含む」、「から成る」又は「有する」及びそれらの変形は、そこに挙げた項目及びそれらと同等の項目並びに付加的な項目を包含することを意味する。用語「取り付けられた」、「接続された」及び「結合された」は、広い意味合いで用いられるものであって、直接的及び間接的な取り付け、接続及び結合を包含する。さらに、「接続された」及び「結合された」は、物理的又は機械的な接続又は結合に限定されるものではなく、直接的であれ間接的であれ、電気的な接続又は結合も含めることができる。また、電子的な通信手段及び通知手段を、優先接続、ワイヤレスコネクション等を含む任意の公知の手段を用いて実施することもできる。

さらに、ハードウェア及びソフトウェアをベースとする複数の装置、並びに、複数の種々の構造構成要素を使用して実施形態を実現してもよい、ということも述べておきたい。これに加えて理解されたいのは、実施形態は、ハードウェア、ソフトウェア及び電子構成要素又はモジュールを含むことができ、これらは説明の都合上、構成要素の大半がハードウェアだけで実現されているかのように描かれ説明されている場合もある、ということである。しかしながら、当業者であれば、この詳細な説明を読むことで認識することができるように、少なくとも１つの実施形態において、エレクトロニクスベースの実施形態の態様を、１つ又は複数のプロセッサにより実行可能な（例えば、非一時的コンピュータ可読媒体に格納された）ソフトウェアとして実現することができる。よって、ハードウェア及びソフトウェアをベースとする複数の装置、並びに、複数の種々の構造構成要素を活用して実施形態を実現してもよい、ということも述べておきたい。さらに例えば、本明細書に記載された「処理ユニット」及び「コントローラ」は、標準的な処理構成要素を含むことができ、例えば、１つ又は複数のプロセッサ、非一時的コンピュータ可読媒体を含む１つ又は複数のメモリモジュール、１つ又は複数の入／出力インタフェース、及び、各構成要素を接続する種々のコネクション（例えば、システムバス）を含むことができる。

外部の広告掲示板ディスプレイシステム

図１には、車両１２を含む道路１０と、その近傍の広告掲示板ディスプレイシステム２０とが示されている。道路１０の近傍の広告掲示板ディスプレイシステム２０は、ディスプレイコントローラ２２を備えており、これにはメモリ２６及びディスプレイドライバ２８と通信を行うプロセッサ２４が含まれている。ディスプレイドライバ２８は、道路１０に隣接して配置された広告掲示板ディスプレイ３０と接続されているか、又は、このディスプレイと通信する。プロセッサ２４は、車両１２等と通信するための通信ユニット３４と接続されている。広告掲示板ディスプレイ３０は、様々な広告画像を選択的に表示する。１つの実施形態によれば、広告掲示板ディスプレイ３０は、メモリ２６に記憶された様々な広告画像を提示するためのディジタル電子ディスプレイである。いくつかの実施形態によれば、選択される広告画像はビデオ画像を含み、この場合、広告掲示板ディスプレイ３０に表示される画像が視覚的に変化して、広告掲示板ディスプレイ３０が注目されるようにする。

プロセッサ２４は、広告用のディジタル画像信号をディスプレイドライバ２８に供給し、ディスプレイドライバ２８は、その画像を広告掲示板ディスプレイ３０において見られるように、画像をそこに供給する。プロセッサ２４はメモリ２６から、あるいは、インターネット接続又は通信ユニット３４を介して、図１に示した遠隔のクラウドサーバ３６又は他の電子ストレージデバイスから、ディジタル画像信号を取得する。

車内乗員センシングシステム

図２には、車内乗員センシングシステム４０が示されている。車内乗員センシングシステム４０は各車両１２に組み込まれており、このシステムには、電子コントローラ４２、ビデオカメラ４４、マイクロフォン４６、データベース４８、通信システム５０、マンマシンインタフェース（ＨＭＩ）５２、グローバルポジショニング信号（ＧＰＳ）ナビゲーションシステム５４、エンターテイメントシステム５６、及び、他の車両システム５８が含まれている。図２に示されているように、車内乗員センシングシステム４０の構成要素は、電子コントローラ４２と通信を行う。

図２に示されている電子コントローラ４２を、車内乗員センシングシステム４０専用のものとしてもよいし、又は、他の車両オペレーティングシステムの一部分としてもよい。いくつかの実施形態によれば、電子コントローラ４２は、ビデオカメラ４４及びマイクロフォン４６と共に、単一のデバイスに組み込まれている。他の実施形態によれば、電子コントローラ４２は、車内及び車外のカメラを含むマルチカメラシステムの一部である。いくつかの実施形態によれば、車内乗員センシングシステム４０は、２つ以上のカメラを含んでいる。１つの実施形態によれば、ビデオカメラ４４は、ディジタルビデオカメラである。ビデオカメラ４４は、車両室内及び車両乗員（例えば、運転者及び１人又は複数の乗客）を観察することができるようにポジショニングされている。電子コントローラ４２は、ビデオカメラ４４から画像又はビデオデータを受信して処理するように構成されている。マイクロフォン４６は車両室内にポジショニングされており、（声を含め）音をセンシング又は検出して、その音又はオーディオ信号をオーディオデータに変換し、さらにそのオーディオデータを電子コントローラ４２に供給するように、構成されている。電子コントローラ４２は、マイクロフォン４６からオーディオデータを受信して処理するように構成されている。マイクロフォン４６は、スタンドアローンでもよいし、他の車両システム（例えば、ハンズフリーセルラシステム）の一部としてもよい。

図２に示したデータベース４８は、本明細書で説明する方法に従って、乗員のメタデータを含む車内乗員センシングシステム４０に関する情報を電子的に記憶する。電子コントローラ４２は、かかる情報をデータベース４８に書き込み、かつ、データベース４８から読み出すように、構成されている。図示の実施形態によれば、データベース４８は電子コントローラ４２によってアクセス可能である。選択的な実施形態によれば、データベース４８を電子コントローラ４２内に配置することができ、あるいは、車内乗員センシングシステム４０外部の適切なデータベースサーバ又は他のシステムに収容することができ、間に介在する１つ又は複数のネットワークを介してアクセス可能である。

図２に示した通信システム５０は、ハードウェア及びソフトウェアの構成要素を含んでおり、それらによって電子コントローラ４２は、セルラデータ、ｖｅｈｉｃｌｅ−ｔｏ−ｅｖｅｒｙｔｈｉｎｇ（Ｖ２Ｘ）通信及びＷｉ−Ｆｉから成るグループのうち１つ又は複数のモダリティを用いて、ワイヤレス通信を行うことができる。他の通信装置及びプロトコルも考えられる。通信システム５０によって電子コントローラ４２は、公衆データネットワーク（例えば、インターネット）を用いて他のシステムと通信することができる。

図２に示したＨＭＩ５２は、車内乗員センシングシステム４０と車両１２の乗員との間のインタフェースを提供する。ＨＭＩ５２は、電子コントローラ４２と接続されており、乗員からの入力を受け取り、コントローラからデータを受信し、それらのデータに基づき警告又はその他の情報を乗員に供給するように、構成されている。ＨＭＩ５２は、適切な入／出力メカニズムを備えており、例えば、ボタン、グラフィカルユーザインタフェース（ＧＵＩ）を含むタッチスクリーンディスプレイ、音声認識等を含んでいる。ＧＰＳナビゲーションシステム５４は、ＧＰＳ信号、グローバルポジショニングシステムを用いて車両の位置を特定し、運転者のためにベースとなるルートを記すためのハードウェア及びソフトウェアを含んでいる。エンターテイメントシステム５６は、車両乗員に対するビデオ及びオーディオのエンターテイメントコンテンツを提供するように構成されたハードウェア（例えば、表示画面）及びソフトウェアを含んでいる。いくつかの実施形態によれば、エンターテイメントコンテンツは、通信システム５０を介してストリーミングされるビデオコンテンツを含む。電子コントローラ４２は、他の車両システム５８とも接続されており、例えば、そのようなシステムには、操舵、制動及び自動化された車両の制御システムが含まれる。

図３に示されているように１つの実施形態によれば、電子コントローラ４２は、電子処理ユニット６０（例えば、マイクロプロセッサ又は他の適切なプログラマブルデバイス）、非一時的メモリ６４（例えば、コンピュータ可読ストレージ媒体）、及び、入／出力インタフェース６８を含んでいる。１つの実施形態によれば、入／出力インタフェース６８は、１つ又は複数の制御バス又はデータバスを含んでおり、これによって電子処理ユニット６０は、図２に示した様々なデバイスと通信を行うことができる。入／出力インタフェース６８は、データバスを介した電気的な接続、あるいは、有線、無線又は光学的な接続を提供し、これによって、図２に示したデバイスは、ネットワーク通信プロトコル例えば、Ｅｔｈｅｒｎｅｔ，ＣＡＮ又はＦＬＥＸＲＡＹプロトコルを用いて、通信を行うことができる。

メモリ６４は、プログラム記憶エリア（例えば、リードオンリーメモリ（ＲＯＭ））及びデータ記憶エリア（例えば、ランダムアクセスメモリ（ＲＡＭ））、並びに、他の非一時的コンピュータ可読媒体を含むことができる。電子処理ユニット６０は、メモリ６４に記憶されたソフトウェアを実行する。ソフトウェアは、本明細書で説明する方法を実施するための命令及びアルゴリズムを含むことができる。

図３に示した入／出力インタフェース６８は、図２に示したデバイス及びシステムを含む、電子コントローラ４２外部のシステムから入力を受信し、それらのシステムへ出力を供給する。いくつかの実施形態によれば、電子コントローラ４２は、複数の電気的及び電子的な構成要素を含んでおり、それらは、電子コントローラ４２内部の構成要素及びモジュールに対し、電力、動作制御及び保護を提供する。なお、電子コントローラ４２は、付加的ないくつかの又は種々の構成要素を含むことができる、ということを理解されたい。

１つの実施形態によれば、電子コントローラ４２は、機械学習機能を実施するように構成されている。メモリ６４は、電子処理ユニット６０によって実行可能な１つ又は複数の学習エンジンを記憶しており、これによってビデオカメラ４４及びマイクロフォン４６から受信したデータが処理されて、車両乗員に関するデモグラフィックメタデータが発展させられる。機械学習とは一般に、明示的にプログラミングされることなくコンピュータアプリケーションが学習することができる能力のことを指す。具体的には、機械学習を実施するコンピュータアプリケーション（ときには学習エンジンとも呼ばれる）は、トレーニングデータに基づきアルゴルズムを発展させるように構成されている。例えば、教師あり学習を実施するために、トレーニングデータは、サンプル入力と対応する望ましい（例えば、実際の）出力とを含み、学習エンジンは漸次、入力をトレーニングデータに含まれる出力にマッピングするモデルを発展させる。様々な種類の方法及びメカニズムを用いて機械学習を実施することができ、以下に限定されるものではないが、これには、決定木学習、相関ルール学習、人工ニューラルネットワーク、帰納論理プログラミング、サポートベクターマシン、クラスタリング、ベイジアンネットワーク、強化学習、表現学習、類似度及びメトリック学習、スパース辞書学習、及び遺伝的アルゴリズムが含まれる。

いくつかの実施形態によれば、電子コントローラ４２は、インターネット及び他の公衆ネットワーク並びにプライベートネットワークなどのような１つ又は複数の通信ネットワークを介して、トレーニングデータ、予測モデル又は学習エンジンの１つ又は複数のソースにアクセスする。別の選択肢として、又はこれに加えて、電子コントローラ４２は、データベース４８又はメモリ６４にトレーニングデータを記憶する。

図４は、ダッシュボード７２，フロントガラス７４及びルーフ７６を含む車両１２の車内前方部分７０の部分的な斜視図である。さらに、車両内部のビデオデータを取得するために、バックミラー７８の近傍でルーフ７６にビデオカメラ４４が取り付けられている。さらに図４には、タッチスクリーンなどのようなマンマシンインタフェース５２が示されている。

車内乗員センシングシステムの動作

広告掲示板ディスプレイシステム２０が適正に動作するように、図１に示した車両１２の少なくとも１つのからの情報を、広告掲示板ディスプレイシステムに供給する必要がある。このため、各車両のための車内乗員センシングシステム４０は、以下のように動作する。

図５の画像及びフローチャート１００に示されているように、車両１２内に配置されたビデオカメラ４４によって、乗員４人の顔１０４がセンシングされ、ビデオデータとして電子処理ユニット６０に供給される。機械学習の乗員検出アルゴリズムを用いて、電子処理ユニット６０は、人数、検出される各乗員の姿勢及び位置を特定する（ステップ１０２）。電子処理ユニット６０は分類アルゴリズムを実行することによって、それぞれの顔についてデモグラフィック情報及びマーカを推定し又は特定する（ステップ１０６）。デモグラフィック情報の特定において、所定の乗員の顔についてのビデオデータ又はビデオ画像を使用して、１）年齢を分類し、２）性別を分類し、３）民族及び／又は人種を分類する。いくつかの実施形態によれば、他の分類情報が取得される。個々の乗員各々について、デモグラフィック情報が特定される。

乗員の顔のビデオ画像からデモグラフィック情報が特定されると、電子処理ユニット６０は、さらに感情反応を特定する（ステップ１１０）。感情反応には、１）顔がどこを向いているのかを含め注視の推定と、２）微笑、不機嫌又は笑顔などのような現在の感情とが含まれる。車両自体又は車両外部の動作の変化によって、刺激に対する乗員の感情反応の変化が引き起こされる可能性がある（即ち、現在の感情）。例えば、ある乗員は、車両が加速すると幸福感を表すかもしれないし、又は、ＨＭＩ５２により警告が出されると不安感を表すかもしれない。感情を特定するほか、電子処理ユニット６０は、感情と、その感情又は感情反応が発生した正確な時間とを、メモリ６４に記憶するように構成されている。

その後、ビデオ画像内で、乗員の顔１０４が追跡又は追従される（ステップ１１４）。乗員の顔１０４を追跡することによって、車内乗員センシングシステム４０は、広告などのような刺激に対する乗員の感情及び乗員の感情反応を特定することができる。このようにして、分類済みの顔１０４が追従され、再分類は必ずしも要求されない。

電子処理ユニット６０はさらに、デモグラフィック情報を他の車両情報（即ち、ＧＰＳ位置特定、走行時間、乗員の乗り降り等）と結合するように、構成されている（ステップ１１６）。車両が目指す目的地と車両の型及びモデルとを、その他の車両情報に含めることができる。さらに乗員が着用している衣類を、乗員の分類及び乗員にどの広告を提示するのかの予測に用いることができる。

電子処理ユニット６０は、乗員を経時的に追跡するときに、分類推定を改善するように構成されている（ステップ１２０）。照明、乗員の動き及び乗員の衣類などの影響が時間の経過と共に変化する可能性があり、それによって、電子処理ユニット６０は、時間の経過と共にそれぞれ異なるデモグラフィック推定を下すことになる。電子処理ユニット６０は、機械学習アルゴリズムを使用して、傾向の認識又は異常値の推定によって自身の推定を改善する。このような連続的な改善によって、最も信頼性のあるメタデータが保証される。

電子処理ユニット６０は、デモグラフィック情報、車両ポジション情報、走行目的地情報、走行時間情報及び付加的な情報を、メタデータとしてデータベース４８に記憶するように構成されている（ステップ１２４）。電子処理ユニット６０はデータを、（例えば、顔に基づき、及び以下で述べるように音声認識アルゴリズムに基づき）乗員固有のデータとして、特定の時間と場所において特定の車両と結び付けられた包括的なデモグラフィックデータとして、あるいは、何らかの個人又は車両には結び付けられていないが、車両の使用及び運送のデモグラフィックパターンを抽出するために統合された包括的なメタデータとして、分類する。アプリケーションに応じて、これによりユーザに対するアプリケーションの固有のカスタマイズが可能になり、又は、個々のプライバシーを保証可能である広範囲にわたる統計ベースのアプリケーションが可能になる。

図６のフローチャートに示されているように、いくつかの実施形態によれば、乗員の感情状態及び外部の事象に対するリアクションをより良好に突き止めるために、マイクロフォン４６が乗員の音声を収集する。電子処理ユニット６０は、マイクロフォン４６から受信したオーディオデータに対し音声認識を実施するように構成されている（ステップ１４４）。次いで、キーワード又はフレーズが識別される（ステップ１４８）。さらに電子処理ユニット６０は、その後、話し手を顔にマッチさせるように構成されている（ステップ１５２）。かかるマッチングは、乗員の顔の動き又は発話の推定及びキーワードとの比較に基づいている。このキーワード及び固有の乗員情報が、特定のユーザ各々のデモグラフィック情報及び他のメタデータと共に、メタデータとしてデータベース４８に記憶される（ステップ１６０）。さらにメタデータは、通信システム５０を介して広告掲示板ディスプレイシステム２０の通信ユニット３４へ、ワイヤレスで伝送される。

さらに車内乗員センシングシステム４０は、緻密なプロフィールモデルを提供することができる。１つの実施形態によれば、電子コントローラ４２は、検出された乗員をそれらの乗員のデモグラフィック情報、それらの乗員の感情反応及びキーワードの音声認識と融合するように構成されている。乗員データを車両のダイナミクスと共に収集することによって、広告掲示板ディスプレイシステムに表示された広告に対する乗員のリアルタイムの反応が、マーケットリサーチ担当者に提供される。

図７のフローチャート２００に示されているように、１つの実施形態によれば車内乗員センシングシステム４０は、メタデータなどのような乗員データを使用して、広告掲示板ディスプレイシステム２０とインタラクションを行う。例えば、乗員数に対応するビデオ画像中の顔の数、乗員のデモグラフィクス及び他の指標（例えば、走行目的地及び走行時間）に関するデータが、通信システム５０によりＶ２Ｘを介して広告掲示板ディスプレイシステム２０の近づきつつある通信ユニット３４へ、ワイヤレスで伝送される。

さらに詳しくは図７に示されているように、車両１２は広告掲示板ディスプレイシステム２０のゾーンに入る（ステップ２０２）。車内乗員センシングシステム４０の通信システム５０は、広告掲示板ディスプレイシステム２０の通信ユニット３４とのワイヤレス伝送又はワイヤレス通信を提供する（ステップ２０６）。通信を発生させるためには、広告掲示板ディスプレイシステム２０のブロードキャスティングレンジ内に車両１２が位置していなければならない。ワイヤレス伝送には、広告掲示板ディスプレイ３０に対し相対的な道路上に位置する車両の車両ポジション情報が含まれ、これはＧＰＳ信号から特定されるような情報である。

広告掲示板ディスプレイシステム２０のディスプレイコントローラ２２は、１つ又は複数の接近中の車両から、広告掲示板ディスプレイ３０に接近中の乗員から成る母集団を分析する（ステップ２１０）。さらにディスプレイコントローラ２２は、広告掲示板ディスプレイ３０に接近中の１つ又は複数の車両から指標を分析するように構成されている（ステップ２１２）。広告掲示板ディスプレイ３０に接近中の複数の車両内の乗員数及び乗員のデモグラフィック情報（２１４）のほか、走行データを使用することができる場合には複数の車両の走行目的地（２１６）及び走行時間（２１８）と共に、他のファクタを指標に含めることができる。いくつかの実施形態によれば、車両のタイプ、乗員が着用している衣類及び時刻も、指標として供給される。

分析された指標を使用してディスプレイコントローラ２２は、対象が絞られた広告を特定して表示する（ステップ２２０）。対象が絞られた広告は、広告掲示板ディスプレイ３０の視野内にある車両各々の乗員により構成された母集団に最大限に適用可能なものであるとみなされる。上述のように、対象が絞られた広告は種々のファクタ及び時刻に基づく。例えば、１つの実施形態によれば、長時間の走行時間において、夜半又は深夜に、ホテル又はモーテルの広告が提示される。また、典型的な食事の時間に近いとみなされるときには、接近中のレストランについて広告が提示される。広告に表示されるレストラン又は施設のタイプも、乗員の年齢に基づく。結論として、広告掲示板ディスプレイ３０における広告の選択的な表示が、様々な指標によってインタラクティブに支援される。

それらの指標に基づき制限された時間にわたり広告が表示されると、広告掲示板ディスプレイシステム２０は、接近中の車両１２に対し付加的な指標又は更新された指標について、問い合わせを行う（ステップ２３０）。更新された指標には、接近中の車両の乗員の印象数（２３２）、感情反応（２３４）及び目の注視（２３６）が含まれる。車内乗員センシングシステム４０は、乗員の印象数、感情状態、何らかの感情反応及び目の注視を、付加的な指標と共に広告掲示板ディスプレイシステムに伝達する（ステップ２４０）、ように構成されている。

ディスプレイコントローラ２２は、広告掲示板ディスプレイ３０に接近中の１つ又は複数の車両の乗員にとって、より関連していそうな、又は、より役立ちそうな、別の広告又は一番近い広告を、対象として絞るために又は選択するために、上述の情報を用いてプログラムを実行する。ディスプレイコントローラ２２は、走行目的地情報及び／又は走行時間情報を、デモグラフィック情報及び乗員数と組み合わせて、乗員に関連する広告を特定するために処理する、ように構成されている。１つの実施形態によれば、乗員の感情状態によって広告の選択が支援される。乗員が前向きな気分のときには、乗員が怒っている又は不機嫌な気分のときの広告とは、広告が異なる。

さらにディスプレイコントローラ２２は、現在の広告に対する印象数を追跡するように構成されている。広告主は乗員の注視の推定を用いて、種々の広告戦略の効力を正確に分析して評価する。印象数から効力を分析することによって、１つ又は複数の車両の特定の乗員向けに以降に表示すべき広告の妥当性が最大にされる。

広告の対象を絞るために、他の指標を用いてもよい。１つのオペレーションによれば、広告掲示板ディスプレイシステム２０に対し、車両の燃料レベルが低いという情報が与えられたならば、付近のガソリンスタンドに関する広告が出現する。別のシナリオによれば、デモグラフィック情報から特定された子供を乗せている車両１２に対し、広告掲示板ディスプレイ３０を用いて子供に優しい場所の広告が提示される。

１つの実施形態によれば、印象数、注視の推定及び感情反応のうちの少なくとも１つが収集され、広告掲示板ディスプレイ３０に提示された広告の首尾について評価するために、遠隔の広告主、例えば、遠隔のクラウドサーバ３６などに伝達される。広告掲示板ディスプレイシステム２０は、インターネット又は他の通信を介して、クラウドサーバ３６と通信可能な状態にある。従って、広告掲示板ディスプレイシステム２０は、デモグラフィック情報をクラウドサーバ３６に供給し、広告掲示板ディスプレイ３０において見るための広告を受信する。

いくつかの実現形態によれば、上述のシステムは、少なくとも１つのディスプレイコントローラ２２を用いて制御される。ディスプレイコントローラ２２は、１つ又は複数の処理ユニット（例えば、プロセッサ、特定用途向け集積回路（"ＡＳＩＣ"）等）を含んでいる。同様に車両電子コントローラ４２も、上記で挙げた１つ又は複数の処理ユニットを含むことができる。

ディスプレイコントローラ２２のメモリ２６及び車両電子コントローラ４２のメモリ６４は、１つの実施形態によれば非一時的コンピュータ可読媒体である。この場合、ランダムアクセスメモリ（ＲＡＭ）及びリードオンリーメモリ（ＲＯＭ）の両方が考えられる。ディスプレイコントローラ２２のほか、電子コントローラ４２は、（例えば、ｃｏｎｔｒｏｌｌｅｒ ａｒｅａ ｎｅｔｗｏｒｋ（ＣＡＮ）バス又はＦｌｅｘＲａｙバスなどのような車両通信バスを介して）電子コントローラ４２外部の１つ又は複数のセンサ又はシステムから情報を受信し、さらに送信するために、入／出力インタフェース６８を使用する。いくつかの実現形態によれば、電子コントローラ４２は、１つ又は複数の付加的な車内センサ又は車内システムを含むことができる。

広告掲示板ディスプレイ３０は、ディスプレイドライバ２８からの電子画像を表示する電子広告掲示板ディスプレイである。広告掲示板ディスプレイ３０は、プラズマビデオスクリーン、ＬＣＤ、ＬＥＤ又は他のディジタル送光装置である。いくつかの実施形態によれば、スピーカ又はサウンド出力装置も設けられている。

少なくとも１つのビデオカメラ４４が考えられる一方で、いくつかの実施形態によれば、ビデオデータを取得して乗員を検出するために、複数のビデオカメラが設けられている。

２つの車両が広告掲示板ディスプレイシステム２０に接近中であるという状況を引き合いに出すならば、一方の車両を、第１のビデオカメラを備えた第１の車内乗員センシングシステムを有する第１の車両とみなすことができ、他方の車両を、第２のビデオカメラを備えた第２の車内乗員センシングシステムを有する第２の車両とみなすことができる。当然ながら、車内乗員センシングシステムを有する第３、第４、第５等の車両も考えられる。

図１には、広告を受信した広告掲示板ディスプレイ３０に一方の方向で接近中の車両が示されているが、他の実施形態によれば、逆方向で走行中の車両が広告掲示板ディスプレイ３０の各自の側で広告メッセージを見る。

主として乗員センシングのために車内ビデオカメラ４４を使用可能であれば、車両１２内の乗員各々についての付加的なデモグラフィックデータを、カメラ画像から抽出することができる。運転者及び乗客の緻密なデモグラフィックプロフィールを供給するために、このデモグラフィックメタデータを記憶して分析し、他の様々なセンサ及び車両状態と融合することができる。このデータは、マーケティング担当者及び広告主に役立つ。

以上のとおり、本発明によれば特に、広告掲示板ディスプレイ３０に接近中の車両１２の乗員に向けられた広告を提示するために、広告掲示板ディスプレイシステム２０を動作させる方法、及び情報又はデータをそこへ供給するために車内乗員センシングシステム４０を動作させる方法、が提供される。

Claims (13)

1. 道路の近傍に配置された広告掲示板ディスプレイに接近中の１つ又は複数の車両内の乗員に向けて、広告掲示板ディスプレイシステムにより広告を選択的に表示する方法であって、
   前記広告掲示板ディスプレイシステムは、道路の近傍に配置された広告掲示板ディスプレイと、プロセッサ及びメモリを含むディスプレイコントローラと、乗員のデモグラフィック情報を取得するための１つ又は複数の車両内の車内乗員センシングシステムと前記ディスプレイコントローラとの間の通信を提供する通信ユニットとを含み、
   前記方法は、
   乗員数、乗員のデモグラフィック情報及び車両ポジション情報を、前記広告掲示板ディスプレイに接近中の１つ又は複数の車両の前記車内乗員センシングシステムから、前記通信ユニットを介して前記ディスプレイコントローラの前記プロセッサにより受信することと、
   乗員に関連する広告を特定するために、前記デモグラフィック情報及び前記乗員数を前記プロセッサにより処理することと、
   前記プロセッサから供給される出力に応答して、前記広告掲示板ディスプレイに接近中の１つ又は複数の車両に対し、前記広告掲示板ディスプレイにより関連する広告を選択的に表示することと、
   を含み、さらに、
   前記車両内の乗員の顔を含むビデオデータを取得するために、前記車両内に配置された少なくとも１つのビデオカメラを１つ又は複数の車両の前記車内乗員センシングシステムにより操作することと、
   前記ビデオデータを前記車内乗員センシングシステムに含まれる電子制御ユニットに供給することと、
   前記ビデオデータから前記車両内にいる前記乗員数を前記電子制御ユニットにより検出することと、
   各々の顔の前記ビデオデータから前記デモグラフィック情報を前記電子制御ユニットにより特定することと、
   乗員の感情を特定するために前記ビデオデータにおける前記顔を前記電子制御ユニットにより追跡することと、
   前記乗員数、前記デモグラフィック情報及び乗員の前記感情の指標に関するデータを、前記電子制御ユニットに含まれるメモリに記憶することと、
   前記乗員数、前記デモグラフィック情報及び前記車両ポジション情報を、１つ又は複数の車両の前記車内乗員センシングシステムからのワイヤレス伝送により、前記広告掲示板ディスプレイシステムの前記通信ユニットを介して前記ディスプレイコントローラの前記プロセッサによって受信することと、
   を含む、
   広告掲示板ディスプレイシステムにより広告を選択的に表示する方法。
2. １つ又は複数の車両の前記車両ポジション情報を特定するために、ＧＰＳ信号を前記車内乗員センシングシステムに含まれるＧＰＳナビゲーションシステムにより受信することと、
   前記ＧＰＳ信号に基づいて前記車両ポジション情報を前記ＧＰＳナビゲーションシステムにより特定することと、
   を含み、
   前記ワイヤレス伝送は、１つ又は複数の車両各々に関する前記乗員数、前記デモグラフィック情報、乗員の前記感情の指標に関するデータ及び前記車両ポジション情報を、ｖｅｈｉｃｌｅ−ｔｏ−ｅｖｅｒｙｔｈｉｎｇ（Ｖ２Ｘ）通信を介して１つ又は複数の車両の前記車内乗員センシングシステムから前記広告掲示板ディスプレイシステムに伝送することを含む、
   請求項１に記載の方法。
3. 前記広告に対する乗員の感情反応を特定するために、前記広告掲示板ディスプレイに表示された前記広告に反応した乗員の前記感情を１つ又は複数の車両の前記車内乗員センシングシステムによりセンシングすることと、前記広告に対する乗員の前記感情反応の指標に関するデータを前記電子制御ユニットの前記メモリに記憶することと、を含む、
   請求項１に記載の方法。
4. １つ又は複数の車両各々の前記車内乗員センシングシステムに含まれるマイクロフォンによって、車両室内の音をオーディオデータとして検出することと、
   前記オーディオデータを前記電子制御ユニットに供給することと、
   乗員の前記感情をさらに特定するために前記オーディオデータを前記電子制御ユニットにより処理し、前記感情の指標に関するデータを前記電子制御ユニットの前記メモリに記憶することと、
   乗員の前記感情の指標に関するデータを１つ又は複数の車両の前記車内乗員センシングシステムから前記ディスプレイコントローラにワイヤレス伝送することと、
   乗員の前記感情の指標に関するデータに応答して選択的に制御された前記広告の効力を前記ディスプレイコントローラにより分析することと、
   を含む、
   請求項１に記載の方法。
5. 前記デモグラフィック情報及び前記乗員数を、前記車内乗員センシングシステムに含まれるデータベースにメタデータとして記憶する、
   請求項１に記載の方法。
6. 乗員のデモグラフィック情報を取得するための１つ又は複数の車両内の車内乗員センシングシステムの動作に応答して、１つ又は複数の車両内の乗員に向けて広告掲示板ディスプレイに広告を提示する広告掲示板ディスプレイシステムであって、
   道路の近傍に配置された広告掲示板ディスプレイと、
   プロセッサ及びメモリを含むディスプレイコントローラと、
   前記ディスプレイコントローラと、道路上の１つ又は複数の車両の前記車内乗員センシングシステムとの間の通信を提供する通信ユニットと、
   を含み、
   前記ディスプレイコントローラの前記プロセッサは、
   １つ又は複数の車両内にいる乗員数、１つ又は複数の車両内にいる乗員各々の前記デモグラフィック情報、及び、車両ポジション情報を、１つ又は複数の車両各々に配置されたビデオカメラを含む車内乗員センシングシステムから、前記通信ユニットを介して受信し、
   少なくとも前記デモグラフィック情報及び前記車両ポジション情報に応答して、前記１つ又は複数の車両の乗員の前記デモグラフィック情報に照準を合わせた広告を選択的に表示するために、前記広告掲示板ディスプレイに出力を供給する、
   ように構成されており、
   前記ディスプレイコントローラの前記プロセッサは、
   前記通信ユニットを介して乗員の感情反応の指標に関するデータを受信し、
   前記乗員数、前記デモグラフィック情報及び乗員の前記感情反応の指標に関するデータを記憶する、
   ように構成されており、
   前記車両ポジション情報は、対応する前記車両が前記広告掲示板ディスプレイに対して相対的に道路上で位置する場所を表し、
   前記乗員数、前記デモグラフィック情報及び乗員の前記感情反応の指標に関するデータは、乗員の顔を追跡する前記ビデオカメラと、前記ビデオカメラからのビデオデータを処理する前記車内乗員センシングシステムの電子制御ユニットとによって特定される、
   広告掲示板ディスプレイに広告を提示する広告掲示板ディスプレイシステム。
7. 前記乗員数、前記デモグラフィック情報及び乗員の前記感情反応の指標に関するデータは、メタデータとして記憶される、
   請求項６に記載の広告掲示板ディスプレイシステム。
8. 前記ディスプレイコントローラは、選択的に制御された前記広告の効力を分析するために、前記デモグラフィック情報及び前記感情反応の指標に関するデータをクラウドサーバに伝達するように構成されている、
   請求項６に記載の広告掲示板ディスプレイシステム。
9. 道路の近傍に配置された広告掲示板ディスプレイに接近中の１つ又は複数の車両内の乗員に向けて、広告掲示板ディスプレイシステムの広告掲示板ディスプレイに広告を選択的に表示する方法であって、前記広告掲示板ディスプレイシステムは、道路の近傍に配置された広告掲示板ディスプレイと、プロセッサ及びメモリを含むディスプレイコントローラと、乗員のデモグラフィック情報を取得するための１つ又は複数の車両内の車内乗員センシングシステムと前記ディスプレイコントローラとの間の通信を提供する通信ユニットとを含む、方法において、
   前記広告掲示板ディスプレイに接近中の車両の前記車内乗員センシングシステムによって、前記車両内の乗員の顔を含むビデオデータを取得するために、前記車両内に配置された少なくとも１つのビデオカメラを操作することと、
   前記ビデオデータを、前記車内乗員センシングシステムに含まれる電子制御ユニットへ供給することと、
   前記車内乗員センシングシステムに含まれるＧＰＳナビゲーションシステムによりＧＰＳ信号を受信し、前記ＧＰＳ信号に基づいて前記車両の車両ポジション情報を特定することと、
   前記ビデオデータから前記車両内にいる乗員数を、前記電子制御ユニットにより検出することと、
   乗員の前記顔の前記ビデオデータからデモグラフィック情報を、前記電子制御ユニットにより特定することと、
   前記車両ポジション情報、前記乗員数及び乗員の前記デモグラフィック情報を、前記電子制御ユニットに含まれるメモリに記憶することと、
   前記乗員数、前記デモグラフィック情報及び前記車両ポジション情報を前記車内乗員センシングシステムから前記ディスプレイコントローラへワイヤレス伝送することと、
   前記広告掲示板ディスプレイに接近中の車両の前記車内乗員センシングシステムによりワイヤレス伝送された前記乗員数、乗員の前記デモグラフィック情報及び前記車両ポジション情報を、前記通信ユニットを介して前記ディスプレイコントローラの前記プロセッサにより受信することと、
   乗員に関連する広告を特定するために、前記デモグラフィック情報及び前記乗員数を前記プロセッサにより処理することと、
   接近中の車両内の乗員に対して関連する広告を、前記プロセッサから供給される出力に応答して、前記広告掲示板ディスプレイに選択的に表示することと、
   を含む、
   広告掲示板ディスプレイシステムの広告掲示板ディスプレイに広告を選択的に表示する方法。
10. さらに、
    前記広告掲示板ディスプレイに接近中の車両の前記車内乗員センシングシステムに含まれる前記電子制御ユニットに、走行目的地情報及び／又は走行時間情報を供給することと、
    前記走行目的地情報及び／又は前記走行時間情報を、前記電子制御ユニットに含まれるメモリに記憶することと、
    前記走行目的地情報及び／又は前記走行時間情報を、セルラデータ、ｖｅｈｉｃｌｅ−ｔｏ−ｅｖｅｒｙｔｈｉｎｇ（Ｖ２Ｘ）通信及びＷｉ−Ｆｉから成るグループのうちの少なくとも１つ又は複数を介して１つ又は複数の車両の前記車内乗員センシングシステムから前記広告掲示板ディスプレイシステムに伝送することと、
    前記走行目的地情報及び／又は前記走行時間情報を、前記広告掲示板ディスプレイシステムの前記通信ユニットを介して前記ディスプレイコントローラの前記プロセッサによって受信することと、
    乗員に関連する広告を特定するために、前記走行目的地情報及び／又は前記走行時間情報を前記デモグラフィック情報及び前記乗員数と組み合わせて、前記プロセッサによって処理することと、
    前記デモグラフィック情報、前記乗員数、及び、前記走行目的地情報及び／又は前記走行時間情報を処理した前記プロセッサから供給される出力に応答して、接近中の車両内の乗員に対して関連する広告を前記広告掲示板ディスプレイに選択的に表示することと、
    を含む、
    請求項９に記載の方法。
11. 前記広告掲示板ディスプレイシステムは、
    前記車内乗員センシングシステムから伝送された印象数及び感情反応のうち少なくとも１つの指標に関するデータを、前記通信ユニットを介して前記ディスプレイコントローラの前記プロセッサによって受信し、
    前記印象数及び前記感情反応の指標に関するデータを、前記通信ユニットを介して前記ディスプレイコントローラの前記プロセッサによって遠隔のクラウドサーバに供給する、
    ように構成されている、
    請求項９に記載の方法。
12. さらに、
    前記広告掲示板ディスプレイに接近中の第２の車両の第２の車内乗員センシングシステムによって、前記第２の車両内の乗員のビデオデータを取得するために、前記第２の車両内に配置された第２のビデオカメラを操作することと、
    前記乗員数及び前記デモグラフィック情報を、セルラデータ、ｖｅｈｉｃｌｅ−ｔｏ−ｅｖｅｒｙｔｈｉｎｇ（Ｖ２Ｘ）通信及びＷｉ−Ｆｉから成るグループのうちの少なくとも１つ又は複数を介して前記第２の車両の前記第２の車内乗員センシングシステムから前記広告掲示板ディスプレイシステムに伝送することと、
    前記乗員数、乗員の前記デモグラフィック情報、及び、前記車両ポジション情報を、前記広告掲示板ディスプレイに接近中の前記第２の車両の前記第２の車内乗員センシングシステムから、前記広告掲示板ディスプレイシステムの前記通信ユニットを介して前記ディスプレイコントローラの前記プロセッサによって受信することと、
    前記第２の車両とは異なる第１の車両内及び前記第２の車両内にいる乗員から成る母集団に最も関連する広告を特定するために、前記第２の車両内の前記デモグラフィック情報及び前記乗員数と、前記第１の車両内の前記乗員数とを前記プロセッサによって処理することと、
    前記広告掲示板ディスプレイに接近中の前記第１の車両内及び前記第２の車両内の前記母集団に対して、関連する広告を、前記プロセッサから供給される出力に応答して、前記広告掲示板ディスプレイにより選択的に表示することと、
    を含む、
    請求項１０に記載の方法。
13. 乗員に関連する広告を特定するために、前記デモグラフィック情報及び前記乗員数を前記プロセッサによって処理することは、前記乗員の感情状態の指標に関するデータに基づき前記広告を特定することを含む、
    請求項９に記載の方法。

Images