JP5414907B2 - Avシステム - Google Patents

Avシステム Download PDF

Info

Publication number
JP5414907B2
JP5414907B2 JP2012537493A JP2012537493A JP5414907B2 JP 5414907 B2 JP5414907 B2 JP 5414907B2 JP 2012537493 A JP2012537493 A JP 2012537493A JP 2012537493 A JP2012537493 A JP 2012537493A JP 5414907 B2 JP5414907 B2 JP 5414907B2
Authority
JP
Japan
Prior art keywords
unit
display
headphones
audio
seat
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2012537493A
Other languages
English (en)
Other versions
JPWO2012046276A1 (ja
Inventor
兼秀 荒井
康司 藤井
誠 大井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Application granted granted Critical
Publication of JP5414907B2 publication Critical patent/JP5414907B2/ja
Publication of JPWO2012046276A1 publication Critical patent/JPWO2012046276A1/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/332Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/66Transforming electric information into light information
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S7/00Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30Control circuits for electronic adaptation of the sound field
    • H04S7/302Electronic adaptation of stereophonic sound system to listener position or orientation
    • H04S7/303Tracking of listener position or orientation
    • H04S7/304For headphones
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30204Marker

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Acoustics & Sound (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Stereophonic System (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • User Interface Of Digital Computer (AREA)

Description

この発明は、例えば、後席乗員に映像及び音声によるリアシートエンターテイメント(RSE)を提供するAV(オーディオ・ビジュアル)システムに関するものである。
大型車や航空機等のように座席数が多い移動体におけるRSEシステムでは、後席ごとにディスプレイを設けて複数の映像音声の再生系列を構成したものがある。例えば、左右の座席に設けた2系列のRSEでは、左右のディスプレイで異なる映像音声を再生し、左右の後席乗員が、各再生系列に対応したヘッドフォンを装着することにより、ディスプレイの表示内容に応じた音声信号を視聴できる。なお、この構成においては、各再生系列に対応するヘッドフォンを識別する必要がある。通常は、左右のどちらのチャネルを再生するかを設定するスイッチをヘッドフォンに設け、乗員が、当該スイッチを手動操作することにより、左右のいずれの再生系列に対応するヘッドフォンであるかを識別していた。
一方、乗員が手動操作することなく、各再生系列に対応するヘッドフォンを識別する従来の技術として、特許文献1には、ワイヤレスヘッドフォンに固有のIDを割り当て、ワイヤレスヘッドフォンに対して当該IDに応じた赤外線通信手段を設け、システム側では、上記の赤外線通信手段から送信されるIDを照合することにより、再生系列に対応するヘッドフォンを識別して映像音声の再生を行うシステムが開示されている。
また、特許文献2には、音声信号を受信する通信手段の他に、指向性を有した専用の通信手段をヘッドフォンに設けておき、当該専用の通信手段が、複数のディスプレイの方向から受信した複数の識別信号の中から、指向性に応じて識別信号を選択するシステムが記載されている。
このように、従来のシステムでは、ヘッドフォンを識別するための専用のハードウェア構成であるスイッチを設ける必要があり、汎用のヘッドフォンを利用できない上、乗員が手動操作する煩わしさが常に生じるという課題があった。
また、特許文献1,2に代表される従来のシステムでは、システム側でヘッドフォンを自動的に識別してくれるが、専用の通信手段をヘッドフォンに設ける必要があり、音声信号の通信を行える汎用のワイヤレスヘッドフォンを使用できないという課題がある。
この発明は、上記のような課題を解決するためになされたもので、複数の映像音声の再生系列を有するAVシステムにおいて、各再生系列の映像音声の再生に利用される機器の汎用性を損なうことなく、各再生系列に対応する機器を自動的に識別できるAVシステムを得ることを目的とする。
特開2007−8289号公報 特開2006−287730号公報
この発明に係るAVシステムは、隣り合う複数の座席に表示画面を向けた複数の表示装置と、表示画面が向いた座席側を撮影するカメラ部と、カメラ部によって撮影された撮影画像から、音声出力装置に設けた識別用マークを画像認識して、撮影画像中の識別用マークの座標位置を算出する画像認識部と、画像認識部によって算出された識別用マークの座標位置に基づいて、音声出力装置を装着した使用者が、複数の座席のいずれに着席しているかを判定する判定部と、映像データ及び音声データを再生するAV再生部と、AV再生部によって再生された音声データのうち、判定部によって使用者が着席していると判定された座席に対向する表示画面に表示する映像データに対応した音声データを、当該使用者が装着している音声出力装置へ送信して音声出力させる音声通信部とを備え、複数の音声出力装置に互いに異なる識別用マークをそれぞれ設け、画像認識部は、カメラ部によって撮影された撮影画像から、互いに異なる識別用マークを画像認識して、撮影画像中の互いに異なる識別用マークの座標位置をそれぞれ算出し、判定部は、画像認識部によって算出された互いに異なる識別用マークの座標位置に基づいて、複数の音声出力装置をそれぞれ装着した複数の使用者が、複数の座席のいずれにそれぞれ着席しているかを判定し、音声通信部は、AV再生部によって再生された音声データのうち、判定部によって複数の使用者がそれぞれ着席していると判定された複数の座席にそれぞれ対向する表示画面に表示する映像データに対応した音声データを、複数の音声出力装置へそれぞれ送信して音声出力させることを特徴とするものである。
この発明によれば、カメラ部によって撮影された座席側の撮影画像から、音声出力装置に設けた識別用マークを画像認識して、撮影画像中の識別用マークの座標位置を算出し、この識別用マークの座標位置に基づいて音声出力装置を装着した使用者が、複数の座席のいずれに着席しているかを判定し、使用者が着席していると判定された座席に対向する表示画面に表示する映像データに対応した音声データを、当該使用者が装着している音声出力装置へ送信して音声出力させる。このようにすることで、音声出力装置に専用機器を用いる必要がないため、機器の汎用性を損なうことなく、各再生系列に対応する機器を自動的に識別できるという効果がある。
この発明の実施の形態1によるAVシステムの構成を示すブロック図である。 実施の形態1のAVシステムによる動作の流れを示すフローチャートである。 ヘッドフォンの接続先の判定処理を概略的に示す図である。 実施の形態2における複数個の識別用マークを設けたヘッドフォンの一例を示す図である。 後部座席に座る乗員が対向するディスプレイに向いている場合を示す図である。 後部座席に座る乗員が、図5で顔が向いていたディスプレイに隣接するディスプレイの方に向いている場合を示す図である。 この発明の実施の形態2によるAVシステムの構成を示すブロック図である。 実施の形態2のAVシステムによる動作の流れを示すフローチャートである。 この発明の実施の形態3によるAVシステムの構成を示すブロック図である。 後部座席に座る乗員が対向するディスプレイに向いている場合を示す図である。 後部座席に座る乗員が、図10で顔が向いていたディスプレイに隣接するディスプレイの方に向いている場合を示す図である。 実施の形態4における識別用マークを設けたヘッドフォンの一例を示す図である。 この発明の実施の形態4によるAVシステムの構成を示すブロック図である。 実施の形態4のAVシステムによる動作の流れを示すフローチャートである。 この発明の実施の形態5によるAVシステムの構成を示すブロック図である。 実施の形態5のAVシステムによる動作の流れを示すフローチャートである。 この発明の実施の形態6によるAVシステムの構成を示すブロック図である。 実施の形態6のAVシステムによる動作の流れを示すフローチャートである。 この発明の実施の形態7によるAVシステムの構成を示すブロック図である。 実施の形態7のAVシステムによる動作の流れを示すフローチャートである。 この発明の実施の形態8によるAVシステムの構成を示すブロック図である。 実施の形態8のAVシステムによる動作の流れを示すフローチャートである。
以下、この発明をより詳細に説明するため、この発明を実施するための形態について、添付の図面に従って説明する。
実施の形態1.
図1は、この発明の実施の形態1によるAVシステムの構成を示すブロック図であり、車両の左右座席に設けたディスプレイで相異なる映像音声をそれぞれ再生可能な2つの再生系列を構成するRSEシステムに本発明を適用した場合を示している。
なお、本発明は、3つ以上の再生系列を有するAVシステムであってもよいが、説明の簡単のため、2つの再生系列の場合を例に挙げる。
また、以降では、本発明をRSEシステムに適用した場合について説明するが、本発明は、視聴内容として音声を伴う映像を視聴者に提供しかつ複数系列の視聴内容を提供するAVシステムに適用することが可能である。ここでいう複数系列の視聴内容の提供とは、自動車や飛行機等の移動体内の複数の座席にそれぞれの表示画面を向けた複数の表示装置と、各座席に着席しているユーザが装着する音声出力装置とを備えることによって、各々の視聴内容を提供することを意味する。
図1に示すように、RSEシステム1では、左座席用ディスプレイ7a及び右座席用ディスプレイ7bで映像を再生し、ディスプレイ7a,7bのいずれかに対応するヘッドフォン8に、ディスプレイの表示内容に応じた音声を出力する。その構成としては、カメラ2、画像認識部3、接続判定部4、音声通信部5及び後席AV再生部6を備える。
カメラ(カメラ部)2は、左座席用ディスプレイ7a及び右座席用ディスプレイ7bに対向する左右の後部座席を撮影するカメラである。カメラ2は、撮影画像上で左右の後部座席の画像領域が均等な大きさになるように、例えば図3で後述するように左座席用ディスプレイ7aと右座席用ディスプレイ7bとの中間位置に取り付ける。
なお、後述する画像認識では、必ずしも左右の後部座席の画像領域の大きさが均等でなくてもよいので、カメラ2は、撮影画像上で左右の後部座席の画像領域がそれぞれ区別できる撮影範囲が得られる位置に配置されていればよい。
また、カメラ2の取り付け位置は、ディスプレイ7a,7bの中間位置の他に、車両の天井部等が考えられる。
画像認識部3は、カメラ2から取得した撮影画像データを画像認識して、ヘッドフォン8に設けた識別用マークの当該撮影画像中の座標位置を算出する構成部である。例えば、識別用マークの画像パターンを画像認識部3に登録しておき、撮影画像と当該画像パターンとのマッチングをとることにより、撮影画像中の識別用マークの座標位置を算出する。なお、ヘッドフォン8を装着した乗員の席替え等の動きを考慮して、カメラ2でリアルタイムに撮影された結果から、識別用マークの座標位置を算出してもよい。
接続判定部(判定部)4は、画像認識部3で算出された識別用マークの座標位置から、ヘッドフォン8を装着した乗員が左右いずれの後部座席に着席しているか、すなわちディスプレイ7a,7bのうちのどちらのディスプレイ用の音声チャネルをヘッドフォン8に接続するのかを判定する構成部である。例えば、カメラ2によって定点撮影された後部座席側の撮影画像を、左の後部座席に対応する画像領域と右の後部座席に対応する画像領域に予め区画しておき、いずれの画像領域に識別用マークの座標位置があるかによって、どのディスプレイ用の音声チャネルをヘッドフォン8の接続先とするのかを判定する。
カメラ2の撮影部から向かって右側の後部座席が左座席用ディスプレイ7aに対向するので、識別用マークの座標位置が上記右側の後部座席の画像領域にある場合は、左座席用ディスプレイ7a用の音声チャネルにヘッドフォン8が接続される。
反対に、カメラ2の撮影部から向かって左側の後部座席は、右座席用ディスプレイ7bに対向するので、識別用マークの座標位置が上記左側の後部座席の画像領域にある場合には、右座席用ディスプレイ7b用の音声チャネルにヘッドフォン8が接続される。
音声通信部5は、ヘッドフォン8と、接続判定部4の判定結果に応じた音声チャネルとの接続を確立し、後席AV再生部6によって再生された音声信号を、無線通信でヘッドフォン8へ送信する構成部である。無線通信としては、Blue Tooth(登録商標)のような短距離無線通信が挙げられる。
後席AV再生部(AV再生部)6は、不図示の記憶装置(例えば、CD、DVD、フラッシュメモリ)から読み出した映像、音声又は文字情報等のコンテンツデータを再生する構成部であり、左座席用ディスプレイ7a側と右座席用ディスプレイ7b側とで独立した再生系列を有する。つまり、後席AV再生部6は、左座席用ディスプレイ7aに対応する再生系列と右座席用ディスプレイ7bに対応する再生系列とで互いに異なるコンテンツデータを再生することができる。
左座席用ディスプレイ(表示装置)7aは、後部座席側からみて左側の前部座席の背面に設けたディスプレイであり、右座席用ディスプレイ(表示装置)7bは、後部座席側からみて右側の前部座席の背面に設けたディスプレイである。
ヘッドフォン(音声出力装置)8は、音声通信部5から無線通信で受信した音声信号を音声出力するヘッドフォンであり、音声通信部5との無線通信機能を有した汎用のヘッドフォンを利用することができる。また、本発明では、音声出力装置としては、ヘッドフォンに限らず、乗員の頭に装着される音声出力用のヘッドセットであればよい。
なお、ヘッドフォン8の外表部には、後述の識別用マークが設けられる。この識別用マークの撮影画像を画像認識することで、RSEシステム1で用いるヘッドフォン8であることが識別されるとともに、撮影画像中の座標位置から、当該ヘッドフォン8を装着した乗員がディスプレイ7a,7bのどちら側を視聴しているかが識別される。
識別用マークとしては、ヘッドフォン8の外表面に印刷したものであってもよく、また識別処理の際に点灯させるLED(Light Emitting Diode)を設けてもよい。
次に動作について説明する。
図2は、実施の形態1のAVシステムによる動作の流れを示すフローチャートであり、どのディスプレイ用の音声チャネルをヘッドフォン8の接続先とするのかを判定する処理の詳細を示している。また、図3は、ヘッドフォンの接続先の判定処理を概略的に示す図であり、図3(a)はヘッドフォン8を装着した乗員が左座席用ディスプレイ7aに対向する後部座席にいる場合を示しており、図3(b)はヘッドフォン8を装着した乗員が右座席用ディスプレイ7bに対向する後部座席にいる場合を示している。この図3を参照しながら、図2に沿って処理の詳細を説明する。
ヘッドフォン8を装着した乗員が、左座席用ディスプレイ7a又は右座席用ディスプレイ7bに対向する後部座席に座って、不図示の入力装置を用いて、RSEシステム1に対してコンテンツデータの再生を指示すると、カメラ2が後部座席側を撮影し、撮影画像データを画像認識部3へ出力する。画像認識部3では、カメラ2から入力した撮影画像データを画像認識して、ヘッドフォン8に設けた識別用マーク9の当該撮影画像中の座標位置を算出し接続判定部4へ出力する。
接続判定部4は、画像認識部3から入力した識別用マーク9の座標位置が、カメラ2に定点撮影された後部座席側の撮影画像における、カメラ2から向かって左側の後部座席に対応する画像領域にあるのか、カメラ2から向かって右側の後部座席に対応する画像領域にあるのかを判定する(ステップST1)。
ここで、左側の後部座席に対応する画像領域に識別用マーク9がある場合(ステップST1;カメラ2から向かって左側)、接続判定部4は、図3(b)に示すように、ヘッドフォン8を装着した乗員が、右座席用ディスプレイ7bに対向する後部座席に座って、右座席用ディスプレイ7bで再生されるコンテンツを視聴しようとしていると判断し、右座席用ディスプレイ7b用の音声チャネルにヘッドフォン8を接続するよう音声通信部5へ指示する。音声通信部5は、接続判定部4からの指示に従い、右座席用ディスプレイ7b用の音声チャネルをヘッドフォン8に接続する(ステップST2−1)。これにより、後席AV再生部6によって再生された右座席用ディスプレイ7b用の音声チャネルの音声信号が、音声通信部5を介した無線通信でヘッドフォン8へ送信される。
一方、右側の後部座席に対応する画像領域に識別用マーク9がある場合(ステップST1;カメラ2から向かって右側)、接続判定部4は、図3(a)に示すように、ヘッドフォン8を装着した乗員が、左座席用ディスプレイ7aに対向する後部座席に座って、左座席用ディスプレイ7aで再生されるコンテンツを視聴しようとしていると判断し、左座席用ディスプレイ7a用の音声チャネルにヘッドフォン8を接続するよう音声通信部5へ指示する。
音声通信部5は、接続判定部4からの指示に従い、左座席用ディスプレイ7a用の音声チャネルをヘッドフォン8に接続する(ステップST2−2)。これにより、後席AV再生部6によって再生された左座席用ディスプレイ7a用の音声チャネルの音声信号が、音声通信部5を介した無線通信でヘッドフォン8へ送信される。
以上のように、この実施の形態1によれば、カメラ2によって撮影された後部座席側の撮影画像から、ヘッドフォン8に設けた識別用マーク9を画像認識して撮影画像中の識別用マーク9の座標位置を算出し、識別用マーク9の座標位置に基づいて音声出力装置を装着する乗員が複数の後部座席のいずれに着席しているかを判定し、乗員が着席していると判定された後部座席に対向する表示画面に表示する映像データに対応した音声データを、当該乗員が装着しているヘッドフォン8へ送信して音声出力させる。
このようにすることで、ヘッドフォン8に専用機器を用いる必要がないため、機器の汎用性を損なうことなく、各再生系列に対応する機器を自動的に識別できる。
特に、ヘッドフォン8において、音声チャネルを選択する手動のスイッチ操作が不要であるため、ヘッドフォン8のHW構成を簡素化できる。
なお、上記実施の形態1では、識別用マーク9をヘッドフォン8に設けて音声チャネルの接続先を識別する構成を示したが、本発明は、ヘッドフォンのみならず、コンテンツの視聴に使用する他の器具にも適用することができる。
例えば、3D映像用メガネ(立体映像用メガネ)に適用する。近年の3D映像用メガネでは、再生系列側から補正信号を受信し、この補正信号に応じて、光の屈折や遮光、透過状況を変化させるものが普及してきている。このような調整を3D映像用メガネが行うことで、当該メガネを通して見えるディスプレイの映像の見え方を、より高度な内容とすることができる。
そこで、この3D映像用メガネに識別用マークを設け、3D映像用メガネを装着している乗員が、左右どちらのディスプレイを見ているかをRSEシステム1が自動判定する。
この場合、画像認識部3が、カメラ2の撮影画像の画像を認識して、3D映像用メガネに設けた識別用マーク9の座標位置を算出し、接続判定部4が、当該乗員が左右どちらのディスプレイを見ているかを自動的に判定する。この判定結果を受けて、音声通信部5が、当該乗員がみるディスプレイに対応した補正信号を3D映像用メガネに送信する。この補正信号に基づいて、3D映像用メガネが、当該ディスプレイで再生する3D映像の見え方が最適化されるように自身の光の屈折や遮光、透過状況を変化させる。
実施の形態2.
実施の形態2では、複数個の識別用マークをヘッドフォンに設けて、ヘッドフォンを装着した乗員の顔の向き(乗員が視聴するディスプレイの方向)を判別し、判別結果に応じたディスプレイ用の音声チャネルにヘッドフォンを接続するものである。
図4は、複数個の識別用マークを設けたヘッドフォンの一例を示す図である。図4の例では、ヘッドフォン8の2つのスピーカ部分における、当該ヘッドフォン8を装着した乗員の顔方向に垂直な平面上となる位置に、複数個(図4では、2つ)の識別用マーク9を取り付けている。
図5は、後部座席に座る乗員が対向するディスプレイに向いている場合を示す図であり、図6は、後部座席に座る乗員が、図5で顔が向いていたディスプレイに隣接するディスプレイの方に向いている場合を示す図である。
この実施の形態2においても、上記実施の形態1と同様に左座席用ディスプレイ7aと右座席用ディスプレイ7bとの中間位置にカメラ2を取り付け、後部座席側を撮影する。この撮影画像は、後部座席側にある3次元の被写体を、図5及び図6に示すように、カメラ2の撮影部と2つの識別用マーク9間の線分Aの中点aとを結ぶ光線Dに垂直な2次元平面(撮影面)Cに投影したものに相当する。
このため、ヘッドフォン8を装着した乗員の顔方向Bに垂直な平面A上の位置に2つの識別用マーク9をヘッドフォン8の2つのスピーカ部分にそれぞれ取り付けておくと、乗員の顔方向Bによって、カメラ2の撮影画像中の2つの識別用マーク9の間隔が変化する。例えば、撮影画像において、乗員が座る後部座席に対向する右座席用ディスプレイ7bに乗員の顔が向いていると、図5のように2つの識別用マーク9の間隔が小さくなり、乗員の顔が左座席用ディスプレイ7aの方に向いていると、図6のように2つの識別用マーク9の間隔が大きくなる。
実施の形態2では、このような原理を利用して、ヘッドフォン8の位置のみならず、当該ヘッドフォン8を装着した乗員の顔方向B、すなわち当該乗員がどのディスプレイを視聴しているかを検出する。
図7は、この発明の実施の形態2によるAVシステムの構成を示すブロック図である。図7において、RSEシステム1Aでは、画像認識部3aが、ヘッドフォン8に設けた2つの識別用マーク9の撮影画像の画像認識を行って、当該撮影画像中での識別用マーク9の間隔を算出し、接続判定部(判定部)4aが、画像認識部3aによって算出された識別用マーク9の間隔に基づいて、ディスプレイ7a,7bのうちのどちらのディスプレイ用の音声チャネルをヘッドフォン8に接続するのかを判定する。この他の構成部については、図1と同様である。
次に動作について説明する。
図8は、実施の形態2のAVシステムによる動作の流れを示すフローチャートであり、どのディスプレイ用の音声チャネルをヘッドフォン8の接続先とするのかを判定する処理の詳細を示している。また、図5及び図6を参照しながら、図8に沿って処理の詳細を説明する。
ヘッドフォン8を装着した乗員が、左座席用ディスプレイ7a又は右座席用ディスプレイ7bに対向する後部座席に座って、不図示の入力装置を用いて、RSEシステム1Aに対してコンテンツデータの再生を指示すると、カメラ2が後部座席側を撮影し、撮影画像データを画像認識部3aへ出力する。画像認識部3aでは、カメラ2から入力した撮影画像データを画像認識して、ヘッドフォン8に設けた2つの識別用マーク9の当該撮影画像中の座標位置を算出し、この座標位置を基に撮影画像中の2つの識別用マーク9を結ぶ線分Aの中点aの座標位置と2つの識別用マーク9の間隔とを算出して接続判定部4aへ出力する。
接続判定部4aは、画像認識部3aから入力した識別用マーク9を結ぶ線分Aの中点aの座標位置が、カメラ2に定点撮影された後部座席側の撮影画像における、カメラ2から向かって左側の後部座席に対応する画像領域にあるのか、カメラ2から向かって右側の後部座席に対応する画像領域にあるのかを判定する(ステップST1a)。
ここで、左側の後部座席に対応する画像領域に線分Aの中点aがある場合(ステップST1a;カメラ2から向かって左側)、接続判定部4aは、図5及び図6に示すように、ヘッドフォン8を装着した乗員が、右座席用ディスプレイ7bに対向する後部座席に座っていると判断し、撮影画像中の2つの識別用マーク9の間隔と予め設定された一定値とを比較する(ステップST2a)。
上述の一定値は、例えば、後部座席に着席する乗員が装着しているヘッドフォン8の2つの識別用マーク9の間隔が、当該後部座席に対向するディスプレイの方向に乗員の顔が向いているときに相当する値と、当該ディスプレイに隣接するディスプレイの方向に乗員の顔が向いているときに相当する値とを実験的に予め求めておく。この閾値に相当する値は、2つの識別用マーク9の間隔が取り得る所定の範囲の値であってもよい。
また、撮影画像中の2つの識別用マーク9の間隔と予め設定された一定値との比較は、乗員がいずれのディスプレイで再生されるコンテンツを視聴するのか判断する時間を考慮して、当該間隔が上記一定値未満になった状態と一定値以上になった状態とがそれぞれ所定の時間継続した場合に、乗員の顔がディスプレイ7a,7bのいずれかに向いていると判断する。
撮影画像中の2つの識別用マーク9の間隔が一定値未満であると、接続判定部4aは、図5に示すように、後部座席に座る乗員の顔方向Bが右座席用ディスプレイ7bに向いて右座席用ディスプレイ7bで再生されるコンテンツを視聴しようとしていると判断し、右座席用ディスプレイ7b用の音声チャネルにヘッドフォン8を接続するよう音声通信部5へ指示する。音声通信部5は、接続判定部4aからの指示に従い、右座席用ディスプレイ7b用の音声チャネルをヘッドフォン8に接続する(ステップST2a−1)。これにより、後席AV再生部6によって再生された右座席用ディスプレイ7b用の音声チャネルの音声信号が、音声通信部5を介した無線通信でヘッドフォン8へ送信される。
また、撮影画像中の2つの識別用マーク9の間隔が一定値以上であると、接続判定部4aは、図6に示すように、後部座席に座る乗員の顔方向Bが左座席用ディスプレイ7aの方を向いて左座席用ディスプレイ7aで再生されるコンテンツを視聴しようとしていると判断し、左座席用ディスプレイ7a用の音声チャネルにヘッドフォン8を接続するよう音声通信部5へ指示する。音声通信部5は、接続判定部4aからの指示に従い、左座席用ディスプレイ7a用の音声チャネルをヘッドフォン8に接続する(ステップST2a−2)。これにより、後席AV再生部6で再生された左座席用ディスプレイ7a用の音声チャネルの音声信号が、音声通信部5を介した無線通信でヘッドフォン8へ送信される。
一方、右側の後部座席に対応する画像領域に線分Aの中点aがある場合(ステップST1a;カメラ2から向かって右側)、接続判定部4aは、ヘッドフォン8を装着した乗員が左座席用ディスプレイ7aに対向する後部座席に座っていると判断し、撮影画像中の2つの識別用マーク9の間隔と予め設定した一定値とを比較する(ステップST3a)。
撮影画像中の2つの識別用マーク9の間隔が一定値未満であると、接続判定部4aは、上記と同様に、左座席用ディスプレイ7aで再生されるコンテンツを視聴しようとしていると判断し、左座席用ディスプレイ7a用の音声チャネルにヘッドフォン8を接続するよう音声通信部5へ指示する。音声通信部5は、接続判定部4aからの指示に従い、左座席用ディスプレイ7a用の音声チャネルをヘッドフォン8に接続する(ステップST3a−1)。これにより、後席AV再生部6によって再生された左座席用ディスプレイ7a用の音声チャネルの音声信号が、音声通信部5を介した無線通信でヘッドフォン8へ送信される。
また、撮影画像中の2つの識別用マーク9の間隔が一定値以上であると、接続判定部4aは、後部座席に座る乗員が右座席用ディスプレイ7bで再生されるコンテンツを視聴しようとしていると判断し、右座席用ディスプレイ7b用の音声チャネルにヘッドフォン8を接続するよう音声通信部5へ指示する。音声通信部5は、接続判定部4aからの指示に従い、右座席用ディスプレイ7b用の音声チャネルをヘッドフォン8に接続する(ステップST3a−2)。これにより、後席AV再生部6で再生された右座席用ディスプレイ7b用の音声チャネルの音声信号が、音声通信部5を介した無線通信でヘッドフォン8へ送信される。
RSEシステム1AでRSEを提供している間、カメラ2による後部座席側の撮影、画像認識部3aによる画像認識、及び接続判定部4aによる接続判定を常に動作させておいてもよい。この場合、例えば、最初に乗員の顔が左座席用ディスプレイ7aに向いていると判断した場合であっても、その後に識別用マーク9の間隔と一定値の大小比較の結果が反転した状態が所定時間継続すると、乗員の顔が今度は右座席用ディスプレイ7bに向いていると判断して音声チャネルを切り替える。
以上のように、この実施の形態2によれば、ヘッドフォン8における乗員の顔方向に垂直な平面上の位置に複数の識別用マーク9を設け、画像認識部3aが、カメラ2に撮影された撮影画像から、ヘッドフォン8に設けた複数の識別用マーク9を画像認識して撮影画像中の複数の識別用マーク9の座標位置及び複数の識別用マーク9間の間隔を算出し、接続判定部4aが、画像認識部3aに算出された識別用マーク9の座標位置に基づいて、ヘッドフォン8を装着する乗員が複数の後部座席のいずれに着席しているかを判定するとともに、複数の識別用マーク9間の間隔と所定の閾値との比較結果に基づいて、判定した後部座席に着席する乗員の顔が、ディスプレイ7a,7bのいずれの表示画面に向いているかを判定し、音声通信部5が、後席AV再生部6によって再生された音声データのうち、接続判定部4aによって乗員の顔が向いていると判定された表示画面に表示する映像データに対応した音声データを、当該乗員が装着しているヘッドフォン8へ送信して音声出力させる。このようにすることで、左座席側から右座席用ディスプレイ7bを視聴したり、右座席側から左座席用ディスプレイ7aを視聴する場合も含めて、乗員が左右どちらのディスプレイ7a,7bを視聴しているかを判定することができる。
なお、上記実施の形態2では、1つのヘッドフォン8に2つの識別用マーク9設けた場合について示したが、1つのヘッドフォン8に対して3つ以上の識別用マーク9を設けてもよい。1つのヘッドフォン8に3つ以上の識別用マーク9を設ける場合、より精度よく乗員の顔向きを判定することができる。
実施の形態3.
実施の形態3は、上記実施の形態2と同様に、複数個の識別用マークをヘッドフォンに設けるとともに、後部座席を撮影するカメラを複数設け、それぞれのカメラで撮影された画像における識別用マークの認識結果を用いて、ヘッドフォンを装着した乗員の顔の向き(乗員が視聴するディスプレイの方向)を判別し、判別結果に応じたディスプレイ用の音声チャネルにヘッドフォンを接続するものである。
図9は、この発明の実施の形態3によるAVシステムの構成を示すブロック図である。図9において、RSEシステム1Bでは、上記実施の形態1,2と同様に、左座席用ディスプレイ7a及び右座席用ディスプレイ7bで映像を再生して、ディスプレイ7a,7bのいずれかに対応するヘッドフォン8にディスプレイの表示内容に応じた音声を出力する。また、ヘッドフォン8には、上記実施の形態2で図4を用いて説明したように、ヘッドフォン8を装着した乗員の顔方向に垂直な平面上となる、ヘッドフォン8の2つのスピーカ部分に、2つの識別用マーク9を取り付けている。
RSEシステム1Bは、左座席用ディスプレイ7a側に取り付けたカメラ2a、右座席用ディスプレイ7b側に取り付けたカメラ2b、画像認識部3A,3B、接続判定部(判定部)4B、音声通信部5及び後席AV再生部6を備える。画像認識部3Aは、カメラ2aの撮影画像を画像認識し、画像認識部3Bは、カメラ2bの撮影画像を画像認識する。また、接続判定部4Bは、画像認識部3A,3Bの認識結果を用いてどの音声チャネルをヘッドフォン8の接続先とするのかを判定する。
図10は、後部座席に座る乗員が対向するディスプレイに向いている場合を示す図であり、図11は、後部座席に座る乗員が図10で顔が向いていたディスプレイに隣接するディスプレイの方に向いている場合を示す図である。図10及び図11に示す例では、カメラ2aは、対応する左座席用ディスプレイ7aの上部における後部座席側からみて左端に配置され、カメラ2bは、対応する右座席用ディスプレイ7bの上部における後部座席側からみて右端に配置される。なお、カメラと一体に構成されたディスプレイをディスプレイ7a,7bとして利用してもよい。この場合、RSEシステム1Bの配線構成を簡素化することができる。
カメラ2a,2bの各撮影画像は、後部座席側にある3次元の被写体を、図10及び図11に示すように、カメラ2aの撮影部と2つの識別用マーク9間の線分Aの中点aとを結ぶ光線D1に垂直な2次元平面(撮影面)C1に投影したものに相当し、カメラ2bの撮影部と2つの識別用マーク9間の線分Aの中点aとを結ぶ光線D2に垂直な2次元平面(撮影面)C2に投影したものに相当する。
このため、ヘッドフォン8を装着した乗員の顔方向Bに垂直な平面A上の位置に2つの識別用マーク9をヘッドフォン8の2つのスピーカ部分にそれぞれ取り付けておくと、乗員の顔方向Bによって、カメラ2a,2bの各撮影画像上の2つの識別用マーク9の間隔A1,A2が変化する。
例えば、図10及び図11におけるカメラ2aの配置位置では、その撮影画像において、乗員が座る後部座席に対向する左座席用ディスプレイ7aに乗員の顔が向いている場合と、乗員の顔が右座席用ディスプレイ7bの方に向いている場合とで、図10及び図11に示すように、前者の間隔A1よりも後者の間隔A1の方が小さくなる。
また、カメラ2bの配置位置では、その撮影画像において、乗員が座る後部座席に対向する左座席用ディスプレイ7aに乗員の顔が向いている場合と、乗員の顔が右座席用ディスプレイ7bの方に向いている場合とで、図10及び図11に示すように、前者の間隔A2よりも後者の間隔A2の方が大きくなる。
実施の形態3では、このような原理を利用してヘッドフォン8の位置のみならず、当該ヘッドフォン8を装着した乗員の顔方向B、すなわち当該乗員がどのディスプレイを視聴しているかを検出する。
次に動作について説明する。
図10及び図11を参照して、どのディスプレイ用の音声チャネルをヘッドフォン8の接続先とするのかを判定する処理の詳細を説明する。
ヘッドフォン8を装着した乗員が、左座席用ディスプレイ7a又は右座席用ディスプレイ7bに対向する後部座席に座り、不図示の入力装置を用いて、RSEシステム1Bに対してコンテンツデータを再生を指示すると、カメラ2a,2bが後部座席側を撮影し、撮影画像データを画像認識部3A,3Bへそれぞれ出力する。
画像認識部3Aは、カメラ2aから入力した撮影画像データを画像認識して、ヘッドフォン8に付与した2つの識別用マーク9の当該撮影画像中の座標位置を算出し、この座標位置を基に撮影画像中の2つの識別用マーク9を結ぶ線分Aの中点aの座標位置と2つの識別用マーク9の間隔A1とを算出して接続判定部4Bへ出力する。
画像認識部3Bも同様に、カメラ2bから入力した撮影画像データを画像認識して、ヘッドフォン8に設けた2つの識別用マーク9の当該撮影画像中の座標位置を算出し、この座標位置を基に撮影画像中の2つの識別用マーク9を結ぶ線分Aの中点aの座標位置と、2つの識別用マーク9の間隔A2とを算出して、接続判定部4Bへ出力する。
接続判定部4Bは、画像認識部3Aから入力した識別用マーク9を結ぶ線分Aの中点aの座標位置が、カメラ2aに定点撮影された後部座席側の撮影画像における、カメラ2aから向かって左側の後部座席に対応する画像領域にあるのか、カメラ2aから向かって右側の後部座席に対応する画像領域にあるのかを判定する。
また、同様に、接続判定部4Bは、画像認識部3Bから入力した識別用マーク9を結ぶ線分Aの中点aの座標位置が、カメラ2bに定点撮影された後部座席側の撮影画像における、カメラ2bから向かって左側の後部座席に対応する画像領域にあるのか、カメラ2bから向かって右側の後部座席に対応する画像領域にあるのかを判定する。
ここで、接続判定部4Bは、画像認識部3Aによる画像認識結果を用いた判定と、画像認識部3Bによる画像認識結果を用いた判定とで同一の判定結果が得られなければ、再び後部座席側を撮影した結果を利用して、上述までの処理を繰り返す。
上記双方の判定結果が、左側の後部座席に対応する画像領域に線分Aの中点aがある場合、接続判定部4Bは、ヘッドフォン8を装着した乗員が、右座席用ディスプレイ7bに対向する後部座席に座っていると判断し、画像認識部3Aが算出した撮影画像中の2つの識別用マーク9の間隔A1と一定値Th1を比較するとともに、画像認識部3Bが算出した撮影画像中の2つの識別用マーク9の間隔A2と一定値Th2を比較する。
ここで、撮影画像中の2つの識別用マーク9の間隔A1,A2と一定値Th1,Th2との比較は、乗員がいずれのディスプレイで再生されるコンテンツを視聴するのか判断する時間を考慮して、同一の比較結果が所定の時間継続した場合に、乗員の顔がディスプレイ7a,7bのいずれかに向いていると判断する。
接続判定部4Bは、間隔A1,A2のいずれの比較結果からも、後部座席に座る乗員の顔方向Bが右座席用ディスプレイ7bに向いて右座席用ディスプレイ7bで再生されるコンテンツを視聴しようとしていると判断できる場合、右座席用ディスプレイ7b用の音声チャネルにヘッドフォン8を接続するよう音声通信部5へ指示する。
音声通信部5は、接続判定部4Bからの指示に従い、右座席用ディスプレイ7b用の音声チャネルをヘッドフォン8に接続する。これにより、後席AV再生部6によって再生された右座席用ディスプレイ7b用の音声チャネルの音声信号が、音声通信部5を介した無線通信でヘッドフォン8へ送信される。
また、間隔A1,A2の比較結果から、後部座席に座る乗員の顔方向Bが左座席用ディスプレイ7aに向いて、左座席用ディスプレイ7aで再生されるコンテンツを視聴しようとしていると判断できる場合についても、同様にして、接続判定部4Bが、左座席用ディスプレイ7a用の音声チャネルにヘッドフォン8を接続するよう、音声通信部5へ指示することにより、後席AV再生部6によって再生された左座席用ディスプレイ7a用の音声チャネルの音声信号が、音声通信部5を介した無線通信でヘッドフォン8へ送信される。
さらに、右側の後部座席に対応する画像領域に線分Aの中点aがある場合においても、同様である。
なお、上述では、間隔A1,A2のいずれの比較結果からも、後部座席に座る乗員の顔方向Bが右座席用ディスプレイ7bに向いて右座席用ディスプレイ7bで再生されるコンテンツを視聴しようとしている判断できる場合に、音声チャネルの接続先を決定する旨を説明したが、乗員が着席している後部座席側の結果を優先して、音声チャネルの接続先の判定を行うようにしてもよい。例えば、図10及び図11の場合、乗員が着席している後部座席に対向する左座席用ディスプレイ7aに取り付けたカメラ2aの撮影画像を利用した間隔A1の比較結果での判断を優先する。
以上のように、この実施の形態3によれば、複数のカメラ2a,2bを設け、接続判定部4Bが、カメラ部2a,2bによってそれぞれ撮影された撮影画像を基に、画像認識部3A,3Bによって算出された複数の識別用マーク9の座標位置に基づいて、ヘッドフォン8を装着する乗員が複数の後部座席のいずれに着席しているかを判定するとともに、カメラ2a,2bによってそれぞれ撮影された各撮影画像中の複数の識別用マーク9間の間隔と所定の閾値との各比較結果に基づいて、乗員の顔がディスプレイ7a,7bのいずれの表示画面に向いているかを判定する。このようにすることで、ヘッドフォン8の位置、乗員の視聴方向のいずれについても検出精度を向上させることができる。
また、上記実施の形態3によれば、カメラ2a,2bをディスプレイ7a,7bごとに設けるので、システムのHW的な配線構成を簡素化できる。なお、ディスプレイとカメラを一体型とすれば、さらにシステムのHW的な配線構成を簡素化できる利点が得られる。
実施の形態4.
実施の形態4では、2つのヘッドフォンに互いに異なる識別用マークを設けて、これらの識別用マークの座標位置から、各ヘッドフォンを装着した乗員が左右いずれの後部座席に着席して、左右どちらのディスプレイ用の音声チャネルをヘッドフォンに接続するのかを判定する構成について述べる。
図12は、互いに異なる識別用マークを設けた2つのヘッドフォンの一例を示す図である。図12において、一方のヘッドフォン8に識別用マーク9aを取り付け、もう一方のヘッドフォン8に識別用マーク9bを取り付けている。実施の形態4では、色又は形状が互いに異なる印刷を2つのヘッドフォン8のそれぞれに施して識別用マーク9a,9bを得ている。なお、識別用マーク9a,9bは、ヘッドフォン8に印刷したものに限らず、実施の形態5及び実施の形態6で後述するように、LEDを利用してもよい。
図13は、この発明の実施の形態4によるAVシステムの構成を示すブロック図であり、車両の左右座席に設けたディスプレイで相異なる映像音声をそれぞれ再生可能な2つの再生系列を構成するRSEシステムに本発明を適用した場合を示している。
図13に示すように、RSEシステム1Cでは、左座席用ディスプレイ7a及び右座席用ディスプレイ7bで映像を再生し、ディスプレイ7a,7bのいずれかに対応するヘッドフォン(音声出力装置)8a,8bに、ディスプレイの表示内容に応じた音声を出力する。その構成としては、カメラ2、画像認識部3b、接続判定部(判定部)4b、音声通信部5b及び後席AV再生部6を備える。
画像認識部3bは、カメラ2から取得した撮影画像データを画像認識して、ヘッドフォン8a,8bにそれぞれ設けた識別用マーク9a,9bの当該撮影画像中の座標位置を算出する構成部である。例えば、各識別用マーク9a,9bの画像パターンを画像認識部3bにそれぞれ登録しておき、撮影画像と当該画像パターンとのマッチングをとることで、撮影画像中の識別用マーク9a,9bの座標位置を算出する。なお、ヘッドフォンを装着した乗員の席替え等の動きを考慮して、カメラ2でリアルタイムに撮影された結果から識別用マークの座標位置を算出してもよい。
接続判定部4bは、画像認識部3bで算出された識別用マーク9aの座標位置から、ヘッドフォン8aを装着する乗員が、左右いずれの後部座席に着席しているか、すなわちディスプレイ7a,7bのうちのどちらのディスプレイ用の音声チャネルをヘッドフォン8aに接続するのかを判定するとともに、画像認識部3bで算出された識別用マーク9bの各座標位置から、識別用マーク9bが付されたヘッドフォン8bを装着する乗員が、ディスプレイ7a,7bのうちのどちらのディスプレイ用の音声チャネルをヘッドフォン8bに接続するのかを判定する構成部である。
音声通信部5bは、無線通信の接続対象となるヘッドフォンを特定するためのID情報として、ヘッドフォン8aに固有なID情報(ID=1)と、ヘッドフォン8bに固有なID情報(ID=2)とが登録されており、ID情報を利用して特定したヘッドフォン8a,8bと、接続判定部4bの判定結果に応じた音声チャネルとの間で接続をそれぞれ確立して、後席AV再生部6で再生された音声信号を、無線通信でヘッドフォン8a,8bへ送信する構成部である。この他の構成部2,6,7a,7bについては、上記実施の形態1で図1を用いて説明した構成と同様である。
次に動作について説明する。
図14は、実施の形態4のAVシステムによる動作の流れを示すフローチャートであり、どのディスプレイ用の音声チャネルをヘッドフォン8a,8bの接続先とするのかを判定する処理の詳細を示している。図14に沿って処理の詳細を説明する。
ヘッドフォン8aを装着した乗員及びヘッドフォン8bを装着した乗員が、左座席用ディスプレイ7a又は右座席用ディスプレイ7bに対向する後部座席に座って、不図示の入力装置を用いてRSEシステム1Cに対してコンテンツデータの再生を指示すると、カメラ2が後部座席側を撮影し、撮影画像データを画像認識部3bへ出力する。
画像認識部3bは、カメラ2から入力した撮影画像データを画像認識して、ヘッドフォン8aに設けた識別用マーク9aの当該撮影画像中の座標位置を算出して、算出結果を接続判定部4bへ出力する。接続判定部4bでは、画像認識部3bから入力した識別用マーク9aの座標位置が、カメラ2に定点撮影された後部座席側の撮影画像における、カメラ2から向かって左側の後部座席に対応する画像領域にあるのか、カメラ2から向かって右側の後部座席に対応する画像領域にあるのかを判定する(ステップST1b)。
ここで、左側の後部座席に対応する画像領域に識別用マーク9aがある場合(ステップST1b;カメラ2から向かって左側)、接続判定部4bは、ヘッドフォン8aを装着した乗員が、右座席用ディスプレイ7bに対向する後部座席に座って、右座席用ディスプレイ7bで再生されるコンテンツを視聴しようとしていると判断し、右座席用ディスプレイ7b用の音声チャネルにヘッドフォン8aを接続するよう音声通信部5bへ指示する。
音声通信部5bは、ID情報(ID=1)を用いてヘッドフォン8aを特定すると、接続判定部4bからの指示に従って、右座席用ディスプレイ7b用の音声チャネルをヘッドフォン8aに接続する(ステップST2b−1)。これにより、後席AV再生部6で再生された右座席用ディスプレイ7b用の音声チャネルの音声信号が、音声通信部5bを介した無線通信でヘッドフォン8aへ送信される。
一方、右側の後部座席に対応する画像領域に識別用マーク9aがある場合(ステップST1b;カメラ2から向かって右側)、接続判定部4bは、ヘッドフォン8aを装着した乗員が、左座席用ディスプレイ7aに対向する後部座席に座って、左座席用ディスプレイ7aで再生されるコンテンツを視聴しようとしていると判断し、左座席用ディスプレイ7a用の音声チャネルにヘッドフォン8aを接続するよう音声通信部5bへ指示する。
音声通信部5bは、ID情報(ID=1)を用いてヘッドフォン8aを特定すると、接続判定部4bからの指示に従い、左座席用ディスプレイ7a用の音声チャネルをヘッドフォン8aに接続する(ステップST2b−2)。これにより、後席AV再生部6で再生された左座席用ディスプレイ7a用の音声チャネルの音声信号が、音声通信部5bを介した無線通信でヘッドフォン8aへ送信される。
続いて、画像認識部3bは、カメラ2から入力した撮影画像データを画像認識して、ヘッドフォン8bに設けた識別用マーク9bの当該撮影画像中の座標位置を算出して、算出結果を接続判定部4bへ出力する。接続判定部4bでは、画像認識部3bから入力した識別用マーク9bの座標位置が、カメラ2に定点撮影された後部座席側の撮影画像における、カメラ2から向かって左側の後部座席に対応する画像領域にあるのか、カメラ2から向かって右側の後部座席に対応する画像領域にあるのかを判定する(ステップST3b)。
ここで、左側の後部座席に対応する画像領域に識別用マーク9bがある場合(ステップST3b;カメラ2から向かって左側)、接続判定部4bは、ヘッドフォン8bを装着した乗員が、右座席用ディスプレイ7bに対向する後部座席に座って、右座席用ディスプレイ7bで再生されるコンテンツを視聴しようとしていると判断し、右座席用ディスプレイ7b用の音声チャネルにヘッドフォン8bを接続するよう音声通信部5bへ指示する。
音声通信部5bは、ID情報(ID=2)を用いてヘッドフォン8bを特定すると、接続判定部4bからの指示に従って、右座席用ディスプレイ7b用の音声チャネルをヘッドフォン8bに接続する(ステップST4b−1)。これにより、後席AV再生部6で再生された右座席用ディスプレイ7b用の音声チャネルの音声信号が、音声通信部5bを介した無線通信でヘッドフォン8bへ送信される。
一方、右側の後部座席に対応する画像領域に識別用マーク9bがある場合(ステップST3b;カメラ2から向かって右側)、接続判定部4bは、ヘッドフォン8bを装着した乗員が、左座席用ディスプレイ7aに対向する後部座席に座って、左座席用ディスプレイ7aで再生されるコンテンツを視聴しようとしていると判断し、左座席用ディスプレイ7a用の音声チャネルにヘッドフォン8bを接続するよう音声通信部5bへ指示する。
音声通信部5bは、ID情報(ID=2)を用いてヘッドフォン8bを特定すると、接続判定部4bからの指示に従い、左座席用ディスプレイ7a用の音声チャネルをヘッドフォン8bに接続する(ステップST4b−2)。これにより、後席AV再生部6で再生された左座席用ディスプレイ7a用の音声チャネルの音声信号が、音声通信部5bを介した無線通信でヘッドフォン8bへ送信される。
以上のように、この実施の形態4によれば、ヘッドフォン8a,8bに互いに異なる識別用マーク9a,9bをそれぞれ設け、画像認識部3bが、カメラ2によって撮影された撮影画像から識別用マーク9a,9bを画像認識して、撮影画像中の互いに異なる識別用マーク9a,9bの座標位置をそれぞれ算出し、接続判定部4bが、画像認識部3bによって算出された識別用マーク9a,9bの座標位置に基づいて、ヘッドフォン8a,8bをそれぞれ装着する複数の乗員が、複数の後部座席のいずれにそれぞれ着席しているかを判定し、音声通信部5bが、後席AV再生部6によって再生された音声データのうち、接続判定部4bによって複数の乗員がそれぞれ着席していると判定された複数の後部座席にそれぞれ対向する表示画面に表示する映像データに対応した音声データを、ヘッドフォン8a,8bへそれぞれ送信して音声出力させる。このようにすることで、2個のヘッドフォン8a,8bを装着する乗員が、同時に左右の再生系列を使用することができる。
実施の形態5.
実施の形態5は、識別用マークをLEDで構成して、LEDの点滅周波数をヘッドフォンごとに変えることで、上記実施の形態4の各識別用マークを実現している。
図15は、この発明の実施の形態5によるAVシステムの構成を示すブロック図であり、車両の左右座席に設けたディスプレイで相異なる映像音声をそれぞれ再生可能な2つの再生系列を構成するRSEシステムに本発明を適用した場合を示している。
図15に示すように、RSEシステム1Dでは、左座席用ディスプレイ7a及び右座席用ディスプレイ7bで映像を再生し、ディスプレイ7a,7bのいずれかに対応するヘッドフォン8a,8bに、ディスプレイの表示内容に応じた音声を出力する。その構成としては、カメラ2、画像認識部3c、接続判定部4c、音声通信部5c及び後席AV再生部6を備える。
画像認識部3cは、カメラ2から取得した撮影画像データを画像認識して、ヘッドフォン8a,8bにそれぞれ設けた識別用マーク9a,9bの当該撮影画像中の座標位置を算出する構成部である。例えば、識別用マーク9a,9bとなるLEDの点滅周波数に応じた画像パターンを画像認識部3cにそれぞれ登録しておき、撮影画像と当該画像パターンとのマッチングをとることで、撮影画像中の識別用マーク9a,9bの座標位置を算出する。なお、ヘッドフォンを装着した乗員の席替え等の動きを考慮して、カメラ2でリアルタイムに撮影された結果から、識別用マークの座標位置を算出してもよい。
接続判定部(判定部)4cは、画像認識部3cで算出された識別用マーク9aの座標位置から、ヘッドフォン8aを装着する乗員が、左右いずれの後部座席に着席しているか、すなわちディスプレイ7a,7bのうちのどちらのディスプレイ用の音声チャネルをヘッドフォン8aに接続するのかを判定するとともに、画像認識部3cで算出された識別用マーク9bの各座標位置から、識別用マーク9bが付されたヘッドフォン8bを装着する乗員が、ディスプレイ7a,7bのうちのどちらのディスプレイ用の音声チャネルをヘッドフォン8bに接続するのかを判定する構成部である。
音声通信部5cは、無線通信の接続対象となるヘッドフォンを特定するためのID情報として、ヘッドフォン8aに固有なID情報(ID=1)と、ヘッドフォン8bに固有なID情報(ID=2)とが登録されており、ID情報を利用して特定したヘッドフォン8a,8bと、接続判定部4cの判定結果に応じた音声チャネルとの間で接続をそれぞれ確立して、後席AV再生部6で再生された音声信号を、無線通信でヘッドフォン8a,8bへ送信する構成部である。
LED点滅部10a,10bは、ヘッドフォン8a,8bにそれぞれ設けられ、識別用マーク9a,9bとなるLEDを互いに異なる点滅周波数で点滅させる構成部である。図15の例では、LED点滅部10aが、識別用マーク9aを構成するLEDを10Hzで点滅させ、LED点滅部10bが、識別用マーク9bを構成するLEDを50Hzで点滅させている。この他の構成部2,6,7a,7bについては、上記実施の形態1で図1を用いて説明した構成と同様である。
次に動作について説明する。
図16は、実施の形態5のAVシステムによる動作の流れを示すフローチャートであり、どのディスプレイ用の音声チャネルをヘッドフォン8a,8bの接続先とするのかを判定する処理の詳細を示している。図16に沿って処理の詳細を説明する。
ヘッドフォン8aを装着した乗員及びヘッドフォン8bを装着した乗員が、先ず、点灯指示操作(例えば、スイッチ操作)を行うことで、LED点滅部10a,10bが、ヘッドフォン8a,8bにそれぞれ設けたLEDを、10Hzの点滅周波数及び50Hzの点滅周波数でそれぞれ点滅させる。
続いて、上記の両乗員が、左座席用ディスプレイ7a又は右座席用ディスプレイ7bに対向する後部座席に座って、不図示の入力装置を用いてRSEシステム1Dに対してコンテンツデータの再生を指示すると、カメラ2が後部座席側を撮影し、撮影画像データを画像認識部3cへ出力する。
画像認識部3cは、カメラ2から入力した撮影画像データを画像認識して、ヘッドフォン8aに設けた識別用マーク9aを構成する、10Hzで点滅するLEDの当該撮影画像中の座標位置を算出して、算出結果を接続判定部4cへ出力する(ステップST1c)。
接続判定部4cでは、画像認識部3cから入力した10Hzで点滅するLED(識別用マーク9a)の座標位置が、カメラ2に定点撮影された後部座席側の撮影画像における、カメラ2から向かって左側の後部座席に対応する画像領域にあるのか、カメラ2から向かって右側の後部座席に対応する画像領域にあるのかを判定する(ステップST2c)。
ここで、左側の後部座席に対応する画像領域に、10Hzで点滅するLEDがある場合(ステップST2c;カメラ2から向かって左側)、接続判定部4cは、ヘッドフォン8aを装着した乗員が、右座席用ディスプレイ7bに対向する後部座席に座って、右座席用ディスプレイ7bで再生されるコンテンツを視聴しようとしていると判断し、右座席用ディスプレイ7b用の音声チャネルにヘッドフォン8aを接続するよう音声通信部5cへ指示する。
音声通信部5cは、ID情報(ID=1)を用いて、ヘッドフォン8aを特定すると、接続判定部4cからの指示に従って、右座席用ディスプレイ7b用の音声チャネルをヘッドフォン8aに接続する(ステップST3c−1)。これにより、後席AV再生部6で再生された右座席用ディスプレイ7b用の音声チャネルの音声信号が、音声通信部5cを介した無線通信でヘッドフォン8aへ送信される。
一方、右側の後部座席に対応する画像領域に、10Hzで点滅するLEDがある場合(ステップST2c;カメラ2から向かって右側)、接続判定部4cは、ヘッドフォン8aを装着した乗員が、左座席用ディスプレイ7aに対向する後部座席に座って、左座席用ディスプレイ7aで再生されるコンテンツを視聴しようとしていると判断し、ヘッドフォン8aを左座席用ディスプレイ7a用の音声チャネルに接続するよう音声通信部5cへ指示する。
音声通信部5cは、ID情報(ID=1)を用いて、ヘッドフォン8aを特定すると、接続判定部4cからの指示に従い、左座席用ディスプレイ7a用の音声チャネルをヘッドフォン8aに接続する(ステップST3c−2)。これによって、後席AV再生部6で再生された左座席用ディスプレイ7a用の音声チャネルの音声信号が、音声通信部5cを介した無線通信でヘッドフォン8aへ送信される。
続いて、画像認識部3cは、カメラ2から入力した撮影画像データを画像認識して、ヘッドフォン8bに設けた識別用マーク9bを構成する、50Hzで点滅するLEDの当該撮影画像中の座標位置を算出して、算出結果を接続判定部4cへ出力する(ステップST4c)。接続判定部4cでは、画像認識部3cから入力した50Hzで点滅するLED(識別用マーク9b)の座標位置が、カメラ2に定点撮影された後部座席側の撮影画像における、カメラ2から向かって左側の後部座席に対応する画像領域にあるのか、カメラ2から向かって右側の後部座席に対応する画像領域にあるのかを判定する(ステップST5c)。
ここで、左側の後部座席に対応する画像領域に50Hzで点滅するLEDがある場合(ステップST5c;カメラ2から向かって左側)、接続判定部4cは、ヘッドフォン8bを装着した乗員が、右座席用ディスプレイ7bに対向する後部座席に座って、右座席用ディスプレイ7bで再生されるコンテンツを視聴しようとしていると判断し、右座席用ディスプレイ7b用の音声チャネルにヘッドフォン8bを接続するように音声通信部5cへ指示する。
音声通信部5cは、ID情報(ID=2)を用いて、ヘッドフォン8bを特定すると、接続判定部4cからの指示に従って、右座席用ディスプレイ7b用の音声チャネルをヘッドフォン8bに接続する(ステップST6c−1)。これにより、後席AV再生部6で再生された右座席用ディスプレイ7b用の音声チャネルの音声信号が、音声通信部5cを介した無線通信でヘッドフォン8bへ送信される。
一方、右側の後部座席に対応する画像領域に50Hzで点滅するLEDがある場合(ステップST5c;カメラ2から向かって右側)、接続判定部4cは、ヘッドフォン8bを装着した乗員が、左座席用ディスプレイ7aに対向する後部座席に座って、左座席用ディスプレイ7aで再生されるコンテンツを視聴しようとしていると判断し、左座席用ディスプレイ7a用の音声チャネルにヘッドフォン8bを接続するよう音声通信部5cへ指示する。
音声通信部5cは、ID情報(ID=2)を用いて、ヘッドフォン8bを特定すると、接続判定部4cからの指示に従い、左座席用ディスプレイ7a用の音声チャネルをヘッドフォン8bに接続する(ステップST6c−2)。これにより、後席AV再生部6で再生された左座席用ディスプレイ7a用の音声チャネルの音声信号が、音声通信部5cを介した無線通信でヘッドフォン8bへ送信される。
以上のように、この実施の形態5によれば、ヘッドフォン8a,8bにそれぞれ設けたLEDと、ヘッドフォン8a,8bにそれぞれ設けられ、ヘッドフォン8a,8bのLED素子を互いに異なる周波数で点滅させるLED点滅部10a,10bとを備え、画像認識部3cが、カメラ2によって撮影された撮影画像から、互いに異なる識別用マークとして、LED点滅部10a,10bによって点滅されたLEDを画像認識して、撮影画像中の当該互いに異なる識別用マークの座標位置をそれぞれ算出する。このようにすることでも、2個のヘッドフォン8a,8bを装着する乗員が、同時に左右の再生系列を使用することができる。
実施の形態6.
実施の形態6は、識別用マークをLEDで構成して、ヘッドフォンごとにLEDの点灯タイミングを変えることで、上記実施の形態4の各識別用マークを実現している。
図17は、この発明の実施の形態6によるAVシステムの構成を示すブロック図であり、車両の左右座席に設けたディスプレイで相異なる映像音声をそれぞれ再生可能な2つの再生系列を構成するRSEシステムに本発明を適用した場合を示している。
図17に示すように、RSEシステム1Eでは、左座席用ディスプレイ7a及び右座席用ディスプレイ7bで映像を再生し、ディスプレイ7a,7bのいずれかに対応するヘッドフォン8a,8bに、ディスプレイの表示内容に応じた音声を出力する。その構成としては、カメラ2、画像認識部3c、接続判定部4c、音声通信部11及び後席AV再生部6を備える。
音声通信部11は、上記実施の形態5の音声通信部と同様に、無線通信の接続対象となるヘッドフォンを特定するためのID情報として、ヘッドフォン8aに固有なID情報(ID=1)と、ヘッドフォン8bに固有なID情報(ID=2)とが登録されており、ID情報を利用して特定したヘッドフォン8a,8bと、接続判定部4cの判定結果に応じた音声チャネルとの間で接続をそれぞれ確立して、後席AV再生部6で再生された音声信号を、無線通信でヘッドフォン8a,8bへ送信する構成部である。
また、音声通信部11は、RSEシステム1Eで映像音声のコンテンツを再生するにあたり、ヘッドフォン8a,8bにそれぞれ設けたLEDを点灯させるためのLED点灯命令を異なるタイミングで送信する。
LED点灯部12a,12bは、ヘッドフォン8a,8bにそれぞれ設けられ、識別用マーク9a,9bとなるLEDを点灯させる構成部である。実施の形態6では、音声通信部11が、LED点灯部12aとLED点灯部12bとの間で互いに異なるタイミングでLED点灯命令を送信することで、LED点灯命令を受信したタイミングで、LED点灯部12a,12bがLEDを点灯する。これにより、ヘッドフォン8a,8bにそれぞれ設けたLEDが、互いに異なる識別用マーク9a,9bとして機能する。
なお、この他の構成部2,6,7a,7bについては、上記実施の形態1で図1を用いて説明した構成と同様である。
次に動作について説明する。
図18は、実施の形態6のAVシステムによる動作の流れを示すフローチャートであり、どのディスプレイ用の音声チャネルをヘッドフォン8a,8bの接続先とするのかを判定する処理の詳細を示している。図18に沿って処理の詳細を説明する。
ヘッドフォン8aを装着した乗員及びヘッドフォン8bを装着した乗員が、左座席用ディスプレイ7a又は右座席用ディスプレイ7bに対向する後部座席に座って、不図示の入力装置を用いて、RSEシステム1Eに対してコンテンツデータの再生を指示する。
これに応じて、音声通信部11が、ID情報(ID=1)を用いて、ヘッドフォン8aを特定し、ヘッドフォン8aに対してLED点灯命令を送信する(ステップST1d)。
LED点灯部12aは、音声通信部11からLED点灯命令を受けると、ヘッドフォン8aに設けたLEDを点灯させる。このとき、ヘッドフォン8bに設けたLEDは消灯している。この後、カメラ2が後部座席側を撮影して、撮影画像データを画像認識部3cへ出力する。
画像認識部3cは、カメラ2から入力した撮影画像データを画像認識して、ヘッドフォン8aに設けた識別用マーク9aとして機能する点灯中のLEDの当該撮影画像中の座標位置を算出して、算出結果を接続判定部4cへ出力する(ステップST2d)。
接続判定部4cでは、画像認識部3cから入力した点灯中のLED(識別用マーク9a)の座標位置が、カメラ2に定点撮影された後部座席側の撮影画像における、カメラ2から向かって左側の後部座席に対応する画像領域にあるのか、カメラ2から向かって右側の後部座席に対応する画像領域にあるのかを判定する(ステップST3d)。
ここで、左側の後部座席に対応する画像領域に点灯中のLEDがある場合(ステップST3d;カメラ2から向かって左側)、接続判定部4cは、ヘッドフォン8aを装着した乗員が、右座席用ディスプレイ7bに対向する後部座席に座って、右座席用ディスプレイ7bで再生されるコンテンツを視聴しようとしていると判断し、右座席用ディスプレイ7b用の音声チャネルにヘッドフォン8aを接続するよう音声通信部11へ指示する。
音声通信部11は、ID情報(ID=1)を用いて、ヘッドフォン8aを特定すると、接続判定部4cからの指示に従って、右座席用ディスプレイ7b用の音声チャネルをヘッドフォン8aに接続する(ステップST4d−1)。これにより、後席AV再生部6で再生された右座席用ディスプレイ7b用の音声チャネルの音声信号が、音声通信部11を介した無線通信でヘッドフォン8aへ送信される。
一方、右側の後部座席に対応する画像領域に点灯中のLEDがある場合(ステップST3d;カメラ2から向かって右側)、接続判定部4cは、ヘッドフォン8aを装着した乗員が、左座席用ディスプレイ7aに対向する後部座席に座って、左座席用ディスプレイ7aで再生されるコンテンツを視聴しようとしていると判断し、ヘッドフォン8aを左座席用ディスプレイ7a用の音声チャネルに接続するよう音声通信部11へ指示する。
音声通信部11は、ID情報(ID=1)を用いて、ヘッドフォン8aを特定すると、接続判定部4cからの指示に従い、左座席用ディスプレイ7a用の音声チャネルをヘッドフォン8aに接続する(ステップST4d−2)。これによって、後席AV再生部6で再生された左座席用ディスプレイ7a用の音声チャネルの音声信号が、音声通信部11を介した無線通信でヘッドフォン8aへ送信される。
この後、音声通信部11が、ヘッドフォン8aに対してLED消灯命令を送信する(ステップST5d)。LED点灯部12aは、音声通信部11からLED消灯命令を受けると、ヘッドフォン8aに設けたLEDを消灯させる。
続いて、音声通信部11が、ID情報(ID=2)を用いて、ヘッドフォン8bを特定し、ヘッドフォン8bに対してLED点灯命令を送信する(ステップST6d)。
LED点灯部12bは、音声通信部11からLED点灯命令を受けると、ヘッドフォン8bに設けたLEDを点灯させる。この後、カメラ2が後部座席側を撮影して、撮影画像データを画像認識部3cへ出力する。
画像認識部3cは、カメラ2から入力した撮影画像データを画像認識して、ヘッドフォン8bに設けた識別用マーク9bとして機能する点灯中のLEDの当該撮影画像中の座標位置を算出して、算出結果を接続判定部4cへ出力する(ステップST7d)。
接続判定部4cでは、画像認識部3cから入力した点灯中のLED(識別用マーク9b)の座標位置が、カメラ2に定点撮影された後部座席側の撮影画像における、カメラ2から向かって左側の後部座席に対応する画像領域にあるのか、カメラ2から向かって右側の後部座席に対応する画像領域にあるのかを判定する(ステップST8d)。
ここで、左側の後部座席に対応する画像領域に点灯中のLEDがある場合(ステップST8d;カメラ2から向かって左側)、接続判定部4cは、ヘッドフォン8bを装着した乗員が、右座席用ディスプレイ7bに対向する後部座席に座って、右座席用ディスプレイ7bで再生されるコンテンツを視聴しようとしていると判断し、右座席用ディスプレイ7b用の音声チャネルにヘッドフォン8bを接続するよう音声通信部11へ指示する。
音声通信部11は、ID情報(ID=2)を用いて、ヘッドフォン8bを特定すると、接続判定部4cからの指示に従って、右座席用ディスプレイ7b用の音声チャネルをヘッドフォン8bに接続する(ステップST9d−1)。これにより、後席AV再生部6で再生された右座席用ディスプレイ7b用の音声チャネルの音声信号が、音声通信部11を介した無線通信でヘッドフォン8bへ送信される。
一方、右側の後部座席に対応する画像領域に点灯中のLEDがある場合(ステップST8d;カメラ2から向かって右側)、接続判定部4cは、ヘッドフォン8bを装着した乗員が、左座席用ディスプレイ7aに対向する後部座席に座って、左座席用ディスプレイ7aで再生されるコンテンツを視聴しようとしていると判断し、ヘッドフォン8bを左座席用ディスプレイ7a用の音声チャネルに接続するよう音声通信部11へ指示する。
音声通信部11は、ID情報(ID=2)を用いて、ヘッドフォン8bを特定すると、接続判定部4cからの指示に従い、左座席用ディスプレイ7a用の音声チャネルをヘッドフォン8bに接続する(ステップST9d−2)。これによって、後席AV再生部6で再生された左座席用ディスプレイ7a用の音声チャネルの音声信号が、音声通信部11を介した無線通信でヘッドフォン8bへ送信される。
最後に、音声通信部11が、ヘッドフォン8bに対してLED消灯命令を送信する(ステップST10d)。LED点灯部12bは、音声通信部11からLED消灯命令を受けると、ヘッドフォン8bに設けたLEDを消灯させる。
以上のように、この実施の形態6によれば、ヘッドフォン8a,8bにそれぞれ設けたLEDと、ヘッドフォン8a,8bにそれぞれ設けられ、音声通信部11から受信した点灯又は消灯命令に応じて、ヘッドフォン8a,8bのLEDを点灯又は消灯させるLED点灯部12a,12bとを備え、画像認識部3cが、カメラ2によって撮影された撮影画像から、ヘッドフォン8a,8bにそれぞれ設けたLEDのうち、カメラ2の撮影タイミングで点灯しているLEDを識別用マーク9a,9bとして画像認識して、撮影画像中の当該識別用マーク9a,9bの座標位置を算出し、接続判定部4cが、画像認識部3cによって算出された識別用マーク9a,9bの座標位置に基づいて、カメラ2の撮影タイミングでLEDが点灯しているヘッドフォン8a,8bを装着する乗員が、複数の後部座席のいずれに着席しているかを判定し、音声通信部11が、後席AV再生部6によって再生された音声データのうち、接続判定部4cによって乗員が着席していると判定された後部座席に対向する表示画面に表示する映像データに対応した音声データをヘッドフォン8a,8bへ送信して音声出力させるとともに、ヘッドフォン8a,8bにそれぞれ設けたLED点灯部12a,12bへ点灯又は消灯命令を送信して、ヘッドフォン8a,8bにそれぞれ設けたLEDを互いに異なるタイミングで点灯させる。このようにすることでも、2個のヘッドフォン8a,8bを装着する乗員が、同時に左右の再生系列を使用することができる。なお、LEDの点灯タイミングのみを変えればよいことから、ヘッドフォン毎にマーキングを変えたり、点滅周波数等の設定を変化させたりする必要がない。
なお、上記実施の形態4から上記実施の形態6までは、上記実施の形態1から上記実施の形態6までの構成に適用してもよい。
また、上記実施の形態4から上記実施の形態6までは、カメラが1つでヘッドフォンが2つである場合を説明したが、カメラを2つ以上又はヘッドフォンを3つ以上に増やした構成にも適用することができる。
実施の形態7.
図19は、この発明の実施の形態7によるAVシステムの構成を示すブロック図であり、車両の左右座席に設けたディスプレイで相異なる映像音声をそれぞれ再生可能な2つの再生系列を構成するRSEシステムに本発明を適用した場合を示している。
図19に示すように、RSEシステム1Fでは、左座席用ディスプレイ7a及び右座席用ディスプレイ7bで映像を再生し、ディスプレイ7a,7bのいずれかに対応するヘッドフォン8に、ディスプレイの表示内容に応じた音声を出力する。その構成としては、カメラ2、画像認識部3d、接続判定部4d、音声通信部5d、及び後席AV再生部6を備える。
画像認識部3dは、カメラ2から取得した撮影画像データを画像認識して、ヘッドフォン8に設けた識別用マーク9の当該撮影画像中の座標位置を算出するとともに、乗員のジェスチャーが肯定的か否定的であるかを識別する構成部である。
例えば、識別用マーク9に応じた画像パターンを画像認識部3dにそれぞれ登録しておき、撮影画像と当該画像パターンとのマッチングをとることで、撮影画像中の識別用マーク9の座標位置を算出する。
また、ジェスチャーについても同様に、肯定的及び否定的なジェスチャーに対応する画像パターンを画像認識部3dにそれぞれ登録しておき、撮影画像と当該画像パターンとのマッチングをとることで、乗員が肯定的なジェスチャーを行ったか、否定的なジェスチャーを行ったかを識別する。
接続判定部4dは、画像認識部3dで算出された識別用マーク9の座標位置から、ヘッドフォン8を装着する乗員が、左右いずれの後部座席に着席しているか、すなわちディスプレイ7a,7bのうちのどちらのディスプレイ用の音声チャネルをヘッドフォン8に接続するのかを判定する構成部である。また、接続判定部4dは、画像認識部3dによる乗員のジェスチャーの識別結果に基づいて、ディスプレイ7a,7bのうちのどちらのディスプレイ用の音声チャネルをヘッドフォン8に接続するのかを最終的に判定する。
音声通信部5dは、ヘッドフォン8と、接続判定部4dの判定結果に応じた音声チャネルとの間で接続を確立すると、判定結果を確認する案内音声を無線通信でヘッドフォン8へ送信し、画像認識部3dで応答が肯定的である(ジェスチャーが肯定的である)と識別された場合、後席AV再生部6で再生された音声信号を無線通信でヘッドフォン8へ送信する構成部である。
次に動作について説明する。
図20は、実施の形態7のAVシステムによる動作の流れを示すフローチャートであり、どのディスプレイ用の音声チャネルをヘッドフォン8の接続先とするのかを判定する処理の詳細を示している。この図20に沿って処理の詳細を説明する。
先ず、ヘッドフォン8を装着した乗員が、左座席用ディスプレイ7a又は右座席用ディスプレイ7bに対向する後部座席に座って、不図示の入力装置を用いて、RSEシステム1Fに対してコンテンツデータの再生を指示すると、カメラ2が後部座席側を撮影し、撮影画像データを画像認識部3dへ出力する。
画像認識部3dでは、カメラ2から入力した撮影画像データを画像認識して、ヘッドフォン8に設けた識別用マーク9の撮影画像中の座標位置を算出して接続判定部4dへ出力する(ステップST1e)。
接続判定部4dは、画像認識部3dから入力した識別用マーク9の座標位置が、カメラ2に定点撮影された後部座席側の撮影画像における、カメラ2から向かって左側の後部座席に対応する画像領域にあるのか、カメラ2から向かって右側の後部座席に対応する画像領域にあるのかを判定する(ステップST2e)。
ここで、左側の後部座席に対応する画像領域に識別用マーク9がある場合(ステップST2e;カメラ2から向かって左側)、接続判定部4dは、ヘッドフォン8を装着した乗員が、右座席用ディスプレイ7bに対向する後部座席に座って、右座席用ディスプレイ7bで再生されるコンテンツを視聴しようとしていると判断し、右座席用ディスプレイ7b用の音声チャネルにヘッドフォン8を接続するよう音声通信部5dへ指示する(ステップST3e−1)。
また、右側の後部座席に対応する画像領域に識別用マーク9がある場合(ステップST2e;カメラ2から向かって右側)、接続判定部4dは、ヘッドフォン8を装着した乗員が、左座席用ディスプレイ7aに対向する後部座席に座って、左座席用ディスプレイ7aで再生されるコンテンツを視聴しようとしていると判断し、左座席用ディスプレイ7a用の音声チャネルにヘッドフォン8を接続するよう音声通信部5dへ指示する(ステップST3e−2)。
音声通信部5dは、ステップST3e−1において、右座席用ディスプレイ7b用の音声チャネルに接続する指示を受けるか、又は、ステップST3e−2において、左座席用ディスプレイ7a用の音声チャネルに接続する指示を受けると、ヘッドフォン8との間で論理接続を確立する(ステップST4e)。これにより、後席AV再生部6で再生された右座席用ディスプレイ7b用又は左座席用ディスプレイ7a用の音声チャネルの音声信号が、音声通信部5dを介した無線通信でヘッドフォン8へ送信される。
続いて、音声通信部5dは、予め登録された音声案内をヘッドフォン8に送信する(ステップST5e)。これにより、「現在このヘッドフォンは、左(又は右)ディスプレイの音声を再生しています。よろしいですか」というような案内音声が、ヘッドフォン8を介して乗員に通知される。乗員は、当該案内音声を受信すると、現在の音声が所望の再生系列であれば、肯定的なジェスチャーをカメラ2の前で行い、現在の音声が所望するものでなれば、否定的なジェスチャーをカメラ2の前で行う。このジェスチャーは、カメラ2が撮影し、撮影画像データを画像認識部3dへ出力する。
画像認識部3dでは、カメラ2から入力した撮影画像データを画像認識して、乗員のジェスチャーが肯定的か否定的であるかを識別し、識別結果を接続判定部4dへ出力する(ステップST6e)。接続判定部4dは、画像認識部3dの識別結果が肯定的なジェスチャーを示しているか、否定的なジェスチャーを示しているかを判定する(ステップST7e)。ここで、識別結果が否定的なジェスチャーであると、現在、ヘッドフォン8に接続されている音声チャネルを、もう一方のディスプレイ用の音声チャネルに変更するよう音声通信部5dへ指示する。なお、接続判定部4dによって判定結果の後部座席以外から、再び判定された後部座席に対向するディスプレイの音声チャネルに変更するようにしてもよい。
音声通信部5dは、接続判定部4dからの指示に従って、現在のヘッドフォン8と音声チャネルとの接続を切断し、もう一方のディスプレイ用の音声チャネルをヘッドフォン8に接続する(ステップST8e)。これにより、後席AV再生部6で再生されたもう一方のディスプレイ用の音声チャネルの音声信号が、音声通信部5dを介した無線通信でヘッドフォン8へ送信される。これにより、もう一方のディスプレイ用の音声チャネルの音声信号がヘッドフォン8で出力される。また、識別結果が肯定的なジェスチャーであれば、処理を終了する。この場合は、現在の音声チャネルの音声信号が、ヘッドフォン8で継続して出力される。
なお、ステップST7eにおけるジェスチャーの判定は、動画を対象としてもよい。例えば、音声案内出力後、画像認識部3dが、所定期間の映像をカメラ2から取得し、所定時刻ごとの画像データにおける特徴パターンを、予め保持している標準パターンと比較してジェスチャーを認識する。
以上のように、この実施の形態7によれば、音声通信部5dが、接続判定部4dによってヘッドフォン8を装着する乗員が着席している後部座席が判定されると、当該判定結果を乗員に確認させる音声案内をヘッドフォン8へ送信し、乗員から判定結果を肯定する応答があると、当該判定結果の後部座席に対向する表示画面に表示する映像データに対応した音声データをヘッドフォン8へ送信して音声出力させ、乗員から判定結果を否定する応答があると、接続判定部4dによって判定結果の後部座席以外から再び判定された後部座席に対向する表示画面に表示する映像データに対応した音声データをヘッドフォン8へ送信して音声出力させる。このようにすることで、よりユーザフレンドリーなマンマシンインタフェースが得られる。
なお、上記実施の形態7では、音声案内に対して、乗員がジェスチャーで応答する場合を示したが、入力装置及びディスプレイを用いた応答用のマンマシンインタフェースを提供して、乗員が、現在の音声出力の可否を直接操作入力する構成としても構わない。
実施の形態8.
図21は、この発明の実施の形態8によるAVシステムの構成を示すブロック図であり、車両の左右座席に設けたディスプレイで相異なる映像音声をそれぞれ再生可能な2つの再生系列を構成するRSEシステムに本発明を適用した場合を示している。
図21に示すように、RSEシステム1Gでは、左座席用ディスプレイ7a及び右座席用ディスプレイ7bで映像を再生して、ディスプレイ7a,7bのいずれかにそれぞれ対応するヘッドフォン8a,8bに、ディスプレイの表示内容に応じた音声を出力する。
その構成としては、上記実施の形態1から上記実施の形態7までと異なって画像認識部を有さず、コード読み取部13a,13b、接続判定部4e、音声通信部5e、及び後席AV再生部6を備える。
なお、ヘッドフォン8a,8bには、自身に固有に設定されたID情報が、QRコード(登録商標;以下、記載を省略する)等の二次元情報コードとして付加されている。
接続判定部(判定部)4eは、コード読み取り部13a,13bで読み取られた二次元情報コードに応じて、二次元情報コードが付加されたヘッドフォン8a,8bを装着する乗員が、左右いずれの後部座席に着席しているか、すなわちディスプレイ7a,7bのうちのどちらのディスプレイ用の音声チャネルをヘッドフォン8a,8bに接続するのかを判定する構成部である。
音声通信部5eは、無線通信の接続対象となるヘッドフォンを特定するためのID情報として、ヘッドフォン8aに固有なID情報(ID=1)と、ヘッドフォン8bに固有なID情報(ID=2)とが登録されており、ID情報を利用して特定したヘッドフォン8a,8bと、接続判定部4eの判定結果に応じた音声チャネルとの間で接続をそれぞれ確立して、後席AV再生部6で再生された音声信号を、無線通信でヘッドフォン8a,8bへ送信する構成部である。
コード読み取り部13aは、左座席用ディスプレイ7aに対応して設けられ、ヘッドフォン8a,8bに付加された二次元情報コードを読み取って、ヘッドフォン8a,8bのいずれの二次元情報コードを読み取ったかを示す情報を接続判定部4eへ出力する構成部である。同様に、コード読み取り部13bは、右座席用ディスプレイ7bに対応して設けられ、ヘッドフォン8a,8bに付加された二次元情報コードを読み取って、ヘッドフォン8a,8bのいずれの二次元情報コードを読み取ったかを示す情報を接続判定部4eへ出力する。
次に動作について説明する。
図22は、実施の形態8のAVシステムによる動作の流れを示すフローチャートであり、どのディスプレイ用の音声チャネルをヘッドフォン8a,8bの接続先とするのかを判定する処理の詳細を示している。この図22に沿って処理の詳細を説明する。
ヘッドフォン8aを装着した乗員及びヘッドフォン8bを装着した乗員が、左座席用ディスプレイ7a又は右座席用ディスプレイ7bに対向する後部座席に座って、自身のヘッドフォンに付加された二次元情報コードを、コード読み取り部13a,13bのいずれかに読み取らせる。
例えば、乗員が着席した後部座席が左座席用ディスプレイ7aに対向しており、当該左座席用ディスプレイ7aで再生されるコンテンツを視聴したい場合には、対応するコード読み取り部13aに二次元情報コードを読み取らせる。また、乗員が着席した後部座席が左座席用ディスプレイ7aに対向しているが、右座席用ディスプレイ7bで再生されるコンテンツを視聴したい場合には、右座席用ディスプレイ7bに対応するコード読み取り部13bに二次元情報コードを読み取らせる。
先ず、コード読み取り部13aで二次元情報コードの読み取り動作があったかどうかが判定される(ステップST1f)。ここで、コード読み取り部13aで読み取り動作がなければ(ステップST1f;NO)、ステップST4fへ移行する。また、コード読み取り部13aで読み取り動作があった場合(ステップST1f;YES)、コード読み取り部13aは、読み取った二次元情報コードが、ID情報(ID=1)を示すコード1であるか、ID情報(ID=2)を示すコード2であるかを判定する(ステップST2f)。
読み取った二次元情報コードがID情報(ID=2)を示すコード2である場合、その旨がコード読み取り部13aから接続判定部4eへ通知される。接続判定部4eは、コード読み取り部13aから通知されたコードがコード2である場合、ヘッドフォン8bを装着した乗員が、左座席用ディスプレイ7aで再生されるコンテンツを視聴しようとしていると判断し、左座席用ディスプレイ7a用の音声チャネルにヘッドフォン8bを接続するよう音声通信部5eへ指示する。
音声通信部5eは、ID情報(ID=2)を用いて、ヘッドフォン8bを特定すると、接続判定部4eからの指示に従って、左座席用ディスプレイ7a用の音声チャネルをヘッドフォン8bに接続する(ステップST3f−1)。これにより、後席AV再生部6で再生された左座席用ディスプレイ7a用の音声チャネルの音声信号が、音声通信部5eを介した無線通信でヘッドフォン8bへ送信される。
一方、読み取った二次元情報コードがID情報(ID=1)を示すコード1であると、その旨がコード読み取り部13aから接続判定部4eへ通知される。接続判定部4eは、コード読み取り部13aから通知されたコードがコード1である場合、ヘッドフォン8aを装着した乗員が、左座席用ディスプレイ7aで再生されるコンテンツを視聴しようとしていると判断し、左座席用ディスプレイ7a用の音声チャネルにヘッドフォン8aを接続するよう音声通信部5eへ指示する。
音声通信部5eは、ID情報(ID=1)を用いて、ヘッドフォン8aを特定すると、接続判定部4eからの指示に従って、左座席用ディスプレイ7a用の音声チャネルをヘッドフォン8aに接続する(ステップST3f−2)。これにより、後席AV再生部6で再生された左座席用ディスプレイ7a用の音声チャネルの音声信号が、音声通信部5eを介した無線通信でヘッドフォン8aへ送信される。
ステップST1fでコード読み取り部13aでの読み取り動作がない場合、若しくは、ステップST3f−1,3f−2のいずれかの処理が完了すると、コード読み取り部13bで二次元情報コードの読み取り動作があったかどうかが判定される(ステップST4f)。ここで、コード読み取り部13bで読み取り動作がなければ(ステップST5f;NO)、処理を終了する。また、コード読み取り部13bで読み取り動作があった場合(ステップST4f;YES)、コード読み取り部13bは、読み取った二次元情報コードが、ID情報(ID=1)を示すコード1であるか、ID情報(ID=2)を示すコード2であるかを判定する(ステップST5f)。
読み取った二次元情報コードがID情報(ID=2)を示すコード2である場合、その旨がコード読み取り部13bから接続判定部4eへ通知される。接続判定部4eは、コード読み取り部13bから通知されたコードがコード2である場合、ヘッドフォン8bを装着した乗員が、右座席用ディスプレイ7bで再生されるコンテンツを視聴しようとしていると判断し、右座席用ディスプレイ7b用の音声チャネルにヘッドフォン8bを接続するよう音声通信部5eへ指示する。
音声通信部5eは、ID情報(ID=2)を用いて、ヘッドフォン8bを特定すると、接続判定部4eからの指示に従って、右座席用ディスプレイ7b用の音声チャネルをヘッドフォン8bに接続する(ステップST6f−1)。これにより、後席AV再生部6で再生された右座席用ディスプレイ7b用の音声チャネルの音声信号が、音声通信部5eを介した無線通信でヘッドフォン8bへ送信される。
一方、読み取った二次元情報コードがID情報(ID=1)を示すコード1であると、その旨がコード読み取り部13aから接続判定部4eへ通知される。接続判定部4eは、コード読み取り部13aから通知されたコードがコード1である場合、ヘッドフォン8aを装着した乗員が、右座席用ディスプレイ7bで再生されるコンテンツを視聴しようとしていると判断し、右座席用ディスプレイ7b用の音声チャネルにヘッドフォン8aを接続するよう音声通信部5eへ指示する。
音声通信部5eは、ID情報(ID=1)を用いて、ヘッドフォン8aを特定すると、接続判定部4eからの指示に従って、右座席用ディスプレイ7b用の音声チャネルをヘッドフォン8aに接続する(ステップST6f−2)。これにより、後席AV再生部6で再生された右座席用ディスプレイ7b用の音声チャネルの音声信号が、音声通信部5eを介した無線通信でヘッドフォン8aへ送信される。
以上のように、この実施の形態8によれば、ディスプレイ7a,7bごとに設けられ、ヘッドフォンに固有に設定された二次元情報コードを読み取るコード読み取り部13a,13bを備え、二次元情報コードを読み取らせたコード読み取り部13a,13bのディスプレイ7a,7bの表示画面が向いている後部座席を、当該二次元情報コードを設けたヘッドフォン8a,8bを装着する乗員が着席している後部座席と判定し、乗員が着席していると判定された後部座席に対向する表示画面に表示する映像データに対応した音声データを、当該乗員が装着しているヘッドフォン8a,8bへ送信して音声出力させる。
このようにすることで、乗員が音声チャネルの選択をする場合、ヘッドフォンの二次元情報コード(例えば、QRコード)をコード読み取り部13a,13bにかざすだけでよいことから、手動のスイッチ操作が不要である。また、ヘッドフォンのスイッチが不要なのでHW構成を簡素化できる。特に、カメラ2を用いた画像解析部3を用いる場合よりも、QRコード等の二次元情報コードを読み取るコード読み取り部13a,13bを用いる場合の方が安価に構成できる場合があり、そのような場合にコスト削減が可能である。
上記実施の形態1から上記実施の形態8まででは、ディスプレイ7a,7bで再生されるコンテンツを視聴する機器としてヘッドフォン8,8a,8bを例に挙げたが、3D映像を観るメガネや、コンテンツの再生を制御するリモートコントローラに対して、上記実施の形態1から上記実施の形態7までで説明した識別用マークを付加したり、上記実施の形態8で示した二次元情報コードを設けることにより、ディスプレイ7a,7bのいずれの再生系列で再生されるコンテンツの視聴に使用するかを識別するようにしてもよい。
なお、本願発明はその発明の範囲内において、各実施の形態の自由な組合せ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。
この発明に係るAVシステムは、複数の映像音声の再生系列を有するAVシステムにおいて、各再生系列の映像音声の再生に利用される機器の汎用性を損なうことなく、各再生系列に対応する機器を自動的に識別できるので、例えば、車載用のRSEシステムとして有効に利用することができる。

Claims (4)

  1. 隣り合う複数の座席に表示画面を向けた複数の表示装置と、
    前記表示画面が向いた座席側を撮影するカメラ部と、
    前記カメラ部によって撮影された撮影画像から、音声出力装置に設けた識別用マークを画像認識して、前記撮影画像中の前記識別用マークの座標位置を算出する画像認識部と、
    前記画像認識部によって算出された前記識別用マークの座標位置に基づいて、前記音声出力装置を装着した使用者が、前記複数の座席のいずれに着席しているかを判定する判定部と、
    映像データ及び音声データを再生するAV再生部と、
    前記AV再生部によって再生された音声データのうち、前記判定部によって前記使用者が着席していると判定された座席に対向する表示画面に表示する映像データに対応した音声データを、当該使用者が装着している前記音声出力装置へ送信して音声出力させる音声通信部とを備え
    複数の前記音声出力装置に互いに異なる識別用マークをそれぞれ設け、
    前記画像認識部は、前記カメラ部によって撮影された撮影画像から、前記互いに異なる識別用マークを画像認識して、前記撮影画像中の前記互いに異なる識別用マークの座標位置をそれぞれ算出し、
    前記判定部は、前記画像認識部によって算出された前記互いに異なる識別用マークの座標位置に基づいて、前記複数の音声出力装置をそれぞれ装着した複数の使用者が、前記複数の座席のいずれにそれぞれ着席しているかを判定し、
    前記音声通信部は、前記AV再生部によって再生された音声データのうち、前記判定部によって前記複数の使用者がそれぞれ着席していると判定された前記複数の座席にそれぞれ対向する表示画面に表示する映像データに対応した音声データを、前記複数の音声出力装置へそれぞれ送信して音声出力させることを特徴とするAVシステム。
  2. 前記互いに異なる識別用マークは、前記音声出力装置に施した色又は形状が互いに異なる印刷物であることを特徴とする請求項記載のAVシステム。
  3. 前記複数の音声出力装置にそれぞれ設けたLED素子と、
    前記複数の音声出力装置にそれぞれ設けられ、前記各音声出力装置の前記LED素子を互いに異なる周波数で点滅させるLED点滅部とを備え、
    前記画像認識部は、前記カメラ部によって撮影された撮影画像から、前記互いに異なる識別用マークとして、前記LED点滅部によって点滅された前記LED素子を画像認識して、前記撮影画像中の当該互いに異なる識別用マークの座標位置をそれぞれ算出することを特徴とする請求項記載のAVシステム。
  4. 隣り合う複数の座席に表示画面を向けた複数の表示装置と、
    前記表示画面が向いた座席側を撮影するカメラ部と、
    前記カメラ部によって撮影された撮影画像から、音声出力装置に設けた識別用マークを画像認識して、前記撮影画像中の前記識別用マークの座標位置を算出する画像認識部と、
    前記画像認識部によって算出された前記識別用マークの座標位置に基づいて、前記音声出力装置を装着した使用者が、前記複数の座席のいずれに着席しているかを判定する判定部と、
    映像データ及び音声データを再生するAV再生部と、
    前記AV再生部によって再生された音声データのうち、前記判定部によって前記使用者が着席していると判定された座席に対向する表示画面に表示する映像データに対応した音声データを、当該使用者が装着している前記音声出力装置へ送信して音声出力させる音声通信部とを備え、
    前記複数の音声出力装置にそれぞれ設けたLED素子と、
    前記複数の音声出力装置にそれぞれ設けられ、前記音声通信部から受信した点灯又は消灯命令に応じて、前記各音声出力装置の前記LED素子を点灯又は消灯させるLED点灯部とを備え、
    前記画像認識部は、前記カメラ部によって撮影された撮影画像から、前記複数の音声出力装置にそれぞれ設けたLED素子のうち、前記カメラ部の撮影タイミングで点灯しているLED素子を前記識別用マークとして画像認識して前記撮影画像中の当該識別用マークの座標位置を算出し、
    前記判定部は、前記画像認識部によって算出された前記識別用マークの座標位置に基づいて、前記カメラ部の撮影タイミングで前記LED素子が点灯している前記音声出力装置を装着した使用者が、前記複数の座席のいずれに着席しているかを判定し、
    前記音声通信部は、前記AV再生部によって再生された音声データのうち、前記判定部によって前記使用者が着席していると判定された座席に対向する表示画面に表示する映像データに対応した音声データを前記音声出力装置へ送信して音声出力させるとともに、前記複数の音声出力装置にそれぞれ設けた前記LED点灯部へ点灯又は消灯命令を送信して、前記複数の音声出力装置にそれぞれ設けたLED素子を互いに異なるタイミングで点灯させることを特徴とするAVシステム。
JP2012537493A 2010-10-06 2010-10-06 Avシステム Expired - Fee Related JP5414907B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2010/005992 WO2012046276A1 (ja) 2010-10-06 2010-10-06 Avシステム

Publications (2)

Publication Number Publication Date
JP5414907B2 true JP5414907B2 (ja) 2014-02-12
JPWO2012046276A1 JPWO2012046276A1 (ja) 2014-02-24

Family

ID=45927303

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012537493A Expired - Fee Related JP5414907B2 (ja) 2010-10-06 2010-10-06 Avシステム

Country Status (5)

Country Link
US (1) US9344632B2 (ja)
JP (1) JP5414907B2 (ja)
CN (1) CN103069843B (ja)
DE (1) DE112010005927B4 (ja)
WO (1) WO2012046276A1 (ja)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10080061B1 (en) 2009-12-18 2018-09-18 Joseph F. Kirley Distributing audio signals for an audio/video presentation
JP2014169022A (ja) * 2013-03-04 2014-09-18 Mitsubishi Electric Corp モニタ装置
US9681219B2 (en) 2013-03-07 2017-06-13 Nokia Technologies Oy Orientation free handsfree device
US9483997B2 (en) 2014-03-10 2016-11-01 Sony Corporation Proximity detection of candidate companion display device in same room as primary display using infrared signaling
US20150310831A1 (en) * 2014-04-29 2015-10-29 Sony Corporation Proximity detection of candidate companion display device in same room as primary display using camera
US9696414B2 (en) 2014-05-15 2017-07-04 Sony Corporation Proximity detection of candidate companion display device in same room as primary display using sonic signaling
US10070291B2 (en) 2014-05-19 2018-09-04 Sony Corporation Proximity detection of candidate companion display device in same room as primary display using low energy bluetooth
DE102015005704A1 (de) * 2015-05-04 2016-11-10 Audi Ag Fahrzeug mit einem Infotainmentsystem
JP6520635B2 (ja) * 2015-10-15 2019-05-29 トヨタ車体株式会社 車載ディスプレイシステム
JP6769077B2 (ja) * 2016-04-08 2020-10-14 いすゞ自動車株式会社 顔向き特定装置及び顔向き特定方法
US10205906B2 (en) 2016-07-26 2019-02-12 The Directv Group, Inc. Method and apparatus to present multiple audio content
US10252688B2 (en) * 2017-03-22 2019-04-09 Ford Global Technologies, Llc Monitoring a vehicle cabin
CN110278469A (zh) * 2018-03-16 2019-09-24 上海博泰悦臻电子设备制造有限公司 多媒体播放方法、播放控制系统、存储介质及车载终端
JP7219041B2 (ja) * 2018-10-05 2023-02-07 現代自動車株式会社 注視検出装置及びその輻輳制御方法
KR20210080993A (ko) * 2019-12-23 2021-07-01 엘지전자 주식회사 전자 장치 및 그의 동작 방법
US11451855B1 (en) 2020-09-10 2022-09-20 Joseph F. Kirley Voice interaction with digital signage using mobile device

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000278626A (ja) * 1999-03-29 2000-10-06 Sanyo Electric Co Ltd マルチ画面音声出力制御装置
JP2004048601A (ja) * 2002-07-15 2004-02-12 Alpine Electronics Inc 車載オーディオ装置
JP2006014199A (ja) * 2004-06-29 2006-01-12 Alpine Electronics Inc エンタテイメントシステムおよび使用機器の組み合わせの設定方法
JP2006088953A (ja) * 2004-09-27 2006-04-06 Clarion Co Ltd 車載モニタシステム、モニタ方向調整装置、及び、モニタ方向調整方法
JP2006133665A (ja) * 2004-11-09 2006-05-25 Seiko Epson Corp 立体画像表示装置
JP2006151266A (ja) * 2004-11-30 2006-06-15 Denso Corp 車載制御装置
JP2006287730A (ja) * 2005-04-01 2006-10-19 Alpine Electronics Inc オーディオ装置
JP2009224841A (ja) * 2008-03-13 2009-10-01 Honda Motor Co Ltd ディスプレイ位置調整装置

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6417969B1 (en) * 1988-07-01 2002-07-09 Deluca Michael Multiple viewer headset display apparatus and method with second person icon display
US6850252B1 (en) * 1999-10-05 2005-02-01 Steven M. Hoffberg Intelligent electronic appliance system and method
US7966078B2 (en) * 1999-02-01 2011-06-21 Steven Hoffberg Network media appliance system and method
JP2003025911A (ja) 2001-07-11 2003-01-29 Denso Corp 車載用映像表示装置
JP4635477B2 (ja) * 2003-06-10 2011-02-23 カシオ計算機株式会社 画像撮影装置、擬似3次元画像生成方法、及び、プログラム
JP2005170138A (ja) 2003-12-09 2005-06-30 Mitsubishi Electric Corp 車載用後席ディスプレイ装置
JP4042112B2 (ja) 2004-03-10 2008-02-06 ソニー株式会社 コンテンツ再生装置、コンテンツ再生方法及びオーディオ本体装置
JP2006133655A (ja) * 2004-11-09 2006-05-25 Canon Inc 投射型表示装置
KR20070086052A (ko) * 2004-11-12 2007-08-27 코닌클리케 필립스 일렉트로닉스 엔.브이. 헤드폰 세트를 통해 콘텐트들을 공유하는 장치 및 방법
JP2007008289A (ja) 2005-06-29 2007-01-18 Alpine Electronics Inc 車載用オーディオ/ビデオシステム
DE102005031338A1 (de) * 2005-07-05 2007-01-11 Robert Bosch Gmbh Fahrzeugsystem
JP4926817B2 (ja) * 2006-08-11 2012-05-09 キヤノン株式会社 指標配置情報計測装置および方法
JP4264663B2 (ja) * 2006-11-21 2009-05-20 ソニー株式会社 撮影装置、画像処理装置、および、これらにおける画像処理方法ならびに当該方法をコンピュータに実行させるプログラム
WO2008087974A1 (ja) * 2007-01-16 2008-07-24 Panasonic Corporation データ処理装置、方法、記録媒体
US7780522B2 (en) * 2007-02-23 2010-08-24 Cfph, Llc Game at cash register
US20080231926A1 (en) * 2007-03-19 2008-09-25 Klug Michael A Systems and Methods for Updating Dynamic Three-Dimensional Displays with User Input
US8422777B2 (en) * 2008-10-14 2013-04-16 Joshua Victor Aller Target and method of detecting, identifying, and determining 3-D pose of the target
US20100118200A1 (en) * 2008-11-10 2010-05-13 Geoffrey Michael Gelman Signage
JP2010123085A (ja) 2008-11-21 2010-06-03 Fujitsu Fsas Inc 検査システム
US20100149100A1 (en) * 2008-12-15 2010-06-17 Sony Ericsson Mobile Communications Ab Electronic Devices, Systems, Methods and Computer Program Products for Detecting a User Input Device Having an Optical Marker Thereon
TWI436646B (zh) * 2010-08-19 2014-05-01 Univ Nat Taiwan Science Tech 顯示畫面可對應於運動者身體狀態而移動之裝置及其執行方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000278626A (ja) * 1999-03-29 2000-10-06 Sanyo Electric Co Ltd マルチ画面音声出力制御装置
JP2004048601A (ja) * 2002-07-15 2004-02-12 Alpine Electronics Inc 車載オーディオ装置
JP2006014199A (ja) * 2004-06-29 2006-01-12 Alpine Electronics Inc エンタテイメントシステムおよび使用機器の組み合わせの設定方法
JP2006088953A (ja) * 2004-09-27 2006-04-06 Clarion Co Ltd 車載モニタシステム、モニタ方向調整装置、及び、モニタ方向調整方法
JP2006133665A (ja) * 2004-11-09 2006-05-25 Seiko Epson Corp 立体画像表示装置
JP2006151266A (ja) * 2004-11-30 2006-06-15 Denso Corp 車載制御装置
JP2006287730A (ja) * 2005-04-01 2006-10-19 Alpine Electronics Inc オーディオ装置
JP2009224841A (ja) * 2008-03-13 2009-10-01 Honda Motor Co Ltd ディスプレイ位置調整装置

Also Published As

Publication number Publication date
DE112010005927B4 (de) 2014-07-17
WO2012046276A1 (ja) 2012-04-12
JPWO2012046276A1 (ja) 2014-02-24
CN103069843A (zh) 2013-04-24
US20130088581A1 (en) 2013-04-11
CN103069843B (zh) 2015-09-02
DE112010005927T5 (de) 2013-08-08
US9344632B2 (en) 2016-05-17

Similar Documents

Publication Publication Date Title
JP5414907B2 (ja) Avシステム
CN112369051B (zh) 用于车辆乘员和远程用户的共享环境
US9423880B2 (en) Head-mountable apparatus and systems
EP3032847B1 (en) Adjusting speakers using facial recognition
US10198866B2 (en) Head-mountable apparatus and systems
KR102605318B1 (ko) 머리에 착용될 수 있는 전자 디스플레이 장치를 작동하기 위한 방법, 및 가상 콘텐츠를 디스플레이하기 위한 디스플레이 시스템
JP2007158578A (ja) 全周囲情報環状表示システム
WO2019124158A1 (ja) 情報処理装置、情報処理方法、プログラム、表示システム、及び移動体
KR20160099917A (ko) 운전 연습 방법 및 장치
US11061236B2 (en) Head-mounted display and control method thereof
CN111133752B (zh) 表情记录系统
CN111108753A (zh) 接收设备、接收方法、流传输设备、手术室系统以及车辆控制系统
JP2010093515A (ja) モバイル機器データの複数モニタ選択転送システム
JP2016025394A (ja) 車両用表示装置
WO2022064774A1 (ja) 画像処理装置、及び画像処理プログラム
US10228767B2 (en) Position-based interactive performance system
US20240087339A1 (en) Information processing device, information processing system, and information processing method
JP7539445B2 (ja) 情報管理装置、情報管理方法、及びプログラム
JP2024039763A (ja) 情報処理システム
TWI787205B (zh) 表情記錄系統、嬰兒車、及表情記錄程式
KR20160098737A (ko) 운전 행동 개선 방법 및 장치
JP2022052681A (ja) 画像処理装置、及び画像処理プログラム
JP2024039702A (ja) 情報処理システム
JP2013115761A (ja) 画像表示装置、画像表示システム及びテレビジョン受像機
JP2021084528A (ja) 端末装置、車載システム並びに表示制御方法及び端末装置用プログラム

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20131015

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20131112

R150 Certificate of patent or registration of utility model

Ref document number: 5414907

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees