JP5414907B2 - Avシステム - Google Patents
Avシステム Download PDFInfo
- Publication number
- JP5414907B2 JP5414907B2 JP2012537493A JP2012537493A JP5414907B2 JP 5414907 B2 JP5414907 B2 JP 5414907B2 JP 2012537493 A JP2012537493 A JP 2012537493A JP 2012537493 A JP2012537493 A JP 2012537493A JP 5414907 B2 JP5414907 B2 JP 5414907B2
- Authority
- JP
- Japan
- Prior art keywords
- unit
- display
- headphones
- audio
- seat
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000004891 communication Methods 0.000 claims description 161
- 230000004397 blinking Effects 0.000 claims description 20
- 230000004044 response Effects 0.000 claims description 8
- 230000005236 sound signal Effects 0.000 description 38
- 238000010586 diagram Methods 0.000 description 23
- 238000012545 processing Methods 0.000 description 13
- 239000011521 glass Substances 0.000 description 11
- 238000000034 method Methods 0.000 description 10
- 230000008569 process Effects 0.000 description 10
- 230000008859 change Effects 0.000 description 7
- 238000003384 imaging method Methods 0.000 description 5
- 238000012937 correction Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 2
- 101001090150 Equus caballus Sperm histone P2a Proteins 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000001771 impaired effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/66—Transforming electric information into light information
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
- H04S7/30—Control circuits for electronic adaptation of the sound field
- H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
- H04S7/303—Tracking of listener position or orientation
- H04S7/304—For headphones
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30204—Marker
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Acoustics & Sound (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
- Circuit For Audible Band Transducer (AREA)
- Stereophonic System (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- User Interface Of Digital Computer (AREA)
Description
また、特許文献2には、音声信号を受信する通信手段の他に、指向性を有した専用の通信手段をヘッドフォンに設けておき、当該専用の通信手段が、複数のディスプレイの方向から受信した複数の識別信号の中から、指向性に応じて識別信号を選択するシステムが記載されている。
また、特許文献1,2に代表される従来のシステムでは、システム側でヘッドフォンを自動的に識別してくれるが、専用の通信手段をヘッドフォンに設ける必要があり、音声信号の通信を行える汎用のワイヤレスヘッドフォンを使用できないという課題がある。
実施の形態1.
図1は、この発明の実施の形態1によるAVシステムの構成を示すブロック図であり、車両の左右座席に設けたディスプレイで相異なる映像音声をそれぞれ再生可能な2つの再生系列を構成するRSEシステムに本発明を適用した場合を示している。
なお、本発明は、3つ以上の再生系列を有するAVシステムであってもよいが、説明の簡単のため、2つの再生系列の場合を例に挙げる。
また、以降では、本発明をRSEシステムに適用した場合について説明するが、本発明は、視聴内容として音声を伴う映像を視聴者に提供しかつ複数系列の視聴内容を提供するAVシステムに適用することが可能である。ここでいう複数系列の視聴内容の提供とは、自動車や飛行機等の移動体内の複数の座席にそれぞれの表示画面を向けた複数の表示装置と、各座席に着席しているユーザが装着する音声出力装置とを備えることによって、各々の視聴内容を提供することを意味する。
図1に示すように、RSEシステム1では、左座席用ディスプレイ7a及び右座席用ディスプレイ7bで映像を再生し、ディスプレイ7a,7bのいずれかに対応するヘッドフォン8に、ディスプレイの表示内容に応じた音声を出力する。その構成としては、カメラ2、画像認識部3、接続判定部4、音声通信部5及び後席AV再生部6を備える。
なお、後述する画像認識では、必ずしも左右の後部座席の画像領域の大きさが均等でなくてもよいので、カメラ2は、撮影画像上で左右の後部座席の画像領域がそれぞれ区別できる撮影範囲が得られる位置に配置されていればよい。
また、カメラ2の取り付け位置は、ディスプレイ7a,7bの中間位置の他に、車両の天井部等が考えられる。
カメラ2の撮影部から向かって右側の後部座席が左座席用ディスプレイ7aに対向するので、識別用マークの座標位置が上記右側の後部座席の画像領域にある場合は、左座席用ディスプレイ7a用の音声チャネルにヘッドフォン8が接続される。
反対に、カメラ2の撮影部から向かって左側の後部座席は、右座席用ディスプレイ7bに対向するので、識別用マークの座標位置が上記左側の後部座席の画像領域にある場合には、右座席用ディスプレイ7b用の音声チャネルにヘッドフォン8が接続される。
ヘッドフォン(音声出力装置)8は、音声通信部5から無線通信で受信した音声信号を音声出力するヘッドフォンであり、音声通信部5との無線通信機能を有した汎用のヘッドフォンを利用することができる。また、本発明では、音声出力装置としては、ヘッドフォンに限らず、乗員の頭に装着される音声出力用のヘッドセットであればよい。
識別用マークとしては、ヘッドフォン8の外表面に印刷したものであってもよく、また識別処理の際に点灯させるLED(Light Emitting Diode)を設けてもよい。
図2は、実施の形態1のAVシステムによる動作の流れを示すフローチャートであり、どのディスプレイ用の音声チャネルをヘッドフォン8の接続先とするのかを判定する処理の詳細を示している。また、図3は、ヘッドフォンの接続先の判定処理を概略的に示す図であり、図3(a)はヘッドフォン8を装着した乗員が左座席用ディスプレイ7aに対向する後部座席にいる場合を示しており、図3(b)はヘッドフォン8を装着した乗員が右座席用ディスプレイ7bに対向する後部座席にいる場合を示している。この図3を参照しながら、図2に沿って処理の詳細を説明する。
接続判定部4は、画像認識部3から入力した識別用マーク9の座標位置が、カメラ2に定点撮影された後部座席側の撮影画像における、カメラ2から向かって左側の後部座席に対応する画像領域にあるのか、カメラ2から向かって右側の後部座席に対応する画像領域にあるのかを判定する(ステップST1)。
このようにすることで、ヘッドフォン8に専用機器を用いる必要がないため、機器の汎用性を損なうことなく、各再生系列に対応する機器を自動的に識別できる。
特に、ヘッドフォン8において、音声チャネルを選択する手動のスイッチ操作が不要であるため、ヘッドフォン8のHW構成を簡素化できる。
例えば、3D映像用メガネ(立体映像用メガネ)に適用する。近年の3D映像用メガネでは、再生系列側から補正信号を受信し、この補正信号に応じて、光の屈折や遮光、透過状況を変化させるものが普及してきている。このような調整を3D映像用メガネが行うことで、当該メガネを通して見えるディスプレイの映像の見え方を、より高度な内容とすることができる。
そこで、この3D映像用メガネに識別用マークを設け、3D映像用メガネを装着している乗員が、左右どちらのディスプレイを見ているかをRSEシステム1が自動判定する。
この場合、画像認識部3が、カメラ2の撮影画像の画像を認識して、3D映像用メガネに設けた識別用マーク9の座標位置を算出し、接続判定部4が、当該乗員が左右どちらのディスプレイを見ているかを自動的に判定する。この判定結果を受けて、音声通信部5が、当該乗員がみるディスプレイに対応した補正信号を3D映像用メガネに送信する。この補正信号に基づいて、3D映像用メガネが、当該ディスプレイで再生する3D映像の見え方が最適化されるように自身の光の屈折や遮光、透過状況を変化させる。
実施の形態2では、複数個の識別用マークをヘッドフォンに設けて、ヘッドフォンを装着した乗員の顔の向き(乗員が視聴するディスプレイの方向)を判別し、判別結果に応じたディスプレイ用の音声チャネルにヘッドフォンを接続するものである。
図4は、複数個の識別用マークを設けたヘッドフォンの一例を示す図である。図4の例では、ヘッドフォン8の2つのスピーカ部分における、当該ヘッドフォン8を装着した乗員の顔方向に垂直な平面上となる位置に、複数個(図4では、2つ)の識別用マーク9を取り付けている。
この実施の形態2においても、上記実施の形態1と同様に左座席用ディスプレイ7aと右座席用ディスプレイ7bとの中間位置にカメラ2を取り付け、後部座席側を撮影する。この撮影画像は、後部座席側にある3次元の被写体を、図5及び図6に示すように、カメラ2の撮影部と2つの識別用マーク9間の線分Aの中点aとを結ぶ光線Dに垂直な2次元平面(撮影面)Cに投影したものに相当する。
このため、ヘッドフォン8を装着した乗員の顔方向Bに垂直な平面A上の位置に2つの識別用マーク9をヘッドフォン8の2つのスピーカ部分にそれぞれ取り付けておくと、乗員の顔方向Bによって、カメラ2の撮影画像中の2つの識別用マーク9の間隔が変化する。例えば、撮影画像において、乗員が座る後部座席に対向する右座席用ディスプレイ7bに乗員の顔が向いていると、図5のように2つの識別用マーク9の間隔が小さくなり、乗員の顔が左座席用ディスプレイ7aの方に向いていると、図6のように2つの識別用マーク9の間隔が大きくなる。
実施の形態2では、このような原理を利用して、ヘッドフォン8の位置のみならず、当該ヘッドフォン8を装着した乗員の顔方向B、すなわち当該乗員がどのディスプレイを視聴しているかを検出する。
図8は、実施の形態2のAVシステムによる動作の流れを示すフローチャートであり、どのディスプレイ用の音声チャネルをヘッドフォン8の接続先とするのかを判定する処理の詳細を示している。また、図5及び図6を参照しながら、図8に沿って処理の詳細を説明する。
ここで、左側の後部座席に対応する画像領域に線分Aの中点aがある場合(ステップST1a;カメラ2から向かって左側)、接続判定部4aは、図5及び図6に示すように、ヘッドフォン8を装着した乗員が、右座席用ディスプレイ7bに対向する後部座席に座っていると判断し、撮影画像中の2つの識別用マーク9の間隔と予め設定された一定値とを比較する(ステップST2a)。
また、撮影画像中の2つの識別用マーク9の間隔と予め設定された一定値との比較は、乗員がいずれのディスプレイで再生されるコンテンツを視聴するのか判断する時間を考慮して、当該間隔が上記一定値未満になった状態と一定値以上になった状態とがそれぞれ所定の時間継続した場合に、乗員の顔がディスプレイ7a,7bのいずれかに向いていると判断する。
実施の形態3は、上記実施の形態2と同様に、複数個の識別用マークをヘッドフォンに設けるとともに、後部座席を撮影するカメラを複数設け、それぞれのカメラで撮影された画像における識別用マークの認識結果を用いて、ヘッドフォンを装着した乗員の顔の向き(乗員が視聴するディスプレイの方向)を判別し、判別結果に応じたディスプレイ用の音声チャネルにヘッドフォンを接続するものである。
このため、ヘッドフォン8を装着した乗員の顔方向Bに垂直な平面A上の位置に2つの識別用マーク9をヘッドフォン8の2つのスピーカ部分にそれぞれ取り付けておくと、乗員の顔方向Bによって、カメラ2a,2bの各撮影画像上の2つの識別用マーク9の間隔A1,A2が変化する。
また、カメラ2bの配置位置では、その撮影画像において、乗員が座る後部座席に対向する左座席用ディスプレイ7aに乗員の顔が向いている場合と、乗員の顔が右座席用ディスプレイ7bの方に向いている場合とで、図10及び図11に示すように、前者の間隔A2よりも後者の間隔A2の方が大きくなる。
実施の形態3では、このような原理を利用してヘッドフォン8の位置のみならず、当該ヘッドフォン8を装着した乗員の顔方向B、すなわち当該乗員がどのディスプレイを視聴しているかを検出する。
図10及び図11を参照して、どのディスプレイ用の音声チャネルをヘッドフォン8の接続先とするのかを判定する処理の詳細を説明する。
ヘッドフォン8を装着した乗員が、左座席用ディスプレイ7a又は右座席用ディスプレイ7bに対向する後部座席に座り、不図示の入力装置を用いて、RSEシステム1Bに対してコンテンツデータを再生を指示すると、カメラ2a,2bが後部座席側を撮影し、撮影画像データを画像認識部3A,3Bへそれぞれ出力する。
画像認識部3Bも同様に、カメラ2bから入力した撮影画像データを画像認識して、ヘッドフォン8に設けた2つの識別用マーク9の当該撮影画像中の座標位置を算出し、この座標位置を基に撮影画像中の2つの識別用マーク9を結ぶ線分Aの中点aの座標位置と、2つの識別用マーク9の間隔A2とを算出して、接続判定部4Bへ出力する。
また、同様に、接続判定部4Bは、画像認識部3Bから入力した識別用マーク9を結ぶ線分Aの中点aの座標位置が、カメラ2bに定点撮影された後部座席側の撮影画像における、カメラ2bから向かって左側の後部座席に対応する画像領域にあるのか、カメラ2bから向かって右側の後部座席に対応する画像領域にあるのかを判定する。
ここで、接続判定部4Bは、画像認識部3Aによる画像認識結果を用いた判定と、画像認識部3Bによる画像認識結果を用いた判定とで同一の判定結果が得られなければ、再び後部座席側を撮影した結果を利用して、上述までの処理を繰り返す。
ここで、撮影画像中の2つの識別用マーク9の間隔A1,A2と一定値Th1,Th2との比較は、乗員がいずれのディスプレイで再生されるコンテンツを視聴するのか判断する時間を考慮して、同一の比較結果が所定の時間継続した場合に、乗員の顔がディスプレイ7a,7bのいずれかに向いていると判断する。
音声通信部5は、接続判定部4Bからの指示に従い、右座席用ディスプレイ7b用の音声チャネルをヘッドフォン8に接続する。これにより、後席AV再生部6によって再生された右座席用ディスプレイ7b用の音声チャネルの音声信号が、音声通信部5を介した無線通信でヘッドフォン8へ送信される。
さらに、右側の後部座席に対応する画像領域に線分Aの中点aがある場合においても、同様である。
実施の形態4では、2つのヘッドフォンに互いに異なる識別用マークを設けて、これらの識別用マークの座標位置から、各ヘッドフォンを装着した乗員が左右いずれの後部座席に着席して、左右どちらのディスプレイ用の音声チャネルをヘッドフォンに接続するのかを判定する構成について述べる。
図13に示すように、RSEシステム1Cでは、左座席用ディスプレイ7a及び右座席用ディスプレイ7bで映像を再生し、ディスプレイ7a,7bのいずれかに対応するヘッドフォン(音声出力装置)8a,8bに、ディスプレイの表示内容に応じた音声を出力する。その構成としては、カメラ2、画像認識部3b、接続判定部(判定部)4b、音声通信部5b及び後席AV再生部6を備える。
図14は、実施の形態4のAVシステムによる動作の流れを示すフローチャートであり、どのディスプレイ用の音声チャネルをヘッドフォン8a,8bの接続先とするのかを判定する処理の詳細を示している。図14に沿って処理の詳細を説明する。
ヘッドフォン8aを装着した乗員及びヘッドフォン8bを装着した乗員が、左座席用ディスプレイ7a又は右座席用ディスプレイ7bに対向する後部座席に座って、不図示の入力装置を用いてRSEシステム1Cに対してコンテンツデータの再生を指示すると、カメラ2が後部座席側を撮影し、撮影画像データを画像認識部3bへ出力する。
実施の形態5は、識別用マークをLEDで構成して、LEDの点滅周波数をヘッドフォンごとに変えることで、上記実施の形態4の各識別用マークを実現している。
図15は、この発明の実施の形態5によるAVシステムの構成を示すブロック図であり、車両の左右座席に設けたディスプレイで相異なる映像音声をそれぞれ再生可能な2つの再生系列を構成するRSEシステムに本発明を適用した場合を示している。
図15に示すように、RSEシステム1Dでは、左座席用ディスプレイ7a及び右座席用ディスプレイ7bで映像を再生し、ディスプレイ7a,7bのいずれかに対応するヘッドフォン8a,8bに、ディスプレイの表示内容に応じた音声を出力する。その構成としては、カメラ2、画像認識部3c、接続判定部4c、音声通信部5c及び後席AV再生部6を備える。
図16は、実施の形態5のAVシステムによる動作の流れを示すフローチャートであり、どのディスプレイ用の音声チャネルをヘッドフォン8a,8bの接続先とするのかを判定する処理の詳細を示している。図16に沿って処理の詳細を説明する。
ヘッドフォン8aを装着した乗員及びヘッドフォン8bを装着した乗員が、先ず、点灯指示操作(例えば、スイッチ操作)を行うことで、LED点滅部10a,10bが、ヘッドフォン8a,8bにそれぞれ設けたLEDを、10Hzの点滅周波数及び50Hzの点滅周波数でそれぞれ点滅させる。
続いて、上記の両乗員が、左座席用ディスプレイ7a又は右座席用ディスプレイ7bに対向する後部座席に座って、不図示の入力装置を用いてRSEシステム1Dに対してコンテンツデータの再生を指示すると、カメラ2が後部座席側を撮影し、撮影画像データを画像認識部3cへ出力する。
接続判定部4cでは、画像認識部3cから入力した10Hzで点滅するLED(識別用マーク9a)の座標位置が、カメラ2に定点撮影された後部座席側の撮影画像における、カメラ2から向かって左側の後部座席に対応する画像領域にあるのか、カメラ2から向かって右側の後部座席に対応する画像領域にあるのかを判定する(ステップST2c)。
実施の形態6は、識別用マークをLEDで構成して、ヘッドフォンごとにLEDの点灯タイミングを変えることで、上記実施の形態4の各識別用マークを実現している。
図17は、この発明の実施の形態6によるAVシステムの構成を示すブロック図であり、車両の左右座席に設けたディスプレイで相異なる映像音声をそれぞれ再生可能な2つの再生系列を構成するRSEシステムに本発明を適用した場合を示している。
図17に示すように、RSEシステム1Eでは、左座席用ディスプレイ7a及び右座席用ディスプレイ7bで映像を再生し、ディスプレイ7a,7bのいずれかに対応するヘッドフォン8a,8bに、ディスプレイの表示内容に応じた音声を出力する。その構成としては、カメラ2、画像認識部3c、接続判定部4c、音声通信部11及び後席AV再生部6を備える。
また、音声通信部11は、RSEシステム1Eで映像音声のコンテンツを再生するにあたり、ヘッドフォン8a,8bにそれぞれ設けたLEDを点灯させるためのLED点灯命令を異なるタイミングで送信する。
なお、この他の構成部2,6,7a,7bについては、上記実施の形態1で図1を用いて説明した構成と同様である。
図18は、実施の形態6のAVシステムによる動作の流れを示すフローチャートであり、どのディスプレイ用の音声チャネルをヘッドフォン8a,8bの接続先とするのかを判定する処理の詳細を示している。図18に沿って処理の詳細を説明する。
ヘッドフォン8aを装着した乗員及びヘッドフォン8bを装着した乗員が、左座席用ディスプレイ7a又は右座席用ディスプレイ7bに対向する後部座席に座って、不図示の入力装置を用いて、RSEシステム1Eに対してコンテンツデータの再生を指示する。
これに応じて、音声通信部11が、ID情報(ID=1)を用いて、ヘッドフォン8aを特定し、ヘッドフォン8aに対してLED点灯命令を送信する(ステップST1d)。
LED点灯部12aは、音声通信部11からLED点灯命令を受けると、ヘッドフォン8aに設けたLEDを点灯させる。このとき、ヘッドフォン8bに設けたLEDは消灯している。この後、カメラ2が後部座席側を撮影して、撮影画像データを画像認識部3cへ出力する。
接続判定部4cでは、画像認識部3cから入力した点灯中のLED(識別用マーク9a)の座標位置が、カメラ2に定点撮影された後部座席側の撮影画像における、カメラ2から向かって左側の後部座席に対応する画像領域にあるのか、カメラ2から向かって右側の後部座席に対応する画像領域にあるのかを判定する(ステップST3d)。
LED点灯部12bは、音声通信部11からLED点灯命令を受けると、ヘッドフォン8bに設けたLEDを点灯させる。この後、カメラ2が後部座席側を撮影して、撮影画像データを画像認識部3cへ出力する。
接続判定部4cでは、画像認識部3cから入力した点灯中のLED(識別用マーク9b)の座標位置が、カメラ2に定点撮影された後部座席側の撮影画像における、カメラ2から向かって左側の後部座席に対応する画像領域にあるのか、カメラ2から向かって右側の後部座席に対応する画像領域にあるのかを判定する(ステップST8d)。
また、上記実施の形態4から上記実施の形態6までは、カメラが1つでヘッドフォンが2つである場合を説明したが、カメラを2つ以上又はヘッドフォンを3つ以上に増やした構成にも適用することができる。
図19は、この発明の実施の形態7によるAVシステムの構成を示すブロック図であり、車両の左右座席に設けたディスプレイで相異なる映像音声をそれぞれ再生可能な2つの再生系列を構成するRSEシステムに本発明を適用した場合を示している。
図19に示すように、RSEシステム1Fでは、左座席用ディスプレイ7a及び右座席用ディスプレイ7bで映像を再生し、ディスプレイ7a,7bのいずれかに対応するヘッドフォン8に、ディスプレイの表示内容に応じた音声を出力する。その構成としては、カメラ2、画像認識部3d、接続判定部4d、音声通信部5d、及び後席AV再生部6を備える。
例えば、識別用マーク9に応じた画像パターンを画像認識部3dにそれぞれ登録しておき、撮影画像と当該画像パターンとのマッチングをとることで、撮影画像中の識別用マーク9の座標位置を算出する。
また、ジェスチャーについても同様に、肯定的及び否定的なジェスチャーに対応する画像パターンを画像認識部3dにそれぞれ登録しておき、撮影画像と当該画像パターンとのマッチングをとることで、乗員が肯定的なジェスチャーを行ったか、否定的なジェスチャーを行ったかを識別する。
図20は、実施の形態7のAVシステムによる動作の流れを示すフローチャートであり、どのディスプレイ用の音声チャネルをヘッドフォン8の接続先とするのかを判定する処理の詳細を示している。この図20に沿って処理の詳細を説明する。
先ず、ヘッドフォン8を装着した乗員が、左座席用ディスプレイ7a又は右座席用ディスプレイ7bに対向する後部座席に座って、不図示の入力装置を用いて、RSEシステム1Fに対してコンテンツデータの再生を指示すると、カメラ2が後部座席側を撮影し、撮影画像データを画像認識部3dへ出力する。
画像認識部3dでは、カメラ2から入力した撮影画像データを画像認識して、ヘッドフォン8に設けた識別用マーク9の撮影画像中の座標位置を算出して接続判定部4dへ出力する(ステップST1e)。
図21は、この発明の実施の形態8によるAVシステムの構成を示すブロック図であり、車両の左右座席に設けたディスプレイで相異なる映像音声をそれぞれ再生可能な2つの再生系列を構成するRSEシステムに本発明を適用した場合を示している。
図21に示すように、RSEシステム1Gでは、左座席用ディスプレイ7a及び右座席用ディスプレイ7bで映像を再生して、ディスプレイ7a,7bのいずれかにそれぞれ対応するヘッドフォン8a,8bに、ディスプレイの表示内容に応じた音声を出力する。
その構成としては、上記実施の形態1から上記実施の形態7までと異なって画像認識部を有さず、コード読み取部13a,13b、接続判定部4e、音声通信部5e、及び後席AV再生部6を備える。
なお、ヘッドフォン8a,8bには、自身に固有に設定されたID情報が、QRコード(登録商標;以下、記載を省略する)等の二次元情報コードとして付加されている。
音声通信部5eは、無線通信の接続対象となるヘッドフォンを特定するためのID情報として、ヘッドフォン8aに固有なID情報(ID=1)と、ヘッドフォン8bに固有なID情報(ID=2)とが登録されており、ID情報を利用して特定したヘッドフォン8a,8bと、接続判定部4eの判定結果に応じた音声チャネルとの間で接続をそれぞれ確立して、後席AV再生部6で再生された音声信号を、無線通信でヘッドフォン8a,8bへ送信する構成部である。
図22は、実施の形態8のAVシステムによる動作の流れを示すフローチャートであり、どのディスプレイ用の音声チャネルをヘッドフォン8a,8bの接続先とするのかを判定する処理の詳細を示している。この図22に沿って処理の詳細を説明する。
ヘッドフォン8aを装着した乗員及びヘッドフォン8bを装着した乗員が、左座席用ディスプレイ7a又は右座席用ディスプレイ7bに対向する後部座席に座って、自身のヘッドフォンに付加された二次元情報コードを、コード読み取り部13a,13bのいずれかに読み取らせる。
このようにすることで、乗員が音声チャネルの選択をする場合、ヘッドフォンの二次元情報コード(例えば、QRコード)をコード読み取り部13a,13bにかざすだけでよいことから、手動のスイッチ操作が不要である。また、ヘッドフォンのスイッチが不要なのでHW構成を簡素化できる。特に、カメラ2を用いた画像解析部3を用いる場合よりも、QRコード等の二次元情報コードを読み取るコード読み取り部13a,13bを用いる場合の方が安価に構成できる場合があり、そのような場合にコスト削減が可能である。
なお、本願発明はその発明の範囲内において、各実施の形態の自由な組合せ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。
Claims (4)
- 隣り合う複数の座席に表示画面を向けた複数の表示装置と、
前記表示画面が向いた座席側を撮影するカメラ部と、
前記カメラ部によって撮影された撮影画像から、音声出力装置に設けた識別用マークを画像認識して、前記撮影画像中の前記識別用マークの座標位置を算出する画像認識部と、
前記画像認識部によって算出された前記識別用マークの座標位置に基づいて、前記音声出力装置を装着した使用者が、前記複数の座席のいずれに着席しているかを判定する判定部と、
映像データ及び音声データを再生するAV再生部と、
前記AV再生部によって再生された音声データのうち、前記判定部によって前記使用者が着席していると判定された座席に対向する表示画面に表示する映像データに対応した音声データを、当該使用者が装着している前記音声出力装置へ送信して音声出力させる音声通信部とを備え、
複数の前記音声出力装置に互いに異なる識別用マークをそれぞれ設け、
前記画像認識部は、前記カメラ部によって撮影された撮影画像から、前記互いに異なる識別用マークを画像認識して、前記撮影画像中の前記互いに異なる識別用マークの座標位置をそれぞれ算出し、
前記判定部は、前記画像認識部によって算出された前記互いに異なる識別用マークの座標位置に基づいて、前記複数の音声出力装置をそれぞれ装着した複数の使用者が、前記複数の座席のいずれにそれぞれ着席しているかを判定し、
前記音声通信部は、前記AV再生部によって再生された音声データのうち、前記判定部によって前記複数の使用者がそれぞれ着席していると判定された前記複数の座席にそれぞれ対向する表示画面に表示する映像データに対応した音声データを、前記複数の音声出力装置へそれぞれ送信して音声出力させることを特徴とするAVシステム。 - 前記互いに異なる識別用マークは、前記音声出力装置に施した色又は形状が互いに異なる印刷物であることを特徴とする請求項1記載のAVシステム。
- 前記複数の音声出力装置にそれぞれ設けたLED素子と、
前記複数の音声出力装置にそれぞれ設けられ、前記各音声出力装置の前記LED素子を互いに異なる周波数で点滅させるLED点滅部とを備え、
前記画像認識部は、前記カメラ部によって撮影された撮影画像から、前記互いに異なる識別用マークとして、前記LED点滅部によって点滅された前記LED素子を画像認識して、前記撮影画像中の当該互いに異なる識別用マークの座標位置をそれぞれ算出することを特徴とする請求項1記載のAVシステム。 - 隣り合う複数の座席に表示画面を向けた複数の表示装置と、
前記表示画面が向いた座席側を撮影するカメラ部と、
前記カメラ部によって撮影された撮影画像から、音声出力装置に設けた識別用マークを画像認識して、前記撮影画像中の前記識別用マークの座標位置を算出する画像認識部と、
前記画像認識部によって算出された前記識別用マークの座標位置に基づいて、前記音声出力装置を装着した使用者が、前記複数の座席のいずれに着席しているかを判定する判定部と、
映像データ及び音声データを再生するAV再生部と、
前記AV再生部によって再生された音声データのうち、前記判定部によって前記使用者が着席していると判定された座席に対向する表示画面に表示する映像データに対応した音声データを、当該使用者が装着している前記音声出力装置へ送信して音声出力させる音声通信部とを備え、
前記複数の音声出力装置にそれぞれ設けたLED素子と、
前記複数の音声出力装置にそれぞれ設けられ、前記音声通信部から受信した点灯又は消灯命令に応じて、前記各音声出力装置の前記LED素子を点灯又は消灯させるLED点灯部とを備え、
前記画像認識部は、前記カメラ部によって撮影された撮影画像から、前記複数の音声出力装置にそれぞれ設けたLED素子のうち、前記カメラ部の撮影タイミングで点灯しているLED素子を前記識別用マークとして画像認識して前記撮影画像中の当該識別用マークの座標位置を算出し、
前記判定部は、前記画像認識部によって算出された前記識別用マークの座標位置に基づいて、前記カメラ部の撮影タイミングで前記LED素子が点灯している前記音声出力装置を装着した使用者が、前記複数の座席のいずれに着席しているかを判定し、
前記音声通信部は、前記AV再生部によって再生された音声データのうち、前記判定部によって前記使用者が着席していると判定された座席に対向する表示画面に表示する映像データに対応した音声データを前記音声出力装置へ送信して音声出力させるとともに、前記複数の音声出力装置にそれぞれ設けた前記LED点灯部へ点灯又は消灯命令を送信して、前記複数の音声出力装置にそれぞれ設けたLED素子を互いに異なるタイミングで点灯させることを特徴とするAVシステム。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2010/005992 WO2012046276A1 (ja) | 2010-10-06 | 2010-10-06 | Avシステム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP5414907B2 true JP5414907B2 (ja) | 2014-02-12 |
JPWO2012046276A1 JPWO2012046276A1 (ja) | 2014-02-24 |
Family
ID=45927303
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012537493A Expired - Fee Related JP5414907B2 (ja) | 2010-10-06 | 2010-10-06 | Avシステム |
Country Status (5)
Country | Link |
---|---|
US (1) | US9344632B2 (ja) |
JP (1) | JP5414907B2 (ja) |
CN (1) | CN103069843B (ja) |
DE (1) | DE112010005927B4 (ja) |
WO (1) | WO2012046276A1 (ja) |
Families Citing this family (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10080061B1 (en) | 2009-12-18 | 2018-09-18 | Joseph F. Kirley | Distributing audio signals for an audio/video presentation |
JP2014169022A (ja) * | 2013-03-04 | 2014-09-18 | Mitsubishi Electric Corp | モニタ装置 |
US9681219B2 (en) | 2013-03-07 | 2017-06-13 | Nokia Technologies Oy | Orientation free handsfree device |
US9483997B2 (en) | 2014-03-10 | 2016-11-01 | Sony Corporation | Proximity detection of candidate companion display device in same room as primary display using infrared signaling |
US20150310831A1 (en) * | 2014-04-29 | 2015-10-29 | Sony Corporation | Proximity detection of candidate companion display device in same room as primary display using camera |
US9696414B2 (en) | 2014-05-15 | 2017-07-04 | Sony Corporation | Proximity detection of candidate companion display device in same room as primary display using sonic signaling |
US10070291B2 (en) | 2014-05-19 | 2018-09-04 | Sony Corporation | Proximity detection of candidate companion display device in same room as primary display using low energy bluetooth |
DE102015005704A1 (de) * | 2015-05-04 | 2016-11-10 | Audi Ag | Fahrzeug mit einem Infotainmentsystem |
JP6520635B2 (ja) * | 2015-10-15 | 2019-05-29 | トヨタ車体株式会社 | 車載ディスプレイシステム |
JP6769077B2 (ja) * | 2016-04-08 | 2020-10-14 | いすゞ自動車株式会社 | 顔向き特定装置及び顔向き特定方法 |
US10205906B2 (en) | 2016-07-26 | 2019-02-12 | The Directv Group, Inc. | Method and apparatus to present multiple audio content |
US10252688B2 (en) * | 2017-03-22 | 2019-04-09 | Ford Global Technologies, Llc | Monitoring a vehicle cabin |
CN110278469A (zh) * | 2018-03-16 | 2019-09-24 | 上海博泰悦臻电子设备制造有限公司 | 多媒体播放方法、播放控制系统、存储介质及车载终端 |
JP7219041B2 (ja) * | 2018-10-05 | 2023-02-07 | 現代自動車株式会社 | 注視検出装置及びその輻輳制御方法 |
KR20210080993A (ko) * | 2019-12-23 | 2021-07-01 | 엘지전자 주식회사 | 전자 장치 및 그의 동작 방법 |
US11451855B1 (en) | 2020-09-10 | 2022-09-20 | Joseph F. Kirley | Voice interaction with digital signage using mobile device |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000278626A (ja) * | 1999-03-29 | 2000-10-06 | Sanyo Electric Co Ltd | マルチ画面音声出力制御装置 |
JP2004048601A (ja) * | 2002-07-15 | 2004-02-12 | Alpine Electronics Inc | 車載オーディオ装置 |
JP2006014199A (ja) * | 2004-06-29 | 2006-01-12 | Alpine Electronics Inc | エンタテイメントシステムおよび使用機器の組み合わせの設定方法 |
JP2006088953A (ja) * | 2004-09-27 | 2006-04-06 | Clarion Co Ltd | 車載モニタシステム、モニタ方向調整装置、及び、モニタ方向調整方法 |
JP2006133665A (ja) * | 2004-11-09 | 2006-05-25 | Seiko Epson Corp | 立体画像表示装置 |
JP2006151266A (ja) * | 2004-11-30 | 2006-06-15 | Denso Corp | 車載制御装置 |
JP2006287730A (ja) * | 2005-04-01 | 2006-10-19 | Alpine Electronics Inc | オーディオ装置 |
JP2009224841A (ja) * | 2008-03-13 | 2009-10-01 | Honda Motor Co Ltd | ディスプレイ位置調整装置 |
Family Cites Families (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6417969B1 (en) * | 1988-07-01 | 2002-07-09 | Deluca Michael | Multiple viewer headset display apparatus and method with second person icon display |
US6850252B1 (en) * | 1999-10-05 | 2005-02-01 | Steven M. Hoffberg | Intelligent electronic appliance system and method |
US7966078B2 (en) * | 1999-02-01 | 2011-06-21 | Steven Hoffberg | Network media appliance system and method |
JP2003025911A (ja) | 2001-07-11 | 2003-01-29 | Denso Corp | 車載用映像表示装置 |
JP4635477B2 (ja) * | 2003-06-10 | 2011-02-23 | カシオ計算機株式会社 | 画像撮影装置、擬似3次元画像生成方法、及び、プログラム |
JP2005170138A (ja) | 2003-12-09 | 2005-06-30 | Mitsubishi Electric Corp | 車載用後席ディスプレイ装置 |
JP4042112B2 (ja) | 2004-03-10 | 2008-02-06 | ソニー株式会社 | コンテンツ再生装置、コンテンツ再生方法及びオーディオ本体装置 |
JP2006133655A (ja) * | 2004-11-09 | 2006-05-25 | Canon Inc | 投射型表示装置 |
KR20070086052A (ko) * | 2004-11-12 | 2007-08-27 | 코닌클리케 필립스 일렉트로닉스 엔.브이. | 헤드폰 세트를 통해 콘텐트들을 공유하는 장치 및 방법 |
JP2007008289A (ja) | 2005-06-29 | 2007-01-18 | Alpine Electronics Inc | 車載用オーディオ/ビデオシステム |
DE102005031338A1 (de) * | 2005-07-05 | 2007-01-11 | Robert Bosch Gmbh | Fahrzeugsystem |
JP4926817B2 (ja) * | 2006-08-11 | 2012-05-09 | キヤノン株式会社 | 指標配置情報計測装置および方法 |
JP4264663B2 (ja) * | 2006-11-21 | 2009-05-20 | ソニー株式会社 | 撮影装置、画像処理装置、および、これらにおける画像処理方法ならびに当該方法をコンピュータに実行させるプログラム |
WO2008087974A1 (ja) * | 2007-01-16 | 2008-07-24 | Panasonic Corporation | データ処理装置、方法、記録媒体 |
US7780522B2 (en) * | 2007-02-23 | 2010-08-24 | Cfph, Llc | Game at cash register |
US20080231926A1 (en) * | 2007-03-19 | 2008-09-25 | Klug Michael A | Systems and Methods for Updating Dynamic Three-Dimensional Displays with User Input |
US8422777B2 (en) * | 2008-10-14 | 2013-04-16 | Joshua Victor Aller | Target and method of detecting, identifying, and determining 3-D pose of the target |
US20100118200A1 (en) * | 2008-11-10 | 2010-05-13 | Geoffrey Michael Gelman | Signage |
JP2010123085A (ja) | 2008-11-21 | 2010-06-03 | Fujitsu Fsas Inc | 検査システム |
US20100149100A1 (en) * | 2008-12-15 | 2010-06-17 | Sony Ericsson Mobile Communications Ab | Electronic Devices, Systems, Methods and Computer Program Products for Detecting a User Input Device Having an Optical Marker Thereon |
TWI436646B (zh) * | 2010-08-19 | 2014-05-01 | Univ Nat Taiwan Science Tech | 顯示畫面可對應於運動者身體狀態而移動之裝置及其執行方法 |
-
2010
- 2010-10-06 DE DE112010005927.6T patent/DE112010005927B4/de not_active Expired - Fee Related
- 2010-10-06 WO PCT/JP2010/005992 patent/WO2012046276A1/ja active Application Filing
- 2010-10-06 JP JP2012537493A patent/JP5414907B2/ja not_active Expired - Fee Related
- 2010-10-06 US US13/806,613 patent/US9344632B2/en not_active Expired - Fee Related
- 2010-10-06 CN CN201080068753.6A patent/CN103069843B/zh not_active Expired - Fee Related
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000278626A (ja) * | 1999-03-29 | 2000-10-06 | Sanyo Electric Co Ltd | マルチ画面音声出力制御装置 |
JP2004048601A (ja) * | 2002-07-15 | 2004-02-12 | Alpine Electronics Inc | 車載オーディオ装置 |
JP2006014199A (ja) * | 2004-06-29 | 2006-01-12 | Alpine Electronics Inc | エンタテイメントシステムおよび使用機器の組み合わせの設定方法 |
JP2006088953A (ja) * | 2004-09-27 | 2006-04-06 | Clarion Co Ltd | 車載モニタシステム、モニタ方向調整装置、及び、モニタ方向調整方法 |
JP2006133665A (ja) * | 2004-11-09 | 2006-05-25 | Seiko Epson Corp | 立体画像表示装置 |
JP2006151266A (ja) * | 2004-11-30 | 2006-06-15 | Denso Corp | 車載制御装置 |
JP2006287730A (ja) * | 2005-04-01 | 2006-10-19 | Alpine Electronics Inc | オーディオ装置 |
JP2009224841A (ja) * | 2008-03-13 | 2009-10-01 | Honda Motor Co Ltd | ディスプレイ位置調整装置 |
Also Published As
Publication number | Publication date |
---|---|
DE112010005927B4 (de) | 2014-07-17 |
WO2012046276A1 (ja) | 2012-04-12 |
JPWO2012046276A1 (ja) | 2014-02-24 |
CN103069843A (zh) | 2013-04-24 |
US20130088581A1 (en) | 2013-04-11 |
CN103069843B (zh) | 2015-09-02 |
DE112010005927T5 (de) | 2013-08-08 |
US9344632B2 (en) | 2016-05-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5414907B2 (ja) | Avシステム | |
CN112369051B (zh) | 用于车辆乘员和远程用户的共享环境 | |
US9423880B2 (en) | Head-mountable apparatus and systems | |
EP3032847B1 (en) | Adjusting speakers using facial recognition | |
US10198866B2 (en) | Head-mountable apparatus and systems | |
KR102605318B1 (ko) | 머리에 착용될 수 있는 전자 디스플레이 장치를 작동하기 위한 방법, 및 가상 콘텐츠를 디스플레이하기 위한 디스플레이 시스템 | |
JP2007158578A (ja) | 全周囲情報環状表示システム | |
WO2019124158A1 (ja) | 情報処理装置、情報処理方法、プログラム、表示システム、及び移動体 | |
KR20160099917A (ko) | 운전 연습 방법 및 장치 | |
US11061236B2 (en) | Head-mounted display and control method thereof | |
CN111133752B (zh) | 表情记录系统 | |
CN111108753A (zh) | 接收设备、接收方法、流传输设备、手术室系统以及车辆控制系统 | |
JP2010093515A (ja) | モバイル機器データの複数モニタ選択転送システム | |
JP2016025394A (ja) | 車両用表示装置 | |
WO2022064774A1 (ja) | 画像処理装置、及び画像処理プログラム | |
US10228767B2 (en) | Position-based interactive performance system | |
US20240087339A1 (en) | Information processing device, information processing system, and information processing method | |
JP7539445B2 (ja) | 情報管理装置、情報管理方法、及びプログラム | |
JP2024039763A (ja) | 情報処理システム | |
TWI787205B (zh) | 表情記錄系統、嬰兒車、及表情記錄程式 | |
KR20160098737A (ko) | 운전 행동 개선 방법 및 장치 | |
JP2022052681A (ja) | 画像処理装置、及び画像処理プログラム | |
JP2024039702A (ja) | 情報処理システム | |
JP2013115761A (ja) | 画像表示装置、画像表示システム及びテレビジョン受像機 | |
JP2021084528A (ja) | 端末装置、車載システム並びに表示制御方法及び端末装置用プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20131015 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20131112 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5414907 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |