JP2024033538A - データ処理装置及びデータ処理方法 - Google Patents

Abstract

【課題】車両乗員に対して好適なフィードバックが実現できる。【解決手段】開示のデータ処理装置２０は、車両の乗員が前記車両の外部を指し示す動作を認識する乗員状態認識部２２と、前記車両の周囲の状況を取得する周囲状況取得部２１と、前記乗員状態認識部２２による認識結果と、前記周囲状況取得部２１による取得結果とに基づいて、前記乗員が指し示した対象を認識する対象認識部２４と、前記車両のフロントガラスの上方または下方に、車体幅の方向に渡って設置された長尺状の発光部１４と、前記乗員状態認識部による認識結果及び／又は前記対象認識部による認識結果に基づいて、前記乗員が指し示した方向及び／又は前記対象が所在する方向に対応する前記発光部の一部の発光態様を少なくとも２段階で制御する発光制御部２５とを備える。【選択図】図２

Description

本発明は、データ処理装置及びデータ処理方法に関する。

従来、車両の乗員であるユーザが指し示した対象物を特定する技術がある。例えば、特許文献１には、「ユーザの手や指が指し示している方向に存在する対象物を正確に特定する対象物特定装置を提供する。」、「測位部１３は、車両の現在位置および車両の方位を検出する。撮像部１８は、車両の周囲を撮像する。指差し方向検知部１６は、車両内のユーザが自身の手を用いて指し示した指示方向を検知する。対象物抽出部は、指差し方向検知部１６が検知した指示方向に存在する対象物を撮像部１８が撮像した画像内から抽出する。対象物位置特定部は、車両に対して、対象物抽出部が抽出した対象物の位置を特定する。」との記載がある。

特開２００７－０８００６０号公報

従来の技術では、車両の乗員による指さし動作を車載の装置がどのように認識しているかをフィードバックすることが困難であった。例えば、運転者がフロントガラス越しに対象を指し示した場合、車載の装置は、指し示された方向を認識したこと、もしくは指し示された対象を認識したことを運転者にフィードバックとして伝達し、インタラクションを成立させることが望ましい。そして、このフィードバックは、運転者による周囲の目視確認を阻害することなく行うことが求められる。

そこで、本発明では、車両乗員に好適なフィードバックを行うデータ処理装置及びデータ処理方法を提供することを目的とする。

上記目的を達成するために、代表的な本発明のデータ処理装置の一つは、車両の乗員が前記車両の外部を指し示す動作を認識する乗員状態認識部と、前記車両の周囲の状況を取得する周囲状況取得部と、前記乗員状態認識部による認識結果と、前記周囲状況取得部による取得結果とに基づいて、前記乗員が指し示した対象を認識する対象認識部と、前記車両のフロントガラスの上方または下方に、車体幅の方向に渡って設置された長尺状の発光部に接続され、前記乗員状態認識部による認識結果及び／又は前記対象認識部による認識結果に基づいて、前記乗員が指し示した方向及び／又は前記対象が所在する方向に対応する前記発光部の一部の発光態様を少なくとも２段階で制御する発光制御部とを備えることを特徴とする。

本発明によれば、車両乗員に対して好適なフィードバックが実現できる。上記した以外の課題、構成及び効果は以下の実施の形態の説明により明らかにされる。

実施例１のデータ処理における操作および動作の概要を説明する説明図 実施例１のデータ処理装置を含む車載システム全体の構成図 発光態様の制御についての説明図 発光制御を説明するフローチャート

以下、実施例を図面を用いて説明する。

図１は、実施例１のデータ処理における操作および動作の概要を説明する説明図である。また、図２は、実施例１のデータ処理装置２０を含む車載システム１０全体の構成図である。車両に搭載された車載システム１０は、データ処理装置２０と、車内を撮像する車内カメラと、自車両の周囲を撮像する車外カメラとを備える。さらに、車両のフロントガラスの下方に、車体幅の方向に渡って設置された長尺状の発光部１４を備える（Ａ１）。発光部１４は、例えば、低解像度のＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）である。

データ処理装置２０は、車内カメラから画像を取得し、ユーザである車両の乗員の状態を認識する。例えば、乗員が車外を指さすと、データ処理装置２０は、車内カメラの画像を分析して乗員の目の位置と手指の位置を識別し、目の位置と指先を結ぶ直線を指さし方向と判定する。ここで、手指とは、手と指の少なくとも一方を含む意味で用いる。
乗員の指さしを認識したデータ処理装置２０は、乗員によって指し示された方向（指さし方向）を含む発光部１４の一部を幅Ｌ１で発光させる（Ａ２）。

さらに、データ処理装置２０は、車外カメラの画像等を用いて車両の周囲の状況を取得する。データ処理装置２０は、車両の周囲の状況から、乗員による指さしの対象となり得る候補を抽出し、各候補の車両に対する相対方向を特定する。そして、いずれかの候補の相対方向と指さし方向とが略一致する場合に、当該候補を乗員が指し示した対象（指さし対象）であると認識する。
指さし対象を認識したデータ処理装置２０は、指さし対象の方向を含む発光部１４の一部を幅Ｌ２で発光させる（Ａ３）。ここで、幅Ｌ２は、幅Ｌ１よりも十分に狭くする。
図１では、乗員は駐車領域Ｐ１を指さしており、データ処理装置２０は、駐車領域Ｐ１の方向に対応する発光部１４の一部を発光させている。
その後、乗員が指さしをやめると、データ処理装置２０は、駐車領域Ｐ１の方向における幅Ｌ２での発光を所定時間継続させ（Ａ４）、発光を終了させる。

このように、データ処理装置２０は、乗員の指さし行為に対する認識の進捗を、発光態様の段階的な変化でフィードバックできる。また、フロントガラスの下方の発光態様の変化を用いるため、乗員は車両周辺の直接目視を行いつつ、周辺視野でデータ処理装置２０からのフィードバックを確認できる。

図２において、データ処理装置２０は、駆動制御ユニット３０及びナビゲーションユニット４０と接続される。駆動制御ユニット３０は、自車両の加減速と操舵を制御するユニットである。車両のナビゲーションユニット４０は、自車両の位置を特定し、地図データベースを参照して車両の経路の探索と案内を行うユニットである。この地図データベースは、乗員が指し示す対象となり得るものの位置を示す対象物データベースとして用いることができる。

データ処理装置２０は、車載システム１０が有する車外カメラ１１、車内カメラ１２、マイクロフォン１３、発光部１４に接続されている。車外カメラ１１は、車両の周囲を撮像する撮像装置である。車内カメラ１２は、車室内を撮像する撮像装置であり、車室内の乗員の状態を取得するセンサとして機能する。マイクロフォン１３は、車室内の音を集音する。発光部１４は、車両のフロントガラスの下方に、車体幅の方向に渡って設置された長尺状の低解像度ＬＥＤである。

車外カメラ１１は、例えば乗員の視界を撮像範囲に含む位置に設置する。
車内カメラ１２は、乗員の目と手を撮像可能な位置に設置する。例えば、ルームミラー近傍やルームライト近傍などに設置すればよい。

データ処理装置２０は、周囲状況取得部２１、乗員状態認識部２２、音声認識部２３、対象認識部２４、発光制御部２５、駐車支援実行部２６及び目的地設定部２７を有する。データ処理装置２０をコンピュータで実現する場合には、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）がプログラムを実行することで、周囲状況取得部２１、乗員状態認識部２２、音声認識部２３、対象認識部２４、発光制御部２５、駐車支援実行部２６及び目的地設定部２７に対応する機能を実現すればよい。

周囲状況取得部２１は、自車両の周囲の状況を取得する。具体的には、周囲状況取得部２１は、自車両の周囲を撮像する車外カメラ１１が撮像した画像や、ナビゲーションユニット４０により特定された自車両の位置データと周囲の地図データを取得し、対象認識部２４に出力する。

乗員状態認識部２２は、車内カメラ１２が撮像した画像を取得し、車両の乗員の状態を認識する。乗員状態認識部２２が認識する乗員の状態は、車両の外部を指し示す動作を含む。また、乗員状態認識部２２は、乗員の目の位置と手指の位置を認識する。乗員状態認識部２２は、乗員の目の位置と手指の位置から指さし方向を認識し、対象認識部２４に出力する。

音声認識部２３は、乗員の音声から対象に関する単語を認識する。例えば、「駐車場」、「お店」など、乗員が差し示した対象の絞り込みに寄与する単語を認識すればよい。

対象認識部２４は、周囲状況と、指さし方向と、音声に含まれる単語とを用いて乗員が指し示した対象を認識する。

まず、対象認識部２４は、車両周囲における対象候補と、対象候補の自車両に対する相対方向を特定する。
例えば、対象認識部２４は、車外カメラ１１の画像に対して画像処理を行うことで、自車両が駐車可能な駐車領域などを対象候補として認識し、画像内の位置から相対方向を特定できる。
また、対象認識部２４は、自車両の位置データと周辺の地図データを用い、自車両の周囲の施設の３Ｄモデルデータを生成することで、対象候補と相対方向を特定できる。なお、施設とは、建築物、店舗、公園など乗員が指さす対象となり得る任意のものをいう。

対象認識部２４は、指さし方向と相対方向とが略一致する場合、例えば、指さし方向と相対方向の差が所定値以下である場合、その対象を乗員の指さし対象と認識する。

なお、対象認識部２４による対象の認識には、音声に含まれる単語を用いることができる。具体的には、対象認識部２４は、音声に含まれる単語に該当することを条件に、対象の候補を絞り込んだうえで、指さし方向と相対方向が略一致する対象を指さし対象と認識する。

発光制御部２５は、乗員状態認識部２２による認識結果や対象認識部２４による認識結果に基づいて、発光部１４の発光を制御する。発光制御部２５は、乗員が指し示した方向や対象が所在する方向に対応する発光部１４の一部の発光態様を少なくとも２段階で制御することで、乗員の指さしをどのように認識しているかをフィードバックする。

発光制御部２５は、乗員状態認識部２２が指さし方向（乗員によって指し示された方向）を認識したか否かで発光態様を異ならせることができ、また、対象認識部２４が指さし対象（乗員によって指し示された対象）を認識したか否かで発光態様を異ならせることができる。

一例として、発光制御部２５は、乗員状態認識部２２が指さし方向を認識した場合に、指さし方向を含む発光部１４の一部を幅Ｌ１で発光させ、対象認識部２４が指さし対象を認識した場合に、指さし対象が所在する方向を含む発光部１４の一部を幅Ｌ１よりも狭い幅Ｌ２で発光させる。

駐車支援実行部２６は、対象認識部２４が駐車領域を対象として認識し、所定の確定操作を受け付けた場合に、駐車領域への駐車を支援する。具体的には、駐車支援実行部２６は、対象認識部２４が出力した駐車領域の位置を示すデータに基づいて、駆動制御ユニット３０に対して動作指示を出力する。この動作指示は、自車両の加減速と操舵を制御する指示であり、この動作指示を受けて駆動制御ユニット３０が動作することで、自車両は駐車領域まで自動走行し、停車する。

目的地設定部２７は、対象認識部２４が施設を対象として認識し、所定の確定操作を受け付けた場合に、当該施設を目的地としてナビゲーションユニット４０に出力する。ナビゲーションユニット４０は、出力された目的地に至る経路を探索し、探索した経路を案内する。

図３は、発光態様の制御についての説明図である。図３に示すように、指さしに関する認識の段階は、（１）乗員の手を認識した段階、（２）指さし動作を認識した段階、（３）指さし方向を認識した段階、（４）指さし対象を認識した段階に区分することができる。
発光制御部２５は、これらの段階に対して異なる発光態様を割り当てて、認識の進捗を乗員に伝えることができる。

図３に示したパターン１では、発光制御部２５は、指さし動作を認識した段階（２）までは発光無しで、指さし方向を認識した段階（３）で第１発光態様、指さし対象を認識した段階（４）で第２発光態様で発光制御する。
パターン２では、発光制御部２５は、乗員の手を認識した段階（１）までは発光無し、指さし動作を認識した段階（２）と指さし方向を認識した段階（３）は第１発光態様、指さし対象を認識した段階（４）で第２発光態様としている。
パターン３では、発光制御部２５は、乗員の手を認識した段階（１）までは発光無し、指さし動作を認識した段階（２）で第１発光態様、指さし方向を認識した段階（３）と指さし対象を認識した段階（４）で第２発光態様としている。
パターン４では、発光制御部２５は、乗員の手を認識した段階（１）までは発光無し、指さし動作を認識した段階（２）で第１発光態様、指さし方向を認識した段階（３）で第２発光態様、指さし対象を認識した段階（４）で第３発光態様としている。

発光態様は、発光の幅、点滅、色、明るさなど、任意の要素を組み合わせて用いることができる。発光の位置も任意に制御可能であるが、指さしに関するフィードバックである点から、指さし方向や対象の方向に対応させた位置を部分的に発光させることが好適である。

図４は、パターン１での発光制御を説明するフローチャートである。データ処理装置２０は、次のステップＳ１０１～Ｓ１０６の動作を繰り返し実行する。
ステップＳ１０１ 乗員状態認識部２２は、乗員の状態を認識し、乗員が指さし動作を行っているか否かを判定する。乗員が指さし動作を行っていないか指さし方向を特定できなければ、ステップＳ１０１を繰り返す。乗員が指さし動作を行っており、指さし方向を特定できれば、ステップＳ１０２に進む。

ステップＳ１０２ 発光制御部２５は、指さし方向を含む発光部１４の一部を広い幅で光らせる。その後、ステップＳ１０３に進む。
ステップＳ１０３ 周囲状況取得部２１は、車外カメラ１１の画像、位置データ、周辺の地図データなどを周囲状況として取得し、ステップＳ１０４に進む。
ステップＳ１０４ 対象認識部２４は、指さし方向、音声、周囲状況から指さし対象を判定する。また、指さし対象の判定の確信度を算出する。確信度が一定以上であれば、ステップＳ１０５に進み、確信度が一定未満であればステップＳ１０６に進む。

ステップＳ１０５ 発光制御部２５は、指さし対象の方向を含む発光部１４の一部を狭い幅で光らせる。その後、ステップＳ１０６に進む。
ステップＳ１０６ 発光制御部２５は、一定時間後に発光を終了し、ステップＳ１０１に戻る。

これまでの説明では、発光部１４として低解像度ＬＥＤを用いる場合を説明したが、発光部１４は、フロントガラスに設置されたヘッドアップディスプレイであってもよい。ヘッドアップディスプレイを用いる場合には、フロントガラスの下端近傍が所定の発光態様となるように投影を行うことになる。
また、フロントガラスの下に、車体幅の方向に渡って設置された長尺状の液晶ディスプレイを用いてもよい。この場合には、液晶ディスプレイの上側の表示領域の一部を、発光部１４として利用することになる。
また、フロントガラスの上側に発光部１４を設ける構成としてもよい。

また、対象の認識結果は、自動駐車や目的地の設定に限らず、任意に利用可能である。例えば、対象に関する情報提供を行ってもよいし、対象の車両に追従する自動走行制御を行ってもよい。また、駐車の運転操作を支援する情報提供のみを行う構成とすることもできる。

上述してきたように、開示のデータ処理装置２０は、車両の乗員が前記車両の外部を指し示す動作を認識する乗員状態認識部２２と、前記車両の周囲の状況を取得する周囲状況取得部２１と、前記乗員状態認識部２２による認識結果と、前記周囲状況取得部２１による取得結果とに基づいて、前記乗員が指し示した対象を認識する対象認識部２４と、前記車両のフロントガラスの上方または下方に、車体幅の方向に渡って設置された長尺状の発光部１４に接続され、前記乗員状態認識部による認識結果及び／又は前記対象認識部による認識結果に基づいて、前記乗員が指し示した方向及び／又は前記対象が所在する方向に対応する前記発光部の一部の発光態様を少なくとも２段階で制御する発光制御部２５とを備える。
この構成及び動作により、車両乗員に対して好適なフィードバックが実現できる。

また、前記発光制御部２５は、一例として、前記乗員状態認識部２２が前記乗員によって指し示された方向を認識したか否かで前記発光態様を異ならせる。
また、前記発光制御部２５は、一例として、前記対象認識部２４が前記乗員によって指し示された対象を認識したか否かで前記発光態様を異ならせる。
このように、データ処理装置２０は、指さしに関する認識の進捗を発光態様の変化でフィードバックできる。

具体的には、前記発光制御部２５は、前記乗員状態認識部２２が前記乗員によって指し示された方向を認識した場合に、前記乗員によって指し示された方向を含む発光部１４の一部を第１の幅で発光させ、前記対象認識部２４が前記乗員によって指し示された対象を認識した場合に、当該対象が所在する方向を含む発光部１４の一部を第２の幅で発光させ、前記第２の幅は、前記第１の幅よりも狭い。
このように発光の幅を変更することで、指さしに対する認識の進捗を簡明にフィードバックできる。特に、発光の幅の変化は、周辺視野でも十分に確認可能であるから、乗員による周辺の目視確認を阻害することなくフィードバック可能である。

前記発光部１４は、一例として、低解像度のＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）である。
発光部１４によるフィードバックは、詳細な情報の出力を要しないので、低解像度ＬＥＤが適する。また、低解像度ＬＥＤは、車内インテリアとしても利用できる。

また、前記発光部１４は、一例として、前記フロントガラスに設置されたヘッドアップディスプレイである。
ヘッドアップディスプレイは、各種情報の提供と指さしに関するフィードバックに共用可能である。

また、前記周囲状況取得部２１は、前記車両の周囲を撮像するカメラから画像を取得し、前記対象認識部２４は、前記画像から前記車両が駐車可能な駐車領域を前記対象として認識し、前記駐車領域への駐車を支援する駐車支援実行部２６をさらに備える構成としてもよい。
この構成では、乗員が指さした駐車領域への駐車を支援することができる。

また、前記周囲状況取得部２１は、前記車両の周囲の地図データを取得し、前記対象認識部２４は、前記地図データに含まれる施設を前記対象として認識し、前記施設を目的地として設定する目的地設定部２７をさらに備える構成としてもよい。
この構成では、乗員が指さした施設への案内を簡易に行うことができる。

なお、本発明は上記の実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、かかる構成の削除に限らず、構成の置き換えや追加も可能である。

例えば、運転者以外に他の乗員がいる場合に、他の乗員を対象に本発明を適用してもよい。また、複数の乗員のうち、特定の乗員を指定して本発明の適用対象としてもよい。

また、車内カメラ以外の任意のセンサ、例えば、ＬＩＤＡＲ（Light Detection and Ranging、Laser Imaging Detection and Ranging）や、据え置きされたスマートフォンなどから乗員の状態を取得してもよい。さらに、複数のセンサ、複数種類のセンサの出力を組み合わせて用いることもできる。

また、上記実施例では、目と指先の延長線上を乗員が指し示す方向として判定したが、手指の２点を認識し、この２点の延長線上を乗員が指し示す方向として判定してもよい。

１０：車載システム、１１：車外カメラ、１２：車内カメラ、１３：マイクロフォン、１４：発光部、２０：データ処理装置、２１：周囲状況取得部、２２：乗員状態認識部、２３：音声認識部、２４：対象認識部、２５：発光制御部、２６：駐車支援実行部、２７：目的地設定部、３０：駆動制御ユニット、４０：ナビゲーションユニット

Claims (7)

1. 車両の乗員が前記車両の外部を指し示す動作を認識する乗員状態認識部と、
   前記車両の周囲の状況を取得する周囲状況取得部と、
   前記乗員状態認識部による認識結果と、前記周囲状況取得部による取得結果とに基づいて、前記乗員が指し示した対象を認識する対象認識部と、
   前記車両のフロントガラスの上方または下方に、車体幅の方向に渡って設置された長尺状の発光部に接続され、前記乗員状態認識部による認識結果及び／又は前記対象認識部による認識結果に基づいて、前記乗員が指し示した方向及び／又は前記対象が所在する方向に対応する前記発光部の一部の発光態様を少なくとも２段階で制御する発光制御部と
   を備えることを特徴とするデータ処理装置。
2. 請求項１に記載のデータ処理装置であって、
   前記発光制御部は、前記乗員状態認識部が前記乗員によって指し示された方向を認識したか否かで前記発光態様を異ならせることを特徴とするデータ処理装置。
3. 請求項１に記載のデータ処理装置であって、
   前記発光制御部は、前記対象認識部が前記乗員によって指し示された対象を認識したか否かで前記発光態様を異ならせることを特徴とするデータ処理装置。
4. 請求項３に記載のデータ処理装置であって、
   前記発光制御部は、
   前記乗員状態認識部が前記乗員によって指し示された方向を認識した場合に、前記乗員によって指し示された方向を含む発光部の一部を第１の幅で発光させ、
   前記対象認識部が前記乗員によって指し示された対象を認識した場合に、当該対象が所在する方向を含む発光部の一部を第２の幅で発光させ、
   前記第２の幅は、前記第１の幅よりも狭いことを特徴とするデータ処理装置。
5. 請求項１に記載のデータ処理装置であって、
   前記周囲状況取得部は、前記車両の周囲を撮像するカメラから画像を取得し、
   前記対象認識部は、前記画像から前記車両が駐車可能な駐車領域を前記対象として認識し、
   前記駐車領域への駐車を支援する駐車支援実行部をさらに備えたことを特徴とするデータ処理装置。
6. 請求項１に記載のデータ処理装置であって、
   前記周囲状況取得部は、前記車両の周囲の地図データを取得し、
   前記対象認識部は、前記地図データに含まれる施設を前記対象として認識し、
   前記施設を目的地として設定する目的地設定部をさらに備えたことを特徴とするデータ処理装置。
7. フロントガラスの上方または下方に、車体幅の方向に渡って設置された長尺状の発光部を備える車両に搭載されたデータ処理装置が、
   前記車両の乗員が前記車両の外部を指し示す動作を認識する乗員状態認識ステップと、
   前記車両の周囲の状況を取得する周囲状況取得ステップと、
   前記乗員状態認識ステップによる認識結果と、前記周囲状況取得ステップによる取得結果とに基づいて、前記乗員が指し示した対象を認識する対象認識ステップと、
   前記乗員状態認識ステップによる認識結果及び／又は前記対象認識ステップによる認識結果に基づいて、前記乗員が指し示した方向及び／又は前記対象が所在する方向に対応する前記発光部の一部の発光態様を少なくとも２段階で制御する発光制御ステップと
   を含むことを特徴とするデータ処理方法。
   

Images