JP7215228B2 - 制御装置、制御方法、制御プログラム - Google Patents

Description

本発明は、車両に搭載される、表示器の制御装置に関する。

車両周辺や車内の様子を車載カメラで撮像し、電子サイドミラーや電子インナーミラー、カーナビゲーション装置などの表示器に表示する技術が一般的になっている。表示器には撮像画像の全体または一部を選択して表示することができ、また、表示器や車載カメラが複数搭載されている場合には、撮像する車載カメラおよび撮像画像を表示する表示器をそれぞれ切り替えることで、表示器に表示する画像を適宜変更することが可能である。このとき、表示器には、運転者が意図した画像が適切に表示されている必要があり、例えば、特許文献１および２では、運転者の目の位置や視線の向きから運転者が意図する画像を推測し、撮影画像のうち表示器に表示させる画像の範囲を変化させる技術が公開されている。

特開２０１７－１９６９１３号公報 特開２０１７－１９６９１１号公報

しかしながら、特許文献１および２に記載の技術は、カメラなどによって目の位置や視線を正しく認識する必要があり、例えば、運転者がサングラスを装着しているといった、目を正確に認識できない場合は適切な表示ができない虞がある。また、運転者が意図する画像は、車両の状態や車両の周辺状態に応じて変化することが考えられる。例えば、同じ右電子サイドミラーに表示される画像であっても、運転者は、車両が通常走行中のときには車両の右側後方の画像が表示されることを所望し、車両がバックしているときには車両の右下側の広角画像が表示されることを所望することが考えられる。しかしながら、特許文献１および２に記載の方法では車両や車両の周辺状態については考慮されていなかったため、改良の余地がある。

本発明は、上記課題を鑑みてなされたものであり、運転者が意図する画像をより適切に表示器に表示することができる制御装置を提供することを目的とする。

上記課題を解決するために、本発明の一局面は、複数の車載カメラおよび複数の表示器を備えた車両に搭載され、複数の車載カメラのいずれかが撮像した画像の少なくとも一部を複数の表示器のいずれかに表示する制御を行う制御装置であって、制御装置は、車両の乗員を撮像する乗員撮像部と、乗員撮像部によって撮像された画像に基づいて、乗員の顔の向き、および、体勢または体勢の変化を判別する姿勢判別部と、車両の状態または車両の周辺状態を表す信号を取得する車両状態取得部と、車両状態取得部が取得した信号に基づいて、車両の状態または車両の周辺状態を判別する車両状態判別部と、姿勢判別部および車両状態判別部の判別結果に基づいて、制御対象となる表示器と、当該表示器に表示させる表示内容の少なくとも何れか一方を特定する制御内容特定部と、制御内容特定部によって特定された結果に基づいて制御対象となる表示器の表示変更を制御する制御部とを備える。

本発明によれば、運転者が意図する画像をより適切に表示器に表示することができる制御装置を提供することができる。

本発明の一実施形態に係る制御装置の構成を示す機能ブロック図 制御対象および制御内容を絞り込むためのデータ例 制御装置の制御処理手順を説明するフローチャート 姿勢を判別するための処理を説明するフローチャート 本発明のその他の実施形態に係る制御装置を示す機能ブロック図

本発明の一実施形態に係る制御装置は、乗員の姿勢または姿勢の変化と、車両の状態または車両の周辺状態とに基づいて、表示器の表示変更を制御する。これにより、運転者が意図する画像をより適切に表示器に表示することができる。

（実施形態）
以下、本発明の実施形態について、図面を参照しながら詳細に説明する。

＜構成＞
図１は、本発明の一実施形態に係る制御装置の構成を示す機能ブロック図である。制御装置１は、乗員撮像部２、姿勢判別部３、車両状態取得部４、車両状態判別部５、制御内容特定部６、制御部７を備える。制御装置１は複数の車載カメラ２０および複数の表示器３０を備えた車両に搭載され、複数の車載カメラ２０のいずれかが撮像した画像の少なくとも一部を複数の表示器３０のいずれかに表示する制御を行う。また、制御装置１は制御対象となる表示器３０（制御対象）と、制御対象の表示器３０に表示させる表示内容（制御種別）とを特定するための判別情報を予め保持する。判別情報は、乗員の姿勢および姿勢の変化に対して制御対象となる表示器３０が、車両の状態および車両の周辺状態に対して制御種別が、それぞれ関連付けられて記憶されており、乗員の姿勢または姿勢の変化、および、車両の状態または車両の周辺状態を検索キーに用いることで、制御対象の表示器３０に実施する制御種別とを特定できる情報である。判別情報は、例えば、図２に示すような表で表すことができる。

車載カメラ２０は、例えば、電子サイドミラー用カメラ、電子インナーミラー用カメラ、前方死角カメラ、マルチテレインモニタ用カメラである。電子サイドミラー用カメラは、車両の左側部および左後方を撮像する左側方カメラや、車両の右側部および右後方を撮像する右側方カメラであり、例えば、一般的な光学式のサイドミラーが取り付けられる位置に設置される。電子インナーミラー用カメラは、車両の後方を撮像するカメラであり、例えば、車両後部のトランクリッドやテールゲート等に設置される。前方死角カメラは、車両の前方の死角部分を撮像するカメラであり、例えば、一般的な左右の光学式のサイドミラーが取り付けられる位置にそれぞれ設置されてもよいし、カメラの画角が広い場合は車両前方のナンバープレートやエンブレム近傍に１つだけ設置されてもよい。マルチテレインモニタ用カメラは、例えば、路面を撮像するカメラであり、フロントバンパー部や一般的な光学式のサイドミラーが取り付けられる位置に設置される。

表示器３０は、例えば、電子サイドミラー、電子インナーミラー、ダッシュボードの略中央部に設けられるカーナビゲーション等で用いられる画面である。電子サイドミラーは、例えば、ダッシュボードの左右両端部にそれぞれ設置される。電子インナーミラーは、例えば、一般的な光学式のインナーミラーが取り付けられる位置に設置される。これらの表示器３０には、車載カメラ２０の撮像画像が表示可能であり、基本的には、電子サイドミラーには電子サイドミラー用カメラの画像を、電子インナーミラーには電子インナーミラー用カメラの画像を、カーナビゲーション等に用いられる画面には前方死角カメラおよびマルチテレインモニタ用カメラの映像を表示させるが、必要に応じていずれの車載カメラ２０の撮像画像をいずれの表示器３０に表示させてもよい。

乗員撮像部２は、運転者等の乗員を撮像するカメラであり、例えば、電子インナーミラーの位置に配置される。当該カメラは、車載カメラ２０とは別に設置される。

姿勢判別部３は、乗員撮像部２が撮像した画像に基づいて、乗員の姿勢または姿勢の変化を判別する。本実施形態において、姿勢とは、顔の向きや頭部位置、体勢などを指すこととする。また、姿勢の変化を判別するとは、乗員が何をしようとしているかの動作を判別することと等しい。姿勢または姿勢の変化の具体例として、例えば、図２の「選定の理由となる姿勢・姿勢の変化」列に記載されたものを挙げることができる。

車両状態取得部４は、車両の状態または車両の周辺状態を表す信号を取得する。車両の状態および車両の周辺状態を表す信号は、車両に搭載されている各種センサ、カメラ（車載カメラ２０を含んでもよい）、ＧＰＳ（Global Positioning System）などから得ることができる。

車両状態判別部５は、車両状態取得部４が取得した信号に基づいて、車両の状態または車両の周辺状態を判別する。車両の状態とは、例えば、車速、シフトポジション、ドアの開閉状態、ウインカー指示の有無、後方近接通報の有無などの車両自身の状態である。車両の周辺状態とは、例えば、車両位置、車両周辺の道路の幅や見通しおよび交通量、後方近接車両の有無とその距離や位置および接近速度、外光強度などの車両が置かれている状態である。車両の状態および車両の周辺状態の具体例として、例えば、図２の「車両状態・車両状態予測」列に記載されたものを挙げることができる。なお、車両状態予測については、後述する。

制御内容特定部６は、姿勢判別部３および車両状態判別部５の判別結果に基づいて、制御対象となる表示器３０と、制御対象の表示器３０に表示させる表示内容とを特定する。具体的には、制御内容特定部６は、姿勢判別部３が判別した乗員の姿勢または姿勢の変化、および、車両状態判別部５が判別した車両の状態または車両の周辺状態を検索キーとして図２のような判別情報を検索することで、制御対象と、制御種別とを特定することができる。なお、制御内容特定部６は、車両状態判別部５が判別した結果に基づいて将来の車両の状態または車両の周辺状態の予測を行った後に、制御対象となる表示器３０と、制御対象の表示器３０に表示させる表示内容とを特定してもよい。

制御部７は、制御内容特定部６によって特定された結果に基づいて制御対象となる表示器３０の表示を変更する制御を行う。具体的には、制御部７は、特定された制御対象の表示器３０に対して、特定された制御種別で定義されている制御を実行する。

＜制御処理＞
図２～３を併せて参照しながら、制御装置１が行う制御について説明する。図３は、制御装置１の制御処理手順を説明するフローチャートである。図３のフローは、車両のイグニッションがオン（ＩＧ－ＯＮ）されたときに開始し、ＩＧ－ＯＦＦされるまで繰り返し実行される。

ステップＳ１０１：乗員撮像部２は、乗員を撮像する。撮像時間やフレーム数などは判別したい乗員の姿勢または乗員の姿勢の変化を判別できるように設定すればよい。その後、処理はステップＳ１０２に進む。

ステップＳ１０２：姿勢判別部３は、乗員撮像部２で撮像された画像に基づいて、乗員の姿勢または姿勢の変化を判別する。乗員の姿勢は、頭、肩、肘、手などの体の構成部位の位置関係から判別することができる。例えば、乗員撮像部２の撮像画像上の座標を定義し、乗員の骨格点の位置座標の組み合わせに基づいて姿勢を判別してもよい。また、乗員撮像部２の撮像画像を格子状の領域に分割し、当該分割領域のうち乗員のシルエットが重なる領域で構成した形状に基づいて姿勢を判別してもよい。格子状の領域の分割方法は、格子状の枠越しに乗員撮像部２が撮像する方法でもよいし、乗員撮像部２が撮像した画像に画像処理を施す方法でもよい。また、姿勢の変化は、乗員の姿勢を連続して観測することで得られる。例えば、姿勢判別部３は、乗員の視線・顔の向きおよび／または頭部の位置変化に基づいて、乗員が左右いずれかの電子サイドミラーや死角方向、路面方向を覗き込む動作を判別することができる。その後、処理はステップＳ１０３に進む。

ステップＳ１０３：制御内容特定部６は、ステップＳ１０２で判別した乗員の姿勢または姿勢の変化に基づき、予め用意された判別情報に定義された表示制御対象の表示器３０から、制御候補となる表示器３０を選定する。その後、処理はステップＳ１０４に進む。

ステップＳ１０４：車両状態取得部４は、車両に搭載されている各種センサ、カメラ（車載カメラ２０を含んでもよい）、ＧＰＳなどから車両の状態または車両の周辺状態を表す信号を取得する。その後、処理はステップＳ１０５に進む。

ステップＳ１０５：車両状態判別部５は、車両状態取得部４が取得した信号に基づいて、車両の状態または車両の周辺状態を判別する。車両の状態は、例えば、前進、バック、右折または左折、追い越し等であり、車速、シフトポジション、方向指示器のスイッチの出力等に基づいて判別することができる。車両の周辺状態は、例えば、走行中の道路状態、近接車両の有無、外光強度、天候等であり、位置情報、カーナビの地図情報、カメラの撮影画像、照度センサ、超音波センサ、レーダー等の出力信号に基づいて判別することができる。その後、処理はステップＳ１０６に進む。

ステップＳ１０６：制御内容特定部６は、車両状態判別部５が判別した車両の状態または車両の周辺状態に基づいて、将来の車両の状態または車両の周辺状態を予測する。その後、処理はステップＳ１０７に進む。

ステップＳ１０７：制御内容特定部６は、ステップＳ１０３で選定した制御候補に対して割り当てられた１以上の制御種別の中から、ステップＳ１０５の判別結果および／またはステップＳ１０６の予測結果に対応する制御種別を特定する。これにより、制御対象の表示器３０も特定される。その後、処理はステップＳ１０８に進む。

ステップＳ１０８：制御内容特定部６は、ステップＳ１０７で特定した表示器３０に、特定した制御種別に定められる表示内容を表示させる制御が可能な状況かどうかを判定する。具体的には、本ステップにおいて、車両状態取得部４が再度車両の状態または車両の周辺状態を表す信号を取得し、車両状態判別部５が車両の状態または車両の周辺状態を判別することで、ステップＳ１０６で予測した将来の車両の状態または車両の周辺状態が、ステップＳ１０７後に実現されたかを判定する。制御内容特定部６は、ステップＳ１０６で予測した将来の車両の状態または車両の周辺状態と、ステップＳ１０７後の車両の状態または車両の周辺状態とが合致した場合に、制御対象の表示器３０の制御が可能な状況と判定し（Ｓ１０８でＹＥＳ）、処理はステップＳ１０９に進み、それ以外の場合（Ｓ１０８でＮＯ）、処理はステップＳ１０１に進む。

ステップＳ１０９：制御部７は、ステップＳ１０７で特定した制御種別に基づいて、制御対象の表示器３０に表示変更の制御をする。その後、処理はステップＳ１０１に進む。

次に、図３のステップＳ１０１～Ｓ１０９の具体例を説明する。ここでは、乗員が車両をバックさせようとしている場合の例を示す。また、制御対象となる表示器３０と、制御対象の表示器３０に実施する制御種別とを特定するための判別情報は図２を用いることとする。

まず、乗員の画像に基づいて、乗員の顔は右方向を向いており、通常の運転姿勢から車両の右側を覗き込む体勢に変化したと判別される（ステップＳ１０１～Ｓ１０２）。次に、判別情報に基づき、乗員の姿勢および姿勢の変化が、図２の「選定の理由となる姿勢・姿勢の変化：顔の向き（右方向）、姿勢（車両右側覗き込み）」に該当すると判定され、これにより、制御対象が「制御対象：電子サイドミラー（右）」に絞り込まれる（ステップＳ１０３）。次に、シフトポジションがＲレンジに入っていることを表す信号を車両状態取得部４が取得し、当該信号に基づいて、車両の状態はシフトポジションがＲレンジに入っている状態であると判別される（ステップＳ１０４～Ｓ１０５）。このことから、車両は将来バックすることが予測される（ステップＳ１０６）。当該予測結果は、図２の「制御対象：電子サイドミラー（右）」に対応する「車両状態・車両状態予測」のうち、「車両状態・車両状態予測：Ｒレンジ」に該当するため、制御対象となる表示器３０は電子サイドミラー（右）であり、制御種別は下方広角表示であることが特定される（Ｓ１０７）。そして、車両が実際にバックし始めると、特定された制御対象に特定された制御種別が実行可能な状況と判定され、電子サイドミラー（右）は下方広角表示をする制御が実行される（ステップＳ１０８～Ｓ１０９）。

また、図３のステップＳ１０１～Ｓ１０９の他の具体例を説明する。ここでは、乗員が車両を右折または右レーンに移動させようとしている場合の例を示す。

まず、乗員の画像に基づいて、乗員の顔は右方向を向いており、通常の運転姿勢から車両の右側を覗き込む体勢に変化したと判別される（ステップＳ１０１～Ｓ１０２）。次に、判別情報に基づき、乗員の姿勢および姿勢の変化が、図２の「選定の理由となる姿勢・姿勢の変化：顔の向き（右方向）、姿勢（車両右側覗き込み）」に該当すると判定され、これにより、制御対象が「制御対象：電子サイドミラー（右）」に絞り込まれる（ステップＳ１０３）。次に、右折ウインカーが点灯していることを表す信号を車両状態取得部４が取得し、当該信号に基づいて、車両の状態は右折ウインカーが点灯している状態であると判別される（ステップＳ１０４～Ｓ１０５）。このことから、車両は将来右折することが予測される（ステップＳ１０６）。当該予測結果は、図２の「制御対象：電子サイドミラー（右）」に対応する「車両状態・車両状態予測」のうち、「車両状態・車両状態予測：右折（ウインカー）指示」に該当するため、制御対象となる表示器３０は電子サイドミラー（右）であり、制御種別は右折・右レーン移動時右側方表示であることが特定される（Ｓ１０７）。そして、実際にステアリングが右に切られ始めると、特定された制御対象に特定された制御種別が実行可能な状況と判定され、電子サイドミラー（右）は右側方表示をする制御が実行される（ステップＳ１０８～Ｓ１０９）。また、右折または右レーンに移動する場合の制御種別として右側方表示をする例を示したが、右側方表示をする以外にも、右側方を広角表示してもよいし、右側方に自転車やバイクまたは歩行者などの障害物があった場合は、それらの障害物を強調表示してもよい。

以上、図３のステップＳ１０１～Ｓ１０９の処理を説明したが、ステップＳ１０６と、ステップＳ１０８の処理は省略できる。しかし、ステップＳ１０６で将来の車両の状態または車両の周辺状態の予測を行うことで、表示器３０の制御が必要とされる前に制御装置１は制御内容を特定する処理が完了できる可能性が高くなる。そのため、制御が必要とされるときにより確実に制御を開始することができ、表示器３０の表示変更のタイミングが乗員の意図するタイミングから遅延するのを抑制することができる。ステップＳ１０６を省略した場合、ステップＳ１０７において、制御内容特定部６は、ステップＳ１０３で選定した制御候補に対して割り当てられた１以上の制御種別の中から、ステップＳ１０５の判別結果に対応する制御種別を特定する。

また、ステップＳ１０６を省略したとしても、ステップＳ１０８で制御可能な状況であるか否かの判定を行うことで、瞬間的に発生してしまった車両状態に基づいて、表示器３０にドライバーが意図しない制御がされてしまうのを抑制できる。具体的には、ステップＳ１０５で判別された車両状態が、ステップＳ１０８の段階でも継続されていれば、表示器３０の制御が可能な状況と判定する（Ｓ１０８でＹＥＳに該当）。これにより、例えば、シフトチェンジの際に瞬間的にシフトポジションがＲレンジに入り、この一瞬の車両状態に基づいてステップＳ１０７で制御内容が特定された場合であっても、ステップＳ１０８でもシフトポジションがＲレンジに入っていることが確認できなければ（Ｓ１０８でＮＯに該当）、ステップＳ１０９の制御は実行されない。

また、ステップＳ１０６と共にステップＳ１０８も実施することで、乗員の誤操作などの、実際は表示器３０の制御を実施する必要がない場合に、表示器３０を制御してしまうのを抑制できる。例えば、右折予定が無いにも関わらず乗員が誤って右ウインカーを出してしまい、この車両状態に基づいてステップＳ１０７で制御内容が特定された場合を仮定する。このとき、右ウインカーが出されたことからステップＳ１０６で車両の将来の状態を「右折」と予測していれば、ステップＳ１０８で実際に車両が右折状態にならない限り、ステップＳ１０９の制御は実行されない。

次に、図４を用いて図３のステップＳ１０２で行う姿勢を判別するための処理の具体例を説明する。図４は、姿勢を判別するための処理を説明するフローチャートである。ここでは、一例として、乗員の骨格点に基づいて姿勢を判別する方法を説明する。図４のフローは、図３のステップＳ１０１の直後に開始される。

ステップＳ２０１：姿勢判別部３は、乗員撮像部２が撮像した画像に基づいて、乗員の骨格点を認識する。骨格点は、既知の骨格点認識技術を用いて認識することができる。その後、処理はステップＳ２０２に進む。

ステップＳ２０２：姿勢判別部３は、ステップＳ２０１で認識した骨格点の位置をそれぞれ座標で表し、各骨格点間の位置関係を演算する。その後、処理はステップＳ２０３に進む。

ステップＳ２０３：姿勢判別部３は、乗員の姿勢が、表示器３０の制御を行う姿勢かどうかを判定する。表示器３０の制御を行う姿勢とは、判別情報の「選定の理由となる姿勢・姿勢の変化」に予め定められている姿勢とすることができる。乗員の姿勢は、各骨格点間の位置関係により表すことができ、予め定義しておけばよい。乗員の姿勢が、表示器３０の制御を行う姿勢であった場合（Ｓ２０３でＹＥＳ）、処理はステップＳ２０４に進み、それ以外の場合（Ｓ２０３でＮＯ）、処理はステップＳ２０１に進む。

ステップＳ２０４：姿勢判別部３は、乗員の姿勢の持続時間が所定の閾値以上であるかを判定する。このように、姿勢が一定時間持続されているかを確認することにより、瞬間的に発生した特定の姿勢が、表示器３０の制御を行う姿勢として認識されるのを抑制することができる。持続時間の閾値は、例えば、乗員が表示器３０や車外の特定の箇所を注視していることが判定できる時間に設定すればよい。姿勢の持続時間が所定の閾値以上の場合（Ｓ２０４でＹＥＳ）、処理はステップＳ２０５に進み、それ以外の場合（Ｓ２０４でＮＯ）、処理はステップＳ２０１に進む。

ステップＳ２０５：姿勢判別部３は、姿勢の判別を行う。その後、処理は終了する。

（その他の実施形態）
図５は、本発明のその他の実施形態に係る制御装置を示す機能ブロック図である。その他の実施形態に係る制御装置１１の構成は、制御装置１の構成に、後席乗員撮像部８および後席状況判別部９を追加した構成である。以下、この追加された構成を中心に説明する。

後席乗員撮像部８は、車両の後部座席の乗員（後席乗員）を撮像するカメラであり、例えば、電子ミラーの位置や車内天部に配置される。当該カメラは、車載カメラ２０とは別に設置される。後部座席を撮像できるのであれば、乗員撮像部２と共用してもよい。

後席状況判別部９は、後席乗員撮像部８が撮像した画像に基づいて、例えば、後席乗員の有無や、後席乗員の姿勢、着座状況などの後部座席の状況を判別する。これらの後部座席の状況は、ステップＳ１０２の姿勢および姿勢の変化を判別する方法を用いて判別することができる。なお、後席乗員の有無や着座状況は画像情報に加えて着座センサなどの他の機器の情報と組み合わせて判定してもよい。

後席乗員撮像部８による後席乗員の撮像および後席状況判別部９による後部座席の状況の判別は、例えば、図３のフローのステップＳ１０２とステップＳ１０３の間に行われる。これにより、ステップＳ１０３において、制御内容特定部６は、乗員の姿勢または姿勢の変化、および後部座席の状況に基づき、判別情報に定義された表示制御対象の表示器３０から、制御候補となる表示器３０を選定する。

図２の判別情報の記載を例にして、例えば、後席乗員が乗下車する際に乗員（前席乗員）が電子インナーミラーで後席の状況を確認する場合に行われる制御を説明する。後席に乗員が乗車しており、かつ、前席乗員の顔の向きが電子インナーミラー方向または／および姿勢が電子インナーミラー覗き込みであった場合、図２の「選定の理由となる姿勢・姿勢の変化：顔の向き（電子インナーミラー方向）、姿勢（電子インナーミラー覗き込み）、後席乗員姿勢」に該当すると判定され、制御対象は「制御対象：電子インナーミラー」となる。そして、後席のドアが開閉されている場合に「車両状態・車両状態予測：後席ドア開閉」に該当すると判定され、「制御種別：後席表示」が特定される。これにより、乗前席乗員は、後席乗員が乗下車する様子を電子インナーミラーで確認することができる。なお、表示器３０に後席表示を行う場合は安全面を考慮して、車速がある場合やシフトポジションがＰ以外である場合は、ステップＳ１０８で電子インナーミラーに後席表示を行う制御は実施不可能とし（ステップＳ１０８でＮＯに該当）、当該制御は実施しないようにすることが望ましい。

＜作用・効果等＞
以上のように、本発明の一実施形態に係る制御装置１によれば、乗員の姿勢または姿勢の変化と、車両の状態または車両の周辺状態とに基づいて、表示器３０の表示を制御する。

これにより、制御装置１は、乗員の姿勢または姿勢の変化だけではなく車両の状態および車両の周辺状態を考慮して表示器３０の制御を行うことができ、運転者が意図する画像をより適切に表示器３０に表示することができる。

車両状態判別部５が車両の状態または車両の周辺状態を判別した結果に基づいて、制御内容特定部６は将来の車両の状態または車両の周辺状態を予測する。

これにより、乗員にとって意図したタイミングでの制御が実行可能となる。

制御内容特定部６は、制御内容特定部６が予測した将来の車両の状態または車両の周辺状態が実現されたと判定した場合に、制御部７により制御対象として特定された表示器３０の表示変更を行うことを許可する。

これにより、乗員が瞬間的に誤って機器を操作してしまったなどの、実際は表示器３０制御を行う必要がない場合でも、表示器３０の制御が行われてしまうのを抑制できる。

本発明の制御装置１は、制御装置、制御装置のコンピュータが実行する表示制御方法、表示制御プログラムおよびこれを記憶したコンピュータ読み取り可能な非一時的記憶媒体、表示制御システム、車両等として捉えることが可能である。

本発明は、車両等に搭載される表示器の表示変更を制御する制御装置において有用である。

１ 制御装置
２ 乗員撮像部
３ 姿勢判別部
４ 車両状態取得部
５ 車両状態判別部
６ 制御内容特定部
７ 制御部
１０ 表示器
２０ 車載カメラ

Claims (6)

1. 複数の車載カメラおよび複数の表示器を備えた車両に搭載され、前記複数の車載カメラのいずれかが撮像した画像の少なくとも一部を前記複数の表示器のいずれかに表示する制御を行う制御装置であって、
   前記車両の乗員を撮像する乗員撮像部と、
   前記乗員撮像部によって撮像された画像に基づいて、乗員の顔の向き、および、体勢または体勢の変化を判別する姿勢判別部と、
   前記車両の状態または前記車両の周辺状態を表す信号を取得する車両状態取得部と、
   前記車両状態取得部が取得した信号に基づいて、前記車両の状態または前記車両の周辺状態を判別する車両状態判別部と、
   前記姿勢判別部および前記車両状態判別部の判別結果に基づいて、制御対象となる表示器と、当該表示器に表示させる表示内容の少なくとも何れか一方を特定する制御内容特定部と、
   前記制御内容特定部によって特定された結果に基づいて前記制御対象となる前記表示器の表示変更を制御する制御部とを備える制御装置。
2. 前記制御内容特定部は、前記車両状態判別部が判別した前記車両の状態または前記車両の周辺状態に基づいて、将来の前記車両の状態または前記車両の周辺状態を予測し、予測結果に基づいて、前記制御対象となる前記表示器と、当該表示器に表示させる表示内容とを特定する、請求項１に記載の制御装置。
3. 前記制御内容特定部は、将来の前記車両の状態または前記車両の周辺状態を予測した後に、将来の前記車両の状態または前記車両の周辺状態と、前記車両状態判別部が判別した前記車両の状態または前記車両の周辺状態とが合致したと判定した場合に、制御対象として特定された表示器の表示変更を許可する、請求項２に記載の制御装置。
4. 前記姿勢判別部は、さらに顔の向きおよび体勢の持続時間が所定の閾値以上であるかを判別する、請求項１から３のいずれか１項に記載の制御装置。
5. 複数の車載カメラおよび複数の表示器を備えた車両において、前記複数の車載カメラのいずれかが撮像した画像の少なくとも一部を前記複数の表示器のいずれかに表示させる制御方法であって、
   乗員撮像部が前記車両の乗員を撮像するステップと、
   姿勢判別部が前記乗員撮像部によって撮像された画像に基づいて、乗員の顔の向き、および、体勢または体勢の変化を判別するステップと、
   車両状態取得部が前記車両の状態または前記車両の周辺状態を表す信号を取得するステップと、
   車両状態判別部が前記車両状態取得部が取得した信号に基づいて、前記車両の状態または前記車両の周辺状態を判別するステップと、
   制御内容特定部が前記姿勢判別部および前記車両状態判別部の判別結果に基づいて、制御対象となる表示器と、当該表示器に表示させる表示内容の少なくとも何れか一方を特定するステップと、
   制御部が前記制御内容特定部によって特定された結果に基づいて前記制御対象となる前記表示器の表示変更をするステップと、を方含む制御方法。
6. 複数の車載カメラおよび複数の表示器を備えた車両に搭載されるコンピュータにおいて、前記複数の車載カメラのいずれかが撮像した画像の少なくとも一部を前記複数の表示器のいずれかに表示させる制御プログラムであって、前記コンピュータに、
   乗員撮像部が前記車両の乗員を撮像するステップと、
   姿勢判別部が前記乗員撮像部によって撮像された画像に基づいて、乗員の顔の向き、および、体勢または体勢の変化を判別するステップと、
   車両状態取得部が前記車両の状態または前記車両の周辺状態を表す信号を取得するステップと、
   車両状態判別部が前記車両状態取得部が取得した信号に基づいて、前記車両の状態または前記車両の周辺状態を判別するステップと、
   制御内容特定部が前記姿勢判別部および前記車両状態判別部の判別結果に基づいて、制御対象となる表示器と、当該表示器に表示させる表示内容の少なくとも何れか一方を特定するステップと、
   制御部が前記制御内容特定部によって特定された結果に基づいて前記制御対象となる前記表示器の表示変更をするステップと、を実行させる制御プログラム。

Images