JP7433188B2 - 撮像装置、移動体用ディスプレイ、および、ドライバモニタリングシステム - Google Patents

Description

本開示は、移動体に備えられる撮像装置、移動体用ディスプレイ、および、ドライバモニタリングシステムに関する。

いわゆるドライバモニタリングシステム（Ｄｒｉｖｅｒ Ｍｏｎｉｔｏｒｉｎｇ Ｓｙｓｔｅｍ，ＤＭＳ）において、運転者の状況を精度よく検知するためには、運転者を撮像する赤外線カメラが運転者の正面顔を撮像できるようになっていることが好ましい。
そのため、従来、赤外線カメラを運転者の正面に設置するようにした技術が知られている。例えば、特許文献１には、運転者の顔等を撮影可能なモニタ用赤外線カメラを含み、運転者の顔等と対向するように配置される車載撮影装置が開示されている。

特開２０１９－７７２８３号公報

運転者の正面は、運転者の視界、または、インストルメントパネルに設置されているメータ類の視認性等が確保されるようになっている必要がある。そのため、赤外線カメラを設置する場所は限られており、赤外線カメラが運転者の正面となる位置に設置できないことがある。
赤外線カメラが運転者の正面となる位置に設置されていない場合であっても、赤外線カメラが運転者の正面顔を撮像できるようにしなければならないという課題があった。

本開示は、上記のような課題を解決するためになされたもので、赤外線カメラが運転者の正面となる位置に設置されていない場合であっても、運転者の正面顔を撮像できるようにした撮像装置を提供することを目的とする。

本開示に係る撮像装置は、移動体の幅方向の中央部に設置される撮像装置であって、赤外線ＬＥＤと、可視光ＬＥＤと、赤外線ＬＥＤが発した赤外光を透過し、かつ、可視光ＬＥＤが発した可視光を遮光する可視光遮光部材と、可視光遮光部材に設けられ、可視光ＬＥＤが点灯することで可視化されるアイコンと、赤外線ＬＥＤからの赤外光を照明として用い、移動体の幅方向の中央部に設置された際に、アイコンに顔を向けた移動体の乗員の顔を撮像領域に含む赤外線カメラとを備えることを特徴とするものである。

本開示によれば、赤外線カメラが運転者の正面となる位置に設置されていない場合であっても、運転者の正面顔を撮像することができる。

実施の形態１に係る撮像装置の構成例について説明するための図であって、図１Ａは撮像装置を上面から見た構成の一例のイメージを示す図であり、図１Ｂは、図１ＡのＡ矢視図である。 実施の形態１において、撮像装置の設置位置の一例を説明するための図である。 赤外線カメラが撮像した撮像画像上の運転者の顔の一例のイメージを説明するための図であって、図３Ａは、赤外線カメラが運転者の正面顔を撮像した場合の、撮像画像上の運転者の顔の一例のイメージを示す図であり、図３Ｂは、赤外線カメラが運転者の横顔を撮像した場合の、撮像画像上の運転者の顔の一例のイメージを示す図であり、図３Ｃは、赤外線カメラが運転者の上向き顔を撮像した場合の、撮像画像上の運転者の顔の一例のイメージを示す図である。 実施の形態１において、撮像装置に備えられている赤外線カメラの設置位置と、運転席に着座した状態の運転者の顔向きと、赤外線カメラが撮像した運転者の顔との関係のイメージを説明するための図であって、図４Ａは、運転者が正面に顔を向けている場合の、赤外線カメラの設置位置と、運転者の顔向きと、赤外線カメラが撮像した運転者の顔との関係のイメージを説明する図であり、図４Ｂは、図４Ａに示す状態から、アイコンが可視化され運転者がアイコンを目視した場合の、赤外線カメラの設置位置と、運転者の顔向きと、赤外線カメラが撮像した運転者の顔との関係のイメージを説明する図である。 実施の形態１において、可視光ＬＥＤの点灯制御および消灯制御を行う制御装置の構成例を示す図である。 実施の形態１に係る制御装置の動作について説明するためのフローチャートである。 図７Ａ，図７Ｂは、実施の形態１に係る制御装置のハードウェア構成の一例を示す図である。 実施の形態１に係る撮像装置が一体化された移動体用ディスプレイの構成例のイメージを説明するための図である。

以下、本開示の実施の形態について、図面を参照しながら詳細に説明する。
実施の形態１．
実施の形態１に係る撮像装置は、移動体に搭載され、いわゆる「ドライバモニタリングシステム（Ｄｒｉｖｅｒ Ｍｏｎｉｔｏｒｉｎｇ Ｓｙｓｔｅｍ，ＤＭＳ）」にて、乗員の顔向き、または、乗員の視線等、乗員の状況を検知するために用いられる。実施の形態１では、移動体は「車両」とする。また、実施の形態１では、ドライバモニタリングシステム１００（後述の図５参照）において状況を検知する対象となる乗員は「運転者」とする。
ドライバモニタリングシステム１００は、撮像装置１（後述の図１参照）が車両の運転者を撮像した撮像画像に基づいて、運転者の状況を検知し、検知結果に基づいて、運転者に対して警告または情報提供を行う。運転者に対する警告とは、例えば、シートベルト未着用に対する警告、または、自動運転から手動運転への切替の際に運転者にハンドルを握らせるための警告である。運転者に提供する情報とは、例えば、右折等、経路を案内する情報、ルート変更要否を問合せる情報、休憩を勧めるための情報、または、道路標識を案内する情報である。
実施の形態１において、ドライバモニタリングシステム１００は、上述したような警告または情報提供を、アイコン１５１（後述の図１参照）を表示することで行う。

図１は、実施の形態１に係る撮像装置１の構成例について説明するための図である。
図１Ａは、撮像装置１が設置された状態で撮像装置１を上面から見た構成の一例のイメージを示す図であり、図１Ｂは、図１ＡのＡ矢視図である。なお、図１Ｂに示す撮像装置１は、撮像装置１が設置された状態で撮像装置１の正面側から見たイメージを示している。図１において、Ｚ軸の方向は、撮像装置１が車両に設置された状態で車両の進行方向とは反対の方向に相当する。図１において、Ｘ軸の方向は、撮像装置１が車両に設置された状態で車両の幅方向に相当する。図１において、Ｙ軸の方向は、撮像装置１が車両に設置された状態で車両の上下方向に相当する。

撮像装置１は、例えば、車両の幅方向の中央部に設置される。
ここで、図２は、実施の形態１において、撮像装置１の設置位置の一例を説明するための図である。
図２に示すように、撮像装置１は、例えば、インストルメントパネル（以下「インパネ」という。）の中央部の、エアコンのスイッチまたはカーナビゲーション装置等が取り付けられるセンタークラスターに設置される。
なお、実施の形態１において、車両の幅方向の中央とは、厳密に中央であることに限定されず、略中央を含む。また、実施の形態１において、撮像装置１が車両の幅方向において運転席の正面とならない場所に設置されることは、「撮像装置１が車両の幅方向の中央部に設置される」ことに含まれるものとする。

本来、撮像装置１は、当該撮像装置１の内部に備えられている赤外線カメラ１２（詳細は後述する）が運転席に着座している運転者の正面顔を撮像できるよう、運転席の正面に設置されることが好ましい。
図３は、赤外線カメラ１２が撮像した撮像画像上の運転者の顔の一例のイメージを説明するための図である。図３Ａは、赤外線カメラ１２が運転者の正面顔を撮像した場合の、撮像画像上の運転者の顔の一例のイメージを示す図であり、図３Ｂは、赤外線カメラ１２が運転者の横顔を撮像した場合の、撮像画像上の運転者の顔の一例のイメージを示す図であり、図３Ｃは、赤外線カメラ１２が運転者の正面上向き顔を撮像した場合の、撮像画像上の運転者の顔の一例のイメージを示す図である。

図３Ａに示すように、赤外線カメラ１２が運転者の正面顔を撮像した場合、撮像画像上で、運転者の目、鼻、または、口等の顔のパーツの状態が十分にわかるようになっている。なお、実施の形態１において、「正面顔」とは、顔が厳密に正面であることに限定されない。「正面顔」は、顔のパーツの状態が十分にわかるようになっている状態の顔であればよい。
一方、図３Ｂに示すように、赤外線カメラ１２が運転者の横顔を撮像した場合、例えば、撮像画像上で、赤外線カメラ１２から遠い方の運転者の目の状態が十分にわかるようになっていない。さらに、図３Ｃに示すように、赤外線カメラ１２が運転者の正面上向き顔を撮像した場合、例えば、撮像画像上で、運転者の両目とも、その状態が十分にわかるようになっていない。
ドライバモニタリングシステム１００において、視線の向き等、運転者の状況検知を精度よく行おうとすると、赤外線カメラ１２が撮像した撮像画像において、例えば図３Ａに示すように、運転者の顔のパーツが十分にわかるようになっている必要がある。
したがって、本来、撮像装置１は運転席の正面に設置され、赤外線カメラ１２が運転者の正面顔を撮像できるようになっていることが好ましい。

しかし、車両内において、運転者が運転席に着座した状態で正面となる領域（図２の２０１参照）は、運転中に運転者が正面を向いた状態で当該運転者の視界となる領域（図２の２０２参照）、または、メータ類が表示される領域（図２の２０３参照）を含んでおり、実質的に赤外線カメラ１２が設置可能な場所がない。
実施の形態１では、上述したような制約のため、撮像装置１は、インパネの中央部等、車両の幅方向において運転席の正面とならない場所に設定されていることを前提とする。

図１に戻り、実施の形態１に係る撮像装置１の構成例について、詳細に説明する。
図１に示すように、撮像装置１は筐体１１を有し、筐体１１の内部に、赤外線カメラ１２、赤外線ＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）１３、および、可視光ＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）１４を備える。赤外線ＬＥＤ１３および可視光ＬＥＤ１４は、基板１６に設けられる。
撮像装置１が設置された状態で、撮像装置１の筐体１１の正面となる面、言い換えれば、赤外線カメラ１２の撮像方向となる面は、可視光遮光部材１５で形成される。

赤外線ＬＥＤ１３は、赤外線カメラ１２の照明として用いられる照明部である。
赤外線カメラ１２は、赤外線ＬＥＤ１３からの赤外光を照明として用い、撮像装置１が車両の幅方向の中央部に設置された際に、運転席を含む領域を撮像可能となっている。

可視光遮光部材１５は、赤外線ＬＥＤ１３が発した赤外光を透過し、かつ、可視光ＬＥＤ１４が発した可視光を遮光する。ただし、可視光遮光部材１５にはアイコン１５１が設けられており、当該アイコン１５１部分は、可視光を透過できるようになっている。
例えば、可視光遮光部材１５は、透明の部材であって、アイコン１５１部分以外の部分に、赤外光を透過し可視光を遮光するＩＲ透過インキが塗布されている部材である。なお、赤外光の波長は、可視光の波長より長い。可視光遮光部材１５のアイコン１５１部分以外の部分は、赤外光より長い波長の光を透過させるＩＲ透過インキが塗布されることで、赤外光を透過しつつ、可視光を遮光するようになっている。
可視光遮光部材１５は、アイコン１５１部分もアイコン１５１以外の部分も赤外光は透過するため、可視光遮光部材１５による、赤外線カメラ１２の撮像への影響はない。
赤外線ＬＥＤ１３から発せられ運転者の顔等で反射、または、運転者の顔等から出射される赤外光の波長域の光は、Ｚ軸方向とは逆方向に向かい、可視光遮光部材１５を透過して赤外線カメラ１２の受光面に入射する。

実施の形態１において、アイコン１５１は、上述のとおり、運転者に対する警告、または、運転者に対する情報提供を行うためのものである。具体例を挙げると、アイコン１５１は、シートベルト着用サインアイコン、道路標識を案内するアイコン、ルート変更を許可するか否かを選択するためのアイコン、または、自動運転から手動運転への切替が必要になった場合に運転者にハンドルを握ることを警告するアイコン等である。なお、図１Ｂでは、アイコン１５１の一例として、道路標識を案内するアイコンを示している。
一般に、アイコン１５１は、アイコン用のモニタが設置されるメータクラスターまたはセンタークラスター等に表示されるように設けられる。これに対し、実施の形態１では、アイコン１５１を撮像装置１の筐体１１の一面である可視光遮光部材１５に設けるようにすることで、メータクラスターまたはセンタークラスター等にアイコン１５１を設ける必要がなくなり、例えば、メータクラスターまたはセンタークラスター等のためのスペースを縮小することができる。また、例えば、メータクラスターまたはセンタークラスター等にアイコン１５１を設ける必要がないため、メータクラスターまたはセンタークラスター等にて表示等される情報量が少なくなり、運転者は、メータクラスターまたはセンタークラスター等に表示等される情報を視認しやすくなる。

可視光ＬＥＤ１４は、アイコン１５１を表示させるための照明部である。可視光ＬＥＤ１４は、当該可視光ＬＥＤ１４が発した可視光が可視光遮光部材１５のアイコン１５１にあたるように配置される。
アイコン１５１は、可視光ＬＥＤ１４が点灯することで可視化される。
なお、可視光の波長は赤外光の波長よりも短いため、可視光ＬＥＤ１４から発せられる可視光による、赤外線ＬＥＤ１３および赤外線カメラ１２への影響はない。具体的には、例えば、可視光ＬＥＤ１４が点灯しても可視光は赤外線カメラ１２へ入光することがないため、赤外線カメラ１２は、可視光ＬＥＤ１４の点灯または消灯にかかわらず、同じ映像を撮像することができる。
可視光ＬＥＤ１４は、アイコン１５１を可視化させるタイミングで点灯される。
なお、赤外線ＬＥＤ１３は、赤外線カメラ１２の照明であるため、常時点灯している。しかし、赤外光は赤外領域の光であり、可視光ではないため、赤外線ＬＥＤ１３が点灯していても、アイコン１５１は可視化されない。すなわち、赤外線ＬＥＤ１３が点灯していても、運転者にはアイコン１５１は視認されない。

実施の形態１において、アイコン１５１は、可視光遮光部材１５において、赤外線カメラ１２と近い位置に設けられる。したがって、アイコン１５１を可視化させる可視光ＬＥＤ１４と赤外線カメラ１２とは、近い位置に設けられる。ただし、可視光ＬＥＤ１４は、当該可視光ＬＥＤ１４が点灯した場合に、当該可視光ＬＥＤ１４が発した可視光が赤外線カメラ１２に照射されない位置に設けられるようにする。可視光ＬＥＤ１４が点灯していることは赤外線カメラ１２の撮像には影響しないが、可視光ＬＥＤ１４が点灯した際の可視光が赤外線カメラ１２に照射されると、アイコン１５１を通して運転者から赤外線カメラ１２が視認されてしまうためである。
可視光遮光部材１５は、赤外光を透過させつつ可視光を遮光するため、赤外線カメラ１２、赤外線ＬＥＤ１３、および、可視光ＬＥＤ１４を目隠しすることができる。これによって、撮像装置１は、意匠性を向上させている。しかし、運転者から赤外線カメラ１２が視認されてしまうと、意匠性が損なわれる。

アイコン１５１が可視化されると、運転者は当該アイコン１５１を目視しようと、自然にアイコン１５１の方向に顔を向ける。
撮像装置１は、赤外線カメラ１２と近い位置にアイコン１５１を設けるようにすることで、アイコン１５１が可視化された際に、運転者に対して、赤外線カメラ１２の方向に顔を向けさせることができる。
赤外線カメラ１２は、撮像装置１が車両の幅方向の中央部に設置された際に、自然な流れでアイコン１５１に顔を向けた運転者の顔を撮像領域に含むようになっている。
その結果、撮像装置１において、赤外線カメラ１２は、運転者の正面顔を撮像することができる。

撮像装置１が、アイコン１５１が可視化された際に、運転者に対して顔を赤外線カメラ１２の方向に向けさせ、赤外線カメラ１２が運転者の正面顔を撮像するようにする仕組みについて、図面を用いて説明する。
図４は、実施の形態１において、撮像装置１に備えられている赤外線カメラ１２の設置位置と、運転席に着座した状態の運転者の顔向きと、赤外線カメラ１２が撮像した運転者の顔との関係のイメージを説明するための図である。図４において、赤外線カメラ１２と運転者の顔は、車両上方から見たイメージとしている。なお、図４では、説明の簡単のため、撮像装置１の構成部は、赤外線カメラ１２と可視光遮光部材１５とアイコン１５１のみ図示している。
図４Ａは、運転者が正面に顔を向けている場合の、赤外線カメラ１２の設置位置と、運転者の顔向きと、赤外線カメラ１２が撮像した運転者の顔との関係のイメージを説明する図であり、図４Ｂは、図４Ａに示す状態から、アイコン１５１が可視化され運転者がアイコン１５１を目視した場合の、赤外線カメラ１２の設置位置と、運転者の顔向きと、赤外線カメラ１２が撮像した運転者の顔との関係のイメージを説明する図である。なお、図４Ａでは、アイコン１５１は可視化されていないものとする。

今、赤外線カメラ１２は、車両の進行方向に向かって、運転席よりも左側に設置されている。
したがって、図４Ａに示すように、運転者が正面に顔を向けている場合、赤外線カメラ１２は、運転者の左側の横顔を撮像することになる。
図４Ａに示す状態から、アイコン１５１が可視化されると、図４Ｂに示すように、運転者はアイコン１５１を目視しようとアイコン１５１の方向に顔を向ける。運転者がアイコン１５１の方向に顔を向けると、赤外線カメラ１２は、運転者の正面顔を撮像することができる。

このように、撮像装置１は、当該撮像装置１の設置場所に関して、上述したように、運転者が運転席に着座した状態で正面となる領域に赤外線カメラ１２を設置できないという制約があったとしても、自然な流れで運転者が赤外線カメラ１２の方向に顔を向けるようにし（図４Ｂ参照）、赤外線カメラ１２が運転者の正面顔を撮像できるようにする。

なお、図１では、赤外線ＬＥＤ１３と可視光ＬＥＤ１４は、１つの基板１６に設けられるようにしている。しかし、これは一例に過ぎず、赤外線ＬＥＤ１３と可視光ＬＥＤ１４とは、それぞれ、異なる基板に設けられるようにしてもよい。
また、ここでは、赤外線ＬＥＤ１３と可視光ＬＥＤ１４とは隣接されるものとするが、これは一例に過ぎず、赤外線ＬＥＤ１３と可視光ＬＥＤ１４とが隣接されていることは必須ではない。

上述したように、可視光遮光部材１５は、赤外線ＬＥＤ１３を目隠しすることができる。しかし、可視光ＬＥＤ１４が点灯した場合に、当該可視光ＬＥＤ１４が発した可視光が赤外線ＬＥＤ１３に照射されると、アイコン１５１を通して運転者から赤外線ＬＥＤ１３が視認されてしまう。よって、可視光ＬＥＤ１４が発した可視光が赤外線ＬＥＤ１３に照射されないようになっていることが好ましい。可視光ＬＥＤ１４が発した可視光が赤外線ＬＥＤ１３に照射されにくいという意味では、赤外線ＬＥＤ１３と可視光ＬＥＤ１４とが隣接されていないほうがよい。

このように、実施の形態１において、撮像装置１は、赤外線ＬＥＤ１３が発した赤外光を透過し、かつ、可視光ＬＥＤ１４が発した可視光を遮光する可視光遮光部材１５に設けられ、可視光ＬＥＤ１４が点灯することで可視化されるアイコン１５１と、赤外線ＬＥＤ１３からの赤外光を照明として用い、撮像装置１が車両の幅方向の中央部に設置された際に、アイコン１５１に顔を向けた運転者の顔を撮像領域に含む赤外線カメラ１２とを備える。
これにより、撮像装置１は、自然な流れで運転者が赤外線カメラ１２の方向に顔を向けるようにすることができる。その結果、撮像装置１は、赤外線カメラ１２が運転者の正面となる位置に設置されていない場合であっても、運転者の正面顔を撮影できる。

なお、以上の実施の形態１では、可視光遮光部材１５に設けられるアイコン１５１は１つのみとしたが、これは一例に過ぎない。可視光遮光部材１５には複数のアイコン１５１が設けられるものとしてもよい。可視光遮光部材１５に設けられるアイコン１５１が複数ある場合、撮像装置１は、当該複数のアイコン１５１を可視化させるための可視光ＬＥＤ１４を複数備えるようにしてもよい。例えば、可視光遮光部材１５上で、可視光遮光部材１５側からみて赤外線カメラ１２よりも右側になる位置と左側になる位置とにそれぞれアイコン１５１が設けられるようにする場合、撮像装置１は、可視光遮光部材１５側からみて赤外線カメラ１２よりも右側になる位置と左側になる位置とにそれぞれ可視光ＬＥＤ１４を備えるようにしてもよい。

例えば、撮像装置１は、渋滞発生時にルート変更を行うか否かを運転者に選択させるためのアイコン１５１を表示させるとする。具体的には、例えば、撮像装置１は、ルート変更を行うことを許可するアイコン１５１である「○」と、ルート変更を行うことを許可しないアイコン１５１である「×」を表示させるとする。
このとき、ドライバモニタリングシステム１００では、赤外線カメラ１２が撮像した撮像画像に基づき、「○」と「×」の、いずれに視線を向けたかによって、運転者がルート変更を許可したかを判定する。具体的には、ドライバモニタリングシステム１００は、視線が向けられたほうのアイコン１５１を、選択されたアイコン１５１と判定する。ここで、赤外線カメラ１２が運転者の正面顔を撮像しないと、運転者の視線がどちらに向けられているかが正確に判定できない。これに対し、撮像装置１は、アイコン１５１を赤外線カメラ１２の近くに設けるようにし、自然な流れで運転者が赤外線カメラ１２の方向に顔を向けるようにすることができる。なお、ドライバモニタリングシステム１００は、運転者がルート変更を許可したと判定すると、その旨をカーナビゲーション装置に通知する。カーナビゲーション装置は、運転者に対して、変更後のルートを案内する。

また、ドライバモニタリングシステム１００は、例えば、赤外線カメラ１２が撮像した撮像画像に基づいて、運転者の状況として運転者の体調を判定し、体調がすぐれないと判定した場合に、運転者に対して休憩を勧める情報を出力する制御を行う。ドライバモニタリングシステム１００は、例えば、撮像画像から運転者の表情または視線のゆらぎを検出し、運転者の体調を判定する。ドライバモニタリングシステム１００は、例えば、運転者の視線のゆらぎを検出した場合、運転者は体調がすぐれないと判定する。
運転者の表情または視線のゆらぎを検出するためには、赤外線カメラ１２が運転者の正面顔を撮像していることが好ましい。これに対し、撮像装置１は、運転者がアイコンに視線を向けることで、自然な流れで運転者が赤外線カメラ１２の方向を向けるようにしている。これにより、撮像装置１は、赤外線カメラ１２が運転者の正面顔を撮像可能としている。そして、ドライバモニタリングシステム１００は、赤外線カメラ１２が運転者の正面顔を撮像した撮像画像に基づいて、運転者の状況、具体的には、体調を判定する。

このように、実施の形態１において、撮像装置１は、赤外線カメラ１２が運転者の正面となる位置に設置されていない場合であっても、運転者の正面顔を撮像できる。その結果、ドライバモニタリングシステム１００は、運転者の状況を精度よく検知できる。

実施の形態１に係るドライバモニタリングシステム１００において、撮像装置１の可視光ＬＥＤ１４の点灯制御および消灯制御は、制御装置が行う。
図５は、実施の形態１において、可視光ＬＥＤ１４の点灯制御および消灯制御を行う制御装置２の構成例を示す図である。なお、撮像装置１の各構成部については、図１を用いて説明済みであるため、図５では同じ符号を付して重複した説明を省略する。なお、図５において、アイコン１５１の図示は省略している。
撮像装置１と制御装置２とはネットワークを介して接続される。
制御装置２は、例えば、車両に搭載される。

制御装置２は、点灯制御部２１および消灯制御部２２を備える。
点灯制御部２１は、可視光ＬＥＤ１４の点灯制御を行う。具体的には、点灯制御部２１は、例えば、乗員監視装置（図示省略）またはカーナビゲーション装置（図示省略）等から、アイコン１５１の点灯を指示するアイコン点灯指示情報を受け付けた場合、可視光ＬＥＤ１４を点灯させる。アイコン１５１が複数存在する場合は、点灯制御部２１は、アイコン点灯指示情報に基づき、点灯させるアイコン１５１に対応する可視光ＬＥＤ１４を点灯させる。アイコン点灯指示情報には、点灯させるアイコン１５１を特定可能な情報が含まれる。また、どの可視光ＬＥＤ１４が、点灯することでどのアイコン１５１を可視化させるかは、予め決められている。

例えば、乗員監視装置は、運転者が運転席に乗り込んだ際、撮像装置１の赤外線カメラ１２から撮像画像を取得し、撮像画像に基づいて、運転者の状況を検知する。具体例を挙げると、乗員監視装置は、撮像画像に基づいて、運転者がシートベルトを着用しているか否かを検知する。乗員監視装置は、既知の画像認識技術を用いて、運転者がシートベルトを着用しているか否かを検知すればよい。乗員監視装置は、例えば、車両に設置されているバックルスイッチ、または、ハンドルに設置されている接触センサから取得したセンサ情報に基づいて、運転者の状況を検知するようにしてもよい。

乗員監視装置は、検知した運転者の状況に基づいて、運転者に対して警告または情報提供の必要があるか否かを判定する。乗員監視装置は、運転者に対して警告または情報提供の必要があると判定した場合、運転者に対して行う警告内容を示すアイコン１５１、または、運転者に対して提供する情報の内容を示すアイコン１５１の点灯を指示するアイコン点灯指示情報を、制御装置２に出力する。
上述の例でいうと、例えば、乗員監視装置は、運転者がシートベルトを着用していないと検知すれば、運転者に対してシートベルト未着用である旨の警告を行う必要があると判定する。そして、乗員監視装置は、シートベルト未着用である旨を示すアイコン１５１の点灯を指示するアイコン点灯指示情報を、制御装置２に出力する。
制御装置２の点灯制御部２１は、乗員監視装置から出力されたアイコン点灯指示情報を受け付ける。そして、点灯制御部２１は、シートベルト未着用である旨を示すアイコン１５１を表示するための可視光ＬＥＤ１４を点灯させる。
なお、上述したような、乗員監視装置の機能を、制御装置２が備えるようにしてもよい。

また、例えば、カーナビゲーション装置は、運転者に対してルート案内中、案内ルート上で渋滞が発生している場合、運転者に対して、ルート変更を許可するか否かを確認する必要があると判定する。カーナビゲーション装置は、運転者に対して、ルート変更を行うことを許可することを示すアイコン１５１である「○」、および、ルート変更を行うことを許可しないことを示すアイコン１５１である「×」の点灯を指示するアイコン点灯指示情報を、制御装置２に出力する。
制御装置２の点灯制御部２１は、カーナビゲーション装置から出力されたアイコン点灯指示情報を受け付ける。そして、点灯制御部２１は、「〇」および「×」のアイコン１５１を表示するための可視光ＬＥＤ１４を点灯させる。
なお、このとき、カーナビゲーション装置は、例えば、音声出力装置（図示省略）から、運転者に対して、渋滞が発生しているためルート変更を行うか否かを確認する音声を出力させる。運転者は、ルート変更を行うか否かを確認する音声が出力されると、「〇」または「×」の方向に視線を向けることで、ルート変更を許可するか否かを回答する。

消灯制御部２２は、点灯制御部２１が可視光ＬＥＤ１４を点灯させた後、可視光ＬＥＤ１４の消灯制御を行う。より詳細には、消灯制御部２２は、点灯制御部２１が可視光ＬＥＤ１４を点灯させた後、可視光ＬＥＤ１４を消灯するための条件（以下「消灯条件」という。）を満たした場合に可視光ＬＥＤ１４を消灯させる。
消灯制御部２２は、例えば、赤外線カメラ１２から撮像画像を取得し、赤外線カメラ１２が撮像した撮像画像に基づき、消灯条件を満たしたか否かを判定する。消灯制御部２２は、例えば、車両に設置されているバックルスイッチ、または、ハンドルに設置されている接触センサからセンサ情報を取得し、取得したセンサ情報に基づいて、消灯条件を満たしたか否かを判定してもよい。

消灯条件は、予め、適宜設定可能である。
具体例を挙げると、例えば、消灯制御部２２は、赤外線カメラ１２が撮像した撮像画像に基づき、運転者の視線がアイコン１５１の方向を向いたことを検知した場合に消灯条件を満たしたと判定する。消灯制御部２２は、既知の画像認識技術を用いて、運転者の視線がアイコン１５１の方向を向いたことを検知すればよい。なお、撮像装置１が設置された状態において、赤外線カメラ１２の設置位置、赤外線カメラ１２の画角、および、アイコン１５１の位置は予めわかっているので、消灯制御部２２は、撮像画像に基づいて運転者の視線がアイコン１５１の方向を向いたことを検知できる。

また、例えば、消灯制御部２２は、赤外線カメラ１２が撮像した撮像画像に基づき、運転者がアイコン１５１に手を伸ばしたことを検知した場合に消灯条件を満たしたと判定するようにてしてもよい。消灯制御部２２は、例えば、既知の画像認識技術を用いて、撮像画像上の影の形から、運転者がアイコン１５１に手を伸ばしたことを検知すればよい。例えば、運転者がアイコン１５１に手を伸ばすと、赤外線ＬＥＤ１３からの赤外光が遮光され、撮像画像上に影ができる。消灯制御部２２は、例えば、撮像画像上の影の形が、予め記憶されている、アイコン１５１に向かって伸ばされた手の形であれば、運転者がアイコン１５１に手を伸ばしたと検知する。

また、例えば、消灯制御部２２は、赤外線カメラ１２が撮像した撮像画像に基づき、運転者が可視光ＬＥＤ１４の消灯を指示するジェスチャを行った場合に消灯条件を満たしたと判定するようにしてもよい。消灯制御部２２は、例えば、既知の画像認識技術を用いて、運転者が可視光ＬＥＤ１４の消灯を指示するジェスチャを行ったか否かを判定すればよい。なお、可視光ＬＥＤ１４の消灯を指示するジェスチャ、言い換えれば、アイコン１５１の可視化を中止するジェスチャは、予め決められているものとする。具体例を挙げると、可視光ＬＥＤ１４の消灯を指示するジェスチャは、例えば、パーまたはグー等、手を特定の形にするジェスチャ、または、赤外線カメラ１２の方向に手を向けるジェスチャである。

また、例えば、消灯制御部２２は、赤外線カメラ１２が撮像した撮像画像に基づき、運転者がアイコン１５１に対応する動作を行った場合に消灯条件を満たしたと判定するようにしてもよい。消灯制御部２２は、例えば、既知の画像認識技術を用いて、運転者がアイコン１５１に対応する動作を行ったか否かを判定すればよい。アイコン１５１に対応する動作は、予め決められているものとする。具体例を挙げると、例えば、アイコン１５１が自動運転から手動運転への切り替え時に運転者に対してハンドルを握ることを警告するアイコン１５１である場合、アイコン１５１に対応する動作は、ハンドルを握るという動作である。また、例えば、アイコン１５１がシートベルトの未着用を警告するアイコン１５１である場合、アイコン１５１に対応する動作は、シートベルトを着用する動作である。

また、例えば、消灯制御部２２は、車両に設置されているセンサから取得したセンサ情報に基づき、消灯条件を満たしたか否かを判定するようにしてもよい。
具体的には、例えば、消灯制御部２２は、上述の、運転者がアイコン１５１に対応する動作を行ったか否かの判定を、センサ情報に基づいて判定するようにしてもよい。例えば、消灯制御部２２は、ハンドルに設置されている接触センサから取得したセンサ情報に基づいて、運転者がハンドルを握ったか否かを判定する。また、例えば、消灯制御部２２は、バックルスイッチから取得したセンサ情報に基づいて、運転者がシートベルトを着用したか否かを判定する。

なお、アイコン１５１が複数ある場合、消灯制御部２２は、可視化されているアイコン１５１であって、かつ、消灯条件を満たしたと判定したアイコン１５１を可視化させている可視光ＬＥＤ１４を消灯させる。

図６は、実施の形態１に係る制御装置２の動作を説明するためのフローチャートである。
点灯制御部２１は、可視光ＬＥＤ１４の点灯制御を行う（ステップＳＴ６０１）。
消灯制御部２２は、ステップＳＴ６０１にて点灯制御部２１が可視光ＬＥＤ１４を点灯させた後、可視光ＬＥＤ１４の消灯制御を行う（ステップＳＴ６０２）。より詳細には、消灯制御部２２は、点灯制御部２１が可視光ＬＥＤ１４を点灯させた後、消灯条件を満たしたと判定した場合に可視光ＬＥＤ１４を消灯させる。

このように、制御装置２は、可視光ＬＥＤ１４を点灯させ、その後、当該可視光ＬＥＤ１４の点灯が必要なくなった場合には、当該可視光ＬＥＤ１４を消灯させる。
制御装置２が可視光ＬＥＤ１４を消灯させるため、ドライバモニタリングシステム１００において、アイコン１５１の可視化を停止させる、言い換えれば、警告状態を解除するためのハードスイッチ等を設ける必要がない。

図７Ａ，図７Ｂは、実施の形態１に係る制御装置２のハードウェア構成の一例を示す図である。
実施の形態１において、点灯制御部２１と消灯制御部２２の機能は、処理回路７０１により実現される。すなわち、制御装置２は、撮像装置１が備える可視光ＬＥＤ１４の点灯および消灯を制御するための処理回路７０１を備える。
処理回路７０１は、図７Ａに示すように専用のハードウェアであっても、図７Ｂに示すようにメモリ７０５に格納されるプログラムを実行するＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）７０４であってもよい。

処理回路７０１が専用のハードウェアである場合、処理回路７０１は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、またはこれらを組み合わせたものが該当する。

処理回路７０１がＣＰＵ７０４の場合、点灯制御部２１と消灯制御部２２の機能は、ソフトウェア、ファームウェア、または、ソフトウェアとファームウェアとの組み合わせにより実現される。ソフトウェアまたはファームウェアは、プログラムとして記述され、メモリ７０５に記憶される。処理回路７０１は、メモリ７０５に記憶されたプログラムを読み出して実行することにより、点灯制御部２１と消灯制御部２２の機能を実行する。すなわち、制御装置２は、処理回路７０１により実行されるときに、上述の図６のステップＳＴ６０１～ステップＳＴ６０２が結果的に実行されることになるプログラムを格納するためのメモリ７０５を備える。また、メモリ７０５に記憶されたプログラムは、点灯制御部２１と消灯制御部２２の手順または方法をコンピュータに実行させるものであるとも言える。ここで、メモリ７０５とは、例えば、ＲＡＭ、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、フラッシュメモリ、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ）等の、不揮発性もしくは揮発性の半導体メモリ、または、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）等が該当する。

なお、点灯制御部２１と消灯制御部２２の機能について、一部を専用のハードウェアで実現し、一部をソフトウェアまたはファームウェアで実現するようにしてもよい。例えば、点灯制御部２１については専用のハードウェアとしての処理回路７０１でその機能を実現し、消灯制御部２２については処理回路７０１がメモリ７０５に格納されたプログラムを読み出して実行することによってその機能を実現することが可能である。
また、制御装置２は、撮像装置１等の装置と、有線通信または無線通信を行う入力インタフェース装置７０２および出力インタフェース装置７０３を備える。

以上の実施の形態１では、制御装置２は、車両に搭載される車載装置とし、点灯制御部２１と消灯制御部２２とは、制御装置２に備えられているものとした。
これに限らず、点灯制御部２１と消灯制御部２２のうち、一部または全部を車両の車載装置に搭載されるものとし、その他を当該車載装置とネットワークを介して接続されるサーバに備えられるものとして、車載装置とサーバとでドライバモニタリングシステム１００を構成するようにしてもよい。

また、以上の実施の形態１では、撮像装置１は、単体で移動体に設置されるものとしたが、これは一例に過ぎない。例えば、撮像装置１は、移動体用ディスプレイと一体化されていてもよい。移動体用ディスプレイとは、例えば、カーナビゲーション装置が備えるディスプレイである。
図８は、実施の形態１に係る撮像装置１が一体化された移動体用ディスプレイ３の構成例のイメージを説明するための図である。
撮像装置１は、移動体用ディスプレイ３と一体化され、移動体用ディスプレイ３が備える操作パネル３１が、可視光遮光部材１５を兼ねる。そして、操作パネル３１にアイコン１５１が設けられる。
図８では、一例として、シートベルト未着用である旨を警告するアイコン１５１と、道路標識を案内するアイコン１５１とが、操作パネル３１に設けられているものとしている。
移動体用ディスプレイ３の内部には赤外線カメラ１２と、当該赤外線カメラ１２の照明用の赤外線ＬＥＤ１３（図８では図示省略）と、アイコン１５１を可視化させるための可視光ＬＥＤ１４（図８では図示省略）とが備えられる。可視光ＬＥＤ１４が点灯し、アイコン１５１が可視化されると、運転者はアイコン１５１を目視する。これにより、赤外線カメラ１２は、自然なかたちで運転者の正面顔を撮像可能となる。

また、以上の実施の形態１では、ドライバモニタリングシステム１００において状況を検知する対象となる乗員は運転者としたが、これは一例に過ぎない。例えば、ドライバモニタリングシステム１００において状況を検知する対象となる乗員は、運転者のみならず、運転者以外の車両の乗員も含むものとしてもよい。
この場合、撮像装置１が車両の幅方向の中央部に設置された際、赤外線カメラ１２は、座席に着座した状態の、運転者以外の乗員の顔を含む領域を、撮像領域に含むものとする。例えば、運転者以外の乗員を助手席の乗員とすると、撮像装置１は、自然な流れで助手席の乗員が赤外線カメラ１２の方向に顔を向けるようにすることができる。その結果、赤外線カメラ１２は、助手席の乗員の正面顔を撮像することができる。

また、以上の実施の形態１では、移動体は車両としたが、これは一例に過ぎない。移動体は、例えば、電車、船舶、または、航空機等を含む。

以上のように、実施の形態１に係る撮像装置１は、赤外線ＬＥＤ１３と、可視光ＬＥＤ１４と、赤外線ＬＥＤ１３が発した赤外光を透過し、かつ、可視光ＬＥＤ１４が発した可視光を遮光する可視光遮光部材１５と、可視光遮光部材１５に設けられ、可視光ＬＥＤ１４が点灯することで可視化されるアイコン１５１と、赤外線ＬＥＤ１３からの赤外光を照明として用い、移動体の幅方向の中央部に設置された際に、アイコン１５１に顔を向けた移動体の乗員の顔を撮像領域に含む赤外線カメラ１２とを備えるように構成した。そのため、撮像装置１は、赤外線カメラ１２が運転者の正面となる位置に設置されていない場合であっても、運転者の正面顔を撮影することができる。

また、実施の形態１に係る撮像装置１において、可視光ＬＥＤ１４は、点灯した場合に、可視光ＬＥＤ１４が発した可視光が赤外線カメラ１２に照射されない位置に設けられる。そのため、撮像装置１は、可視光ＬＥＤ１４が点灯しても赤外線カメラ１２を目隠し、意匠性を向上させることができる。

なお、本開示は、実施の形態の任意の構成要素の変形、もしくは実施の形態の任意の構成要素の省略が可能である。

１ 撮像装置、１２ 赤外線カメラ、１３ 赤外線ＬＥＤ、１４ 可視光ＬＥＤ、１５可視光遮光部材、１５１ アイコン、１６ 基板、２ 制御装置、２１ 点灯制御部、２２ 消灯制御部、１００ ドライバモニタリングシステム、３ 移動体用ディスプレイ、３１ 操作パネル、７０１ 処理回路、７０２ 入力インタフェース装置、７０３ 出力インタフェース装置、７０４ ＣＰＵ、７０５ メモリ。

Claims (11)

1. 移動体の幅方向の中央部に設置される撮像装置であって、
   赤外線ＬＥＤと、
   可視光ＬＥＤと、
   前記赤外線ＬＥＤが発した赤外光を透過し、かつ、前記可視光ＬＥＤが発した可視光を遮光する可視光遮光部材と、
   前記可視光遮光部材に設けられ、前記可視光ＬＥＤが点灯することで可視化されるアイコンと、
   前記赤外線ＬＥＤからの前記赤外光を照明として用い、前記移動体の前記幅方向の前記中央部に設置された際に、前記アイコンに顔を向けた前記移動体の乗員の顔を撮像領域に含む赤外線カメラ
   とを備えた撮像装置。
2. 前記可視光ＬＥＤは、
   点灯した場合に、前記可視光ＬＥＤが発した前記可視光が前記赤外線カメラに照射されない位置に設けられる
   ことを特徴とする請求項１記載の撮像装置。
3. 請求項１または請求項２記載の撮像装置を備えた
   ことを特徴とする移動体用ディスプレイ。
4. 請求項１または請求項２記載の撮像装置と、
   前記可視光ＬＥＤを点灯させる点灯制御部と、
   前記点灯制御部が前記可視光ＬＥＤを点灯させた後、消灯条件を満たした場合に前記可視光ＬＥＤを消灯させる消灯制御部とを有する制御装置
   とを備えたドライバモニタリングシステム。
5. 前記消灯制御部は、
   前記赤外線カメラが撮像した撮像画像に基づき、前記消灯条件を満たしたか否かを判定する
   ことを特徴とする請求項４記載のドライバモニタリングシステム。
6. 前記消灯制御部は、
   前記赤外線カメラが撮像した撮像画像に基づき、運転者の視線が前記アイコンの方向を向いたことを検知した場合に前記消灯条件を満たしたと判定する
   ことを特徴とする請求項５記載のドライバモニタリングシステム。
7. 前記消灯制御部は、
   前記赤外線カメラが撮像した撮像画像に基づき、運転者が前記アイコンに手を伸ばしたことを検知した場合に前記消灯条件を満たしたと判定する
   ことを特徴とする請求項５記載のドライバモニタリングシステム。
8. 前記消灯制御部は、
   前記赤外線カメラが撮像した撮像画像に基づき、運転者が前記可視光ＬＥＤの消灯を指示するジェスチャを行った場合に前記消灯条件を満たしたと判定する
   ことを特徴とする請求項５記載のドライバモニタリングシステム。
9. 前記消灯制御部は、
   前記赤外線カメラが撮像した撮像画像に基づき、運転者が前記アイコンに対応する動作を行った場合に前記消灯条件を満たしたと判定する
   ことを特徴とする請求項５記載のドライバモニタリングシステム。
10. 前記消灯制御部は、
    前記移動体に設置されているセンサから取得したセンサ情報に基づき、前記消灯条件を満たしたか否かを判定する
    ことを特徴とする請求項４記載のドライバモニタリングシステム。
11. 前記消灯制御部は、
    前記センサ情報に基づき、運転者が前記アイコンに対応する動作を行った場合に前記消灯条件を満たしたと判定する
    ことを特徴とする請求項１０記載のドライバモニタリングシステム。

Images