JP7258262B2 - 調整装置、調整システム、表示装置、乗員監視装置、および、調整方法 - Google Patents

Description

本開示は、角度が可変な表示装置に搭載され当該表示装置の角度にあわせて撮像方向が変わる撮像装置によって車室内が撮像された撮像画像上で設定されている車室内の乗員を検知するための探索領域を調整する調整装置、調整システム、表示装置、乗員監視装置、および、調整方法に関する。

従来、車室内の複数の乗員を撮像可能な撮像装置によって撮像された撮像画像上で、乗員が含まれると想定される領域を設定し、当該領域内で検出された乗員を、車両の乗員と判定する技術が知られている（例えば、特許文献１）。
一方、車室内を撮像する撮像装置として、省スペース等の観点から、表示装置に搭載され当該表示装置と一体化された撮像装置が知られている。

国際公開第２０１８／１１６３７３号

撮像装置を搭載した表示装置について、当該表示装置の角度が可変である場合、当該表示装置に角度にあわせて撮像装置の撮像方向が変わる。特許文献１に開示されているような従来技術を、角度を可変とする表示装置に搭載されている撮像装置に適用しようとすると、表示装置の角度にあわせて撮像装置の撮像方向が変わることに伴って撮像範囲も変更され、乗員が含まれると想定される領域において乗員が検出されなくなる場合があるという課題があった。

本開示は、上記のような課題を解決するためになされたもので、角度が可変な表示装置の角度にあわせて撮像方向が変わる撮像装置によって撮像された撮像画像上において、車室内の乗員が含まれると想定される領域において乗員が検出されなくなることを低減することができる調整装置を提供することを目的とする。

本開示に係る調整装置は、角度が可変な表示装置に搭載され当該表示装置の角度にあわせて撮像方向が変わる撮像装置によって車室内が撮像された撮像画像上で設定されている車室内の乗員を検知するための探索領域を調整する調整装置であって、表示装置の角度が変更されたことを検知する角度変更検知部と、角度変更検知部が、表示装置の角度が変更されたことを検知すると、表示装置の角度の変更量に基づき、探索領域を移動させる探索領域調整部と、表示装置に太陽光が反射していている場合に、表示装置への太陽光の入射方向を判定する入射方向判定部と、入射方向判定部が判定した入射方向に基づき、表示装置の角度を変更する角度変更部とを備えたものである。

本開示によれば、調整装置は、角度が可変な表示装置の角度にあわせて撮像方向が変わる撮像装置によって撮像された撮像画像上において、車室内の乗員が含まれると想定される領域において乗員が検出されなくなることを低減することができる。

図１は、実施の形態１に係る調整装置および乗員監視装置の構成例を示す図である。 実施の形態１における表示装置の設置位置の一例のイメージについて説明するための図である。 図２に示すように、表示装置が設置されている場合における、撮像装置の撮像範囲のイメージの一例を説明するための図である。 実施の形態１において、撮像装置の撮像範囲が図３で示されたような範囲である場合に、撮像装置が撮像した撮像画像のイメージの一例を説明するための図である。 図２に示すように表示装置が設置されている状態から、当該表示装置が運転席側に向くよう、当該表示装置の角度が所定の角度だけ変更された場合の、撮像装置の撮像範囲のイメージの一例を説明するための図である。 撮像装置の撮像範囲が図５で示されたような範囲である場合に、撮像装置が撮像した撮像画像のイメージの一例を説明するための図である。 図５に示したように表示装置が運転席側を向くよう表示装置の角度が変更された場合に、探索領域調整部が撮像画像上の顔探索領域を移動させた後の撮像画像のイメージの一例を説明するための図である。 、実施の形態１において、表示装置の角度が様々な方向に変更された場合の、当該表示装置の向きと、当該表示装置の角度の変更にあわせて移動した顔探索領域の一例のイメージを説明するための図である。 実施の形態１に係る調整装置の動作について説明するためのフローチャートである。 実施の形態１に係る乗員監視装置の動作について説明するためのフローチャートである。 実施の形態１において、撮像画像上において設定されている乗員探索領域のイメージの一例について説明するための図である。 図１２Ａ，図１２Ｂは、実施の形態１に係る調整装置のハードウェア構成の一例を示す図である。 実施の形態２に係る調整装置の構成例を示す図である。 実施の形態２に係る調整装置の動作について説明するためのフローチャートである。 実施の形態３に係る調整装置の構成例を示す図である。 実施の形態３に係る調整装置の動作について説明するためのフローチャートである。 実施の形態４に係る調整装置の構成例を示す図である。 実施の形態４に係る調整装置の動作について説明するためのフローチャートである。

以下、本開示の実施の形態について、図面を参照しながら詳細に説明する。
実施の形態１．
実施の形態１に係る調整装置は、角度が可変な表示装置の角度にあわせて撮像方向が変わる撮像装置が車室内を撮像した撮像画像上で予め設定されている、車両の乗員が含まれていると想定される領域（以下「探索領域」という。）を調整する。
実施の形態１では、探索領域は、より詳細には、車両の乗員の顔が含まれていると想定されている領域（以下「顔探索領域」という。）とする。顔探索領域の詳細については、後述する。なお、実施の形態１において、車両の乗員は、運転者、助手席の乗員、および、後部座席の乗員を含む。

実施の形態１において、撮像装置は、広角カメラ等で構成され、車室内の複数の乗員を同時に撮像可能な位置に設置される。撮像装置は、例えば、可視光カメラであってもよいし、赤外線カメラであってもよい。撮像装置は、例えば、いわゆる「ドライバーモニタリングシステム（Ｄｒｉｖｅｒ Ｍｏｎｉｔｏｒｉｎｇ Ｓｙｓｔｅｍ，ＤＭＳ）」と共用のものであってもよい。撮像装置は、車室内の乗員をモニタリングする。
また、実施の形態１において、撮像装置は、角度が可変な表示装置に搭載され、当該表示装置の角度にあわせて撮像方向が変わることを前提とする。
表示装置は、タッチパネル式ディスプレイ等であり、例えば、ナビゲーション装置に搭載される。なお、撮像装置が表示装置に搭載され、撮像装置と表示装置とが一体化されていることで、回路、機構、または、電気等の部品を一部共有化できる、または、車室内を省スペース化できるという効果がある。

表示装置の角度は、様々な方向に可変である。これにより、乗員は、例えば、当該乗員にとって視認しやすい向きに表示装置の角度を変更することができる。なお、実施の形態１において、「表示装置の角度」とは、表示装置の設置面に対する当該表示装置の角度をいう。表示装置は、例えば、縦方向および横方向に表示装置を回転可能な回転機構を有しており、当該回転機構により、表示装置の角度が可変となっている。このように、表示装置の角度は様々に可変であるが、車両の幅方向、あるいは、車両の進行方向に対して前後方向等、表示装置の設置位置が可変であることは想定していない。
表示装置の角度が変更されると、当該表示装置の角度の変更に伴い、撮像装置の光軸の向きも、表示装置の角度の変更量の分だけ変更される。すなわち、表示装置の向きが変更されることに伴い、撮像装置の撮像方向が変更され、撮像範囲が変わる。なお、撮像装置の画角が変わるものではない。
調整装置は、表示装置の角度が変更された場合、これを検知し、表示装置の角度の変更量に基づいて、撮像画像上における顔探索領域を移動させる。調整装置は、顔探索領域を移動させた場合、移動後の顔探索領域に関する情報を、乗員の状態を監視している乗員監視装置に出力する。

ここで、顔探索領域について、詳細に説明する。
顔探索領域は、乗員監視装置が乗員の監視を行う際に用いられる。
顔探索領域には、予め、様々な体格の乗員が様々なシート状態で座った場合でも乗員の顔が位置すると想定される領域が設定されている。
具体的には、例えば、管理者等は、予め、種々の体格の人物に対して、それぞれ、異なるシート状態の運転席に着座させ、初期位置に設置された撮像装置が車室内を撮像するテストを行う。そして、撮像装置が撮像した撮像画像上で、全ての人物の顔を検出可能な領域を、運転者の顔探索領域に設定する。例えば、管理者等は、撮像画像上において各人物の顔が撮像されている領域を抽出する。このとき、管理者等は、撮像画像上で、各人物の顔が撮像されている領域を囲む矩形領域を設定する。そして、管理者等は、設定した全ての矩形領域を含む最小矩形領域を設定し、設定した最小矩形領域を、運転者の顔探索領域とする。顔探索領域は、例えば、矩形の各頂点の撮像画像上の座標であらわされる。
なお、上述の例では、運転者の顔探索領域について説明したが、例えば、運転者の顔が含まれると想定される顔探索領域、助手席の乗員の顔が含まれると想定される顔探索領域、および、後部座席の乗員の顔が含まれると想定される顔探索領域がそれぞれ設定されている。
なお、実施の形態１では、顔探索領域は矩形領域とするが、顔探索領域は矩形領域に限らず、適宜の形状の領域とすることができる。

乗員監視装置は、車両に搭載され、撮像装置が撮像した撮像画像に基づいて、乗員の顔を検出し、検出した乗員の顔に関する情報に基づいて乗員の状態を監視する。乗員の顔に関する情報に基づいて監視する乗員の状態は、例えば、乗員が居眠りをしている状態、または、わき見している状態である。
乗員監視装置は、乗員の状態を監視する際、撮像画像上の全域ではなく、撮像画像上の顔探索領域に対して乗員の顔の検出処理を行う。撮像画像上に顔探索領域が設定されていることで、乗員監視装置は、乗員の顔を探索する時間を短縮することができる。

実施の形態１に係る調整装置および乗員監視装置の構成例について説明する。
図１は、実施の形態１に係る調整装置１および乗員監視装置３の構成例を示す図である。
調整装置１は、撮像装置２１、当該撮像装置２１を搭載する表示装置２、および、乗員監視装置３と接続される。
また、乗員監視装置３は、撮像装置２１、および、当該撮像装置２１を搭載する表示装置２と接続される。
上述のとおり、調整装置１、表示装置２、および、乗員監視装置３は、車両（図示省略）に搭載されていることを想定している。
調整装置１と表示装置２と乗員監視装置３とで調整システム１００が構成される。

調整装置１は、角度変更検知部１１および探索領域調整部１２を備える。
角度変更検知部１１は、表示装置２の角度が変更されたことを検知する。
具体的には、例えば、角度変更検知部１１は、表示装置２が備えている角度検知センサ（図示省略）から表示装置２の角度に関する情報（以下「角度情報」という。）を常時取得し、取得している角度情報に基づいて、表示装置２の角度が変更されたことを検知する。また、例えば、角度変更検知部１１は、表示装置２が備えているステッピングモータ（図示省略）からパルス信号を取得し、取得したパルス信号から、表示装置２の角度が変更されたことを検知してもよい。また、例えば、角度変更検知部１１は、撮像装置２１が撮像した撮像画像を常時取得し、撮像画像に撮像されている構造物をターゲットとして、当該構造物が何ピクセル移動したかを算出して、表示装置２の角度が変更されたことを検知してもよい。ターゲットとなる構造物は、例えば、Ｂピラーのエッジ部またはルーフの構造物である。どの構造物をターゲットとなる構造物とするかは、予め決められている。角度変更検知部１１は、撮像画像に対して既知の画像認識技術を用いて、ターゲットとなる構造物を特定すればよい。

角度変更検知部１１は、表示装置２の角度が変更されたことを検知した場合、表示装置２の角度の変更量（以下「角度変更量」という。）を取得する。角度変更量は、表示装置２の角度がどの方向にどれぐらい変更されたかを示す情報である。
角度変更検知部１１は、角度変更量を、上記角度情報または上記パルス信号から取得すればよい。また、角度変更検知部１１は、撮像画像上で、ターゲットとなる構造物が何ピクセル移動したかを算出することで、角度変更量を取得してもよい。なお、撮像画像上で、ターゲットとなる構造物がどの方向に何ピクセル移動したとき、表示装置２の角度がどの方向にどれぐらい変更されたとするかが対応付けられた情報が、予め設定されているものとする。

角度変更検知部１１は、表示装置２の角度が変更されたことを検知した場合、表示装置２の角度が変更された旨の情報（以下「角度変更情報」という。）を、探索領域調整部１２に出力する。角度変更情報には、角度変更量に関する情報が含まれる。

探索領域調整部１２は、角度変更検知部１１が、表示装置２の角度が変更されたことを検知すると、言い換えれば、角度変更検知部１１から角度変更情報が出力されると、角度変更量に基づき、撮像画像上の顔探索領域を移動させる。
なお、表示装置２がどの方向にどれぐらい変更された場合に、撮像画像上で顔探索領域をどの方向にどれぐらい移動させるかは、予め決められている。
探索領域調整部１２は、移動させた後の顔探索領域に関する情報（以下「移動後探索領域情報」という。）を、乗員監視装置３に出力する。

ここで、調整装置１における角度変更検知部１１および探索領域調整部１２の機能について、図２～図６を用いて具体例を挙げて説明する。

まず、表示装置２の車室内における設置例について説明する。
図２は、実施の形態１における表示装置２の設置位置の一例のイメージについて説明するための図である。
図２に示すように、表示装置２は、例えば、車両のインストルメントパネル（以下「インパネ」という。）において、車両の幅方向の中央に設置される。なお、実施の形態１において、車両の幅方向の中央とは厳密に中央である必要はなく、「中央」は「略中央」も含む。
図２に示す表示装置２の設置位置は一例に過ぎず、表示装置２は、当該表示装置２に搭載されている撮像装置２１が、車両の複数の乗員を撮像可能な位置に設置されるようになっていればよい。
図２において、表示装置２の設置位置は初期状態としている。ここでは、表示装置２の設置位置が初期状態である場合、表示装置２の設置面、言い換えれば、インパネの表面に対する表示装置２の角度は０度とする。

図３は、図２に示すように、表示装置２が設置されている場合における、撮像装置２１の撮像範囲のイメージの一例を説明するための図である。なお、図３は、車両の前部座席を上から見たイメージとしている。
図３では、撮像装置２１の撮像範囲には、車両の前部座席、言い換えれば、運転席および助手席が含まれるものとしている。
図３において、撮像装置２１の撮像範囲は、４０１で示している。また、図３において、運転席を４０２ａで示し、当該運転席４０２ａに着座している運転者を４０２で示している。また、助手席を４０３ａで示し、当該助手席４０３ａに着座している乗員を４０３で示している。

図４は、実施の形態１において、撮像装置２１の撮像範囲４０１が図３で示されたような範囲である場合に、撮像装置２１が撮像した撮像画像のイメージの一例を説明するための図である。
図４において、撮像画像を２００で示している。
図４に示すように、撮像画像２００において、運転者４０２および助手席の乗員４０３が撮像される。なお、図４では、車両は右ハンドル車としているが、これは一例に過ぎず、車両は左ハンドル車であってもよい。
図４では、撮像画像２００において、当該撮像画像２００上で設定されている顔探索領域４０４，４０５をあわせて図示するようにしている。
顔探索領域４０４は、撮像画像２００上における、運転者４０２の顔探索領域であり、顔探索領域４０５は、撮像画像２００上における、助手席の乗員４０３の顔探索領域である。

例えば、図２に示すように表示装置２が設置された状態から、当該表示装置２の角度が変更されたとする。
図５は、図２に示すように表示装置２が設置されている状態から、当該表示装置２が運転席４０２ａ側に向くよう、当該表示装置２の角度が所定の角度だけ変更された場合の、撮像装置２１の撮像範囲４０１のイメージの一例を説明するための図である。なお、図５は、図３同様、車両の前部座席を上から見たイメージとしている。
図５において、例えば、表示装置２は、運転席４０２ａ側に向くよう、表示装置２が備える回転機構の縦方向の軸を中心に４５度回転されたものとしている。

そうすると、角度変更検知部１１は、表示装置２の角度が、運転席４０２ａ側に向くよう、回転機構の縦方向の軸を中心に４５度、変更されたことを検知する。
そして、角度変更検知部１１は、表示装置２の角度が、運転席４０２ａ側に向くよう、水平方向に４５度変更された旨の角度変更情報を、探索領域調整部１２に出力する。

図５に示すように、表示装置２が運転席４０２ａ側に向くよう表示装置２の角度が変更されたことにより、撮像装置２１の撮像範囲４０１も変更され、助手席４０３ａの乗員４０３の顔の一部が撮像範囲４０１外となる。
図６は、撮像装置２１の撮像範囲４０１が図５で示されたような範囲である場合に、撮像装置２１が撮像した撮像画像２００のイメージの一例を説明するための図である。
図６では、図４同様、撮像画像を２００で示している。
図６に示すように、撮像範囲４０１が変更されたことに伴い、撮像画像２００上の、運転者４０２および助手席４０３ａの乗員４０３の顔の位置が変わる。具体的には、撮像画像２００上の、運転者４０２および助手席４０３ａの乗員４０３の顔の位置は、図６上、右方向に移動する。
その結果、運転者４０２の顔の領域は、撮像範囲４０１上で設定されている運転者４０２の顔探索領域４０４に含まれなくなり、助手席４０３ａの乗員４０３の顔の領域は、撮像範囲４０１上で設定されている助手席４０３ａの乗員４０３の顔探索領域４０５に含まれなくなってしまう。

そこで、探索領域調整部１２は、角度変更量に基づき、撮像画像上の顔探索領域を移動させる。
図７は、図５に示したように表示装置２が運転席側を向くよう表示装置２の角度が変更された場合に、探索領域調整部１２が撮像画像２００上の顔探索領域を移動させた後の撮像画像２００のイメージの一例を説明するための図である。
図７に示すように、探索領域調整部１２は、角度変更量に応じて、顔探索領域４０４，４０５を、図７上、右方向に移動させる。
これにより、運転者４０２の顔の領域は、撮像画像上で設定されている運転者の顔探索領域４０４に含まれ、助手席４０３ａの乗員４０３の顔の領域は、撮像画像上で設定されている助手席４０３ａの乗員４０３の顔探索領域４０５に含まれるようになる。

なお、上述の具体例では、表示装置２が運転席側を向くよう、表示装置２の角度が運転席側に向けて変更されるものとしたが、表示装置２の角度が変更される方向はこれに限らない。表示装置２の角度は、様々な方向に変更可能である。調整装置１は、表示装置２の角度の変更にあわせて、撮像画像上で、様々な方向に、顔探索領域を移動させる。

図８は、実施の形態１において、表示装置２の角度が様々な方向に変更された場合の、当該表示装置２の向きと、当該表示装置２の角度の変更にあわせて移動した顔探索領域の一例のイメージを説明するための図である。

図８上、左側の図は、表示装置２の角度が様々な方向に変更された場合の、当該表示装置２の向きの一例のイメージを示す図であり、図８上、右側の図は、表示装置２の角度の変更にあわせて移動した顔探索領域の一例のイメージを示す図である。なお、図８上、左側の図では、撮像範囲には運転者および助手席の乗員が含まれるようになっているが、説明の便宜上、右側の図では、乗員が１人のみ撮像された撮像画像のイメージとしている。

図８上、左側の図に示すように、表示装置２の角度は、例えば、縦方向と横方向の２軸で表現される。図８上、左側の図において、８１および８２は、横方向の軸を回転軸として表示装置２の角度が変更された場合の表示装置２の傾きを示し、８３および８４は、縦方向の軸を回転軸として表示装置２の角度が変更された場合の表示装置２の傾きを示している。

図８上、右側の図における（ａ）で示す撮像画像２００が、表示装置２の設置位置が初期状態である場合に撮像された撮像画像２００のイメージであるとすると、表示装置２が図８の左側の図における８１の方向に傾けられた場合、撮像画像２００のイメージは、図８の右側の図における（ｄ）に示す撮像画像２００のイメージのようになる。これに伴い、撮像画像２００上の顔探索領域９１ａは、９１ｄのように移動する。

また、表示装置２が図８の左側の図における８２の方向に傾けられた場合、撮像画像２００のイメージは、図８の右側の図における（ｅ）に示す撮像画像２００のイメージのようになる。これに伴い、撮像画像２００上の顔探索領域９１ａは、９１ｅのように移動する。

また、表示装置２が図８の左側の図における８３の方向に傾けられた場合、撮像画像２００のイメージは、図８の右側の図における（ｃ）に示す撮像画像２００のイメージのようになる。これに伴い、撮像画像２００上の顔探索領域９１ａは、９１ｃのように移動する。

また、表示装置２が図８の左側の図における８４の方向に傾けられた場合、撮像画像２００のイメージは、図８の右側の図における（ｂ）に示す撮像画像２００のイメージのようになる。これに伴い、撮像画像２００上の顔探索領域９１ａは、９１ｂのように移動する。

図１の説明に戻る。
乗員監視装置３は、撮像画像取得部３１および乗員状態判定部３２を備える。
撮像画像取得部３１は、撮像装置２１から、車室内を撮像した撮像画像を取得する。
撮像画像取得部３１は、取得した撮像画像を乗員状態判定部３２に出力する。
なお、調整装置１において、角度変更検知部１１が撮像画像に基づいて表示装置２の角度が変更されたことを検知する場合、撮像画像取得部３１が角度変更検知部１１に対して撮像画像を出力するようにしてもよい。

乗員状態判定部３２は、撮像画像取得部３１が取得した撮像画像上で設定されている顔探索領域において、乗員を検出し、検出した乗員の状態を判定する。より詳細には、乗員状態判定部３２は、顔探索領域において乗員の顔を検出し、乗員の状態を判定する。
調整装置１において、探索領域調整部１２が顔探索領域を移動させた場合、乗員状態判定部３２は、探索領域調整部１２から出力された移動後探索領域情報に基づき、移動後の顔探索領域において乗員の顔を検出する。

実施の形態１に係る調整装置１の動作について説明する。
図９は、実施の形態１に係る調整装置１の動作について説明するためのフローチャートである。
角度変更検知部１１は、表示装置２において、当該表示装置２の角度が変更されたことを検知する（ステップＳＴ１）。
角度変更検知部１１は、表示装置２の角度が変更されたことを検知した場合、角度変更情報を、探索領域調整部１２に出力する。

探索領域調整部１２は、ステップＳＴ１にて角度変更検知部１１が、表示装置２の角度が変更されたことを検知すると、言い換えれば、角度変更検知部１１から角度変更情報が出力されると、角度変更量に基づき、撮像画像上の顔探索領域を移動させる（ステップＳＴ２）。
探索領域調整部１２は、移動させた後の顔探索領域に関する情報（以下「移動後探索領域情報」という。）を、乗員監視装置３に出力する。

このように調整装置１は、角度が可変な表示装置２に搭載され当該表示装置２の角度にあわせて撮像方向が変わる撮像装置２１によって撮像された撮像画像上において、顔探索領域を移動させる。そのため、調整装置１は、車室内の乗員が含まれると想定される領域において乗員が検出されなくなることを低減することができる。その結果、調整装置１は、乗員監視装置３に対して、短時間での乗員の顔の検出を可能とさせることができる。

実施の形態１に係る乗員監視装置３の動作について説明する。
図１０は、実施の形態１に係る乗員監視装置３の動作について説明するためのフローチャートである。
撮像画像取得部３１は、撮像装置２１から、車室内を撮像した撮像画像を取得する（ステップＳＴ２１）。
撮像画像取得部３１は、取得した撮像画像を乗員状態判定部３２に出力する。

乗員状態判定部３２は、ステップＳＴ２１にて撮像画像取得部３１が取得した撮像画像上で設定されている顔探索領域において、乗員を検出し、検出した乗員の状態を判定する（ステップＳＴ２２）。

このように乗員監視装置３は、乗員の顔の検出を、撮像画像の全域ではなく、顔探索領域に対して行う。これにより、乗員監視装置３は、短時間で乗員の顔の検出を行うことができる。

以上の実施の形態１では、探索領域は、顔探索領域であるものとしたが、これは一例に過ぎない。
例えば、探索領域は、乗員の身体を含む、当該乗員を検出するための領域（以下「乗員探索領域」という。）としてもよい。

ここで、図１１は、実施の形態１において、撮像画像上において設定されている乗員探索領域のイメージの一例について説明するための図である。
図１１は、例えば、図４を用いて説明したような撮像画像２００において、乗員探索領域が設定されているものとしている。図１１において、乗員探索領域を４０６，４０７で示している。
乗員探索領域４０６は、運転者４０２の乗員探索領域であり、乗員探索領域４０７は、助手席４０３ａの乗員４０３の乗員探索領域である。
なお、図１１では、参考までに、運転者４０２の顔探索領域４０４、および、助手席４０３ａの乗員４０３の顔探索領域４０５を、図示するようにしている。しかし、乗員探索領域４０６，４０７が設定されるとき、顔探索領域４０４，４０５が設定されていることは必須ではない。

乗員探索領域４０６，４０７は、顔探索領域４０４，４０５よりも広い領域である。
乗員探索領域４０６，４０７は、乗員の身体の一部を含み、例えば、車外の人または他の乗員の誤検出を抑制するように設定される。具体的には、例えば、運転者４０２の乗員探索領域４０６には、顔探索領域４０４よりも広く、運転者４０２の上半身を含み、助手席４０３ａの乗員４０３または車外の人が含まれない領域が設定される。
乗員探索領域４０６，４０７は、管理者等によって、顔探索領域４０４，４０５と同様の方法で、予め設定される。乗員探索領域４０６，４０７は、例えば、撮像画像２００上の矩形領域であり、当該乗員探索領域４０６の位置は、矩形の各頂点の撮像画像２００上の座標であらわされる。
なお、上述の一例では、乗員探索領域４０６，４０７は矩形領域としたが、乗員探索領域４０６，４０７は矩形領域に限らず、適宜の形状の領域とすることができる。

撮像画像上で乗員探索領域が設定されている場合、調整装置１の探索領域調整部１２は、角度変更検知部１１が表示装置２の角度が変更されたことを検知すると、角度変更量に基づき、撮像画像上の乗員探索領域を移動させるようにすることもできる。

この場合、乗員監視装置３の乗員状態判定部３２は、撮像画像取得部３１が取得した撮像画像上で設定されている乗員探索領域において、乗員を検出し、検出した乗員の状態を判定する。乗員状態判定部３２は、例えば、乗員の顔を検出し、乗員が居眠りしているか否かを検出してもよいし、乗員の姿勢を検出し、乗員の身体が傾いているか否かを検出してもよい。

また、以上の実施の形態１において、撮像画像上には、顔探索領域および乗員探索領域の両方が設定されているようにしてもよい。
この場合、調整装置１の探索領域調整部１２は、角度変更検知部１１が表示装置２の角度が変更されたことを検知すると、角度変更量に基づき、撮像画像上の顔探索領域および乗員探索領域を移動させるようにする。
乗員監視装置３の乗員状態判定部３２は、撮像画像取得部３１が取得した撮像画像上で設定されている顔探索領域および乗員探索領域の少なくとも一方において、乗員を検出し、検出した乗員の状態を判定する。
実施の形態１において、探索領域には、顔探索領域および乗員探索領域が含まれ得る。

また、以上の実施の形態１において、例えば、調整装置１は、乗員監視装置３に搭載されているものとしてもよい。
また、例えば、調整装置１が表示装置２に搭載されていてもよい。
また、例えば、乗員監視装置３が表示装置２に搭載されていてもよい。
また、例えば、調整装置１と表示装置２と乗員監視装置３が１つの装置として一体化されていてもよい。

また、以上の実施の形態１では、調整装置１および乗員監視装置３は、車両に搭載される車載装置とし、角度変更検知部１１と探索領域調整部１２と撮像画像取得部３１と乗員状態判定部３２は、車載装置に備えられているものとした。
これに限らず、例えば、角度変更検知部１１と探索領域調整部１２と撮像画像取得部３１と乗員状態判定部３２のうち、一部または全部を車両の車載装置に搭載されるものとし、その他を当該車載装置とネットワークを介して接続されるサーバに備えられるものとして、車載装置とサーバとで調整システムを構成するようにしてもよい。

図１２Ａ，図１２Ｂは、実施の形態１に係る調整装置１のハードウェア構成の一例を示す図である。
実施の形態１において、角度変更検知部１１と探索領域調整部１２の機能は、処理回路１２０１により実現される。すなわち、調整装置１は、表示装置２の角度が変更されたことを検知すると、撮像画像上の探索領域を移動させる制御を行うための処理回路１２０１を備える。
処理回路１２０１は、図１２Ａに示すように専用のハードウェアであっても、図１２Ｂに示すようにメモリに格納されるプログラムを実行するプロセッサ１２０４であってもよい。

処理回路１２０１が専用のハードウェアである場合、処理回路１２０１は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、またはこれらを組み合わせたものが該当する。

処理回路がプロセッサ１２０４の場合、角度変更検知部１１と探索領域調整部１２の機能は、ソフトウェア、ファームウェア、または、ソフトウェアとファームウェアとの組み合わせにより実現される。ソフトウェアまたはファームウェアは、プログラムとして記述され、メモリ１２０５に記憶される。プロセッサ１２０４は、メモリ１２０５に記憶されたプログラムを読み出して実行することにより、角度変更検知部１１と探索領域調整部１２の機能を実行する。すなわち、調整装置１は、プロセッサ１２０４により実行されるときに、上述の図９のステップＳＴ１～ステップＳＴ２が結果的に実行されることになるプログラムを格納するためのメモリ１２０５を備える。また、メモリ１２０５に記憶されたプログラムは、角度変更検知部１１と探索領域調整部１２の手順または方法をコンピュータに実行させるものであるとも言える。ここで、メモリ１２０５とは、例えば、ＲＡＭ、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、フラッシュメモリ、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ）等の、不揮発性もしくは揮発性の半導体メモリ、または、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）等が該当する。

なお、角度変更検知部１１と探索領域調整部１２の機能について、一部を専用のハードウェアで実現し、一部をソフトウェアまたはファームウェアで実現するようにしてもよい。例えば、角度変更検知部１１については専用のハードウェアとしての処理回路１２０１でその機能を実現し、探索領域調整部１２についてはプロセッサ１２０４がメモリ１２０５に格納されたプログラムを読み出して実行することによってその機能を実現することが可能である。
また、調整装置１は、表示装置２または乗員監視装置３等の装置と、有線通信または無線通信を行う入力インタフェース装置１２０２および出力インタフェース装置１２０３を備える。

実施の形態１に係る乗員監視装置３のハードウェア構成の一例は、図１２を用いて説明した調整装置１のハードウェア構成の一例と同様である。
実施の形態１において、撮像画像取得部３１と乗員状態判定部３２の機能は、処理回路１２０１により実現される。すなわち、乗員監視装置３は、撮像画像に基づいて乗員の状態を判定する制御を行うための処理回路１２０１を備える。
処理回路１２０１は、図１２Ａに示すように専用のハードウェアであっても、図１２Ｂに示すようにメモリに格納されるプログラムを実行するプロセッサ１２０４であってもよい。

処理回路１２０１が専用のハードウェアである場合、処理回路１２０１は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、またはこれらを組み合わせたものが該当する。

処理回路がプロセッサ１２０４の場合、撮像画像取得部３１と乗員状態判定部３２の機能は、ソフトウェア、ファームウェア、または、ソフトウェアとファームウェアとの組み合わせにより実現される。ソフトウェアまたはファームウェアは、プログラムとして記述され、メモリ１２０５に記憶される。プロセッサ１２０４は、メモリ１２０５に記憶されたプログラムを読み出して実行することにより、撮像画像取得部３１と乗員状態判定部３２の機能を実行する。すなわち、乗員監視装置３は、プロセッサ１２０４により実行されるときに、上述の図１０のステップＳＴ２１～ステップＳＴ２２が結果的に実行されることになるプログラムを格納するためのメモリ１２０５を備える。また、メモリ１２０５に記憶されたプログラムは、撮像画像取得部３１と乗員状態判定部３２の手順または方法をコンピュータに実行させるものであるとも言える。ここで、メモリ１２０５とは、例えば、ＲＡＭ、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、フラッシュメモリ、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ）等の、不揮発性もしくは揮発性の半導体メモリ、または、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）等が該当する。

なお、撮像画像取得部３１と乗員状態判定部３２の機能について、一部を専用のハードウェアで実現し、一部をソフトウェアまたはファームウェアで実現するようにしてもよい。例えば、撮像画像取得部３１については専用のハードウェアとしての処理回路１２０１でその機能を実現し、乗員状態判定部３２についてはプロセッサ１２０４がメモリ１２０５に格納されたプログラムを読み出して実行することによってその機能を実現することが可能である。
また、乗員監視装置３は、表示装置２または調整装置１等の装置と、有線通信または無線通信を行う入力インタフェース装置１２０２および出力インタフェース装置１２０３を備える。

以上のように、実施の形態１に係る調整装置１は、角度が可変な表示装置２に搭載され当該表示装置２の角度にあわせて撮像方向が変わる撮像装置２１によって車室内が撮像された撮像画像上で設定されている車室内の乗員を検知するための探索領域を調整する調整装置１であって、表示装置２の角度が変更されたことを検知する角度変更検知部１１と、角度変更検知部１１が、表示装置２の角度が変更されたことを検知すると、表示装置２の角度の変更量に基づき、探索領域を移動させる探索領域調整部１２とを備えるように構成した。そのため、調整装置１は、角度が可変な表示装置の角度にあわせて撮像方向が変わる撮像装置によって撮像された撮像画像上において、車室内の乗員が含まれると想定される領域において乗員が検出されなくなることを低減することができる。

実施の形態２．
調整装置において、実施の形態１にて説明した機能に加え、車両の乗員に応じて、表示装置の角度を、過去に乗員が設定した角度に設定する機能を有するようにしてもよい。

図１３は、実施の形態２に係る調整装置１ａの構成例を示す図である。
図１３において、実施の形態１にて図１を用いて説明した調整装置１の構成と同様の構成については、同じ符号を付して重複した説明を省略する。
実施の形態２に係る調整装置１ａは、図１を用いて説明した実施の形態１に係る調整装置１とは、乗員特定部１３および角度設定部１４を備える点が異なる。
調整装置１ａと表示装置２と乗員監視装置３とで、調整システム１００ａを構成する。なお、表示装置２および乗員監視装置３の具体的な構成は、それぞれ、実施の形態１において図１を用いて説明した表示装置２および乗員監視装置３の具体的な構成と同様であるため、各構成部に同じ符号を付して重複した説明を省略する。

乗員特定部１３について説明する。
実施の形態２では、乗員特定部１３は、例えば、乗員が車両に乗り込み、エンジンをＯＮにした場合、または、乗員が車両の座席に着座してシートベルトを着用した場合に、機能することを想定している。乗員特定部１３は、例えば、乗員が車両に乗り込み、エンジンをＯＮにしたことを、車両に搭載されているＥＣＵ（Ｅｎｇｉｎｅ Ｃｏｎｔｒｏｌ Ｕｎｉｔ。図示省略）から出力される車両制御情報に基づいて判定すればよい。また、乗員特定部１３は、例えば、乗員が車両の座席に着座してシートベルトを着用したことを、シートベルトセンサ（図示省略）から出力されるシートベルト着用情報に基づいて判定すればよい。

乗員特定部１３は、車室内にいる乗員を特定する。
具体的には、例えば、乗員特定部１３は、撮像装置２１から撮像画像を取得し、取得した撮像画像に対して既知の画像認識処理を行って検出した乗員の顔と、予め設定され記憶部（図示省略）に記憶されている乗員認証用情報とに基づいて、乗員を特定する。乗員認証用情報は、例えば、ＩＤ等、乗員を特定可能な情報と、当該乗員の顔画像（以下「認証用顔画像」という。）とが対応付けられた情報である。当該乗員認証用情報は、予め生成され、記憶部に記憶されている。乗員特定部１３は、撮像画像に基づいて検出した乗員の顔と、乗員認証用情報に含まれている認証用顔画像とのマッチングを行い、乗員を特定する。なお、乗員特定部１３は、乗員監視装置３の乗員状態判定部３２から乗員の顔画像を取得するようにしてもよい。
また、例えば、乗員特定部１３は、乗員から、当該乗員を特定可能な情報を受け付けるようにしてもよい。例えば、乗員は、車両に乗り込み、エンジンをＯＮにすると、表示装置２を操作して、乗員を特定可能な情報を入力する。なお、表示装置２は、タッチパネル式ディスプレイを想定している。乗員特定部１３は、乗員が表示装置２から入力した、乗員を特定可能な情報から、乗員を特定する。
乗員特定部１３は、特定した乗員に関する情報（以下「乗員情報」という。）を、角度設定部１４に出力する。乗員情報には、乗員を特定可能な情報が含まれている。乗員情報には、乗員の顔画像が含まれていてもよい。

角度設定部１４は、乗員特定部１３から出力された乗員情報と、設定角度情報に基づき、表示装置２の角度を、乗員特定部１３が特定した乗員に対応する角度に設定する。
実施の形態２において、設定角度情報は、乗員を特定可能な情報と乗員が過去に設定した表示装置の角度とが対応付けられた情報とする。例えば、設定角度情報には、さらに、乗員の顔画像が対応付けられていてもよい。当該設定角度情報は、調整装置１ａの制御部（図示省略）によって、乗員が表示装置２の角度を変更した際に生成され、記憶部に記憶されている。

例えば、乗員は、表示装置２の角度を変更する際、表示装置２に表示されている角度記録ボタンを押下することで、変更後の表示装置２の角度を記憶させる指示を入力する。このとき、乗員は、当該乗員を特定可能な情報も入力するようする。制御部は、表示装置２の角度が変更されると、表示装置２の変更後の角度（以下「過去設定角度」という。）を示す情報と、取得した乗員を特定可能な情報とを対応付けた設定角度情報を生成し、記憶部に記憶しておく。制御部は、角度記録ボタンが押下されると、現在撮像装置２１によって撮像されている撮像画像に基づき、当該乗員の顔画像を取得し、当該顔画像を設定角度情報に含めるようにしてもよい。制御部は、例えば、乗員監視装置３の乗員状態判定部３２から乗員の顔画像を取得するようにしてもよい。
なお、乗員が上記指示を入力する際に、当該乗員を特定可能な情報を入力しなかった場合、例えば、制御部は、撮像画像に基づいて乗員の顔を取得し、取得した顔画像と乗員認証用情報とのマッチングを行って、乗員と特定可能な情報を取得することができる。

なお、過去設定角度は、例えば、表示装置２の角度の初期値に対する角度であらわされる。

角度設定部１４は、例えば、乗員特定部１３から出力された乗員情報と設定角度情報に基づき、乗員を特定可能な情報のつきあわせを行う。また、角度設定部１４は、例えば、乗員情報と設定角度情報に基づき、乗員の顔画像のつきあわせを行う。
角度設定部１４は、つきあった設定角度情報において、乗員を特定可能な情報または乗員の顔画像と対応付けられている過去設定角度を示す情報に基づき、乗員に対応する表示装置２の角度を設定する。
そして、角度設定部１４は、設定した、乗員に対応する表示装置２の角度となるよう、表示装置２の角度を制御させる角度制御情報を、表示装置２に出力する。表示装置２は、角度制御情報に従って、角度を変更する。

なお、乗員認証用情報および設定角度情報は複数の乗員について、生成される。
例えば、車室内に複数の乗員が存在し、乗員から、当該乗員を特定可能な情報を受け付けるのではない場合、乗員特定部１３は、複数の乗員のうち、どの座席の乗員を優先して乗員の特定を行うか、適宜設定できる。
角度設定部１４は、表示装置２の角度を、乗員特定部１３が優先して特定した乗員に対応した角度に変更する。

実施の形態２に係る調整装置１ａの動作について説明する。
図１４は、実施の形態２に係る調整装置１ａの動作について説明するためのフローチャートである。
実施の形態２において、調整装置１ａは、実施の形態１にて図９に示すフローチャートを用いて説明した動作に加え、図１４のフローチャートを用いて説明する以下の動作を行う。

乗員特定部１３は、車室内にいる乗員を特定する（ステップＳＴ１３）。
乗員特定部１３は、特定した乗員に関する乗員情報を、角度設定部１４に出力する。

角度設定部１４は、ステップＳＴ１３にて乗員特定部１３から出力された乗員情報と、設定角度情報に基づき、表示装置２の角度を、乗員特定部１３が特定した乗員に対応する角度に設定する（ステップＳＴ１４）。

このように、調整装置１ａは、表示装置２の角度を、乗員が過去に設定した角度に設定することができる。これにより、調整装置１ａは、表示装置２の利便性を向上させることができる。

なお、例えば、乗員が車両に乗り込み、エンジンがＯＮにされると、図１４のフローチャートが行われ、その後、車両のエンジンがＯＦＦされるまでの間、図９のフローチャートで説明した動作が行われる。

以上の実施の形態２においても、実施の形態１同様、探索領域には、顔探索領域および乗員探索領域が含まれ得る。

また、以上の実施の形態２において、例えば、調整装置１ａは、乗員監視装置３に搭載されているものとしてもよい。
また、調整装置１ａが表示装置２に搭載されていてもよい。
また、例えば、乗員監視装置３が表示装置２に搭載されていてもよい。
また、例えば、調整装置１ａと表示装置２と乗員監視装置３が１つの装置として一体化されていてもよい。

また、以上の実施の形態２では、調整装置１ａおよび乗員監視装置３は、車両に搭載される車載装置とし、角度変更検知部１１と探索領域調整部１２と乗員特定部１３と角度設定部１４と撮像画像取得部３１と乗員状態判定部３２は、車載装置に備えられているものとした。
これに限らず、例えば、角度変更検知部１１と探索領域調整部１２と乗員特定部１３と角度設定部１４と撮像画像取得部３１と乗員状態判定部３２のうち、一部または全部を車両の車載装置に搭載されるものとし、その他を当該車載装置とネットワークを介して接続されるサーバに備えられるものとして、車載装置とサーバとで調整システムを構成するようにしてもよい。

実施の形態２に係る調整装置１ａのハードウェア構成は、実施の形態１において図１２Ａおよび図１２Ｂを用いて説明した調整装置１のハードウェア構成と同様であるため、図示を省略する。
実施の形態２において、角度変更検知部１１と、探索領域調整部１２と、乗員特定部１３と、角度設定部１４の機能は、処理回路１２０１により実現される。すなわち、調整装置１ａは、表示装置２の角度が変更されたことを検知すると、撮像画像上の探索領域を移動させるとともに、表示装置２の角度を乗員に応じた角度にする制御を行うための処理回路１２０１を備える。
処理回路１２０１は、メモリ１２０５に記憶されたプログラムを読み出して実行することにより、角度変更検知部１１と、探索領域調整部１２と、乗員特定部１３と、角度設定部１４の機能を実行する。すなわち、調整装置１ａは、処理回路１２０１により実行されるときに、上述の図４のステップＳＴ１～ステップＳＴ２、および、図１４のステップＳＴ１３～ステップＳＴ１４が結果的に実行されることになるプログラムを格納するためのメモリ１２０５を備える。また、メモリ１２０５に記憶されたプログラムは、角度変更検知部１１と、探索領域調整部１２と、乗員特定部１３と、角度設定部１４の手順または方法をコンピュータに実行させるものであるとも言える。
調整装置１ａは、表示装置２または乗員監視装置３等の装置と、有線通信または無線通信を行う入力インタフェース装置１２０２および出力インタフェース装置１２０３を備える。

以上のように、実施の形態２に係る調整装置１ａは、実施の形態１に係る調整装置１と同様の構成に加え、車室内にいる乗員を特定する乗員特定部１３と、乗員特定部１３が特定した乗員に関する情報、および、乗員を特定可能な乗員情報と乗員が過去に設定した表示装置２の角度とが対応付けられた設定角度情報に基づき、表示装置２の角度を、乗員特定部１３が特定した乗員に対応する角度に設定する角度設定部１４を備えるように構成した。そのため、調整装置１ａは、角度が可変な表示装置の角度にあわせて撮像方向が変わる撮像装置によって撮像された撮像画像上において、車室内の乗員が含まれると想定される領域において乗員が検出されなくなることを低減することができるとともに、乗員に応じた表示装置２の角度を再現することができる。

実施の形態３．
調整装置において、実施の形態１にて説明した機能に加え、表示装置における太陽光の反射による視認性の低下を防止する機能を有するようにしてもよい。

図１５は、実施の形態３に係る調整装置１ｂの構成例を示す図である。
図１５において、実施の形態１にて図１を用いて説明した調整装置１の構成と同様の構成については、同じ符号を付して重複した説明を省略する。
実施の形態３に係る調整装置１ｂは、図１を用いて説明した実施の形態１に係る調整装置１とは、入射方向判定部１５および角度変更部１６を備える点が異なる。
調整装置１ｂと表示装置２と乗員監視装置３とで、調整システム１００ｂを構成する。なお、表示装置２および乗員監視装置３の具体的な構成は、それぞれ、実施の形態１において図１を用いて説明した表示装置２および乗員監視装置３の具体的な構成と同様であるため、各構成部に同じ符号を付して重複した説明を省略する。

入射方向判定部１５は、表示装置２に太陽光が反射していている場合に、表示装置２への太陽光の入射方向を判定する。
具体的には、まず、入射方向判定部１５は、表示装置２に太陽光が反射しているか否かを判定する。例えば、入射方向判定部１５は、撮像装置２１から撮像画像を取得し、撮像画像の各画素の輝度値に基づいて、表示装置２に太陽光が反射しているか否かを判定する。例えば、入射方向判定部１５は、撮像画像の各画素の輝度値が予め決められた閾値（以下「輝度判定用閾値」という。）よりも大きい場合、当該画素の部分は、太陽光が反射していることにより白飛び等していると判定する。
そして、入射方向判定部１５は、表示装置２に太陽光が反射していると判定すると、撮像画像上で、画素の輝度値が輝度判定用閾値以上となっている領域に基づいて、太陽光の入射方向を判定する。例えば、予め、表示装置２の角度がどれぐらいで、かつ、太陽光の入射方向がどの方向である場合に、撮像画像上でどれぐらいの範囲の領域が、画素の輝度値が輝度判定用閾値以上となるかが対応付けられた情報（以下「入射方向判定用情報」という。）が生成され、記憶されているものとする。入射方向判定部１５は、撮像画像上で、画素の輝度値が輝度判定用閾値以上となっている領域と、表示装置２の角度と、入射方向判定用情報とから、太陽光の入射方向を判定する。
入射方向判定部１５は、表示装置２に太陽光が反射している旨の情報と、太陽光の入射方向に関する情報とを、角度変更部１６に出力する。

角度変更部１６は、入射方向判定部１５が表示装置２に太陽光が反射していると判定した場合、入射方向判定部１５が判定した太陽光の入射方向に基づき、表示装置２の角度を変更する。
具体的には、角度変更部１６は、表示装置２に対して太陽光が入射されにくくなる方向へ、表示装置２の角度を変更する。このとき、角度変更部１６は、例えば、表示装置２の角度が、当該表示装置２の角度が変更された後の角度である場合、当該表示装置２の初期位置の角度から、当該表示装置２の角度が変更された方向に対して当該表示装置２の角度が変更され得る角度までの範囲内で、当該表示装置２の角度を変更するものとする。
具体例を挙げると、例えば、運転者４０２が、自分の方向に向くように表示装置２の角度を変更したとする（図５参照）。そうすると、表示装置２に太陽光が反射している状態となったとする。この場合、角度変更部１６は、表示装置２の初期位置となる当該表示装置２の角度から、運転席側へ表示装置２が変更され得る角度までの範囲内で、表示装置２に対して太陽光が入射されにくくなる方向へ、表示装置２の角度を変更する。

実施の形態３に係る調整装置１ｂの動作について説明する。
図１６は、実施の形態３に係る調整装置１ｂの動作について説明するためのフローチャートである。
実施の形態３において、調整装置１ｂは、実施の形態１にて図９に示すフローチャートを用いて説明した動作に加え、図１６のフローチャートを用いて説明する以下の動作を行う。

入射方向判定部１５は、表示装置２に太陽光が反射していている場合に、表示装置２への太陽光の入射方向を判定する（ステップＳＴ１１３）。
入射方向判定部１５は、表示装置２に太陽光が反射している旨の情報と、太陽光の入射方向に関する情報とを、角度変更部１６に出力する。

角度変更部１６は、入射方向判定部１５が判定した太陽光の入射方向に基づき、表示装置２の角度を変更する（ステップＳＴ１１４）。

このように、調整装置１ｂは、表示装置２に太陽光が反射している場合に、太陽光の入射方向に基づき、表示装置２の角度を変更する。そのため、表示装置２は、表示装置２における太陽光の反射による視認性の低下を防止することができる。

なお、例えば、図１６のフローチャートで説明した動作と、図９のフローチャートで説明した動作は、並行して行われる。

以上の実施の形態３においても、実施の形態１同様、探索領域には、顔探索領域および乗員探索領域が含まれ得る。

また、以上の実施の形態３において、例えば、調整装置１ｂは、乗員監視装置３に搭載されているものとしてもよい。
また、例えば、調整装置１ｂが表示装置２に搭載されていてもよい。
また、例えば、乗員監視装置３が表示装置２に搭載されていてもよい。
また、例えば、調整装置１ｂと表示装置２と乗員監視装置３が１つの装置として一体化されていてもよい。

また、以上の実施の形態３では、調整装置１ｂおよび乗員監視装置３は、車両に搭載される車載装置とし、角度変更検知部１１と探索領域調整部１２と入射方向判定部１５と角度変更部１６と撮像画像取得部３１と乗員状態判定部３２は、車載装置に備えられているものとした。
これに限らず、例えば、角度変更検知部１１と探索領域調整部１２と入射方向判定部１５と角度変更部１６と撮像画像取得部３１と乗員状態判定部３２のうち、一部または全部を車両の車載装置に搭載されるものとし、その他を当該車載装置とネットワークを介して接続されるサーバに備えられるものとして、車載装置とサーバとで調整システムを構成するようにしてもよい。

実施の形態３に係る調整装置１ｂのハードウェア構成は、実施の形態１において図１２Ａおよび図１２Ｂを用いて説明した調整装置１のハードウェア構成と同様であるため、図示を省略する。
実施の形態３において、角度変更検知部１１と、探索領域調整部１２と、入射方向判定部１５と、角度変更部１６の機能は、処理回路１２０１により実現される。すなわち、調整装置１ｂは、表示装置２の角度が変更されたことを検知すると、撮像画像上の探索領域を移動させるとともに、太陽光の入射方向に基づいて表示装置２の角度を変更する制御を行うための処理回路１２０１を備える。
処理回路１２０１は、メモリ１２０５に記憶されたプログラムを読み出して実行することにより、角度変更検知部１１と、探索領域調整部１２と、入射方向判定部１５と、角度変更部１６の機能を実行する。すなわち、調整装置１ｂは、処理回路１２０１により実行されるときに、上述の図４のステップＳＴ１～ステップＳＴ２、および、図１６のステップＳＴ１１３～ステップＳＴ１１４が結果的に実行されることになるプログラムを格納するためのメモリ１２０５を備える。また、メモリ１２０５に記憶されたプログラムは、角度変更検知部１１と、探索領域調整部１２と、入射方向判定部１５と、角度変更部１６の手順または方法をコンピュータに実行させるものであるとも言える。
調整装置１ｂは、表示装置２または乗員監視装置３等の装置と、有線通信または無線通信を行う入力インタフェース装置１２０２および出力インタフェース装置１２０３を備える。

以上のように、実施の形態３に係る調整装置１ｂは、実施の形態１に係る調整装置１と同様の構成に加え、表示装置２に太陽光が反射していている場合に、表示装置２への太陽光の入射方向を判定する入射方向判定部１５と、入射方向判定部１５が判定した入射方向に基づき、表示装置２の角度を変更する角度変更部１６を備えるように構成した。そのため、調整装置１ｂは、角度が可変な表示装置の角度にあわせて撮像方向が変わる撮像装置によって撮像された撮像画像上において、車室内の乗員が含まれると想定される領域において乗員が検出されなくなることを低減することができるとともに、表示装置２における太陽光の反射による視認性の低下を防止することができる。

実施の形態４．
調整装置において、実施の形態１にて説明した機能に加え、表示装置の角度が変更されたことにより、乗員が撮像装置の撮像範囲に入らなくなった場合に、その旨を乗員に知らせる機能を有するようにしてもよい。

図１７は、実施の形態４に係る調整装置１ｃの構成例を示す図である。
図１７において、実施の形態１にて図１を用いて説明した調整装置１の構成と同様の構成については、同じ符号を付して重複した説明を省略する。
実施の形態４に係る調整装置１ｃは、図１を用いて説明した実施の形態１に係る調整装置１とは、撮像可否判定部１７および通知部１８を備える点が異なる。
調整装置１ｃと表示装置２と乗員監視装置３とで、調整システム１００ｃを構成する。なお、表示装置２および乗員監視装置３の具体的な構成は、それぞれ、実施の形態１において図１を用いて説明した表示装置２および乗員監視装置３の具体的な構成と同様であるため、各構成部に同じ符号を付して重複した説明を省略する。

撮像可否判定部１７は、角度変更検知部１１が、表示装置２の角度が変更されたことを検知すると、表示装置２の角度が変更された状態において撮像装置２１の撮像範囲が乗員を検知できない範囲となったか否かを判定する。
撮像可否判定部１７は、角度変更検知部１１から、角度変更情報を、探索領域調整部１２を介して取得すればよい。これは一例に過ぎず、撮像可否判定部１７は、角度変更検知部１１から直接、角度変更情報を取得してもよい。なお、図１７では、角度変更検知部１１から撮像可否判定部１７への矢印の図示は省略している。
具体的には、例えば、予め、表示装置２の角度がどれぐらい変更されたかの角度変化量と、その場合に車室内の乗員が撮像装置２１の撮像範囲に含まれなくなるか否かの情報とが対応付けられた情報（以下「検出不可判定用情報」という。）が作成され、記憶部に記憶されている。検出不可判定用情報には、さらに、乗員が撮像装置２１の撮像範囲に含まれなくなる場合、どの座席の乗員が当該撮像範囲に含まれなくなるかの情報が対応付けられていてもよい。撮像可否判定部１７は、角度変更情報と検出不可判定用情報とに基づき、撮像装置２１の撮像範囲が乗員を検知できない範囲となったか否かを判定する。

例えば、運転者４０２が、表示装置２が運転席側に向くように、表示装置２の角度を大きく変更したとする。なお、例えば、個人認証または居眠り検知等の助手席４０３ａ向けの機能が不要な場合、または、車室内には運転者４０２のみが存在しており、他の乗員の検知機能が不要な場合は、このように、運転者４０２によって表示装置２の角度が大きく変更されることが考えられる。
そうすると、仮に助手席４０３ａの乗員４０３がいた場合であっても、撮像装置２１の撮像範囲に助手席４０３ａの乗員４０３が含まれないようになることがある。すなわち、撮像装置２１の撮像範囲が、助手席４０３ａの乗員４０３を検知できない範囲となることがある。
撮像可否判定部１７は、このように、表示装置２の角度が変更された状態において撮像装置２１の撮像範囲が乗員を検知できない範囲となったことを判定する。

撮像可否判定部１７は、表示装置２の角度が変更された状態において撮像装置２１の撮像範囲が乗員を検知できない範囲となったと判定した場合、撮像装置２１の撮像範囲が乗員を検知できない範囲となった旨の情報を、通知部１８に出力する。撮像可否判定部１７は、撮像装置２１の撮像範囲が乗員を検知できない範囲となった旨の情報とともに、どの座席の乗員が検知できなくなったかを示す情報を、通知部１８に出力するようにしてもよい。

通知部１８は、撮像可否判定部１７が、撮像装置２１の撮像範囲が乗員を検知できない範囲となったと判定した場合、すなわち、撮像可否判定部１７から、撮像装置２１の撮像範囲が乗員を検知できない範囲となった旨の情報が出力された場合、撮像装置２１が乗員を撮像不可である旨を通知する。
具体的には、通知部１８は、例えば、表示装置２に対して、撮像装置２１の撮像範囲が乗員を検知できない範囲となった旨を通知するアイコンを表示させる。なお、通知部１８は、アイコンを、表示装置２以外の表示装置に表示させるようにしてもよい。表示装置２以外の表示装置とは、例えば、運転席４０２ａの正面に設けられているメーターパネル、または、ナビゲーション装置に設けられているサブモニタである。
また、通知部１８は、撮像装置２１の撮像範囲が乗員を検知できない範囲となった旨を、車両に搭載されている音声出力装置（図示省略）から、音または音声にて出力させるようにしてもよい。

なお、例えば、表示装置２の角度が大きく変更されたとしても、撮像装置２１が運転席および助手席の両方を検知できる等、撮像装置２１の撮像範囲が乗員を検知できない範囲となることがないように、撮像装置２１の画角を広くする、あるいは、撮像装置２１を２台、表示装置２に搭載させるという方法も考えられなくはない。しかし、これらの方法では、撮像装置２１が備えるイメージセンサ（図示省略）の画素数を大きくする必要がある、あるいは、表示装置２が複雑な構造となる等の問題が生じる。

実施の形態４に係る調整装置１ｃの動作について説明する。
図１８は、実施の形態４に係る調整装置１ｃの動作について説明するためのフローチャートである。
図１８において、ステップＳＴ１１１１～ステップＳＴ１１１２の具体的な動作は、それぞれ、実施の形態１にて説明済みの、図９のステップＳＴ１～ステップＳＴ２の具体的な動作と同様であるため、重複した説明を省略する。

撮像可否判定部１７は、ステップＳＴ１１１１にて、角度変更検知部１１が、表示装置２の角度が変更されたことを検知すると、表示装置２の角度が変更された状態において撮像装置２１の撮像範囲が乗員を検知できない範囲となったか否かを判定する（ステップＳＴ１１１３）。
撮像可否判定部１７は、表示装置２の角度が変更された状態において撮像装置２１の撮像範囲が乗員を検知できない範囲となったと判定した場合、撮像装置２１の撮像範囲が乗員を検知できない範囲となった旨の情報を、通知部１８に出力する。

通知部１８は、撮像可否判定部１７が、撮像装置２１の撮像範囲が乗員を検知できない範囲となったと判定した場合、すなわち、撮像可否判定部１７から、撮像装置２１の撮像範囲が乗員を検知できない範囲となった旨の情報が出力された場合、撮像装置２１が乗員を撮像不可である旨を通知する（ステップＳＴ１１１４）。

このように、調整装置１ｃは、表示装置２の角度が変更された状態において撮像装置２１の撮像範囲が乗員を検知できない範囲となったと判定した場合に、その旨を通知する。そのため、調整装置１ｃは、表示装置２の角度が変更されたことにより、乗員が検知できない状態になったことを乗員に知らせることができる。

なお、図１８のフローチャートでは、ステップＳＴ１１１２～ステップＳＴ１１１４の順番で調整装置１ｃの動作が行われるものとしたが、これは一例に過ぎない。例えば、調整装置１ｃにおいて、ステップＳＴ１１１２の動作と、ステップＳＴ１１１３～ステップＳＴ１１１４の動作は、並行して行われてもよい。

以上の実施の形態４においても、実施の形態１同様、探索領域には、顔探索領域および乗員探索領域が含まれ得る。

また、以上の実施の形態４において、例えば、調整装置１ｃは、乗員監視装置３に搭載されているものとしてもよい。
また、例えば、調整装置１ｃが表示装置２に搭載されていてもよい。
また、例えば、乗員監視装置３が表示装置２に搭載されていてもよい。
また、例えば、調整装置１ｃと表示装置２と乗員監視装置３が１つの装置として一体化されていてもよい。

また、以上の実施の形態４では、調整装置１ｃおよび乗員監視装置３は、車両に搭載される車載装置とし、角度変更検知部１１と探索領域調整部１２と撮像可否判定部１７と通知部１８と撮像画像取得部３１と乗員状態判定部３２は、車載装置に備えられているものとした。
これに限らず、例えば、角度変更検知部１１と探索領域調整部１２と撮像可否判定部１７と通知部１８と撮像画像取得部３１と乗員状態判定部３２のうち、一部または全部を車両の車載装置に搭載されるものとし、その他を当該車載装置とネットワークを介して接続されるサーバに備えられるものとして、車載装置とサーバとで調整システムを構成するようにしてもよい。

実施の形態４に係る調整装置１ｃのハードウェア構成は、実施の形態１において図１２Ａおよび図１２Ｂを用いて説明した調整装置１のハードウェア構成と同様であるため、図示を省略する。
実施の形態４において、角度変更検知部１１と探索領域調整部１２と撮像可否判定部１７と通知部１８の機能は、処理回路１２０１により実現される。すなわち、調整装置１ｂは、表示装置２の角度が変更されたことを検知すると、撮像画像上の探索領域を移動させるとともに、表示装置２の角度が変更されたことにより、撮像装置２１の撮像範囲が乗員を検知できない範囲となった場合に、その旨を通知する制御を行うための処理回路１２０１を備える。
処理回路１２０１は、メモリ１２０５に記憶されたプログラムを読み出して実行することにより、角度変更検知部１１と探索領域調整部１２と撮像可否判定部１７と通知部１８の機能を実行する。すなわち、調整装置１ｃは、処理回路１２０１により実行されるときに、上述の図１８のステップＳＴ１１１１～ステップＳＴ１１１４が結果的に実行されることになるプログラムを格納するためのメモリ１２０５を備える。また、メモリ１２０５に記憶されたプログラムは、角度変更検知部１１と探索領域調整部１２と撮像可否判定部１７と通知部１８の手順または方法をコンピュータに実行させるものであるとも言える。
調整装置１ｃは、表示装置２または乗員監視装置３等の装置と、有線通信または無線通信を行う入力インタフェース装置１２０２および出力インタフェース装置１２０３を備える。

以上のように、実施の形態４に係る調整装置１ｃは、実施の形態１に係る調整装置１と同様の構成に加え、角度変更検知部１１が、表示装置２の角度が変更されたことを検知すると、表示装置２の角度が変更された状態において撮像装置２１の撮像範囲が乗員を検知できない範囲となったか否かを判定する撮像可否判定部１７と、撮像可否判定部１７が、撮像装置２１の撮像範囲が乗員を検知できない範囲となったと判定した場合、撮像装置２１が乗員を撮像不可である旨を通知する通知部１８を備えるように構成した。そのため、調整装置１ｃは、角度が可変な表示装置の角度にあわせて撮像方向が変わる撮像装置によって撮像された撮像画像上において、車室内の乗員が含まれると想定される領域において乗員が検出されなくなることを低減することができるとともに、表示装置２の角度が変更されたことにより、乗員が検知できない状態になったことを乗員に知らせることができる。

なお、本開示は、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。

本開示に係る調整装置は、角度が可変な表示装置の角度にあわせて撮像方向が変わる撮像装置によって撮像された撮像画像上において、車室内の乗員が含まれると想定される領域において乗員が検出されなくなることを低減することができる。

１，１ａ，１ｂ，１ｃ 調整装置、２ 表示装置、２１ 撮像装置、３ 乗員監視装置、１１ 角度変更検知部、１２ 探索領域調整部、１３ 乗員特定部、１４ 角度設定部、１５ 入射方向判定部、１６ 角度変更部、１７ 撮像可否判定部、１８ 通知部、３１ 撮像画像取得部、３２ 乗員状態判定部、１００，１００ａ，１００ｂ，１００ｃ 調整システム、１２０１ 処理回路、１２０２ 入力インタフェース装置、１２０３ 出力インタフェース装置、１２０４ プロセッサ、１２０５ メモリ。

Claims (9)

1. 角度が可変な表示装置に搭載され当該表示装置の角度にあわせて撮像方向が変わる撮像装置によって車室内が撮像された撮像画像上で設定されている前記車室内の乗員を検知するための探索領域を調整する調整装置であって、
   前記表示装置の前記角度が変更されたことを検知する角度変更検知部と、
   前記角度変更検知部が、前記表示装置の前記角度が変更されたことを検知すると、前記表示装置の前記角度の変更量に基づき、前記探索領域を移動させる探索領域調整部と、
   前記表示装置に太陽光が反射していている場合に、前記表示装置への前記太陽光の入射方向を判定する入射方向判定部と、
   前記入射方向判定部が判定した前記入射方向に基づき、前記表示装置の前記角度を変更する角度変更部
   とを備えた調整装置。
2. 前記探索領域は、
   前記撮像画像上で設定されている、前記車室内の前記乗員が存在すると想定される乗員探索領域を含む
   ことを特徴とする請求項１記載の調整装置。
3. 前記探索領域は、
   前記撮像画像上で設定されている、前記車室内の乗員の顔の領域を探索するための顔探索領域を含む
   ことを特徴とする請求項１記載の調整装置。
4. 車室内にいる前記乗員を特定する乗員特定部と、
   前記乗員特定部が特定した乗員に関する情報、および、前記乗員を特定可能な乗員情報と前記乗員が過去に設定した前記表示装置の前記角度とが対応付けられた設定角度情報に基づき、前記表示装置の前記角度を、前記乗員特定部が特定した乗員に対応する角度に設定する角度設定部
   を備えた請求項１記載の調整装置。
5. 前記角度変更検知部が、前記表示装置の前記角度が変更されたことを検知すると、前記表示装置の前記角度が変更された状態において前記撮像装置の撮像範囲が前記乗員を検知できない範囲となったか否かを判定する撮像可否判定部と、
   前記撮像可否判定部が、前記撮像装置の前記撮像範囲が前記乗員を検知できない範囲となったと判定した場合、前記撮像装置が前記乗員を撮像不可である旨を通知する通知部
   を備えた請求項１記載の調整装置。
6. 請求項１から請求項５のうちのいずれか１項記載の調整装置と、
   前記表示装置と、
   前記表示装置に搭載された前記撮像装置
   とを備えた調整システム。
7. 請求項１から請求項５のうちのいずれか１項記載の調整装置と、
   前記撮像装置
   とを備えた表示装置。
8. 角度が可変な表示装置に搭載され当該表示装置の角度にあわせて撮像方向が変わる撮像装置によって車室内が撮像された撮像画像を取得する撮像画像取得部と、
   前記撮像画像取得部が取得した撮像画像上で設定されている、前記車室内の乗員を検知するための探索領域において、乗員を検出し、検出した乗員の状態を判定する乗員状態判定部と、
   前記表示装置の前記角度が変更されたことを検知する角度変更検知部と、
   前記角度変更検知部が、前記表示装置の前記角度が変更されたことを検知すると、前記表示装置の前記角度の変更量に基づき、前記探索領域を移動させる探索領域調整部と、
   前記表示装置に太陽光が反射していている場合に、前記表示装置への前記太陽光の入射方向を判定する入射方向判定部と、
   前記入射方向判定部が判定した前記入射方向に基づき、前記表示装置の前記角度を変更する角度変更部
   とを備えた乗員監視装置。
9. 角度が可変な表示装置に搭載され当該表示装置の角度にあわせて撮像方向が変わる撮像装置によって車室内が撮像された撮像画像上で設定されている前記車室内の乗員を検知するための探索領域を調整する調整方法であって、
   角度変更検知部が、前記表示装置の前記角度が変更されたことを検知するステップと、
   探索領域調整部が、前記角度変更検知部が、前記表示装置の前記角度が変更されたことを検知すると、前記表示装置の前記角度の変更量に基づき、前記探索領域を移動させるステップと、
   入射方向判定部が、前記表示装置に太陽光が反射していている場合に、前記表示装置への前記太陽光の入射方向を判定するステップと、
   角度変更部が、前記入射方向判定部が判定した前記入射方向に基づき、前記表示装置の前記角度を変更するステップ
   とを備えた調整方法。

Images