JP6663278B2 - 車室内用カメラの設置支援方法および車室内用カメラ - Google Patents
車室内用カメラの設置支援方法および車室内用カメラ Download PDFInfo
- Publication number
- JP6663278B2 JP6663278B2 JP2016075646A JP2016075646A JP6663278B2 JP 6663278 B2 JP6663278 B2 JP 6663278B2 JP 2016075646 A JP2016075646 A JP 2016075646A JP 2016075646 A JP2016075646 A JP 2016075646A JP 6663278 B2 JP6663278 B2 JP 6663278B2
- Authority
- JP
- Japan
- Prior art keywords
- target
- image
- face
- vehicle interior
- user
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 86
- 238000009434 installation Methods 0.000 title claims description 68
- 238000001514 detection method Methods 0.000 claims description 71
- 238000012545 processing Methods 0.000 claims description 40
- 238000012937 correction Methods 0.000 claims description 33
- 238000006073 displacement reaction Methods 0.000 claims description 22
- 238000003384 imaging method Methods 0.000 claims description 22
- 230000003287 optical effect Effects 0.000 claims description 15
- 230000000694 effects Effects 0.000 claims description 8
- 238000013459 approach Methods 0.000 claims description 6
- 239000011521 glass Substances 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 19
- 239000004065 semiconductor Substances 0.000 description 3
- 230000000903 blocking effect Effects 0.000 description 2
- 230000005484 gravity Effects 0.000 description 2
- 230000012447 hatching Effects 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Images
Landscapes
- Camera Bodies And Camera Details Or Accessories (AREA)
- Image Input (AREA)
- Studio Devices (AREA)
Description
図1は、本発明の一実施形態に係る車室内用カメラ10が設置された車両1の一例を示す外観図である。なお、以下の説明では、カメラ光軸をz軸、水平軸をx軸、およびこれらの直交する軸をy軸とする(図1参照)。また、車室内用カメラ10の向きをxyzの各軸を中心に回転させる場合には、適宜、x軸をピッチ軸、y軸をヨー軸、z軸をロール軸ということとする。また、車室内用カメラ10の各コンポーネントの駆動電源は、車室内用カメラ10に内蔵された図示しない1次電池や2次電池などの電源により与えられてもよいし、車両1から供給されてもよい。
次に、本実施形態に係る車室内用カメラ10の設置支援方法および車室内用カメラ10の動作の一例について説明する。
図8は、主制御部40のプロセッサにより、ディスプレイを用いることなく、運転者Dの顔Fを的確に撮影できる位置に容易に車室内用カメラ10を設置するよう支援する際の概略的な手順の一例を示すフローチャートである。図8において、Sに数字を付した符号はフローチャートの各ステップを示す。
続いて、目標検出処理について説明する。図9は、図8のステップS2で実行される目標検出処理の手順の一例を示すサブルーチンフローチャートである。
続いて、ピッチ軸調整処理について説明する。図10は、図8のステップS4で実行されるピッチ軸調整処理の手順の一例を示すサブルーチンフローチャートである。なお、図9のステップS5で実行されるヨー軸調整処理は、位置ずれ方向が異なる以外はピッチ軸調整処理と同じ手順であるため説明を省略する。
続いて、ロール軸調整処理について説明する。図12は、図8のステップS6で実行されるロール軸調整処理の手順の一例を示すサブルーチンフローチャートである。また、図13は、左目標20Lの重心座標と右目標20Rの重心座標のy座標が大きく異なる場合の一例を示す説明図である。
続いて、フォーカス調整処理について説明する。図14は、図8のステップS3で実行されるフォーカス調整処理の手順の一例を示すサブルーチンフローチャートである。また、図15は、レンズ32と撮像素子34との距離dと、二値化画像21内の目標20の面積Sおよび輝度との関係の一例を示す説明図である。
20…目標
20R…目標
25…所定領域
31a…光源
32…レンズ
33…フィルタ
34…撮像素子
35…入力部
36…スピーカ
37…通知用光源
38…記憶部
42…画像生成部
43…目標検出部
47…通知部
Claims (12)
- 撮像素子およびプロセッサを備えた車室内用カメラの前記プロセッサが実行する、車室内用カメラの設置支援方法であって、
前記撮像素子に運転席の被写体の顔を撮像させるステップと、
前記撮像素子の出力にもとづいて、前記被写体の顔に直接設けられまたは顔の近傍に設けられた目標を含む画像を生成するステップと、
前記画像から前記目標を検出するステップと、
前記目標があらかじめ前記画像内に設定された所定領域内に位置するように、前記画像内における前記目標の位置に応じて、ユーザが前記撮像素子の向きを修正するための情報をユーザに通知するステップと、
を有し、
前記撮像素子に集光するためのレンズと前記撮像素子との距離がユーザにより所定の方向に変更されるステップと、
前記所定の方向への前記距離の変更の間に、複数の前記画像を生成し、複数の前記画像のそれぞれから検出された前記目標の前記画像内における面積を求め、求めた面積のうちの最小面積を基準面積として記憶部に記憶させるステップと、
前記距離がユーザにより前記所定の方向の逆方向である反転方向に変更されるステップと、
前記反転方向への前記距離の変更の間に、リアルタイムで複数の前記画像を生成して前記目標の面積を求め、求めた面積と前記基準面積との差が閾値以内であると、現在前記顔にピントがあっている旨の情報をリアルタイムにユーザに通知するステップと、
をさらに有する車室内用カメラの設置支援方法。 - 撮像素子およびプロセッサを備えた車室内用カメラの前記プロセッサが実行する、車室内用カメラの設置支援方法であって、
前記撮像素子に運転席の被写体の顔を撮像させるステップと、
前記撮像素子の出力にもとづいて、前記被写体の顔に直接設けられまたは顔の近傍に設けられた目標を含む画像を生成するステップと、
前記画像から前記目標を検出するステップと、
前記目標があらかじめ前記画像内に設定された所定領域内に位置するように、前記画像内における前記目標の位置に応じて、ユーザが前記撮像素子の向きを修正するための情報をユーザに通知するステップと、
を有し、
前記被写体の顔を撮像させるステップと並行して、車室内用カメラに設けられた光源を所定の輝度で発光させることにより前記目標を含む顔を照明するステップと、
前記画像から前記目標を検出するステップで検出された前記目標の前記画像内における面積が所定の面積より小さいと、前記面積が前記所定の面積に近づくように前記撮像素子の露光時間を長く変更してから前記被写体の顔を撮像させるステップに戻るステップと、
をさらに有する車室内用カメラの設置支援方法。 - 前記光源は近赤外光を発光し、前記撮像素子は前記光源が発光する近赤外光を透過するフィルタを介して前記被写体の顔を撮像する、
請求項2記載の車室内用カメラの設置支援方法。 - 前記目標は、
前記被写体の顔の目の近傍に配置された、または前記被写体の顔が装着した眼鏡に配置された、近赤外光を発光する光源である、
請求項3記載の車室内用カメラの設置支援方法。 - 前記目標を検出するステップで検出された前記目標の前記画像内における位置を求めるステップと、
前記所定領域外に前記目標があると、前記所定領域に対する前記目標の位置ずれ方向および位置ずれ量を求めるステップと、
前記位置ずれ方向および位置ずれ量に応じて、前記目標が前記所定領域内に位置するために要求される前記撮像素子の向きの修正方向および修正量を求めるステップと、
をさらに有し、
前記通知するステップは、
前記修正方向および前記修正量をユーザに通知するステップである、
請求項1ないし4のいずれか1項に記載の車室内用カメラの設置支援方法。 - 前記修正方向および修正量を求めるステップは、
前記撮像素子の光軸をロール軸、水平軸をピッチ軸、これらに直交する軸をヨー軸として、前記位置ずれ方向および位置ずれ量に応じて、前記目標が前記所定領域内に位置するために要求される、ピッチ軸およびヨー軸の少なくとも一方を中心とする前記撮像素子の回転による前記撮像素子の光軸の修正方向および修正量を求めるステップを含む、
請求項5記載の車室内用カメラの設置支援方法。 - 前記目標は、前記被写体の顔または顔の近傍に複数設けられ、
前記目標を検出するステップは、前記画像から複数の前記目標を検出するステップであり、
前記目標を検出するステップで検出された複数の前記目標のそれぞれの前記画像内における位置を求めるステップと、
前記撮像素子の光軸をロール軸、水平軸をピッチ軸、これらに直交する軸をヨー軸として、複数の前記目標の位置関係の、理想位置関係に対するロール軸を中心とする回転ずれ方向および回転ずれ量を求めるステップと、
をさらに備え、
前記修正方向および修正量を求めるステップは、
前記回転ずれ方向および回転ずれ量に応じて、複数の前記目標が前記画像内で前記理想位置関係に近づくために要求される、ロール軸を中心とする前記撮像素子の回転による前記撮像素子の光軸の修正方向および修正量を求めるステップを含む、
請求項5または6に記載の車室内用カメラの設置支援方法。 - 前記目標は、
前記被写体の目の近傍に直接配置された反射板、または前記被写体の顔が装着した眼鏡に配置された反射板である、
請求項1ないし7のいずれか1項に記載の車室内用カメラの設置支援方法。 - 前記通知するステップは、
スピーカを介した音声出力およびビープ音出力ならびに通知用光源を介した発光パターンの少なくとも1つにより、ユーザに前記撮像素子の向きを修正させるための情報をユーザに通知する、
請求項1ないし8のいずれか1項に記載の車室内用カメラの設置支援方法。 - 前記プロセッサが請求項1ないし10に記載のステップを実行する設置支援モードと、前記プロセッサが前記運転席に座った運転者の顔画像にもとづいて顔認識処理を実行する顔認識モードと、のいずれのモードで動作するかを、入力部を介したユーザによる指示に応じて切り替えるステップ、
をさらに有する請求項1ないし9のいずれか1項に記載の車室内用カメラの設置支援方法。 - 運転席の被写体の顔を撮像する撮像素子と、
前記撮像素子の出力にもとづいて、前記被写体の顔に直接設けられまたは顔の近傍に設けられた目標を含む画像を生成する画像生成部と、
前記画像から前記目標を検出する目標検出部と、
焦点ずれ検出部と、
前記目標があらかじめ前記画像内に設定された所定領域内に位置するように、前記画像内における前記目標の位置に応じて、ユーザが前記撮像素子の向きを修正するための情報をユーザに通知する通知部と、
を備え、
前記画像生成部は、
前記撮像素子に集光するためのレンズと前記撮像素子との距離がユーザにより所定の方向に変更されると、前記距離の変更の間に、複数の前記画像を生成し、
前記目標検出部は、
複数の前記画像のそれぞれから検出された前記目標の前記画像内における面積を求め、
前記焦点ずれ検出部は、
前記目標検出部により求められた面積のうちの最小面積を基準面積として記憶部に記憶させておき、
前記距離がユーザにより前記所定の方向の逆方向である反転方向に変更されると、前記距離の変更の間に、リアルタイムで前記画像生成部により生成された複数の前記画像から前記目標検出部により求められた前記目標の面積と前記基準面積との差が閾値以内であると、現在前記顔にピントがあっている旨の情報を前記通知部に与え、
前記通知部は、
現在前記顔にピントがあっている旨の情報をリアルタイムにユーザに通知する、
車室内用カメラ。 - 運転席の被写体の顔を撮像する撮像素子と、
前記撮像素子の出力にもとづいて、前記被写体の顔に直接設けられまたは顔の近傍に設けられた目標を含む画像を生成する画像生成部と、
前記画像から前記目標を検出する目標検出部と、
前記被写体の顔を照明するための光源と、
前記目標があらかじめ前記画像内に設定された所定領域内に位置するように、前記画像内における前記目標の位置に応じて、ユーザが前記撮像素子の向きを修正するための情報をユーザに通知する通知部と、
を備え、
前記目標検出部は、
前記被写体の顔の撮像に並行して、前記光源を所定の輝度で発光させることにより前記目標を含む顔を照明するとともに、
検出した前記目標の前記画像内における面積が所定の面積より小さいと、前記面積が前記所定の面積に近づくように前記撮像素子の露光時間を長く変更してから前記撮像素子に前記被写体の顔を撮像させる、
車室内用カメラ。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016075646A JP6663278B2 (ja) | 2016-04-05 | 2016-04-05 | 車室内用カメラの設置支援方法および車室内用カメラ |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016075646A JP6663278B2 (ja) | 2016-04-05 | 2016-04-05 | 車室内用カメラの設置支援方法および車室内用カメラ |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017188764A JP2017188764A (ja) | 2017-10-12 |
JP6663278B2 true JP6663278B2 (ja) | 2020-03-11 |
Family
ID=60046576
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016075646A Active JP6663278B2 (ja) | 2016-04-05 | 2016-04-05 | 車室内用カメラの設置支援方法および車室内用カメラ |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6663278B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117848352B (zh) * | 2024-03-07 | 2024-05-14 | 鲁东大学 | 一种基于计算机视觉的辅助定位系统 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001056212A (ja) * | 1999-08-17 | 2001-02-27 | Sanyo Electric Co Ltd | 位置検出装置およびこれを用いた頭部位置追従型立体表示装置 |
JP4926766B2 (ja) * | 2007-03-13 | 2012-05-09 | アイシン精機株式会社 | 撮影範囲調節装置、撮影範囲調節方法及びコンピュータプログラム |
JP2009113621A (ja) * | 2007-11-06 | 2009-05-28 | Toyota Motor Corp | 乗員画像撮像装置、運転支援装置 |
JP5018653B2 (ja) * | 2008-06-04 | 2012-09-05 | 株式会社豊田中央研究所 | 画像識別装置 |
JP2014165702A (ja) * | 2013-02-26 | 2014-09-08 | Canon Inc | 撮像装置およびその制御方法 |
-
2016
- 2016-04-05 JP JP2016075646A patent/JP6663278B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2017188764A (ja) | 2017-10-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7019636B2 (ja) | 映像投射装置 | |
JP5045212B2 (ja) | 顔画像撮像装置 | |
US10185152B2 (en) | Vehicle display device | |
US7771058B2 (en) | Projection display apparatus | |
JP6443122B2 (ja) | 車両用表示装置 | |
US11159744B2 (en) | Imaging system, and mobile system | |
JP2015231828A (ja) | 表示装置、移動体 | |
KR101725512B1 (ko) | 프로젝터 및 프로젝터의 제어 방법 | |
JP2008205914A (ja) | 画像処理装置 | |
CN212719323U (zh) | 照明装置和测距模块 | |
JP2018110057A (ja) | 照明システム、照明方法及びプログラム | |
JP2006212717A (ja) | ロボット装置 | |
JP2016159656A (ja) | 車両用表示装置 | |
JP6663278B2 (ja) | 車室内用カメラの設置支援方法および車室内用カメラ | |
JP2008258778A (ja) | 撮像システム | |
US11947128B2 (en) | Digital illumination assisted gaze tracking for augmented reality near to eye displays | |
WO2018180596A1 (ja) | 車両用表示装置 | |
JP2007104036A (ja) | 表示装置 | |
JP7123937B2 (ja) | 制御装置、制御方法、並びに撮像装置 | |
JP2005231605A (ja) | 後方確認装置 | |
JP6874769B2 (ja) | 車両用表示装置 | |
JP2008128867A (ja) | タイヤ向き特定装置 | |
JP2007314023A (ja) | 運転支援システム | |
JP2022012829A (ja) | ドライバモニタ装置及びドライバモニタ方法 | |
JP2003011722A (ja) | 夜間走行支援装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20180228 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20180301 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190304 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20191113 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20191126 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200109 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200121 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200214 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6663278 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |