WO2006087791A1

WO2006087791A1 - 画像処理方法、画像処理システム、画像処理装置及びコンピュータプログラム

Info

Publication number: WO2006087791A1
Application number: PCT/JP2005/002468
Authority: WO
Inventors: Hisao Ito; Kozo Baba; Akiyoshi Tafuku; Masatoshi Tohno; Taku Katagiri
Original assignee: Fujitsu Limited
Priority date: 2005-02-17
Filing date: 2005-02-17
Publication date: 2006-08-24
Also published as: CN101124612A; JPWO2006087791A1; US7991202B2; JP4397414B2; CN101124612B; US20070292000A1

Abstract

　例えば車両に搭載され運転者の顔を撮像する車載カメラを用いたシステムにおいて、局所的な照度の変化が生じているときでも、運転者の顔の輪郭の幅等の検出対象の縁部の位置を精度良く検出することが可能な画像処理方法、画像処理システム、画像処理装置及びコンピュータプログラムを提供する。　水平方向等の画像の第１方向に並ぶ画素の輝度を二次微分し、二次微分した結果に基づくデータを垂直方向等の第２方向に積算し、積算した結果に基づき画像中の検出対象の第１方向の位置を検出する。

Description

画像処理方法、画像処理システム、画像処理装置及びコンピュータプログラム

技術分野

[0001] 本発明は、二次元に配列された複数の画素を含む画像から特定の検出対象を検出する画像処理装置を用いた画像処理方法、該画像処理方法を適用した画像処理システム、該画像処理システムにて用いられる画像処理装置、及び該画像処理装置を実現するためのコンピュータプログラムに関し、特に検出対象の検出精度を向上させる画像処理方法、画像処理システム、画像処理装置及びコンピュータプログラムに関する。

背景技術

[0002] 自動車等の車両の運転を支援する装置として、運転者の顔を撮像することが可能な位置に配置された車載カメラで運転者の顔を撮像し、得られた画像カゝら運転者の顔の輪郭、並びに目及び鼻孔の位置を検出する画像処理を行う画像処理装置が提案されている（例えば、特許文献 1参照)。この様な装置を用いることにより、運転者の状況を検知し、脇見運転、居眠り運転等の運転者の状況に応じた警告等の運転支援を行うシステムを構成することも可能である。なお西日等の外光が車両内の運転者の顔に差し込む状況が煩雑に生じるため、運転中の運転者の顔の照度は一定ではないが、運転者の顔を撮像して得られる画像の輝度が一定になる様に、車載カメラのオートゲイン機能により、或程度の調整が行われる。

特許文献 1：特開 2004-234367号公報

発明の開示

発明が解決しょうとする課題

[0003] し力しながら運転者の顔に対して一様に太陽光、反射光等の外光が照射される場合、オートゲイン機能により対応することが可能であるが、照射される外光が一様でない場合、画像全体の輝度を調整するオートゲイン機能では、局所的な照度の変化に対応することができない。例えば顔の左半分だけに太陽光が当たる偏変化が生じている場合、太陽光が当たっていない暗い部分を顔として認識することができず、明るい部分だけを顔の輪郭として検出する誤検出が生じるという問題がある。また顔に対して誤検出を行った場合、目及び鼻孔の位置等の顔の中に存在する部位にっ、ても誤検出を行うことになるとヽぅ問題がある。

[0004] 本発明は斯力る事情に鑑みてなされたものであり、撮像等の処理により得られた画像の第 1方向に並ぶ画素を二次微分し、二次微分した結果に基づくデータを第 1方向と異なる第 2方向に積算した結果に基づき、画像内に示される運転者の顔等の検出対象の位置を検出することにより、例えば顔の一部だけに太陽光が当たる偏変化が生じている場合でも、検出対象である顔の位置を精度良く検出することが可能な画像処理方法、該画像処理方法を適用した画像処理システム、該画像処理システムにて用いられる画像処理装置、及び該画像処理装置を実現するためのコンピュータプログラムの提供を目的とする。

課題を解決するための手段

[0005] 第 1発明に係る画像処理方法は、二次元に配列された複数の画素を含む画像から特定の検出対象を検出する画像処理装置を用いた画像処理方法にぉヽて、画像の第 1方向に並ぶ画素を二次微分し、二次微分した結果に基づくデータを第 1方向と異なる第 2方向に積算し、積算した結果に基づき画像中の検出対象の第 1方向の位置を検出することを特徴とする。

[0006] 本発明では、例えば検出対象が、車載カメラ等の撮像装置の撮像により得られた運転者の顔である場合で、車両内に差し込む西日等の外光の影響により、運転者の顔に対し局所的な照度の変化が生じているときでも、照度の変化の影響を受けにくい二次微分画像を用いることにより、顔の輪郭等の検出対象の位置を精度良く検出することが可能である。

[0007] 第 2発明に係る画像処理システムは、二次元に配列された複数の画素を含む画像から特定の検出対象を検出する画像処理装置を備える画像処理システムにおいて、画像の第 1方向に並ぶ画素を二次微分する手段と、二次微分した結果に基づくデータを第 1方向と異なる第 2方向に積算する手段と、積算した結果に基づき画像中の検出対象の第 1方向の位置を検出する検出手段とを備えることを特徴とする。 [0008] 本発明では、二次微分画像を用いることにより、検出対象の縁部 (エッジ)を際だたせることができ、第 2方向に積算して、第 1方向における検出対象の位置を検出することにより、第 1方向における縁部を精度良く検出することができる。例えば検出対象力車載カメラ等の撮像装置の撮像により得られた運転者の顔である場合で、運転者の顔に対し局所的な照度の変化が生じているときでも、顔の輪郭等の検出対象の縁部を精度良く検出することが可能である。

[0009] 第 3発明に係る画像処理システムは、二次元に配列された複数の画素を含む画像から特定の検出対象を検出する画像処理装置を備える画像処理システムにおいて、画像の第 1方向に並ぶ画素の列毎に画素の輝度を二次微分する手段と、二次微分した結果に基づいて、第 1方向の画素の列の夫々力特定点を検出する手段と、各列で検出した特定点を第 1方向と異なる第 2方向に積算する手段と、積算した結果に基づき画像中の検出対象の第 1方向の位置を検出する検出手段とを備えることを特徴とする。

[0010] 本発明では、二次微分画像を用いることにより、検出対象の縁部を際だたせることができ、例えば縁部の可能性が高い特定点の数を第 2方向に積算することで、第 1方向における縁部の位置を検出する精度を向上させることが可能である。しかも例えば検出対象が、車載カメラ等の撮像装置の撮像により得られた運転者の顔である場合で、運転者の顔に対し局所的な照度の変化が生じているときでも、二次微分画像であるので、照度の局所的な変化による悪影響を抑制して顔の輪郭等の検出対象の縁部を精度良く検出することが可能である。

[0011] 第 4発明に係る画像処理システムは、第 3発明において、前記特定点は、画素の輝度の第 1方向の変化を二次微分した結果から求まる極小点であることを特徴とする。

[0012] 本発明では、輝度の変化の状況が変化する二次微分の結果力求まる極小点を特定点とすることにより、例えば検出対象が車載カメラ等の撮像装置の撮像により得られた運転者の顔である場合、運転者の顔の照度が一様でないとき場合でも、輝度の変化の状況が変化する特定点として、背景と顔との境目である顔の輪郭を検出することができるので、検出対象を精度良く検出することが可能である。

[0013] 第 5発明に係る画像処理システムは、第 3発明又は第 4発明において、第 1方向に並ぶ画素の列中の基準点を設定する手段を更に備え、前記検出手段は、特定点の積算値が最大値となる位置、及び該位置から基準点と異なる側で積算値が最大値より所定率低、値となる位置に基づ、て検出するように構成してあることを特徴とする。

[0014] 本発明では、例えば以前の検出結果より検出対象の中心付近と考えられる位置を基準点として設定し、特定点の数の積算値が最大値となる位置と、積算値が例えば最大値の 1Z2となる位置とに基づいて検出対象を検出することにより、検出対象を精度良く検出することが可能である。

[0015] 第 6発明に係る画像処理システムは、二次元に配列された複数の画素を含む画像から特定の検出対象を検出する画像処理装置を備える画像処理システムにおいて、画像の第 1方向に並ぶ画素の列毎に画素の輝度を二次微分する二次微分手段と、各列の二次微分値を第 1方向と異なる第 2方向に積算する積算手段と、積算した結果に基づき画像中の検出対象の第 1方向の位置を検出する検出手段とを備えることを特徴とする。

[0016] 本発明では、二次微分画像を用いることにより、検出対象の縁部を際だたせることができ、例えば縁部の可能性が高い輝度の二次微分値を第 2方向に積算することで、第 1方向における縁部の位置を検出する精度を向上させることが可能である。しかも例えば検出対象が、車載カメラ等の撮像装置の撮像により得られた運転者の顔である場合で、運転者の顔に対し局所的な照度の変化が生じているときでも、二次微分画像であるので、照度の局所的な変化による悪影響を抑制して顔の輪郭等の検出対象の縁部を精度良く検出することが可能である。

[0017] 第 7発明に係る画像処理システムは、第 6発明において、前記二次微分手段は、二次元のラプラシアンフィルタ処理であることを特徴とする。

[0018] ラプラシアンフィルタ処理を行うことにより、検出対象の縁部が際立ち、検出対象の位置の検出に適した二次微分処理を行うことが可能である。

[0019] 第 8発明に係る画像処理システムは、第 6発明又は第 7発明において、前記二次微分手段による二次微分後、二次微分値の度数分布に基づいて、二次微分値の基準値を決定する手段と、決定した基準値以上である画素の二次微分値を、所定値に変換する手段とを更に備え、前記積算手段は、所定値に変換後の二次微分値を積算するように構成して、ることを特徴とする。

[0020] 例えば二次微分値の分布を示すヒストグラムの全体の中で、高い値を有する 30% の画素を抽出すベぐ上位に分布する度数の 30%の位置に対応する二次微分値を基準値として決定し、決定した基準値以上の二次微分値を有する画素、即ち高い値を有する 30%の画素の二次微分値を所定値、例えば上限値に変換する。これにより二次微分値の高い値が強調されることになるので、縁部を際立たせることができ、検出対象の縁部の検出精度を向上させることが可能である。

[0021] 第 9発明に係る画像処理システムは、第 2発明乃至第 8発明のいずれかにおいて、二次微分の前に、原画像を縮小して二次微分用の画像を生成する手段を更に備えることを特徴とする。

[0022] 本発明では、縮小した画像に対して二次微分を行うことにより、処理負荷が大きい二次微分処理の処理量を少なくして、処理負荷を軽減し、処理を高速化することが可能である。

[0023] 第 10発明に係る画像処理システムは、第 2発明乃至第 9発明のいずれかにおいて、前記画像を生成する撮像装置を更に備え、前記検出対象は、前記撮像装置により撮像された人物の顔であり、前記第 1方向は、水平方向であり、前記第 2方向は、垂直方向であり、前記検出手段が検出する位置は、人物の水平方向の輪郭の位置であることを特徴とする。

[0024] 本発明では、車載カメラ等の撮像装置の撮像により得られた運転者の顔である場合で、車両内に差し込む西日等の外光の影響により、運転者の顔に対し局所的な照度の変化が生じているときでも、水平方向の輪郭、即ち顔の輪郭の幅を精度良く検出することが可能である。

[0025] 第 11発明に係る画像処理装置は、二次元に配列された複数の画素を含む画像から特定の検出対象を検出する画像処理装置において、画像の第 1方向に並ぶ画素を二次微分する手段と、二次微分した結果に基づくデータを第 1方向と異なる第 2方向に積算する手段と、積算した結果に基づき画像中の検出対象の第 1方向の位置を検出する手段とを備えることを特徴とする。

[0026] 本発明では、二次微分画像を用いることにより、検出対象の縁部 (エッジ)を際だたせることができ、第 2方向に積算して、第 1方向における検出対象の位置を検出することにより、第 1方向における縁部を精度良く検出することができる。例えば検出対象力車載カメラ等の撮像装置の撮像により得られた運転者の顔である場合で、運転者の顔に対し局所的な照度の変化が生じているときでも、顔の輪郭等の検出対象の縁部を精度良く検出することが可能である。

[0027] 第 12発明に係るコンピュータプログラムは、コンピュータに、二次元に配列された複数の画素を含む画像を示す画像データから特定の検出対象を検出させるコンビユータプログラムにおいて、コンピュータに、画像データにより示される画像の第 1方向に並ぶ画素を二次微分させる手順と、コンピュータに、二次微分した結果に基づくデータを第 1方向と異なる第 2方向に積算させる手順と、コンピュータに、積算した結果に基づき画像中の検出対象の第 1方向の位置を検出させる手順とを実行させることを特徴とする。

[0028] 本発明では、車載カメラ等の撮像装置が接続された車載コンピュータ等のコンビュータにて実行することで、コンピュータが画像処理装置として動作して、二次微分画像を用いることにより、検出対象の縁部を際だたせることができ、第 2方向に積算して、第 1方向における検出対象の位置を検出することにより、第 1方向における縁部を精度良く検出することができる。例えば検出対象が、車載カメラ等の撮像装置の撮像により得られた運転者の顔である場合で、運転者の顔に対し局所的な照度の変化が生じているときでも、顔の輪郭等の検出対象の縁部を精度良く検出することが可能である。

発明の効果

[0029] 本発明に係る画像処理方法、画像処理システム、画像処理装置及びコンピュータプログラムは、例えば車両に搭載された車載カメラ等の撮像装置により運転者の顔を撮像して得られた画像から、運転者の顔を検出対象として検出するシステムに適用され、水平方向等の画像の第 1方向に並ぶ画素の輝度を二次微分し、二次微分した結果に基づくデータを垂直方向等の第 2方向に積算し、積算した結果に基づき画像中の検出対象の第 1方向の位置を検出する。

[0030] この構成により、車両内に差し込む西日等の外光の影響により、運転者の顔に対し局所的な照度の変化が生じているときでも、照度の変化の影響を受けにくい二次微分画像を用いるので、顔の輪郭の幅等の検出対象の縁部の位置を精度良く検出することが可能である。

[0031] 詳細には、本発明の画像処理システム等は、第 1方向に二次微分した結果に基づき極小点等の特定点を検出し、検出した特定点の位置の数を第 2方向に積算し、そして例えば以前の検出結果より検出対象の中心付近と考えられる位置を基準点として設定し、特定点の積算値が最大値となる位置と、積算値が例えば最大値の 1Z2となる位置とに基づいて検出対象を検出する。

[0032] この構成により、二次微分画像を用いるので、検出対象の縁部を際立たせることができ、例えば検出対象が、車載カメラ等の撮像装置の撮像により得られた運転者の顔である場合で、運転者の顔に対し局所的な照度の変化が生じているときでも、二次微分画像であるので、照度の局所的な変化による悪影響を抑制して顔の輪郭等の検出対象の縁部を精度良く検出することが可能である等、優れた効果を奏する。し力も輝度の変化の状況が変化する二次微分の結果力求まる極小点を特定点とすることにより、運転者の顔の照度が一様でない場合でも、輝度の変化の状況が変化する点として、背景と顔との境目である顔の輪郭を検出することができるので、検出対象を精度良く検出することが可能である等、優れた効果を奏する。そして検出対象の検出の精度を向上させることにより、運転者の状況を検知し、脇見運転の警告等の運転支援を行うシステムに適用した場合には、外光の状況が常に変化する環境下で運転を行った場合でも、誤検出の少な!、信頼のおける運転支援システムを構築することが可能である等、優れた効果を奏する。

[0033] また本発明の画像処理システム等は、二次元のラプラシアンフィルタ処理等の二次微分処理により、画素の輝度を第 1方向に二次微分して得られた二次微分値の度数分布を示すヒストグラムに基づヽて、例えば全体の中で二次微分値が高ヽ値を有する 30%の画素を抽出すベぐ上位に分布する度数の 30%の位置に対応する二次微分値を基準値として決定し、決定した基準値以上の二次微分値を有する画素、即ち高い値を有する 30%の画素の二次微分値を所定値、例えば上限値に変換した上で第 2方向に積算し、積算した結果に基づいて検出対象を検出する。 [0034] この構成により、二次微分画像を用いるので、検出対象の縁部を際だたせることができ、例えば検出対象が、車載カメラ等の撮像装置の撮像により得られた運転者の顔である場合で、運転者の顔に対し局所的な照度の変化が生じているときでも、二次微分画像であるので、照度の局所的な変化による悪影響を抑制して顔の輪郭等の検出対象の縁部を精度良く検出することが可能である等、優れた効果を奏する。し力も二次微分値が高い値を有する 30%の画素については、その値を上限値に変換するので、二次微分値の高い値が強調されることとなり、縁部を際立たせることができ、検出対象の縁部の検出精度を向上させることが可能である等、優れた効果を有する。そして検出対象の検出の精度を向上させることにより、運転者の状況を検知し、脇見運転の警告等の運転支援を行うシステムに適用した場合には、外光の状況が常に変化する環境下で運転を行った場合でも、誤検出の少なヽ信頼のおける運転支援システムを構築することが可能である等、優れた効果を奏する。

[0035] また前処理として、撮像した画像を縮小した上で二次微分することにより、処理負荷が大きい二次微分処理の処理量を少なくして、処理負荷を軽減することが可能であり、従って運転支援を行うシステムに適用した場合には、高速な処理を実現することができ、咄嗟の状況でも反応することが可能な運転支援システムを構築することが可能である等、優れた効果を奏する。

図面の簡単な説明

[0036] [図 1]本発明の実施の形態 1における画像処理システムの構成例を示すブロック図である。

[図 2]本発明の実施の形態 1における画像処理システムにて用いられる画像処理装置の処理を示すフローチャートである。

[図 3]本発明の実施の形態 1における画像処理システムの画像の抽出から基準点及び検出範囲の設定までの処理の例を概念的に示す説明図である。

[図 4]本発明の実施の形態 1における画像処理システムの画像の輝度の水平方向の分布の例を示す説明図である。

[図 5]本発明の実施の形態 1における画像処理システムの画像の輝度の極小点の積算値の分布の例を示すグラフである。 [図 6]本発明の実施の形態 1における画像処理システムの画像に対する検出対象の検出結果の例を概念的に示す説明図である。

[図 7]本発明の実施の形態 2における画像処理システムにて用いられる画像処理装置の処理を示すフローチャートである。

[図 8]本発明の実施の形態 2における画像処理システムの画像の抽出から基準点及び検出範囲の設定までの処理の例を概念的に示す説明図である。

[図 9]本発明の実施の形態 2における画像処理システムのラプラシアンフィルタ処理に用いられる係数の例を示す説明図である。

[図 10]本発明の実施の形態 2における画像処理システムのラプラシアンフィルタ処理を行った画像の例を示す説明図である。

[図 11]本発明の実施の形態 2における画像処理システムの一部の値を変換した二次微分値の積算値の分布の例を示すグラフである。

[図 12]本発明の実施の形態 3における画像処理システムの構成例を示すブロック図である。

符号の説明

[0037] 1 撮像装置

2 画像処理装置

3 コンピュータプログラム

4 記録媒体

発明を実施するための最良の形態

[0038] 以下、本発明をその実施の形態を示す図面に基づいて詳述する。

[0039] 実施の形態 1.

図 1は、本発明の実施の形態 1における画像処理システムの構成例を示すブロック図である。図 1中 1は、車両に搭載された車載カメラ等の撮像装置であり、撮像装置 1 は、画像処理を行う車載用コンピュータ等の画像処理装置 2に専用ケーブル等の通信線又は有線或いは無線にて構成される車内 LAN(Local Area Network)等の通信網にて接続されている。撮像装置 1は、車両内のハンドル、ダッシュボード等の運転者の前方に配設され、運転者の顔を撮像対象として運転者の顔の横及び縦が画像の水平方向及び垂直方向になるように撮像可能な状態に調整されている。

[0040] 撮像装置 1は、装置全体を制御する MPU(Micro Processor Unit) 11と、 MPU11の制御に基づき実行される各種コンピュータプログラム及びデータを記録する ROM (Read Only Memory)12と、 ROM12に記録されたコンピュータプログラムの実行時に一時的に発生する各種データを記憶する RAM(Random Access Memory)13と、 CC D(Charge Coupled Device)等の撮像素子を用いて構成される撮像部 14と、撮像部 1 4の撮像により得られたアナログの画像データをデジタルデータに変換する AZD変翻15と、 AZD変翻15によりデジタルに変換された画像データを一時的に記憶するフレームメモリ 16と、画像処理装置 2との通信に用いられる通信インタフェース 1 7とを備えている。

[0041] 撮像装置 1では、撮像部 14により、連続的又は断続的に撮像処理を行い、撮像処理に基づいて例えば 1秒当たり 30枚の画像データ（画像フレーム）を生成して AZD 変換器 15へ出力し、 AZD変換器 15では、画像を構成する各画素を 256階調（lBy t_e)等の階調にて示されるデジタル画像データに変換し、フレームメモリ 16に記憶させる。フレームメモリ 16に記憶させた画像データは、所定のタイミングで通信インタフース 17から画像処理装置 2へ出力される。画像を構成する各画素は、二次元に配列されており、画像データは、平面直角座標系、所謂 xy座標系にて示される各画素の位置、及び階調値として示される各画素の輝度を示すデータを含んでいる。なお各画素に対し夫々 xy座標系による座標を示すのではなぐデータ内に配列される順序により座標を示す様にしても良い。そして画像の水平方向は、画像データの X軸方向に対応し、画像の垂直方向は、画像データの y軸方向に対応する。

[0042] 画像処理装置 2は、装置全体を制御する CPU(Central Processing Unit) 21と、本発明のコンピュータプログラム 3及びデータ等の各種情報を記録した CD— ROM等の記録媒体 4から情報を読み取る CD - ROMドライブ等の補助記憶部 22と、補助記憶部 22により読み取った各種情報を記録するハードディスク（以下 HDという） 23と、 H D23に記録されたコンピュータプログラム 3の実行時に一時的に発生する各種データを記憶する RAM24と、揮発性メモリにて構成されるフレームメモリ 25と、撮像装置 1との通信に用いられる通信インタフェース 26とを備えている。そして HD23から本発明のコンピュータプログラム 3及びデータ等の各種情報を読み取り、 RAM24に記憶させてコンピュータプログラム 3に含まれる各種手順を CPU21により実行することで、車載用コンピュータは、本発明の画像処理装置 2として動作する。 HD23に記録されるデータとしては、コンピュータプログラム 3の実行に係るデータ、例えば後述する検出範囲のデータ等の様々なデータがある。

[0043] 画像処理装置 2では、撮像装置 1から出力された画像データを通信インタフェース 26にて受け付け、受け付けた画像データをフレームメモリ 25に記憶し、フレームメモリ 25に記憶した画像データを読み出して、様々な画像処理を行う。受け付けた画像データに対して実行する様々な画像処理とは、画像データから検出対象 (撮像時の撮像対象)である運転者の顔の輪郭の検出並びに目及び鼻孔の位置の特定等の検出対象に関する検出処理であり、例えば本願出願人により出願された特開 2004— 2 34494号公報、特開 2004-234367号公報等の文献に記載された処理である。なおこれらの画像処理は、必ずしも特開 2004— 234494号公報及び特開 2004— 234 367号公報に記載された処理に限るものではなぐその用途、ハードウェア構成、他のアプリケーションプログラムとの連携等の条件に応じて適宜選択することが可能である。

[0044] 次に本発明の実施の形態 1における画像処理システムにて用いられる各種装置の処理について説明する。図 2は、本発明の実施の形態 1における画像処理システムにて用いられる画像処理装置 2の処理を示すフローチャートである。画像処理装置 2 では、 RAM24に記憶させたコンピュータプログラム 3を実行する CPU21の制御により、撮像装置 1の撮像により得られ通信インタフェース 26を介して受け付けた画像データをフレームメモリ 25から抽出し (S101)、抽出した画像データにより示される画像の水平方向（第 1方向）に並ぶ画素列中の基準点、及び検出範囲を設定する（S102 )。設定される基準点とは、検出対象である運転者の顔の縦方向の中心線が存在する確率が高いと考えられる点であり、例えば HD23に記録又は RAM24に記憶している前回の検出結果力予測される。ただし必ずしも設定した基準点が顔の中心線上に有る必要はない。運転者の顔の縦方向の中心線は、画像データにより示される画像内では、垂直方向を示す X座標にて示される。そしてステップ S 102において、水平方向に並ぶ画素列中では、当該 X座標に対応する点が基準点として設定される。検出範囲とは、検出対象を検出すべく画像内に設定される検出対象が検出される可能性が高い一辺が画像の水平方向に平行な四角形の領域であり、画像全体から検出対象を検出するのではなぐ範囲を絞り込むことにより、検出する処理の負荷を軽減することができる。

[0045] 画像処理装置 2では、 CPU21の制御により、画像の水平方向に並ぶ画素列に対し、基準点力も外側の方向へ、画素の輝度を所定の演算にて二次微分し (S103)、二次微分した結果に基づいて、水平方向の各画素列における極小点を検出し (S10 4)、検出した結果である極小点の位置 (X座標）を RAM24に記憶させる（S 105)。水平方向の画素列に対する極小点の検出及び記憶は、画像の検出範囲内の全ての画素列に対して行われる。また RAM24内には、検出した極小点を記憶させる極小点分布テーブルが形成される。なお極小点分布テーブルは、 RAM24ではなく HD2 3内に形成する様にしても良!、。

[0046] そして画像処理装置 2では、 CPU21の制御により、 RAM24に形成する極小点分布テーブルに記憶させた各画素列の極小点を垂直方向（第 2方向）に積算し (S106 )、積算した結果に基づいて、検出対象の水平方向の位置 (X座標)を検出する (S10 7)。ステップ S 106における積算とは、各画素列の極小点の位置 (X座標）^^計し、位置毎の極小点の数を算出する処理である。ステップ S 107にて検出される水平方向の位置とは、基準点から各側について、特定点の積算値が最大値となる位置、及び最大値となる位置から外側で、積算値が最大値の 1Z2となる位置である。即ち検出対象である運転者の顔に対し、左側で積算値が最大値となる位置、該位置の外側で最大値の 1Z2となる位置、並びに右側で積算値が最大となる位置、該位置の外側で最大値の 1Z2となる位置を検出対象の水平方向の位置として検出する。

[0047] そして画像処理装置 2では、検出した結果を HD23に記録及び/又は RAM24に記憶し、検出した結果に基づく目及び鼻孔の位置の検出等の各種画像処理を行い、またその結果に基づく運転支援処理を行う。

[0048] 図 2のフローチャートを用いて説明した処理を更に具体的に説明する。図 3は、本発明の実施の形態 1における画像処理システムの画像の抽出から基準点及び検出範囲の設定までの処理の例を概念的に示す説明図である。図 3中、実線で示した外側の枠がステップ S101にて抽出した画像データにより示される画像の全体であり、検出対象である運転者の顔の画像が含まれて!/、る。一点鎖線で示した内側の枠がステツプ S102にて設定した検出範囲である。図 3の横方向の太線 Lは、画像を構成する水平方向に並ぶ画素列を示し、縦方向の破線は、運転者の顔の中心線 Cであり、中心線 Cと画素列との交点力ステップ S102にて設定される基準点となる。

[0049] 図 4は、本発明の実施の形態 1における画像処理システムの画像の輝度の水平方向の分布の例を示す説明図である。図 4 (a)は、図 3を用いて示した画像の太線の位置で水平方向に並ぶ画素の輝度の分布を示しており、運転者の顔の中心線じの付近、即ち鼻に対応する位置の輝度が高ぐ中心線 C力外側に行く程、輝度が低くなる。このように撮像装置 1に近い程高い輝度になるという輝度の分布は、撮像装置 1の近くに照明装置を配置することにより顕著となる。このように分布した画素列の輝度を二次微分するステップ S103の処理は、下記の式 1を用いた演算により行われる

[0050] F (x, n) =A(x-n) +A(x+n)-2 X A(x) …式 1

但し、 F (x, n)：位置 xでの二次微分値

X：水平方向の画素列の X座標

n:定数 (ここでは 2及び 3)

A(x)：位置 Xでの輝度値

[0051] そしてステップ S 104では、式 1により算出した二次微分値 F (x, n)が下記の条件を満足する位置 (X座標）を極小点として検出する。図 4 (b)は、図 4 (a)に示す輝度の分布を二次微分した結果に基づき検出された極小点の画素列上の位置を X印にて示している。

[0052] F (x, 2) <N …式 2

F (x, 3) <N …式 3

上記式 2、式 3をヽずれも満足する X (式 2及び式 3の論理積が真値）

但し、 N :所定の閾値

[0053] 図 4に示す例では、点 a、点 b、点 c及び点 dとして示した 4点が二次微分した結果に基づく極小点として検出される。図 4 (a)に示す点 aは、図 4に向かって左側の顔の輪郭、点 bは、鼻の付け根力も小鼻にかけての鼻の縁部、点 cは、図 4に向力つて右側の鼻の縁部、そして点 dは、顔の輪郭の位置に夫々ほぼ対応する。ただしステップ S 1 04における極小点の検出では、例えば検出対象の顔ではない背景力も極小点を検出する可能性がある。従って基準点から外側の方向へ画素の輝度を二次微分していき、その結果が所定の条件を満足した場合、背景の可能性が高いと判断し、当該画素列における二次微分を終了する。

[0054] 所定の条件としてここでは 3つの条件を設定する例を示す。第 1条件は、 2つ目の極小点を検出した場合である。基準点から外側の方向へ二次微分した場合、図 4 (a )に示す様に鼻の縁部及び顔の輪郭の 2点で極小点が検出される。そこで 3点目以降は、背景であると判断するのである。なおここでいう 2点とは、基準点から一方へ二次微分した場合の 2点であり、左方向及び右方向に二次微分するので、画素列全体としては最大 4点の極小点が検出されることになる。第 2条件は、輝度値の変化が所定値以下となった場合である。例えば輝度が 256段階に分級した階調値として示されている場合、一の画素との輝度差が 16以下である画素が、一の画素から 35画素分連続した場合、背景であると判断するのである。第 3条件は、輝度値が所定の閾値以下となった場合である。このように設定された第 1条件、第 2条件及び第 3条件のいずれか一つでも満足した場合、当該画素列について基準点から行った一方への二次微分を終了する。

[0055] 図 5は、本発明の実施の形態 1における画像処理システムの画像の輝度の極小点の積算値の分布の例を示すグラフである。図 5は、ステップ S104にて検出した極小点をステップ S 106にて積算した結果を示すグラフであり、横軸が画像の水平方向に対応し、縦軸が極小点の度数を示している。図 5に示す様に極小点を垂直方向に積算した場合、度数の分布は、検出対象である運転者の顔の両側の輪郭の付近にピークを有する形状となる。ここで図 5に向かって左側のピークに対し、積算値が最大となる位置を位置 Linとし、最大値となる位置力外側で積算値が最大値の 1Z2となる位置を位置 Loutとする。同様にして図 5に向力つて右側のピークに対し、積算値が最大値となる位置を位置 Rinとし、最大値となる位置力外側で積算値が最大値の 1 Z2となる位置を位置 Routとする。

[0056] 図 6は、本発明の実施の形態 1における画像処理システムの画像に対する検出対象の検出結果の例を概念的に示す説明図である。図 6は、図 3に示した検出対象である運転者の顔が示された画像と、図 5に示した極小点の積算結果に基づき検出した位置とを示している。図 6における縦方向に示した線力極小点の積算結果に基づき検出した位置 Lin、位置 Lout、位置 Rin及び位置 Routを示しており、図 6に示す様に、検出した 4つの位置は、検出対象の輪郭にほぼ対応している。即ちステップ S 107として説明した様に、積算した結果力も検出対象の水平方向の位置、即ち検出対象である運転者の顔の輪郭の位置が検出される。

[0057] 前記実施の形態 1に示した各種条件等は、あくまでも一例であり、システム構成、目的等の応じて適宜設定することが可能である。例えば、ステップ S 107では、極小値の積算値が最大値となる位置及び最大値の 1Z2となる位置に基づいて検出対象の水平方向の位置を検出する形態を示したが、本発明はこれに限らず、最大値となる位置のみに基づいて検出する様にしても良ぐまた 1Z2以外の値、即ち最大値より所定率低い任意に設定された値の位置に基づいて水平方向の位置を検出する様にしても良い。

[0058] 実施の形態 2.

実施の形態 2は、実施の形態 1とは異なる二次微分を行う形態である。なお実施の形態 2における画像処理システムの構成は、実施の形態 1と同様であるので、実施の形態 1を参照するものとし、その説明を省略する。

[0059] 本発明の実施の形態 2における画像処理システムにて用いられる各種処理について説明する。図 7は、本発明の実施の形態 2における画像処理システムにて用いられる画像処理装置 2の処理を示すフローチャートである。画像処理装置 2では、 RAM2 4に記憶させたコンピュータプログラム 3を実行する CPU21の制御により、撮像装置 1 の撮像により得られ通信インタフェース 26を介して受け付けた画像データをフレームメモリ 25から抽出し (S201)、抽出した画像データにより示される画像を例えば垂直方向に 1Z8、水平方向に 1Z8の割合で縮小し (S202)、縮小した画像データにより示される画像の水平方向（第 1方向）に並ぶ画素列中の基準点、及び検出範囲を設定する（S203)。縮小処理を行うことにより、実施の形態 2における二次微分処理時の検出対象の検出が容易となる。なお縮小処理を行うことにより、二次微分時の処理負荷を軽減するという効果も生じるので、前述した実施の形態 1に対しても縮小処理を行う様にしても良い。また実施の形態 2において縮小率の設定は任意に設定することが可能であり、更には縮小処理を省略することも可能である。

[0060] 画像処理装置 2では、 CPU21の制御により、画像の水平方向に並ぶ画素列に対し、基準点力も外側の方向へ、画素の輝度を二次元のラプラシアンフィルタ処理により二次微分し (S 204)、各画素の二次微分値の度数分布に基づいて、二次微分値の基準値を決定し (S205)、決定した基準値以上である画素の二次微分値を、所定値に変換し (S206)、一部の値を変換した二次微分値を RAM24に記憶させる（S207 )。処理の対象となる画像の輝度は 256段階に分級された階調値として示されており、画像の縁部を明確ィ匕するラプラシアンフィルタ処理による二次微分を行うことにより、検出対象である運転者の顔の輪郭の階調値が大きくなる。またステップ S205にて二次微分値の度数分布に基づき決定される基準値は、ここでは階調値の上位に分布する度数の 30%の位置の二次微分値、例えば画素数が 1000である場合に、 30 0番目に高い値の二次微分値を基準値として決定する。即ち二次微分値の分布を示すヒストグラムの全体の中で、高い値を有する 30%の画素を抽出すベぐ上位に分布する度数の 30%の位置に対応する二次微分値を基準値として決定する。そしてステツプ S206の所定値とは、最大値、例えば階調値が 0— 255である場合、 255に設定されている。即ちステップ S 205— S206の処理により、二次微分値の上位 30%を最大値に変換することで、ラプラシアンフィルタ処理による二次微分で明確にされた検出対象の輪郭を、更に強調することになる。水平方向の画素列に対する二次微分に係る処理及び記憶は、画像の検出範囲内の全ての画素列に対して行われる。また RAM24内には、二次微分値を記憶させる二次微分値分布テーブルが形成される。なお二次微分値分布テーブルは、 RAM24ではなく HD23内に形成する様にしても良い。

[0061] そして画像処理装置 2では、 CPU21の制御により、 RAM24に形成する二次微分値分布テーブルに記憶させた各画素列の二次微分値を垂直方向（第 2方向）に積算し (S208)、積算した結果に基づいて、検出対象の水平方向の位置 (X座標）を検出する（S209)。ステップ S209にて検出される水平方向の位置とは、基準点から各側について、二次微分値の積算値が極大値となる位置、ここでは極大値の中で積算値が上位の 3点となる位置である。

[0062] そして画像処理装置 2では、検出した結果を HD23に記録及び Z又は RAM24〖こ記憶し、検出した結果に基づく目及び鼻孔の位置の検出等の各種画像処理を行い、またその結果に基づく運転支援処理を行う。

[0063] 図 7のフローチャートを用いて説明した処理を更に具体的に説明する。図 8は、本発明の実施の形態 2における画像処理システムの画像の抽出から基準点及び検出範囲の設定までの処理の例を概念的に示す説明図である。図 8中、実線で示した外側の枠がステップ S 202にて縮小した画像の全体であり、検出対象である運転者の顔の画像が含まれて、る。一点鎖線で示した内側の枠がステップ S203にて設定した検出範囲である。図 8の横方向の太線 Lは、画像を構成する水平方向に並ぶ画素列を示し、縦方向の破線は、運転者の顔の中心線 Cであり、中心線 Cと画素列との交点力ステップ S203にて設定される基準点となる。

[0064] 図 9は、本発明の実施の形態 2における画像処理システムのラプラシアンフィルタ処理に用いられる係数の例を示す説明図である。ステップ S204にて行う二次元のラプラシアンフィルタ処理では、一の画素の輝度と、該画素を中心として、上下左右及び斜め方向に隣接する八の画素の輝度に基づいて一の画素の二次微分値を算出する処理である。図 9に示す係数を用いる場合、一の画素の輝度及び隣接する八の画素の輝度に対し、夫々対応する位置の係数を乗じ、その結果を合計した値が二次微分値として算出される輝度となる。

[0065] 図 10は、本発明の実施の形態 2における画像処理システムのラプラシアンフィルタ処理を行った画像の例を示す説明図である。ステップ S204にて二次元のラプラシァンフィルタ処理を行うことにより、図 8に例示した画像は、検出対象である運転者の顔の輪郭等の縁部が明確化された図 10に示す画像に変換される。

[0066] 図 11は、本発明の実施の形態 2における画像処理システムの一部の値を変換した二次微分値の積算値の分布の例を示すグラフである。図 11は、ステップ S204— S2 06の処理の結果により求めた値をステップ S208にて積算した結果を示すグラフであり、横軸が画像の水平方向に対応し、縦軸が積算値を示している。図 11に示す様に二次微分値を垂直方向に積算した場合、検出対象である運転者の顔の両側の輪郭の付近にピークを有する形状となる。ここで図 11に向力つて左側のピークに対し、極大値の最大値となる位置を Ll、 2番目及び 3番目に大き、値の位置を夫々 L2及び L 3とする。同様にして図 11に向力つて右側のピークに対し、極大値の最大値となる位置を Rl、 2番目及び 3番目に大きい値の位置を夫々 R2及び R3とする。これらの 6点を検出対象である運転者の顔の輪郭の位置の候補、即ち顔の輪郭である可能性が高い位置として検出する。そして検出された 6点を用いて、運転者の輪郭の位置の更なる検出処理、例えば他の方法にて検出された輪郭の位置との比較による最終的な輪郭の位置の決定等の処理を行う。

[0067] 前記実施の形態 2に示した各種条件等は、あくまでも一例であり、システム構成、目的等の応じて適宜設定することが可能である。例えば、ステップ S209では、二次微分値の積算値の極大値に基づき左右夫々 3点の位置に基づいて検出対象の水平方向の位置を検出する形態を示したが、本発明はこれに限らず、極大値が最大となる位置のみに基づいて検出する様にしても良い等、様々な条件設定を行う事が可能である。

[0068] 実施の形態 3.

実施の形態 3は、実施の形態 2において、画像を縮小する処理を撮像装置 1にて行う構成である。図 12は、本発明の実施の形態 3における画像処理システムの構成例を示すブロック図である。図 12中 1は、撮像装置であり、撮像装置 1は、 MPU11、 R OM12、 RAM13、撮像部 14、 A/D変換器 15、フレームメモリ 16及び通信インタフエース 17、並びに画像の縮小処理を行う縮小回路 18を備えている。

[0069] そして撮像装置 1では、撮像部 14により撮像処理を行い、 AZD変換器 15にてデジタル画像データに変換した画像を、縮小回路 18にて縮小し、フレームメモリ 16に記憶させる。そしてフレームメモリ 16に記憶させた縮小された画像の画像データは、所定のタイミングで通信インタフェース 17から画像処理装置 2へ出力される。

[0070] 画像処理装置 2は、 CPU21、本発明のコンピュータプログラム 3及びデータ等の各種情報を記録した記録媒体 4から情報を読み取る補助記憶部 22、 HD23、 RAM24 、フレームメモリ 25及び通信インタフェース 26を備えて!/、る。

[0071] 本発明の実施の形態 3における画像処理システムでは、実施の形態 2のステップ 2 02の縮小処理に対応する処理を、撮像装置 1の縮小回路 18にて行い、縮小処理を行った画像を示す画像データを画像処理装置 2へ出力する。画像処理装置 2における処理は、実施の形態 2と同様であるので、実施の形態 2を参照するものとし、説明を省略する。但し実施の形態 2のステップ S202における縮小処理は、既に撮像装置 1 にて行われて、るため実行されな、ことは言うまでもな、。

[0072] 前記実施の形態 3では、縮小処理を撮像装置 1にて行う形態を示したが、実施の形態 1及び実施の形態 2の処理の一部又は全部を撮像装置 1に行わせることにより、更に無数の形態に展開することが可能である。

[0073] 前記実施の形態 1乃至 3では、平面直角座標系にて示される画像データに対する処理を示したが本発明はこれに限らず、例えばノヽ-カム状に配置された画素を含む画像を扱う場合に第 1方向と第 2方向とが 60度の角度をもって交差する座標系にて示される画像データに適用する等、様々な座標系の画像データに適用することが可能である。

[0074] また前記実施の形態 1乃至 3では、車両の運転者を検出対象とする形態を示したが、本発明はこれに限らず、様々な人物、更には人物以外の生物又は無生物を検出対象とする形態であっても良い。

[0075] さらに前記実施の形態 1乃至 3では、車載カメラを用いた撮像装置の撮像により生成された画像から検出対象を検出する形態を示したが、本発明はこれに限らず、様々な装置により様々な方法にて生成された画像を HDに記録しておき、記録している画像から特定の検出対象を検出する様々な画像処理に適用することが可能である。

Claims

請求の範囲

[1] 二次元に配列された複数の画素を含む画像から特定の検出対象を検出する画像処理装置を用いた画像処理方法にお!、て、

画像の第 1方向に並ぶ画素を二次微分し、

二次微分した結果に基づくデータを第 1方向と異なる第 2方向に積算し、積算した結果に基づき画像中の検出対象の第 1方向の位置を検出することを特徴とする画像処理方法。

[2] 二次元に配列された複数の画素を含む画像から特定の検出対象を検出する画像処理装置を備える画像処理システムにお!/ヽて、

画像の第 1方向に並ぶ画素を二次微分する手段と、

二次微分した結果に基づくデータを第 1方向と異なる第 2方向に積算する手段と、積算した結果に基づき画像中の検出対象の第 1方向の位置を検出する検出手段とを備えることを特徴とする画像処理システム。

[3] 二次元に配列された複数の画素を含む画像から特定の検出対象を検出する画像処理装置を備える画像処理システムにお!/ヽて、

画像の第 1方向に並ぶ画素の列毎に画素の輝度を二次微分する手段と、二次微分した結果に基づいて、第 1方向の画素の列の夫々力特定点を検出する手段と、

各列で検出した特定点を第 1方向と異なる第 2方向に積算する手段と、積算した結果に基づき画像中の検出対象の第 1方向の位置を検出する検出手段とを備えることを特徴とする画像処理システム。

[4] 前記特定点は、画素の輝度の第 1方向の変化を二次微分した結果力求まる極小点であることを特徴とする請求項 3に記載の画像処理システム。

[5] 第 1方向に並ぶ画素の列中の基準点を設定する手段を更に備え、

前記検出手段は、特定点の積算値が最大値となる位置、及び該位置から基準点と異なる側で積算値が最大値より所定率低い値となる位置に基づいて検出するように構成してある

ことを特徴とする請求項 3又は請求項 4に記載の画像処理システム。

[6] 二次元に配列された複数の画素を含む画像から特定の検出対象を検出する画像処理装置を備える画像処理システムにお!/ヽて、

画像の第 1方向に並ぶ画素の列毎に画素の輝度を二次微分する二次微分手段と各列の二次微分値を第 1方向と異なる第 2方向に積算する積算手段と、積算した結果に基づき画像中の検出対象の第 1方向の位置を検出する検出手段とを備えることを特徴とする画像処理システム。

[7] 前記二次微分手段は、二次元のラプラシアンフィルタ処理であることを特徴とする請求項 6に記載の画像処理システム。

[8] 前記二次微分手段による二次微分後、

二次微分値の度数分布に基づ!、て、二次微分値の基準値を決定する手段と、決定した基準値以上である画素の二次微分値を、所定値に変換する手段とを更に備え、

前記積算手段は、所定値に変換後の二次微分値を積算するように構成してヽることを特徴とする請求項 6又は請求項 7に記載の画像処理システム。

[9] 二次微分の前に、原画像を縮小して二次微分用の画像を生成する手段を更に備えることを特徴とする請求項 2乃至請求項 8のいずれかに記載の画像処理システム。

[10] 前記画像を生成する撮像装置を更に備え、

前記検出対象は、前記撮像装置により撮像された人物の顔であり、

前記第 1方向は、水平方向であり、

前記第 2方向は、垂直方向であり、

前記検出手段が検出する位置は、人物の水平方向の輪郭の位置であることを特徴とする請求項 2乃至請求項 9のいずれかに記載の画像処理システム。

[11] 二次元に配列された複数の画素を含む画像から特定の検出対象を検出する画像処理装置において、

画像の第 1方向に並ぶ画素を二次微分する手段と、

二次微分した結果に基づくデータを第 1方向と異なる第 2方向に積算する手段と、積算した結果に基づき画像中の検出対象の第 1方向の位置を検出する手段とを備えることを特徴とする画像処理装置。

コンピュータに、二次元に配列された複数の画素を含む画像を示す画像データから特定の検出対象を検出させるコンピュータプログラムにおいて、

コンピュータに、画像データにより示される画像の第 1方向に並ぶ画素を二次微分させる手川頁と、

コンピュータに、二次微分した結果に基づくデータを第 1方向と異なる第 2方向に積算させる手順と、

コンピュータに、積算した結果に基づき画像中の検出対象の第 1方向の位置を検出させる手順と

を実行させることを特徴とするコンピュータプログラム。