JP5016959B2

JP5016959B2 - 見え方度判定装置

Info

Publication number: JP5016959B2
Application number: JP2007083116A
Authority: JP
Inventors: 啓介早田; 宗太郎築澤; めぐみ山岡
Original assignee: Panasonic Corp; Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Corp; Panasonic Holdings Corp
Priority date: 2007-03-27
Filing date: 2007-03-27
Publication date: 2012-09-05
Anticipated expiration: 2027-03-27
Also published as: JP2008237625A

Description

本発明は、画像処理を用いて人物の視線および視界を検出し、人物の視界内における見え方の度合いを判定する見え方度判定装置に関する。

従来の視線検出技術を用いた装置としては、カメラで撮影した人物の視線方向を検出し、視線方向の先にある物体が何であるかを判定するものがあった（特許文献１参照）。図１５は、前記特許文献１に記載された従来の視線検出技術を用いた市場調査用機器を示す。図１５において、商品陳列ケース１の任意の棚２に商品が置かれ、その任意の位置に複数のカメラ３−１〜・・・３−Ｘが取り付けられる。被験者が棚の前で商品を見ているとき、設置されたカメラ３−１〜・・・３−Ｘで被験者を撮影し、顔の向きおよび黒目中心位置から視線方向を検出する。そして、棚２の領域を複数の領域に分割し、視線方向がどの領域に向いているかを判断する。さらに、注視したかどうかは、その領域に一定時間以上視線がとどまっていたかで判断する。

また、別の文献では、広告のような情報提示物に対する注目度合いを評価する方法を提案している（特許文献２参照）。図１６は、前記特許文献２に記載された情報収集装置を示す。情報提示物の前に設置されたカメラによって、情報提示物の前にいる人物を撮影し、その人物が情報提示物に視線を注いでいたことを示す注視情報を取得すると共に、人物の行動パターンの情報との組み合わせを用いることにより人物の情報提示物に対する注目度合いを評価する。例えば情報提示物に対し通過しながら見たか、立ち止まって見たか、近寄って見たかといった行動ごとに注目度合いに重み付けを行い総合的な注目度合いを評価する。

また、ベースとなる視線検出技術について、ある文献では眼球中心の投影座標の算出と虹彩中心の座標を検出し、眼球中心の投影座標と虹彩中心の座標の２点を結ぶ方向を視線方向として算出する（特許文献３参照）。図１７および図１８は、その模式図を表す。

また、別の文献では、両目および鼻の３点からなる三角形を規定し、三角形の重心の動きの規則性から被験者の視線方向を判定するという方法をとっている（特許文献４参照）。図１９は、その模式図を表す。
特開２００６−２９３７８６号公報（第１０−１３頁、図１−図２）特開２００３−２１６９３８号公報（第３−８頁、図１−図３）特開２００６−２８５５３１号公報（第６−１４頁、図４−図７）特開２００５−８１１０１号公報（第４−７頁、図１−図８）

しかしながら、前記従来の構成では、視線方向のみを検出して、見ている対象物の判定、注視判定を行っており、注視点は１点で、「見ている」もしくは「見ていない」という二値しか得られなかった。また、注目の度合いは、視線の動き、停滞時間を用いることで判断していた。

単純に「何を注視しているか」という判定のみであれば視線方向の検出は有効であるが、実際の人の物の見え方という観点から考えた場合、人は注視している点だけでなくその周囲の情報も見えている。物が良く見えるのは視線方向で、そこから角度が外れた領域では相対的な視力が急激に低下していくことは知られているが、それでも全く見えないわけではない。人の視野は約１２０度から１６０度程度あるといわれており、その範囲では、程度の差はあれ、何かしらの物が見えている状態であるといえる。

従来の視線方向の検出に基づく注視判定方法では、人が「何を注視しているか」という判定のみを行うため、視線方向の先にある物が何であるかについては注目されているが、それ以外の周囲の見え方については考慮されていない。すなわち、二値的な判断基準のため、当該視線方向の先にある物以外は取り扱われていないという課題があった。しかしながら、人の視覚情報の利用を考えた場合、人が「何を注視しているか」だけでなく、人の視線方向の周囲すなわち視界内にある物について「どの辺りまでどの程度見えているか」ということも非常に重要となってくると考えられる。

本発明は、前記従来の課題を解決するもので、人の視界内にある物について「どの辺りまでどの程度見えているか」という見え方の度合いを定量的に評価することができる、見え方度判定装置を提供することを目的とする。

前記従来の課題を解決するために、本発明の見え方度判定装置は、人物画像を撮影する人物画像撮影部と、人物の視界内画像を撮影する視界内画像撮影部と、前記人物画像撮影部が撮影した前記人物画像を基に人物の顔領域を検出する顔検出部と、前記顔検出部が検出した前記顔領域を基に人物の視線方向を検出する視線検出部と、視界内にある物の見え方度の分布を表した見え方度分布データを格納した見え方度分布データベースと、前記視線検出部が検出した前記人物の視線方向、および前記見え方度分布データベースに格納した前記見え方度分布データを用いて、前記視界内画像における前記人物の視界内にある物の見え方度の分布を生成する見え方度分布生成部と、前記見え方度分布生成部が生成した前記視界内画像における前記人物の視界内にある物の見え方度の分布を用いて、前記視界内画像撮影部が撮影する前記視界内画像から検出する対象物の見え方度を算出する見え方度判定部とを備えることを特徴とする。この構成によれば、人物画像撮影部により撮影する人物画像を基に検出する人物の視線方向、および見え方度分布データを用いて、視界内画像撮影部により撮影される視界内画像における人物の視界内にある物の見え方度の分布を生成する一方、視界内画像撮影部により撮影される視界内画像から対象物を検出することにより、当該対象物の見え方度を算出することができる。これにより、人の視界内にある対象物が「どの辺りまでどの程度見えているか」という見え方度を定量的に評価することができる。

また、本発明の見え方度判定装置は、映像を表示する対象物となる映像表示部と、人物画像を撮影する人物画像撮影部と、前記人物画像撮影部が撮影した前記人物画像を基に人物の顔領域を検出する顔検出部と、前記顔検出部が検出した前記顔領域を基に人物の視線方向を検出する視線検出部と、前記顔検出部が検出した前記顔領域を基に前記人物画像撮影手段と前記人物との位置関係を計測する人物位置計測部と、視界内にある物の見え方度の分布を表した見え方度分布データを格納した見え方度分布データベースと、前記視線検出部が検出した前記人物の視線方向、前記人物位置計測部が計測した前記人物画像撮影手段と前記人物との位置関係、および前記見え方度分布データベースに格納した前記見え方度分布データを用いて、前記人物の視界内にある物の見え方度の分布を生成する見え方度分布生成部と、前記見え方度分布生成部が生成した前記人物の視界内にある物の見え方度の分布、および前記映像表示部の大きさまたは前記映像表示部と前記人物画像撮影部との位置関係に関する情報を用いて、対象物となる前記映像表示部の見え方度を算出する見え方度判定部とを備えることを特徴とする。この構成によれば、人物画像撮影部により撮影する人物画像を基に検出する人物の視線方向、人物位置計測部により計測する人物画像撮影手段と人物との位置関係、および見え方度分布データを用いて、人物の視界内にある物の見え方度の分布を生成し、生成した人物の視界内にある物の見え方度の分布を用いて、映像表示部の見え方度を算出することができる。これにより、人が映像表示部を「どの辺りまでどの程度見えているか」という見え方度を定量的に評価することができる。

上記のとおり、本発明の見え方度判定装置によれば、人が「何を注視しているか」だけでなく、人物の視界内にある物について「どの辺りまでどの程度見えているか」という見え方の度合いを定量的に評価することができる。

以下、本発明を実施するための最良の形態について、図面を参照しながら説明する。
（実施の形態１）
本実施の形態１では、本発明の見え方度判定装置を運転支援装置として用いる形態について説明する。当運転支援装置は、運転者が「どの辺りまでどの程度見えているか」という見え方の度合いを定量的に評価し、運転者に運転を支援する情報を提供するものである。はじめに、運転支援装置の構成を図１に示す。１０２は運転者の頭部姿勢方向および視線方向を検出するために運転者の顔を含む人物画像を撮影する人物画像撮影カメラである。１０３は人物画像撮影カメラ１０２が撮影した人物画像を基に運転者の顔領域を検出する顔検出部である。１０４は顔検出部１０３が検出した顔領域を基に運転者の頭部姿勢方向および視線方向を検出する頭部姿勢および視線検出部である。１０５は視界内にある物の見え方度の分布を表したデータ（以下、見え方度分布データという）を格納した見え方度分布データベースである。見え方度及び見え方度の分布についての詳細は後述する。１０６は頭部姿勢および視線検出部１０４が検出した運転者の頭部姿勢方向および視線方向、見え方度分布データベース１０５に格納した見え方度分布データを用いて、視界内画像撮影カメラ１０７が撮影する視界内画像における運転者の視界内にある物の見え方度の分布を生成する見え方度分布生成部である。

１０７は運転者の視界に相当する画像（以下、視界内画像という）を撮影する視界内画像撮影カメラである。ここで、頭部姿勢および視線検出部１０４が検出する頭部姿勢方向および視線方向を用いて、運転者が視界内画像撮影カメラ１０７で撮影する画像のどの辺りまで見えているかを算出可能とするため、人物画像撮影カメラ１０２、視界内画像撮影カメラ１０７、および運転者の位置関係は予め設定されており、既知である。１０９は見え方度の判定対象となる物（以下、対象物という）の特徴を示した情報を格納した対象物特徴データベースである。１１０は視界内画像撮影カメラ１０７が撮影した視界内画像から、対象物特徴データベース１０９に格納した対象物に類似する対象物とその視界内画像における位置および領域を検出する対象物検出部である。１１１は見え方度分布生成部１０６が生成した視界内画像における運転者の視界内にある物の見え方度の分布を用いて、対象物検出部１１０が検出した対象物の見え方度を算出する見え方度判定部である。

１１２は見え方度判定部１１１が算出した対象物の見え方度の履歴を格納する見え方度データ格納部である。１１３は時間的な変化を考慮して予め設定した時系列重み情報を格納した時系列重みデータベースである。１１４は見え方度判定部１１１が算出した現在の対象物の見え方度および見え方度データ格納部１１２に格納した過去の同一対象物の見え方度に対し、時系列重みデータベース１１３に格納した時系列重み情報により重み付けすることにより、時間的な変化を考慮した見え方度のスコア（以下、時系列見え方度スコアという）を算出して評価する時系列見え方度スコア算出部である。

１１５は対象物検出部１１０が検出する対象物に関する内容や運転者に対する通知の重要性等の情報（以下、属性情報という）を格納した対象物属性データベースである。１１６は対象物検出部１１０が検出した対象物に相当する属性情報を対象物属性データベース１１５から取得する属性情報判定部である。１１７は案内情報判定部１１８が決定する運転者への案内通知の有無、通知内容などの情報の提供を判定する基準となる対象物評価スコアおよび案内情報を格納した案内情報データベースである。１１８は属性情報判定部１１６が取得した対象物の属性情報と、時系列見え方度スコア算出部１１４が算出した対象物の時系列見え方度スコアとを用いて、案内情報データベース１１７に格納した対象物評価スコアに基づき、運転者に対する案内通知の有無および通知内容などの案内情報の提供を判定する案内情報提供判定部である。１１９は案内情報判定部１１８が決定する案内通知の有無や通知内容に従い、運転者に案内情報を提供する案内情報表示部である。

一連の処理の流れについて述べる前に、見え方度及び見え方度分布について述べる。視力は視線方向をピークにいったん大きく減少し、その後なだらかに減少することが実験的に知られている。たとえば視線方向に対して２度ずれた方向に対する視力は約４０％、５度ずれた方向では約１０％、１０度ずれた方向では約５％に低下する。視力とは視覚的に２点を区別しうる能力であり、視力が低くなるということは、それだけ荒い解像度で物がぼんやりと見えるということになる。このことから見え方度は、視線方向の中心の視力と視線方向の周辺（中心外）の視力に基づいて視界内にある物の見え方を度合いで表す。また、見え方度分布は、視力に相関づけられた関数、それも視線方向の中心に見え方度のピークがあるような関数で定義するのが適切である。本実施の形態ではその一例として、実験的に得られた視線方向の中心および視線方向の周辺（中心外）の視力に基づいて、視力のピーク値を１に正規化し、これに正規分布を当てはめて見え方度分布を規定することとする。横軸を視線方向の中心からの角度、縦軸を見え方度としたとき、最小二乗法を使って実験的に得られた見え方度との二乗誤差が最小となるような正規分布関数を導き出し、これを見え方度分布関数として定義し、これをデータ化した見え方度分布データを見え方度分布データベースは格納している。見え方度分布の定義の概略を図３に示す。正規分布を用いたのは視力変化に似て中央にピークがあり、その前後で減少する傾向を持ち表現しやすいためであるが、同様の傾向をもつ関数であれば特に正規分布に限らずコーシー分布やその他独自に定義した関数を用いても構わない。また、本実施の形態１では視力を正規化した値を見え方度として用いるが、これに限定されるものではない。例えば視力の平方根を正規化した値を見え方度とすることにより、視線方向の中心からの角度の変化に従って見え方度の変化を緩やかに表すことができる。

以上のように構成された運転支援装置の一連の処理の流れについて説明する。図２は運転支援装置が行う処理動作を示したフロー図である。まず、人物画像撮影カメラ１０２によって運転者の顔を含む人物画像が撮影される（Ｓ２０１）。撮影された人物画像は顔検出部１０３に送られ、顔検出部１０３によって運転者の顔領域が検出される（Ｓ２０２）。顔検出部１０３によって検出された運転者の顔領域は頭部姿勢および視線検出部１０４に送られ、頭部姿勢および視線検出部１０４によって運転者の頭部姿勢方向および視線方向が検出される（Ｓ２０３）。ここで顔領域の検出は、例えばあらかじめ学習した顔の標準的な濃淡パターンや周波数成分を用意しておいて、画像中からこのパターンに類似した領域を顔領域として検出するパターンマッチング的手法などが挙げられる。また、頭部姿勢方向の検出は、目や鼻、口等の顔の代表的な点を検出し、その位置関係から姿勢方向を検出する手法や、３Ｄモデルを使ったActive Appearance Modelsのように顔全体の形状、テクスチャを入力顔画像にマッチするよう変化させることで頭部全体の姿勢方向を求める手法などが挙げられる。さらに、視線方向の検出は背景技術の項で述べた特許文献３、４のような手法が挙げられる。これらはいずれも検出手法の一例として挙げたものであり、特にこれに限定されるものでなく如何なる手法を用いても良い。

頭部姿勢および視線検出部１０４によって検出された運転者の頭部姿勢方向および視線方向は見え方度分布生成部１０６に送られ、見え方度分布生成部１０６によって視界内画像撮影カメラ１０７が撮影する視界内画像における運転者の視界内にある物の見え方度の分布（見え方度分布マップ）が生成される（Ｓ２０４）。見え方度分布生成部１０６は、はじめに、視界内画像撮影カメラ１０７で撮影される視界内画像において運転者が見ている位置(点)を算出する。上記のとおり、人物画像撮影カメラ１０２、視界内画像撮影カメラ１０７、および運転者の位置関係は予め設定されており、既知である。そのため、頭部姿勢および視線検出部１０４によって検出された運転者の頭部姿勢方向および視線方向と、視界内画像撮影カメラ１０７の画角情報を用いることで、視界内画像撮影カメラ１０７で撮影される視界内画像において運転者が見ている位置(点)をを算出できる。例を図４に示す。図４は運転者、視界内画像撮影カメラ１０７を上から俯瞰した模式図である。この例では視界内画像撮影カメラ１０７の真後ろに運転者がいる。視界内画像撮影カメラ１０７の画角をθ、想定する撮影距離をｍ、視界内画像撮影カメラ１０７と運転者との間の距離をｎとする。画角θで撮影距離ｍ離れた位置の面を視界内画像の撮影面とする。運転者が水平方向にα度の視線を向けていた場合、運転者の位置から算出した視線方向と視界内画像撮影カメラ１０７から算出した視線方向との撮影面における位置の差はｎ×tanαある。撮影面の長さは２×ｍ×tan（θ／２）であるから、撮影面の長さの画像サイズをＤ画素とし、撮影面における位置の差の画像サイズをｘ画素とすると、画像中でのずれｘ画素は、視界内画像の解像度である画像サイズＤ画素に（撮影面における位置の差）／（撮影面の長さ）をかけることによって得られる。このように、運転者と視界内画像撮影カメラ１０７の位置が異なる場合でも、視界内画像撮影カメラ１０７で撮影される視界内画像において運転者が見ている位置(点)を算出できる。なお、ここでは横方向（水平方向）の算出例を示したが、縦方向（垂直方向）も同様にして算出でき、見え方度分布生成部１０６は、横方向と縦方向の算出を組み合わせることにより、運転者が見ている視界画像の位置(点)を三次元的に算出できる。

その後、見え方度分布生成部１０６によって、視線方向の位置（点）を視線の中心、すなわち視角０度として、視線の中心からずれた角度（ずれ角）に対応する視界内画像における運転者の視界内にある物の見え方度分布が算出される。ずれ角の算出の例を図５に示す。撮影距離をｍ、運転者の視角をαとしたとき、視線の中心からのずれｘに対応するずれ角βは図のようにβ＝α−arctan｛（ｍ×tanα−ｘ）／ｍ｝で求められる。ずれ角が算出されると、見え方度分布データベース１０５にある見え方度分布データを用いてずれ角に対応する見え方度の分布が算出される。視界内画像における運転者の視界内にある物の見え方度分布マップの例を図６に示す。見え方度の分布を濃淡で表現している。色が濃いほど見え方度が高く、もっとも濃い位置が視線方向の位置（点）、すなわち視線の中心（視角０度）となる。なお、分布の広がりは画角によって変わるものである。すなわち、画角が広いカメラで撮影した場合（６−ａ）は、画角が狭いカメラで撮影した場合（６−ｂ）よりも大きい視角までをカバーするため分布の広がりが大きくなる。また、ここでは横方向（水平方向）の算出例を示したが、縦方向（垂直方向）も同様にして算出でき、見え方度分布生成部１０６は、横方向と縦方向の算出を組み合わせることにより、視界内画像撮影カメラ１０７が撮影する視界内画像における運転者の視界内にある物の見え方度分布を三次元的に算出できる。

一方、視界内画像撮影カメラ１０７によって運転者の視界内画像が撮影される（Ｓ２０５）。撮影された視界内画像は対象物検出部１１０に送られ、対象物検出部１１０によって、視界内画像から対象物特徴データベース１０９に格納された対象物に類似する対象物とその位置および領域が検出される（Ｓ２０６）。対象物は、例えば人物や道路標識、前方車両や対向車といった、運転者に通知することで運転の支援となりうるものである。また、対象物の検出手法はＳ２０２において述べたようなパターンマッチング的手法などが挙げられる。

さらに、属性情報判定部１１６によって対象物検出部１１０が検出した対象物に関する属性情報が対象物属性データベース１１５から取得される（Ｓ２１０）。属性情報は対象物の内容や運転者への通知の重要性、または分類情報等を表すもので、最終的に運転者に対象物に関する案内通知をするかどうかの判定に用いられる。属性情報の例を図７に示す。

一方、見え方度判定部１１１によって、対象物検出部１１０が検出した視界内画像における対象物の位置および領域と、見え方度分布生成部１０６が生成した視界内画像における運転者の視界内にある物の見え方度の分布とから対象物の見え方度が算出される（Ｓ２０７）。本実施の形態１において、対象物の見え方度の算出は、見え方度分布生成部１０６が生成した視界内画像における運転者の視界内にある物についての見え方度の分布、および対象物検出部１１０が検出した対象物の位置および領域を用いて、これらを基に算出する積分値、平均値、最大値、最小値、あるいはメジアン値等を対象物の見え方度とする。すなわち、座標ｘにおける見え方度をｖ（ｘ）、対象物の領域をＲとしたとき、積分値は、式１により表され、対象物の領域Ｒ内のｖ（ｘ）の総和を見え方度とする。

また、対象物の領域Ｒの面積をＳとしたとき、平均値は、式２により表され、対象物の領域Ｒ内のｖ（ｘ）の平均を見え方度とする。

最大値は、式３により表され、対象物の領域Ｒ内のｖ（ｘ）の最大値を見え方度とし、最小値は、式４により表され、対象物の領域Ｒ内のｖ（ｘ）の最小値を見え方度とする。

さらに、メジアン値は、式５により表される。対象物の領域Ｒ内のｖ（ｘ）の集合＝（ｖ₁，ｖ₂，・・・ｖ_n）を大きさ順に並べ替えたときに中央に位置する値を見え方度とし、領域Ｒ内のｖ（ｘ）が偶数ある場合は、中央に近い２値の平均を見え方度とする。

本実施の形態１では積分値を対象物の見え方度とする。例を図８に示す。図中での見え方度分布は色の濃さで表現しており、色が濃いほど見え方度が高いことを表す。８−ａのような見え方度分布の中に人物が複数いた場合、見え方度分布を人物領域で積分して各人に対する見え方度を算出する。対象物の領域で積分する理由としては、視界内で占める面積が大きい方が目に付きやすい、すなわち広範囲に渡る見え方度を集めると考えられるためである。例えば８−ｂのように人物が視界内画像撮影カメラ１０７の近くに寄った場合、相対的に人物の領域は大きくなり、結果として見え方度の積分値も大きくなる。見え方度判定部１１１によって算出された対象物の見え方度は見え方度データ格納部１１２に保存される（Ｓ２０８）。

そして、現時点の対象物の見え方度が算出された後、時系列見え方度スコア算出部１１４によって時間的な変化を考慮した時系列見え方度スコアが算出される（Ｓ２０９）。運転中は運転者の視線も、対象物も常時移動するため見え方度も常時変化し続ける。そこで、見え方度の時間的な変化を考慮して用いることで、より幅広い情報に基づいた評価が可能となる。時系列データの取り扱いは特徴量を時系列に連結してひとつの特徴量として扱うなどの手法もあるが、本実施の形態１では過去の見え方度については単調減少な重みをつけて、対象物ごとに過去一定期間の見え方度の重み付け和を時系列見え方度スコアとする。時間的に単調減少な重みをつけることで、過去の見え方度を考慮しつつ現時点での見え方度を最重要視した評価ができる。

その後、案内情報提供判定部１１８によって、時系列見え方度スコア算出部１１４が算出した対象物の時系列見え方度スコア（Ｓ２０９）と、属性情報判定部１１６が取得した属性情報（Ｓ２１０）とを用いて、最終的な運転者への情報の提供を判定する基準となる対象物評価スコアを算出し、案内情報データベース１１７に格納された対象物評価スコアに基づき、運転者に対する案内通知の有無や通知内容などの案内情報の提供が判定される（Ｓ２１１）。対象物評価スコアの算出例を図９に示す。この例では、対象物の重要度が高いほど、または対象物の見え方度が低いほど対象物評価スコアが高くなるように設定されており、対象物が重要であり、運転者にとって見えにくい状態にある対象物を重要視することとなる。これは一例であり、対象物評価スコアの算出方法はこれ以外の式を用いて算出してもよい。例えば重要度と対象物の見え方度を特徴量とし、この特徴量に対応する対象物評価スコアをあらかじめ設定して特徴量と対象物評価スコアの関係を統計的に学習させた統計モデルを作成しておき、このモデルを用いて各対象物の対象物評価スコアを統計的に算出するといった手法も考えられる。

また、案内情報データベース１１７に格納されている案内情報の例を図１０に示す。例えば対象物が歩行者の場合、ある程度対象物評価スコアが小さいうちは音声案内と位置案内を出すが、運転者の視線方向からはずれ、当該評価スコアが一定より大きくなると運転者に注意を促す警報を出し、位置を案内する。また、速度制限などの規制標識の場合、ある一定値より対象物評価スコアが大きくなると音声で標識内容を案内する。標識の適用時間や区間を示すような補助標識の場合は文字標識のためある程度見え方度が低くなると読めなくなることが考えられる。そのため見え方度が低くなる、すなわち、ある程度対象物評価スコアが大きくなったところで内容の音声案内を行う。さらに補助標識は上部にある標識の補足情報のため、同時に上部にある標識についても内容の案内を行う。

最後に、案内情報判定部１１８によって案内情報を提供すると判定した場合、対象物評価スコアに相当する案内情報が案内情報表示部１１９を通じて運転者に提供される（Ｓ２１２）。

以上、本実施の形態１の見え方度判定装置を運転支援装置として用いる形態によれば、運転者の視界内にある対象物が「どの辺りまでどの程度見えているか」という見え方度を定量的に評価することができ、検出した対象物の重要度と組み合わせて用いて運転者に対する案内情報の提供を判定することにより、運転者に運転を支援する情報を提供することができる。

（実施の形態２）
本実施の形態２では、本発明の見え方度判定装置を映像表示装置として用いる形態について説明する。当映像表示装置は、ユーザが「どの辺りまでどの程度見えているか」という見え方の度合いを定量的に評価し、ユーザの視野外にある映像表示部の領域の画像調整等の処理を軽減するものである。はじめに、映像表示装置の構成を図１１に示す。１１０２は映像を表示する映像表示部である。１１０３はユーザの頭部姿勢方向および視線方向を検出するためにユーザの顔を含む人物画像を撮影する人物画像撮影カメラである。１１０４は人物画像撮影カメラ１１０３が撮影した人物画像を基にユーザの顔領域を検出する顔検出部である。１１０５は顔検出部１１０４が検出したユーザの顔領域を基にユーザの頭部姿勢方向および視線方向を検出する頭部姿勢および視線検出部である。１１０６は顔検出部１１０４が検出したユーザの顔領域を基に人物画像撮影カメラ１１０３とユーザとの位置関係を計測する人物位置計測部である。１１０７は視界内にある物の見え方度の分布を表したデータ（以下、見え方度分布データという）を格納した見え方度分布データベースである。見え方度及び見え方度の分布についての詳細は実施の形態１と同様のため省略する。１１０８は映像表示部１１０２の大きさや映像表示部１１０２と人物画像撮影カメラ１１０３との位置関係等に関する情報を格納した映像表示部情報データベースである。１１０９は頭部姿勢および視線検出部１１０５が検出したユーザの頭部姿勢方向および視線方向、人物位置計測部１１０６が計測した人物画像撮影カメラ１１０３とユーザとの位置関係、および見え方度分布データベース１１０７に格納した見え方度分布データを用いて、ユーザの視界内にある物の見え方度の分布を生成する見え方度分布生成部である。１１１０は見え方度分布生成部１１０９が生成したユーザの視界内にある物の見え方度の分布、および映像表示部情報データベース１１０８に格納した映像表示部１１０２の大きさや映像表示部１１０２と人物画像撮影カメラ１１０３との位置関係等に関する情報を用いて、ユーザの映像表示部１１０２の見え方度を算出する映像表示部見え方度判定部である。

１１１１は映像表示部見え方度判定部１１１０が算出した映像表示部１１０２の見え方度の履歴を格納する映像表示部見え方度データ格納部である。１１１２は時間的な変化を考慮して予め設定した時系列重み情報を格納した時系列重みデータベースである。１１１３は映像表示部見え方度判定部１１１０が算出した現在の映像表示部１１０２の見え方度および映像表示部見え方度データ格納部１１１１に格納した過去の映像表示部１１０２の見え方度に対し、時系列重みデータベース１１１２に格納した時系列重み情報により重み付けすることにより、時系列見え方度スコアを算出して評価する時系列見え方度スコア算出部である。

１１１４は映像表示部１１０２に表示する映像情報を格納した映像情報データベースである。１１１５は時系列見え方度スコア算出部１１１３が算出した映像表示部１１０２の時系列見え方度スコアを基に映像表示部１１０２に表示する映像に対して画像調整等の処理を行う表示制御部である。

以上のように構成された映像表示装置の一連の処理の流れについて説明する。図１２は映像表示装置が行う処理動作を示したフロー図である。Ｓ１２０１の人物画像取得からＳ１２０３の頭部姿勢方向および視線方向検出までの処理は実施の形態１と同様であるため省略する。頭部姿勢および視線検出部１１０５によってユーザの顔領域を基にユーザの頭部姿勢方向および視線方向が検出される一方、人物位置計測部１１０６によってユーザの顔領域を基に人物画像撮影カメラ１１０３とユーザとの位置関係が計測される（Ｓ１２０４）。人物画像撮影カメラ１１０３とユーザとの位置関係の計測は、特に手法を限定するものではなく既存の技術を用いてよい。例えば、ステレオ法により、複数のカメラを用いたステレオ視で同時にユーザを撮影し、それぞれの画像に映る位置の違い（視差）から、三角測量の原理を用いて、ユーザの三次元位置情報を求めても良いし、あるいはカメラに映る人物の顔の大きさおよび位置とカメラからの距離の相関を事前に学習しておいて、この学習モデルに基づいて人物画像撮影カメラ１１０３とユーザとの位置関係を計測する手法などが考えられる。

頭部姿勢および視線検出部１１０５によって検出されたユーザの頭部姿勢方向および視線方向、人物位置計測部１１０６によって計測された人物画像撮影カメラ１１０３とユーザとの位置関係は見え方度分布生成部１１０９に送られ、見え方度分布生成部１１０９によって、視線方向の位置（線）を視線の中心、すなわち視角０度として、視線の中心からずれた角度（ずれ角）が算出される。なお、ずれ角の算出例は実施の形態１と同様のため省略する。そして、ずれ角が算出されると、見え方度分布データベース１１０７にある見え方度分布データを用いてずれ角に対応する見え方度の分布が算出される。ユーザの視界内にある物の見え方度分布マップの例を図１３に示す。

つづいて、映像表示部見え方度判定部１１１０によって、見え方度分布生成部１１０９が生成したユーザの見え方度分布マップを用いて映像表示部１１０２の見え方度が算出される（Ｓ１２０６）。映像表示部１１０２の見え方度の算出は、映像表示部情報データベース１１０８に格納されている映像表示部１１０２の大きさや映像表示部１１０２と人物画像撮影カメラ１１０３との位置関係等に関する情報を用いて、映像表示部１１０２の表示面におけるユーザの見え方度分布をユーザの映像表示部１１０２の見え方度（映像表示部見え方度）として算出する。なお、映像表示部見え方度の算出は実施の形態１と同様であるため省略する。映像表示部１１０２の表示面とユーザの見え方度分布とを図１４に示す。その後、映像表示部見え方度判定部１１１０によって算出された映像表示部見え方度は映像表示部見え方度データ格納部１１１１に格納される（Ｓ１２０７）。

そして、現時点の映像表示部見え方度が算出された後、時系列見え方度スコア算出部１１１３によって時間的な変化を考慮した時系列見え方度スコアが算出される（Ｓ１２０８）。なお、時系列見え方度スコアおよびその算出は実施の形態１と同様であるため省略する。その後、表示制御部１１１５によって、時系列見え方度スコア算出部１１１３が算出した映像表示部１１０２の時系列見え方度スコアを基に映像表示部１１０２に表示する映像に対して画像調整等の処理が行われ（Ｓ１２０９）、映像表示部１１０２に映像が表示される（Ｓ１２１０）。当該時系列見え方度スコアが高い領域ほど、現在ユーザが見えている領域であり、逆に低い領域ほどユーザにはよく見えていない。そのため見えていない領域に対しては例えば解像度を若干落としても、もともとその領域に対する相対視力が低くぼんやりとしか見えていないためユーザが体感する見え方としては大きく変わらない。こうしてユーザが気づきにくい領域に対しては画像調整等の処理を軽減することで映像表示装置内の演算量を減らすことが可能となる。画像調整処理は、解像度を落とす以外に、輝度やコントラストを落とすことや、リフレッシュレートを落とすことなどが考えられる。映像表示装置内の演算量が削減できるメリットとしては、絶対性能が低い装置でも動作するため低コスト化が見込めるほか、使用する電気量も減少するために省エネ化も可能となる。

以上、本実施の形態２の見え方度判定装置を映像表示装置として用いる形態によれば、ユーザが「どの辺りまでどの程度見えているか」という見え方度を定量的に評価することができ、ユーザの視野外にある映像表示部の領域の画像調整等の処理を軽減することで、映像表示装置内の演算量の軽減による低コスト化および省エネ化を図ることができる。

以上、本発明によれば、人の視界内の物の見え方の度合いを数値化して表現することができる。本発明によれば、従来の視線方向検出に基づく注視判定で行っていた「見た」、「見ていない」のバイナリ判定とは異なり、人の視線方向の周囲すなわち視界内にある物について「どの辺りまでどの程度見えているか」という見え方の度合いを定量的に評価することができ、さらに見え方度に基づく判定や制御をより細かく行うことが可能となる。なお、本発明は、上記実施の形態１または２で説明する範囲に限定されるものではなく、その要旨を逸脱しない範囲であれば、適宜に変更および実施できるものである。すなわち、上記実施の形態１または２のように対象物の見え方度に応じて自動で判定や制御を行う形態の他、あらゆる形態が考えられる。例えば店舗や屋内などのレイアウトに対するユーザの見え方度分布の変化や履歴をとることで見やすい、目に付きやすい領域、逆に見にくい、目に付きにくい領域などを定量的に評価する手段や、視覚認知実験の評価手段としても利用可能である。

本発明の実施の形態１における運転支援装置の内部構成を示すブロック図本発明の実施の形態１で行う処理動作を示すフロー図見え方度分布の算出例を示す図視界内画像における運転者の視線方向の算出方法を示す図視界内画像における運転者の視線方向からのずれ角の算出方法を示す図視界内画像の見え方度分布の例を示す図対象属性データベースに格納されている属性の例対象物の見え方度の違いの例を示す図対象物評価スコアの算出例案内情報データベース１１７に格納されている判断基準と提供情報の例本発明の実施の形態２における画像表示装置の内部構成を示すブロック図本発明の実施の形態２で行う処理動作を示すフロー図空間内見え方度分布マップの例を示す図空間内見え方度分布マップにおける映像表示部の配置例を示す図先行文献１の例を示す図先行文献２の例を示す図先行文献３の処理フローを示す図先行文献３の視線方向算出方法を示す図先行文献４の視線方向算出方法を示す図

符号の説明

１０２人物画像撮影カメラ
１０３顔検出部
１０４頭部姿勢および視線検出部
１０５見え方度分布データベース
１０６見え方度分布生成部
１０７視界内画像撮影カメラ
１０９対象特徴データベース
１１０対象物検出部
１１１見え方度判定部
１１２見え方度データ格納部
１１３時系列重みデータベース
１１４時系列見え方度スコア算出部
１１５対象物属性データベース
１１６属性情報判定部
１１７案内情報データベース
１１８案内情報判定部
１１９案内情報表示部
１１０２映像表示部
１１０３人物画像撮影カメラ
１１０４顔検出部
１１０５頭部姿勢および視線検出部
１１０６人物位置計測部
１１０７見え方度分布データベース
１１０８映像表示部情報データベース
１１０９見え方度分布生成部
１１１０見え方度判定部
１１１１見え方度データ格納部
１１１２時系列重みデータベース
１１１３時系列見え方度スコア算出部
１１１４映像データベース
１１１５表示制御部

Claims

人物画像を撮影する人物画像撮影部と、
人物の視界内画像を撮影する視界内画像撮影部と、
前記人物画像撮影部が撮影した前記人物画像を基に人物の顔領域を検出する顔検出部と、
前記顔検出部が検出した前記顔領域を基に人物の視線方向を検出する視線検出部と、
視界内にある物の見え方度の分布を表した見え方度分布データを格納した見え方度分布データベースと、
前記視線検出部が検出した前記人物の視線方向、および前記見え方度分布データベースに格納した前記見え方度分布データを用いて、前記視界内画像における前記人物の視界内にある物の見え方度の分布を生成する見え方度分布生成部と、
前記見え方度分布生成部が生成した前記視界内画像における前記人物の視界内にある物の見え方度の分布を用いて、前記視界内画像撮影部が撮影する前記視界内画像から検出する対象物の見え方度を算出する見え方度判定部とを備えることを特徴とする見え方度判定装置。
前記見え方度判定部が算出した対象物の見え方度の履歴を格納する見え方度データ格納部と、
前記見え方度判定部が算出した現在の対象物の見え方度および前記見え方度データ格納部に格納した過去の同一対象物の見え方度に対し、時間的な変化を考慮して設定した時系列重み情報により重み付けすることにより、時間的な変化を考慮した見え方度のスコアを算出する時系列見え方度スコア算出部とを備えることを特徴とする請求項１に記載の見え方度判定装置。
前記対象物に関する属性情報を取得する属性情報判定部と、
前記属性情報および前記時系列見え方度スコアを用いて対象物評価スコアを算出し、前記対象物評価スコアに基づき、前記対象物の案内情報の提供を判定する案内情報提供判定部とを備えることを特徴とする請求項２に記載の見え方度判定装置。
映像を表示する対象物となる映像表示部と、
人物画像を撮影する人物画像撮影部と、
前記人物画像撮影部が撮影した前記人物画像を基に人物の顔領域を検出する顔検出部と、
前記顔検出部が検出した前記顔領域を基に人物の視線方向を検出する視線検出部と、
前記顔検出部が検出した前記顔領域を基に前記人物画像撮影手段と前記人物との位置関係を計測する人物位置計測部と、
視界内にある物の見え方度の分布を表した見え方度分布データを格納した見え方度分布データベースと、
前記視線検出部が検出した前記人物の視線方向、前記人物位置計測部が計測した前記人物画像撮影手段と前記人物との位置関係、および前記見え方度分布データベースに格納した前記見え方度分布データを用いて、前記人物の視界内にある物の見え方度の分布を生成する見え方度分布生成部と、
前記見え方度分布生成部が生成した前記人物の視界内にある物の見え方度の分布、および前記映像表示部の大きさまたは前記映像表示部と前記人物画像撮影部との位置関係に関する情報を用いて、対象物となる前記映像表示部の見え方度を算出する見え方度判定部とを備えることを特徴とする見え方度判定装置。
前記見え方度判定部が算出した前記映像表示部の見え方度の履歴を格納する見え方度データ格納部と、
前記見え方度判定部が算出した現在の映像表示部の見え方度および前記見え方度データ格納部に格納した過去の映像表示部の見え方度に対し、時間的な変化を考慮して設定した時系列重み情報により重み付けすることにより、時系列見え方度スコアを算出する時系列見え方度スコア算出部とを備えることを特徴とする請求項４に記載の見え方度判定装置。
前記時系列見え方度スコア算出部が算出した前記時系列見え方度スコアに基づき、前記映像表示部に表示する映像に対して画像調整処理を行う表示制御部を備えることを特徴とする請求項５に記載の見え方度判定装置。
前記見え方度分布データベースが格納する前記見え方度分布データにおいて、前記見え方度は、視線方向の中心および中心外の視力に基づいて視界内にある物の見え方を度合いで表し、前記見え方度分布は、前記視力に相関付けられ、前記視線方向の中心に見え方度のピークがある関数に基づいて表すことを特徴とする請求項１または４に記載の見え方度判定装置。
前記見え方度判定部は、前記見え方度分布と前記対象物の位置および領域を用いて、これらを基に算出する積分値、平均値、最大値、最小値、あるいはメジアン値のいずれかを前記見え方度として算出することを特徴とする請求項７に記載の見え方度判定装置。