JP4550116B2 - 風景単調度演算装置及び方法 - Google Patents

風景単調度演算装置及び方法 Download PDF

Info

Publication number
JP4550116B2
JP4550116B2 JP2007534296A JP2007534296A JP4550116B2 JP 4550116 B2 JP4550116 B2 JP 4550116B2 JP 2007534296 A JP2007534296 A JP 2007534296A JP 2007534296 A JP2007534296 A JP 2007534296A JP 4550116 B2 JP4550116 B2 JP 4550116B2
Authority
JP
Japan
Prior art keywords
landscape
image
monotonicity
classification
classified
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2007534296A
Other languages
English (en)
Other versions
JPWO2007029455A1 (ja
Inventor
隆二郎 藤田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Pioneer Corp
Original Assignee
Pioneer Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Pioneer Corp filed Critical Pioneer Corp
Publication of JPWO2007029455A1 publication Critical patent/JPWO2007029455A1/ja
Application granted granted Critical
Publication of JP4550116B2 publication Critical patent/JP4550116B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/40Analysis of texture
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/3453Special cost functions, i.e. other than distance or default speed limit of road segments
    • G01C21/3461Preferred or disfavoured areas, e.g. dangerous zones, toll or emission zones, intersections, manoeuvre types, segments such as motorways, toll roads, ferries
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3697Output of additional, non-guidance related information, e.g. low fuel level
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems

Description

本発明は、例えば自動車に搭載されたカメラ等で撮影された風景画像を分析することにより、自動車の走行経路における風景の単調度を演算する風景単調度演算装置及び方法、並びにこれらの機能を実現するコンピュータプログラム、サーバ、記録媒体及びナビゲーション装置の技術分野に関する。
単調な経路を自動車で走行中に運転手が眠くなったり、同乗者が飽きてしまったりすることを防止するために、単調な経路を走行している際に警告を発する種々の技術が提案されている。例えば特許文献1では、長時間走行又は長距離走行を単調運転として検出し、眠気を覚ますように注意を喚起するメッセージを出力する技術が開示されている。
特開2002−254955号公報
しかしながら、長時間走行や長距離走行であっても、例えば、変化に富んだ風景中を走行する経路の場合、走行経路の単調度が高いとは言えない。つまり、長時間走行や長距離走行は、運転者或いは同乗者の疲労度との関係は高いが、走行経路の単調度との関係は低いため、高い精度で単調度を演算することができないという技術的問題点がある。
本発明は、例えば上述した問題点に鑑みなされたものであり、走行経路の風景の単調度を演算する風景単調度演算装置及び方法、並びにこれらの機能を実現するコンピュータプログラム、サーバ、記録媒体及びナビゲーション装置を提供することを課題とする。
(風景単調度演算装置)
上記課題を解決するために、本発明の第1の風景単調度演算装置は、外観画像を取得する画像取得手段と、前記画像取得手段により相前後して取得された所定数の外観画像について、前記所定数の外観画像の時間変化又は位置変化に基づいて、前記所定数の外観画像に対応する風景の単調度を演算する単調度演算手段とを備える。
本発明の第1の風景単調度演算装置によれば、例えば移動体に搭載され、該移動体の移動時に、移動方向に向けられたカメラ等を含む画像取得手段によって、例えば景観、物体又は物体集合体等の風景を撮影することにより外観画像が取得される。ここで本発明に係る「外観画像」とは、物体又は物体の集合体等の外観或いは風景を表した画像を意味し、例えばビルや車両等の人工物の外観或いは海や山等の自然の風景の画像が含まれる。画像取得手段としては、カメラ等による撮影の他、外部のサーバに通信回線を通じてアクセスし、予め蓄積或いは生成された外観画像を取得する手段であってもよい。
次に、単調度演算手段によって、取得された外観画像に基づいて、外観画像に対応する風景の単調度が演算される。
ここで本発明に係る「単調度」とは、時間又は位置に対する単調の度合という意味である。本発明に係る「外観画像に基づいて、単調度を演算する」とは、より具体的には、外観画像の時間変化又は位置変化の小ささに応じて単調度を演算するという意味であり、時間変化又は位置変化が小さい程、単調度は大きいことになり、逆に、時間変化又は位置変化が大きい程、単調度は小さいことになる。
また、本発明に係る「演算する」は、予め設定された、時間変化又は位置変化をパラメータとする関数に従って、単調度を演算する場合も、予め設定された、時間変化又は位置変化と単調度との関係を示すテーブルに従って、単調度を演算する場合も含む。例えば、取得された外観画像を例えば外観画像に対応する風景の特徴毎に例えば「森林」、「街並み」、「森林」及び「開けた道」に分類した結果に基づいて単調度を演算する。外観画像に対応する風景の特徴が「森林」、「街並み」、「森林」及び「開けた道」のようにこの順で時系列的に変化した場合は、外観画像に対応する特徴が「森林」、「街並み」、「森林」及び「森林」のようにこの順で時系列的に変化した場合よりも低い単調度が演算される。
単調度演算手段による単調度に対して、例えば、ある閾値を設けることにより、取得された外観画像に対応する風景が単調であるかどうか、言い換えれば、例えば移動体の走行経路が単調であるがどうかを判定することができる。例えば、単調度を0から100の範囲で表し、単調度が80以上である場合には、その移動体の走行経路は単調であると判定することができる。走行経路が単調であると判定された場合には、例えば、警報を出力し、運転者に対して環境の変化を与えることにより、眠気を追い払うことができる。或いは、移動体内での音楽、映像等を変更することにより、移動体内にいることに同乗者が飽きてしまうことを防止することができる。
上記課題を解決するために、本発明の第2の風景単調度演算装置は、風景画像を、時間に対して順番に取得する、又は経路の一端から順番に取得する風景画像取得手段と、該順番に取得された風景画像を夫々、予め設定された複数の風景分類のうちのいずれかに分類する風景画像分類手段と、相前後して取得された所定数の風景画像について、前記分類された風景分類の時間的変化又は位置的変化に基づいて、前記所定数の風景画像の単調度を演算する単調度演算手段とを備える。
本発明の第2の風景単調度演算装置によれば、例えば移動体に搭載され、該移動体の移動時に、移動方向に向けられたカメラ等を含む風景画像取得手段によって、例えば景観、物体又は物体集合体等の風景を撮影することにより風景画像が取得される。風景画像は、時間に対して順番に、又は経路の一端から順番に取得される。ここで本発明に係る「時間に対して順番に」とは、定期又は不定期に、或いは一定又は固定の時間を隔てて断続的に、言い換えれば、時系列的にという意味である。また、本発明に係る「経路の一端から順番に」とは、一定又は固定の距離と隔てて断続的にという意味である。即ち、風景画像は、例えば一定時間(例えば5秒間)毎或いは移動体が一定距離(例えば50m)だけ移動する毎に取得される。取得された風景画像は、例えば外付け又は内蔵されたハードディスク等の記憶媒体に記憶される。
取得された風景画像は夫々、風景画像分類手段によって、予め設定された複数の風景分類のうちのいずれかに分類される。ここで本発明に係る「予め設定された複数の風景分類」とは、風景画像に対応する風景の特徴を示すための、例えば工場での設定或いはユーザ操作等によって予め定められた項目である。「予め設定された複数の風景分類」としては、例えば「森林」、「街並み」及び「開けた道」の3つが設定される。この際、これらの風景分類に分類されない風景画像を分類するために、「予め設定された複数の風景分類」として「その他」を更に設定してもよい。風景画像分類手段による分類結果は、例えば外付け又は内蔵されたハードディスク等の記憶媒体に記憶される。
次に、単調度演算手段によって、このように分類された風景分類の時間的変化又は位置的変化に基づいて、取得された風景画像の単調度が演算される。本発明に係る「時間的変化又は位置的変化に基づいて、単調度を演算する」とは、より具体的には、時間変化又は位置変化の小ささに応じて単調度を演算するという意味であり、時間変化又は位置変化が小さい程、単調度は大きいことになり、逆に、時間変化又は位置変化が大きい程、単調度は小さいことになる。例えば、風景分類が「森林」、「街並み」、「森林」及び「開けた道」のようにこの順で時系列的に変化した場合は、風景分類が「森林」、「街並み」、「森林」及び「森林」のようにこの順で時系列的に変化した場合よりも低い単調度が演算される。
単調度演算手段による単調度に対して、例えば、ある閾値を設けることにより、順番に取得された風景画像に対応する風景が単調であるかどうか、言い換えれば、例えば移動体の走行経路が単調であるがどうかを判定することができる。例えば、単調度を0から100の範囲で表し、単調度が80以上である場合には、その移動体の走行経路は単調であると判定することができる。走行経路が単調であると判定された場合には、例えば、警報を出力し、運転者に対して環境の変化を与えることにより、眠気を追い払うことができる。或いは、移動体内での音楽、映像等を変更することにより、移動体内にいることに同乗者が飽きてしまうことを防止することができる。
本発明の第2の風景単調度演算装置の一の態様では、前記単調度演算手段は、所定期間に取得された又は相前後して取得された所定数の風景画像について、前記分類された風景分類が変化した回数をカウントし、前記所定数の風景画像について、前記分類された風景分類の種類数をカウントし、前記カウントされた回数及び前記カウントされた種類数に基づいて、前記単調度を演算する。
この態様によれば、先ず、単調度演算手段によって、所定期間に取得された複数の風景画像又は相前後して取得された所定数の風景画像について、分類された風景分類が変化した回数がカウントされる。ここで本発明に係る「風景分類が変化した回数」は、例えば時系列に「森林」から「街並み」等の相異なる風景分類に変化した回数を意味し、例えば、風景分類が「森林」、「街並み」、「森林」及び「開けた道」のようにこの順で時系列的に変化した場合には、「風景分類が変化した回数」は「3」となる。カウントされた回数は、例えばメモリ等の記憶媒体に記憶される。
風景分類が変化した回数のカウントと同時に或いは相前後して、単調度演算手段によって、所定数の風景画像について、分類された風景分類の種類数(言い換えれば、分類の結果として出現した相異なる風景分類の総数)がカウントされる。例えば風景分類が「森林」、「街並み」及び「森林」のようにこの順で時系列的に変化した場合には、風景分類の種類数は、「森林」及び「街並み」の2つとしてカウントされる、即ちこのとき「風景分類の種類数」は「2」となる。カウントされた種類数は、例えばメモリ等の記憶媒体に記憶される。
風景分類が変化した回数のカウント及び風景分類の種類数のカウントの後、単調度演算手段によって、カウントされた回数及びカウントされた種類数に基づいて、単調度が演算される。例えば、カウントされた回数及びカウントされた種類数の積の値が大きいほど単調度は小さく、カウントされた回数及びカウントされた種類数の積の値が小さいほど単調度は大きくなるように演算される。即ち、単調度演算手段による単調度の演算式は、例えば次のとおりである。
単調度=1−(カウントされた回数×カウントされた種類数)/(総風景画像数×総種類数)……(1)
式(1)において、「総風景画像数」は、単調度を演算する対象となる風景画像の数を意味する。また、「総種類数」は、予め設定された複数の風景分類の数を意味し、例えば、予め設定された複数の風景分類が、「森林」、「街並み」、「開けた道」及び「その他」である場合には、総種類数は4となる。尚、「その他」を総種類数から除外してもよい。更に、単調度を0から100の範囲で表すために式(1)において、カウントされた回数をカウントされた回数−1に置き換えると共に、右辺に100を乗じてもよい。
本発明によれば、単調度演算手段によって、上述の如く単調度が演算されるので、風景画像に対応した風景の単調さを反映した単調度を演算することができる。よって、単調度に対して、例えば、ある閾値を設けることにより、風景画像に対応する風景が単調であるかどうか、言い換えれば、例えば移動体の走行経路が単調であるがどうかを判定することができる。
本発明の第2の風景単調度演算装置の他の態様では、前記風景画像分類手段は、前記順番に取得された風景画像を前記順番の所定数毎に一群の風景画像群として、該風景画像群に含まれる前記風景画像の前記分類された風景分類に基づいて、前記風景画像群を前記予め設定された複数の風景分類のうちのいずれかに分類し、前記単調度演算手段は、所定期間に取得された又は相前後して取得された所定数の風景画像について、前記風景画像群が分類された風景分類が変化した回数をカウントし、前記所定数の風景画像について、前記風景画像群が分類された風景分類の種類数をカウントし、前記カウントされた回数及び前記カウントされた種類数に基づいて、前記単調度を演算する。
この態様によれば、風景画像分類手段によって、取得された風景画像を取得された順番の例えば5つ等の所定数毎に一群の風景画像群とされる。更に、1つの風景画像群に含まれる例えば5つの風景画像が分類された風景分類に基づいて、風景画像群は予め設定された風景分類に分類される。例えば、1つの風景画像群に含まれる5つの風景画像のうち、4つの風景分類が「森林」に、1つの風景分類が「街並み」に夫々、風景画像分類手段によって分類される場合に、風景画像群の風景分類は「森林」に風景画像分類手段によって分類される。
続いて、単調度演算手段によって、所定期間に取得された又は相前後して取得された所定数の風景画像について、風景画像群が分類された風景分類が変化した回数がカウントされる。更に、所定数の風景画像について、風景画像群が分類された風景分類の種類数がカウントされる。そして、カウントされた回数及び前記カウントされた種類数に基づいて、単調度が演算される。
本発明によれば、取得された風景画像が所定数毎に一群の風景画像群として分類されるので、例えば、森林中の交差点通過時等があることにより生じうる風景分類の局所的な変化をノイズとして除去することができる。即ち、一連の風景からすると、例えば運転者或いは同乗者にとっては、風景に変化があるとは実際には殆ど感じられないような変化を除去することができる。よって、一層精度の高い単調度を演算することができる。
本発明の第2の風景単調度演算装置の他の態様では、前記風景画像取得手段は、前記風景画像に対応する風景を撮影する撮影手段を含む。
この態様によれば、例えばカメラ、車載カメラ等の撮影手段によって、例えば物体、物体集合体又は景観等の風景が撮影される。よって、風景画像を確実に取得することができる。
尚、撮影手段としては、写真を撮るためのカメラでもよいし、映像(動画)を撮るためのカメラ、つまりビデオカメラでもよい。
本発明の第2の風景単調度演算装置の他の態様では、前記風景画像取得手段は、前記風景のうち前記風景画像に対応する物体、物体集合体又は景観と前記撮影手段との間に存在する障害物によって、前記風景が遮られていることを認識する障害物認識手段を備える。
この態様によれば、障害物認識手段によって、例えばカメラ、車載カメラ等の撮影手段に障害物が接近し、風景のうち風景画像に対応する物体、物体集合体又は景観と撮影手段との間に存在する障害物(即ち、風景のうち風景画像に対応しない風景)によって、風景画像に対応する風景(即ち、物体、物体集合体又は景観)が遮られていることが認識される。具体的には、障害物認識手段によって、撮影された画像の色等が調べられ、画像中に含まれる物体が特定され、当該物体が画像中に占める割合が調べられる。そして、当該物体が画像中に占める割合が所定割合を超えるときには、障害物認識手段によって、例えばカメラ、車載カメラ等の撮影手段に障害物が接近し、撮影の対象である風景に含まれる物体、物体集合体又は景観と例えばカメラ、車載カメラ等の撮影手段との間が当該障害物によって遮られていると認識される。従って、障害物認識手段によって、例えばカメラ、車載カメラ等の撮影手段により撮影対象となる風景が適切に撮影されたかどうか、即ち、撮影された画像中に風景画像に対応すべき風景が適切に含まれているかどうかを判断することができる。このように障害物によって風景が遮られていることを認識すれば、例えば、障害物があることにより生じうる風景分類の局所的な変化をノイズとして除去することも可能となり、一層精度の高い単調度を演算することが可能となる。
本発明の第2の風景単調度演算装置の他の態様では、前記風景画像分類手段は、前記順番に取得された風景画像が夫々分割されてなる複数の画像片の各々を、前記複数の風景分類のうちのいずれかに分類する画像片分類手段と、前記画像片分類手段による画像片分類結果に基づいて、前記風景画像に含まれている風景の特徴を判断する特徴判断手段とを含み、該判断された特徴に応じて、前記順番に取得された風景画像を夫々分類する。
この態様によれば、先ず、画像片分類手段によって、取得された風景画像の各々は複数の画像片に分割され、複数の画像片の各々に対応する画像片データは例えばハードディスク等の記憶媒体に記憶される。例えば、風景画像のサイズが1280×1024ピクセルである場合には、画像片のサイズは30×30ピクセル程度であることが望ましい。尚、画像片のサイズは、特徴判断手段等の精度及び処理速度等を考慮して決めることが望ましい。また、風景画像のサイズと画像片のサイズとの関係によっては、風景画像のすべてを均一の画像片に分割できない場合がある。この場合には、風景画像の端部を画像片分類手段の対象から除外してもよい。
次に、画像片分類手段によって、複数の画像片の各々は、複数の風景分類のうちのいずれかに分類される。画像片分類手段による画像片分類結果は、例えばハードディスク等の記憶媒体に記憶される。
次に、特徴判断手段によって、画像片分類手段による画像片分類結果に基づいて風景画像に含まれている風景の特徴を判断する特徴判断処理が行われる。風景の特徴には、例えば自然度、都市度等がある。特徴判断処理には、特徴判断式が用いられる。特徴判断式は、製品出荷以前の実験などに基づいて予め作成され、例えばハードディスク等の記憶媒体に記憶されている。尚、特徴判断式を変更できるような構成としてもよい。
特徴判断式は、風景画像に含まれる風景の特徴を判断するための式である。特徴判断式は、風景画像に含まれる風景の特徴の種類、例えば自然度、都市度等毎に存在する。
特徴判断式には、自然度判断式、都市度判断式等、風景画像に含まれる風景の特徴の種類に応じて様々な式があるが、これらの式はそれぞれ共通の構造を有している。即ち、特徴判断式の基本式があり、この基本式を具体化したものが例えば自然度判断式であり、都市度判断式である。特徴判断式の基本式は次のとおりである。
風景の特徴=(プラス要素数−マイナス要素数)/判断要素全体数……(2)
式(2)において、プラス要素数とは、特徴判断の対象となっている風景の特徴を強める方向に作用する画像片分類結果を有する画像片の個数である。マイナス要素数とは、特徴判断の対象となっている風景の特徴を弱める方向に作用する分類結果を有する画像片の個数である。判断要素全体数とは、特徴判断に用いられる画像片分類結果を有する画像片の総数である。
風景画像分類手段では、このように特徴判断手段によって判断された特徴に応じて、風景画像は予め設定された風景分類に分類される。例えば「風景の特徴」の値に応じて、風景画像は分類される。
以上のように、本態様によれば、風景画像は、分割されてなる複数の画像片の各々が分類された分類結果に基づいて判断された特徴に応じて、予め設定された風景分類に分類されるので、風景画像を精度よく分類することができる。
上述した画像片分類手段を含む態様では、前記画像片分類手段は、前記複数の画像片の各々についての色の性質を分析する色分析手段と、前記複数の画像片の各々についてフラクタル次元解析を行うフラクタル次元解析手段と、前記複数の画像片の各々に含まれている人工物又は人工部分の量を認識する人工物量認識手段とを含み、前記色分析手段による色分析結果、前記フラクタル次元解析手段によるフラクタル次元解析結果、及び前記人工物量認識手段による人工物又は人工部分の量の認識結果に基づいて前記複数の画像片の各々に含まれている前記風景の一部の種類を特定し、該特定された種類に基づいて分類するようにしてもよい。
この場合には、画像片分類手段は、色分析手段、フラクタル次元解析手段及び人工物量認識手段を含んでおり、複数の画像片の各々(即ち、各画像片)は、以下のように分類される。
先ず、色分析手段によって、各画像片中の画素毎に色の性質が分析される。
色分析手段によって、先ず、画像片データの色情報がRGB系の色情報である場合、この色情報は、色相、彩度及び明度をパラメータとする表色系の色情報、例えばHLS系の色情報に色分析手段によって変換される。続いて、画像片に含まれる画素の中から、まだ色分析処理を行っていない1個の画素が色分析手段によって選択される。続いて、選択した画素について所定の基準を満たすかどうかが色分析手段によって判断される。この判断は、当該画素のHLS系色情報に基づいて行われる。
続いて、フラクタル次元解析手段によって、同一の画像片についてフラクタル次元解析が行われる。フラクタル次元解析により、各画素片についてフラクタル次元値が得られる。フラクタル次元値は例えば0.0から2.0までのいずれかの値である。フラクタル次元値は例えばハードディスク等の記憶媒体に記憶される。尚、フラクタル次元解析には、周知のフラクタル次元解析法を用いることができる。
続いて、人工物量認識手段によって、各画像片に含まれている人工物又は人工部分の量が認識される。
人工物量認識手段によって、先ず、画像片中において縦方向に伸びるエッジ成分、即ち垂直エッジ成分が抽出される。例えば、画像片の下辺が、撮影された風景における水平線と一致している場合、垂直エッジ成分は、画像片の下辺と垂直に交わる方向に伸びるエッジ成分である。続いて、人工物量認識手段によって、抽出した垂直エッジ成分は二値化される。続いて、人工物量認識手段によって、連続的に伸びる所定長さ以上の垂直エッジ成分の個数が数えられる。例えば、画像片の下端から上端まで連続的に伸びる垂直エッジ成分の個数が数えられる。一般に、看板や建物などの人工物は水平な地面から垂直方向にまっすぐに伸びているのに対し、草木などの自然物はそうでない場合が多い。このため、1個の画像片中において連続的に伸びる所定長さ以上の垂直エッジ成分を数えることにより、1個の画像片に含まれる人工物の量を知ることができる。画像片中において連続的に伸びる所定長さ以上の垂直エッジ成分の個数を示す値は、例えば人工物量カウント値として例えばハードディスク等の記憶媒体に記憶される。
続いて、画像片分類手段によって、色分析手段による色分析結果、フラクタル次元解析手段によるフラクタル次元解析結果、及び人工物量認識手段による人工物量認識結果に基づいて各画像片に含まれている風景の一部の種類が特定され、この特定された種類に基づいて各画像片が分類される。画像片が分類される分類項目としては、例えば「草木」、「空」、「人工物」等が設定される。画像片分類手段による分類結果は、例えばハードディスク等の記憶媒体に記憶される。画像片が分類項目のいずれにも当てはまらないときには、該画像片は「その他」という分類項目に分類される。
続いて、特徴判断手段によって、画像片分類手段による画像片分類結果に基づいて風景画像に含まれている風景の特徴が判断される。風景の特徴を表す指標として、例えば自然度、都市度等が用いられる。
自然度を判断する自然度判断式は、例えば次のとおりである。
自然度=(草木数−人工物数)/判断要素全体数……(3)
但し、判断要素全体数=草木数+空数+人工物数……(4)
式(3)において、「草木数」は分類結果が「草木」である画像片の個数であり、「人工物数」は、分類結果が「人工物」である画像片の個数である。また、自然度の判断に用いる分類結果は「草木」、「空」、「人工物」であり、「判断要素全体数」は、草木数と、分類結果が「空」である画像片の個数(空数)と、人工物数とを合計した数である。
自然度の値は−1から+1までの間のいずれかの値になる。自然度がもっとも低いときには−1となり、自然度がもっとも高いときには+1になる。
また、都市度を判断する都市度判断式は、例えば次のとおりである。
都市度={人工物数−(草木数+空数)}/判断要素全体数……(5)
但し、判断要素全体数=草木数+空数+人工物数……(6)
式(5)において、都市度の判断に用いる分類結果は「草木」、「空」、「人工物」であるので、判断要素全体数は、草木数と、空数と、人工物数とを合計した数である。
都市度の値は−1から+1までの間のいずれかの値になる。都市度がもっとも低いときには−1となり、都市度がもっとも高いときには+1になる。
更に、開けた道度を判断してもよい。開けた道度とは、概ね、道路の周囲に高い木や建物がなく、道路周囲の景観が開けている程度を示す。開けた道度の判断式は、次のとおりである。
開けた道度=(空数−草木数)/判断要素全体数……(7)
但し、判断要素全体数=草木数+空数+人工物数……(8)
開けた道度の値は−1から+1までの間のいずれかの値になる。開けた道度がもっとも低いときには−1となり、開けた道度がもっとも高いときには+1になる。
次に、特徴判断手段によって判断された特徴に応じて、取得された風景画像は夫々、風景画像分類手段によって分類される。例えば、予め定められた風景分類が「森林」、「街並み」、「開けた道」及び「その他」である場合において、例えば自然度が所定値以上のときには、その風景画像は「森林」に分類され、例えば都市度が所定値以上のときには、その風景画像は「街並み」に分類され、例えば開けた道度が所定値以上のときには、その風景画像は「開けた道」に分類される。
以上のように、本態様によれば、風景画像は、分割されてなる複数の画像片の各々についての色分析結果、フラクタル次元解析結果及び人工物又は人工部分の量の認識結果に基づいて判断された特徴に応じて、予め設定された風景分類に分類されるので、風景画像を精度よく分類することができる。
(風景単調度演算方法)
上記課題を解決するために、本発明の風景単調度演算方法は、風景画像を、時間に対して順番に取得する、又は経路の一端から順番に取得する風景画像取得工程と、該順番に取得された風景画像を夫々、予め設定された複数の風景分類のうちのいずれかに分類する風景画像分類工程と、相前後して取得された所定数の風景画像について、前記分類された風景分類の時間的変化又は位置的変化に基づいて、前記所定数の風景画像の単調度を演算する単調度演算工程とを備える。
本発明の風景単調度演算方法によれば、上述した本発明の第2の風景単調度演算装置が有する各種利益を享受することが可能となる。
尚、上述した本発明の風景単調度演算装置が有する各種態様に対応して、本発明の風景単調度演算方法も各種態様を採ることが可能である。
(コンピュータプログラム)
上記課題を解決するために、本発明のコンピュータプログラムは、上述した本発明の第1又は第2の風景単調度演算装置としてコンピュータを機能させる。
本発明のコンピュータプログラムによれば、当該コンピュータプログラムを格納するROM、CD−ROM、DVD−ROM、ハードディスク等の情報記録媒体から、当該コンピュータプログラムをコンピュータに読み込んで実行させれば、或いは、当該コンピュータプログラムを、通信手段を介してコンピュータにダウンロードさせた後に実行させれば、上述した本発明の第1又は第2の風景単調度演算装置を比較的簡単に実現できる。
上記課題を解決するために、コンピュータ読取可能な媒体内のコンピュータプログラム製品は、コンピュータにより実行可能なプログラム命令を明白に具現化し、該コンピュータを、上述した本発明の第1又は第2の風景単調度演算装置(但し、その各種態様を含む)として機能させる。
本発明のコンピュータプログラム製品によれば、当該コンピュータプログラム製品を格納するROM、CD−ROM、DVD−ROM、ハードディスク等の記録媒体から、当該コンピュータプログラム製品をコンピュータに読み込めば、或いは、例えば伝送波である当該コンピュータプログラム製品を、通信手段を介してコンピュータにダウンロードすれば、上述した本発明の第1又は第2の風景単調度演算装置を比較的容易に実施可能となる。更に具体的には、当該コンピュータプログラム製品は、上述した本発明の第1又は第2の風景単調度演算装置として機能させるコンピュータ読取可能なコード(或いはコンピュータ読取可能な命令)から構成されてよい。
(サーバ)
上記課題を解決するために、本発明のサーバは、上述した第1又は第2の風景単調度演算装置が演算した単調度を反映した地図情報を有する。
本発明のサーバによれば、第1又は第2の風景単調度演算装置によって演算された単調度を反映した地図情報を、サーバにアクセス或いはサーバから配信することで、例えば複数の車両或いは利用者が利用可能となり、大変便利である。
(記録媒体)
上記課題を解決するために、本発明の記録媒体は、上述した第1又は第2の風景単調度演算装置が演算した単調度を反映した地図情報を有する。
本発明の記憶媒体によれば、第1又は第2の風景単調度演算装置によって演算された単調度を反映した地図情報を、記憶媒体にアクセス或いは記憶媒体を配布することで、例えば複数の車両或いは利用者が利用可能となり、大変便利である。
(ナビゲーション装置)
上記課題を解決するために、本発明のナビゲーション装置は、上述した第1又は第2の風景単調度演算装置が演算した単調度に基づいて経路誘導を行う。
本発明のナビゲーション装置によれば、経路の単調度に応じた経路誘導を行うことができる。
本発明のナビゲーション装置の一態様では、前記単調度を色情報として表示する。
この態様によれば、運転者は、単調度を色情報によって視覚的に確認することができる。
本発明のナビゲーション装置の他の態様では、前記単調度と運転者の生体情報とに基づいて経路誘導を行う。
この態様によれば、ナビゲーション装置は、単調度に加えて運転者の生体情報に基づいて経路誘導を行うので、運転者の健康状態等に適した経路誘導を行うことができる。ここで、本発明に係る「運転者の生体情報」とは、運転者の心拍数、運転者の表情や表面温度或いはこれらに基づく疲労度や眠気等、運転者の体に関する情報を意味する。
尚、上述した本発明の第1又は第2の風景単調度演算装置における各種態様に対応して、本発明のコンピュータプログラムも各種態様を採ることが可能である。
本発明の作用及び他の利得は次に説明する実施例から明らかにされる。
以上詳細に説明したように本発明の第1の風景単調度演算装置は、画像取得手段及び単調度演算手段を備えるので、風景の単調度を演算することが可能である。
本発明の第2の風景単調度演算装置は、風景画像取得手段、風景画像分類手段及び単調度演算手段を備えるので、風景の単調度を演算することが可能であり、例えば移動体の走行経路は単調であると判定することができる。例えば、走行経路が単調であると判定された場合には、例えば、警報を出力し、運転者に対して環境の変化を与えることにより、居眠り運転を防止することができる。或いは、移動体内での音楽、映像等を変更することにより、移動体内にいることに同乗者が飽きてしまうことを防止することができる。本発明の風景単調度演算方法は、風景画像取得工程、風景画像分類工程、単調度演算工程を備えるので、本発明の第2の風景単調度演算装置が有する各種利益を享受することが可能となる。本発明のコンピュータプログラムは、本発明の第1又は第2の風景単調度演算装置としてコンピュータを機能させるので、当該コンピュータプログラムをコンピュータに読み込んで実行させれば、本発明の第1又は第2の風景単調度演算装置を比較的簡単に実現できる。本発明のサーバは、単調度を反映した地図情報を有するので、例えば複数のユーザが地図情報を利用することができ大変便利である。本発明の記憶媒体は、単調度を反映した地図情報を有するので、例えば複数のユーザが地図情報を利用することができ大変便利である。本発明のナビゲーション装置は、単調度に基づいて経路誘導を行うので、単調度に応じた経路誘導が可能となる。
第1実施例に係る風景単調度演算装置の構造を示すブロック図である。 第1実施例に係る風景単調度演算装置の動作を示すフローチャートである。 風景画像取得処理の内容を示すフローチャートである。 風景画像データに対応する風景画像を示めす説明図である。 風景画像分類処理の内容を示すフローチャートである。 図4中の画像を画像片に分割した状態を示す説明図である。 色分析処理の内容を示すフローチャートである。 人工物量認識処理の内容を示すフローチャートである。 人工物量認識処理により、画像片から垂直エッジ成分が抽出された状態を示す説明図である。 画像片分類処理において用いられる分類条件を示す説明図である。 画像片分類処理による画像片分類結果を示す説明図である。 風景画像と風景画像群の関係を示す説明図である。 風景画像群の風景分類の変化を示すグラフである。 図13における各コースについての変化回数、種類数及び単調度を示す表である。
符号の説明
1 風景単調度演算装置
11 カメラ
12 入力部
13 障害物認識部
14 風景画像分類部
15 単調度演算部
16 記憶装置
141 画像分割部
142 色分析部
143 フラクタル次元解析部
144 人工物量認識部
145 画像片分類部
146 特徴判断部
147 画像分類部
151 変化回数カウント部
152 種類数カウント部
153 演算部
以下、本発明を実施するための最良の形態について実施例毎に順に図面に基づいて説明する。
<第1実施例>
図1から図14を参照して、本発明の第1実施例に係る風景単調度演算装置について説明する。
(風景単調度演算装置の構造)
先ず、図1を参照して、第1実施例に係る風景単調度演算装置の構造について説明する。ここに図1は、第1実施例に係る風景単調度演算装置の構造を示すブロック図である。
図1において、風景単調度演算装置1は、カメラ11、入力部12、障害物認識部13、風景画像分類部14、単調度演算部15、記憶装置16、制御部17、情報入力部18、及び情報表示部19を備えている。ここで、カメラ11は、本発明に係る「撮影手段」の一例である。入力部12は、本発明に係る「風景画像取得手段」の一部の一例であり、カメラ11と共に「風景画像取得手段」の一部を構成する。
風景単調度演算装置1は、移動体に搭載することが望ましい。例えば、風景単調度演算装置1をカーナビゲーション装置に組み込み、車両に搭載してもよい。或いは、風景単調度演算装置1の構成要素のうちカメラだけを移動体に取り付け、それ以外の構成要素を備えた構造物を会社、研究所、観察所又は自宅の室内に備え付けてもよい。この場合には、室内に備え付けた構造物とカメラとの間を無線通信によって接続する。
カメラ11は、例えば移動体の進行方向前方に存在する例えば景観、物体又は物体集合体等の風景を撮影する。カメラ11は、移動体の進行方向前方を撮影することができるように、移動体の進行方向前部に取り付けることが望ましい。例えば、カメラ11は、自動車のフロントバンパ近傍、フロントガラス近傍などに取り付けることが望ましい。カメラ11は、デジタルカメラでもアナログカメラでもよい。また、カメラ11は、写真(静止画)を撮るためのカメラでもよいし、映像(動画)を撮るためのカメラ、つまりビデオカメラでもよい。いずれの場合にも、カメラ11は、連写可能な、或いは連続撮影が可能なカメラである。
入力部12は、カメラ11から出力される静止画データ又は動画データに基づいて画像データを生成する。入力部12は、例えば入力インターフェイス回路、画像処理用の制御装置及び演算装置などにより構成されている。尚、入力部12に外部入力端子20を設け、カメラ11以外の画像入力装置を接続できるようにし、カメラ11以外の画像入力装置から出力される静止画データ又は動画データに基づいて画像データを生成することができる構成としてもよい。また、カメラ11がアナログカメラである場合には、アナログの静止画信号又は動画信号をデジタルの静止画データ又は動画データに変換するためのA/Dコンバータ(アナログデジタルコンバータ)を入力部12に設ける。
障害物認識部13は、カメラ11に障害物が接近し、撮影の対象とする風景とカメラ11との間が当該障害物によって遮られていることを認識する。
風景画像分類部14は、画像分割部141、色分析部142、フラクタル次元解析部143、人工物量認識部144、画像片分類部145、特徴判断部146及び画像判断部147を備えている。風景画像分類部14は、風景画像を夫々、予め設定された複数の風景分類のうちのいずれかに分類する。
画像分割部141は、画像データに対応する画像を複数の画像片に分割する。
色分析部142は、各画像片について色の性質を分析する。
フラクタル次元解析部143は、各画像片についてフラクタル次元解析を行う。
人工物量認識部144は、各画像片に含まれている人工物又は人工部分の量を認識する。
画像片分類部145は、色分析部142による色分析結果、フラクタル次元解析部143によるフラクタル次元解析結果、人工物量認識部144による人工物又は人工部分の量の認識結果に基づいて、各画像片に含まれている風景の一部の種類を特定し、この種類に基づいて各画像片を分類する。尚、画像データに対応する画像全体に写し出されているものを1個の風景とすると、画像データに対応する画像を分割した各画像片に写し出されているものは風景の一部に当たる。「風景の一部」とはこのような意味である。
特徴判断部146は、画像片分類部145による分類結果に基づいて画像データに対応する画像に含まれている風景の全体の特徴を判断する。
画像分類部147は、特徴判断部146による特徴度に基づいて風景画像を風景分類に分類する。
単調度演算部15は、変化回数カウント部151、種類数カウント部152及び演算部153を備える。単調度演算部15は、風景画像分類部14によって分類された風景分類の時間変化に基づいて、風景画像の時系列における単調度を演算する。
変化回数カウント部151は、風景分類が変化した回数(即ち変化回数)をカウントする。
種類数カウント部152は、風景分類の種類数をカウントする。
演算部153は、変化回数カウント部によりカウントされた変化回数及び種類数カウント部152によるカウントされた種類数に基づいて、単調度を演算する。
障害物認識部13、風景画像分類部14及び単調度演算部15は、例えば中央演算処理装置、マルチプロセッサ又はマイクロコンピュータ等により構成されている。
記憶装置16は、風景単調度演算装置1の各構成要素による処理を行うための作業領域を備えている。この作業領域は、例えば、入力部12による画像データの抽出処理、障害物認識部13による障害物認識処理、画像分割部141による画像の分割処理、色分析部142による色分析処理、フラクタル次元解析部143によるフラクタル次元解析処理、人工物量認識部144による人工物量認識処理、画像片分類部145による画像片分類処理、特徴判断部146による特徴判断処理、変化回数カウント部151による変化回数カウント処理、種類数カウント部152による種類数カウント処理、演算部153による演算処理等に用いられる。更に、記憶装置16は、データ保存領域を備えている。データ保存領域には、画像片分類部145による画像片分類処理で用いるための分類条件情報、特徴判断部146による特徴判断処理で用いるための特徴判断式などが記憶されている。
制御部17は、風景単調度構成装置1の各構成要素の動作を制御する。
情報入力部18は、風景画像分類部14による風景画像分類処理で用いるための風景分類の設定などを外部から入力可能とする。
情報表示部19は、単調度演算部15による単調度演算処理の結果などを表示する。
(風景単調度演算装置の動作)
次に、図2から図12を参照して、第1実施例に係る風景単調度演算装置の動作について説明する。ここに図2は、第1実施例に係る風景単調度演算装置の動作を示すフローチャートである。
図2に示すように、風景単調度演算装置1では、ステップS1からステップS9までの一連の動作が、以下に説明する如く行われる。
(風景画像取得処理)
先ず、風景画像取得処理について、図2に加えて、主に図3及び図4を参照しながら説明する。ここに図3は、風景画像取得処理の内容を示すフローチャートであり、図4は、風景画像データに対応する風景画像を示めす説明図である。
図2において、風景単調度演算装置1は、風景画像取得処理を行う(ステップS1)。風景画像取得処理は、主に、カメラ11により風景(即ち景観等)を撮影し、撮影対象となる風景が含まれる風景画像を符号化した風景画像データを記憶する処理である。
図3に示すように、風景単調度演算装置1では、風景画像取得処理において、ステップS11からステップS13の一連の動作が行われる。
風景単調度演算装置1は、先ず、カメラ11により風景を撮影する(ステップS11)。即ち、カメラ11は、移動体の進行方向前方に存在する風景を撮影し、この風景の画像を符号化した静止画データ又は動画データを入力部12に出力する。入力部12は、カメラ11から出力された静止画データ又は動画データを取得し、これに基づいて画像データを生成する。つまり、カメラ11から出力されるデータが静止画データの場合には、入力部12は、その静止画データを取得し、これを風景画像データとして記憶装置16の作業領域に出力する。一方、カメラ11から出力されるデータが動画データの場合には、入力部12は、その動画データを取得し、この動画データ中の1フレーム分のデータを抽出し、これを風景画像データとして記憶装置16の作業領域に出力する。
尚、カメラ11による風景の撮影は、原則として移動体の所定の移動距離(例えば50m)又は所定の移動時間(例えば5秒間)毎に行われる。例えばカメラ11が写真を撮るためのカメラである場合には、シャッターが所定間隔毎に切られる。一方、カメラ11がビデオカメラである場合には、カメラ11による撮影は移動体の移動中常時連続的に実行される。そして、これにより得られた動画データ中から所定間隔ごとに1フレーム分のデータが入力部12により抽出される。即ち、風景画像データは、時間に対して順番に取得される。
図4中の風景画像51は、風景画像データに対応する風景画像の一例を示している。
再び図3において、続いて、風景単調度演算装置1は、撮影によって得られた風景画像データを記憶装置16の作業領域に記憶する(ステップS12)。
続いて、風景単調度演算装置1は、カメラ11により風景が適切に撮影されたかどうか、即ち、風景画像データに対応する風景画像中に風景の画像が適切に含まれているかどうかを判断する。この判断は障害物認識部13により行われる。つまり、障害物認識部13は、カメラ11に障害物が接近し、撮影の対象である風景(即ち景観等)とカメラ11との間が当該障害物によって遮られているかどうかを認識する(ステップS13)。具体的には、障害認識部13は、風景画像データに対応する風景画像の色等を調べ、風景画像中に含まれる物体を特定し、当該物体が風景画像中に占める割合を調べる。そして、当該物体が風景画像中に占める割合が所定割合を超えるときには、障害物認識部13は、カメラ11に障害物が接近し、撮影の対象である風景とカメラ11との間が当該障害物によって遮られていると認識する。例えば、カメラ11を搭載した自動車がバスやトラックなどの直後を走行しているときには、自動車の進行方向前方の視界がバスやトラックの後部面によって遮られる。このような状況で撮影を行うと、風景画像データに対応する風景画像には、バスやトラックの後部面が全面的に写る。このような場合、障害物認識部13は、カメラ11に障害物が接近し、撮影の対象である景観等とカメラ11との間が当該障害物によって遮られていると認識する。
撮影の対象である風景とカメラ11との間が当該障害物によって遮られているときには(ステップS13:YES)、風景単調度演算装置1は、景観等の撮影を再び行い、この撮影により得られた風景画像データを、前回の撮影で得られた風景画像データに代えて、風景画像データとして記憶装置16の作業領域に記憶する。
撮影の対象である風景とカメラ11との間が当該障害物によって遮られておらず、カメラ11により風景が適切に撮影されたときには(ステップS13:NO)、風景画像取得処理は終了する。尚、カメラ11の撮影位置を示す位置情報や撮影年月日及び撮影時刻を示す時間情報等を風景画像データと対応づけて記憶してもよい。
(風景画像分類処理)
次に風景画像分類処理について、図2に加えて、主に図5及び図6を参照しながら説明する。ここに図5は、風景画像分類処理の内容を示すフローチャートであり、図6は、図4中の画像を画像片に分割した状態を示す説明図である。
再び図2において、風景単調度演算装置1は、風景画像取得処理に続いて風景画像分類処理を行う(ステップS2)。風景画像分類処理は、風景画像取得処理により取得された風景画像データに対応する風景画像を予め定められた風景分類に分類する処理である。
図5に示すように、風景単調度演算装置1では、風景画像分類処理において、ステップS21からステップS28の一連の動作が行われる。
(画像分割処理)
図5において、風景単調度演算装置1は、先ず、画像分割処理を行う(ステップ21)。画像分割処理は、風景画像取得処理により取得された風景画像データに対応する風景画像を複数の画像片に分割する処理である。画像分割処理は、画像分割部141により行われる。つまり、画像分割部141は、記憶装置16の作業領域に記憶された風景画像データに対応する風景画像を複数の画像片に分割し、各画像片に対応する画像片データを記憶装置16の作業領域に記憶する。例えば、風景画像データに対応する風景画像のサイズが1280×1024ピクセルである場合には、画像片のサイズは30×30ピクセル程度であることが望ましい。尚、画像片の大きさは、色分析処理、フラクタル次元解析処理、人工物量認識処理、特徴判断処理等の精度及び処理速度等を考慮して決めることが望ましい。
また、風景画像データに対応する風景画像のサイズと画像片のサイズとの関係によっては、風景画像のすべてを均一の画像片に分割できない場合がある。この場合には、風景画像データに対応する風景画像の端部を画像分割処理の対象から除外してもよい。
図6中の画像52は、画像分割処理により図4中の画像51を複数の画像片53、53、…に分割した状態を示している。
(色分析処理)
次に色分析処理について、図5に加えて、主に図7を参照しながら説明する。図7は、色分析処理の内容を示すフローチャートである。
再び図5において、風景単調度演算装置1は、画像分割処理に続いて、色分析処理、フラクタル次元解析処理及び人工物量認識処理を行う(ステップS22からS24)。色分析処理、フラクタル次元解析処理及び人工物量認識処理は画像片毎に行われる。例えば、1個の画像片について色分析処理、フラクタル次元解析処理及び人工物量認識処理が行われ、その後、次の画像片について色分析処理、フラクタル次元解析処理及び人工物量認識処理が行われる。そして、このような処理が風景画像データに対応する風景画像を構成するすべての画像片について繰り返される。尚、色分析処理、フラクタル次元解析処理、人工物量認識処理の順序は、図5に示す順序に限られない。例えば、フラクタル次元解析処理、人工物量認識処理、色分析処理といった順序でもよい。また、風景画像データに対応する風景画像を構成するすべての画像片について色分析処理を行い、続いて、風景画像データに対応する風景画像を構成するすべての画像片についてフラクタル次元解析処理を行い、続いて、風景画像データに対応する風景画像を構成するすべての画像片について人工物量認識処理を行ってもよい。
図5に示すように、先ず、風景単調度演算装置1は、1個の画像片について色分析処理を行う。色分析処理は、各画像片について色の性質を分析する処理である。色分析処理は、色分析部142により行われる。また、色分析処理は、画像片中の画素毎に行われる。
図7に示すように、風景単調度演算装置1では、色分析処理において、ステップS31からステップS40の一連の動作が行われる。
図7において、先ず、画像片データの色情報がRGB系の色情報である場合、色分析部142は、この色情報を色相、彩度及び明度をパラメータとする表色系の色情報、例えばHLS系の色情報に変換する(ステップS31)。
続いて、色分析部142は、画像片に含まれる画素の中から、まだ色分析処理を行っていない1個の画素を選択する(ステップS32)。
続いて、色分析部142は、選択した画素について看板基準を満たすかどうか判断する(看板判定:ステップS33)。つまり、色分析部142は、当該画素の色の彩度が所定の彩度基準値を超えており、かつ当該画素の色の明度が所定の明度基準値を超えているときには、当該画素が看板基準を満たすと判断する。この判断は、当該画素のHLS系色情報に基づいて行われる。当該画素が看板基準を満たすときには(ステップS33:YES)、色分析部142は看板カウント値を増やす(ステップS34)。この後、色分析部142は、緑視基準の判断及び青空基準の判断(ステップS35及び37)を行わず、処理をステップS39に移す。
当該画素が看板基準を満たさないときには(ステップS33:NO)、色分析部142は看板カウント値を増やさない。続いて、色分析部142は、当該画素について緑視基準を満たすかどうか判断する(緑視判定:ステップS35)。つまり、色分析部142は、当該画素の色相が緑領域であるときには、当該画素が緑視基準を満たすと判断する。この判断は、当該画素のHLS系色情報に基づいて行われる。当該画素が緑視基準を満たすときには(ステップS35:YES)、色分析部142は緑視カウント値を増やす(ステップS36)。この後、色分析部14は、青空基準の判断(ステップS37)を行わず、処理をステップS39に移す。
当該画素が緑視基準を満たさないときには(ステップS35:NO)、色分析部142は緑視カウント値を増やさない。続いて、色分析部142は、当該画素について青空基準を満たすかどうか判断する(青空判定:ステップS37)。つまり、色分析部142は、当該画素の色相が青領域であるときには、当該画素が青空基準を満たすと判断する。この判断は、当該画素のHLS系色情報に基づいて行われる。当該画素が青空基準を満たすときには(ステップS37:YES)、色分析部142は青空カウント値を増やす(ステップS38)。
当該画素が青空基準を満たさないときには(ステップS37:NO)、色分析部142は青空カウント値を増やさない。
続いて、ステップS39において、色分析部142は、画像片中のすべての画素についての看板判定、緑視判定、青空判定がステップS33からS38の流れに従って行われたか否かを判断する。画像片中のすべての画素についての看板判定、緑視判定、青空判定がステップS33からS38の流れに従って行われていないときには(ステップS39:NO)、色分析部142は、処理をステップS32に戻し、未処理の画素(例えば次の画素)を選択し、この画素について看板判定、緑視判定、青空判定をステップS33からS38の流れに従って行う。
画像片中のすべての画素についての看板判定、緑視判定、青空判定がステップS33からS38の流れに従って行われたときには(ステップS39:YES)、続いて、色分析部142は、看板率、緑視率及び青空率を算出する(ステップS40)。つまり、色分析部142は、看板カウント値を画像片の画素数で割ることにより看板率を算出する。また、色分析部142は、緑視カウント値を画像片の画素数で割ることにより緑視率を算出する。また、色分析部142は、青空カウント値を画像片の画素数で割ることにより青空率を算出する。算出された看板率、緑視率及び青空率は、記憶装置16の作業領域に記憶される。
尚、看板カウント、緑視カウント、青空カウントを行うためのカウンタは、例えば色分析部142に設けられている。また、看板カウント値、緑視カウント値及び青空カウント値は、各画像片について色分析処理が実行される直前にクリアされる。
(フラクタル次元解析処理)
次にフラクタル次元解析処理について、主に図5を参照しながら説明する。
再び図5において、風景単調度演算装置1は、色分析処理に続き、同一の画像片についてフラクタル次元解析処理を行う(ステップS23)。フラクタル次元解析処理は、各画像片についてフラクタル次元解析を行う処理である。フラクタル次元解析処理は、フラクタル次元解析部143により行われる。フラクタル次元解析処理により、当該画像片についてフラクタル次元値が得られる。フラクタル次元値は例えば0.0から2.0までいずれかの値である。フラクタル次元値は記憶装置16の作業領域に記憶される。尚、フラクタル次元解析処理には、周知のフラクタル次元解析法を用いることができる。
(人工物量認識処理)
次に人工物認識処理について、図5に加えて、主に図8及び図9を参照しながら説明する。ここに図8は、人工物量認識処理の内容を示すフローチャートであり、図9は、人工物量認識処理により、画像片から垂直エッジ成分が抽出された状態を示す説明図である。
図5において、フラクタル次元解析処理に続き、風景単調度演算装置1は、同一の画像片について人工物量認識処理を行う(ステップS24)。人工物量認識処理は、各画像片に含まれている人工物又は人工部分の量を認識する処理である。人工物量認識処理は人工物量認識部144により行われる。
図8に示すように、風景単調度演算装置1では、人工物量認識処理において、ステップS41からステップS43の一連の動作が行われる。
人工物量認識部144は、先ず、画像片中において縦方向に伸びるエッジ成分、即ち垂直エッジ成分を抽出する(ステップS41)。例えば、画像片の下辺が、撮影された風景における水平線と一致している場合、垂直エッジ成分は、画像片の下辺と垂直に交わる方向に伸びるエッジ成分である。
続いて、人工物量認識部144は、抽出した垂直エッジ成分を二値化する(ステップS42)。
続いて、人工物量認識部144は、連続的に伸びる所定長さ以上の垂直エッジ成分を数える(ステップS43)。例えば、画像片の下端から上端まで連続的に伸びる垂直エッジ成分の個数を数える。図9は1個の画像片54中の垂直エッジ成分を示している。図9に示す画像片54中には、画像片の下端から上端まで連続的に伸びる垂直エッジ成分54eが3個存在している。
一般に、看板や建物などの人工物は水平な地面から垂直方向にまっすぐに伸びているのに対し、草木などの自然物はそうでない場合が多い。このため、1個の画像片中において連続的に伸びる所定長さ以上の垂直エッジ成分を数えることにより、1個の画像片に含まれる人工物の量を知ることができる。
画像片中において連続的に伸びる所定長さ以上の垂直エッジ成分の個数を示す値は、人工物量カウント値として記憶装置16の作業領域に記憶される。
再び図5において、1個の画像片につき、色分析処理、フラクタル次元解析処理及び人工物量認識処理が終了した後、風景単調度演算装置1は、風景画像データに対応する風景画像を構成するすべての画像片について色分析処理、フラクタル次元解析処理及び人工物量認識処理が終了したか否かを判断する(ステップS25)。風景画像データに対応する風景画像を構成するすべての画像片について色分析処理、フラクタル次元解析処理及び人工物量認識処理が終了していないときには、風景単調度演算装置1は、未処理の画像片(次の画像片)について色分析処理、フラクタル次元解析処理及び人工物量認識処理を行う。
(画像片分類処理)
次に画像片分類処理について、図5に加えて、主に図10及び図11を参照しながら説明する。ここに図10は、画像片分類処理において用いられる分類条件を示す説明図であり、図11は、画像片分類処理による画像片分類結果を示す説明図である。
図5において、風景画像データに対応する風景画像を構成するすべての画像片について色分析処理、フラクタル次元解析処理及び人工物量認識処理が終了したときには、風景単調度演算装置1は画像片分類処理を行う(ステップS26)。画像片分類処理は、色分析手段処理により得られた色分析結果(看板率、緑視率、青空率)、フラクタル次元解析処理により得られたフラクタル次元解析結果(フラクタル次元解析値)、及び人工物量認識処理により得られた人工物又は人工部分の量の認識結果(人工物量カウント値)に基づいて、各画像片に含まれている風景の一部の種類を特定し、この種類に基づいて各画像片を分類する処理である。風景の一部の種類には、例えば草木、空、人工物などがあり、これに応じて、「草木」、「空」、「人工物」、「その他」等の画像片分類項目が設定される。画像片分類処理は画像片分類部145により行われる。画像片分類処理には、例えば図10に示すような分類条件情報55に記述された分類条件が用いられる。分類条件情報55は、製品出荷以前の実験などに基づいて予め作成され、記憶装置16のデータ保存領域に記憶されている。尚、分類条件情報55を更新できるような構成としてもよい。
以下、画像片分類処理の具体例をあげる。この具体例では、図10に示す分類条件情報55に記述された分類条件を用いて、1個の画像データに含まれる各画像片を分類する。先ず、画像片分類部145は、分類条件情報55を記憶装置16のデータ保存領域から読み出す。続いて、画像片分類部145は、風景画像データに含まれる風景画像片のうちの1個に関する看板率、緑視率、青空率、フラクタル次元解析値及び人工物量カウント値を記憶装置16の作業領域から読み出す。続いて、画像片分類部145は、当該画像片に関する看板率、緑視率、青空率、フラクタル次元解析値及び人工物量カウント値の組み合わせと、分類条件情報55に記述された分類条件とを比較し、当該画像片に関する看板率、緑視率、青空率、フラクタル次元解析値及び人工物量カウント値の組み合わせが、分類条件に当てはまるか否かを判断する。続いて、画像片分類部145は、この判断結果に基づいて当該画像片に含まれている風景の一部の種類を特定し、この種類に基づいて当該画像片を分類する。
例えば、当該画像片に関する緑視率が多く(例えば0.5より大きい)、青空率が少なく(例えば0.5以下)、看板率が少なく(例えば0.5以下)、フラクタル次元解析値が高く(例えば1.0より大きい)、かつ人工物量カウント値が0のときには、当該画像片に含まれている景観等の一部の種類は草木であると特定され、当該画像片は「草木」という画像片分類項目に分類される。
また、当該画像片に関する緑視率が少なく(例えば0.5以下)、青空率が多く(例えば0.5より大きい)、看板率が少なく(例えば0.5以下)、フラクタル次元解析値が低く(例えば1.0以下)、かつ人工物量カウント値が0のときには、当該画像片に含まれている景観等の一部の種類は空であると特定され、当該画像片は「空」という画像片分類項目に分類される。
また、当該画像片に関する緑視率が少なく(例えば0.5以下)、青空率が少なく(例えば0.5以下)、かつ看板率が多い(例えば0.5より大きい)ときには、当該画像片に含まれる景観等の一部の種類は人工物であると特定され、当該画像片は人工物という画像片分類項目に分類される。また、当該画像片に関する緑視率が少なく(例えば0.5以下)、青空率が少なく(例えば0.5以下)、かつ人工物量カウント値が1以上のときにも、当該画像片に含まれる景観等の一部の種類は人工物であると特定され、当該画像片は「人工物」にという画像片分類項目に分類される。
また、当該画像片に関する緑視率、青空率、看板率、フラクタル次元解析値、人工物量カウント値の組み合わせが分類条件情報の示す分類条件のいずれにも当てはまらないときには、当該画像片は「その他」という画像片分類項目に分類される。
画像片分類処理による画像片分類結果は、記憶装置16の作業領域に記憶される。例えば、画像片分類結果が「草木」であれば分類番号1、「空」であれば分類番号2、「人工物」であれば分類番号3、「その他」であれば分類番号4というように、画像片分類結果を分類番号に置き換えて記憶してもよい。
図11中のイメージチャート56は、画像片分類処理により得られた各画像片の画像片分類結果を、画像片分類結果毎に色を変えて表示したものである。これは図6に示す画像52中の各画像片53を、図10に示す分類条件情報55を用いて分類した結果である。図6中の画像52と図11中のイメージチャート56とを比較すると、画像52中に写し出されている実際の風景と、イメージチャート56に表示されている画像片分類結果とが整合していることがわかる。例えば、画像52中の左側には木々が写っており、イメージチャート56中の左側には「草木」の画像片分類結果が表示されている。また、画像52中の上側には空が写っており、イメージチャート56の上側には「空」の画像片分類結果が表示されている。また、画像52中の右側には建物が写っており、イメージチャート56中の右側には「人工物」の画像片分類結果が表示されている。また、画像52中の下側には道路が写っている。道路は草木でも、空でも、人工物でもないと判断されるので、イメージチャート56中の下側には「その他」の分類結果が表示されている。
(特徴判断処理)
次に特徴判断処理について、主に図5、図6及び図11を参照しながら説明する。
再び図5において、風景単調度演算装置1は続いて特徴判断処理を行う(ステップS27)。特徴判断処理は、画像片分類処理により得られた画像片分類結果に基づいて、風景画像データに対応する風景画像に含まれている風景の全体の特徴を判断する処理である。風景の全体の特徴には、例えば自然度、都市度、開けた道度等がある。特徴判断処理は、特徴判断部146により行われる。また、特徴判断処理には、特徴判断式が用いられる。特徴判断式は、製品出荷以前の実験などに基づいて予め作成され、記憶装置16のデータ保存領域に記憶されている。尚、特徴判断式を変更できるような構成としてもよい。
特徴判断処理において、特徴判断部146は、先ず、1個の風景画像データに対応する風景画像を構成する画像片に関する画像片分類結果を集計する。例えば、1個の風景画像データに対応する風景画像を構成する画像片のうち、画像片分類結果が「草木」である画像片の個数(「草木数」と呼ぶ)、画像片分類結果が「空」である画像片の個数(「空数」と呼ぶ)、画像片分類結果が「人工物」である画像片の個数(「人工物数」と呼ぶ)、画像片分類結果が「その他」である画像片の個数を数える。各画像片に関する画像片分類結果が図11中のイメージチャート56に示す結果である場合を例にあげると、草木数は30である。空数は28である。人工物数は20である。画像片分類結果が「その他」である画像片の個数は39である。続いて、特徴判断部146は、画像片分類結果の集計結果を記憶装置16の作業領域に記憶する。
続いて、特徴判断部146は、特徴判断式を記憶装置16のデータ保存領域から読み出す。特徴判断式は、画像に含まれる風景の特徴を判断するための式である。特徴判断式は、画像に含まれる風景の特徴の種類、即ち自然度、都市度、開けた道度などごとに存在する。ここでは、自然度を判断するための特徴判断式を自然度判断式といい、都市度を判断するための特徴判断式を都市度判断式といい、開けた道度を判断するための特徴判断式を開けた道度判断式という。
特徴判断式には、自然度判断式、都市度判断式、開けた道度判断式等、風景画像に含まれる風景の特徴の種類に応じて様々な式があるが、これらの式はそれぞれ共通の構造を有している。即ち、特徴判断式の基本式があり、この基本式を具体化したものが自然度判断式であり、都市度判断式であり、開けた道度判断式である。特徴判断式の基本式は次のとおりである。
風景の特徴=(プラス要素数−マイナス要素数)/判断要素全体数……(1)
式(1)において、プラス要素数とは、特徴判断の対象となっている風景の特徴を強める方向に作用する画像片分類結果を有する画像片の個数である。マイナス要素数とは、特徴判断の対象となっている風景の特徴を弱める方向に作用する画像片分類結果を有する画像片の個数である。判断要素全体数とは、特徴判断に用いられる画像片分類結果を有する画像片の総数である。
自然度を判断する場合、草木数がプラス要素数になり、人工物数がマイナス要素数となる。また、自然度の判断に用いる画像片分類結果は「草木」、「空」、「人工物」であり、よって判断要素全体数は、草木数と空数と人工物数とを合計した数である。尚、空数はプラス要素数でもマイナス要素数でもないが、判断要素全体数に含める。即ち、自然度判断式は、例えば次のとおりである。
自然度=(草木数−人工物数)/判断要素全体数……(2)
但し、判断要素全体数=草木数+空数+人工物数……(3)
自然度の値は−1から+1までの間のいずれかの値になる。自然度がもっとも低いときには−1となり、自然度がもっとも高いときには+1になる。例えば図11中のイメージチャート56に示す各画像片の画像片分類結果に基づいて、図6中の画像52の自然度を計算すると、次のようになる。つまり、イメージチャート56において、草木数が30で、空数が28で、人工物数が20なので、自然度は、
(30−20)/78=0.13……(4)
である。自然度0が自然度の中間値なので、自然度が0の場合に「適度な自然がある」という評価をするとすれば、自然度0.13は、例えば「適度な自然がある」と評価することができる。
また、都市度を判断する場合、人工物数がプラス要素数になり、草木数がマイナス要素数となり、空数がマイナス要素数となる。また、都市度の判断に用いる画像片分類結果は「草木」、「空」、「人工物」であるので、判断要素全体数は、草木数と空数と人工物数とを合計した数である。即ち、都市度判断式は、例えば次のとおりである。
都市度={人工物数−(草木数+空数)}/判断要素全体数……(5)
但し、判断要素全体数=草木数+空数+人工物数……(6)
都市度の値は−1から+1までの間のいずれかの値になる。都市度がもっとも低いときには−1となり、都市度がもっとも高いときには+1になる。例えば図11中のイメージチャート56に示す各画像片の分類結果に基づいて、図6中の画像52の自然度を計算すると、次のようになる。つまり、イメージチャート56において、草木数が30で、空数が28で、人工物数が20なので、都市度は、
{20−(30+28)}/78=−0.49……(7)
である。都市度0が都市度の中間値なので、都市度が0の場合に「適度な都市化がすすんでいる」という評価をするとすれば、都市度−0.49は、例えば「都市化があまり進んでいない」と評価することができる。
更に、開けた道度を判断する場合、空数がプラス要素数になり、草木数がマイナス要素数となる。ここで、開けた道度とは、概ね、道路の周囲に高い木や建物がなく、道路周囲の景観が開けている程度を示す。また、開けた道度の判断に用いる画像片分類結果は「草木」、「空」、「人工物」であり、よって判断要素全体数は、草木数と空数と人工物数とを合計した数である。尚、人工物数はプラス要素数でもマイナス要素数でもないが、判断要素全体数に含める。即ち、開けた道度の判断式は、次のとおりである。
開けた道度=(空数−草木数)/判断要素全体数……(8)
但し、判断要素全体数=草木数+空数+人工物数……(9)
開けた道度の値は−1から+1までの間のいずれかの値になる。開けた道度がもっとも低いときには−1となり、開けた道度がもっとも高いときには+1になる。例えば図11中のイメージチャート56に示す各画像片の画像片分類結果に基づいて、図6中の画像52の開けた道度を計算すると、次のようになる。つまり、イメージチャート56において、草木数が30で、空数が28で、人工物数が20なので、開けた道度は、
(28−30)/78=−0.03……(10)
である。開けた道度0が開けた道度の中間値なので、開けた道度が0の場合に「道路周囲の景観が適度に開けている」という評価をするとすれば、開けた道度−0.03は、例えば「道路周囲の景観が適度に開けている」と評価することができる。
特徴判断部146は、特徴判断処理において自然度を判断するときには、自然度判断式を記憶装置16のデータ保存領域から読み出し、都市度を判断するときには、都市度判断式を記憶装置16のデータ保存領域から読み出し、開けた道度を判断するときには、開けた道度判断式を記憶装置16のデータ保存領域から読み出す。
続いて、特徴判断部146は、自然度判断、都市度判断又は開けた道度等の特徴判断を行うのに必要な画像片分類結果を有する各画像片の個数(集計結果)を記憶装置16の作業領域から読み出す。
続いて、特徴判断部146は、記憶装置16の作業領域から読み出した各画像片の個数を特徴判断式(自然度判断式、都市度判断式、開けた道度判断式など)に当てはめ、演算を行う。これにより、判断の対象となっている1個の風景画像データに対応する風景画像に含まれる風景の特徴を示す特徴度数が得られる。即ち、判断の対象となっている1個の風景画像データに対応する風景画像の自然度を示す自然度数、判断の対象となっている1個の風景画像データに対応する風景画像の都市度を示す都市度数、又は判断の対象となっている1個の風景画像データに対応する風景画像の開けた道度を示す開けた道度数が得られる。例えば、図11中のイメージチャート56に示す各画像片の分類結果に基づいて、図6中の画像52の自然度数、都市度数及び開けた道度を演算すると、それぞれ0.13、−0.49及び−0.03となる(式(4)、(7)及び(10)参照)。尚、特徴度数は特徴情報の具体例である。
続いて、特徴判断部146は、特徴度数、即ち自然度数、都市度数、開けた道度等を記憶装置16の作業領域に記憶する。尚、このとき、特徴判断部146は、判断の対象となった風景画像データに対応する風景画像に含まれる風景についての特徴度数を、当該風景画像の撮影位置を示す位置情報及び当該風景画像の撮影年月日・時刻を示す時間情報と対応づけて記憶してもよい。
尚、上述した特徴判断処理において、各画像片に含まれる風景の一部とカメラ11との間の距離に応じて各画像片に重み付けをしてもよい。つまり、ある画像片に含まれている風景の一部とカメラ11との間の距離が、他の画像片に含まれている風景の一部とカメラ11との間の距離よりも長いときには、特徴判断部146は、当該画像片についての重みを、他の画像片についての重みよりも大きくした上で特徴判断処理を行うようにしてもよい。
(画像分類処理)
次に画像分類処理について、主に図5及び図6を参照しながら説明する。
再び図5において、風景単調度演算装置1は、続いて画像分類処理を行う(ステップS28)。画像分類処理は、特徴判断処理により得られた特徴度数に基づいて、風景画像データに対応する風景画像を予め設定された風景分類に分類する処理である。画像分類処理は画像分類部147により行われる。風景分類は、風景画像に対応する風景の特徴を示すため項目であり、例えば工場での設定或いはユーザ操作等によって予め設定され、記憶装置16のデータ保存領域に記憶されている。風景分類としては、例えば「森林」、「街並み」、「開けた道」の3つが設定される。尚、これらの風景分類に分類されない風景画像を分類するために、「その他」を更に設定してもよい。
画像分類処理において、画像分類部147は、1個の風景画像データに対応する風景画像に関する特徴度数に基づき、画像分類条件に従って、風景画像を風景分類に分類する。例えば、複数の特徴度数のうち最も度数の高いもの(但し、0.5以上のもの)をその特徴度に対応する風景分類に分類するという画像分類条件に従って風景画像を風景分類に分類する。即ち、風景画像に関する複数の特徴度のうち自然度が最も高い場合には、「森林」に分類し、風景画像に関する複数の特徴度のうち都市度が最も高い場合には、「街並み」に分類し、風景画像に関する複数の特徴度のうち開けた道度が最も高い場合には、「開けた道」に分類する。但し、自然度、都市度及び開けた道度のいずれも0.5未満である場合には、「その他」に分類する。図6中の画像52について、特徴度数に基づく風景分類すると、以下のようになる。画像52の自然度数、都市度数及び開けた道度数は、それぞれ0.13、−0.49及び−0.03であり(式(4)、(7)及び(10)参照)、自然度、都市度及び開けた道度のいずれも0.5未満であるので、画像52は「その他」に分類される。尚、風景分類として、「海沿い」、「田んぼ」、「並木道」等を設定してもよい。
続いて、画像分類部147は、画像分類処理による画像分類(即ち風景分類)結果を記憶装置16の作業領域に記憶する。尚、画像分類結果は、数字、アルファベット、記号等に置き換えて記憶してもよい。
(前処理)
次に前処理について、図2に加えて、図12を参照しながら説明する。ここに図12は、風景画像と風景画像群の関係を示す説明図である。
再び図2において、画像分類処理が終了した後、風景単調度演算装置1は、後述する単調度演算処理に必要な数の風景画像が取得されているか否かを判断する(ステップS3)。必要な数の風景画像が取得されていないときには(ステップS3:NO)、必要な数の風景画像を取得するため、上述したステップ1及びステップ2の処理を行う。必要な数の風景画像が取得されているときには(ステップS3:YES)、風景単調度演算装置1は、前処理を行う(ステップS40)。前処理では、取得された風景画像は、5つ毎に一群の風景画像群とされ、1つの風景画像群に含まれる風景画像が分類された風景分類に基づいて、風景画像群は風景分類に分類される。例えば、1つの風景画像群に含まれる風景画像の風景分類のうち最も多い風景分類を、その風景画像群の風景分類とする。即ち、図12に示すように対象となる複数の風景画像58は時系列に5つ毎に第1風景画像群から第N風景画像群とされ、例えば第3風景画像群について見ると、第3風景画像群に含まれる5つの風景画像58のうち、4つの風景分類が「森林」(図中「a」で示す)に、1つの風景分類が「街並み」(図中「b」)に夫々、上述した画像分類処理により分類されているので、第3風景画像群の風景分類は「森林」に分類される。このような前処理は、例えば、森林中の交差点(「街並み」と分類され得る)を通過した場合に生じ得る風景分類の局所的な変化をノイズとして除去することができる。即ち、一連の風景からすると、例えば運転者或いは同乗者にとっては、風景に変化があるとは実際には殆ど感じられないような変化を除去することができる。
続いて、前処理による風景画像群の風景分類結果は、記憶装置16の作業領域に記憶される。
(単調度演算処理)
次に単調度演算処理について、主に図2及び図12を参照しながら説明する。
再び図2において、前処理が終了した後、風景単調度演算装置1は、変化回数カウント処理及び種類数カウント処理を行う(ステップS5)。
変化回数カウント処理は、所定数の風景画像について、風景画像群が分類された風景分類が変化した回数をカウントする処理である。変化回数カウント処理は、変化回数カウント部151により行われる。例えば、図12に示すように第1風景画像群の風景分類が「森林」であり、第2風景画像群の風景分類が「街並み」の場合には、変化数カウント部151は、変化回数を1つカウントする。尚、このように風景画像群の風景分類が時系列に変化する時点を風景変化点と呼ぶ。
種類数カウント処理は、所定数の風景画像について、風景画像群が分類された風景分類の種類数をカウントする処理である。種類数カウント処理は、種類数カウント部152により行われる。図12に示すように、例えば、第1風景画像群の風景分類が「森林」であり、第2風景画像群の風景分類が「街並み」であり、第3風景画像群の風景分類が「森林」である場合には、第1風景画像群から第3風景画像群までの種類通は「2」とカウントされる。
変化回数カウント処理及び種類数カウント処理は、どちらが先に行われてもよいし、或いは、同時に行うようにしてもよい。
続いて、変化回数カウント処理による変化回数及び種類数カウント処理による種類数は、記憶装置16の作業領域に記憶される。
再び図2において、変化回数カウント処理及び種類数カウント処理が終了した後、風景単調度演算装置1は、単調度演算処理を行う(ステップS6)。
単調度演算処理は、変化回数カウント処理による変化回数及び種類数カウント処理による種類数に基づいて、単調度を演算する処理である。単調度演算処理は、演算部153により行われる。単調度演算処理では、例えば、変化回数及び種類数の積の値が大きいほど単調度は小さく、変化回数及び種類数の積の値が小さいほど単調度は大きくなるように演算される。即ち、単調度演算手段による単調度の演算式は、例えば次のとおりである。
単調度=1−(変化回数×種類数)/(総風景画像群数×総種類数)……(11)
式(11)において、「総風景画像群数」は、単調度を演算する対象となる風景画像群の数を意味する。また、「総種類数」は、予め設定された複数の風景分類の数を意味し、例えば、予め設定された複数の風景分類が、「森林」、「街並み」、「開けた道」、「その他」である場合には、総種類数は4となる。尚、「その他」を総種類数から除外してもよい。更に、単調度を0から100の範囲で表すために式(11)において、カウントされた回数をカウントされた回数−1に置き換えると共に、右辺に100を乗じてもよい。
ここで、図13及び図14を参照して、単調度演算処理の具体例について説明する。ここに図13は、風景画像群の風景分類の変化を示すグラフである。図14は、図13における各コースについての変化回数、種類数及び単調度を示す表である。
図13中の分類結果59は、相異なる4つのコース(即ち、コースA、コースB、コースC及びコースD)を車両で走行中に風景単調度演算装置1によって風景画像が取得され、風景画像群毎に風景分類に分類された結果を示している。分類結果59は、横軸が風景画像群、縦軸が風景分類である。尚、本具体例では、風景画像群は、第1群風景画像群から第10群風景画像群を対象とし、風景分類として、「森林」、「街並み」、「開けた道」及び「その他」の4つが設定されている。
図13に示すように、コースAは、森林を走行し続けるコースであり、第1風景画像群から第10風景画像群の風景分類は全て「森林」に分類されている。
コースBは、街並みを走行中に、森林を通過するコースであり、第1風景画群から第3風景画像群、及び第8風景画群から第10風景画像群の風景分類は「街並み」に分類され、第4風景画群から第7風景画像群の風景分類は「森林」に分類されている。
コースC及びコースDは、森林、街並み、開けた道等を通過するコースであり、夫々、分類結果59のように、風景画像群は、「森林」「街並み」「開けた道」及び「その他」に分類されている。
図14は、図13の4つのコースについての変化回数、種類数及び単調度を示している。
変化回数及び種類数は、上述したように変化回数カウント処理及び種類数カウント処理によりカウントされる。図14は、コースA、コースB、コースC及びコースDの各々について、変化回数が0、2、5及び9であり、種類数が1、2、3及び4であることを示している。
コースAの単調度は、上述した式(11)(但し、単調度を0から100の範囲で表すために左辺に100を乗じる。)より、以下のように演算される。
(1−(0×1)/(10×4))×100=100……(12)
同様に、コースBの単調度は、以下のように演算される。
(1−(2×2)/(10×4))×100=90……(13)
同様に、コースCの単調度は、以下のように演算される。
(1−(5×3)/(10×4))×100=62.5……(14)
同様に、コースDの単調度は、以下のように演算される。
(1−(9×4)/(10×4))×100=10……(15)
このように演算された各コースの単調度を比較すると、コースAの単調度が100で最も大きく、コースDの単調度が10で最も小さいことが判定できる。即ち、コースAが最も単調であり、コースDが最も単調でない即ち最も変化に富んだコースであることが判定できる。
続いて、単調度演算処理による単調度は、記憶装置16の作業領域に記憶される。
(アクション処理)
再び図2において、風景単調度演算装置1は、風景画像が単調であるか否かを判断する(ステップS7)。風景画像が単調であるか否かの判断は、単調度演算処理による単調度についての基準を予め設けることで行われる。例えば、単調度に対してある閾値を予め設定しておき、その閾値よりも高い場合には、その一連の風景画像は単調であると判断する。例えば単調度の閾値を80と設定し、単調度が80以上の場合には単調であると判断する。即ち、例えば、図13及び図14を参照して上述したコースAからコースDについて見れば、コースA及びコースBは、単調度が80以上であるので、「単調である」と判断され、コースC及びコースDは、単調度が80未満であるので、「単調でない」と判断される。
風景画像が単調でないと判断されたときには(ステップS7:NO)、風景単調度取得装置の動作を継続するか否かが判断される(ステップS9)。継続するときには(ステップS9:YES)、ステップ1からの動作を行う。継続しないときには(ステップS9:NO)、風景単調度演算装置1は動作を終了する。
風景画像が単調であると判断されたときには(ステップS7:YES)、アクション処理が行われる(ステップS8)。アクション処理は、単調度が高いために生じ得る運転者の居眠り等を防止するための処理であり、例えば情報表示部19により行われる。情報表示部19は、運転者に対する警告情報を表示する。尚、アクション処理として、例えば、警報の発砲、表示装置の表示方法の変更、カーナビゲーションによる他の経路への誘導、休憩できる地点の案内、音楽・映像・画像等の変更などを行ってもよい。アクション処理としては、例えば運転者や同乗者に環境の変化を与えるものが望ましい。更に、アクション処理は、単調度の大きさに応じて、その頻度や度合いを増減させるようにしてもよい。
風景単調度演算装置1をカーナビゲーション装置に組み込んだ場合の、具体的なアクション処理について説明する。
カーナビゲーション装置は、カーナビゲーションを利用して経路設定をしている場合、又は経路設定をせずに自由走行の状態で現在位置を取得できている場合に、単調な道が続くと判断すると、走行中に、先に続く単調な経路の距離の案内(例えば「この先、単調な道が5km続きます」等の表示)、単調な経路を走行する前の休憩所等の案内、現在走行中の経路を変更する案内を行う。また、経路上の単調度の変化を含む案内(例えば「あと3km単調な道が続きますが、その後は単調な道ではありません」等の表示)を行う。また、他の経路を再検索する場合、単調度の低い経路を案内してもよいし、現在走行中の風景と異なる風景の経路へ案内してもよい。例えば、「森林」の続く単調な道を走行している場合、「街並み」の続く単調な道へ変更する。これは、変化点が一つできるので効果がある。更に、一定時間走行後や一定距離走行後、運転者の疲労度などの情報と組み合わせて、経路を案内するようにしてもよい。
また、カーナビゲーション装置又はその機能を適用したコンピュータは、単調度を反映させた地図情報を用いて経路設定をする際には、単調度を考慮して経路設定を行う。例えば、目的地までの経路のうち、単調な経路は全て回避する。目的地までの経路に、単調な経路を一定距離走行する場合に、途中から単調な経路を回避するようにする。同様に単調な経路を一定距離走行する場合に、途中の休憩地点をあらかじめ設定するよう案内する。また、有料道路または高速道路を利用する経路設定の場合、単調な道が長く続くのであれば、サービスエリアやパーキングエリアなどの休憩できる地点をあらかじめ案内する。
また、カーナビゲーション装置又はその機能を適用したコンピュータは、単調度を反映させた地図情報を用いて経路設定をする際には、目的地までのルート探索結果を複数の候補から選ぶことが出来る場合に、時間や距離、有料道路の料金に加えて、単調度を表示する。例えば、経路上の単調度の累計をルート毎に演算し、比較が出来るように表示する。区間毎に演算した単調度の累計を表示する、又は区間毎に演算した単調度の和を区間数で割って平均値を表示すると、各ルートの単調度の比較が容易になる。また、目的地までのルート探索結果の中に、「距離優先」、「時間優先」、「有料回避」などに加えて「単調回避」と表示してもよい。「単調回避」の場合、単調な経路を避けるだけでなく、休憩地点などを自動で設定するようにしてもよい。
また、カーナビゲーション装置は、位置情報、経路、一定区間の通過回数等を参照して移動体の過去の走行履歴を記憶しており、この走行履歴に基づいて、上述の単調と判断する値を可変する。例えば、初めて走行する経路については単調と判断する値を90とし、何度か走行したことのある経路については単調と判断する値を70とする。
また、カーナビゲーション装置が運転者の心拍数、カメラを用いて検出した運転者の表情や表面温度に基づく疲労度や眠気、等の生体情報を測定する手段を有する場合、カーナビゲーション装置は、疲労度や眠気がある閾値を越えた場合であって、既に単調な経路を走行中、又はこのまま単調な道が続く場合に、居眠り運転の危険性が高いと判定し、経路の変更や休憩地点を案内する。
また、カーナビゲーション装置は、走行中に、運転者の疲労度や眠気を経路上に色情報やアイコン等で表示してもよい。これにより、運転者は、単調な経路を走行中で疲労度や眠気が高まっていることを視覚的に確認することが出来る。
また、カーナビゲーション装置が同乗者を検出する手段、例えば車内に向けたカメラ、シートセンサー、手動スイッチを有する場合、カーナビゲーション装置は、検出結果と単調度演算結果と組み合わせてアクションを行う。例えば、同乗者に子供の顔を検出した場合、子供は外風景に対して非常に飽きやすい可能性があるので、単調と判断する値を80から60とする。
以上説明したように、本実施例に係る風景単調度演算装置によれば、風景画像に対応した風景の単調さを反映した単調度を演算することができる。よって、単調度に対して、例えばある閾値を設けることにより、風景画像に対応する風景が単調であるかどうか、言い換えれば、例えば移動体の走行経路が単調であるがどうかを判定することができる。更に、単調度に応じて運転者に対して環境の変化を与えることにより、居眠り運転を防止することができる。或いは、移動体内での音楽、映像等を変更することにより、移動体内にいることに同乗者が飽きてしまうことを防止することができる。
<他の実施例1>
上述した風景単調度演算装置1では、カメラ11等により取得された風景画像のみから単調度を演算しているが、画像以外の情報を用いて単調度を演算してもよい。即ち、例えば車外や車内或いは車両の情報を入力センサにより取得し、取得された情報を用いて単調度を演算してもよい。また、入力センサにより取得される情報は、複数種類を同時に取得してもよい。更に、入力センサにより取得される情報は、カメラ11等による風景画像と同時に取得してもよい。
例えば、カメラ11等による風景画像に加えて、入力センサとして集音マイクを用いて風景画像以外の情報として車外の音を取得する。そして、風景画像及び車外の音から単調度を演算する。この場合には、例えばカメラ11等による風景画像のみから演算された単調度では、単調度が大きいと判断された経路においても、集音マイクによる車外の音に変化があれば、単調度を小さいと判断するようにできる。
或いは、例えば、カメラ11等による風景画像に加えて、風景画像以外の情報としてハンドル操作、アクセル操作等の自動車の運転情報を取得する。そして、風景画像及び自動車の運転情報から単調度を演算する。この場合には、例えば、例えばカメラ11等による風景画像のみから演算された単調度では、単調度が大きいと判断された経路においても、例えばハンドル操作やアクセル操作が多ければ、単調度を小さいと判断するようにできる。
<他の実施例2>
上述した風景単調度演算装置1では、カメラ11等により取得された風景画像のみから単調度を演算しているが、これに加えて、先行車両の有無、道路形状、路面状況等の画像を用いて単調度を演算してもよい。
例えば、カメラ11等により撮影された画像から対象となる風景画像に加えて、先行車両の画像を取得する。そして、風景画像及び先行車両の画像から単調度を演算する。この場合には、例えば同じ先行車両により風景が殆ど見えない、言い換えれば、風景が殆ど見えず同じ先行車両しか見えないために単調な走行となっていることを判断するようにできる。
或いは、例えば、カメラ11等により撮影された画像から対象となる風景画像に加えて、道路形状の画像を取得する。そして、風景画像及び道路形状の画像から単調度を演算する。この場合には、例えば風景画像のみから演算された単調度では、単調度が大きいと判断された経路においても、道路形状に例えばカーブが多ければ、単調度を小さいと判断するようにすることができる。
或いは、例えば、カメラ11等により撮影された画像から対象となる風景画像に加えて、路面状況の画像を取得する。そして、風景画像及び路面状況の画像から単調度を演算する。
この場合には、例えば風景画像のみから演算された単調度では、単調度が大きいと判断された経路においても、路面状況に例えば舗装されている状況と舗装されていない状況の変化が多ければ、単調度を小さいと判断するようにすることができる。
また、上述した風景単調度演算装置1において、航空機や人工衛星などの上空から真下方向や斜め方向に撮影された画像から、道路周辺の色情報や建物の有無、道路形状、路面状況等を判定して単調度を演算してもよい。
また、既存の地図情報からの建物の有無、道路形状等の情報を用いて単調度を演算してもよい。
<他の実施例3>
上述した風景単調度演算装置1は、位置情報や時間情報に対応付けて外部のサーバに記憶されている風景画像を用いて単調度を演算してもよい。
この場合、まず、単調度を演算する経路上のGPS座標を地図情報から割り出す。そして、2つの交差点をつなぐ区間、ある国道や県道の一定距離の区間、ユーザが指定した区間などの所定の区間を、一定の距離で分割し、その分割された夫々の地点の位置座標に最も近い地点の風景画像を外部のサーバから取得する。複数の風景画像を取得することができた場合、その区間の一端から順に読み込み、位置的変化における単調度の演算を行う。
位置情報や時間情報と対応づけられた風景画像(即ち、これから演算される単調度)を外部のサーバから取得することで、例えば車両の走行前にどの位置の単調度が大きいかを判断できる。よって、走行前の経路設定時に単調な道(即ち単調度の大きい経路)を避けるように経路を設定することができる。更に、風景画像は時間情報とも対応づけられているので、例えば車両を走行する季節に応じた単調度を走行前に演算することができる。単調度は、例えば樹木の紅葉や落ち葉等のため、季節によって変化する場合があるので、季節に応じた単調度を走行前に演算できることは実践上大変有効である。
また、経路上の撮影された方向の情報も対応付けられて外部のサーバに記憶されている風景画像を用いて単調度を演算してもよい。この場合、進行方向の風景画像に合わせて単調度の演算が可能となり、より単調度の精度が向上する。
また、風景単調度演算装置1は、いわゆるプローブカーの原理を用いて、複数の移動体により撮影された風景画像を収集し、単調度を演算してもよい。
また、風景単調度演算装置1は、走行時に、経路上の各区間の単調度を演算することで、経路上の単調度の変化情報を得ることが出来る。
また、この風景単調度演算装置1が外部のサーバに組み込まれて、このサーバにて単調度を演算してもよい。この場合、ユーザが指定した区間情報をサーバに送信し、サーバにて風景画像を記憶領域から読み出して単調度を演算し、ユーザに単調度の計算結果のみを返す。
<他の実施例4>
上述した風景単調度演算装置1において、カメラ11等により風景画像を取得する際に、カメラ11の撮影位置を示す位置情報やカメラ11の撮影年月日及び撮影時刻を示す時間情報を取得し、風景画像と位置情報や時間情報とを互いに対応づけて記憶装置16或いは外部のサーバに記憶してもよい。即ち、風景画像から演算される単調度と位置情報や時間情報とを互いに対応づけて記憶してもよい。尚、このような位置情報や時間情報は例えばGPS受信装置を用いることによって取得することができる。
また、位置情報や時間情報の他に、風景画像を撮影した方向の情報も対応付けて記憶装置16或いは外部のサーバに記憶してもよい。
また、風景単調度演算装置1は、演算した単調度を地図情報に反映させて、この地図情報を外部のサーバに記憶させてもよい。
この地図情報の表示形態としては、地図上の区間毎に、0〜100の範囲の単調度を色情報として表示される。例えば、単調度がある閾値以上(例えば80以上)の区間を単調な道として指定した色(例えば赤)で表示され、その閾値より小さい区間を通常の色で表示される。また、R、G、Bの3原色の組み合わせによるグラデーションを用いてもよい。例えば、単調度が低い区間をB、単調度が中間である区間をG、単調度が高い区間をRとして、B−G、G−Rのグラデーションを用いて表示される。
また、色情報の他に、単調な経路を、文字、記号や絵記号などを用いて分かりやすく表示したり、注意を喚起するように表示してもよい。
また、単調度が高い区間が継続的に続く経路に、変化を加えて表示するようにしてもよい。例えば、5km以上単調度が高い区間が続く場合の経路のみに、色情報や文字情報等を表示してもよい。
更に、演算された単調度は、時間情報と互いに対応づけられているので、同じ位置における単調度の時系列の履歴情報として活用することができる。
<他の実施例5>
上述した風景単調度演算装置1において演算した単調度を地図情報に反映させて、この地図情報をディスク等の記録媒体、印刷物に記録してもよい。
これにより、記録媒体を用いてナビゲーション装置、コンピュータ、携帯電話機などの情報表示装置に表示される地図情報に、単調度を反映させることができる。
また、市販している地図冊子、ポスター、方面看板などの印刷物に出力された地図情報に、単調度を反映させることができる。
また、道路周辺の情報として「この先単調な道が続きます」などの道路標識や、道路上に記載された道路標示に、演算した単調度を反映させることができる。
<他の実施例6>
以上のような実施例は、専用の装置としてハードウェアと一体的に構成する形態で実現してもよいし、コンピュータにプログラムを読み込ませることによって実現してもよい。コンピュータにプログラムを読み込ませて実現する場合には、コンピュータを風景画像取得手段、風景画像分類手段、単調度演算手段として動作させるためのプログラムを作成する。
本発明は、上述した実施例に限られるものではなく、請求の範囲及び明細書全体から読
み取れる発明の要旨或いは思想に反しない範囲で適宜変更可能であり、そのような変更を
伴う風景単調度演算装置及び方法、並びにこれらの機能を実現するコンピュータプログラム、サーバ、記憶媒体及びナビゲーション装置もまた本発明の技術的範囲に含まれるものである。
本発明に係る風景単調度演算装置及び方法は、例えば自動車に搭載されたカメラ等で撮影された風景画像を分析することにより、自動車の走行経路における風景の単調度を演算する風景単調度演算装置及び方法、並びにこれらの機能を実現するコンピュータプログラム、サーバ、記録媒体及びナビゲーション装置に利用可能である。また、例えば民生用或いは業務用の各種コンピュータ機器に搭載される又は各種コンピュータ機器に接続可能な風景単調度演算装置等にも利用可能である。


Claims (21)

  1. 外観画像を取得する画像取得手段と、
    前記画像取得手段により相前後して取得された所定数の外観画像について、前記所定数の外観画像の時間変化又は位置変化に基づいて、前記所定数の外観画像に対応する風景の単調度を演算する単調度演算手段と
    を備えることを特徴とする風景単調度演算装置。
  2. 風景画像を、時間に対して順番に取得する、又は経路の一端から順番に取得する風景画像取得手段と、
    該順番に取得された風景画像を夫々、予め設定された複数の風景分類のうちのいずれかに分類する風景画像分類手段と、
    相前後して取得された所定数の風景画像について、前記分類された風景分類の時間的変化又は位置的変化に基づいて、前記所定数の風景画像の単調度を演算する単調度演算手段と
    を備えることを特徴とする風景単調度演算装置。
  3. 前記単調度演算手段は、
    所定期間に取得された又は相前後して取得された所定数の風景画像について、前記分類された風景分類が変化した回数をカウントし、
    前記所定数の風景画像について、前記分類された風景分類の種類数をカウントし、
    前記カウントされた回数及び前記カウントされた種類数に基づいて、前記単調度を演算することを特徴とする請求の範囲第2項に記載の風景単調度演算装置。
  4. 前記風景画像分類手段は、前記順番に取得された風景画像を前記順番の所定数毎に一群の風景画像群として、該風景画像群に含まれる前記風景画像の前記分類された風景分類に基づいて、前記風景画像群を前記予め設定された複数の風景分類のうちのいずれかに分類し、
    前記単調度演算手段は、
    所定期間に取得された又は相前後して取得された所定数の風景画像について、前記風景画像群が分類された風景分類が変化した回数をカウントし、
    前記所定数の風景画像について、前記風景画像群が分類された風景分類の種類数をカウントし、
    前記カウントされた回数及び前記カウントされた種類数に基づいて、前記単調度を演算することを特徴とする請求の範囲第2項に記載の風景単調度演算装置。
  5. 前記風景画像取得手段は、前記風景画像に対応する風景を撮影する撮影手段を含むことを特徴とする請求の範囲第2項に記載の風景単調度演算装置。
  6. 前記風景画像取得手段は、前記風景のうち前記風景画像に対応する物体、物体集合体又は景観と前記撮影手段との間に存在する障害物によって、前記風景が遮られていることを認識する障害物認識手段を備えることを特徴とする請求の範囲第5項に記載の風景単調度演算装置。
  7. 前記風景画像分類手段は、
    前記順番に取得された風景画像が夫々分割されてなる複数の画像片の各々を、前記複数の風景分類のうちのいずれかに分類する画像片分類手段と、
    前記画像片分類手段による画像片分類結果に基づいて、前記風景画像に含まれている風景の特徴を判断する特徴判断手段と
    を含み、
    該判断された特徴に応じて、前記順番に取得された風景画像を夫々分類することを特徴とする請求の範囲第2項に記載の風景単調度演算装置。
  8. 前記画像片分類手段は、
    前記複数の画像片の各々についての色の性質を分析する色分析手段と、
    前記複数の画像片の各々についてフラクタル次元解析を行うフラクタル次元解析手段と、
    前記複数の画像片の各々に含まれている人工物又は人工部分の量を認識する人工物量認識手段と
    を含み、
    前記色分析手段による色分析結果、前記フラクタル次元解析手段によるフラクタル次元解析結果、及び前記人工物量認識手段による人工物又は人工部分の量の認識結果に基づいて前記複数の画像片の各々に含まれている前記風景の一部の種類を特定し、該特定された種類に基づいて分類することを特徴とする請求の範囲第7項に記載の風景単調度演算装置。
  9. 風景画像を、時間に対して順番に取得する、又は経路の一端から順番に取得する風景画像取得工程と、
    該順番に取得された風景画像を夫々、予め設定された複数の風景分類のうちのいずれかに分類する風景画像分類工程と、
    相前後して取得された所定数の風景画像について、前記分類された風景分類の時間的変化又は位置的変化に基づいて、前記所定数の風景画像の単調度を演算する単調度演算工程と
    を備えることを特徴とする風景単調度演算方法。
  10. 請求の範囲第1項に記載の風景単調度演算装置としてコンピュータを機能させることを特徴とするコンピュータプログラム。
  11. 請求の範囲第2項に記載の風景単調度演算装置としてコンピュータを機能させることを特徴とするコンピュータプログラム。
  12. 請求の範囲第1項に記載の風景単調度演算装置が演算した単調度を反映した地図情報を有することを特徴とするサーバ。
  13. 請求の範囲第2項に記載の風景単調度演算装置が演算した単調度を反映した地図情報を有することを特徴とするサーバ。
  14. 請求の範囲第1項に記載の風景単調度演算装置が演算した単調度を反映した地図情報を有することを特徴とする記録媒体。
  15. 請求の範囲第2項に記載の風景単調度演算装置が演算した単調度を反映した地図情報を有することを特徴とする記録媒体。
  16. 請求の範囲第1項に記載の風景単調度演算装置が演算した単調度に基づいて経路誘導を行うことを特徴とするナビゲーション装置。
  17. 請求の範囲第2項に記載の風景単調度演算装置が演算した単調度に基づいて経路誘導を行うことを特徴とするナビゲーション装置。
  18. 前記単調度を色情報として表示することを特徴とする請求の範囲第16項に記載のナビゲーション装置。
  19. 前記単調度を色情報として表示することを特徴とする請求の範囲第17項に記載のナビゲーション装置。
  20. 前記単調度と運転者の生体情報とに基づいて経路誘導を行うことを特徴とする請求の範囲第16項に記載のナビゲーション装置。
  21. 前記単調度と運転者の生体情報とに基づいて経路誘導を行うことを特徴とする請求の範囲第17項に記載のナビゲーション装置。
JP2007534296A 2005-09-07 2006-08-14 風景単調度演算装置及び方法 Active JP4550116B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2005259133 2005-09-07
JP2005259133 2005-09-07
PCT/JP2006/316024 WO2007029455A1 (ja) 2005-09-07 2006-08-14 風景単調度演算装置及び方法

Publications (2)

Publication Number Publication Date
JPWO2007029455A1 JPWO2007029455A1 (ja) 2009-03-26
JP4550116B2 true JP4550116B2 (ja) 2010-09-22

Family

ID=37835578

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007534296A Active JP4550116B2 (ja) 2005-09-07 2006-08-14 風景単調度演算装置及び方法

Country Status (5)

Country Link
US (1) US20090231146A1 (ja)
EP (1) EP1933277B1 (ja)
JP (1) JP4550116B2 (ja)
DE (1) DE602006018338D1 (ja)
WO (1) WO2007029455A1 (ja)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007000999A1 (ja) * 2005-06-27 2007-01-04 Pioneer Corporation 画像分析装置および画像分析方法
JP2009230506A (ja) * 2008-03-24 2009-10-08 Pioneer Electronic Corp 警告装置、警告システム及び警告方法
EP2214121B1 (en) * 2009-01-30 2012-05-02 Autoliv Development AB Safety system for a motor vehicle
JP2012049709A (ja) * 2010-08-25 2012-03-08 Ricoh Co Ltd 撮像装置、空領域判定方法、プログラム
US8885881B2 (en) * 2011-03-24 2014-11-11 Toyota Jidosha Kabushiki Kaisha Scene determination and prediction
JP6011756B2 (ja) * 2011-09-01 2016-10-19 セイコーエプソン株式会社 ナビゲーションシステム、プログラム、記録媒体及びナビゲーション方法
JP5754470B2 (ja) * 2012-12-20 2015-07-29 株式会社デンソー 路面形状推定装置
KR20160001178A (ko) * 2014-06-26 2016-01-06 엘지전자 주식회사 글래스 타입 단말기 및 이의 제어방법
KR102300034B1 (ko) 2014-07-04 2021-09-08 엘지전자 주식회사 디지털 이미지 처리 장치 및 제어 방법
EP3002557B1 (en) * 2014-10-03 2019-09-25 Volvo Car Corporation Method and system for identifying a situation with a potentially inalert driver
JP2019059245A (ja) * 2016-02-05 2019-04-18 マクセル株式会社 ヘッドアップディスプレイ装置及びその表示制御方法
JP6760170B2 (ja) 2017-03-27 2020-09-23 株式会社デンソー 覚醒維持装置
US10467486B2 (en) * 2017-12-29 2019-11-05 Automotive Research & Testing Center Method for evaluating credibility of obstacle detection
JPWO2022208810A1 (ja) * 2021-03-31 2022-10-06
WO2023089678A1 (ja) * 2021-11-17 2023-05-25 日本電気株式会社 分類装置、分類方法及びプログラム
WO2023127649A1 (ja) * 2021-12-28 2023-07-06 株式会社ジオクリエイツ 情報処理装置、情報処理方法及びプログラム

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004048761A (ja) * 2003-07-14 2004-02-12 Sharp Corp 映像処理装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5642093A (en) * 1995-01-27 1997-06-24 Fuji Jukogyo Kabushiki Kaisha Warning system for vehicle
JP3717045B2 (ja) * 2000-01-19 2005-11-16 松下電器産業株式会社 ナビゲーション装置
EP1295292A1 (en) * 2000-05-23 2003-03-26 Koninklijke Philips Electronics N.V. Commercial-break detection device
JP2002254955A (ja) 2001-02-28 2002-09-11 Matsushita Electric Ind Co Ltd 走行警告案内装置
US7272657B2 (en) * 2001-07-30 2007-09-18 Digeo, Inc. System and method for displaying video streams ranked by user-specified criteria
JP3776094B2 (ja) * 2002-05-09 2006-05-17 松下電器産業株式会社 監視装置、監視方法および監視用プログラム
JP2005006966A (ja) * 2003-06-19 2005-01-13 Mazda Motor Corp 支援装置
JP2005063307A (ja) * 2003-08-19 2005-03-10 Fuji Photo Film Co Ltd 画像識別方法および装置、オブジェクト識別方法および装置ならびにプログラム
JP2005078233A (ja) * 2003-08-29 2005-03-24 Toudai Tlo Ltd 領域抽出法および領域抽出装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004048761A (ja) * 2003-07-14 2004-02-12 Sharp Corp 映像処理装置

Also Published As

Publication number Publication date
EP1933277A4 (en) 2010-01-06
JPWO2007029455A1 (ja) 2009-03-26
DE602006018338D1 (de) 2010-12-30
EP1933277A1 (en) 2008-06-18
WO2007029455A1 (ja) 2007-03-15
US20090231146A1 (en) 2009-09-17
EP1933277B1 (en) 2010-11-17

Similar Documents

Publication Publication Date Title
JP4550116B2 (ja) 風景単調度演算装置及び方法
US20210357670A1 (en) Driver Attention Detection Method
US9707971B2 (en) Driving characteristics diagnosis device, driving characteristics diagnosis system, driving characteristics diagnosis method, information output device, and information output method
CN105144261B (zh) 行驶环境评价系统、行驶环境评价方法、驾驶支援装置以及行驶环境的显示装置
JP4493050B2 (ja) 画像分析装置および画像分析方法
US9903725B2 (en) Route searching system, route searching method, and computer program
US8085140B2 (en) Travel information providing device
JP4845876B2 (ja) 道路景観地図作成装置、方法及びプログラム
US11906318B2 (en) Personalized routing based on driver fatigue map
CN107449440A (zh) 行车提示信息的显示方法及显示装置
US20200286183A1 (en) Information processing apparatus, and information processing method, and program
JP2008082822A (ja) 注視対象物検出装置および注視対象物検出方法
JP6274177B2 (ja) 車両制御システム
JP2008046759A (ja) 運転支援装置
EP2159777A2 (en) Data mining to identify locations of potentially hazardous conditions for vehicle operation and use thereof
JP4097519B2 (ja) 危険感受度推定装置、安全運転評価装置及び警報装置
JP6890265B2 (ja) イベント予測システム、イベント予測方法、プログラム、及び移動体
US20220169257A1 (en) Display control device, display control method, and storage medium storing display control program
JP2014219814A (ja) 運転支援装置及びプログラム
CN115203536A (zh) 基于驾驶场景推荐智能驾驶参数的方法及装置
JP2010257234A (ja) 車両用情報提示装置
CN108320231A (zh) 用于车辆的信息提取系统及方法
JP7167850B2 (ja) 人物判定用の学習済みモデルセットの生成装置、生成方法、生成プログラム、人物領域判定装置、判定方法、および判定プログラム
US20240046779A1 (en) Driving determination system, driving determination method, and recording medium
KR102145409B1 (ko) 차량속도 측정이 가능한 시정거리 측정 시스템

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100330

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100513

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100622

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100707

R150 Certificate of patent or registration of utility model

Ref document number: 4550116

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130716

Year of fee payment: 3