JP4717073B2 - 風景解析装置及び方法 - Google Patents

Description

本発明は、例えば自動車に搭載されたカメラ等で撮影された画像を解析することにより、画像中に含まれる風景の特徴を判定する風景解析装置及び方法、並びにこれらの機能を実現するコンピュータプログラムの技術分野に関する。

自動車を運転中に海や山、夜景等の風景に遭遇した場合に、その風景を自動で写真に撮ったり、その風景に応じた音楽に自動で切り換えたりすることができれば大変便利である。例えば、特許文献１では、情報センターに撮像お勧めポイントの位置情報を予め登録しておき、車両が、その位置情報を、インターネットを介してダウンロードし、現在位置がお勧めポイントの位置と一致した場合に撮像を行う技術が提案されている。

特開２００３−１９８９０４号公報

しかしながら、特許文献１の技術によれば、撮影に相応しいお勧めポイントの位置情報を予め登録しておく必要がある。しかも、走行前に予め登録しておくため、例えば空模様などによって風景が変化しており、撮影に相応しくない場合であっても、お勧めポイントとして撮影等が行われてしまう可能性がある。

本発明は、例えば上述した問題点に鑑みなされたものであり、例えば車載カメラによる画像を解析し、画像中に含まれる風景の特徴を判定する風景解析装置及び方法、並びにこれらの機能を実現するコンピュータプログラムを提供することを課題とする。

（風景解析装置）
上記課題を解決するために、本発明の風景解析装置は、複数の風景画像を取得する風景画像取得手段と、前記複数の風景画像の各々を複数の画像片に分割する画像分割手段と、前記風景画像に対応する風景の一部が遠景であるか否かを判定する遠景判定手段とを備える。

本発明の風景解析装置によれば、その動作時には、先ず、例えば移動体に搭載され、移動方向に向けられたカメラ等を含む風景画像取得手段によって、例えば景観、物体又は物体集合体等の風景を撮影することにより風景画像が取得される。風景画像は、例えば単眼のカメラを用いる場合には、一定又は固定の時間を隔てて断続的に、言い換えれば、時系列に撮影することにより複数取得される。また、例えば、複眼のカメラ即ちステレオカメラ（言い換えれば、複数のカメラ）を用いる場合には、各々のカメラによって同時に１つずつ、合計複数取得される。風景画像は少なくとも２つ取得されればよい。即ち、本発明に係る風景画像取得手段が「複数の風景画像を取得する」とは、位置が変化する一つの風景画像取得手段から見てその位置変化に応じて時々刻々と変化する風景を順番に取得することで複数の風景画像を取得する場合や、位置が固定された二つ以上の風景画像取得手段から夫々見る方向が微妙にずれた風景を被写体として、同時に又は相前後して複数の風景画像を取得する場合を含む。

次に、取得された複数の風景画像の各々は、各々は複数の画像片に分割され、複数の画像片の各々に対応する画像片データは例えばハードディスク等の記憶媒体に記憶される。例えば、風景画像のサイズが１２８０×１０２４ピクセルである場合には、画像片のサイズは３０×３０ピクセル程度であることが望ましい。尚、画像片のサイズは、特徴判定手段等の精度及び処理速度等を考慮して決めることが望ましい。また、風景画像のサイズと画像片のサイズとの関係によっては、風景画像のすべてを均一の画像片に分割できない場合がある。この場合には、風景画像の端部を画像分割手段の対象から除外してもよい。

次に、遠景判定手段によって、複数の画像片の各々に対応する風景の一部が遠景であるか否かが判定される。ここに、本発明に係る「遠景」とは、風景を構成する任意の被写体部分までの距離が、所定距離よりも遠くに位置する場合に、該任意の被写体部分に対応する風景の一部を意味する。この際、所定距離としては、予め設定された固定の距離であってもよいし、風景の種類や操作者の好み等に応じて可変に設定可能な距離であってもよい。遠景判定手段は、例えば、各画像片に対応する風景の一部と風景画像取得手段との相対的な距離（即ち、各画像片に含まれる複数の画素に対応する風景の一部と風景画像取得手段との相対的な距離の平均値）が所定値よりも大きい場合には、その画像片に対応する風景の一部は、遠景（即ち、例えば、空、海、山等の遠い風景）であり、前述の相対的な距離が所定値よりも小さい場合には、その画像片に対応する風景の一部は、近景（即ち、例えば、走行中の道路、先行車両等の近い風景）であると判定する。尚、遠景と近景との間に、一又は複数の中間的な距離の風景を定義することも可能である。

以上の結果、風景画像に対応する風景のうち、どの部分の遠景であり、どの部分が近景であるかを判定することができる。

本発明の風景解析装置の一の態様では、前記複数の画像片の各々に対応する前記風景の一部までの距離を算出する距離算出手段を更に備え、前記遠景判定手段は、前記算出された距離に基づいて前記風景の一部が遠景であるか否かを判定する。

この態様によれば、距離算出手段によって、複数の画像片の各々に対応する風景の一部までの距離が算出される。典型的には、複数の画像片の各々に対応する風景の一部と風景画像取得手段（より正確には、風景画像取得手段における基準位置）との相対的な距離が算出される。或いは、風景画像取得手段に対して、所定の位置関係を有する基準位置（例えば、当該風景解析装置の特定箇所や、これが搭載された車体の特定箇所など）から、複数の画像片の各々に対応する風景の一部までの距離が算出される。例えば、単眼カメラを用いた場合には、先ず、時系列に相前後して取得された２つの風景画像間のオプティカルフローが算出される。算出されたオプティカルフローに基づいて、各画像片に含まれる複数の画素に対応する風景の一部と風景画像取得手段との相対的な距離が算出される。次に、各画像片に含まれる複数の画素に対応する風景の一部と風景画像取得手段との相対的な距離の平均値が、各画像片に対応する風景の一部と風景画像取得手段との相対的な距離として算出される。尚、風景の一部と風景画像取得手段との相対的な距離の算出において、風景の一部が、例えば空に相当する場合など他の風景の一部に比較して非常に距離が大きい場合には、無限大と算出してもよい。次に、遠景判定手段によって、算出された相対的な距離に基づいて風景の一部が遠景であるか否かが判定される。遠景判定手段は、算出された相対的な距離が所定値よりも大きい場合には、その画像片に対応する風景の一部は、遠景であり、算出された相対的な距離が所定値よりも小さい場合には、その画像片に対応する風景の一部は、近景であると判定する。よって、風景画像に対応する風景のうち、どの部分の遠景であり、どの部分が近景であるかをより確実に判定することができる。

本発明の風景解析装置の他の態様では、前記遠景と判定された前記風景の一部に対応する前記画像片について、前記風景の一部が空、海、山及び夜景のうち少なくとも一つに該当するか否かを判定する特徴判定手段を更に含む。

この態様によれば、遠景と判定された風景の一部に対応する画像片について、特徴判定手段によって、その風景の一部が空、海、山及び夜景のうち少なくとも一つに該当するか否かが判定される。好ましくは、その風景の一部が、空、海、山及び夜景のうちいずれかであるかが判定される。よって、例えば、空、海、山及び夜景のうち少なくとも１つの風景を予め設定しておくことで、例えば車両の走行中に予め設定された空、海、山及び夜景等の遠景に対応する風景画像を自動的に保存するようにすることができる。或いは、例えば、車内の音楽や映像を、空、海、山又は夜景に応じた音楽や映像に切り換えることができる。

上述した特徴判定手段を含む態様では、前記特徴判定手段は、前記複数の画像片のうち、前記風景画像の上方に位置する画像片について、該上方に位置する画像片に含まれる複数の画素の明度の分散値から、前記風景の一部が空であるか否かを判定する空判定手段を含むように構成してもよい。

このように構成すれば、空判定手段によって、複数の画像片のうち、風景画像の上方、典型的には上半分に位置する画像片について、各画像片に含まれる複数の画素の明度（即ち輝度）の分散値が算出される。この際、画像片に対応する画像片データの色情報がＲＧＢ系の色情報である場合、この色情報は、色相、彩度及び明度をパラメータとする表色系の色情報、例えばＨＬＳ系の色情報に特徴判定手段によって変換される。

次に、風景画像の上方の画像片について１つの画像片毎に空であるか否かが判定される。例えば、空判定手段は、判定対象となる１つの画像片及びその周辺に位置する８つの画像片（即ち８近傍の画像片）の全ての明度の分散値が所定値（例えば１０）以下の場合には、その画像片に対応する風景の一部は空であると判定し、判定対象となる１つの画像片及びその周辺に位置する８つの画像片（即ち８近傍の画像片）のうちいずれかの明度の分散値が所定値（例えば１０）よりも大きい場合には、その画像片に対応する風景の一部は空ではないと判定する。従って、各画像片に対応する風景の一部が空であるか否かを確実に判定することができ、例えば、青空、白い雲、黒い雲、夕焼け空、夜空等の空模様を判定することも可能となる。

上述した空判定手段を含む態様では、前記特徴判定手段は、前記空と判定されなかった画像片について、前記空と判定された画像片に含まれる複数の画素の平均色相及び平均彩度に基づいて、前記風景の一部が海であるか否かを判定する海判定手段を含むように構成してもよい。

このように構成すれば、海判定手段によって、空と判定されなかった画像片について、空と判定された画像片に含まれる複数の画素の平均色相及び平均彩度に基づいて、風景の一部が海であるか否かが判定される。例えば、海判定手段は、空と判定されなかった画像片に含まれる複数の画素の平均色相（或いは色調）が、空と判定された画像片に含まれる複数の画素の平均色相を含む所定範囲の値であり、且つ、空と判定されなかった画像片に含まれる複数の画素の平均明度が、空と判定された画像片に含まれる複数の画素の平均明度以下の場合には、その画像片を海であると判定する。よって、海の色は空の色を反射して空の色に似た、濃い色となっている場合が多いという特性を反映して、風景の一部が海であるか否かを判定することができる。従って、風景の一部が海であるか否かを精度よく判定することが可能となる。

上述した空判定手段を含む態様では、前記特徴判定手段は、前記空と判定されなかった画像片のうち、前記空と判定された画像片に隣接する画像片の各々について、色の性質を分析することにより空と空でない風景の境界を検出することで、前記風景に山が含まれるか否かを判定する山判定手段を含むように構成してもよい。

このように構成すれば、山判定手段によって、先ず、空と判定されなかった画像片のうち、空と判定された画像片に隣接する画像片の各々について、色の性質が分析される。色の性質の分析よって、例えば、１つの画像片において、空の色と判定される画素が一定の割合以上であり、且つ、空の色と判定されない画素が一定の割合未満である場合には、その画像片には稜線が含まれている可能性が高いと判断される。ここで、「空の色と判定する」とは、画素の色相、明度及び彩度が、上述した空判定手段における色相、明度及び彩度の範囲に含まれていると判定することをいう。次に、稜線が含まれている可能性が高いと判断された画像片が、一定数以上あれば、風景には山が含まれていると判定される。よって、本態様によれば、稜線を検出することにより、風景に山が含まれているか否かを判定することができる。尚、画像片のサイズを小さくすることにより、山或いは山並みの形状を判定することもできる。

上述した特徴判定手段を含む態様では、前記特徴判定手段は、前記複数の画像片の各々について、所定値の明度を基準として画素の２値化を行うことにより区別される複数の画素群のうち、前記基準よりも高い方に区別された前記画素群の数に基づいて、前記風景の一部が夜景であるか否かを判定する夜景判定手段を含むように構成してもよい。

このように構成すれば、夜景判定手段によって、先ず、複数の画像片の各々について、例えば、所定値の明度（即ち輝度）を基準として、２値化が行われる。これにより、１つの画像片に含まれる複数の画素から、所定値よりも明度が高い複数の画素が隣接してなる画素群（所定値以下の明度の画素と隣接する所定値よりも明度の高い１つの画素も含む）が区別される。例えば黒色の背景に白色の粒子が多数存在するように、１つの画像片において周囲よりも明度の高い画素が散在しているようになる。次に、所定値よりも明度が高い複数の画素が隣接してなる画素群の数が算出される。次に、所定値よりも明度が高い複数の画素が隣接してなる画素群の数が所定値（例えば１０）よりも多い場合には、その画像片には夜景が含まれている可能性が高いと判定される。ここで、「夜景」とは、夜の風景であって、例えばビル、住宅街、自動車等の光が多く含まれているものを意味する。次に、夜景が含まれている可能性が高いと判定された画像片が、例えば一定数（例えば１０）以上あれば、風景には夜景が含まれていると判定される。よって、夜景は周辺よりも明度の高い光の点を多く含む場合が多いという特性を反映して、風景の一部が夜景であるか否かを判定することができる。従って、風景の一部が夜景であるか否かを精度よく判定することが可能となる。

尚、夜景が含まれている可能性が高いと判定された画像片の数によって、夜景のレベル或いは度合いを判定してもよい。

更に尚、夜景判定手段の対象とする画像片は、上述した遠景判定手段により遠景と判定された画像片だけに限ることで処理速度を向上させることができる。更に言えば、上述した空判定手段により夜空と判定された画像片が一定数（例えば１０）以上ある場合、だけに限ってもよい。

上述した特徴判定手段を含む態様では、前記特徴判定手段による特徴判定結果に応じて、前記風景画像を保存する風景画像保存手段を更に備えてもよい。

このように構成すれば、風景画像保存手段によって、例えば、特徴判定手段による特徴判定結果として、例えば海及び山を含む風景画像であると判定された場合に、その風景画像を例えば記憶装置の保存領域に記憶する。よって、例えばユーザにより或いは工場での初期設定により予め定められた条件を満たす風景画像を自動的に保存することができる。

上述した空判定手段を含む態様では、前記空判定手段は、空であると判定した前記風景の一部の空模様を判定するように構成してもよい。

このように構成すれば、空判定手段は、例えば、空であると判定した画像片について、色相、明度及び彩度の平均値に基づいて画像片毎の空模様を判定する。即ち、空判定手段は、例えば、判定対象の画像片の色相、明度及び彩度の平均値が予め定められた判定条件を満たすか否かによって、空模様を判定する。画像片の空模様としては例えば「青空」、「白い雲」、「黒い雲」、「夕焼け」及び「夜」等が設定される。空判定手段は、画像片毎に空模様を判定した後に、例えば、各空模様の画像片の数をカウントし、各空模様の画像片の数のうち最も多い数の空模様を、風景画像の空模様であると判定する。例えば、「青空」と判定された画像片の数が、「白い雲」、「黒い雲」、「夕焼け」、「夜」等の他の空模様と判定された画像片の数のいずれよりも多い場合には、風景画像の空模様は「青空」であると判定する。よって、風景の一部の空模様を精度よく判定することが可能となる。

（風景解析方法）
上記課題を解決するために、本発明の風景解析方法は、複数の風景画像を取得する風景画像取得工程と、前記複数の風景画像の各々を複数の画像片に分割する画像分割工程と、前記風景画像に対応する風景のうち、前記複数の画像片の各々に対応する前記風景の一部が遠景であるか否かを判定する遠景判定工程とを備える。

本発明の風景解析方法によれば、上述した本発明の風景解析装置が有する各種利益を享受することが可能となる。

尚、上述した本発明の風景解析装置が有する各種態様に対応して、本発明の風景解析方法も各種態様を採ることが可能である。

（コンピュータプログラム）
上記課題を解決するために、本発明のコンピュータプログラムは、上述した本発明の風景解析装置としてコンピュータを機能させる。

本発明のコンピュータプログラムによれば、当該コンピュータプログラムを格納するＲＯＭ、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、ハードディスク等の情報記録媒体から、当該コンピュータプログラムをコンピュータに読み込んで実行させれば、或いは、当該コンピュータプログラムを、通信手段を介してコンピュータにダウンロードさせた後に実行させれば、上述した本発明の風景解析装置を比較的簡単に実現できる。

尚、上述した本発明の風景解析装置における各種態様に対応して、本発明のコンピュータプログラムも各種態様を採ることが可能である。

上記課題を解決するために、コンピュータ読取可能な媒体内のコンピュータプログラム製品は、コンピュータにより実行可能なプログラム命令を明白に具現化し、該コンピュータを、上述した本発明の風景解析装置（但し、その各種態様を含む）として機能させる。

本発明のコンピュータプログラム製品によれば、当該コンピュータプログラム製品を格納するＲＯＭ、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、ハードディスク等の記録媒体から、当該コンピュータプログラム製品をコンピュータに読み込めば、或いは、例えば伝送波である当該コンピュータプログラム製品を、通信手段を介してコンピュータにダウンロードすれば、上述した本発明の風景解析装置を比較的容易に実施可能となる。更に具体的には、当該コンピュータプログラム製品は、上述した本発明の風景解析装置として機能させるコンピュータ読取可能なコード（或いはコンピュータ読取可能な命令）から構成されてよい。

本発明の作用及び他の利得は次に説明する実施例から明らかにされる。

以上説明したように本発明の風景解析装置は、風景画像取得手段、画像分割手段、距離算出手段及び遠景判定手段を備えるので、風景画像に対応する風景のうち、どの部分の遠景であり、どの部分が近景であるかを判定することができる。上述した特徴判定手段を更に備えた態様によれば、その風景の一部が空、海、山及び夜景のうち少なくとも一つに該当するか否かが判定することができ、例えば、空、海、山及び夜景のうち少なくとも１つの風景を予め設定しておくことで、例えば車両の走行中に予め設定された空、海、山及び夜景等の遠景に対応する風景画像を自動的に保存するようにすることができる。或いは、例えば、車内の音楽や映像を、空、海、山又は夜景に応じた音楽や映像に切り換えることができる。本発明の風景解析方法は、風景画像取得工程、画像分割工程、距離算出工程及び遠景判定工程を備えるので、本発明の風景解析装置が有する各種利益を享受することが可能となる。本発明のコンピュータプログラムは、本発明の風景解析装置としてコンピュータを機能させるので、当該コンピュータプログラムをコンピュータに読み込んで実行させれば、本発明の風景解析装置を比較的簡単に実現できる。

第１実施例に係る風景解析装置の構造を示すブロック図である。 第１実施例に係る風景解析装置の動作を示すフローチャートである。 風景画像取得処理の内容を示すフローチャートである。 風景画像データに対応する風景画像を示めす説明図である。 図４中の画像を画像片に分割した状態を示す説明図である。 距離算出処理の内容を示すフローチャートである。 図５中の画像に対して距離算出処理を行った結果を示す説明図である。 図７中の画像に対して遠景判定処理を行った結果を示す説明図である。 特徴判定処理の内容を示すフローチャートである。 空判定処理の内容を示すフローチャートである。 海判定処理の内容を示すフローチャートである。 図５中の画像に対して山判定処理を行った結果を説明するための説明図である。 画像片に対して夜景判定処理を行った結果を説明するための説明図である。

符号の説明

１ 風景解析装置
１１ カメラ
１２ 入力部
１３ 障害物認識部
１４ 画像分割部
１５ 距離算出部
１６ 遠景判定部
１７ 空判定部
１８ 海判定部
１９ 山判定部
２０ 夜景判定部
２１ 記憶装置
２２ 制御部
２３ 情報入力部
２４ 情報表示部

以下、本発明を実施するための最良の形態について実施例毎に順に図面に基づいて説明する。
＜第１実施例＞
図１から図１３を参照して、本発明の第１実施例に係る風景解析装置について説明する。

（風景解析装置の構造）
先ず、図１を参照して、第１実施例に係る風景解析装置の構造について説明する。
ここに図１は、第１実施例に係る風景解析装置の構造を示すブロック図である。

図１において、風景解析装置１は、カメラ１１、入力部１２、障害物認識部１３、画像分割部１４、距離算出部１５、遠景判定部１６、空判定部１７、海判定部１８、山判定部１９、夜景判定部２０、記憶装置２１、制御部２２、情報入力部２３及び情報表示部２４を備えている。ここで、カメラ１１、入力部１２及び障害物認識部１３は夫々、本発明に係る「風景画像取得手段」の一部の一例であり、カメラ１１、入力部１２及び障害物認識部１３は一体として「風景画像取得手段」の一部を構成する。

風景解析装置１は、移動体に搭載することが望ましい。例えば、風景解析装置１をカーナビゲーションシステムに組み込み、車両に搭載してもよい。或いは、風景解析装置１の構成要素のうちカメラだけを移動体に取り付け、それ以外の構成要素を備えた構造物を会社、研究所、観察所又は自宅の室内に備え付けてもよい。この場合には、室内に備え付けた構造物とカメラとの間を無線通信によって接続する。

カメラ１１は、例えば移動体の進行方向前方に存在する例えば景観、物体又は物体集合体等の風景を撮影する。カメラ１１は、移動体の進行方向前方を撮影することができるように、移動体の進行方向前部に取り付けることが望ましい。例えば、カメラ１１は、自動車のフロントバンパ近傍、フロントガラス近傍などに取り付けることが望ましい。カメラ１１は、デジタルカメラでもアナログカメラでもよい。また、カメラ１１は、写真（静止画）を撮るためのカメラでもよいし、映像（動画）を撮るためのカメラ、つまりビデオカメラでもよい。いずれの場合にも、カメラ１１は、連写可能な、或いは連続撮影が可能なカメラである。更に、カメラ１１は、複眼のカメラ即ちステレオカメラ（言い換えれば、複数のカメラ）であってもよい。

入力部１２は、カメラ１１から出力される静止画データ又は動画データに基づいて画像データを生成する。入力部１２は、例えば入力インターフェイス回路、画像処理用の制御装置及び演算装置などにより構成されている。尚、入力部１２に外部入力端子２５を設け、カメラ１１以外の画像入力装置を接続できるようにし、カメラ１１以外の画像入力装置から出力される静止画データ又は動画データに基づいて画像データを生成することができる構成としてもよい。また、カメラ１１がアナログカメラである場合には、アナログの静止画信号又は動画信号をデジタルの静止画データ又は動画データに変換するためのＤ／Ａコンバータ（デジタルアナログコンバータ）を入力部１２に設ける。

障害物認識部１３は、カメラ１１に障害物が接近し、撮影の対象とする風景とカメラ１１との間が当該障害物によって遮られていることを認識する。

画像分割部１４は、画像データに対応する画像を複数の画像片に分割する。

距離算出部１５は、画像分割部１４により分割された各画像片に含まれる風景の一部とカメラ１１（より正確には、カメラ１１における基準点）との距離を算出する。ここで算出される距離は、画像片に含まれる風景の一部同士の相対的な距離であって、風景の一部とカメラ１１との絶対的な距離である必要はない。即ち、どの画像片に含まれる風景の一部が相対的に遠く或いは近いかが分かればよい。尚、画像データに対応する画像全体に写し出されているものを１個の風景とすると、画像データに対応する画像を分割した各画像片に写し出されているものは風景の一部に当たる。「風景の一部」とはこのような意味である。

遠景判定部１６は、算出された距離に基づいて風景の一部が遠景であるか否かを判定する。

空判定部１７は、風景画像に含まれる風景に空が含まれるか否かを判定する。

海判定部１８は、風景画像に含まれる風景に海が含まれるか否かを判定する。

山判定部１９は、風景画像に含まれる風景に山が含まれるか否かを判定する。

夜景判定部２０は、風景画像に含まれる風景に夜景が含まれるか否かを判定する。

空判定部１７、海判定部１８、山判定部１９及び夜景判定部２０は夫々、本発明に係る「特徴判定手段」の一部の一例である。

障害物認識部１３、画像分割部１４、距離算出部１５、遠景判定部１６、空判定部１７、海判定部１８、山判定部１９及び夜景判定部２０は、例えば中央演算処理装置、マルチプロセッサ又はマイクロコンピュータ等により構成されている。

記憶装置２１は、風景解析装置１の各構成要素による処理を行うための作業領域を備えている。この作業領域は、例えば、入力部１２による画像データの抽出処理、障害物認識部１３による障害物認識処理、画像分割部１４による画像の分割処理、距離算出部１５による距離算出処理、遠景判定部１６による遠景判定処理、空判定部１７による空判定処理、海判定部１８による海判定処理、山判定部１９による山判定処理、夜景判定部２０による夜景判定処理等に用いられる。更に、記憶装置２１は、データ保存領域を備えている。データ保存領域には、空判定部１７による空判定処理で用いるための空判定条件情報、海判定部１８による海判定処理で用いるための海判定条件情報などが記憶されている。

制御部１７は、風景解析装置１の各構成要素の動作を制御する。

情報入力部１８は、空判定部１７による空判定処理で用いるための空判定条件情報などを外部から入力可能とする。

情報表示部１９は、空判定部１７による空判定処理の結果などを表示する。

（風景解析装置の動作）
次に、図２から図１３を参照して、第１実施例に係る風景解析装置の動作について説明する。ここに図２は、第１実施例に係る風景解析装置の動作を示すフローチャートである。

図２に示すように、風景解析装置１では、ステップＳ１からステップＳ７までの一連の動作が、以下に説明する如く行われる。

（風景画像取得処理）
先ず、風景画像取得処理について、図２に加えて、主に図３及び図４を参照しながら説明する。ここに図３は、風景画像取得処理の内容を示すフローチャートであり、図４は、風景画像データに対応する風景画像を示めす説明図である。

図２において、風景解析装置１は、先ず、風景画像取得処理を行う（ステップＳ１）。風景画像取得処理は、主に、カメラ１１により風景（即ち景観等）を撮影し、撮影対象となる風景が含まれる風景画像を符号化した風景画像データを記憶する処理である。

図３に示すように、風景解析装置１では、風景画像取得処理において、ステップＳ１１からステップＳ１３の一連の動作が行われる。

風景解析装置１は、先ず、カメラ１１により風景を撮影する（ステップＳ１１）。即ち、カメラ１１は、移動体の進行方向前方に存在する風景を撮影し、この風景の画像を符号化した静止画データ又は動画データを入力部１２に出力する。入力部１２は、カメラ１１から出力された静止画データ又は動画データを取得し、これに基づいて画像データを生成する。つまり、カメラ１１から出力されるデータが静止画データの場合には、入力部１２は、その静止画データを取得し、これを風景画像データとして記憶装置２１の作業領域に出力する。一方、カメラ１１から出力されるデータが動画データの場合には、入力部１２は、その動画データを取得し、この動画データ中の１フレーム分のデータを抽出し、これを風景画像データとして記憶装置２１の作業領域に出力する。

尚、カメラ１１による風景の撮影は、原則として移動体の所定の移動距離（例えば５０ｍ）又は所定の移動時間（例えば５秒間）毎に行われる。例えばカメラ１１が写真を撮るためのカメラである場合には、シャッターが所定間隔毎に切られる。一方、カメラ１１がビデオカメラである場合には、カメラ１１による撮影は移動体の移動中常時連続的に実行される。そして、これにより得られた動画データ中から所定間隔ごとに１フレーム分のデータが入力部１２により抽出される。

図４中の画像５１は、風景画像データに対応する風景画像の一例を示している。

再び図３において、続いて、風景解析装置１は、撮影によって得られた風景画像データを記憶装置２１の作業領域に記憶する（ステップＳ１２）。

続いて、風景解析装置１は、カメラ１１により風景が適切に撮影されたかどうか、即ち、風景画像データに対応する風景画像中に風景の画像が適切に含まれているかどうかを判断する。この判断は障害物認識部１３により行われる。つまり、障害物認識部１３は、カメラ１１に障害物が接近し、撮影の対象である風景（即ち景観等）とカメラ１１との間が当該障害物によって遮られているかどうかを認識する（ステップＳ１３）。具体的には、障害認識部１３は、風景画像データに対応する風景画像の色等を調べ、風景画像中に含まれる物体を特定し、当該物体が風景画像中に占める割合を調べる。そして、当該物体が風景画像中に占める割合が所定割合を超えるときには、障害物認識部１３は、カメラ１１に障害物が接近し、撮影の対象である風景とカメラ１１との間が当該障害物によって遮られていると認識する。例えば、カメラ１１を搭載した自動車がバスやトラックなどの直後を走行しているときには、自動車の進行方向前方の視界がバスやトラックの後部面によって遮られる。このような状況で撮影を行うと、風景画像データに対応する風景画像には、バスやトラックの後部面が全面的に写る。このような場合、障害物認識部１３は、カメラ１１に障害物が接近し、撮影の対象である景観等とカメラ１１との間が当該障害物によって遮られていると認識する。

撮影の対象である風景とカメラ１１との間が当該障害物によって遮られているときには（ステップＳ１３：ＹＥＳ）、風景解析装置１は、景観等の撮影を再び行い、この撮影により得られた風景画像データを、前回の撮影で得られた風景画像データに代えて、風景画像データとして記憶装置２１の作業領域に記憶する。

撮影の対象である風景とカメラ１１との間が当該障害物によって遮られておらず、カメラ１１により風景が適切に撮影されたときには（ステップＳ１３：ＮＯ）、風景画像取得処理は終了する。尚、カメラ１１の撮影位置を示す位置情報や撮影年月日及び撮影時刻を示す時間情報等を風景画像データと対応づけて記憶してもよい。

（画像分割処理）
次に画像分割処理について、図２に加えて、主に図５を参照しながら説明する。ここに図５は、図４中の画像を画像片に分割した状態を示す説明図である。

再び図２において、風景解析装置１は、風景画像取得処理に続いて画像分割処理を行う（ステップＳ２）。画像分割処理は、風景画像取得処理により取得された風景画像データに対応する風景画像を複数の画像片に分割する処理である。画像分割処理は、画像分割部１４により行われる。つまり、画像分割部１４は、記憶装置２１の作業領域に記憶された風景画像データに対応する風景画像を複数の画像片に分割し、各画像片に対応する画像片データを記憶装置２１の作業領域に記憶する。例えば、風景画像データに対応する風景画像のサイズが１２８０×１０２４ピクセルである場合には、画像片のサイズは３０×３０ピクセル程度であることが望ましい。尚、画像片の大きさは、距離算出処理、空判定処理、海判定処理、山判定処理、夜景判定処理等の精度及び処理速度等を考慮して決めることが望ましい。

また、風景画像データに対応する風景画像のサイズと画像片のサイズとの関係によっては、風景画像のすべてを均一の画像片に分割できない場合がある。この場合には、風景画像データに対応する風景画像の端部を画像分割処理の対象から除外してもよい。

図５中の画像５２は、画像分割処理により図４中の画像５１を複数の画像片５３、５３、…に分割した状態を示している。

（距離算出処理）
次に距離算出処理について、図２に加えて、主に図６及び図７を参照しながら説明する。ここに図６は、距離算出処理の内容を示すフローチャートであり、図７は、図５中の画像に対して距離算出処理を行った結果を示す説明図である。

再び図２において、風景解析装置１は、画像分割処理に続いて距離算出処理を行う（ステップＳ３）。距離算出処理は、画像分割処理により分割された各画像辺に対応する風景の一部とカメラ１１との距離を算出する処理である。距離算出処理は、距離算出部１５により行われる。

図６に示すように、風景解析装置１では、距離算出処理において、ステップＳ２１からステップＳ２３の一連の動作が行われる。

距離算出部１５は、先ず、相前後して撮影された２つの風景画像について、画像片毎に特徴点を検出する（ステップＳ２１）。即ち、時系列に連続する２つの風景画像について、各画像片に含まれる風景の一部のうちから予め定められた所定の条件に適合する点（言い換えれば画素）を特徴点として検出する。尚、特徴点は画像片毎に複数或いは１つ検出される。

続いて、検出された特徴点からオプティカルフローを算出する（ステップS２２）。即ち、相前後して撮影された２つの風景画像について、画像片毎に検出された特徴点の変化（即ちベクトル）を求めることで、オプティカルフローを算出する。

続いて、各画像片の平均距離を算出する（ステップＳ２３）。即ち、画像片毎に検出された複数の特徴点に夫々対応する複数のベクトル（即ちオプティカルフロー）からカメラ１１と複数の特徴点との距離を夫々算出する。算出された距離を平均して、各画像片の平均距離として算出する。尚、このように算出された各画像片の平均距離は、画像片間の相対的な違いが認識できればよいので、本実施例では、例えば空は無限遠として扱う。

図７において、画像５４は、図５中の画像５２に対して距離算出処理を行った結果を示している。各画像片の平均距離に対応して、各画像片が白、灰色、黒等の多段階で表されており、明るい（即ち白に近い）程、平均距離が小さいことを示しており、暗い（即ち黒に近い）程、平均距離が大きいことを示している。

尚、カメラ１１として複眼のカメラを用いた場合には、異なる位置から同時に撮影された２つの風景画像についての視差のずれから各画像片の平均距離を算出してもよい。

（遠景判定処理）
次に遠景判定処理について、図２に加えて、主に図８を参照しながら説明する。ここに図８は、図７中の画像に対して遠景判定処理を行った結果を示す説明図である。

再び図２において、風景解析装置１は、距離算出処理に続いて遠景判定処理を行う（ステップＳ４）。遠景判定処理は、距離算出処理により算出された各画像片の平均距離に基づいて各画像片に含まれる風景の一部が遠景であるか否かを判定する処理である。遠景判定処理は、遠景判定部１６により行われる。

遠景判定部１６は、距離算出処理により算出された各画像片の平均距離が予め設定された閾値よりも大きい場合には、その画像片に対応する風景の一部は、遠景（即ち、例えば、空、海、山等の遠い風景）であり、各画像片の平均距離が予め設定された閾値よりも小さい場合には、その画像片に対応する風景の一部は、近景（即ち、例えば、走行中の道路、先行車両等の近い風景）であると判定する。続いて、風景画像中の複数の画像片のうち、遠景と判定された画像片の数をカウントする。

遠景と判定された画像片の数が予め定められた一定数（例えば全画像片数の半分）未満のときは（ステップＳ４：ＮＯ）、再びステップＳ１からの動作を行う。

図８において、画像５５は、図７中の画像５４に対して遠景判定処理と行った結果を示している。図８では、遠景と判定された画像片のみが表示されており、灰色、黒等の色で表されている。近景と判定された画像片は表示されていない部分（即ち白色の部分）に相当する。このように、遠景判定処理によって、風景画像に対応する風景のうち、どの部分の遠景であり、どの部分が近景であるかを判定することができる。
（特徴判定処理）
次に特徴判定処理について、図２に加えて、主に図９から図１３を参照しながら説明する。ここに図９は、特徴判定処理の内容を示すフローチャートである。

再び図２において、遠景判定処理により遠景と判定された画像片の数が予め定められた一定数以上のときには（ステップＳ４：ＹＥＳ）、続いて風景解析装置１は、特徴判定処理を行う（ステップＳ５）。尚、遠景と判定された画像片のみが特徴判定処理の対象となる。

図９に示すように、風景解析装置１では、特徴判定処理において、ステップＳ３１からステップＳ３４までの一連の動作が、以下に説明する如く行われる。尚、ステップ３２からステップ３４までの処理は、図９に示した順番に限られず、どのような順番で行ってもよい。

（空判定処理）
先ず空判定処理について、図９に加えて、主に図１０を参照しながら説明する。ここに図１０は、空判定処理の内容を示すフローチャートである。

図９において、風景解析装置１は、先ず、空判定処理を行う（ステップＳ３１）。空判定処理は、各画像片に対応する風景の一部が空であるか否かを判定する処理である。空判定処理は、空判定部１７により行われる。

図１０に示すように、風景解析装置１では、空判定処理において、ステップＳ４１からステップＳ４８の一連の動作が行われる。

空判定部１７は、先ず、各画像片に含まれる複数の画素の色相Ｈ、明度Ｌ及び彩度Ｓの平均値及び分散値を算出する（ステップＳ４１）。算出された平均値及び分散値は、記憶装置２１の作業領域に記憶される。続いて、判定対象となる１つの画像片及びその８近傍の画像片（即ち、判定対象となる１つの画像片の周辺に位置する８つの画像片）の各々の全ての画素についての平均値及び分散値が、記憶装置２１の作業領域から読み出される（ステップＳ４２）。判定対象となる画像片は、例えば、風景画像における上方、典型的には上半分に位置する画像片である。判定対象となる画像片毎にステップＳ４２からステップＳ４５の一連の動作が繰り返される。

尚、画像片に対応する画像片データの色情報がＲＧＢ系の色情報である場合、この色情報は、色相、彩度及び明度（即ち輝度）をパラメータとする表色系の色情報、例えばＨＬＳ系の色情報に変換される。

続いて、空判定部１７は、判定対象となる１つの画像片及びその８近傍の画像片の全ての明度Ｌの分散値が１０以下か否かを判定する（ステップＳ４３）。判定対象となる１つの画像片及びその８近傍の画像片の全ての明度Ｌの分散値が１０以下のときには（ステップＳ４３：ＹＥＳ）、その判定対象となる１つの画像片に含まれる風景の一部は「空」であると判定する（ステップＳ４４）。即ち、判定対象の画像片は、「空」の画像片であると判定する。「空」と判定された結果は、記憶装置２１の作業領域に記憶される。続いて、空判定部１７は、判定対象とすべき全ての画像片についてステップＳ４２からステップＳ４４の一連の動作を行ったかを判定する（ステップＳ４５）。判定対象とすべき全ての画像片について判定していないときには（ステップＳ４５：ＮＯ）、次の画像片について再びステップＳ４２からの動作を行う。

一方、判定対象となる１つの画像片及びその８近傍の画像片のうちいずれかの明度Ｌの分散値が１０より大きいときには（ステップＳ４３：ＮＯ）、空判定部１７は、判定対象とすべき全ての画像片についてステップＳ４２からステップＳ４４の一連の動作を行ったかを判定する（ステップＳ４５）。判定対象とすべき全ての画像片について判定していないときには（ステップＳ４５：ＮＯ）、次の画像片について再びステップＳ４２からの動作を行う。

このようにステップＳ４１からステップＳ４４までの一連の動作によって、風景画像に含まれる画像片のうち遠景判定処理により遠景と判定された画像片について、「空」の画像片であるか否かが判定される。本実施例では、更に、空判定部１７は、空判定処理の一部として、「空」の画像片であると判定された画像片に基づいて、以下に説明する空模様判定を行う。

（空模様判定処理）
図１０において、判定対象とすべき全ての画像片について判定したときには（ステップＳ４５：ＹＥＳ）、続いて空判定部１７は、空模様判定処理を行う（ステップＳ４６からステップＳ４８）。空模様判定処理は、風景画像の空模様を判定する処理である。

空判定部１７は、先ず、「空」の画像片であると判定された画像片の色相Ｈ、明度Ｌ及び彩度Ｓの平均値に基づいて画像片毎の空模様を判定する（ステップＳ４６）。即ち、空判定部１７は、先ず、「空」の画像片であると判定された画像片の色相Ｈ、明度Ｌ及び彩度Ｓの平均値を記憶装置２１の作業領域から読み出す。続いて、判定対象の画像片の色相Ｈ、明度Ｌ及び彩度Ｓの平均値が予め定められた判定条件を満たすか否かによって、空模様を判定する。画像片の空模様としては例えば「青空」、「白い雲」、「黒い雲」、「夕焼け」及び「夜」等が設定される。判定条件は、例えば以下のように設定することができる。尚、色相Ｈ、明度Ｌ及び彩度Ｓは、０から２５５の範囲で表してある。

画像片が「青空」と判定されるための判定条件は、色相Ｈの平均値が１００以上１６０未満、且つ、明度Ｌの平均値が１００以上１８０未満、且つ、彩度Ｓの平均値が６０以上である。

画像片が「白い雲」と判定されるための判定条件は、明度Ｌの平均値が１８０以上である。

画像片が「黒い雲」と判定されるための判定条件は、明度Ｌの平均値が１８０未満、且つ、彩度Ｓの平均値が６０未満である。

画像片が「夕焼け」と判定されるための判定条件は、色相Ｈの平均値が０以上５０未満又は２２０以上２５０以下、且つ、明度Ｌの平均値が１８０未満、且つ、彩度Ｓの平均値が６０以上である。

画像片が「夜」と判定されるための判定条件は、明度Ｌの平均値が１００未満である。

以上のような判定条件に基づいて、画像片毎に空模様を判定した後に、空判定部１７は、続いて、各空模様の画像片の数をカウントする（ステップＳ４７）。即ち、「青空」と判定された画像片の数、「白い雲」と判定された画像片の数、「黒い雲」と判定された画像片の数、「夕焼け」と判定された画像片の数及び「夜」と判定された画像片の数が夫々カウントされる。各空模様の画像片の数は、記憶装置２１の作業領域に記憶される。続いて、空判定部１７は、風景画像の空模様を判定する（ステップＳ４８）。即ち、各空模様の画像片の数のうち最も多い数の空模様を、風景画像の空模様であると判定する。例えば、「青空」と判定された画像片の数が、「白い雲」、「黒い雲」、「夕焼け」、「夜」等の他の空模様と判定された画像片の数のいずれよりも多い場合には、風景画像の空模様は「青空」であると判定する。

（空判定処理の第１変形例）
上述した空判定部１７では、判定対象とする画像片を風景画像における上方（典型的には上半分）に固定しているが、判定対象とする画像片の領域を可変にしてもよい。

例えば、風景画像に写っている水平線（或いは地平線）より上側に属する画像片を空判定処理の判定対象としてもよい。この場合には、例えば、風景画像中における道路の消失点を検出し、この消失点に基づいて水平線の位置を特定する。この場合、道路の両縁に沿って伸びる線（例えば白線）の延長線の交点を検出し、これを消失点として用いることができる。

このように判定対象とする画像片の領域を決定することで、例えば、カメラの取り付け方向や移動体の上下動によって撮影された風景画像の水平線の位置が上下する場合であっても、一層高い精度で空判定処理を行うことができる。

或いは、カメラの傾きを検知するＧセンサ（或いは、加速度センサ）を用いることで風景画像内の水平線を検出し、水平線より上側に属する画像片を空判定処理の判定対象としてもよい。この場合にも、一層高い精度で空判定処理を行うことができる。

（空判定処理の第２変形例）
上述した空判定処理よる画像片毎の空模様の判定結果に基づいて、雲の形状を判定してもよい。即ち、「青空」又は「夕焼け」と判定された画像片と「白い雲」又は「黒い雲」と判定された画像片とが相隣接する境界を検出し、雲の形状を判定する。例えば、まとまった「白い雲」の画像片と「青空」の画像片とが相隣接する境界が、風景画像における上下方向に伸びている場合には、「入道雲（又は、長い雲）」であると判定することができる。或いは、例えば、「白い雲」の画像片と「青空」の画像片とが相隣接する境界が、風景画像においてまだら状或いは波状である場合には、「うろこ雲（又はまだら雲）」であると判定することができる。

（空判定処理の第３変形例）
上述した空模様判定処理において、画像片が「白い雲」と判定されるための判定条件を明度Ｌの平均値が１８０以上２４０未満とし、画像片が「白飛び」と判定されるための判定条件を明度Ｌの平均値が２４０以上であるとしてもよい。この場合には、逆光によって、空の画像が白飛びしてしまっていることを判定することができ、空模様判定処理の精度を高めることができる。

（海判定処理）
次に海判定処理について、図９に加えて、主に図１１を参照しながら説明する。ここに図１１は、海判定処理の内容を示すフローチャートである。

図９において、風景解析装置１は、空判定処理に続いて海判定処理を行う（ステップＳ３２）。海判定処理は、各画像片に対応する風景の一部が海であるか否かを判定する処理である。海判定処理は、海判定部１８により行われる。海判定部１８は、主として「空」の画像片よりも下側に位置する画像片について「海」であるか否かを判定する。

図１１に示すように、風景解析装置１では、海判定処理において、ステップＳ５１からステップＳ５８の一連の動作が行われる。

海判定部１８は、先ず、空判定処理による空判定結果を記憶装置２１の作業領域から読み出す（ステップＳ５１）。この際、１つの画像片が続くステップＳ５２による処理の対象となる画像片として選択される。続いて、対象とする画像片が「空」の画像片よりも下側に位置するか否かが判定される（ステップＳ５２）。対象とする画像片が「空」の画像片よりも下側に位置しないときには（ステップＳ５２：ＮＯ）、再びステップＳ５１に戻り、次の画像片が選択される。対象とする画像片が「空」の画像片よりも下側に位置するときには（ステップＳ５２：ＹＥＳ）、続いて、海判定部１８は、各画像片に含まれる複数の画素の色相Ｈ、明度Ｌ及び彩度Ｓの平均値及び分散値を算出する（ステップＳ５３）。算出された平均値及び分散値は、記憶装置２１の作業領域に記憶される。続いて、判定対象となる１つの画像片及びその左右の画像片の各々の全ての画素についての平均値及び分散値が、記憶装置２１の作業領域から読み出される（ステップＳ５４）。続いて、判定対象となる画像片毎にステップＳ５４からステップＳ５７の一連の動作が繰り返される。

海判定部１８は、判定対象となる１つの画像片及びその左右の画像片の全ての色相Ｈ、明度Ｌ及び彩度Ｓの平均値が予め設定された判定条件（「海判定条件」と呼ぶ）を満たすか否かを判定する（ステップＳ５５）。海判定条件は例えば以下のように設定することができる。尚、色相Ｈ、明度Ｌ及び彩度Ｓは、０から２５５の範囲で表してある。

海判定条件は、色相Ｈの平均値が「空」の画像片の色相Ｈの平均値の範囲±１０以内、且つ、明度Ｌの平均値が「空」の画像片の明度Ｌの平均値の最小値以下、且つ、彩度Ｓの平均値が６０以上である。

以上のような海判定条件を満たすときには（ステップＳ５５：ＹＥＳ）、判定対象の画像片は「海」の画像片であると判定される（ステップＳ５６）。ここで特に、海判定条件は、「空」の画像片の色相Ｈ及び明度Ｌの平均値に基づいて設定されているので、海が空の色を反射して空の色よりも濃い色であるという特徴と反映して、海判定処理によって画像片に含まれる風景の一部が「海」であることを精度よく判定することができる。更に、海判定条件を満たすか否かは、判定対象の画像片に加えて、その左右に相隣接する画像片についても判定されている。よって、海は左右に広がっているという特徴を反映して、海判定処理によって画像片に含まれる風景の一部が「海」であることを一層精度よく判定することができる。

「海」と判定された結果は、記憶装置２１の作業領域に記憶される。続いて、海判定部１８は、判定対象とすべき全ての画像片についてステップＳ５４からステップＳ５６の一連の動作を行ったかを判定する（ステップＳ５７）。判定対象とすべき全ての画像片について判定していないときには（ステップＳ５７：ＮＯ）、次の画像片について再びステップＳ５４からの動作を行う。

一方、判定対象となる１つの画像片及びその左右の画像片のうちいずれかの色相Ｈ、明度Ｌ及び彩度Ｓの平均値が海判定条件を満たさないときには（ステップＳ５５：ＮＯ）、海判定部１８は、判定対象とすべき全ての画像片についてステップＳ５４からステップＳ５６の一連の動作を行ったかを判定する（ステップＳ５７）。判定対象とすべき全ての画像片について判定していないときには（ステップＳ５７：ＮＯ）、次の画像片について再びステップＳ５４からの動作を行う。

判定対象とすべき全ての画像片について判定したときには（ステップＳ５７：ＹＥＳ）続いて、海判定部１８は、「海」の画像片の数をカウントする（ステップＳ５８）。この際、「海」の画像片の数が、予め設定された閾値（例えば全画像片の数の１／５）以上であるときには、風景画像には海の見える風景が含まれていると判定する。

（山判定処理）
次に山判定処理について、図９に加えて、主に図１２を参照しながら説明する。ここに図１２は、図５中の画像に対して山判定処理を行った結果を説明するための説明図である。

再び図９において、風景解析装置１は、海判定処理に続いて山判定処理を行う（ステップＳ３３）。山判定処理は、風景画像に対応する風景に山が含まれているか否かを判定する処理である。山判定処理は、山判定部１９により行われる。

山判定部１７は、先ず、画像片に含まれる風景の一部が「稜線」であるか否かを判定する。例えば、風景画像の上方に位置する画像片について、空の色と判定できる画素が７０％以上の場合には、その画像片を「空」と判定し、空の色と判定できる画素が３０％未満の場合には、その画像片を「空以外」と判定する。更に、空の色と判定できる画素が３０％以上７０％未満の場合であって、その画像片の上側の画像片が「空」の画像片であり、下側の画像片が「空」以外の画像片であるときには、その画像片に含まれる風景の一部は「稜線」であると判定する。即ち、その画像片を「稜線」の画像片と判定する。ここで、空の色か否かの判定は、画素の色相Ｈ、明度Ｌ及び彩度Ｓが、上述した空判定手段における色相Ｈ、明度Ｌ及び彩度Ｓの範囲に含まれているか否かにより判定すればよい。

続いて、山判定部１９は、「稜線」の画像片の数をカウントする。続いて、「稜線」の画像片の数が、予め設定された閾値（例えば１０）以上であるときには、風景画像には山或いは山並みの見える風景が含まれていると判定する。

図１２において、画像５６は、図５中の画像５２に対して山判定処理と行った結果を示している。画像５６には、「稜線」の画像片５７が１２個含まれている。よって、画像５６は、山或いは山並みの見える風景であると判定される。

続いて、山判定処理による山判定結果は、記憶装置２１の作業領域に記憶される。

（山判定処理の変形例）
上述した山判定処理において、風景画像における山並みの位置や稜線の形状に基づいて山の名前を判定してもよい。或いは、稜線の起伏、山並みの距離、雪山や紅葉等の季節情報などを検出してもよい。

例えば、風景画像における山並みの位置は、「稜線」の画像片のうち風景画像における最も上側に位置する画像片の位置として判定してもよい。また、左右方向の「稜線」の画像片より上側にある「稜線」の画像片を山並みの頂上として複数判定してもよい。

例えば、稜線の形状は、左右方向に「稜線」の画像片を追従して特徴量として検出して、山の名前を判定してもよい。例えば、頂上付近が平らで左右になだらかに稜線が下がる形状を検出した場合には、風景画像に対応する山は、「富士山」であると判定することができる。同様に、稜線の形状に特徴のある山並みをあらかじめ用意することで山の名称を判定することができる。

例えば、稜線の起伏は、「稜線」の画像片を左右方向に追従し、その際の上下方向の動きを特徴化することにより検出してもよい。また、急激な山並みやなだらかな山並みを判定してもよい。

例えば、山並みの距離は、上述の風景画像における山並みの位置における方法により稜線の頂上を判定し、頂上の真下の画像片の距離を山並みの距離と判定してもよい。

例えば、雪山や紅葉などの季節情報は、上述の風景画像における山並みの位置の判定により山並みの頂上を判定し、頂上の真下に対応する画像片の色情報を検出し、白ければ雪山、赤やオレンジ色であれば紅葉と判定してもよい。

（夜景判定処理）
次に夜景判定処理について、図９に加えて、主に図１３を参照しながら説明する。ここに図１３は、画像片に対して夜景判定処理を行った結果を説明するための説明図である。

再び図９において、風景解析装置１は、山判定処理に続いて夜景判定処理を行う（ステップＳ３４）。夜景判定処理は、風景画像に対応する風景に夜景が含まれているか否かを判定する処理である。夜景判定処理は、夜景判定部２０により行われる。

夜景判定部２０は、風景画像に含まれる風景が「夜景」であるか否かを判定する。この際、空判定処理における空模様判定処理により「夜」と判定された画像片が一定数（例えば１０）以上ある場合、「空」と判定された画像片以外の画像片が判定対象の画像片となる。夜景判定部２０は、判定対象となる画像片に対して明度Ｌについての２値化を行う。即ち、明度Ｌの閾値Ｌ０を予め設定し、画像片に属する各画素の明度が、閾値Ｌ０以上か否かを判定する。

図１３において、画像片５８は、明度Ｌについて閾値Ｌ０で２値化されており、閾値Ｌ０以上の画素は白塗りで表され、閾値Ｌ０に未満の画素は右上がり斜線で表されている。

続いて、夜景判定部２０は、閾値Ｌ０以上の画素が相隣接してなる集合の数を、光の粒の数としてカウントする。尚、周囲を閾値Ｌ０未満の画素に囲まれた１つの閾値Ｌ０以上の画素も加えて光の粒の数としてカウントしてもよい。

図１３において、画像片５８は、閾値Ｌ０以上の画素と判定された画素が相隣接してなる集合、即ち、光の粒５９が１１個含まれている。

続いて、夜景判定部２０は、画像片に含まれている光の粒の数が予め設定された数（例えば１０個）以上であるか否かを判定することにより、画像片に含まれる風景の一部が「夜景」であるか否かを判定する。即ち、光の粒が予め設定された数（例えば１０個）以上含んでいる画像片を「夜景」の画像片であると判定する。

図１３において、画像片５８は、光の粒５９を１１個含んでいるので、「夜景」の画像片であると判定される。

夜景判定部２０は、上述した「夜景」の画像片であるか否かの判定を風景画像に含まれる判定対象となる画像片の全てについて順番に行う。

続いて、夜景判定部２０は、「夜景」の画像片の数をカウントし、「夜景」の画像片が予め設定された個数（例えば１０個）以上であるか否かを判定することにより、風景画像が「夜景」であるか否かを判定する。即ち、「夜景」の画像片が予め設定された個数（例えば１０個）以上含んでいる風景画像を「夜景」の風景画像であると判定する。尚、風景画像に含まれる「夜景」の画像片の個数に応じて、夜景のレベルを判定してもよい。

続いて、夜景判定処理による夜景判定結果は、記憶装置２１の作業領域に記憶される。

（夜景判定処理の変形例）
上述した夜景判定処理において、「夜景」の画像片の風景画像における位置に基づいて夜景の特徴を判定してもよい。

例えば、「夜景」の画像片が風景画像の下半分に多く位置する場合には、その風景画像の夜景を「眼下に広がる夜景」と判定し、「夜景」の画像片が風景画像の上半分に多く位置する場合には、その風景画像の夜景を「遠くの街並みの夜景」と判定してもよい。

（アクション処理）
再び図２において、風景解析装置1は、特徴判定処理に続いてアクション処理を行う（ステップＳ６）。アクション処理は、特徴判定処理（即ち、空判定処理、海判定処理、山判定処理及び夜景判定処理）の処理結果に基づいて風景画像を記憶装置の保存領域に保存する処理である。或いは、アクション処理は、このような特徴判定処理の結果に基づく風景画像の保存に加えて又は代えて、特徴判定処理の結果に基づいて所定種類のアクション（後述の各種変形例を参照）を実行する処理であってもよい。

図２において、特徴判定処理が終了した後、風景解析装置１は、空判定処理結果、海判定処理結果、山判定処理結果及び夜景判定処理結果に基づいて、風景画像が予め設定されたアクション条件を満たすか否かを判定する。アクション条件は、風景画像に含まれる風景の特徴である。風景画像が予め設定されたアクション条件を満たすときには、アクションとして、その風景画像を記憶装置２１の保存領域に保存する。例えば風景画像に含まれる風景が「海が見えて遠くに山並みがあり空模様が快晴であること」をアクション条件として満たすときには、その風景画像を記憶装置２１の保存領域に保存する。尚、アクション条件を満たす場合に、カメラ１１を例えばデジタルカメラとして利用して自動的に写真を撮影し、記憶装置２１の保存領域に保存してもよい。よって、アクション条件としてどのような風景画像を撮影或いは保存したいかを設定することにより、走行中に自動的にアクション条件を満たす風景画像を保存することができる。更に、撮影に相応しい風景のある場所の位置を予め登録しておく必要がなく、しかも、例えば空模様などによる風景の変化に応じて、利用者の希望する風景画像を保存することが可能となる。

（アクション処理の第１変形例）
上述したアクション処理において、空判定処理（或いは空模様判定処理）による空判定結果（或いは空模様判定結果）に対するアクションとして、以下の処理を行ってもよい。

例えば、空模様を通信機又は携帯電話によりサーバに送信し、リアルタイムの空模様をサーバにて共有し複数の受信装置に配信してもよい。また、空模様の画像も同時に送信してもよい。

例えば、空模様に応じてカメラのモードを切り替えてもよい。例えば、晴天の場合にはカメラを撮影モードに切り替え、曇りの場合には非撮影モードに切り替えてもよい。或いは、逆光などでは非撮影モードに切り替えてもよい。

例えば、急激に「黒い雲」が増えた場合には、豪雨や雨、雹が降る可能性が高いため、利用者に警告してもよい。また、印象的なシーンになる可能性もあるため、映像として保存してもよい。或いは、空模様から雨が降りそうと判定された場合には、走行の目的地として水族館や美術館などの屋内で楽しめる施設を案内してもよい。或いは、降車時には空模様を判定し、雨が降りそうと判定された場合は傘を持っていくように案内してもよい。

例えば、「黒い雲」と判定された場合に、急激な光量の変化により雷を判定し、雷の瞬間を撮影してもよい。

例えば、「空」の画像片が円弧状に抜けている場合に、虹と判定し、撮影してもよい。

例えば、「夕焼け」と逆光による「白飛び」とが判定された場合に、「夕日の沈むシーン」と判定して撮影してもよい。

例えば、空模様判定結果に基づいて音楽を切り替えてもよい。例えば、「青空」の場合にリズムの効いた曲に切り替え、「黒い雲」の場合に静かな曲に切り替えてもよい。

例えば、雲の形状を判定し、珍しい雲の場合に、その風景を撮影してもよい。

例えば、空模様判定から天気が良い場合に、カメラの向きを上に向けるように指示してもよい。或いは、可動カメラにより自動で上に向き、風景画像の「空」の領域を増やして撮影してもよい。

例えば、逆光による「白飛び」と判定された場合に、可動カメラを逆光による「白飛び」の画像片を避けるように動かしてもよい。

例えば、ドライブ中に「黒い雲」が前方から迫ってくることが判定された場合に、目的地をその方向から逃れるように案内してもよい。

（アクション処理の第２変形例）
上述したアクション処理において、海判定処理による海判定結果に対するアクションとして、以下の処理を行ってもよい。

例えば、海沿いで海が見える道として地図情報に反映してもよい。

例えば、「海」の画像片の風景画像における位置に基づいて、海が見える方向（例えば運転者から見て左側、右側、左右両側、正面等）を地図情報に反映してもよい。このような地図情報を利用して、例えば車両の左側（或いは右側）に海が見える道を選択することができ、運転者は対向車などに妨げられることなく海を見ながら走行できる。或いは、例えば、助手席の人にとって見晴らしの良い道として、左側（或いは右側）に海が見える道を経路案内することもできる。

例えば、長時間又は長距離に亘って海を含む風景であると続けて判定された場合に、映像として撮影してもよい。

例えば、「海」と判定された場合に、海方向に可動カメラを回転させてもよい。

例えば、「海」と判定された場合に、海に合う音楽（例えばサザンオールスターズ等）に切り替えてもよい。

（アクション処理の第３変形例）
上述したアクション処理において、山判定処理による山判定結果に対するアクションとして、以下の処理を行ってもよい。

例えば、富士山や有名な山が見える道を案内してもよい。或いは、山が正面に見える道を優先して案内してもよい。

例えば、判定された山の名称を読み上げて観光案内を行ってもよい。

例えば、遠くの山並みの季節の画像を収集してもよい。例えば、新緑、紅葉、雪山などの画像を撮影し、同じ地点で撮影した画像をモニタに並べて表示してもよい。時刻や場所情報と共にサーバへ送信して画像を収集してもよい。即ち、他人の撮影した画像を利用してもよい。

（アクション処理の第４変形例）
上述したアクション処理において、夜景判定処理による夜景判定結果に対するアクションとして、以下の処理を行ってもよい。

例えば、田舎道を走行中、突然の夜景が広がった瞬間を撮影してもよい。

例えば、夜景のきれいな道を判定して地図情報に反映してもよい。

例えば、夜景と同様の判定方法で花火を判定して撮影してもよい。

例えば、夜景のきれいな地点の画像をサーバに収集し、昼間にその地点を通過した際にサーバから夜景画像を取得して表示してもよい。

（アクション処理の第５変形例）
上述したアクション処理において、空判定結果（或いは空模様判定結果）、海判定結果、山判定結果及び夜景判定結果のうち少なくとも２つを組合せた結果に対するアクションとして、以下の処理を行ってもよい。

例えば、空模様判定結果及び山判定結果に基づいて、山にかかった雲の形状により天気を予測してもよい。例えば富士山にかかる雲の形状を空模様判定結果及び山判定結果から判定し、天気を予測してもよい。

例えば、海が見えて遠くに山並みがあり空模様が快晴の場合に高解像度モードに切り替えて高画質の画像を保存してもよい。或いは、例えば、展望台などの一端停車できる場所を検索して案内してもよいし、気に入っている音楽に切り替えてもよい。

例えば、海や山並みが見える見晴らしの良い道において空模様が悪い場合に、空模様が良い場合の画像を例えばサーバから取得してモニタに表示してもよい。このようにすれば、霧など空模様が悪いため、視界が悪く見晴らしの良さを堪能できなかった場合にも、モニタの画像を見ることで空模様が良い場合の風景をイメージすることができる。

再び図２において、風景解析装置１は、アクション処理に続いて、動作を継続するか否かを判定する。継続するときには（ステップＳ７：ＹＥＳ）、ステップ１からの動作を行う。継続しないときには（ステップＳ７：ＮＯ）、風景解析装置１は動作を終了する。

以上説明したように本実施例に係る風景解析装置によれば、例えば車載カメラによる画像を解析し、画像中に含まれる風景の特徴を判定することができる。更に、どのような風景画像を撮影或いは保存したいか等の条件を設定することにより、走行中に自動的に条件を満たす風景画像を撮影或いは保存することができる。更に、撮影に相応しい風景のある場所の位置を予め登録しておく必要がなく、しかも、例えば空模様等による風景の変化に応じて、利用者の希望する風景画像を保存することが可能となる。

本発明は、上述した実施例に限られるものではなく、請求の範囲及び明細書全体から読み取れる発明の要旨或いは思想に反しない範囲で適宜変更可能であり、そのような変更を伴う風景解析装置及び方法、並びにこれらの機能を実現するコンピュータプログラムもまた本発明の技術的範囲に含まれるものである。

本発明に係る風景解析装置及び方法は、例えば自動車に搭載されたカメラ等で撮影された画像を解析することにより、画像中に含まれる風景の特徴を判定する風景解析装置等に利用可能である。また、例えば民生用或いは業務用の各種コンピュータ機器に搭載される又は各種コンピュータ機器に接続可能な風景解析装置にも利用可能である。

Claims (7)

1. 風景画像を取得する風景画像取得手段と、
   前記取得された風景画像を複数の画像片に分割する画像分割手段と、
   前記画像片に対応する風景までの距離を算出する距離算出手段と、
   前記算出された前記画像片に対応する風景までの距離が所定の閾値よりも大きい場合に該画像片に対応する風景が遠景であると判定する遠景判定手段と、
   前記遠景と判定された風景に対応する前記画像片のみに対し、前記画像片に含まれる複数の画素の明度の分散値が所定の分散値以下の場合に前記画像片に対応する風景が空であると判定する空判定処理を行う特徴判定手段と
   を備えることを特徴とする風景解析装置。
2. 前記特徴判定手段は、前記空と判定されなかった画像片について、前記画像片に含まれる複数の画素の平均色相及び平均彩度がそれぞれ所定の基準範囲内の値である場合に、前記画像片に対応する風景が海であると判定する海判定処理を行うことを特徴とする請求項１に記載の風景解析装置。
3. 前記特徴判定手段は、前記空と判定されなかった画像片のうち、前記空と判定された画像片に隣接する画像片の各々について、前記画像片に含まれる複数の画素の数に対する、前記画像片に含まれる空の色として予め定められた色の画素の数の割合が所定の割合以上である場合には前記画像片に対応する風景が空であると判定するとともに、前記予め定められた色の画素の数の割合が前記所定の割合よりも小さい場合には前記画像片に対応する風景が稜線であると判定し、前記稜線であると判定された画像片が所定数以上である場合に、前記隣接する画像片の各々に対応する風景に山が含まれると判定する山判定処理を行うことを特徴とする請求項２に記載の風景解析装置。
4. 前記特徴判定手段は、複数の前記画像片の各々について、所定値の明度を基準として画素の２値化を行うことにより区別される複数の画素群のうち、前記基準よりも高い方に区別された前記画素群の数が予め定められた数以上である場合に前記画像片に対応する風景が夜景であると判定する夜景判定処理を行うことを特徴とする請求項１から３のいずれか一項に記載の風景解析装置。
5. 前記風景画像を保存する風景画像保存手段を更に備え、
   前記特徴判定手段により判定された判定結果が、予め設定された条件と一致する場合に当該風景画像が前記風景画像保存手段に保存される
   ことを特徴とする請求項１から４のいずれか一項に記載の風景解析装置。
6. 風景画像を取得する風景画像取得工程と、
   前記取得された風景画像を複数の画像片に分割する画像分割工程と、
   前記画像片に対応する風景までの距離を算出する距離算出工程と、
   前記算出された前記画像片に対応する風景までの距離が所定の閾値よりも大きい場合に該画像片に対応する風景が遠景であると判定する遠景判定工程と、
   前記遠景と判定された風景に対応する前記画像片のみに対し、前記画像片に含まれる複数の画素の明度の分散値が所定の分散値以下の場合に前記画像片に対応する風景が空であると判定する空判定処理を行う特徴判定工程と
   を備えることを特徴とする風景解析方法。
7. 請求項１から５のいずれか一項に記載の風景解析装置としてコンピュータを機能させることを特徴とするコンピュータプログラム。

Images