JP6149676B2

JP6149676B2 - 画像処理装置、画像処理方法、及び、プログラム

Info

Publication number: JP6149676B2
Application number: JP2013212337A
Authority: JP
Inventors: 清水　誠也; 誠也清水
Original assignee: Fujitsu Ltd
Current assignee: Fujitsu Ltd
Priority date: 2013-10-09
Filing date: 2013-10-09
Publication date: 2017-06-21
Anticipated expiration: 2033-10-09
Also published as: EP2863365A3; JP2015075966A; US20150098623A1; EP2863365A2

Description

本発明は、画像処理装置、画像処理方法、及び、プログラムに関する。

車両に配置されている複数のカメラで撮像した画像を合成し、車両周辺の全周囲画像を作成する方法が各種提案されている（例えば、特許文献１）。

この場合、路面付近については少ない歪みで表示することができるが、路面から離れるにつれて周辺物体は歪んでしまい、距離感が損なわれてしまう。この原因は、道路平面（又は、道路平面と背景）を模した立体投影面上に、周辺物体の映像を射影して表示することにある。

この問題は、車両に配置されている距離センサで周辺物体までの距離を計測し、計測結果に基づいて物体形状を模した投影面を正しい位置に作成し、物体形状を模した投影面に周辺物体の映像を投影することで解決することが可能である。

国際公開ＷＯ２０１２／０１７５６０

しかしながら、全周囲画像上では背景と周辺物体との境界は、投影した被写体の画素値（色）によって把握することになるため、被写体の輝度が低い場合や前後関係にある周辺物体の画素値が似通っている場合などには、運転手は周辺物体の形状認識や距離感の把握が困難になるといった問題が生じてしまう。

一つの側面では、本発明は、自車両の周辺物体の形状を容易に把握することを可能とする画像処理装置、画像処理方法、及び、プログラムを提供することを課題とする。

一態様に係る画像処理装置は、車両に搭載されているカメラにより撮像された画像と、前記車両に搭載されている距離センサにより算出された周辺物体上の計測点までの距離と、に基づいて、前記車両の周辺環境を再構築した仮想的な３次元空間を描画する画像処理装置であって、前記車両を基準とする座標系である車両座標系で定義されている複数のグリット面と前記周辺物体との交差断面の外郭線を算出する外郭線算出手段と、前記外郭線算出手段により算出された前記外郭線を前記仮想的な３次元空間内に配置されている対応する周辺物体上に描画する画像処理手段と、を備え、前記複数のグリット面は、前記車両座標系のＸ軸に対して垂直な平面と、前記車両座標系のＹ軸に対して垂直な平面と、前記車両座標系のＺ軸に対して垂直な平面と、により構成されている、ことを特徴とする。

周辺物体の形状の把握が容易となり、運転手は車両周辺の状況を的確に把握することが可能となる。これにより、安全運転に寄与できる。

実施形態１における車載システムの構成例を示す図である。（Ａ）と（Ｂ）は、いずれも、車両座標系を説明するための図である。カメラとレンジセンサの配置例を示す図である。カメラ座標系を説明するための図である。図５Ａ〜Ｅは、いずれも、カメラの配置パラメータについて説明するための図である。可視化のための立体投影面の例を示す図である。立体投影面における車両座標系とカメラ座標系との関係を示す図である。（Ａ）と（Ｂ）は、いずれも、カメラ座標系での入射光ベクトルとカメラ画像上の画素位置との関係を説明するための図である。立体投影面を構成する３次元ポリゴンをテクスチャ付き描画して可視化した結果の例を示す図である。レンジセンサ座標系を説明するための図である。実施形態１における立体点群データの抽出方法を説明するための図である。３次元ポリゴンにより構成されている計測物体の形状を模した物体投影面の例を示す図である。ポリゴンデータとして登録されるための条件を説明するための図である。実施形態１における車両座標系でのグリット面（Ｙ軸、Ｚ軸）の例を示す図である。Ｚ軸グリット面を例にしたグリット面との交線の算出方法を説明するための図である。実施形態１における画像処理の結果の例を示す図である。実施形態１における車載装置の構成例を示す機能ブロック図である。実施形態１における画像処理のフローを説明するためのフローチャートの例である。実施形態２における車載システムの構成例を示す機能ブロック図である。実施形態２における画像処理のフローを説明するためのフローチャートの例の一部である。実施形態３における車載システムの構成例を示す機能ブロック図である。実施形態３における画像処理のフローを説明するためのフローチャートの例の一部である。実施形態における車載システムのハードウェア構成の例を示す図である。

以下に本発明の実施の形態について図面を参照しながら詳細に説明する。

（実施形態１）
図１は、本実施形態１における車載システム１の構成例を示す図である。車載システム１は、図１に示すように、画像処理装置である車載装置２と、複数のカメラ３と、複数のレンジセンサ４と、を備えて構成されている。車載装置２には、図１に示すように、複数のカメラ３と、複数のレンジセンサ４と、が接続されている。

カメラ３は、ＣＣＤ（Charge Coupled Device）、ＣＭＯＳ（Complementary Metal-Oxide Semiconductor）、ＭＯＳ（Metal-Oxide Semiconductor）などの撮像素子などで構成され、例えば、３０ｆｐｓ（frame per second）の頻度で車両周辺を撮像し、撮像した画像を後述の画像バッファ１１に順次格納する。

レンジセンサ４は、例えば、スキャナ式の測域センサであり、３次元空間を２次元スキャンするレーザーレーダである。レンジセンサ４は、レーザー光を間欠的に発光させ、計測対象の物体からの反射光が戻ってくるまでのレーザー光の飛行時間（ＴＯＦ：Time Of Flight）を距離Ｄ（ｍ，ｎ）に変換する。レンジセンサ４は、例えば、１０〜３０ｆｐｓの頻度で車両周辺の物体上の計測点までの距離Ｄ（ｍ，ｎ）を計測し、計測した距離Ｄ（ｍ，ｎ）を車載装置２に送信する。この際、距離Ｄ（ｍ，ｎ）と共に、スキャン方向を示す方向情報が送信される。

車載装置２の詳細については後述するものとし、本実施形態１におけるアルゴリズムについて、流れに沿って説明する。

まず、図２乃至５を参照して、車両座標系Ｃ_ＣＡＲとカメラ座標系Ｃ_ＣＡＭについて説明する。

図２Ａと図２Ｂは、いずれも、車両座標系Ｃ_ＣＡＲを説明するための図である。車両座標系Ｃ_ＣＡＲは、車両を基準として周辺物体の位置を座標で表した、車両固有の座標系であり、車両が移動することで、周辺物体の位置座標は変化する。車両座標系Ｃ_ＣＡＲを、どのように設定するかは任意であるが、本実施形態１においては、図２に示すように、平面図における車両の中心であり路面上の点を原点Ｏ、車両の前後方向をＹ軸（前方方向をプラス）、車両の左右方向をＸ軸（右方向をプラス）、車両の垂直方向をＺ軸（上方向をプラス）とする。

図３は、車載装置２に接続されているカメラ３とレンジセンサ４の配置例を示す図である。図３に示す配置例では、車両前方を撮像範囲とするカメラ３Ｆが車両のフロント部に、車両後方を撮像範囲とするカメラ３Ｂが車両のリア部に、車両右側を撮像範囲とするカメラ３Ｒと車両左側を撮像範囲とするカメラ３Ｌが左右のドアミラー周辺部に、それぞれ、配置され、これらの４台のカメラ３により車両の全周囲を撮像可能となっている。同様に、車両前方をスキャン範囲とするレンジセンサ４Ｆが車両のフロント部に、車両後方をスキャン範囲とするレンジセンサ４Ｂが車両のリア部に、車両右側をスキャン範囲とするレンジセンサ４Ｒと車両左側をスキャン範囲とするレンジセンサ４Ｌが左右のドアミラー周辺部に、それぞれ、配置され、これらの４台のレンジセンサ４により車両の全周囲をスキャン可能となっている。

図４は、カメラ座標系Ｃ_ＣＡＭを説明するための図である。カメラ座標系Ｃ_ＣＡＭは、カメラ３を基準として被写体となる周辺物体の位置を座標で表した、カメラ３固有の座標系である。カメラ座標系Ｃ_ＣＡＭを、どのように設定するかは任意であるが、本実施形態１においては、図４に示すように、カメラ３の光学原点を原点Ｏ、光軸に対して水平方向に直交する方向をＸ軸（光軸方向に対して右方向をプラス）、光軸に対して垂直方向に直交する方向をＹ軸（上方向をプラス）、光軸をＺ軸（光軸方向とは逆方向をプラス）とする。視体積３１は、カメラ３の撮像範囲を示している。

図５Ａ〜Ｅは、いずれも、カメラ３の配置パラメータについて説明するための図である。カメラ３の配置パラメータは、少なくとも、車両座標系Ｃ_ＣＡＲにおけるカメラ３の配置位置を表す３次元座標（Ｔｘ，Ｔｙ，Ｔｚ）と配置角度（Ｐａｎ，Ｔｉｌｔ，Ｒｏｔａｔｅ）とを含んでおり、この配置パラメータに基づいて、カメラ３の配置位置を一意的に定義することが可能である。

配置パラメータのＲｏｔａｔｅは、図５Ａに示すように、車両座標系Ｃ_ＣＡＲとカメラ座標系Ｃ_ＣＡＭとが一致する状態をカメラ配置の初期状態とし、図５Ｂに示すように、カメラ３が角度Ｒｏｔａｔｅだけ光軸（Ｚ軸）回りで回転させられていることを示している（ＲｏｔＺ（Ｒｏｔａｔｅ））。また、配置パラメータのＴｉｌｔは、図５Ｃに示すように、カメラ３が角度（π／２−Ｔｉｌｔ）だけＸ軸回りで回転させられていることを示している（ＲｏｔＸ（π／２−Ｔｉｌｔ））。すなわち、この変換により、水平方向で０、見下ろす方向でプラスとなるように定義されている俯角（Ｔｉｌｔ）は、真下方向からの仰角に変換される。

また、配置パラメータのＰａｎは、図５Ｄに示すように、カメラ３が角度ＰａｎだけＺ軸回りで左又は右に振られていることを示している（ＲｏｔＺ（Ｐａｎ））。また、配置パラメータの３次元座標（Ｔｘ，Ｔｙ，Ｔｚ）は、図５Ｅに示すように、配置角度（Ｐａｎ，Ｔｉｌｔ，Ｒｏｔａｔｅ）に従ってカメラ３の配置角度を調整した後に、カメラ３を３次元座標（Ｔｘ，Ｔｙ，Ｔｚ）に平行移動することで（Ｔｒａｎｓｌａｔｅ（Ｔｘ，Ｔｙ，Ｔｚ））、カメラ３の配置状態となることを示している。

配置パラメータは、カメラ３の配置位置を一意的に定義するものであると同時に、車両座標系Ｃ_ＣＡＲとカメラ座標系Ｃ_ＣＡＭとの間の座標変換を定義するものでもある。図５Ａ〜Ｅの関係より、車両座標系Ｃ_ＣＡＲからカメラ座標系Ｃ_ＣＡＭへの座標変換行列Ｍ_{ＣＡＲ→ＣＡＭ}を式（１）で表すことができる。

ここで、ｃｐ＝ｃｏｓ（Ｐａｎ）、ｓｐ＝ｓｉｎ（Ｐａｎ）、ｃｔ＝ｃｏｓ（Ｔｉｌｔ）、ｓｔ＝ｓｉｎ（Ｔｉｌｔ）、ｃｒ＝ｃｏｓ（Ｒｏｔａｔｅ）、ｓｒ＝ｓｉｎ（Ｒｏｔａｔｅ）とした場合、
Ｍ_１１＝ｃｒ×ｃｐ−ｓｒ×ｓｔ×ｓｐ
Ｍ_１２＝ｃｒ×ｓｐ＋ｓｒ×ｓｔ×ｃｐ
Ｍ_１３＝ｓｒ×ｃｔ
Ｍ_２１＝−ｓｒ×ｃｐ−ｃｒ×ｓｔ×ｓｐ
Ｍ_２２＝−ｓｒ×ｓｐ＋ｃｒ×ｓｔ×ｃｐ
Ｍ_２３＝ｃｒ×ｃｔ
Ｍ_３１＝ｃｔ×ｓｐ
Ｍ_３２＝−ｃｔ×ｃｐ
Ｍ_３３＝ｓｔ
である。

次に、図６乃至図９を参照して、カメラ３により撮像された画像に基づく、自車両全周囲の状況の可視化方法について説明する。

図６は、可視化のための立体投影面の例を示す図である。カメラ３により撮像された画像に基づいて、自車両全周囲の状況を可視化するために、図６に例示するような、自車両周辺の道路平面や周辺物体などを模した仮想的な立体投影面を設定する。本実施形態１における立体投影面は、図６に示すように、３次元ポリゴン（投影面ポリゴンともいう）Ｐである微小平面によって構成されている。

そして、設定した立体投影面に、カメラ３により撮像された画像を投影し、任意の可視化視点から描画することで自車両全周囲の状況を可視化する。

立体投影面へのカメラ画像の投影は、立体投影面を構成する３次元ポリゴンＰの各頂点（以下、ポリゴン頂点という）に対して、対応するカメラ画像上の画素位置をテクスチャ座標Ｑとして定義することに相当する。

図７は、立体投影面における車両座標系Ｃ_ＣＡＲとカメラ座標系Ｃ_ＣＡＭとの関係を示す図である。図中のＣ_Ｖは、ポリゴン頂点の車両座標系Ｃ_ＣＡＲでの座標を示しており、車両座標系Ｃ_ＣＡＲでのポリゴン頂点座標Ｃ_Ｖは、上述の式（１）に従って、カメラ座標系Ｃ_ＣＡＭでのポリゴン頂点座標Ｃ_Ｃに変換することができる。

図８Ａと図８Ｂは、いずれも、カメラ座標系Ｃ_ＣＡＭでの入射光ベクトルＩ_Ｃとカメラ画像上の画素位置との関係を説明するための図である。図８Ａの図中のＩ_Ｃは、カメラ座標系Ｃ_ＣＡＭでのポリゴン頂点座標Ｃ_Ｃからカメラ３の光学原点への入射光ベクトルを示しており、カメラ座標系Ｃ_ＣＡＭでの光学原点は原点Ｏと一致していることから、入射光ベクトルＩ_Ｃは、式（３）のように表すことができる。

したがって、ポリゴン頂点に対応するカメラ画像上の画素位置の座標（テクスチャ座標）Ｑは、入射光ベクトルＩ_Ｃを用いて、式（４）のように表すことができる。

ここで、式（４）中のＴ_Ｃは、各ポリゴン頂点に対応する入射光ベクトルＩ_Ｃとカメラ画像上の画素位置とを１対１で対応付けるマッピングテーブルであり、マッピングテーブルＴ_Ｃは、レンズの歪みを示すデータとカメラパラメータとに基づいて、予め設定可能である。

以上のようにして、立体投影面を構成する全ての３次元ポリゴンＰのポリゴン頂点に対して、対応する画素位置の座標（テクスチャ座標）Ｑを算出した後に、カメラ画像をテクスチャ画像として可視化する。この可視化は、図９に例示するように、例えば、３次元ＣＧ（Computer Graphics）処理により実現することができる。なお、図９は、立体投影面を構成する３次元ポリゴンＰをテクスチャ付き描画して可視化した結果の例を示す図である。

次に、図１０を参照して、レンジセンサ座標系Ｃ_ＳＮＳＲについて説明する。図１０は、レンジセンサ座標系Ｃ_ＳＮＳＲを説明するための図である。

レンジセンサ座標系Ｃ_ＳＮＳＲは、レンジセンサ４を基準としてスキャン対象となる周辺物体の位置を座標で表した、レンジセンサ４固有の座標系である。レンジセンサ座標系Ｃ_ＳＮＳＲを、どのように設定するかは任意であるが、本実施形態１においては、図１０に示すように、レンジセンサ４のセンサ原点を原点Ｏ、レンジセンサ４の前後方向をＺ軸（後方向をプラス）、Ｚ軸に対して水平方向に直交する方向をＸ軸（レンジセンサ４の前方向に対して右方向をプラス）、Ｚ軸に対して垂直方向に直交する方向をＹ軸（上方向をプラス）とする。

図１０の図中の矢印は、スキャンの順番を示しており、図１０の例では、水平方向については、センサ原点から見て左側から右側へ順番にＭ回スキャンし、垂直方向については、スキャン範囲の上端から下端へ順番にＮ回スキャン角度を変更する場合を示している。すなわち、図１０の例では、レンジセンサ４は、スキャン範囲に対して、Ｍ×Ｎの距離計測を行っている。

ここで、（ｍ，ｎ）番目の距離計測時におけるスキャン方向（レーザー光の照射方向）を表す単位ベクトルを、スキャンベクトルＶ_Ｓ（ｍ，ｎ）とする。この場合、スキャンベクトルＶ_Ｓ（ｍ，ｎ）とスキャンベクトルＶ_Ｓ（ｍ，ｎ）の方向の物体上の計測点までの距離Ｄ（ｍ，ｎ）とを用いて、レンジセンサ座標系Ｃ_ＳＮＳＲでの計測点の座標（以下、計測点座標という）Ｐ_ＳＮＳＲ（ｍ，ｎ）は、式（５）のように表すことができる。なお、各スキャン方向に対応するＭ×Ｎ個のスキャンベクトルＶ_Ｓ（ｍ，ｎ）は、レンジセンサ４固有のテーブル（以下、スキャンベクトルテーブルＴ_Ｓという）として予め設定可能である。

ここで、カメラ３と同様に、レンジセンサ４の配置パラメータが、車両座標系Ｃ_ＣＡＲにおけるレンジセンサ４の配置位置を表す３次元座標（Ｔｘ，Ｔｙ，Ｔｚ）と配置角度（Ｐａｎ，Ｔｉｌｔ，Ｒｏｔａｔｅ）であるとすると、車両座標系Ｃ_ＣＡＲからレンジセンサ座標系Ｃ_ＳＮＳＲへの座標変換行列Ｍ_{ＣＡＲ→ＳＮＳＲ}は、式（６）のように表すことができる。

したがって、レンジセンサ座標系Ｃ_ＳＮＳＲでの計測点座標Ｐ_ＳＮＳＲ（ｍ，ｎ）を、式（７）に従って、車両座標系Ｃ_ＣＡＲでの計測点座標Ｐ_ＣＡＲ（ｍ，ｎ）に変換することができる。

次に、このようにして車両座標系Ｃ_ＣＡＲの座標に変換した計測点座標Ｐ_ＣＡＲ（ｍ，ｎ）を、図１１に例示するように、道路平面上の計測点に対応する座標の集合（以下、道路平面点群データという）ＰＧ１と、それ以外の計測点に対応する座標の集合（以下、立体点群データという）ＰＧ２と、に分類し、道路平面点群データＰＧ１に属する計測点座標Ｐ_ＣＡＲ（ｍ，ｎ）を除外する。このように構成することで、処理対象を削減し、処理速度を向上せることが可能となる。なお、図１１は、本実施形態１における立体点群データＰＧ２の抽出方法を説明するための図である。

道路平面点群データＰＧ１と立体点群データＰＧ２との分類は、車両座標系Ｃ_ＣＡＲの原点Ｏは道路平面上の点であることから、例えば、計測点座標Ｐ_ＣＡＲ（ｍ，ｎ）のＺ座標の座標値の絶対値が、予め設定されている閾値（例えば、５ｃｍ）以下の計測点座標Ｐ_ＣＡＲ（ｍ，ｎ）を道路平面点群データＰＧ１として分類することで実現する。

次に、立体点群データＰＧ２に属する計測点座標Ｐ_ＣＡＲ（ｍ，ｎ）に基づいて、計測物体の形状を模した投影面（以下、物体投影面という）を生成する。本実施形態１における物体投影面は、図１２に例示するように、３次元ポリゴンＰにより構成されている。なお、図１２は、３次元ポリゴンＰにより構成されている計測物体の形状を模した物体投影面の例を示す図である。

ここで、レンジセンサ４が、図１０に例示した順番で計測点をスキャンするものとすると、計測点座標Ｐ_ＣＡＲ（ｍ，ｎ）で表される計測点に隣接する計測点の座標は、Ｐ_ＣＡＲ（ｍ−１，ｎ−１）、Ｐ_ＣＡＲ（ｍ，ｎ−１）、Ｐ_ＣＡＲ（ｍ＋１，ｎ−１）、Ｐ_ＣＡＲ（ｍ−１，ｎ）、Ｐ_ＣＡＲ（ｍ＋１，ｎ）、Ｐ_ＣＡＲ（ｍ−１，ｎ＋１）、Ｐ_ＣＡＲ（ｍ，ｎ＋１）、Ｐ_ＣＡＲ（ｍ＋１，ｎ＋１）である。

ここで、Ｐ_ＣＡＲ（ｍ，ｎ）、Ｐ_ＣＡＲ（ｍ，ｎ＋１）、Ｐ_ＣＡＲ（ｍ＋１，ｎ＋１）を頂点の座標とする三角形が、物体投影面を構成する３次元ポリゴンＰであるためには、Ｐ_ＣＡＲ（ｍ，ｎ）、Ｐ_ＣＡＲ（ｍ，ｎ＋１）、Ｐ_ＣＡＲ（ｍ＋１，ｎ＋１）で表される３点が、いずれも、同一の計測物体上の点でなければならない。なぜなら、３点が同一の計測物体上に無い場合、例えば、図１１を参照して、３点の内の２点が、歩行者上の点であり、残りの１点が、当該歩行者より後ろに存在する壁面（不図示）上の点である場合に、３点を頂点とする三角形を３次元ポリゴンＰとすることは、歩行者と壁面との間に、本来存在しない物体の投影面を発生させることになるからである。

そこで、このような不都合を回避するための処理を行う。図１３は、ポリゴンデータＰＤとして登録されるための条件を説明するための図である。三角形の各頂点を、図１３に示すように、それぞれ、Ｐ_０、Ｐ_１、Ｐ_２と、便宜的に置き換えた場合、三角形の重心座標ｇ_０１２は、式（８．１）で表すことができる。

また、三角形の重心座標ｇ_０１２を始点とする単位法線ベクトルｎ_０１２は、式（８．２）で表すことができる。

また、三角形の各頂点を計測したレンジセンサ４の車両座標系Ｃ_ＣＡＲでのセンサ原点座標をＳ_０＝（Ｔｘ，Ｔｙ，Ｔｚ）とした場合に、三角形の重心座標ｇ_０１２を始点とするセンサ原点座標Ｓ_０への単位方向ベクトルｖ_０１２は、式（８．３）で表すことができる。

この場合、Ｐ_０、Ｐ_１、Ｐ_２を頂点とする三角形（以下、三角形{Ｐ_０，Ｐ_１，Ｐ_２}という）が、式（８．４）を満たす場合に、三角形{Ｐ_０，Ｐ_１，Ｐ_２}を、物体投影面を構成する３次元ポリゴンＰとみなし、ポリゴンデータＰＤに登録する。

ここで、“・”は、ベクトルの内積を示している。つまり、図１３を参照して、単位法線ベクトルｎ_０１２と単位方向ベクトルｖ_０１２とがなす角度をθとした場合、式（８．４）を満たすことは、θ≦角度閾値であることを意味している。

次に、このようにしてポリゴンデータＰＤに登録された３次元ポリゴンＰに対して、{Ｘ軸，Ｙ軸，Ｚ軸}グリット面との交線（グリット線ともいう）を算出する。ここで、{Ｘ軸，Ｙ軸，Ｚ軸}グリット面は、それぞれ独立しているＸ軸グリット面とＹ軸グリット面とＺ軸グリット面を、便宜的に一括で示している。Ｘ軸グリット面、Ｙ軸グリット面、Ｚ軸グリット面は、図１４に示すように、それぞれ、車両座標系Ｃ_ＣＡＲのＸ軸、Ｙ軸、Ｚ軸に垂直な複数の平面であり、Ｘ軸グリット面を構成する各平面はＳＴＥＰ_Ｘの均等間隔で、Ｙ軸グリット面を構成する各平面はＳＴＥＰ_Ｙの均等間隔で、Ｚ軸グリット面を構成する各平面はＳＴＥＰ_Ｚの均等間隔で、配置されているものとする。なお、図１４は、本実施形態１における車両座標系Ｃ_ＣＡＲでのグリット面（Ｙ軸、Ｚ軸）の例を示す図である。

{Ｘ軸，Ｙ軸，Ｚ軸}グリット面が上述のように構成されている場合において、三角形{Ｐ_０，Ｐ_１，Ｐ_２}が３次元ポリゴンＰとしてポリゴンデータＰＤに登録されているとすると、３次元ポリゴンＰである三角形{Ｐ_０，Ｐ_１，Ｐ_２}に対する{Ｘ軸，Ｙ軸，Ｚ軸}グリット面との交線を、以下に示す処理（ステップ１−１乃至ステップ１−３）に従って算出することができる。

＜ステップ１−１＞
三角形{Ｐ_０，Ｐ_１，Ｐ_２}の頂点Ｐ_０、Ｐ_１、Ｐ_２を{Ｘ，Ｙ，Ｚ}座標値の降順にソートし、ソート結果をＰ_{Ａ{Ｘ，Ｙ，Ｚ}}、Ｐ_{Ｂ{Ｘ，Ｙ，Ｚ}}、Ｐ_{Ｃ{Ｘ，Ｙ，Ｚ}}とする。なお、Ｐ_{Ａ{Ｘ，Ｙ，Ｚ}}は、Ｘ座標値の降順にソートした場合のＰ_ＡＸ、Ｙ座標値の降順にソートした場合のＰ_ＡＹ、Ｚ座標値の降順にソートした場合のＰ_ＡＺ、を便宜的に一括で示している。Ｐ_{Ｂ{Ｘ，Ｙ，Ｚ}}、Ｐ_{Ｃ{Ｘ，Ｙ，Ｚ}}についても同様である。

＜ステップ１−２＞
式（９．１）乃至式（９．３）に従って、[Ｐ_{Ａ{Ｘ，Ｙ，Ｚ}}]、[Ｐ_{Ｂ{Ｘ，Ｙ，Ｚ}}]、[Ｐ_{Ｃ{Ｘ，Ｙ，Ｚ}}]をＳＴＥＰ_{{Ｘ，Ｙ，Ｚ}}で割って算出した値の整数部Ｎ_{Ａ{Ｘ，Ｙ，Ｚ}}、Ｎ_{Ｂ{Ｘ，Ｙ，Ｚ}}、Ｎ_{Ｃ{Ｘ，Ｙ，Ｚ}}をそれぞれ算出する。

なお、[Ｐ_{Ａ{Ｘ，Ｙ，Ｚ}}]は、Ｐ_ＡＸのＸ座標値、Ｐ_ＡＹのＹ座標値、Ｐ_ＡＺのＺ座標値を、便宜的に一括で示している。[Ｐ_{Ｂ{Ｘ，Ｙ，Ｚ}}]と[Ｐ_{Ｃ{Ｘ，Ｙ，Ｚ}}]についても同様である。また、ＳＴＥＰ_{{Ｘ，Ｙ，Ｚ}}は、ＳＴＥＰ_Ｘ、ＳＴＥＰ_Ｙ、ＳＴＥＰ_Ｚを便宜的に一括で示している。また、整数部Ｎ_{Ａ{Ｘ，Ｙ，Ｚ}}は、Ｐ_ＡＸのＸ座標値をＳＴＥＰ_Ｘで割って算出した値の整数部Ｎ_ＡＸ、Ｐ_ＡＹのＹ座標値をＳＴＥＰ_Ｙで割って算出した値の整数部Ｎ_ＡＹ、Ｐ_ＡＺのＺ座標値をＳＴＥＰ_Ｚで割って算出した値の整数部Ｎ_ＡＺを、便宜的に一括で示している。整数部Ｎ_{Ｂ{Ｘ，Ｙ，Ｚ}}と整数部Ｎ_{Ｃ{Ｘ，Ｙ，Ｚ}}についても同様である。また、ＲＯＵＮＤＤＯＷＮは、小数点以下を切捨てる関数であり、例えば、ＲＯＵＮＤＤＯＷＮ（１．２３）＝１である。

＜ステップ１−３＞
Ｘ座標値の降順にソートした場合の整数部Ｎ_ＡＸ、Ｎ_ＢＸ、Ｎ_ＣＸにおいて、（Ａ）Ｎ_ＡＸ≠Ｎ_ＢＸ、且つ、Ｎ_ＢＸ＝Ｎ_ＣＸの場合は、図１５に例示する線分Ｌ_０Ｒ_０を算出し、算出した線分Ｌ_０Ｒ_０をＸ軸グリット面との交線として座標情報をグリットデータＧＤに登録し、（Ｂ）Ｎ_ＡＸ＝Ｎ_ＢＸ、且つ、Ｎ_ＢＸ≠Ｎ_ＣＸの場合は、図１５に例示する線分Ｌ_１Ｒ_１を算出し、算出した線分Ｌ_１Ｒ_１をＸ軸グリット面との交線として座標情報をグリットデータＧＤに登録し、（Ｃ）（Ａ）と（Ｂ）以外の場合は、Ｘ軸グリット面との交線のグリットデータＧＤへの登録を行わない。

同様にして、Ｙ座標値の降順にソートした場合の整数部Ｎ_ＡＹ、Ｎ_ＢＹ、Ｎ_ＣＹにおいて、Ｙ軸グリット面との交線の登録処理を行い、Ｚ座標値の降順にソートした場合の整数部Ｎ_ＡＺ、Ｎ_ＢＺ、Ｎ_ＣＺにおいて、Ｚ軸グリット面との交線の登録処理を行う。

なお、図１５は、三角形{Ｐ_０，Ｐ_１，Ｐ_２}の頂点Ｐ_０、Ｐ_１、Ｐ_２をＺ座標値の降順にソートした場合を例示であり、Ｚ軸グリット面を例にしたグリット面との交線の算出方法を説明するための図である。以下において、図１５に例示するように、ＸＹ平面に平行なＺ軸グリット面ｚ＝Ｎ_ＡＺ×ＳＴＥＰ_Ｚと三角形{Ｐ_ＡＺ，Ｐ_ＢＺ，Ｐ_ＣＺ}との２つの交点の内で、左側の交点をＬ_０、右側の交点をＲ_０とし、ＸＹ平面に平行なＺ軸グリット面ｚ＝Ｎ_ＢＺ×ＳＴＥＰ_Ｚと三角形{Ｐ_ＡＺ，Ｐ_ＢＺ，Ｐ_ＣＺ}との２つの交点の内で左側の交点をＬ_１、右側の交点をＲ_１とする。

この場合、交点Ｌ_０、Ｒ_０、Ｌ_１、Ｒ_１は、それぞれ、以下の式によって算出できる。

以上のようにして、物体投影面を構成する３次元ポリゴンＰを、{Ｘ軸，Ｙ軸，Ｚ軸}グリット面で切断した際の断面形状の外郭線が、交線としてグリットデータＧＤに登録されることとなる。そして、カメラ３により撮像された車両周辺の状況を可視化した結果に対して、グリットデータＧＤに登録されている線分情報を重畳描画することで、図１６に例示するに、車両周辺の物体上にグリット断面を重畳表示することが可能となる。なお、図１６は、本実施形態１における画像処理の結果の例を示す図である。

また、この際、ポリゴンデータＰＤに登録されている３次元ポリゴンＰに対して、テクスチャ座標Ｑを付与して、カメラ３により撮像された画像をテクスチャ画像として、重畳描画してもよい。車両周辺の物体をテクスチャ付き描画した後に、グリットデータＧＤに登録されている線分情報を物体上に重畳表示することで、色や模様による物体の認識と、交線による物体形状の把握を同時に実現することが可能となる。

この場合、三角形{Ｐ_０，Ｐ_１，Ｐ_２}がポリゴンデータＰＤに登録されているとすると、各頂点Ｐ_０、Ｐ_１、Ｐ_２（式中では、Ｐ_{{０，１，２}}で表されている）は車両座標系Ｃ_ＣＡＲで定義されていることから、各頂点のテクスチャ座標Ｑ_{{０，１，２}}は、上述の式（２）乃至式（４）により、式１１に従って算出できる。

次に、図１７を参照して、本実施形態１における車載装置２について説明する。図１７は、本実施形態１における車載装置２の構成例を示す機能ブロック図である。本実施形態１における車載装置２は、図１７に示すように、記憶部１０と、表示部２０と、操作部３０と、制御部４０と、を備えて構成されている。

記憶部１０は、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、ＨＤＤ（Hard Disk Drive）などで構成されている。記憶部１０は、制御部４０を構成する、例えば、ＣＰＵ（Central Processing Unit）のワークエリア、車載装置２全体を制御するための動作プログラムなどの各種プログラムを格納するプログラムエリア、カメラ３とレンジセンサ４の配置パラメータ、ポリゴンデータＰＤ、グリットデータＧＤなどの各種データを格納するデータエリアとして機能する。また、記憶部１０のデータエリアには、各カメラ３のマッピングテーブルＴ_Ｃ、各レンジセンサ４のスキャンベクトルテーブルＴ_Ｓなども格納されている。

また、記憶部１０は、画像バッファ１１として機能し、画像バッファ１１は、カメラ３により撮像された、自車両周辺の画像データを順次格納する。

表示部２０は、ＬＣＤ（Liquid Crystal Display）や有機ＥＬ（Electro-Luminescence）などの表示装置などで構成され、例えば、所定の画像処理を施した自車両周辺の画像や各種機能ボタンなどを表示画面上に表示する。

操作部３０は、各種ボタンや表示部２０の表示画面上に表示されるタッチパネルなどで構成され、ユーザ（運転手など）は、操作部３０を操作して、所望の処理を実行させることが可能である。

制御部４０は、例えば、ＣＰＵなどで構成され、記憶部１０のプログラムエリアに格納されている動作プログラムを実行して、図１７に示すように、判定部４１と、座標変換行列生成部４２と、テクスチャ座標算出部４３と、計測点座標算出部４４と、抽出部４５と、ポリゴン判定部４６と、交線算出部４７と、画像処理部４８としての機能を実現すると共に、車載装置２全体を制御する制御処理や詳しくは後述の画像処理などの処理を実行する。

判定部４１は、詳しくは後述の画像処理の終了が指示されたか否かを判定する。判定部４１は、例えば、操作部３０を介して、ユーザにより所定の操作が行われた場合に、画像処理の終了が指示されたと判定する。また、例えば、判定部４１は、車載装置２が搭載されている車両のシフトレバーがパーキングの状態にされた場合など、予め設定されている終了条件を充足した際に、画像処理の終了が指示されたと判定する。

座標変換行列生成部４２は、記憶部１０のデータエリアに格納されている各カメラ３の配置パラメータに基づいて、上述の式（１）により、車両座標系Ｃ_ＣＡＲからカメラ座標系Ｃ_ＣＡＭへの座標変換行列Ｍ_{ＣＡＲ→ＣＡＭ}をカメラ３ごとに生成する。また、座標変換行列生成部４２は、記憶部１０のデータエリアに格納されている各レンジセンサ４の配置パラメータに基づいて、上述の式（６）により、車両座標系Ｃ_ＣＡＲからレンジセンサ座標系Ｃ_ＳＮＳＲへの座標変換行列Ｍ_{ＣＡＲ→ＳＮＳＲ}をレンジセンサ４ごとに生成する。

テクスチャ座標算出部４３は、カメラ３により撮像された画像に基づいて、車両全周囲の状況を可視化するために、仮想的な立体投影面を構成する３次元ポリゴン（投影面ポリゴン）Ｐの各頂点のテクスチャ座標Ｑを算出する。具体的には、テクスチャ座標算出部４３は、上述の式（１）乃至式（４）により、投影面ポリゴンＰの各頂点のテクスチャ座標Ｑを算出する。

また、テクスチャ座標算出部４３は、上述の式（１）乃至式（４）により、ポリゴンデータＰＤに登録されている３次元ポリゴンＰの各頂点のテクスチャ座標Ｑを算出する。

計測点座標算出部４４は、レンジセンサ４により送信される周辺物体の計測点までの距離Ｄ（ｍ，ｎ）を受信すると、受信した距離Ｄ（ｍ，ｎ）に基づいて、上述の式（５）により、レンジセンサ座標系Ｃ_ＳＮＳＲでの周辺物体の計測点座標Ｐ_ＳＮＳＲ（ｍ，ｎ）を算出する。この際、計測点座標算出部４４は、記憶部１０のデータエリアに格納されているスキャンベクトルテーブルＴ_Ｓを参照して、距離Ｄ（ｍ，ｎ）と共に入力される方向情報が示すスキャン方向に対応するスキャンベクトルＶ_Ｓ（ｍ，ｎ）を特定する。

また、計測点座標算出部４４は、算出したレンジセンサ座標系Ｃ_ＳＮＳＲでの計測点座標Ｐ_ＳＮＳＲ（ｍ，ｎ）を、上述の式（６）と式（７）に従って、車両座標系Ｃ_ＣＡＲでの計測点座標Ｐ_ＣＡＲ（ｍ，ｎ）に変換する。

抽出部４５は、計測点座標算出部４４より算出された車両座標系Ｃ_ＣＡＲでの計測点座標Ｐ_ＣＡＲ（ｍ，ｎ）の中から、上述した抽出方法に従って、立体点群データＰＧ２に属する計測点座標Ｐ_ＣＡＲ（ｍ，ｎ）を抽出する。

ポリゴン判定部４６は、抽出部４５により抽出された立体点群データＰＧ２に属する計測点の内で、隣接する計測点により形成される図形（例えば、三角形）が、所定の条件（上述の式（８．１）乃至式（８．４））を充足するか否かを判定することで、当該図形が物体投影面を構成する３次元ポリゴンＰか否かを判定する。そして、ポリゴン判定部４６は、物体投影面を構成する３次元ポリゴンＰであると判定した図形をポリゴンデータＰＤに登録する。

交線算出部４７は、上述のステップ１−１乃至ステップ１−３の処理に従って、ポリゴン判定部４６によりポリゴンデータＰＤに登録された全ての３次元ポリゴンＰに対し、{Ｘ軸，Ｙ軸，Ｚ軸}グリット面との交線を算出し、算出した交線をグリットデータＧＤに登録する。

画像処理部４８は、カメラ３により撮像され、画像バッファ１１に格納されている画像に基づいて、描画処理を行う。より具体的には、画像処理部４８は、画像バッファ１１に格納されている画像をテクスチャ画像として用い、テクスチャ座標算出部４３により算出された投影面ポリゴンＰの各頂点のテクスチャ座標Ｑに基づいて、描画処理を行うことで、車両全周囲の状況を投影した仮想的な立体投影面を生成する。

また、画像処理部４８は、画像バッファ１１に格納されている画像をテクスチャ画像として用い、テクスチャ座標算出部４３により算出された物体投影面を構成する３次元ポリゴンＰの各頂点のテクスチャ座標Ｑに基づいて、描画処理を行うことで、立体投影面に通行人などの周辺物体を重畳描画する。

さらに、画像処理部４８は、テクスチャ付き描画された周辺物体上に、グリットデータＧＤに登録されている交線を、３次元ＣＧで重畳描画する。そして、画像処理部４８は、表示部２０を制御して、描画した画像を表示画面上に表示させる。

次に、図１８を参照して、本実施形態１における画像処理の流れについて説明する。図１８は、本実施形態１における画像処理のフローを説明するためのフローチャートの例である。本画像処理は、例えば、カメラ３により撮像された画像の画像データが画像バッファ１１に格納されたことをトリガとして開始される。

座標変換行列生成部４２は、各カメラ３の配置パラメータに基づいて、車両座標系Ｃ_ＣＡＲからカメラ座標系Ｃ_ＣＡＭへの座標変換行列Ｍ_{ＣＡＲ→ＣＡＭ}をカメラ３ごとに生成する（ステップＳ００１）。そして、テクスチャ座標算出部４３は、仮想的な立体投影面を構成する投影面ポリゴンＰの各頂点のテクスチャ座標Ｑを算出する（ステップＳ００２）。

そして、座標変換行列生成部４２は、各レンジセンサ４の配置パラメータに基づいて、車両座標系Ｃ_ＣＡＲからレンジセンサ座標系Ｃ_ＳＮＳＲへの座標変換行列Ｍ_{ＣＡＲ→ＳＮＳＲ}をレンジセンサ４ごとに生成する（ステップＳ００３）。

そして、レンジセンサ４により送信される距離Ｄ（ｍ，ｎ）を受信すると（ステップＳ００４）、計測点座標算出部４４は、受信した距離Ｄ（ｍ，ｎ）に基づいて、レンジセンサ座標系Ｃ_ＳＮＳＲでの周辺物体の計測点座標Ｐ_ＳＮＳＲ（ｍ，ｎ）を算出し（ステップＳ００５）、算出した計測点座標Ｐ_ＳＮＳＲ（ｍ，ｎ）を車両座標系Ｃ_ＣＡＲでの計測点座標Ｐ_ＣＡＲ（ｍ，ｎ）に、更に、変換する（ステップＳ００６）。

そして、抽出部４５は、計測点座標算出部４４より算出された車両座標系Ｃ_ＣＡＲでの計測点座標Ｐ_ＣＡＲ（ｍ，ｎ）の中から、立体点群データＰＧ２に属する計測点座標Ｐ_ＣＡＲ（ｍ，ｎ）を抽出する（ステップＳ００７）。そして、ポリゴン判定部４６は、抽出部４５により抽出された立体点群データＰＧ２に属する計測点の内で、隣接する計測点により形成される図形が、物体投影面を構成する３次元ポリゴンＰか否かを判定し、物体投影面を構成する３次元ポリゴンＰであると判定した図形をポリゴンデータＰＤに登録する（ステップＳ００８）。

そして、テクスチャ座標算出部４３は、ポリゴンデータＰＤに登録されている３次元ポリゴンＰの各頂点のテクスチャ座標Ｑを算出する（ステップＳ００９）。そして、交線算出部４７は、ポリゴンデータＰＤに登録されている３次元ポリゴンＰに対し、{Ｘ軸，Ｙ軸，Ｚ軸}グリット面との交線を算出し、算出した交線をグリットデータＧＤに登録する（ステップＳ０１０）。

そして、画像処理部４８は、画像バッファ１１に格納されている画像をテクスチャ画像として用い、投影面ポリゴンＰの各頂点のテクスチャ座標Ｑに基づいて、描画処理を行うことで、車両全周囲の状況を投影した仮想的な立体投影面を生成する（ステップＳ０１１）。

そして、画像処理部４８は、画像バッファ１１に格納されている画像をテクスチャ画像として用い、ポリゴンデータＰＤに登録されている３次元ポリゴンＰの各頂点のテクスチャ座標Ｑに基づいて、描画処理を行うことで、立体投影面に通行人などの周辺物体を重畳描画する（ステップＳ０１２）。

そして、画像処理部４８は、テクスチャ付き描画された周辺物体上に、グリットデータＧＤに登録されている交線を、３次元ＣＧで重畳描画し（ステップＳ０１３）、表示部２０を制御して、描画した画像を表示画面上に表示させる（ステップＳ０１４）。

そして、判定部４１は、画像処理の終了が指示されたか否かを判定する（ステップＳ０１５）。判定部４１により、画像処理の終了は指示されていないと判定された場合には（ステップＳ０１５；ＮＯ）、処理はステップＳ００４の処理へと戻り、前述の処理を行う。一方、判定部４１により、画像処理の終了が指示されたと判定された場合には（ステップＳ０１５；ＹＥＳ）、本画像処理を終了する。

上記実施形態１によれば、車両に配置したレンジセンサ４により計測した周辺物体を仮想的な立体投影面に再構成して可視化する際に、{Ｘ軸，Ｙ軸，Ｚ軸}グリット面と周辺物体との交線（グリット線）を表示する。このように構成することで、周辺物体の色や輝度に依存することなく、周辺物体の形状を容易に把握することが可能となる。これにより、運転手は車両周辺の状況を的確に把握することが可能となることから、安全運転にも寄与できる。

また、上記実施形態１によれば、グリット面を均等間隔で配置する。このように構成することで、周辺物体の大きさの把握が容易となる。また、画像上でのグリット間隔の広さにより、周辺物体までの距離を容易に把握することが可能となる。すなわち、車両周辺の状況をより的確に把握することが可能となる。

また、上記実施形態１によれば、テクスチャ付き描画した周辺物体上に、交線（グリット線）を重畳表示する。このように構成することで、色や模様による周辺物体の存在認識と、交線（グリット線）による周辺物体の形状把握とを同時に実現することが可能となる。

また、上記実施形態１によれば、隣接する計測点からなる図形の内で、レンジセンサ４のセンサ原点方向に対する面法線の傾きが所定範囲を超える図形を除外して、物体投影面を構成する３次元ポリゴンＰを生成する。このように構成することで、別々の物体間に本来存在しない物体投影面を発生させてしまうような不具合を軽減することが可能となる。

また、上記実施形態１によれば、Ｐ_ＣＡＲ（ｍ，ｎ）の中から、立体点群データＰＧ２に属する計測点座標Ｐ_ＣＡＲ（ｍ，ｎ）を抽出する。すなわち、物体投影面を構成する上で不必要な道路平面上の計測点を除外する。このように構成することで、処理対象を削減し、処理速度を向上させることが可能となる。

（実施形態２）
実施形態１においては、車両座標系Ｃ_ＣＡＲで定義されている{Ｘ軸，Ｙ軸，Ｚ軸}グリット面と、物体投影面を構成する３次元ポリゴンＰとの交線を算出し、周辺物体上に交線を重畳表示するように構成した。

本実施形態２においては、車両が移動しても座標が変化しない世界座標系Ｃ_{ＷＯＲＬＤ}で定義されている{Ｘ軸，Ｙ軸，Ｚ軸}グリット面を用いるように構成する。

図１９は、本実施形態２における車載システム１の構成例を示す機能ブロック図である。本実施形態２における車載システム１の構成は、基本的には実施形態１の場合と同じである。但し、図１９に示すように、車載システム１が、さらに、ＧＰＳ（Global Positioning System）５と電子コンパス６とを備える点と、車載装置２の制御部４０が、さらに、位置推定部４９として機能する点で、実施形態１の場合と異なっている。また、制御部４０の共通する機能部の一部（座標変換行列生成部４２、交線算出部４７）が果たす役割が実施形態１の場合と若干異なっている。

ＧＰＳ５は、所定のタイミングで、自車両の３次元位置座標を算出し、算出した自車両の３次元位置座標を車載装置２に送信する。

電子コンパス６は、所定のタイミングで、自車両の方位角を算出し、算出した自車両の方位角を車載装置２に送信する。

制御部４０は、例えば、ＣＰＵなどで構成され、記憶部１０のプログラムエリアに格納されている動作プログラムを実行して、図１９に示すように、判定部４１と、座標変換行列生成部４２と、テクスチャ座標算出部４３と、計測点座標算出部４４と、抽出部４５と、ポリゴン判定部４６と、交線算出部４７と、画像処理部４８と、位置推定部４９としての機能を実現すると共に、車載装置２全体を制御する制御処理や後述の画像処理などの処理を実行する。

位置推定部４９は、ＧＰＳ５により算出された自車両の３次元位置座標と、電子コンパス６により算出された自車両の方位角と、に基づいて、世界座標系Ｃ_{ＷＯＲＬＤ}での自車両の位置（車両原点Ｏの３次元座標）と向き（世界座標系Ｃ_{ＷＯＲＬＤ}のＺ軸まわりの回転角）を推定する。

なお、世界座標系Ｃ_{ＷＯＲＬＤ}をどのように設定するかは任意であり、位置が固定されている地物や子後線などに基づいて定義してもよいし、エンジン始動時の車両位置と方位に基づいて定義してもよい。また、例えば、車速センサやジャイロセンサなどを用いて推定した相対位置座標や相対角を利用してもよい。

座標変換行列生成部４２は、実施形態１で説明した処理の他に、位置推定部４９により推定された世界座標系Ｃ_{ＷＯＲＬＤ}での自車両の位置と向きとに基づいて、車両座標系Ｃ_ＣＡＲから世界座標系Ｃ_{ＷＯＲＬＤ}への座標変換行列Ｍ_{ＣＡＲ→ＷＯＲＬＤ}を生成する。

より具体的には、位置推定部４９により推定された、世界座標系Ｃ_{ＷＯＲＬＤ}での車両原点Ｏの３次元座標を（Ａ_Ｘ，Ａ_Ｙ，Ａ_Ｚ）、世界座標系Ｃ_{ＷＯＲＬＤ}のＺ軸まわりの回転角をＲ_Ｚとすると、座標変換行列生成部４２は、式（１２）で表される座標変換行列Ｍ_{ＣＡＲ→ＷＯＲＬＤ}を生成する。

交線算出部４７は、後述のステップ２−０乃至ステップ２−３の処理に従って、ポリゴンデータＰＤに登録されている３次元ポリゴンＰに対し、世界座標系Ｃ_{ＷＯＲＬＤ}の{Ｘ，Ｙ，Ｚ}軸に対してＳＴＥＰ_{{Ｘ，Ｙ，Ｚ}}の均等間隔で定義されている{Ｘ軸，Ｙ軸，Ｚ軸}グリット面との交線を算出し、算出した交線をグリットデータＧＤに登録する。

{Ｘ軸，Ｙ軸，Ｚ軸}グリット面が上述のように構成されている場合において、三角形{Ｐ_０，Ｐ_１，Ｐ_２}が３次元ポリゴンＰとしてポリゴンデータＰＤに登録されているとすると、３次元ポリゴンＰである三角形{Ｐ_０，Ｐ_１，Ｐ_２}に対する{Ｘ軸，Ｙ軸，Ｚ軸}グリット面との交線を、以下に示す処理（ステップ２−０乃至ステップ２−３）に従って算出することができる。

＜ステップ２−０＞
車両座標系Ｃ_ＣＡＲで定義されている三角形{Ｐ_０，Ｐ_１，Ｐ_２}の頂点座標Ｐ_０、Ｐ_１、Ｐ_２を、式（１３）により、それぞれ、世界座標系Ｃ_{ＷＯＲＬＤ}での頂点座標Ｐ^Ｗ _０、Ｐ^Ｗ _１、Ｐ^Ｗ _２に変換する。なお、式中のＰ_{{０，１，２}}は、頂点座標Ｐ_０、Ｐ_１、Ｐ_２を、便宜的に一括で示している。Ｐ^Ｗ _{{０，１，２}}についても同様である。

＜ステップ２−１＞
世界座標系Ｃ_{ＷＯＲＬＤ}に変換後の頂点Ｐ^Ｗ _０、Ｐ^Ｗ _１、Ｐ^Ｗ _２を{Ｘ，Ｙ，Ｚ}座標値の降順にソートし、ソート結果をＰ^Ｗ _{Ａ{Ｘ，Ｙ，Ｚ}}、Ｐ^Ｗ _{Ｂ{Ｘ，Ｙ，Ｚ}}、Ｐ^Ｗ _{Ｃ{Ｘ，Ｙ，Ｚ}}とする。なお、Ｐ^Ｗ _{Ａ{Ｘ，Ｙ，Ｚ}}は、Ｘ座標値の降順にソートした場合のＰ^Ｗ _ＡＸ、Ｙ座標値の降順にソートした場合のＰ^Ｗ _ＡＹ、Ｚ座標値の降順にソートした場合のＰ^Ｗ _ＡＺ、を便宜的に一括で示している。Ｐ^Ｗ _{Ｂ{Ｘ，Ｙ，Ｚ}}、Ｐ^Ｗ _{Ｃ{Ｘ，Ｙ，Ｚ}}についても同様である。

＜ステップ２−２＞
式（１４．１）乃至式（１４．３）に従って、[Ｐ^Ｗ _{Ａ{Ｘ，Ｙ，Ｚ}}]、[Ｐ^Ｗ _{Ｂ{Ｘ，Ｙ，Ｚ}}]、[Ｐ^Ｗ _{Ｃ{Ｘ，Ｙ，Ｚ}}]をＳＴＥＰ_{{Ｘ，Ｙ，Ｚ}}で割って算出した値の整数部Ｎ_{Ａ{Ｘ，Ｙ，Ｚ}}、Ｎ_{Ｂ{Ｘ，Ｙ，Ｚ}}、Ｎ_{Ｃ{Ｘ，Ｙ，Ｚ}}をそれぞれ算出する。

なお、[Ｐ^Ｗ _{Ａ{Ｘ，Ｙ，Ｚ}}]は、Ｐ^Ｗ _ＡＸのＸ座標値、Ｐ^Ｗ _ＡＹのＹ座標値、Ｐ^Ｗ _ＡＺのＺ座標値を、便宜的に一括で示している。[Ｐ^Ｗ _{Ｂ{Ｘ，Ｙ，Ｚ}}]と[Ｐ^Ｗ _{Ｃ{Ｘ，Ｙ，Ｚ}}]についても同様である。また、整数部Ｎ_{Ａ{Ｘ，Ｙ，Ｚ}}は、Ｐ^Ｗ _ＡＸのＸ座標値をＳＴＥＰ_Ｘで割って算出した値の整数部Ｎ_ＡＸ、Ｐ^Ｗ _ＡＹのＹ座標値をＳＴＥＰ_Ｙで割って算出した値の整数部Ｎ_ＡＹ、Ｐ^Ｗ _ＡＺのＺ座標値をＳＴＥＰ_Ｚで割って算出した値の整数部Ｎ_ＡＺを、便宜的に一括で示している。整数部Ｎ_{Ｂ{Ｘ，Ｙ，Ｚ}}と整数部Ｎ_{Ｃ{Ｘ，Ｙ，Ｚ}}についても同様である。

＜ステップ２−３＞
Ｘ座標値の降順にソートした場合の整数部Ｎ_ＡＸ、Ｎ_ＢＸ、Ｎ_ＣＸにおいて、（Ａ）Ｎ_ＡＸ≠Ｎ_ＢＸ、且つ、Ｎ_ＢＸ＝Ｎ_ＣＸの場合は、図１５に例示する線分Ｌ_０Ｒ_０を算出し、算出した線分Ｌ_０Ｒ_０をＸ軸グリット面との交線として座標情報をグリットデータＧＤに登録し、（Ｂ）Ｎ_ＡＸ＝Ｎ_ＢＸ、且つ、Ｎ_ＢＸ≠Ｎ_ＣＸの場合は、図１５に例示する線分Ｌ_１Ｒ_１を算出し、算出した線分Ｌ_１Ｒ_１をＸ軸グリット面との交線として座標情報をグリットデータＧＤに登録し、（Ｃ）（Ａ）と（Ｂ）以外の場合は、Ｘ軸グリット面との交線のグリットデータＧＤへの登録を行わない。

本実施形態２における車両座標系Ｃ_ＣＡＲでの交点Ｌ_０、Ｒ_０、Ｌ_１、Ｒ_１は、それぞれ、以下の式によって算出できる。

次に、図２０を参照して、本実施形態２における画像処理の流れについて説明する。図２０は、本実施形態２における画像処理のフローを説明するためのフローチャートの例の一部である。本実施形態２における画像処理は、ステップＳ００９とステップＳ０１０との間に新たな処理が追加される点で、実施形態１の場合と異なっている。したがって、ここでは、新たに追加された処理（ステップＳ１０１とステップＳ１０２）とステップＳ０１０について説明する。

ステップＳ００９の後、ステップＳ１０１の処理へと進み、位置推定部４９は、ＧＰＳ５により算出された自車両の３次元位置座標と、電子コンパス６により算出された自車両の方位角と、に基づいて、世界座標系Ｃ_{ＷＯＲＬＤ}での自車両の位置と向きを推定する（ステップＳ１０１）。

そして、座標変換行列生成部４２は、位置推定部４９により推定された世界座標系Ｃ_{ＷＯＲＬＤ}での自車両の位置と向きとに基づいて、車両座標系Ｃ_ＣＡＲから世界座標系Ｃ_{ＷＯＲＬＤ}への座標変換行列Ｍ_{ＣＡＲ→ＷＯＲＬＤ}を生成する（ステップＳ１０２）。

そして、交線算出部４７は、ポリゴンデータＰＤに登録されている３次元ポリゴンＰに対し、世界座標系Ｃ_{ＷＯＲＬＤ}で定義されている{Ｘ軸，Ｙ軸，Ｚ軸}グリット面との交線を算出し、算出した交線をグリットデータＧＤに登録する（ステップＳ０１０）。その後、処理は実施形態１で説明したステップＳ０１１の処理へと進む。

上記実施形態２によれば、世界座標系Ｃ_{ＷＯＲＬＤ}で定義したグリット面との交線を、周辺物体上に重畳表示する。このように構成することで、静止している周辺物体上の交線は自車両が移動していても固定で表示され、周辺環境に対する自車両の移動を直感的に把握することが容易となる。

（実施形態３）
本実施形態３においては、自車両からの距離に応じて、例えば、交線（グリット線）の色や輝度や透過率などを変化させるように構成する。以下において、自車両からの距離に応じて交線（グリット線）の色を変化させる例について説明する。なお、本構成は、実施形態１と２のいずれの構成にも適用可能である。

図２１は、本実施形態３における車載システム１の構成例を示す機能ブロック図である。本実施形態３における車載システム１の構成は、基本的には実施形態１の場合と同じである。但し、図２１に示すように、車載装置２の制御部４０が、さらに、距離算出部４Ａとして機能する点で、実施形態１の場合と異なっている。また、制御部４０の共通する機能部の一部（画像処理部４８）が果たす役割が実施形態１の場合と若干異なっている。また、記憶部１０のデータエリアには、さらに、距離と色とを対応付けているカラーマップが格納されている。

制御部４０は、例えば、ＣＰＵなどで構成され、記憶部１０のプログラムエリアに格納されている動作プログラムを実行して、図２１に示すように、判定部４１と、座標変換行列生成部４２と、テクスチャ座標算出部４３と、計測点座標算出部４４と、抽出部４５と、ポリゴン判定部４６と、交線算出部４７と、画像処理部４８と、距離算出部４Ａとしての機能を実現すると共に、車載装置２全体を制御する制御処理や後述の画像処理などの処理を実行する。

距離算出部４Ａは、グリットデータＧＤに登録されている交線の交点座標に基づいて、例えば、車両原点Ｏから各交点までの交点距離を算出する。

画像処理部４８は、交線を周辺物体上に重畳表示する際に、カラーマップを参照して、距離算出部４Ａにより算出された各交点の交点距離に対応する色を設定し、自車両からの距離に応じて交線（グリット線）の色を変化させる。

次に、図２２を参照して、本実施形態３における画像処理の流れについて説明する。図２２は、本実施形態３における画像処理のフローを説明するためのフローチャートの例の一部である。本実施形態３における画像処理は、ステップＳ０１０とステップＳ０１１との間に新たな処理（ステップＳ２０１）が追加される点で、実施形態１の場合と異なっている。したがって、ここでは、新たに追加されたステップＳ２０１からステップＳ０１３について説明する。

ステップＳ０１０の処理の後、処理はステップＳ２０１へと進み、距離算出部４Ａは、グリットデータＧＤに登録されている交線の交点座標に基づいて、各交点の交点距離を算出する（ステップＳ２０１）。

そして、画像処理部４８は、テクスチャ付き描画された周辺物体上に、グリットデータＧＤに登録されている交線を、３次元ＣＧで重畳描画する（ステップＳ０１３）。この際、画像処理部４８は、カラーマップを参照して、距離算出部４Ａにより算出された各交点の交点距離に対応する色を設定し、自車両からの距離に応じて交線（グリット線）の色を変化させる。その後、実施形態１で説明したステップＳ０１４の処理へと進む。

上記実施形態３によれば、自車両からの距離に応じて交線（グリット線）の色や輝度などを変えて表示する。このように構成することで、重なり合っている周辺物体の前後関係を把握することが容易となり、自車両周辺の状況をより的確に把握することが可能となる。

図２３は、各実施形態における車載システム１のハードウェア構成の例を示す図である。図１７、図１９、図２１に示す車載装置２は、例えば、図２３に示す各種ハードウェアにより実現されてもよい。図２３の例では、車載装置２は、ＣＰＵ２０１、ＲＡＭ２０２、ＲＯＭ２０３、ＨＤＤ２０４、カメラ３が接続されているカメラインターフェース２０５、モニタ２１０が接続されているモニタインターフェース２０６、レンジセンサ４などのセンサ類が接続されているセンサ類インターフェース２０７、無線通信モジュール２０８、および読取装置２０９を備え、これらのハードウェアはバス２１１を介して接続されている。

ＣＰＵ２０１は、ＨＤＤ２０４に格納されている動作プログラムをＲＡＭ２０２にロードし、ＲＡＭ２０２をワーキングメモリとして使いながら各種処理を実行する。ＣＰＵ２０１は、動作プログラムを実行することで、図１７、図１９、図２１に示す制御部４０の各機能部を実現することができる。

なお、上記動作を実行するための動作プログラムを、フレキシブルディスク、ＣＤ−ＲＯＭ（Compact Disk-Read Only Memory）、ＤＶＤ（Digital Versatile Disk）、ＭＯ（Magnet Optical disk）などのコンピュータで読み取り可能な記録媒体２１２に記憶して配布し、これを車載装置２の読取装置２０９で読み取ってコンピュータにインストールすることにより、上述の処理を実行するように構成してもよい。さらに、インターネット上のサーバ装置が有するディスク装置等に動作プログラムを記憶しておき、無線通信モジュール２０８を介して、車載装置２のコンピュータに動作プログラムをダウンロード等するものとしてもよい。

なお、実施形態に応じて、ＲＡＭ２０２、ＲＯＭ２０３、ＨＤＤ２０４以外の他の種類の記憶装置が利用されてもよい。例えば、車載装置２は、ＣＡＭ（Content Addressable Memory）、ＳＲＡＭ（Static Random Access Memory）、ＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）などの記憶装置を有してもよい。

無線通信モジュール２０８は、無線接続における物理層の処理を行うハードウェアである。無線通信モジュール２０８は、例えば、アンテナ、ＡＤＣ（Analog-to-Digital Converter）、ＤＡＣ（Digital-to-Analog Converter）、変調器、復調器、符号化器、復号器などを含む。

なお、実施形態に応じて、車載システム１のハードウェア構成は図２３とは異なっていてもよく、図２３に例示した規格・種類以外のその他のハードウェアを車載システム１に適用することもできる。

例えば、図１７、図１９、図２１に示す車載装置２の制御部４０の各機能部は、ハードウェア回路により実現されてもよい。具体的には、ＣＰＵ２０１の代わりに、ＦＰＧＡ（Field Programmable Gate Array）などのリコンフィギュラブル回路や、ＡＳＩＣ（Application Specific Integrated Circuit）などにより、図１７、図１９、図２１に示す制御部４０の各機能部が実現されてもよい。もちろん、ＣＰＵ２０１とハードウェア回路の双方により、これらの機能部が実現されてもよい。

以上において、いくつかの実施形態について説明した。しかしながら、実施形態は上記の実施形態に限定されるものではなく、上述の実施形態の各種変形形態及び代替形態を包含するものとして理解されるべきである。例えば、各種実施形態は、その趣旨及び範囲を逸脱しない範囲で構成要素を変形して具体化できることが理解されよう。また、前述した実施形態に開示されている複数の構成要素を適宜組み合わせることにより、種々の実施形態を成すことができることが理解されよう。更には、実施形態に示される全構成要素からいくつかの構成要素を削除して又は置換して、或いは実施形態に示される構成要素にいくつかの構成要素を追加して種々の実施形態が実施され得ることが当業者には理解されよう。

以上の実施形態１〜３を含む実施形態に関し、さらに以下の付記を開示する。
（付記１）
車両に搭載されているカメラにより撮像された画像と、前記車両に搭載されている距離センサにより算出された周辺物体上の計測点までの距離と、に基づいて、前記車両の周辺環境を再構築した仮想的な３次元空間を描画する画像処理装置であって、
前記車両を基準とする座標系である車両座標系で定義されている複数のグリット面と前記周辺物体との交差断面の外郭線を算出する外郭線算出手段と、
前記外郭線算出手段により算出された前記外郭線を前記仮想的な３次元空間内に配置されている対応する周辺物体上に描画する画像処理手段と、
を備え、
前記複数のグリット面は、前記車両座標系のＸ軸に対して垂直な平面と、前記車両座標系のＹ軸に対して垂直な平面と、前記車両座標系のＺ軸に対して垂直な平面と、により構成されている、
ことを特徴とする画像処理装置。
（付記２）
前記周辺物体上の計測点までの距離に基づいて、前記周辺物体の形状を特定する形状特定手段をさらに備え、
前記外郭線算出手段は、前記形状特定手段により特定された前記形状に基づいて、前記外郭線を算出する、
ことを特徴とする付記１に記載の画像処理装置。
（付記３）
前記形状特定手段は、前記周辺物体の形状を特定する際に、前記距離センサの方向に対する、隣接する前記計測点により構成される図形の面法線の傾きが所定の範囲を超える図形を除外する、
ことを特徴とする付記２に記載の画像処理装置。
（付記４）
前記計測点の内で、道路平面上の計測点を除外する除外手段を更に備え、
前記形状特定手段は、前記除外手段により道路平面上の計測点が除外された後の計測点に基づいて、前記周辺物体の形状を特定する、
ことを特徴とする付記２又は３に記載の画像処理装置。
（付記５）
前記複数のグリット面は、世界座標系で定義され、前記世界座標系のＸ軸に対して垂直な平面と、前記世界座標系のＹ軸に対して垂直な平面と、前記世界座標系のＺ軸に対して垂直な平面と、により構成されており、
前記外郭線算出手段は、前記世界座標系で定義されている複数のグリット面と前記周辺物体との交差断面の外郭線を算出する、
ことを特徴とする付記１乃至４のいずれか一に記載の画像処理装置。
（付記６）
前記画像処理手段は、前記車両からの距離に応じて、前記外郭線の属性を変化させて描画する、
ことを特徴とする付記１乃至５のいずれか一に記載の画像処理装置。
（付記７）
前記Ｘ軸に垂直な平面は第１の間隔で均等に配置され、前記Ｙ軸に垂直な平面は第２の間隔で均等に配置され、前記Ｚ軸に垂直な平面は第３の間隔で均等に配置されている、
ことを特徴とする付記１乃至６のいずれか一に記載の画像処理装置。
（付記８）
前記画像処理手段は、前記周辺物体をテクスチャ付き描画した後に、前記外郭線を重畳描画する、
ことを特徴とする付記１乃至７のいずれか一に記載の画像処理装置。
（付記９）
前記画像処理手段による処理結果を表示画面上に表示する表示手段を更に備える、
ことを特徴とする付記１乃至８のいずれか一に記載の画像処理装置。
（付記１０）
車両に搭載されているカメラにより撮像された画像と、前記車両に搭載されている距離センサにより算出された周辺物体上の計測点までの距離と、に基づいて、前記車両の周辺環境を再構築した仮想的な３次元空間を描画する画像処理装置の画像処理方法であって、
前記車両を基準とする座標系である車両座標系で定義されている複数のグリット面であって、前記車両座標系のＸ軸に対して垂直な平面と、前記車両座標系のＹ軸に対して垂直な平面と、前記車両座標系のＺ軸に対して垂直な平面と、により構成されている前記複数のグリット面と前記周辺物体との交差断面の外郭線を算出し、
算出した前記外郭線を前記仮想的な３次元空間内に配置されている対応する周辺物体上に描画する、
ことを特徴とする画像処理方法。
（付記１１）
車両に搭載されているカメラにより撮像された画像と、前記車両に搭載されている距離センサにより算出された周辺物体上の計測点までの距離と、に基づいて、前記車両の周辺環境を再構築した仮想的な３次元空間を描画する画像処理装置のコンピュータに、
前記車両を基準とする座標系である車両座標系で定義されている複数のグリット面であって、前記車両座標系のＸ軸に対して垂直な平面と、前記車両座標系のＹ軸に対して垂直な平面と、前記車両座標系のＺ軸に対して垂直な平面と、により構成されている前記複数のグリット面と前記周辺物体との交差断面の外郭線を算出し、
算出した前記外郭線を前記仮想的な３次元空間内に配置されている対応する周辺物体上に描画する、
処理を実行させる、
ことを特徴とするプログラム。
（付記１２）
車両に搭載されているカメラにより撮像された画像と、前記車両に搭載されている距離センサにより算出された周辺物体上の計測点までの距離と、に基づいて、前記車両の周辺環境を再構築した仮想的な３次元空間を描画する画像処理装置のコンピュータに、
前記車両を基準とする座標系である車両座標系で定義されている複数のグリット面であって、前記車両座標系のＸ軸に対して垂直な平面と、前記車両座標系のＹ軸に対して垂直な平面と、前記車両座標系のＺ軸に対して垂直な平面と、により構成されている前記複数のグリット面と前記周辺物体との交差断面の外郭線を算出し、
算出した前記外郭線を前記仮想的な３次元空間内に配置されている対応する周辺物体上に描画する、
処理を実行させるプログラムを記憶した記録媒体。

１車載システム
２車載装置
１０記憶部
１１画像バッファ
２０表示部
３０操作部
４０制御部
４１判定部
４２座標変換行列生成部
４３テクスチャ座標算出部
４４計測点座標算出部
４５抽出部
４６ポリゴン判定部
４７交線算出部
４８画像処理部
４９位置推定部
４Ａ距離算出部
３カメラ
４レンジセンサ
５ＧＰＳ
６電子コンパス
２０１ＣＰＵ
２０２ＲＡＭ
２０３ＲＯＭ
２０４ＨＤＤ
２０５カメラインターフェース
２０６モニタインターフェース
２０７センサ類インターフェース
２０８無線通信モジュール
２０９読取装置
２１０モニタ
２１１バス
２１２記録媒体

Claims

車両に搭載されているカメラにより撮像された画像と、前記車両に搭載されている距離センサにより算出された周辺物体上の計測点までの距離と、に基づいて、前記車両の周辺環境を再構築した仮想的な３次元空間を描画する画像処理装置であって、
前記車両を基準とする座標系である車両座標系で定義されている複数のグリット面と前記周辺物体との交差断面の外郭線を算出する外郭線算出手段と、
前記外郭線算出手段により算出された前記外郭線を前記仮想的な３次元空間内に配置されている対応する周辺物体上に描画する画像処理手段と、
を備え、
前記複数のグリット面は、前記車両座標系のＸ軸に対して垂直な平面と、前記車両座標系のＹ軸に対して垂直な平面と、前記車両座標系のＺ軸に対して垂直な平面と、により構成されている、
ことを特徴とする画像処理装置。
前記周辺物体上の計測点までの距離に基づいて、前記周辺物体の形状を特定する形状特定手段をさらに備え、
前記外郭線算出手段は、前記形状特定手段により特定された前記形状に基づいて、前記外郭線を算出する、
ことを特徴とする請求項１に記載の画像処理装置。
前記形状特定手段は、前記周辺物体の形状を特定する際に、前記距離センサの方向に対する、隣接する前記計測点により構成される図形の面法線の傾きが所定の範囲を超える図形を除外する、
ことを特徴とする請求項２に記載の画像処理装置。
前記計測点の内で、道路平面上の計測点を除外する除外手段を更に備え、
前記形状特定手段は、前記除外手段により道路平面上の計測点が除外された後の計測点に基づいて、前記周辺物体の形状を特定する、
ことを特徴とする請求項２又は３に記載の画像処理装置。
前記複数のグリット面は、世界座標系で定義され、前記世界座標系のＸ軸に対して垂直な平面と、前記世界座標系のＹ軸に対して垂直な平面と、前記世界座標系のＺ軸に対して垂直な平面と、により構成されており、
前記外郭線算出手段は、前記世界座標系で定義されている複数のグリット面と前記周辺物体との交差断面の外郭線を算出する、
ことを特徴とする請求項１乃至４のいずれか一に記載の画像処理装置。
前記画像処理手段は、前記車両からの距離に応じて、前記外郭線の属性を変化させて描画する、
ことを特徴とする請求項１乃至５のいずれか一に記載の画像処理装置。
前記Ｘ軸に垂直な平面は第１の間隔で均等に配置され、前記Ｙ軸に垂直な平面は第２の間隔で均等に配置され、前記Ｚ軸に垂直な平面は第３の間隔で均等に配置されている、
ことを特徴とする請求項１乃至６のいずれか一に記載の画像処理装置。
前記画像処理手段は、前記周辺物体をテクスチャ付き描画した後に、前記外郭線を重畳描画する、
ことを特徴とする請求項１乃至７のいずれか一に記載の画像処理装置。
前記画像処理手段による処理結果を表示画面上に表示する表示手段を更に備える、
ことを特徴とする請求項１乃至８のいずれか一に記載の画像処理装置。
車両に搭載されているカメラにより撮像された画像と、前記車両に搭載されている距離センサにより算出された周辺物体上の計測点までの距離と、に基づいて、前記車両の周辺環境を再構築した仮想的な３次元空間を描画する画像処理装置の画像処理方法であって、
前記車両を基準とする座標系である車両座標系で定義されている複数のグリット面であって、前記車両座標系のＸ軸に対して垂直な平面と、前記車両座標系のＹ軸に対して垂直な平面と、前記車両座標系のＺ軸に対して垂直な平面と、により構成されている前記複数のグリット面と前記周辺物体との交差断面の外郭線を算出し、
算出した前記外郭線を前記仮想的な３次元空間内に配置されている対応する周辺物体上に描画する、
ことを特徴とする画像処理方法。
車両に搭載されているカメラにより撮像された画像と、前記車両に搭載されている距離センサにより算出された周辺物体上の計測点までの距離と、に基づいて、前記車両の周辺環境を再構築した仮想的な３次元空間を描画する画像処理装置のコンピュータに、
前記車両を基準とする座標系である車両座標系で定義されている複数のグリット面であって、前記車両座標系のＸ軸に対して垂直な平面と、前記車両座標系のＹ軸に対して垂直な平面と、前記車両座標系のＺ軸に対して垂直な平面と、により構成されている前記複数のグリット面と前記周辺物体との交差断面の外郭線を算出し、
算出した前記外郭線を前記仮想的な３次元空間内に配置されている対応する周辺物体上に描画する、
処理を実行させる、
ことを特徴とするプログラム。