JP5206176B2 - 画像変換装置 - Google Patents

Description

本発明は、画像変換装置に関する。

一般的に、魚眼レンズを用いて撮像された等距離射影の画像は、歪みのない中心射影画像に変換される。

例えば、特許文献１には、撮像された等距離射影画像を、一旦、メモリに記憶し、所定の順序で当該等距離射影画像をメモリから読み出すことで、中心射影画像に変換する画像変換装置について記載されている。

特開２００７−１５６７９５号公報

このような画像変換装置では、故障を検知する機能がないため、変換された中心射影画像に異常が生じた場合に、撮像された等距離射影画像そのものに異常があるのか、画像変換装置が故障しているのか、特定することが難しい。

本発明は、このような従来技術の問題点に着目してなされたもので、従来の画像変換装置において、当該画像変換装置に生じた故障を検知する技術を提供することを目的とする。

上記課題を解決するため、本発明は、等距離射影画像を中心射影画像に変換するための画像変換装置に、故障検知機能を備える。

具体的には、請求項１に係る発明の画像変換装置は、等距離射影画像を中心射影画像に変換するための画像変換装置であって、前記等距離射影画像及び所定のテストパターンを、画像変換用メモリに書き込む書き込み制御回路と、変換元の画素の位置と変換先の画素の位置とが同じである前記所定のテストパターン用の参照座標と、変換元の画素の位置と変換先の画素の位置とが変わる前記等距離射影画像用の参照座標と、を有する参照メモリと、前記参照メモリをそれぞれ参照して、前記等距離射影画像と所定のテストパターンとを前記画像変換用メモリから前記変換先の所定の位置に読み出す読み出し制御回路と、読み出したテストパターンの正否を検出する正否検出回路と、を備える。

本発明によれば、従来の画像変換装置において、当該画像変換装置に生じた故障を検知することができる。

以下、本発明の実施形態の一例について図面を参照して説明する。

図１は、本発明の一実施形態が適用された画像変換装置１００の概略構成図である。図示するように、画像変換装置１００は、魚眼レンズ１１０と、イメージセンサ１２０と、テストパターン出力回路１３０と、マルチプレクサ１４０と、書き込み制御回路１５０と、画像変換用メモリ１６０と、読み出し制御回路１７０と、参照座標メモリ１８０と、テストパターン検出回路１９０と、を備える。

魚眼レンズ１１０は、等距離射影方式を採用した、一般的な魚眼レンズである。例えば、魚眼レンズ１１０は、被写体のある点における像の像高をｈ、その魚眼レンズの焦点距離をｆ、画角をθとした場合に、ｈ＝ｆ×θの関係を有している。この魚眼レンズ１１０は、被写体からの光をイメージセンサ１２０の撮像面に結像させる。

イメージセンサ１２０は、魚眼レンズ１１０による結像を電気信号（画像データ）に変換する。例えば、イメージセンサ１２０は、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサと、タイミングジェネレータ（以下では、「ＴＧ」と記載する）と、を同一チップ上に集積している。そして、イメージセンサ１２０は、ＣＭＯＳセンサで変換した電気信号（画像データ）を、ＴＧが発生する同期信号（例えば、垂直同期信号ＶＤおよび水平同期信号ＨＤ）に応じて、マルチプレクサ１４０に出力する。なお、ＴＧは、ＣＭＯＳセンサと同一のチップに集積されている必要はなく、イメージセンサ１２０とは独立して画像変換装置１００に備えられていてもよい。

テストパターン出力回路１３０は、所定のテストパターン（以下では、「第１のテストパターン」とよぶ）を出力する。図２は、テストパターン出力回路１３０の概略構成例を示す図である。図示するように、テストパターン出力回路１３０は、アドレス制御回路１３１と、テストパターン用メモリ１３２と、を備えている。テストパターン用メモリ１３２には、第１のテストパターン（例えば、縦縞のテストパターン）が、予め格納されている。そして、アドレス制御回路１３１は、ＴＧが発生する同期信号（ＶＤ、ＨＤ）に応じて、順次、テストパターン用メモリ１３２に格納されている第１のテストパターンを、画素ごとにマルチプレクサ１４０に出力する。なお、テストパターン出力回路１３０は、第１のテストパターンを予め格納しているテストパターン用メモリ１３２を備えず、同様のテストパターンを、ＴＧからの同期信号に応じて生成し、出力してもよい。

図１に戻り、マルチプレクサ（ＭＵＸ）１４０は、イメージセンサ１２０から出力された画像データと、テストパターン出力回路１３０から出力されたテストパターンと、の２つの入力のうち、いずれかのデータ（信号）を、画像変換用メモリ１６０に出力する。ここで、どちらのデータ（信号）を出力するかは、選択制御信号に基づいて決められる。具体的には、マルチプレクサ１４０は、選択制御信号が有効（例えば、Ｈｉｇｈレベル）である場合には、テストパターンを出力し、選択制御信号が無効（例えば、Ｌｏｗレベル）である場合には、画像データを出力する。また、選択制御信号は、図示しない選択制御信号の生成回路から供給される。なお、選択制御信号の生成回路は、イメージセンサ１２０が有するＴＧからの同期信号（ＶＤ、ＨＤ）に応じて、マルチプレクサ１４０に供給する選択制御信号を切り替える。

書き込み制御回路１５０は、マルチプレクサ１４０から出力されたデータ（画像データおよび第１のテストパターン）を、画像変換用メモリ１６０に書き込む制御を行う。具体的には、書き込み制御回路１５０は、イメージセンサ１２０が有するＴＧからの同期信号（ＶＤ、ＨＤ）に応じて、マルチプレクサ１４０から出力されたデータを、画素ごとに順次、画像変換用メモリ１６０に書き込む。

画像変換用メモリ１６０は、ラスタスキャンされたイメージセンサ１２０からの画像データを記憶する。画像変換用メモリ１６０は、例えば、データを入出力するポートを２つ有するデュアルポートＲＡＭからなる。

そして、画像変換用メモリ１６０が記憶する画像データは、いわゆる等距離射影画像とよばれる画像であり、１フレーム分（幅：ＷＩＤＴＨピクセル、縦：ＨＥＩＧＨＴピクセル）の画素で構成されている。図３は、画像変換用メモリ１６０が記憶する画像データの模式図である。図示している座標（ｘ，ｙ）は、画像データ（等距離射影画像）を構成する各画素の位置を示している。

画像変換用メモリ１６０に１フレーム分の画像データ（等距離射影画像）が書き込まれる場合には、各画素は、ラスタスキャンされた順序で書き込まれる。すなわち、まず、ｙ座標を「０」としてｘ座標を「０」から「ＷＩＤＴＨ−１」まで変化させた位置の画素が、画像変換用メモリ１６０に書き込まれる。そして、１ライン分の画素の書き込みが終わると、ｙ座標をインクリメントして、再度、ｘ座標を「０」から「ＷＩＤＴＨ−１」まで変化させた位置の画素が、画像変換用メモリ１６０に書き込まれる。このような書き込みは、ｙ座標が「Ｈｅｉｇｈｔ−１」になるまで繰り返される。その結果、１フレーム分の画像データ（等距離射影画像）が、画像変換用メモリ１６０に格納される。ただし、２次元座標（ｘ、ｙ）を１次元化する場合には、座標（ｘ、ｙ）の位置のデータを、「ｙ×ＷＩＤＴＨ＋ｘ」番目のデータとすればよい。これにより、画像変換用メモリ１６０が１次元アドレスのメモリである場合に、取り扱いが容易になる。以下では、画像変換用メモリ１６０のアドレスを、１次元アドレスとして説明する。

また、図４は、一部が第１のテストパターンに置き換えられた場合における、画像データの模式図である。図示するように、第１のテストパターンは、画像データ（等距離射影画像）の一部に配置されるように、画像変換用メモリ１６０上の一部の領域に記憶される。例えば、縦縞のテストパターンが、１フレーム分の画像データ（等距離射影画像）において上端ｈｔラインの領域に記憶される。なお、第１のテストパターンは、必ずしも縦縞である必要はないが、縦縞である場合には、１画素データを８ビットとすると、白を示すデータ「ＦＦ」と、黒を示すデータ「００」が、交互に画像変換用メモリ１６０に格納される。また、第１のテストパターンが画像変換用メモリ１６０に書き込まれる位置は、上端ｈｔラインの領域に限らず、例えば、下端の数ラインの領域や、左端、右端の領域でもよい。

図１に戻り、読み出し制御回路１７０は、画像変換用メモリ１６０に格納されているデータ（画像データおよび第１のテストパターン）を読み出す制御を行う。具体的には、読み出し制御回路１７０は、イメージセンサ１２０が有するＴＧからの同期信号（ＶＤ、ＨＤ）に応じて、画像変換用メモリ１６０に格納されているデータの各画素を、参照座標メモリ１８０で定められてる順序に従って読み出す。ここで、読み出し制御回路１７０が読み出したデータは、テストパターン検出回路１８０や、各種画像処理（表示処理を含む）を行う画像処理回路などに供給される。

参照座標メモリ１８０は、等距離射影画像から中心射影画像への変換において、変換元の画素の位置と、変換先の画素の位置と、を対応付けている。すなわち、参照座標メモリ１８０には、画像変換用メモリ１６０に記憶された等距離射影画像を、中心射影画像に変換するためのデータが、予め記憶されている。具体的には、参照座標メモリ１８０には、画像変換用メモリ１６０から等距離射影画像の各画素を読み出す順序を定めるデータが記憶されており、例えば、参照座標メモリ１８０の１次元アドレスの昇順に、読み出し対象となる画素（等距離射影画像）の位置を特定するデータ（以下では、「参照座標」とよぶ）が記憶されている。なお、ここで説明する参照座標メモリ１８０は、一般的な最近傍補間によって、等距離射影画像から中心射影画像に変換する場合のメモリである。

図５は、参照座標メモリ１８０に記憶されているデータ（参照座標）のデータ構造の１例を示す図である。図示するように、参照座標メモリ１８０は、読み出し制御回路１７０がテストパターンを読み出す場合に参照する参照座標を記憶する領域（テストパターン用領域）と、画像データ（等距離射影画像）を読み出す場合に参照する参照座標を記憶する領域（画像変換用領域）と、を有している。

テストパターン用領域には、読み出し制御回路１７０が画像変換用メモリ１６０に記憶された第１のテストパターンの配列（構成）を変更せずにそのまま読み出せるように、参照座標メモリ１８０のアドレスに相当する値が、参照座標として記憶されている。例えば、アドレス「０」の領域には、参照座標として「０」を示す値（座標）が記憶されており、アドレス「１」の領域には、参照座標として「１」を示す値（座標）が記憶されている。このように、アドレス「０」から「ＷＩＤＴＨ×ｈｔ−１」の領域には、それぞれ、参照座標として「０」から「ＷＩＤＴＨ×ｈｔ−１」を示す値（座標）が記憶されている。これにより、変換元の第１のテストパターンの座標をＡ（ｉ，ｊ）とし、変換先のテストパターン（以下では、「第２のテストパターン」とよぶ）の座標をＢ（ｍ，ｎ）とすれば、変換元のＡ（ｉ，ｊ）に位置する画素は、変換先においてもＢ（ｉ，ｊ）の位置に配列される。なお、以下では、読み出し制御回路１７０が画像変換用メモリ１６０から第１のテストパターンを読み出して生成される第２のテストパターンは、第１のテストパターンに一致しているものとして説明するが、これに限定されない。具体的には、第２のテストパターンは、第１のテストパターンから一意に生成可能であればよい。

一方、画像変換用領域には、読み出し制御回路１７０が画像変換用メモリ１６０に記憶された等距離射影画像を、中心射影画像に変換するための参照座標が記憶されている。具体的には、参照座標として、画像変換の対象となる画素（等距離射影画像）の位置を示す座標Ａ（ｉ，ｊ）の１次元アドレス「ｊ×ＨＥＩＧＨＴ＋ｉ」を記憶している。例えば、アドレス「ＷＩＤＴＨ×ｈｔ」の領域には、参照座標として「変換先の座標Ｂ（０，ｈｔ）の位置に配列されるべき画素（等距離射影画像）の参照座標Ａ」が記憶され、アドレス「ＷＩＤＴＨ×ｈｔ＋１」の領域には、参照座標として「変換先の座標Ｂ（１，ｈｔ）の位置に配列されるべき画素（等距離射影画像）の参照座標Ａ」が記憶されている。このように、アドレス「ＷＩＤＴＨ×ｈｔ」から「ＷＩＤＴＨ×ＨＥＩＧＨＴ−１」の領域には、それぞれ、「変換先の特定の位置Ｂに配列されるべき画素（等距離射影画像）の参照座標Ａ」が記憶されている。これにより、変換元のＡ（ｉ，ｊ）に位置する画素は、変換先において所定の座標Ｂ（ｍ，ｎ）の位置に配列される。

図１に戻り、テストパターン検出回路１９０は、画像変換用メモリ１６０から読み出された第２のテストパターンが、正常であるか否か判定する。

図６は、テストパターン検出回路１９０の概略構成例を示す図である。図示するように、テストパターン検出回路１９０は、アドレス制御回路１９１と、テストパターン用メモリ１９２と、排他的論理和回路（ＥＸＯＲ回路）１９３と、比較領域検出回路１９４と、マルチプレクサ（ＭＵＸ）１９５と、ＲＳフリップフロップ（ＲＳ−ＦＦ）１９６と、を備えている。

テストパターン用メモリ１９２には、テストパターン出力回路１３０のテストパターン用メモリ１３２に格納されている第１のテストパターンに対応する（一致する）テストパターン（以下では、「検出用テストパターン」とよぶ）が、予め格納されている。そして、アドレス制御回路１９１は、ＴＧが発生する同期信号（ＶＤ，ＨＤ）に応じて、順次、テストパターン用メモリ１９２に格納されている検出用テストパターンを、画素ごとにＥＸＯＲ回路１９３に出力する。

ＥＸＯＲ回路１９３は、画像変換用メモリ１６０から出力されているデータ（画像データ、或いは、第２のテストパターン）と、テストパターン用メモリ１９２から供給された検出用テストパターンと、を比較して、一致する場合には有効信号（例えば、Ｈｉｇｈレベル）を出力し、不一致の場合には無効信号（例えば、Ｌｏｗレベル）を出力する。

また、比較領域検出回路１９４は、ＴＧが発生する同期信号（ＶＤ、ＨＤ）に応じて、画像変換用メモリ１６０からＥＸＯＲ回路１９３に入力されたデータが、画像データであるかテストパターン（第２のテストパターン）であるかを判定する。テストパターンと判定した場合には、有効値である（例えば、Ｈｉｇｈレベル）選択制御信号をマルチプレクサ１９５に供給し、画像データと判定した場合には、無効値である（例えば、Ｌｏｗレベル）選択制御信号をマルチプレクサ１９５に供給する。

マルチプレクサ１９５は、ＥＸＯＲ回路１９３から出力されている信号と、Ｌｏｗ信号と、の２つの入力のうち、いずれかの信号を、ＲＳフリップフロップ１９６に出力する。ここで、どちらの信号を出力するかは、比較領域検出回路１９４から出力されている選択制御信号に基づいて決められる。例えば、選択制御信号が有効値である場合には、ＥＸＯＲ回路１９３から出力されている信号を出力し、選択制御信号が無効値である場合には、Ｌｏｗ信号を出力する。なお、画像変換装置１００は、マルチプレクサ１９５が出力する信号が有効値（例えば、Ｈｉｇｈレベル）であるか、無効値（例えば、Ｌｏｗレベル）であるかに応じて、画像変換用メモリ１６０から読み出したテストパターンが正常か否か判定できる。そして、読み出した第２のテストパターンが異常であれば、画像変換装置１００に故障が生じていると判定でき、正常であれば、画像変換装置１００に故障は生じていないと判定できる。

ＲＳフリップフロップ１９６は、画像変換装置１００に故障が生じたことを示す信号（有効信号）が、マルチプレクサ１９５から供給された場合に、その有効信号を保持する。具体的には、ＲＳフリップフロップ１９６には、マルチプレクサ１９５と、ＴＧが発生する同期信号（垂直同期信号ＶＤ）からの出力信号が供給されている。そして、ＲＳフリップフロップ１９６は、有効信号がマルチプレクサ１９５から入力されると、１フレーム分の画像データについて、等距離射影画像から中心射影画像に変換する処理が終了するまで、有効信号（例えば、Ｈｉｇｈレベル）を出力し続ける。なお、以下では、ＲＳフリップフロップ１９６が出力する有効信号を、「エラー信号」とよぶ。

以上のような構成により、画像変換装置１００は、テストパターン検出回路１９０のＲＳフリップフロップ１９６から出力されたエラー信号を検知し、その旨をユーザに通知することができる。例えば、画像変換装置１００は、接続されているディスプレイ（図示せず）に、故障が生じていることを表すメッセージを表示することもできる。

次に、上記構成からなる画像変換装置１００の特徴的な動作について説明する。図７は、画像変換装置１００が行う故障検知処理を示すフローチャートである。

画像変換装置１００は、イメージセンサ１２０による撮像の指示がなされたときに、故障検知処理を開始する。例えば、画像変換装置１００は、撮像の指示を入力するためのボタン（図示せず）が押下されるまで待機し（ステップＳ１０１；Ｎｏ）、当該ボタンが押下された場合に（ステップＳ１０１；Ｙｅｓ）、故障検知処理を開始する。

故障検知処理を開始すると、画像変換装置１００は、画像データを取り込む処理を行う（ステップＳ１０２）。具体的には、まず、イメージセンサ１２０のＴＧが、同期信号（ＶＤ、ＨＤ）を発生させて、各部（テストパターン出力回路１３０、マルチプレクサ１４０に供給する選択制御信号の生成回路、書き込み制御回路１５０、読み出し制御回路１７０、テストパターン検出回路１９０など）に供給する。

図８は、故障検知処理におけるタイミングチャートである。図示するように、イメージセンサ１２０のＴＧは、最初に垂直同期信号ＶＤを有効（例えば、Ｈｉｇｈレベル）にして、１フレーム分の画像データを取り込む処理を開始する。続いて、ＴＧは、連続的に水平同期信号ＨＤを発生させる。上述した各部は、ＴＧから供給される同期信号（ＶＤ、ＨＤ）に合わせて、後述する動作を行う。ここで、垂直同期信号ＶＤは、画像データのフレームに同期した信号であり、水平同期信号ＨＤは、画像データのラインに同期した信号である。

イメージセンサ１２０は、垂直同期信号ＶＤと水平同期信号ＨＤがともに有効（例えば、Ｈｉｇｈレベル）の場合に、画像データをマルチプレクサ１４０に出力し、水平同期信号ＨＤが無効（例えば、Ｌｏｗレベル）の場合には、ブランクデータをマルチプレクサ１４０に出力する。これとともに、ＴＧは、ラインカウント値をカウントアップすることによって、水平同期信号ＨＤを立ち上げた回数（ライン数）をカウントし、カウントしたラインカウント値を各部に供給する。

図７に戻り、有効な垂直同期信号ＶＤがテストパターン出力回路１３０に供給されると、テストパターン出力回路１３０は、所定の第１のテストパターン（縦縞）をマルチプレクサ１４０に出力する（ステップＳ１０３）。具体的には、テストパターン出力回路１３０は、イメージセンサ１２０の画像データの出力と同様に、垂直同期信号ＶＤと水平同期信号ＨＤがともに有効の場合に、第１のテストパターンをマルチプレクサ１４０に出力し、水平同期信号ＨＤが無効の場合には、ブランクデータをマルチプレクサ１４０に出力する。

また、有効な垂直同期信号ＶＤが図示しない生成回路（選択制御信号の生成回路）にも供給されると、生成回路は、図８に示すように、選択制御信号を有効（例えば、Ｈｉｇｈレベル）にして、マルチプレクサ１４０に出力する。なお、生成回路は、ＴＧから供給されるラインカウント値が「０」から「ｈｔ−１」の範囲では、有効値の選択制御信号をマルチプレクサ１４０に出力し、ラインカウント値が「ｈｔ」から「ＨＥＩＧＨＴ−１」の範囲では、無効値の選択制御信号をマルチプレクサ１４０に出力する。

このとき、マルチプレクサ１４０は、生成回路から供給されている選択制御信号に応じて、イメージセンサ１２０から出力された画像データと、テストパターン出力回路１３０から出力された第１のテストパターンとのうち、いずれかのデータを選択して、１画素ずつ画像変換用メモリ１６０に出力する。具体的には、マルチプレクサ１４０は、選択制御信号の生成回路から供給される選択制御信号が有効の場合に、テストパターンを選択して出力し、選択制御信号が無効の場合に、画像データを選択して出力する。

そして、書き込み制御回路１５０は、マルチプレクサ１４０が選択して出力しているデータを、ＴＧからの同期信号（ＶＤ、ＨＤ）に合わせて、画像変換用メモリ１６０に書き込む（ステップＳ１０４）。ここで、上述したように、マルチプレクサ１４０は、第１のテストパターン、又は、画像データを、選択制御信号に応じて選択して出力している。そのため、書き込み制御回路１５０は、画像データ（等距離射影画像）の上端ｈｔラインの領域にテストパターンを記憶することができる。

続いて、読み出し制御回路１７０は、画像変換用メモリ１６０に格納されたデータを、読み出す（ステップＳ１０５）。具体的には、読み出し制御回路１７０は、参照座標メモリ１８０にアクセスし、アドレスの昇順に参照座標を特定し、順次、特定した参照座標が示す位置の画素（第１のテストパターン又は等距離射影画像）を、画像変換用メモリ１６０から読み出す。ここで、参照座標メモリ１８０のアドレス「０」から「ＷＩＤＴＨ×ｈｔ−１」の領域には、そのアドレスに相当（一致）する値が格納されている。そのため、読み出し制御回路１７０は、画像変換用メモリ１６０の上端ｈｔラインの領域に格納されている第１のテストパターンを、画像変換せず（配列を変えず）に、読み出すことができる。また、参照座標メモリ１８０のアドレス「ＷＩＤＴＨ×ｈｔ」から「ＷＩＤＴＨ×ＨＥＩＧＨＴ−１」の領域には、等距離射影画像を中心射影画像に変換するための参照座標が格納されている。そのため、読み出し制御回路１７０は、参照座標が示す位置の画素を、画像変換用メモリ１６０から読み出して、一般的な画像変換を行うことができる。

テストパターン検出回路１９０は、画像変換用メモリ１６０から読み出された後の第２のテストパターンの正否を検出する（ステップＳ１０６）。具体的には、上述したように、テストパターン検出回路１９０は、ＥＸＯＲ回路１９３において、画像変換用メモリ１６０から読み出されたデータ（第２のテストパターン）と、テストパターン用メモリ１９２に予め記憶されている検出用テストパターンとを、ＴＧから供給されている同期信号（ＶＤ、ＨＤ）に同期させて、画素ごとに比較する。その結果、不一致の画素があれば、画像変換用メモリ１６０から読み出した第２のテストパターンに異常がある可能性があるため、ＥＸＯＲ回路１９３は有効信号を出力する。

このとき、比較領域検出回路１９４は、ＴＧから供給されたラインカウント値が「０」から「ｈｔ−１」の範囲にある場合には、ＥＸＯＲ回路１９３において比較された画素がテストパターンであると判定し、有効値の選択制御信号をマルチプレクサ１９５に出力する。一方、ＴＧから供給されたラインカウント値が「ｈｔ」から「ＨＥＩＧＨＴ−１」の範囲にある場合には、ＥＸＯＲ回路１９３において比較された画素が画像データであると判定し、無効値の選択制御信号をマルチプレクサ１９５に出力する。

そして、マルチプレクサ１９５は、ＥＸＯＲ回路１９３から有効信号が供給されており、かつ、比較領域検出回路１９４から供給されている選択制御信号が有効値である場合には、画像変換用メモリ１６０から読み出された第２のテストパターンに異常があると判定する。

ここで、テストパターン検出回路１９０（ＲＳフリップフロップ１９６）は、画像変換用メモリ１６０から読み出された第２のテストパターンに異常を検出した場合には（ステップＳ１０７；Ｙｅｓ）、上述したエラー信号を出力する（ステップＳ１０８）。一方、異常を検出しなかった場合には（ステップＳ１０７；Ｎｏ）、エラー信号を出力しない。なお、画像変換装置１００は、テストパターン検出回路１９０からエラー信号が出力された場合には、その旨をユーザに通知するための任意の処理（例えば、メッセージの表示）を行うようにすることができる。

また、イメージセンサ１２０のＴＧは、水平同期信号ＨＤを立ち上げた回数（ラインカウント値）が、１フレーム分のライン数（ＨＥＩＧＨＴ−１）に到達すると、垂直同期信号ＶＤを無効（例えば、Ｌｏｗレベル）にする。そして、無効値の垂直同期信号ＶＤが供給された各部は、１フレーム分の画像データの画像変換処理、および、テストパターンの正否検出処理を終了して、故障検知処理を終了する。

また、フレーム毎に繰り返し故障検知を行う場合は、垂直同期信号ＶＤの立ち上がりでエラー信号をクリアし、同様の処理を繰り返せばよい。

以上の故障検知処理を行うことにより、画像変換装置１００は、自装置に生じた故障を検知することができる。また、参照座標メモリ１８０に、テストパターン用領域と、画像変換用領域と、を設けることにより、画像変換用メモリ１６０に記憶する等距離射影画像の一部をテストパターンに代えることが可能となり、画像データの中心射影画像への変換処理と、テストパターンの検出処理と、を効率よく行うことができる。

なお、本発明は、上記実施形態に限定されず、種々の変形、応用が可能である。

例えば、上記実施形態では、参照座標メモリ１８０に、テストパターン用領域と、画像変換用領域と、を設け、画像変換用領域の参照座標には、変換対象の画素の位置を示す座標Ａ（ｉ，ｊ）の１次元アドレス「ｊ×ＨＥＩＧＨＴ＋ｉ」を記憶している。しかし、参照座標メモリ１８０は、これに限定されない。

例えば、図９は、変形例の参照座標メモリ１８０に記憶されているデータ（参照座標）のデータ構造を示す図である。図示するように、参照座標メモリ１８０に、テストパターン用領域を設けず、変換対象の画素の位置を示す座標Ａ（ｉ，ｊ）の代わりに、変換後の画素の位置を示す座標Ｂ（ｍ，ｎ）との相対座標Ｃ（ｍ−ｉ,ｎ−ｊ）の１次元アドレス「（ｎ−ｊ）×ＨＥＩＧＨＴ＋（ｍ−ｉ）」を記憶するようにしてもよい。これにより、参照座標の値が小さくなるため、参照座標メモリ１８０の容量を小さくすることができる。また、テストパターン用領域も設けないため、設ける場合と比較して、参照座標メモリ１８０の容量を小さくすることができる。

また、図１０は、参照座標メモリ１８０を変形した場合における読み出し制御回路１７０の概略構成図である。図示するように、読み出し制御回路１７０は、マルチプレクサ１７１と、アップカウンタ１７２と、加算回路１７３と、を備えている。

読み出し制御回路１７０は、参照座標メモリ１８０に記憶されている参照座標（１次元アドレス）を、参照座標メモリ１８０のアドレスの昇順に読み出し、マルチプレクサ１７０に供給する。

マルチプレクサ１７１は、参照座標メモリ１８０から読み出された参照座標と、「０」を示す信号と、の２つの入力のうち、いずれかのデータ（信号）を、加算回路１７３に出力する。ここで、どちらのデータ（信号）を出力するかは、選択制御信号に基づいて決められる。

具体的には、マルチプレクサ１７１は、選択制御信号が有効（例えば、Ｈｉｇｈレベル）である場合には、「０」を示す信号を出力し、選択制御信号が無効（例えば、Ｌｏｗレベル）である場合には、読み出された参照座標を出力する。

ここで、選択制御信号は、上述した比較領域検出回路１９４と同様の回路（図示せず）から供給される。例えば、当該回路は、ＴＧから供給されたラインカウント値が「０」から「ｈｔ−１」の範囲にある場合には、読み出し対象の画素がテストパターンであると判定し、有効値の選択制御信号をマルチプレクサ１７１に出力する。一方、ＴＧから供給されたラインカウント値が「ｈｔ」から「ＨＥＩＧＨＴ−１」の範囲にある場合には、読み出し対象の画素が画像データであると判定し、無効値の選択制御信号をマルチプレクサ１７１に出力する。

また、アップカウンタ１７２は、読み出し制御回路１７０が画像変換用メモリ１６０からデータを読み出す処理を開始すると、動作を開始し、「０」から順番に、「１」、「２」、・・・、と順番にカウントアップし、画像変換用メモリ１６０のサイズ「ＷＩＤＴＨ×ＨＥＩＧＨＴ−１」を超えたときに「０」に戻す。アップカウンタ１７２は、カウントした値を、加算回路１７３に出力する。

そして、加算回路１７３は、アップカウンタ１７２から供給されたカウント値と、マルチプレクサ１７１から供給された値とを加算し、加算した値を、読み出し対象の画素の位置を示す参照座標（読み出しアドレス）として出力する。

これにより、加算回路１７３は、参照座標メモリ１８０に、相対座標Ｃ（ｍ−ｉ,ｎ−ｊ）の１次元アドレス「（ｎ−ｊ）×ＨＥＩＧＨＴ＋（ｍ−ｉ）」を記憶している場合でも、上記実施形態と同様の参照座標を生成することができる。また、読み出し対象の画素がテストパターンである場合には、加算回路１７３は、アップカウンタ１７２から供給されたカウント値を参照座標として出力することになるため、上記実施形態と同様のテストパターン領域用の参照座標も生成することができる。

そして、読み出し制御回路１７０は、加算回路１７３が生成した参照座標の位置の画素を、画像変換用メモリ１６０から読み出して、テストパターン検出回路１９０が上記実施形態と同様にテストパターン検出を行うことにより、画像変換装置１００の故障を検出することができる。

また、上記実施形態では、テストパターンに、白黒の縦縞のパターンを用いている。しかし、本発明は、これに限定されない。例えば、テストパターンには、横縞のパターンが用いられてもよいし、多段階の階調をもつパターンが用いられてもよい。

本発明の一実施形態が適用された画像変換装置の概略構成図である。 テストパターン出力回路の概略構成図である。 画像データ（等距離射影画像）の構成例を示す図である。 一部をテストパターンに置き換えた画像データ（等距離射影画像）の構成例を示す図である。 参照座標メモリに記憶されている参照座標データの構成例を示す図である。 テストパターン検出回路の概略構成図である。 故障検知処理のフロー図である。 故障検知処理におけるタイミングチャートである。 変形例の参照座標データの構成例を示す図である。 変形例の読み出し制御回路の概略構成図である。

符号の説明

１００・・・画像変換装置、１１０・・・魚眼レンズ、１２０・・・イメージセンサ、１３０・・・テストパターン出力回路、１３１・・・アドレス制御回路（テストパターン出力回路）、１３２・・・テストパターン用メモリ（テストパターン出力回路）、１４０・・・マルチプレクサ、１５０・・・書き込み制御回路、１６０・・・画像変換用メモリ、１７０・・・読み出し制御回路、１７１・・・マルチプレクサ（読み出し制御回路）、１７２・・・アップカウンタ、１７３・・・加算回路、１８０・・・参照座標メモリ、１９０・・・テストパターン検出回路、１９１・・・アドレス制御回路（テストパターン検出回路）、１９２・・・テストパターン用メモリ（テストパターン検出回路）、１９３・・・ＥＸＯＲ回路、１９４・・・比較領域検出回路、１９５・・・マルチプレクサ（テストパターン検出回路）、１９６・・・ＲＳフリップフロップ。

Claims (9)

1. 等距離射影画像を中心射影画像に変換するための画像変換装置であって、
   前記等距離射影画像及び所定のテストパターンを、画像変換用メモリに書き込む書き込み制御回路と、
   変換元の画素の位置と変換先の画素の位置とが同じである前記所定のテストパターン用の参照座標と、変換元の画素の位置と変換先の画素の位置とが変わる前記等距離射影画像用の参照座標と、を有する参照メモリと、
   前記参照メモリをそれぞれ参照して、前記等距離射影画像と所定のテストパターンとを前記画像変換用メモリから前記変換先の所定の位置に読み出す読み出し制御回路と、
   読み出したテストパターンの正否を検出する正否検出回路と、
   を備えることを特徴とする画像変換装置。
2. 請求項１に記載の画像変換装置であって、
   所定の第１のテストパターンを出力するテストパターン出力回路を備え、
   前記書き込み制御装置は、
   前記等距離射影画像及び前記第１のテストパターンを、画像変換用メモリに書き込み、
   前記読み出し制御回路は、
   前記参照メモリを参照して、前記画像変換用メモリから前記等距離射影画像とともに前記第１のテストパターンを読み出して、当該第１のテストパターンに対応する第２のテストパターンを生成し、
   前記正否検出回路は、
   生成された前記第２のテストパターンの正否を検出する、
   ことを特徴とする画像変換装置。
3. 請求項２に記載の画像変換装置であって、
   前記参照メモリは、
   前記等距離射影画像及び前記第１のテストパターンを構成する画素について、前記画像変換用メモリから読み出す順序を定めており、
   前記読み出し制御回路は、
   前記参照メモリで定められてる前記順序に従って、前記画像変換用メモリに記憶されている前記等距離射影画像及び前記第１のテストパターンの各画素を読み出す、
   ことを特徴とする画像変換装置。
4. 請求項３に記載の画像変換装置であって、
   前記参照メモリは、
   アドレス番号の昇順に、読み出し対象となる画素の位置を特定する座標を格納している、
   ことを特徴とする画像変換装置。
5. 請求項３又は４に記載の画像変換装置であって、
   前記参照メモリは、
   当該参照メモリの一部の領域を、前記第１のテストパターンを構成する画素について前記画像変換用メモリから読み出す順序を定めるための領域として確保している、
   ことを特徴とする画像変換装置。
6. 請求項５に記載の画像変換装置であって、
   前記参照メモリは、
   前記画像変換用メモリから前記第１のテストパターンを読み出す順序を、当該第１のテストパターンを構成する各画素の配列順に定めている、
   ことを特徴とする画像変換装置。
7. 請求項２乃至６のいずれか１項に記載の画像変換装置であって、
   前記書き込み制御回路は、
   前記等距離射影画像及び前記第１のテストパターンのうちいずれか一方のデータを選択的に前記画像変換用メモリに書き込み、
   前記第１のテストパターンは、前記画像変換用メモリ内において、撮像された前記等距離射影画像の一部の領域に書き込まれる、
   ことを特徴とする画像変換装置。
8. 請求項２乃至７のいずれか１項に記載の画像変換装置であって、
   前記正否検出回路は、
   前記読み出し制御回路が読み出したデータに含まれる前記第２のテストパターンを特定し、
   特定した第２のテストパターンと、予め記憶しておいた検出用テストパターンと、を比較して、両データが不一致の場合に、当該第２のテストパターンに異常があることを検出する、
   ことを特徴とする画像変換装置。
9. 請求項２に記載の画像変換装置であって、
   前記参照メモリは、
   アドレス番号の昇順に、変換前の等距離射影画像と変換後の中心射影画像における相対座標を格納しており、
   前記読み出し制御回路は、
   前記参照メモリのアドレス番号の順序に従って前記相対座標を読み出し、読み出した当該相対座標に所定のカウンタ値を加算して求まる座標で特定される画素を、前記画像変換用メモリから読み出す、
   ことを特徴とする画像変換装置。

Images