以下、図を参照して、本発明の実施の形態について説明する。
図2は、画像処理装置81の一実施の形態を示すブロック図である。
撮像部91は、操作入力部92から供給されるユーザの操作入力に基づいて、被写体を撮像し、得られた画像信号を画像生成部93に供給する。撮像部91の詳細については、図3を用いて後述する。
操作入力部92は、例えば、リレーズボタンなどのボタン、操作キー、タッチパネルなどの入力デバイスで構成され、ユーザの操作入力を受け、ユーザからの指令を、撮像部91に供給する。ユーザの操作入力は、例えば、撮像タイミングの指令(リレーズボタンの押下など)のみならず、例えば、動画像の撮像(換言すれば、連続したフレームの撮像)の開始または終了の指令である場合などもあり、更に、撮像開始または終了の時刻の設定などである場合もある。また、操作入力部92は、ユーザにより、画像生成部93の処理に用いられる所定の設定値の入力を受けた場合、その設定値を画像生成部93に供給する。
画像生成部93は、撮像部91から供給された画像信号を表示や印刷出力に適した画像信号に変換する処理を実行し、表示制御部94または出力制御部95に供給する。また、画像生成部93は、操作入力部92から、必要に応じて、処理に必要な設定値の入力を受け、これを基に、撮像部91から供給された画像信号を表示や印刷出力に適した画像信号に変換する処理を実行する。
表示制御部94は、画像生成部93から供給された処理済の画像信号を、ディスプレイ82の解像度や階調数に変換する処理を行い、処理済の信号を、ディスプレイ82に供給する。
出力制御部95は、画像生成部93から供給された処理済の画像信号を、画像利用装置83が処理可能な解像度や階調数に変換する処理を行い、処理済の信号を、画像利用装置83に出力する。
ディスプレイ82は、例えば、表示制御部94から供給された表示画像信号の入力を受け、画像(静止画像または、複数フレームよりなる動画像)を表示する。
画像利用装置83は、出力制御部95から供給された画像信号の入力を請け、所定の処理を実行する。画像利用装置83には、例えば、画像印刷装置、画像認識装置、画像記録装置、画像通信装置などの、画像を利用する処理を実行する、各種の情報処理装置を用いるようにすることができる。
画像生成部93により生成された画像信号は、特に、撮像対象の輝度と画像データの輝度データとが1対1に対応する(撮像対象の輝度と、画像データの輝度データとがリニアに対応する)必要がない処理を実行する画像利用装置83に利用されるようにすると好適である。
撮像対象の輝度と画像データの輝度データとが1対1に対応する必要がない処理には、例えば、印刷出力、記録処理、画像内の所定の対象物を認識する処理、画像内のエッジ部分、または、直線部分などを検出する処理、2値化処理、または、このような処理を実行する他の装置への送信処理などがある。
図3は、図2の画像処理装置81の撮像部91の更に詳細な構成例を示すブロック図である。撮像部91は、レンズ101、および対数変換型撮像素子102を含むように構成される。対数変換型撮像素子102は、例えば、HDRC(High Dynamic Range CMOS(Complementary Metal Oxide Semiconductor))などの対数変換型の撮像素子とされ、光検出部111、対数変換部112、A/D変換部113、および撮像タイミング制御部114を含むように構成される。
撮像部91により撮像される被写体から発せられた光(あるいは、被写体により反射された光)は、レンズ101に入射し、対数変換型撮像素子102の光検出部111の図示せぬ光検出面に結像する。
光検出部111は、例えば、複数のフォトダイオードなどからなる受光素子などにより構成される。光検出部111は、レンズ101により結像された被写体の光を、入射された光の明るさ(照度)に応じた電荷に変換し、変換した電荷を蓄積する。光検出部111は、撮像タイミング制御部114から供給される制御信号に同期して、蓄積した電荷を対数変換部112に供給する。
対数変換部112は、例えば、複数のMOSFET(Metal Oxide Semiconductor Field Effect Transistor)などにより構成される。対数変換部112は、MOSFETのサブスレッショルド特性を利用して、光検出部111から供給される電荷を、画素ごとに電荷の数(電流の強さ)の対数(被写体の光の光量の対数)にほぼ比例した電圧値に変換したアナログの電気信号を生成する。対数変換部112は、生成したアナログの電気信号をA/D変換部113に供給する。
A/D変換部113は、撮像タイミング制御部114から供給される制御信号に同期して、アナログの電気信号をデジタルの画像データにA/D変換する。例えば、24bitの符号なし2進数のデジタルの画像データに変換される場合、画像データの画素値は、最も暗い0から最も明るい224−1の範囲の値をとる。A/D変換部113は、変換したデジタルの画像データを画像処理装置92に供給する。
このように、撮像部91は、光検出部111に入射した被写体の光の明るさ(入射光量)の対数に比例した画素値からなるデジタルの画像データを出力する。なお、対数変換型の撮像素子については、例えば、特表平7−506932公報などにその詳細が開示されている。
なお、対数変換型撮像素子102の光検出部111においては、変換した電荷を蓄積せずに、そのまま対数変換部112に供給させるようにすることも可能である。
図4は、対数変換型撮像素子102、CCD(Charge Coupled Device)撮像素子、銀塩フィルム、および、人の目の感度特性を示すグラフである。図4の横軸は、入射する光の照度(単位は、ルクス(lux))の対数値を示し、縦軸は入射光の照度に対する感度を示している。線121は対数変換型撮像素子102の感度特性を示し、線122はCCD撮像素子の感度特性を示し、線123は銀塩フィルムの感度特性を示し、線124は人の目の感度特性を示している。
対数変換型撮像素子102は、上述したように、入射光量の対数にほぼ比例した輝度値(あるいは画素値)からなる画像データを出力するので、入射光量が大きくなった場合でも、対数変換型撮像素子102を構成するフォトダイオードやMOSFETなどの素子の容量が飽和したり、各素子に流れる電流や印加される電圧が各素子の入力に応じた出力を行うことができる範囲を超えることがない。従って、撮像可能な輝度の範囲内において、ほぼ正確に入射光量の変動に応じた輝度値(あるいは画素値)を得ることができる。すなわち、CCD撮像素子、銀塩フィルム、および、人の目より広い、例えば、約1ミリルクスから太陽光の輝度より高い約500キロルクスまでの約170dBのダイナミックレンジで、被写体からの入射光量の強さをほぼ正確に反映した輝度値(あるいは画素値)からなる画像を撮像することができる。なお、撮像部91に用いる対数変換型撮像素子102のダイナミックレンジは、上述した170dBに限定されるものではなく、利用目的に応じて、約100dBあるいは200dBなど、必要なダイナミックレンジに対応したものを用いるようにすればよい。
対数変換型撮像素子102は、上述したように、入射光量の対数にほぼ比例した値の画素値からなる画像データを出力することにより、対数変換型撮像素子102を構成するフォトダイオードやMOSFETなどの容量を飽和させずに、CCD撮像素子、銀塩フィルム、および、人の目より広い、約1ミリルクスから太陽光の輝度より高い約500kルクスまでの約170dBのダイナミックレンジで被写体を撮像することができる。
従って、対数変換型撮像素子102を用いた撮像部91は、人が視認できる輝度範囲において、輝度クリッピングが発生しないため、絞りやシャッタスピードなどを調整して入射光量を調整する必要がない。すなわち、撮像部91は、入射光量を調整しなくても、被写体の詳細な輝度の変化を忠実に撮像することができる。
例えば、撮像部91は、昼間に車内から車の前方を撮像する場合、画角内に太陽が入っていても、入射光量を調整せずに、太陽と前方の道路の状態を忠実に再現した画像を撮像することができる。また、撮像部91は、夜間に車内から車の前方を撮像する場合、対向車のヘッドライトが前方から照らされていても、入射光量を調整せずに、対向車のヘッドライトの光から自車のヘッドライトに照らされていない部分までを忠実に再現した画像を撮像することができる。
また、CCD撮像素子および銀塩フィルムが、線122および線123に示されるように、ガンマ特性などの要因により感度特性が入射光の照度の対数に比例しないのに比べて、対数変換型撮像素子102では、感度特性が、入射光の照度の対数にほぼ比例する。
このように、対数変換型撮像素子102を用いた撮像部91は、輝度クリッピングの発生、入射光量の調整、ガンマ特性の影響を受けないため、撮像部91により撮像された画像データの画素値は、被写体の輝度の変動および被写体の動きをほぼ忠実に反映するように変動する。
また、撮像部91から出力される画像データの画素値は、入射光量の対数にほぼ比例した値となるので、被写体に照射される光の明るさ(照度)に関わらず、その被写体を撮像した画像データにおける画素値の分布は、その被写体の反射率の分布がほぼ同様に反映されたものとなる。例えば、反射率の最大値と最小値の比率が10:1である被写体を、1回目と2回目とで約100倍の照度差がある光を照射して撮像した場合、1回目の画像データと2回目の画像データとの画素値の分布を示すヒストグラムの幅はほぼ同じ値(1=log1010)となる。一方、画像データの画素値が入射光量に比例する場合、1回目の画像データと2回目の画像データの画素値の分布を示すヒストグラムの幅の差は約100倍となる。
また、被写体の輝度(反射率)の分布に関わらず、被写体の輝度がほぼ同じ比率で変動した場合、その被写体を撮像した画像データの画素値の変動値は、ほぼ同様になる。例えば、被写体内に輝度の比が100:1となる2つの領域がある場合、被写体に照射される光の照度がほぼ一様に変化し、被写体の輝度がほぼ同じ比率の+5%変動したとき、2つの領域に対応する画素値の変動値はほぼ同じ値(log101.05)となる。一方、画像データの画素値が入射光量に比例する場合、上述した2つの領域に対応する画素値の変動値の差は、約100倍となる。
ところで、図4を用いて説明したように、対数変換型撮像素子102は、人の目の感度(図4の線124に示される特性)、CCD撮像素子の感度(図4の線122に示される特性)、および、銀塩フィルムの感度(図4の線123に示される特性)と比較して、その輝度範囲が非常に広い。このため、対数変換型撮像素子102を用いた撮像部91により撮像された画像データの全階調を、ディスプレイ82に対応した階調に変換して表示させた場合、人の目に見える像や、従来のCCD撮像素子または銀塩フィルムを用いて撮像した画像と比較して、濃淡の差がない、換言すれば、シャープさのない画像になってしまう。
すなわち、対数変換型撮像素子102を用いた撮像部91を用いることにより、非常に暗い部分も、非常に明るい部分も忠実に撮像されるのであるが、撮像された画像データを、ディスプレイ82が表示可能な階調数を基に階調変換して表示させた場合、撮像されている非常に暗い部分も非常に明るい部分も、表示される画像を参照するユーザからは識別不可能になってしまい、更に、ユーザから識別可能な全体の階調の中央部分は、濃淡の差が少なくなった状態で表示されてしまう。同様に、プリンタなどの階調数にも限りがあるため、撮像された画像データを、出力先の機器が処理可能な階調数に変換してしまっては、印刷出力される画像は、同様に、人の目に見える像や、従来のCCD撮像素子または銀塩フィルムを用いて撮像した画像と比較して、濃淡の差がない、換言すれば、シャープさのない画像になってしまう。
また、例えば、対数変換型撮像素子102を用いた撮像部91により撮像された画像の輝度範囲の全体をディスプレイ82が表示可能な階調に変換するのではなく、得られる輝度範囲のうち、得られた画像に含まれる画素の輝度値の最高値と最低値を抽出し、その間の輝度範囲をディスプレイ82が表示可能な階調に変換するようにした場合、1枚の画像に含まれる輝度範囲が比較的狭いときに表示される画像の画質は明らかに向上する。しかしながら、1枚の撮像画像中に明るい部分と暗い部分が混在するような場合、やはり、撮像されている非常に暗い部分も非常に明るい部分も、表示される画像を参照するユーザからは識別不可能であり、ユーザから識別可能な全体の階調の中央部分の濃淡の差が少ない表示画像となってしまう。
そこで、画像生成部93においては、対数変換型撮像素子102を用いた撮像部91により撮像された画像データの供給を受けて、ディスプレイ82に対応した階調で表示させた場合、または、出力先の外部機器に対応した階調で出力させた場合であっても、ユーザから識別可能な状態に表示または印刷出力させることができるような画像データを生成することができるような画像処理が実行される。
図5は、図2の画像生成部93の構成の第1の例である画像生成部93−1の構成を示すブロック図である。
平均輝度算出部131は、撮像部91から供給された画像信号を取得して、この平均輝度を算出し、平均輝度の算出結果を、主要領域輝度範囲設定部132に供給する。
主要領域輝度範囲設定部132は、平均輝度算出部131から供給された画像信号の平均輝度を基に、主要領域の輝度範囲を設定し、設定した主要領域の輝度範囲を、出力レベル変換処理部135、および、第2の輝度領域輝度平均値算出部133に供給する。
主要領域輝度範囲設定部132は、例えば、画像信号の平均輝度を中心とした所定の輝度の範囲を主要領域の輝度範囲としても良いし、画像信号の平均輝度である画素を中心として、この輝度に近い輝度値を有するものから順番に所定ビット数の画素を選択して主要領域の輝度範囲としても良い。
第2の輝度領域輝度平均値算出部133は、撮像部91から供給された画像信号のうち、主要領域輝度範囲設定部132により設定された主要領域の輝度範囲より高輝度の範囲の画素の平均輝度を算出し、算出結果を、第2の輝度領域輝度範囲設定部134に供給する。
第2の輝度領域輝度範囲設定部134は、第2の輝度領域輝度平均値算出部133から供給された主要領域の輝度範囲より高輝度の範囲の画素の平均輝度を基に、第2の輝度領域の輝度範囲を設定し、設定した第2の輝度領域の輝度範囲を出力レベル変換処理部135に供給する。
第2の輝度領域輝度範囲設定部134は、例えば、主要領域の輝度範囲より高輝度の範囲の画素の平均輝度を中心とした所定の輝度の範囲を第2の輝度領域の輝度範囲としても良いし、主要領域の輝度範囲より高輝度の範囲の画素の平均輝度である画素を中心として、この輝度に近い輝度値を有するものから順番に所定ビット数の画素を選択して第2の輝度領域の輝度範囲としても良い。
出力レベル変換処理部135は、撮像部91から供給された画像信号を取得して、主要領域輝度範囲設定部132、および、第2の輝度領域輝度平均値算出部133から供給された、主要領域の輝度範囲、および、第2の輝度領域の輝度範囲の情報を基に、取得した画像信号の出力レベルを変換する。
具体的には、出力レベル変換処理部135は、入力される輝度信号のレベルに対して、所定のステップ数の出力レベル信号(輝度を所定の階調ステップ数で分割した場合のそれぞれの輝度階調レベルの信号)を割り当てて、割り当てられた出力レベルの信号を出力するようになされている。このとき、出力レベル変換処理部187は、出力レベル信号の輝度階調レベルの割り当てを、主要領域および第2の輝度領域として設定されている輝度範囲と、それ以外の範囲とで、異なるものとする。すなわち、出力レベル変換処理部187は、主要領域および第2の輝度領域として設定されている輝度範囲により多くの出力レベルのステップ数を割り当てて、対応する輝度範囲の画素の階調数が多くなるような変換処理を実行する。このようにすることにより、表示または印刷出力される画像のうち、主要領域および第2の輝度領域に対応する輝度範囲の部分が、ユーザによってよりよく認識できるようになる。
出力レベル変換処理部135は、例えば、主要領域の輝度範囲と第2の輝度領域の輝度範囲に含まれる入力信号に対して、全ての階調ステップ数を分割して割り当て、それ以外の範囲、すなわち、主要領域より低輝度の範囲、主要領域と第2の輝度領域の間の輝度範囲、および、第2の輝度領域よりも高輝度となる範囲に対しては、出力レベルのステップ数を割り当てないようにすることができる。
このようにして、入力レベルに対する出力レベルの階調のステップ数が割り当てられた場合、図6Aに示されるように、主要領域の輝度範囲より輝度の入力レベルが低い画素の出力レベルは0(すなわち、真っ黒)となる。そして、主要領域の輝度範囲内の画素には、入力レベルに応じて、所定の階調の出力レベルが割り当てられる。また、主要領域と第2の輝度領域の間の輝度範囲の画素は、入力レベルにかかわらず、主要領域の輝度範囲に割り当てられた出力レベルの最大値で出力される。第2の輝度領域内の画素には、主要領域と同一か略同等のステップ数で、入力レベルに応じて、主要領域の輝度範囲に割り当てられた出力レベルの最大値から、全体の出力レベルの最大値までの間の階調の出力レベルが割り当てられる。そして、第2の輝度領域よりも高輝度の画素は、入力レベルにかかわらず、第2の輝度領域に割り当てられた出力レベルの最大値、すなわち、全体の出力レベルの最大値が割り当てられる。
また、出力レベル変換処理部135は、例えば、主要領域と第2の輝度領域に対して、出力レベルのうちの所定のステップ数を割り当てるとともに、主要領域と第2の輝度領域の間の輝度範囲に対しては、主要領域や第2の輝度領域に割り当てられたステップ数よりも少ないステップ数(換言すれば、主要領域や第2の輝度範囲よりも狭い階調幅)を割り当て、主要領域より低輝度の範囲、および、第2の輝度領域よりも高輝度の範囲に対しては、出力レベルのステップ数を割り当てないようにすることができる。
このようにして、入力レベルに対する出力レベルの階調のステップ数が割り当てられた場合、例えば、図6Bに示されるように、主要領域の輝度範囲より低い輝度を有する画素の出力値は0となる。そして、主要領域の輝度範囲内の画素には、入力レベルに応じて、所定の階調の出力レベルが割り当てられる。また、主要領域と第2の輝度領域の間の輝度範囲の画素においては、主要領域の輝度範囲に割り当てられたステップ数よりも少ないステップ数で、入力レベルに応じた出力レベルが割り当てられる。第2の輝度領域内の画素には、主要領域と同一か略同等のステップ数で、入力レベルに応じて、主要領域と第2の輝度領域の間の輝度範囲に割り当てられた出力レベルの最大値から全体の最大値となる階調までの間の出力レベルが割り当てられる。そして、第2の輝度領域よりも高輝度の画素に対しては、入力レベルにかかわらず、第2の輝度領域に割り当てられた出力レベルの最大値、すなわち、最大出力レベルが割り当てられる。
また、出力レベル変換処理部135は、例えば、主要領域の輝度の上限値を中心とする所定の輝度範囲を区間α、第2の輝度領域の輝度の下限値を中心とする所定の輝度範囲を区間βとし、主要領域または第2の輝度領域のうち、区間αまたは区間β以外の画素に対して、出力レベルのうちの所定のステップ数を割り当て、区間αまたは区間βに、主要領域および第2の輝度領域の区間αまたは区間β以外の部分に割り当てられたステップ数よりも少ないステップ数を割り当て、主要領域よりも低輝度および第2の輝度領域よりも高輝度の画素に対しては、出力レベルのステップ数を割り当てないようにすることができる。なお、このとき、主要領域と第2の輝度領域の間の輝度範囲のうち、区間αまたは区間βに当てはまらない画素に対しては、区間αまたは区間βに割り当てられた出力レベルのステップ数よりも少ないステップ数を割り当てるようにしたり、ステップ数を割り当てないようにすることができる。
このようにして、入力レベルに対する出力レベルの階調のステップ数が割り当てられた場合、例えば、図6Cに示されるように、主要領域の輝度範囲より低い輝度を有する画素の出力値は0となる。そして、主要領域の輝度範囲内であり、区間α以外の画素には、入力レベルに応じて、所定の階調の出力レベルが割り当てられる。また、区間αの画素には、主要領域の区間α以外の部分に割り当てられたステップ数よりも少ないステップ数で、主要領域の区間α以外の部分に割り当てられた出力レベルの最大値より大きな所定の階調の出力レベルが割り当てられる。また、主要領域と第2の輝度領域との間の輝度範囲のうち、区間αまたは区間βに当てはまらない画素においては、区間αに割り当てられたステップ数よりも少ないステップ数で、入力レベルに応じた出力レベルが割り当てられるか、または、入力レベルにかかわらず区間αに割り当てられた出力レベルの最大値が割り当てられるようになされる。
また、区間βの画素には、主要領域の区間α以外の部分に割り当てられたステップ数よりも少ないステップ数で、区間βより低い輝度範囲における出力レベルの最大値より大きな所定の階調の出力レベルが、区間αと同一または略同等のステップ数で割り当てられる。そして、第2の輝度領域の輝度範囲内で区間β以外の画素には、入力レベルに応じて、区間βに割り当てられた階調の最大値から全体の最大出力レベルまでの階調の出力レベルが割り当てられる。換言すれば、第2の輝度領域の輝度範囲内で区間β以外の画素には、主要領域のうちの区間α以外の部分と同一か略同じステップ数、すなわち、区間αおよび区間βよりも多くのステップ数の出力レベルが割り当てられる。そして、第2の輝度領域よりも高輝度の画素に対しては、入力レベルにかかわらず、第2の輝度領域に割り当てられた出力レベルの最大値、すなわち、最大出力レベルが割り当てられる。
なお、図6Cにおいては、主要領域の輝度の上限値を中心とする所定の輝度範囲を区間α、第2の輝度領域の輝限側の所定区間を区間α、第2の輝度領域の輝度範囲内の下限側の所定区間を区間βとしたり、主要領域の度の下限値を中心とする所定の輝度範囲を区間βとしたが、例えば、主要領域の輝度範囲内の上輝度範囲の上限よりも高輝度の所定の区間を区間α、第2の輝度領域の輝度範囲の下限よりも低輝度の所定の区間を区間βとするようにしても良い。更に、主要領域の輝度の下限側、および、第2の輝度領域の輝度の上限側に、区間αおよび区間βと同様の出力レベルのステップ数が割り当てられるような領域を設定するようにしても良い。
また、図6においては、主要領域の輝度範囲以下の輝度を有する画素は、すべて出力0(真っ黒)であるものとし、第2の輝度領域の輝度範囲以上の輝度を有する範囲の画素は、すべて、第2の輝度領域の輝度範囲の最高の輝度と同一の出力レベル(最大出力レベル)としたが、主要領域の輝度範囲以下、および、第2の輝度領域の輝度範囲以上のそれぞれの輝度範囲においても、ある程度の出力レベルのステップ数を割り当てることができるようにしても良い。
すなわち、出力レベル変換処理部135は、例えば、図7Aに示されるように、入力レベルに対して出力レベルを変換することができる。すなわち、主要領域の輝度範囲より輝度の入力レベルが低い画素において、入力レベルに対応して、0(すなわち、真っ黒)から主要領域に割り当てられるステップ数よりも少ない所定ステップ数の出力レベルまでが割り当てられる。そして、主要領域輝度範囲内の画素には、入力レベルに応じて、所定の階調の出力レベルが割り当てられる。また、主要領域と第2の輝度領域の間の輝度範囲の画素は、入力レベルにかかわらず、主要領域に割り当てられた出力レベルの最大値で出力される。第2の輝度領域内の画素には、入力レベルに応じて、主要領域に割り当てられた出力レベルの最大値から、所定の階調の出力レベルが、主要領域と同一、または、略同等のステップ数で割り当てられる。そして、第2の輝度領域よりも高輝度の画素に対しては、第2の輝度領域の輝度範囲に割り当てられた出力レベルの最大値から、最大出力レベルまで、主要領域や第2の輝度領域に割り当てられたステップ数よりも少ないステップ数となるように、入力レベルに対応した出力レベルが割り当てられる。
また、出力レベル変換処理部135は、例えば、図7Bに示されるように、入力レベルに対して出力レベルを変換することができる。すなわち、主要領域の輝度範囲より輝度の入力レベルが低い画素において、入力レベルに対応して、0(すなわち、真っ黒)から主要領域に割り当てられるステップ数よりも少ない所定ステップ数の出力レベルまでが割り当てられる。そして、主要領域輝度範囲内の画素には、入力レベルに応じて、所定の階調の出力レベルが割り当てられる。また、主要領域と第2の輝度領域の間の輝度範囲の画素においては、主要領域に割り当てられたステップ数よりも少ないステップ数で、入力レベルに応じた出力レベルが割り当てられる。第2の輝度領域内の画素には、入力レベルに応じて、主要領域と第2の輝度領域の間の輝度範囲に割り当てられた出力レベルの最大値から所定の階調の出力レベルが、主要領域と同一、または、略同等のステップ数で割り当てられる。そして、第2の輝度領域よりも高輝度の画素に対しては、第2の輝度領域の輝度範囲に割り当てられた出力レベルの最大値から、最大出力レベルまで、主要領域に割り当てられたステップ数よりも少ないステップ数となるように、入力レベルに対応した出力レベルが割り当てられる。
また、出力レベル変換処理部135は、例えば、図7Cに示されるように、入力レベルに対して出力レベルを変換することができる。すなわち、主要領域の輝度範囲より輝度の入力レベルが低い画素において、入力レベルに対応して、0(すなわち、真っ黒)から主要領域に割り当てられるステップ数よりも少ない所定ステップ数の出力レベルまでが割り当てられる。そして、主要領域輝度範囲内であり、区間α以外の画素には、入力レベルに応じて、所定の階調の出力レベルが割り当てられる。また、区間αの画素には、主要領域の区間α以外の部分に割り当てられたステップ数よりも少ないステップ数で、主要領域の区間α以外の部分に割り当てられた出力レベルの最大値より大きな所定の階調の出力レベルが割り当てられる。また、主要領域と第2の輝度領域との間の輝度範囲のうち、区間αまたは区間βに当てはまらない画素においては、区間αに割り当てられたステップ数よりも少ないステップ数で、入力レベルに応じた出力レベルが割り当てられるか、または、入力レベルにかかわらず区間αに割り当てられた出力レベルの最大値が割り当てられるようになされる。
また、区間βの画素には、主要領域の区間α以外の部分に割り当てられたステップ数よりも少ないステップ数で、区間βより低い輝度範囲における出力レベルの最大値より大きな所定の階調の出力レベルが割り当てられる。そして、第2の輝度領域の輝度範囲内で区間β以外の画素には、入力レベルに応じて、区間βに割り当てられた階調の最大値から所定の階調の出力レベルが、主要領域の区間α以外の輝度範囲と同一、または、略同等のステップ数で割り当てられる。そして、第2の輝度領域よりも高輝度の画素に対しては、第2の輝度領域の輝度範囲に割り当てられた出力レベルの最大値から、最大出力レベルまで、主要領域の区間α以外の部分に割り当てられたステップ数よりも少ないステップ数となるように、入力レベルに対応した出力レベルが割り当てられる。
なお、図7Cにおいても、主要領域の輝度の上限値を中心とする所定の輝度範囲を区間α、第2の輝度領域の輝度の下限値を中心とする所定の輝度範囲を区間βとしたが、例えば、主要領域輝度範囲内の上限側の所定区間を区間α、第2の輝度領域の輝度範囲内の下限側の所定区間を区間βとしたり、主要領域輝度範囲の上限よりも高輝度の所定の区間を区間α、第2の輝度領域の輝度範囲の下限よりも低輝度の所定の区間を区間βとするようにしても良い。更に、主要領域の輝度の下限側、および、第2の輝度領域の輝度の上限側に、区間αおよび区間βと同様の出力レベルのステップ数が割り当てられるような領域を設定するようにしても良い。
更に、出力レベル変換処理部135は、例えば、主要領域、および、第2の輝度領域における入力レベルに対する出力レベルの比率(直線の傾き)よりも、それらの輝度領域以外の輝度範囲における入力レベルに対する出力レベルの比率が低くなるように、それぞれの輝度領域に割り当てられる階調のステップ数を決定するようにしてもよい。
以上説明した様に、画像生成部93−1において設定される主要領域と第2の輝度領域は、予め定められた輝度範囲ではなく、撮像された画像を基に設定されるものである。すなわち、画像生成部93−1によって生成される画像は、撮像された画像全体のうち、例えば、画面の多くを占める被写体など、ユーザが画像を認識するために最も重要である輝度範囲と、その輝度範囲よりも高輝度の範囲の中で、特に多くを占めている輝度範囲において、限られた階調数のうちの多くを割り当てるようになされているものである。
図8を用いて、入力信号、出力レベル変換処理部135による階調変換後の信号、および、表示される信号の輝度レベルについて説明する。
図8Aは、図6Aを用いて説明した階調変換が行われた場合の入力信号、出力レベル変換処理部135による階調変換後の信号、および、ディスプレイ82に表示される、もしくは、印刷や画像認識、記録、または、画像通信などの処理のために画像利用装置83へ出力される信号の輝度レベルを示す図である。図8Aに示される場合、離散した輝度範囲である主要領域と第2の輝度領域の信号において、それぞれの輝度階調幅(領域内の階調の最大値と最小値の間のステップ数)が充分与えられている状態で、連続した輝度階調に変換される。主要領域と第2の輝度領域の間の輝度範囲の画素は、全て、主要領域の最大出力レベルで出力される。そして、変換後の信号が、表示または画像利用装置83への出力の条件に応じて、階調変換(階調数が圧縮)されるようになされている。具体的には、例えば、ディスプレイ82が、256階調で画像を表示することができるようになされている場合、表示制御部94は、画像生成部93−1から供給された信号、すなわち、出力レベル変換処理部135による階調変換後の信号を、256階調の信号に変換する。また、画像利用装置83が、画像認識処理であり、特定の対象物(例えば、人間や車など)を供給された画像から検出するために実行される画像処理において処理に用いられる階調数が、256階調である場合、出力制御部95は、画像生成部93−1から供給された信号、すなわち、出力レベル変換処理部135による階調変換後の信号を、256階調の信号に変換する。
図8Bは、図6Bを用いて説明した階調変換が行われた場合の入力信号、出力レベル変換処理部135による階調変換後の信号、および、ディスプレイ82に表示される、または、画像利用装置83へ出力される信号の輝度レベルを示す図である。図8Bに示される場合、主要領域と第2の輝度領域の間の領域には、主要領域と第2の輝度領域よりも少ないステップ数の階調しか与えられていない。そのため、変換後の信号は、主要領域と第2の輝度領域の間の領域のステップ数が少ない分、入力信号よりも輝度の階調数が大幅に圧縮されるにもかかわらず、主要領域と第2の輝度領域の信号には、充分な輝度階調幅が与えられている。そして、変換後の信号が、表示または画像利用装置83への出力の条件に応じて、階調変換(階調数が圧縮)されるようになされている。
図8Cは、図6Cを用いて説明した階調変換が行われた場合の入力信号、出力レベル変換処理部135による階調変換後の信号、および、ディスプレイ82に表示される、または、画像利用装置83へ出力される信号の輝度レベルを示す図である。図8Cに示される場合、主要領域と第2の輝度領域と、それらの間の領域で、割り当てられる輝度の階調ステップ数を、上述した区間αおよび区間βによってなだらかに変化させるように、すなわち、区間αおよび区間βにおいては、主要領域と第2の輝度領域よりも少ないステップ数の階調が与えられるようになされている。そのため、変換後の信号においては、主要領域と第2の輝度領域には、充分な輝度階調幅が与えられている状態で、入力信号よりも輝度の階調数が大幅に圧縮される。そして、変換後の信号が、表示または画像利用装置83への出力の条件に応じて、階調変換(階調数が圧縮)されるようになされている。
次に、図9のフローチャートを参照して、図5を用いて説明した画像生成部93−1が用いられている画像処理装置81において実行される画像表示処理1について説明する。
ステップS1において、撮像部91は、操作入力部92から供給されたユーザの操作入力を基に被写体を撮像し、対数変換され、A/D変換された撮像画像信号を、画像生成部93−1に供給する。画像生成部93−1は、撮像された画像信号を取得する。
ステップS2において、画像生成部93−1の平均輝度算出部131は、撮像された画像全体の平均輝度を求め、算出結果を、主要領域輝度範囲設定部132に供給する。
ステップS3において、主要領域輝度範囲設定部132は、平均輝度算出部131から供給された画像全体の平均輝度を基に、主要領域の輝度範囲を設定し、設定した主要領域の輝度範囲を、出力レベル変換処理部135、および、第2の輝度領域輝度平均値算出部133に供給する。
主要領域輝度範囲設定部132は、例えば、画像信号の平均輝度を中心とした所定の輝度の範囲を主要領域の輝度範囲としても良いし、画像信号の平均輝度である画素を中心として、この輝度に近い輝度値を有するものから順番に所定ビット数の画素を選択して主要領域の輝度範囲としても良い。
ステップS4において、第2の輝度領域輝度平均値算出部133は、撮像部91から供給された画像信号のうち、主要領域輝度範囲設定部132により設定された主要領域の輝度範囲よりも明るい領域の平均輝度を求め、その結果を、第2の輝度領域輝度範囲設定部134に供給する。
ステップS5において、第2の輝度領域輝度範囲設定部134は、第2の輝度領域輝度平均値算出部133から供給された主要領域の輝度範囲よりも明るい領域の平均輝度を基に、第2の輝度領域の輝度範囲を設定し、設定した第2の輝度領域の輝度範囲を出力レベル変換処理部135に供給する。
第2の輝度領域輝度範囲設定部134は、例えば、主要領域の輝度範囲より高輝度の範囲の画素の平均輝度を中心とした所定の輝度の範囲を第2の輝度領域の輝度範囲としても良いし、主要領域の輝度範囲より高輝度の範囲の画素の平均輝度である画素を中心として、この輝度に近い輝度値を有するものから順番に所定ビット数の画素を選択して第2の輝度領域の輝度範囲としても良い。
ステップS6において、出力レベル変換処理部135は、主要領域輝度範囲設定部132により設定された主要領域の輝度範囲、および、第2の輝度領域輝度平均値算出部133により設定された第2の輝度領域の輝度範囲を基に、例えば、図6または図7を用いて説明したような入力レベルと出力レベルの変換特性を決定する。
ステップS7において、出力レベル変換処理部135は、撮像部91から供給された撮像画像の階調を、ステップS6において決定された変換特性に基づいて変換し、出力制御部95に供給する。
ステップS8において、出力制御部95は、供給された画像信号を、図8を用いて説明した様に、画像利用装置83が実行可能な処理に適合した階調に変換する。
ステップS9において、出力制御部95は、画像利用装置83が実行可能な処理に適合した階調に変換された、変換後の画像データの画像利用装置83への出力を制御して、処理が終了される。
なお、ここでは、生成された画像を画像利用装置83に出力させる処理について説明したが、生成された画像を、表示制御部94を介してディスプレイ82に出力させて表示させる場合には、ステップS1乃至ステップS7において基本的に同様の処理が実行され、画像信号が表示制御部94に供給されて、ディスプレイ82において処理可能な階調に変換されて出力され、その表示が制御される。
このような処理により、対数変換型撮像素子102を用いた撮像部91により撮像された画像データを画像利用装置82に対応した階調で出力させた場合であっても、広い輝度範囲に散らばって存在するユーザが必要とする画像情報を、必要な輝度領域の輝度の階調数を確保しつつ、画像利用装置82にとって扱いやすいように輝度圧縮が行われた画像データを生成することができる。
例えば、トンネル内のトンネル出口付近を走行している車の前面の画像を撮像して、撮像された画像をディスプレイに表示することができるようになされている場合、
(1)対数変換型撮像素子102を用いた撮像部91を用いて撮像された広ダイナミクスレンジの画像を、画像生成部93−1を有する画像処理装置81を用いて処理せずに、そのままの階調特性で表示出力させる
(2)従来のCCDカメラを有して通常の露光制御において撮像された画像を、合成等の処理を行うことなく表示出力させる
(3)対数変換型撮像素子102を用いた撮像部91を用いて撮像された広ダイナミクスレンジの画像を、画像生成部93−1を有する画像処理装置81を用いて処理した後、表示出力させる
以上のそれぞれの条件において、図10乃至図12を参照して、表示画像の差異について説明する。
まず、対数変換型撮像素子102を用いた撮像部91を用いて撮像された広ダイナミクスレンジの画像を、画像生成部93−1を有する画像処理装置81を用いて処理しない場合の表示画像の例を図10に示す。対数変換型撮像素子102を用いた撮像部91を用いて撮像された広ダイナミクスレンジの画像は、白とび、または、黒つぶれを起こさないが、非常に広いダイナミクスレンジを、表示装置が処理可能な階調に変換するため、濃淡の差がない(シャープさのない)画像が表示されてしまう。
対数変換型撮像素子102により撮像される輝度幅が広いものであっても、一般的な表示デバイスにより表示可能な画像の階調数は、それらを忠実に表示することが可能なほど広いものではない。具体的には、例えば、路面の明るさを基準として露光されたCCDで撮像された画像において異なる階調として表示される画素が、図10における場合では、同一の階調、または、CCDを用いた場合よりも少ない階調数で表示されてしまう。
なお、対数変換型撮像素子102により撮像可能なダイナミクスレンジのうち、得られた撮像画像の輝度の最大値と最小値の間で階調変換を行うようになされていたとしても、1画面中の輝度の差が大きい場合(例えば、図10の場合、トンネル内の路面と、トンネルの外のそれぞれの部分の輝度の差は非常に大きい)には、同様に、濃淡の差がない画像が表示されてしまう。
次に、従来のCCDカメラにより通常の露光制御によって撮像された画像が表示される場合の表示画像の例を図11に示す。例えば、CCDカメラの露光が、撮像される画像の多くの部分を占める、トンネル内の路面の明るさを基にして設定されたとき、図11に示されるように、得られる画像のうち、トンネル内の路面よりも極端に明るいトンネルの外の画像は、白とびを起こしてしまう。なお、露光時間が非常に短く設定された場合、トンネル外の部分は、図11に示されるように白とびを起こすことはないが、トンネル外の部分と比較して、輝度が大幅に低いトンネル内の部分に、黒つぶれが発生してしまい、表示画像の対応する部分の識別が困難となってしまう。
そして、対数変換型撮像素子102を用いた撮像部91を用いて撮像された広ダイナミクスレンジの画像を、画像生成部93−1を有する画像処理装置81を用いて処理した場合の表示画像の例を図12に示す。このように、トンネル内のトンネル出口付近を走行している車の前面の画像が撮像された場合、車の前面の道路部分の輝度周辺が、主要領域の輝度範囲として設定される。そして、主要領域よりも高輝度の画素のうちの主な部分として、トンネル外の部分が、第2の輝度領域として設定される。すなわち、画像生成部93−1を有する画像処理装置81を用いた画像変換においては、撮像された画像のうち、トンネル内に対応する輝度範囲とトンネル外に対応する輝度範囲において、ユーザに認識しやすいような階調ステップ数が割り当てられる。したがって、画像生成部93−1を有する画像処理装置81を用いて処理した場合の表示画像は、図10または図11を用いて説明した場合よりも、撮像された画像のうちの主な部分(ここでは、車の全面の道路部分)と、それとは離散した輝度範囲のうちの主な部分(ここでは、トンネルの外の部分)が、ユーザにより認識しやすいように表示される。
このようにすることにより、広ダイナミックイレンジで撮像された画像のうち、ユーザが必要とする情報が、ユーザにより認識しやすいように、すなわち、充分な階調ステップ数が割り当てられて表示されるように変換される。
同様にして、上述した3つの条件において得られた画像が、画像利用装置83に供給されて処理される場合について考える。
例えば、14bitでA/D変換された広ダイナミクスレンジ画像は、非常に広い輝度大域を含むため、従来の画像利用装置83が実行する処理では、充分に目的を達成することができない場合がある。例えば、14bitでA/D変換された広ダイナミクスレンジ画像データに対して、通常の画像データと同様に微分処理を行うラプラシアン変換処理を施した場合、きわめてコントラストが低い画像と同等に、ノイズ状の結果しか得ることができない。また、14bitでA/D変換された広ダイナミクスレンジ画像データに対して、2値化処理を行おうとした場合、閾値となりうる輝度の候補が非常に多くなってしまうため、処理量が爆発的に増大してしまう。このように、広ダイナミクスレンジ画像データを用いて一般的な画像処理を行うためには、従来実行されていた画像処理のプロセスを大幅に変更する必要が生じる場合がある。
これに対して、対数変換型撮像素子102を用いた撮像部91を用いて撮像された広ダイナミクスレンジの画像を、画像生成部93−1を有する画像処理装置81を用いて処理した後、画像利用装置83に供給することにより、画像利用装置83においては、従来の画像処理のプロセスをそのまま実行することが可能となる場合がある。
一例として、上述した3つの条件において得られた画像が、画像利用装置83に供給されて、画像利用装置83が実行する画像認識処理に用いられた場合について考える。
図10に示される画像では、トンネルの外に存在する車を検出しようとしたとき、得られた画像データのダイナミックレンジは申し分なく広いのであるが、それぞれの対象物の輝度の濃淡差がほとんどなくなってしまうため、その画像抽出のために必要な処理(例えば、エッジ検出やラプラシアン変換)を行ったとしても、対象物の検出精度が非常に低いものとなってしまう。そして、図11に示される画像では、トンネルの外に存在する車を検出しようとしても、必要な輝度領域のデータが得られないため、誤検出が発生してしまう。
これに対して、図12に示される画像では、トンネルの外に存在する車を検出するために必要な輝度領域のデータが、充分な輝度階調ステップ数を与えられて供給されるため、精度よく対象物を認識することができる。
また、画像利用装置82が、生成された画像データの送信や記録などの処理を実行するようになされている場合、対数変換型撮像素子102を用いた撮像部91を用いて撮像された広ダイナミクスレンジの画像を、そのままの状態で送信または記録することも可能ではあるが、対数変換型撮像素子102を用いた撮像部91を用いて撮像された広ダイナミクスレンジの画像は、非常にデータ容量が多いため、記録された画像データまたは送信された画像データの利用目的によっては、限りある記録容量または送受信路のトラフィックを、無駄に浪費してしまうことになりかねない。そこで、記録された画像データまたは送信された画像データの利用目的によって、利用される輝度領域に主に階調ステップ数を割り当てるようにして、記録容量または送受信路のトラフィックを節約することができるようにすると好適である。
また、対数変換型撮像素子102を用いた場合、1回の撮像で、広ダイナミクスレンジの画像を得ることができる。したがって、対数変換型撮像素子102を用いた撮像部91を用いて撮像された広ダイナミクスレンジの画像を、画像生成部93−1を有する画像処理装置81を用いて処理した場合、従来のCCDを用いて異なるシャッタ時間で撮像された画像を合成することなどにより広ダイナミクスレンジの画像を得るようになされている場合と比較して、特に、動画像のフレームレートを容易に高くすることができる。
また、対数変換型撮像素子102を用いた撮像部91を用いて撮像された広ダイナミクスレンジの画像を、画像生成部93−1を有する画像処理装置81を用いて処理することにより、例えば、図13に示されるように、夜の街中を走行する車の前面の画像を撮像して、撮像された画像がディスプレイに表示されるようになされている場合においても、他の車のヘッドライトやテールランプ、または、街灯など、画面上の多くの部分の輝度値とは離散した輝度値を有する画素を含む画像も、白とびや黒つぶれを起こすことなく、更に、ユーザが必要としている画像情報が、ヘッドライトやテールランプ、または、街灯などの高輝度の画素のために認識しにくくなることなく、充分な階調を割り当てられて表示されたり、画像処理されるようになされる。
以上説明した画像生成部93−1は、主要領域の輝度範囲と、主要領域の輝度範囲より高輝度の範囲のうちの主な部分である第2の輝度領域の輝度範囲に対して、多くの階調ステップ数が割り当てられるものとして説明した。これに対して、設定される輝度範囲が、主要領域の輝度範囲と第2の輝度領域の輝度範囲の2つではない場合について説明する。
次に、図14は、図2の画像生成部93の構成の第2の例である画像生成部93−2の構成を示すブロック図である。画像生成部93−2は、主要領域の輝度範囲以外に、主要領域の輝度範囲より高輝度の範囲のうちの主な部分である第2の輝度領域の輝度範囲と、主要領域の輝度範囲より低輝度の範囲のうちの主な部分である第3の輝度領域の輝度範囲との3つの輝度領域を設定し、設定された3つの輝度領域に対して、多くの階調ステップ数を割り当てることができるようになされている。
なお、図5における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。
すなわち、図14の画像生成部93−2は、図5を用いて説明した画像生成部93−1と基本的に同様の平均輝度算出部131、および、主要領域輝度範囲設定部132を有し、画像生成部93−1の第2の輝度領域輝度平均値算出部133および第2の輝度領域輝度範囲設定部134が省略され、高輝度領域輝度平均値算出部161、高輝度領域輝度範囲設定部162、低輝度領域輝度平均値算出部163、および、低輝度領域輝度範囲設定部164が新たに設けられ、出力レベル変換処理部135に代わって、出力レベル変換処理部165が設けられている。
高輝度領域輝度平均値算出部161は、撮像部91から供給された画像信号を取得し、取得された画像信号のうち、主要領域輝度範囲設定部132により設定された主要領域の輝度範囲より高輝度の範囲の画素の平均輝度を算出し、算出結果を、高輝度領域輝度範囲設定部162に供給する。
高輝度領域輝度範囲設定部162は、高輝度領域輝度平均値算出部161から供給された主要領域の輝度範囲より高輝度の範囲の画素の平均輝度を基に、主要領域より高輝度である第2の輝度領域の輝度範囲を設定し、設定した第2の輝度領域の輝度範囲を出力レベル変換処理部165に供給する。
高輝度領域輝度範囲設定部162は、例えば、主要領域の輝度範囲より高輝度の範囲の画素の平均輝度を中心とした所定の輝度の範囲を第2の輝度領域の輝度範囲としても良いし、主要領域の輝度範囲より高輝度の範囲の画素の平均輝度である画素を中心として、この輝度に近い輝度値を有するものから順番に所定ビット数の画素を選択して第2の輝度領域の輝度範囲としても良い。
低輝度領域輝度平均値算出部163は、撮像部91から供給された画像信号を取得し、取得された画像信号のうち、主要領域輝度範囲設定部132により設定された主要領域の輝度範囲より低輝度の範囲の画素の平均輝度を算出し、算出結果を、低輝度領域輝度範囲設定部164に供給する。
低輝度領域輝度範囲設定部164は、低輝度領域輝度平均値算出部163から供給された主要領域の輝度範囲より低輝度の範囲の画素の平均輝度を基に、主要領域より低輝度である第3の輝度領域の輝度範囲を設定し、設定した第3の輝度領域の輝度範囲を出力レベル変換処理部165に供給する。
低輝度領域輝度範囲設定部164は、例えば、主要領域の輝度範囲より低輝度の範囲の画素の平均輝度を中心とした所定の輝度の範囲を第3の輝度領域の輝度範囲としても良いし、主要領域の輝度範囲より低輝度の範囲の画素の平均輝度である画素を中心として、この輝度に近い輝度値を有するものから順番に所定ビット数の画素を選択して第3の域輝度範囲としても良い。
出力レベル変換処理部165は、撮像部91から供給された画像信号を取得して、主要領域輝度範囲設定部132、高輝度領域輝度範囲設定部162、および、低輝度領域輝度範囲設定部164から供給された、主要領域の輝度範囲、第2の輝度領域の輝度範囲、および、第3の輝度領域の輝度範囲の情報を基に、取得した画像信号の出力レベルを変換する。
具体的には、出力レベル変換処理部165は、例えば、図15Aに示されるように、入力レベルに対して出力レベルを変換することができる。すなわち、第3の輝度領域より輝度の入力レベルが低い画素は、入力レベルにかかわらず、出力レベルは0(すなわち、真っ黒)とされる。そして、第3の輝度領域内、主要領域内、および、第2の輝度領域内の画素には、入力レベルに応じて、所定の階調の出力レベルが割り当てられる。また、第3の輝度領域と主要領域の間の輝度範囲、および、主要領域と第2の輝度領域の間の輝度範囲の画素は、入力レベルにかかわらず、その範囲の直前に割り当てられた出力レベルで出力される。そして、第2の輝度領域よりも高輝度の画素に対しては、第2の輝度領域の輝度範囲に割り当てられた出力レベルの最大値となる出力レベルが割り当てられる。
また、出力レベル変換処理部165は、例えば、図15Bに示されるように、入力レベルに対して出力レベルを変換することができる。すなわち、第3の輝度領域より輝度の入力レベルが低い画素は、入力レベルにかかわらず、出力レベルは0(すなわち、真っ黒)とされる。そして、第3の輝度領域内、主要領域内、および、第2の輝度領域内の画素には、入力レベルに応じて、所定の階調の出力レベルが割り当てられる。また、第3の輝度領域と主要領域の間の輝度範囲、および、主要領域と第2の輝度領域の間の輝度範囲の画素は、主要領域などに割り当てられたステップ数よりも少ないステップ数で、入力レベルに応じた出力レベルが割り当てられる。そして、第2の輝度領域よりも高輝度の画素に対しては、第2の輝度領域に割り当てられた出力レベルの最大値となる出力レベルが割り当てられる。
また、出力レベル変換処理部165は、例えば、図15Cに示されるように、入力レベルに対して出力レベルを変換することができる。すなわち、出力レベル変換処理部165は、例えば、第3の輝度領域の輝度の上限値を中心とする所定の輝度範囲を区間α、主要領域の輝度の下限値を中心とする所定の輝度範囲を区間β、主要領域の輝度の上限値を中心とする所定の輝度範囲を区間γ、第2の輝度領域の輝度の下限値を中心とする所定の輝度範囲を区間δとする。そして、第3の輝度領域より輝度の入力レベルが低い画素は、入力レベルにかかわらず、出力レベルは0(すなわち、真っ黒)とされる。第3の輝度領域内であり、区間α以外の画素、主要領域輝度の範囲内であり、区間βまたは区間γ以外の画素、および、第2の輝度領域の範囲内であり、区間δ以外の画素には、入力レベルに応じて、所定の階調の出力レベルが割り当てられる。また、区間α、区間β、区間γ、および、区間δの画素には、主要領域輝度範囲などであって、区間α乃至区間δ以外の部分に割り当てられたステップ数よりも少ないステップ数の所定の階調の出力レベルが割り当てられる。そして、第2の輝度領域よりも高輝度の画素に対しては、第2の輝度領域に割り当てられた出力レベルの最大値となる出力レベルが割り当てられる。
なお、図15Cにおいては、第3の輝度領域の輝度の上限値を中心とする所定の輝度範囲を区間α、主要領域の輝度の下限値を中心とする所定の輝度範囲を区間β、主要領域の輝度の上限値を中心とする所定の輝度範囲を区間γ、第2の輝度領域の輝度の下限値を中心とする所定の輝度範囲を区間δとしたが、例えば、第3の輝度領域内の上限側の所定の輝度範囲を区間α、主要領域内の下限側の所定の輝度範囲を区間β、主要領域内の上限側の所定の輝度範囲を区間γ、第2の輝度領域内の下限側の所定の輝度範囲を区間δとしたり、第3の輝度領域の上限よりも高輝度の所定の輝度範囲を区間α、主要領域の下限よりも低輝度の所定の輝度範囲を区間β、主要領域の上限よりも高輝度の所定の輝度範囲を区間γ、第2の輝度領域の下限よりも低輝度の所定の輝度範囲を区間δとするようにしても良い。更に、第3の輝度領域の輝度の下限側、および、第2の輝度領域の輝度の上限側に、区間α乃至区間δと同様の出力レベルのステップ数が割り当てられるような領域を設定するようにしても良い。
また、図15においては、第3の輝度領域よりも低輝度、および、第2の輝度領域よりも高輝度の範囲において、出力レベルのステップ数(階調のステップ数)を割り当てない場合について説明した。これに対して、出力レベル変換処理部165は、例えば、図7を用いて説明した場合と同様に、第3の輝度領域よりも低輝度、および、第2の輝度領域よりも高輝度の範囲においても、主要領域、第2の輝度領域、および、第3の輝度領域よりも少ないステップ数を割り当てるようにしてもよい。
更に、出力レベル変換処理部165は、例えば、主要領域、第2の輝度領域、および、第3の輝度領域における入力レベルに対する出力レベルの比率(直線の傾き)よりも、これらの領域以外の輝度範囲における入力レベルに対する出力レベルの比率が低くなるように、それぞれの輝度領域に割り当てられる階調のステップ数を決定するようにしてもよい。
次に、図16を用いて、入力信号、出力レベル変換処理部165による階調変換後の信号、および、表示される信号の輝度レベルについて説明する。
図16Aは、図15Aを用いて説明した階調変換が行われた場合の入力信号、出力レベル変換処理部165による階調変換後の信号、および、ディスプレイ82に表示される、もしくは、印刷や画像認識、記録、または、画像通信などの処理のために画像利用装置83へ出力される信号の輝度レベルを示す図である。図16Aに示される場合、離散した輝度範囲である主要領域、第2の輝度領域、および第3の輝度領域の信号の輝度階調幅が充分与えられている状態で、連続した輝度階調に変換される。第3の輝度領域と主要領域の間の輝度範囲の画素は、全て、第3の輝度領域の最大出力レベルで出力され、主要領域と第2の輝度領域の間の輝度範囲の画素は、全て、主要領域の最大出力レベルで出力される。そして、変換後の信号が、表示または画像利用装置83への出力の条件に応じて、階調変換(階調数が圧縮)されるようになされている。
図16Bは、図15Bを用いて説明した階調変換が行われた場合の入力信号、出力レベル変換処理部165による階調変換後の信号、および、ディスプレイ82に表示される、または、画像利用装置83へ出力される信号の輝度レベルを示す図である。図16Bに示される場合、第3の輝度領域と主要領域の間、および、主要領域と第2の輝度領域の間の領域には、主要領域、第2の輝度領域、および第3の輝度領域よりも少ないステップ数の階調しか与えられていない。そのため、変換後の信号は、第3の輝度領域と主要領域の間、および、主要領域と第2の輝度領域の間の領域のステップ数が少ない分、入力信号よりも輝度の階調数が大幅に圧縮されるにもかかわらず、主要領域、第2の輝度領域、および第3の輝度領域の信号の輝度階調幅は充分に与えられている。そして、変換後の信号が、表示または画像利用装置83への出力の条件に応じて、階調変換(階調数が圧縮)されるようになされている。
図16Cは、図15Cを用いて説明した階調変換が行われた場合の入力信号、出力レベル変換処理部165による階調変換後の信号、および、ディスプレイ82に表示される、または、画像利用装置83へ出力される信号の輝度レベルを示す図である。図16Cに示される場合、主要領域、第2の輝度領域、および第3の輝度領域と、それらの間の領域で、割り当てられる輝度の階調ステップ数を、上述した区間α乃至区間δによってなだらかに変化させるように、すなわち、区間α乃至区間δにおいては、主要領域、第2の輝度領域、および第3の輝度領域の区間α乃至区間δ以外の部分よりも少ないステップ数の階調が与えられるようになされている。そのため、変換後の信号においては、主要領域、第2の輝度領域、および第3の輝度領域に充分な輝度階調幅が与えられている状態で、入力信号よりも輝度の階調数が大幅に圧縮される。そして、変換後の信号が、表示または画像利用装置83への出力の条件に応じて、階調変換(階調数が圧縮)されるようになされている。
次に、図17のフローチャートを参照して、図14の画像生成部93−2を含む画像処理装置81において実行される画像表示処理2について説明する。
ステップS31において、撮像部91は、操作入力部92から供給されたユーザの操作入力を基に被写体を撮像し、対数変換され、A/D変換された撮像画像信号を、画像生成部93−2に供給する。画像生成部93−2は、撮像された画像信号を取得する。
ステップS32において、画像生成部93−2の平均輝度算出部131は、撮像された画像全体の平均輝度を求め、算出結果を、主要領域輝度範囲設定部132に供給する。
ステップS33において、主要領域輝度範囲設定部132は、平均輝度算出部131から供給された画像全体の平均輝度を基に、主要領域の輝度範囲を設定し、設定した主要領域の輝度範囲を、出力レベル変換処理部165、高輝度領域輝度平均値算出部161、および、低輝度領域輝度平均値算出部163に供給する。
主要領域輝度範囲設定部132は、例えば、画像信号の平均輝度を中心とした所定の輝度の範囲を主要領域の輝度範囲としても良いし、画像信号の平均輝度である画素を中心として、この輝度に近い輝度値を有するものから順番に所定ビット数の画素を選択して主要領域の輝度範囲としても良い。
ステップS34において、高輝度領域輝度平均値算出部161は、撮像部91から供給された画像信号のうち、主要領域輝度範囲設定部132により設定された主要領域の輝度範囲よりも明るい領域の平均輝度を求め、その結果を、高輝度領域輝度範囲設定部162に供給する。
ステップS35において、高輝度領域輝度範囲設定部162は、高輝度領域輝度平均値算出部161から供給された主要領域の輝度範囲よりも明るい領域の平均輝度を基に、第2の輝度領域の輝度範囲を設定し、設定した第2の輝度領域の輝度範囲を出力レベル変換処理部165に供給する。
高輝度領域輝度範囲設定部162は、例えば、主要領域の輝度範囲より高輝度の範囲の画素の平均輝度を中心とした所定の輝度の範囲を第2の輝度領域の輝度範囲としても良いし、主要領域の輝度範囲より高輝度の範囲の画素の平均輝度である画素を中心として、この輝度に近い輝度値を有するものから順番に所定ビット数の画素を選択して第2の輝度領域の輝度範囲としても良い。
ステップS36において、低輝度領域輝度平均値算出部163は、撮像部91から供給された画像信号のうち、主要領域輝度範囲設定部132により設定された主要領域の輝度範囲よりも暗い領域の平均輝度を求め、その結果を、低輝度領域輝度範囲設定部164に供給する。
ステップS37において、低輝度領域輝度範囲設定部164は、低輝度領域輝度平均値算出部163から供給された主要領域の輝度範囲よりも暗い領域の平均輝度を基に、第3の輝度領域の輝度範囲を設定し、設定した第3の輝度領域の輝度範囲を出力レベル変換処理部165に供給する。
低輝度領域輝度範囲設定部164は、例えば、主要領域の輝度範囲より低輝度の範囲の画素の平均輝度を中心とした所定の輝度の範囲を第3の輝度領域の輝度範囲としても良いし、主要領域の輝度範囲より低輝度の範囲の画素の平均輝度である画素を中心として、この輝度に近い輝度値を有するものから順番に所定ビット数の画素を選択して第3の域輝度範囲としても良い。
ステップS38において、出力レベル変換処理部165は、主要領域輝度範囲設定部132により設定された主要領域の輝度範囲、高輝度領域輝度範囲設定部162により設定された第2の輝度領域の輝度範囲、および、低輝度領域輝度範囲設定部164により設定された第3の輝度領域の輝度範囲を基に、例えば、図15を用いて説明したような入力レベルと出力レベルの変換特性を決定する。
ステップS39において、出力レベル変換処理部165は、撮像部91から供給された撮像された画像の階調を、ステップS39において決定された変換特性に基づいて変換し、出力制御部95に供給する。
ステップS40において、出力制御部95は、供給された画像信号を、図16を用いて説明した様に、画像利用装置83が実行可能な処理に適合した階調に変換する。
ステップS41において、出力制御部95は、画像利用装置83が実行可能な処理に適合した階調に変換された、変換後の画像データの画像利用装置83への出力を制御して、処理が終了される。
なお、ここでは、生成された画像を画像利用装置83に出力させる処理について説明したが、生成された画像を、表示制御部94を介してディスプレイ82に出力させて表示させる場合には、ステップS31乃至ステップS39において基本的に同様の処理が実行され、画像信号が表示制御部94に供給されて、ディスプレイ82において処理可能な階調に変換されて出力され、その表示が制御される。
このような処理により、対数変換型撮像素子102を用いた撮像部91により撮像された画像データにおいて、広い輝度範囲に、特に、主な輝度範囲から離散した高輝度と低輝度の領域のいずれにも、ユーザが必要とする画像情報が存在するような場合であっても、このような画像をディスプレイ82に対応した階調で表示させたり、または、画像利用装置83が実行する処理に対応した階調で出力させたときに、ユーザから識別可能な状態に表示または印刷出力させたり、画像利用装置83が容易に処理することができるような画像データを生成することができる。
図14の画像生成部93−2を含む画像処理装置81により表示される画像は、具体的には、例えば、図18に示されるように、撮像される画像のほとんどの部分が路面であり、その路面の輝度より非常に高輝度である空の部分が画角に含まれており、更に、路面の輝度より非常に低輝度である黒いスーツを着た人が画角に含まれている場合であっても、路面、空、黒いスーツを着た人のそれぞれに対応する輝度付近に、多くの階調ステップ数が割り当てられるようになされている。したがって、図14の画像生成部93−2を含む画像処理装置81を用いることにより、画像表示処理において、空の部分が白飛びして認識しにくい画像が表示されたり、撮像されているにもかかわらず、黒いスーツを着た人がユーザから判別できないように黒くつぶれて表示されてしまったり、画像認識処理において、黒いスーツを着た人を認識(または抽出)できないようなことを防ぐことが可能となる。
更に、同様にして、図14の画像生成部93−2を含む画像処理装置81により表示される画像は、具体的には、例えば、図19に示されるように、撮像される画像のほとんどの部分がトンネル内の暗い路面であり、その路面の輝度よりやや高輝度であるトンネル内の白い壁や、非常に高輝度であるトンネル外の部分が画角に含まれており、更に、トンネル内の路面の輝度より非常に低輝度である、トンネル内の黒い車が画角に含まれている場合であっても、トンネル内の路面、トンネルの壁やトンネルの外、そして、トンネル内の黒い車のそれぞれに対応する輝度付近に、多くの階調ステップ数が割り当てられるようになされている。図14の画像生成部93−2を含む画像処理装置81を用いることにより、例えば、画像表示処理において、トンネルの外の部分が白飛びして認識しにくい画像が表示されたり、撮像されているにもかかわらず、トンネル内の黒い車がユーザから判別できないように黒くつぶれて表示されてしまうようなことを防いだり、画像認識処理において、トンネルの外の部分の車やガードレールなど、または、トンネルの中の黒い車を認識対象物として抽出できないようなことを防ぐことが可能となる。
更に、画像生成部93においては、3つ以上の領域を設定して、設定された領域と設定されていない領域に割り当てられる階調ステップ数を異なるものとすることができるようにしても良い。
次に、図20は、図2の画像生成部93の構成の第3の例である画像生成部93−3の構成を示すブロック図である。画像生成部93−3は、主要領域の輝度範囲以外に、複数の輝度領域とそれらの輝度範囲を設定し、設定された複数の輝度範囲に対して、設定されていない輝度範囲よりも多くの階調ステップ数を割り当てることができるようになされている。
なお、図5における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。
すなわち、図20の画像生成部93−3は、図5を用いて説明した画像生成部93−1と基本的に同様の平均輝度算出部131、および、主要領域輝度範囲設定部132を有し、画像生成部93−1の第2の輝度領域輝度平均値算出部133および第2の輝度領域輝度範囲設定部134が省略され、第2の輝度領域輝度平均値算出部181、第2の輝度領域輝度範囲設定部182、第3の輝度領域輝度平均値算出部183、第3の輝度領域輝度範囲設定部184、第4の輝度領域輝度平均値算出部185、および、第4の輝度領域輝度範囲設定部186が新たに設けられ、出力レベル変換処理部135に代わって、出力レベル変換処理部187が設けられている。
第2の輝度領域輝度平均値算出部181は、撮像部91から供給された画像信号のうち、主要領域輝度範囲設定部132により設定された主要領域の輝度範囲以外の所定の範囲(例えば、主要領域の輝度範囲より高輝度の範囲を更に2分割し、その最も高輝度の部分など)に含まれる輝度を有する画素の平均輝度を算出し、算出結果を、第2の輝度領域輝度範囲設定部182に供給する。
第2の輝度領域輝度範囲設定部182は、第2の輝度領域輝度平均値算出部181から供給された主要領域以外の所定の範囲に含まれる輝度を有する画素の平均輝度を基に、第2の輝度領域の輝度範囲を設定し、設定した第2の輝度領域の輝度範囲を出力レベル変換処理部187に供給する。
第2の輝度領域輝度範囲設定部182は、例えば、所定の範囲の輝度を有する画素の平均輝度を中心とした所定の輝度の範囲を第2の輝度領域の輝度範囲としても良いし、所定の範囲の輝度を有する画素の平均輝度である画素を中心として、この輝度に近い輝度値を有するものから順番に所定ビット数の画素を選択して第2の輝度領域の輝度範囲としても良い。
第3の輝度領域輝度平均値算出部183は、撮像部91から供給された画像信号のうち、主要領域輝度範囲設定部132により設定された主要領域の輝度範囲以外の所定の範囲(例えば、主要領域の輝度範囲より高輝度の範囲を更に2分割し、2分割されたうちの低輝度の部分など)に含まれる輝度を有する画素の平均輝度を算出し、算出結果を、第3の輝度領域輝度範囲設定部184に供給する。
第3の輝度領域輝度範囲設定部184は、第3の輝度領域輝度平均値算出部183から供給された主要領域以外の所定の範囲に含まれる輝度を有する画素の平均輝度を基に、第3の輝度領域の輝度範囲を設定し、設定した第3の輝度領域の輝度範囲を出力レベル変換処理部187に供給する。
第3の輝度領域輝度範囲設定部184は、例えば、所定の範囲の輝度を有する画素の平均輝度を中心とした所定の輝度の範囲を第3の輝度領域の輝度範囲としても良いし、所定の範囲の輝度を有する画素の平均輝度である画素を中心として、この輝度に近い輝度値を有するものから順番に所定ビット数の画素を選択して第3の域輝度範囲としても良い。
第4の輝度領域輝度平均値算出部185は、撮像部91から供給された画像信号のうち、主要領域輝度範囲設定部132により設定された主要領域の輝度範囲以外の所定の範囲(例えば、主要領域の輝度範囲より低輝度の範囲を更に2分割し、2分割されたうちの低輝度の部分など)に含まれる輝度を有する画素の平均輝度を算出し、算出結果を、第4の輝度領域輝度範囲設定部186に供給する。
第4の輝度領域輝度範囲設定部186は、第4の輝度領域輝度平均値算出部185から供給された主要領域以外の所定の範囲に含まれる輝度を有する画素の平均輝度を基に、第4の輝度領域の輝度範囲を設定し、設定した第4の輝度領域の輝度範囲を出力レベル変換処理部187に供給する。
第4の輝度領域輝度範囲設定部186は、例えば、所定の範囲の輝度を有する画素の平均輝度を中心とした所定の輝度の範囲を第4の輝度領域の輝度範囲としても良いし、所定の範囲の輝度を有する画素の平均輝度である画素を中心として、この輝度に近い輝度値を有するものから順番に所定ビット数の画素を選択して第4の域輝度範囲としても良い。
出力レベル変換処理部187は、撮像部91から供給された画像信号を取得して、主要領域輝度範囲設定部132、第2の輝度領域輝度範囲設定部182、第3の輝度領域輝度範囲設定部184、および、第4の輝度領域輝度範囲設定部186から供給された、主要領域の輝度範囲、第2の輝度領域の輝度範囲、第3の輝度領域の輝度範囲および、第4の輝度領域の輝度範囲の情報を基に、取得した画像信号の出力レベルを変換する。
出力レベル変換処理部187は、入力される輝度信号のレベルに対して、所定のステップ数の出力レベル信号(輝度を所定の階調ステップ数で分割した場合のそれぞれの輝度階調レベルの信号)を割り当てて、割り当てられた出力レベルの信号を出力するようになされている。出力レベル変換処理部187は、出力レベル信号の輝度階調レベルの割り当てを、例えば、図6、図7、または、図15を用いて説明した場合と同様に、主要領域および他の領域として設定されている輝度範囲と、それ以外の範囲とで、異なるものとする。すなわち、出力レベル変換処理部187は、主要領域および他の領域として設定されている輝度範囲により多くの出力レベルのステップ数を割り当てて、対応する輝度範囲の画素の階調数が多くなり、表示または印刷出力される画像の対応する輝度範囲の部分がユーザによってよりよく認識できるような変換処理を実行する。
なお、図20には、主要領域以外に、第2乃至第4の輝度領域を設定するための、第2の輝度領域輝度平均値算出部181、第2の輝度領域輝度範囲設定部182、第3の輝度領域輝度平均値算出部183、第3の輝度領域輝度範囲設定部184、第4の輝度領域輝度平均値算出部185、および、第4の輝度領域輝度範囲設定部186が図示されているが、画像生成部93−3には、更に、多くの輝度領域を設定することができるように、他の輝度領域輝度平均値算出部および輝度領域輝度範囲設定部を設けるようにしても良い。
また、図20の画像生成部93−3が実行する処理は、図17を用いて説明した画像表示処理2の処理と基本的には同様であり、設定される領域数を増やした場合に対応するので、その説明は省略する。
以上説明した画像生成部93−1乃至画像生成部93−3は、撮像された画像の全体の輝度の平均値を基に、主要領域を設定するようになされていた。これに対して、撮像された画像のうち、予め定められた領域に含まれる画素の輝度の平均値を基に、主要領域を設定するようにしても良い。
図21は、図2の画像生成部93の構成の第4の例である画像生成部93−4の構成を示すブロック図である。画像生成部93−4は、撮像された画像のうち、予め定められた領域に含まれる画素を切り出し、切り出された領域の輝度の平均値を基に、主要領域を設定するようになされている。
なお、図5における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。
すなわち、図21の画像生成部93−4は、平均輝度算出部131に代わって、主要領域切り出し部201および主要領域輝度平均値算出部202が設けられている以外は、基本的に、図5の画像生成部93−1と同様の構成を有している。
主要領域切り出し部201は、撮像部91から供給された画像信号を取得し、取得された画像信号のうち、予め設定されている画像領域を切り出し、切り出した領域の画素を主要領域輝度平均値算出部202に供給する。
例えば、走行している車の前面の画像を撮像して、撮像された画像をディスプレイに表示されるようになされている場合、走行中に撮像されて表示される画像は常に変化する。上述したように、走行している車において撮像された画像全体の平均値を用いて主要領域を設定した場合、画角内に極端に明るいものや極端に暗いものが入ったときに、主要領域の輝度範囲が変更され、表示される画像全体の明るさが変更されてしまう。これにより、表示画面の主な部分を占める路面などの明るさが頻繁に変更され、運転者が感じる表示画像の明るさがちらついてしまう可能性がある。また、走行している車の前面の画像を撮像して、撮像された画像を基に、対象物(車や人、または、センターラインなど)を検出するようになされている場合、上述したように、走行している車において撮像された画像全体の平均値を用いて主要領域を設定してしまっては、画角内に極端に明るいものや極端に暗いものが入ったときに、主要領域の輝度範囲が変更され、対象物の抽出のための閾値その他のパラメータをそのつど変更する必要が生じてしまう。
そこで、主要領域切り出し部201により切り出される画像の領域を、図22に示されるように、定常的に路面が撮像されると思われる、例えば、画面中央やや左よりの下部の領域221とする。切り出される領域を、定常的に同じものが撮像されると思われる領域とすることにより、表示される画像のうちの主な部分を占める路面の表示の明るさを、略一定にすることができるので、運転者が感じる表示画像の明るさが頻繁にちらつくことを防止したり、対象物の抽出のためのパラメータをそのつど変更せずに処理することが可能となる。
主要領域輝度平均値算出部202は、主要領域切り出し部201から供給された、切り出された領域の画素の平均輝度を算出し、平均輝度の算出結果を、主要領域輝度範囲設定部132に供給する。
そして、図21の画像生成部93−4においては、主要領域輝度平均値算出部202により算出された、切り出された領域の平均輝度を基に、主要領域の輝度範囲が設定され、主要領域の輝度範囲を基に、主要領域の輝度範囲より高輝度の範囲の第2の輝度領域の輝度範囲が設定される。そして、出力レベル変換処理部135により、主要領域および第2の輝度領域として設定されている輝度範囲により多くの出力レベルのステップが割り当てられ、図6乃至図8を用いて説明した場合と同様に、対応する輝度範囲の画素の階調数が多くなり、表示または印刷出力される画像の対応する輝度範囲の部分がユーザによってよりよく認識できたり、画像利用装置83において処理するのに好適な画像データを生成することができるような変換処理が実行される。
次に、図23のフローチャートを参照して、図21の画像生成部93−4が用いられている画像処理装置81において実行される画像表示処理3について説明する。
ステップS71において、撮像部91は、操作入力部92から供給されたユーザの操作入力を基に被写体を撮像し、対数変換され、A/D変換された撮像画像信号を、画像生成部93−4に供給する。画像生成部93−4は、撮像された画像信号を取得する。
ステップS72において、画像生成部93−4の主要領域切り出し部201は、撮像部91から供給された画像信号のうち、例えば、図22を用いて説明したような、予め設定されている画像領域を切り出し、切り出した領域の画素を主要領域輝度平均値算出部202に供給する。
ステップS73において、主要領域輝度平均値算出部202は、主要領域切り出し部201から供給された切り出された領域の画素の平均輝度を求め、算出結果を、主要領域輝度範囲設定部132に供給する。
ステップS74において、主要領域輝度範囲設定部132は、主要領域輝度平均値算出部202から供給された、切り出された領域の画素の平均輝度を基に、主要領域の輝度範囲を設定し、設定した主要領域の輝度範囲を、第2の輝度領域輝度平均値算出部133および出力レベル変換処理部135に供給する。
そして、ステップS75乃至ステップS80において、図9のステップS4乃至ステップS9と基本的に同等の処理が実行される。
すなわち、第2の輝度領域輝度平均値算出部133は、撮像部91から供給された画像信号のうち、主要領域の輝度範囲よりも明るい領域の平均輝度を求め、第2の輝度領域輝度範囲設定部134は、主要領域の輝度範囲よりも明るい領域の平均輝度を基に、第2の輝度領域の輝度範囲を設定する。
そして、出力レベル変換処理部135は、主要領域輝度範囲、および、第2の輝度領域の輝度範囲を基に、例えば、図6または図7を用いて説明したような入力レベルと出力レベルの変換特性を決定し、撮像部91から供給された撮像画像の階調を、変換特性に基づいて変換し、出力制御部95に供給する。出力制御部95は、供給された画像信号を、図8を用いて説明した様に、画像利用装置83が実行可能な処理に適合した階調に変換し、変換された画像信号の画像利用装置83への出力を制御して、処理が終了される。
なお、ここでは、生成された画像を画像利用装置83に出力させる処理について説明したが、生成された画像を、表示制御部94を介してディスプレイ82に出力させて表示させる場合には、ステップS71乃至ステップS78において基本的に同様の処理が実行され、画像信号が表示制御部94に供給されて、ディスプレイ82において処理可能な階調に変換されて出力され、その表示が制御される。
このような処理により、対数変換型撮像素子102を用いた撮像部91により撮像された画像データをディスプレイ82に対応した階調で表示させたい場合、または、出力先の外部機器に対応した階調で出力させたい場合であっても、広い輝度範囲に散らばって存在するユーザが必要とする画像情報を、ユーザから識別可能な状態に表示させたり、または、印刷や各種処理のために画像利用装置83に出力させることができるような画像データを生成することができる。更に、所定の領域を基準として、多くの階調が割り当てられる輝度範囲が設定されるので、特に、動画像を表示させる場合に表示画像の明るさが頻繁にちらつくことを防止したり、対象物の抽出のためのパラメータをそのつど変更せずに処理することが可能となる。
以上説明した画像生成部93−4は、撮像された画像内の所定の領域を切り出して、切り出された領域の画素を基に主要領域の輝度範囲を設定し、主要領域の輝度範囲と、主要領域の輝度範囲より高輝度の範囲のうちの主な部分である第2の輝度領域の輝度範囲に対して、多くの階調ステップ数が割り当てられるものとして説明した。これに対して、設定される輝度範囲が、主要領域の輝度範囲と第2の輝度領域の輝度範囲の2つではない場合について説明する。
次に、図24は、図2の画像生成部93の構成の第5の例である画像生成部93−5の構成を示すブロック図である。画像生成部93−5は、撮像された画像内の所定の領域を切り出して、切り出された領域の画素を基に主要領域の輝度範囲を設定し、主要領域の輝度範囲以外に、主要領域の輝度範囲より高輝度の範囲のうちの主な部分である第2の輝度領域の輝度範囲と、主要領域の輝度範囲より低輝度の範囲のうちの主な部分である第3の輝度領域の輝度範囲との3つの輝度領域を設定し、設定された3つの輝度領域に対して、多くの階調ステップ数を割り当てることができるようになされている。
なお、図14または図21における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。
すなわち、図24の画像生成部93−5は、図21を用いて説明した場合と同様の主要領域切り出し部201および主要領域輝度平均値算出部202を備えるとともに、図14を用いて説明した場合と同様の、主要領域輝度範囲設定部132、高輝度領域輝度平均値算出部161、高輝度領域輝度範囲設定部162、低輝度領域輝度平均値算出部163、低輝度領域輝度範囲設定部164、および、出力レベル変換処理部165が設けられている。
図24の画像生成部93−5は、図21を用いて説明した画像生成部93−4と同様にして、撮像された画像内の所定の領域を切り出して、切り出された領域の画素を基に主要領域の輝度範囲を設定するものであり、かつ、図14を用いて説明した画像生成部93−2と同様にして、主要領域の輝度範囲以外に、主要領域の輝度範囲より高輝度の範囲のうちの主な部分である第2の輝度領域の輝度範囲と、主要領域の輝度範囲より低輝度の範囲のうちの主な部分である第3の輝度領域の輝度範囲との3つの輝度領域を設定し、設定された3つの輝度領域に対して、多くの階調ステップ数を割り当てることができるようになされている。
具体的には、画像全体の明るさより極端に暗いものが撮像される画像内にある場合、例えば、夜、黒い服を着た歩行者が画角に含まれていた場合など、ユーザから肉眼で確認しにくい被写体をはっきりと表示させることが望まれる。特に、上述したように、走行している車の前面の画像を撮像して、撮像された画像をディスプレイに表示されるようになされている場合、広ダイナミックレンジで撮像された撮像画像信号から、夜に黒い服を着た歩行者を運転者がはっきりと認識することができるような表示画像を生成することが望まれる。そのため、切り出される領域を、周辺の明るさにより反射光量が変更され、かつ定常的に同じものが撮像されると思われる領域とすることにより、画面のちらつきを防止しつつ、運転者にとって必要な情報を運転者から認識しやすい状態で表示させるようにすることが可能となる。
図25のフローチャートを参照して、図24の画像生成部93−5を含む画像処理装置81において実行される画像表示処理4について説明する。
ステップS101乃至ステップS103において、図23のステップS71乃至ステップS73と基本的に同様の処理が実行される。
すなわち、撮像部91は、操作入力部92から供給されたユーザの操作入力を基に被写体を撮像し、対数変換され、A/D変換された撮像画像信号を、画像生成部93−5に供給する。画像生成部93−5は、撮像された画像信号を取得する。画像生成部93−5の主要領域切り出し部201は、撮像部91から供給された画像信号のうち、例えば、図22を用いて説明したような、予め設定されている画像領域を切り出し、切り出した領域の画素を主要領域輝度平均値算出部202に供給する。主要領域輝度平均値算出部202は、主要領域切り出し部201から供給された切り出された領域の画素の平均輝度を求め、算出結果を、主要領域輝度範囲設定部132に供給する。
ステップS104において、主要領域輝度範囲設定部132は、主要領域輝度平均値算出部202から供給された、切り出された領域の画素の平均輝度を基に、主要領域の輝度範囲を設定し、設定した主要領域の輝度範囲を、出力レベル変換処理部165、高輝度領域輝度平均値算出部161および、低輝度領域輝度平均値算出部163に供給する。
そして、ステップS105乃至ステップS112において、図17のステップS34乃至ステップS41と基本的に同等の処理が実行される。
すなわち、高輝度領域輝度平均値算出部161は、撮像部91から供給された画像信号のうち、主要領域の輝度範囲よりも明るい領域の平均輝度を求め、高輝度領域輝度範囲設定部162は、主要領域の輝度範囲よりも明るい領域の平均輝度を基に、第2の輝度領域の輝度範囲を設定し、設定した第2の輝度領域の輝度範囲を出力レベル変換処理部165に供給する。
そして、低輝度領域輝度平均値算出部163は、撮像部91から供給された画像信号のうち、主要領域の輝度範囲よりも暗い領域の平均輝度を求め、低輝度領域輝度範囲設定部164は、主要領域の輝度範囲よりも暗い領域の平均輝度を基に、第3の輝度領域の輝度範囲を設定し、設定した第3の輝度領域の輝度範囲を出力レベル変換処理部165に供給する。
そして、出力レベル変換処理部165は、設定された主要領域の輝度範囲、第2の輝度領域の輝度範囲、および、第3の輝度領域の輝度範囲を基に、例えば、図15を用いて説明したような入力レベルと出力レベルの変換特性を決定し、撮像部91から供給された撮像された画像の階調を、決定された変換特性に基づいて変換し、出力制御部95に供給する。出力制御部95は、供給された画像信号を、図16を用いて説明した様に、画像利用装置83が実行可能な処理に適合した階調に変換し、表示素子に適した階調に変換された画像信号の画像利用装置83への出力を制御して、処理が終了される。
なお、ここでも、生成された画像を画像利用装置83に出力させる処理について説明したが、生成された画像を、表示制御部94を介してディスプレイ82に出力させて表示させる場合には、ステップS101乃至ステップS110において基本的に同様の処理が実行され、画像信号が表示制御部94に供給されて、ディスプレイ82において処理可能な階調に変換されて出力され、その表示が制御される。
このような処理により、対数変換型撮像素子102を用いた撮像部91により撮像された画像データにおいて、広い輝度範囲に、特に、主な輝度範囲から離散した高輝度と低輝度の領域のいずれも、ユーザが必要とする画像情報が存在するような場合であっても、このような画像をディスプレイ82に対応した階調で表示させたり、または、画像利用装置83が実行する処理に対応した階調で出力させたときに、ユーザから識別可能な状態に表示させたり、または、印刷出力や画像認識処理、記録処理、送信処理などに適した画像データを生成することができる。更に、所定の領域を基準として、多くの階調が割り当てられる3つの輝度領域が設定されるので、特に、動画像が表示される場合に表示画像の明るさが頻繁にちらつくことを防止したり、画像認識のためのパラメータを頻繁に変更することなどを防止することができる。
更に、画像生成部93においては、撮像された画像内の所定の領域を切り出して、切り出された領域の画素を基に、3つ以上の領域を設定するようにしても良い。そして、画像生成部93は、設定された領域と設定されていない領域に割り当てられる階調ステップ数を異なるものとすることができる。
次に、図26は、図2の画像生成部93の構成の第6の例である画像生成部93−6の構成を示すブロック図である。画像生成部93−6は、撮像された画像内の所定の領域を切り出して、切り出された領域の画素を基に主要領域の輝度範囲を設定し、主要領域の輝度範囲以外に、複数の輝度領域の対応する輝度範囲を設定し、設定された複数の輝度範囲に対して、設定範囲外よりも多くの階調ステップ数を割り当てることができるようになされている。
なお、図20または図21における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。
すなわち、図26の画像生成部93−6は、図21を用いて説明した場合と同様の主要領域切り出し部201および主要領域輝度平均値算出部202が設けられているとともに、図20を用いて説明した場合と同様の、主要領域輝度範囲設定部132、第2の輝度領域輝度平均値算出部181、第2の輝度領域輝度範囲設定部182、第3の輝度領域輝度平均値算出部183、第3の輝度領域輝度範囲設定部184、第4の輝度領域輝度平均値算出部185、第4の輝度領域輝度範囲設定部186、および、出力レベル変換処理部187が設けられている。
図26の画像生成部93−6は、図21を用いて説明した画像生成部93−4と同様にして、撮像された画像内の所定の領域を切り出して、切り出された領域の画素を基に主要領域の輝度範囲を設定するものであり、かつ、図20を用いて説明した画像生成部93−3と同様にして、主要領域の輝度範囲以外に、複数の輝度領域のそれぞれの輝度範囲を設定し、設定された複数の輝度範囲に対して、設定範囲外よりも多くの階調ステップ数を割り当てることができるようになされている。
なお、図26には、主要領域以外に、第2乃至第4の輝度領域を設定するための、第2の輝度領域輝度平均値算出部181、第2の輝度領域輝度範囲設定部182、第3の輝度領域輝度平均値算出部183、第3の輝度領域輝度範囲設定部184、第4の輝度領域輝度平均値算出部185、および、第4の輝度領域輝度範囲設定部186が図示されているが、画像生成部93−3には、更に、多くの輝度領域を設定することができるように、他の輝度領域輝度平均値算出部および輝度領域輝度範囲設定部を設けるようにしても良い。
また、図26の画像生成部93−6が実行する処理は、図25を用いて説明した画像表示処理4の処理と基本的には同様であり、設定される領域数を増やした場合に対応するので、その説明は省略する。
以上説明した画像生成部93−1乃至画像生成部93−6は、撮像された画像の全体、または、所定の部分の輝度の平均値を基に、主要領域を設定するようになされていた。これに対して、撮像された画像に含まれる画素の輝度値の分布を示すヒストグラムを作成し、これを解析することにより、複数の輝度範囲を設定して、設定された輝度範囲に対して、設定範囲外よりも多くの階調ステップ数を割り当てることができるようにしても良い。
図27は、図2の画像生成部93の構成の第7の例である画像生成部93−7の構成を示すブロック図である。画像生成部93−7は、撮像された画像の各画素の輝度値のヒストグラムを解析し、解析結果を基に、複数の輝度範囲を設定するようになされている。
画像生成部93−7は、ヒストグラム解析部251、閾値比較処理部252、複数段階輝度範囲設定部253、および、出力レベル変換処理部254により構成されている。
ヒストグラム解析部251は、撮像部91から供給された画像信号を取得し、取得された画像信号を基に、撮像された画像の各画素の輝度値の分布を示すヒストグラムを生成して解析し、解析結果を閾値比較処理部252に供給する。
閾値比較処理部252は、ヒストグラム解析部251から供給されたヒストグラムの解析結果を基に、入力信号のそれぞれの輝度値に対応する画素の数を所定の閾値と比較する。換言すれば、閾値比較処理部252は、撮像された画像の輝度範囲のうち、一定数以上の画素数を持つものを抽出する。閾値比較処理部252は、閾値と比較した結果、画素数が閾値以上であると判断された輝度値を示す情報を複数段階輝度範囲設定部253に供給する。
ここで、閾値は、実験的経験的に求められて予め設定されているものであっても、ユーザにより適宜設定することが可能な値であっても良い。閾値が低く設定されすぎてしまった場合、ほとんどの情報が残ってしまうため、得られる画像は、例えば、図10を用いて説明した、対数変換型撮像素子102を用いて撮像された広ダイナミクスレンジの画像を、画像処理装置81を用いて処理しない場合の表示画像のように、濃淡の差がない(シャープさのない)画像となってしまう。一方、閾値が高く設定されすぎてしまった場合、情報の取りこぼしが多くなってしまい、一部の輝度範囲のみが鮮明に表示されている画像となってしまう可能性がある。
複数段階輝度範囲設定部253は、閾値比較処理部252から供給される、画素数が閾値以上であると判断された輝度値を基に、設定範囲外よりも多くの階調ステップ数を割り当てる輝度範囲を複数設定し、設定された輝度範囲を、出力レベル変換処理部254に供給する。複数段階輝度範囲設定部253により設定される輝度範囲の数は、閾値比較処理部252から供給される比較結果によって決まるが、例えば、その数の上限を予め定めておくようにしても良い。
出力レベル変換処理部254は、撮像部91から供給された画像信号を取得して、複数段階輝度範囲設定部253から供給された、設定された輝度範囲の情報を基に、例えば、図6、図7、または、図15を用いて説明した場合と基本的に同様にして、設定された輝度領域に割り当てられる出力レベル信号の輝度階調レベルのステップ数が、それ以外の輝度領域に割り当てられる出力レベル信号の輝度階調レベルのステップ数よりも多くなるようにして、取得した画像信号の出力レベルを変換する。
具体的には、画像生成部93−7においては、図28に示されるように、ヒストグラム解析部251により、撮像された画像の各画素の輝度値の分布を示すヒストグラムが解析されて、閾値比較処理部252において閾値と比較され、同一画像内(1フレーム内)に閾値以上の画素数を有する輝度が抽出される。そして、抽出された輝度を基に、複数段階輝度範囲設定部253において、複数の輝度範囲が設定されて、出力レベル変換処理部254において、その範囲内に階調ステップ数が優先的に割り当てられるように入力レベルに対する出力レベルの変換特性が求められるので、設定された輝度範囲それぞれの輝度階調幅が充分与えられるようになされている。そして、変換後の信号が、表示制御部94または出力制御部95において、表示または印刷をはじめとする各種処理の条件に応じて、階調変換(階調数が圧縮)され、出力されるようになされている。
次に、図29のフローチャートを参照して、図27の画像生成部93−7が用いられている画像処理装置81において実行される画像表示処理5について説明する。
ステップS141において、撮像部91は、操作入力部92から供給されたユーザの操作入力を基に被写体を撮像し、対数変換され、A/D変換された撮像画像信号を、画像生成部93−7に供給する。画像生成部93−7は、撮像された画像信号を取得する。
ステップS142において、画像生成部93−7のヒストグラム解析部251は、撮像部91から供給された画像信号を基に、撮像された画像の各画素の輝度の分布を示すヒストグラムを生成して解析し、解析結果を閾値比較処理部252に供給する。
ステップS143において、閾値比較処理部252は、ヒストグラム解析部251から供給されたヒストグラムの解析結果を基に、それぞれの入力信号の輝度値に対応する画素数を所定の閾値と比較する。閾値比較処理部252は、閾値と比較した結果、画素数が閾値以上であると判断された輝度値を示す情報を複数段階輝度範囲設定部253に供給する。
ステップS144において、複数段階輝度範囲設定部253は、閾値比較処理部252から供給される、閾値以上であると判断された輝度値を基に、設定範囲外よりも多くの階調ステップ数を割り当てる輝度範囲を複数設定し、設定された輝度範囲を、出力レベル変換処理部254に供給する
ステップS145において、出力レベル変換処理部254は、複数段階輝度範囲設定部253から供給された、設定された輝度範囲の情報を基に、例えば、図6、図7、または、図15を用いて説明した場合と基本的に同様にして、入力レベルと出力レベルの変換特性を決定する。
ステップS146において、出力レベル変換処理部254は、入力レベルと出力レベルの変換特性を基に、設定された複数の輝度範囲に割り当てられる出力レベル信号の輝度階調レベルのステップ数が、それ以外の輝度範囲に割り当てられる出力レベル信号の輝度階調レベルのステップ数よりも多くなるようにして、撮像部91から供給された画像信号の出力レベルを変換し、出力制御部95に供給する。
ステップS147において、出力制御部95は、供給された画像信号を、図28を用いて説明したように、画像利用装置83において実行される処理に適合した階調に変換する。
ステップS148において、出力制御部95は、画像利用装置83が実行可能な処理に適合した階調に変換された、変換後の画像データの画像利用装置83への出力を制御して、処理が終了される。
なお、ここでも、生成された画像を画像利用装置83に出力させる処理について説明したが、生成された画像を、表示制御部94を介してディスプレイ82に出力させて表示させる場合には、ステップS141乃至ステップS146において基本的に同様の処理が実行され、画像信号が表示制御部94に供給されて、ディスプレイ82において処理可能な階調に変換されて出力され、その表示が制御される。
このような処理により、対数変換型撮像素子102を用いた撮像部91により撮像された画像データにおいて、広い輝度範囲に、離散的に、ユーザが必要とする画像情報が存在するような場合であっても、図27の画像生成部93−7が用いられている画像処理装置81を用いて画像を処理することにより、処理済の画像を、ディスプレイ82に対応した階調で表示させたり、または、画像利用装置83が実行する処理に対応した階調で出力させても、ユーザから識別可能な状態に表示させたり、または、各種処理を容易に実行させることができる。
以上説明した画像生成部93−1乃至画像生成部93−7においては、撮像された画像を基に、多くの階調ステップ数が割り当てられる輝度領域が設定されていた。これに対して、多くの階調ステップ数が割り当てられる輝度領域を予め定めておいたり、ユーザからの操作入力により設定可能なようにしても良い。例えば、撮像される画像の画角が固定であったり、一定の照明が被写体に照射されるなどして、撮像される画像のうち、ユーザが必要とする画像情報に対応する画素の輝度領域が予め分かっている場合、多くの階調ステップ数が割り当てられる輝度領域を予め定めておくことができる。これにより、処理を簡単にすることができ、装置のコストを下げることが可能となる。
図30は、図2の画像生成部93の構成の第8の例である画像生成部93−8の構成を示すブロック図である。画像生成部93−8は、多くの階調ステップ数が割り当てられる輝度領域が予め定められている場合に用いられる。
第1の輝度領域輝度範囲設定部281は、操作入力部92から、第1の輝度領域の輝度範囲の設定値の入力を受けるか、または、図示しない記憶部に記憶されている第1の輝度領域の設定値を取得し、第1の輝度範囲の設定値を、出力レベル変換処理部187に供給する。
第2の輝度領域輝度範囲設定部282は、操作入力部92から、第2の輝度領域の輝度範囲の設定値の入力を受けるか、または、図示しない記憶部に記憶されている第2の輝度領域の設定値を取得し、第2の輝度領域の輝度範囲の設定値を、出力レベル変換処理部187に供給する。
第3の輝度領域輝度範囲設定部283は、操作入力部92から、第3の輝度領域の輝度範囲の設定値の入力を受けるか、または、図示しない記憶部に記憶されている第3の輝度領域の設定値を取得し、第3の輝度領域の輝度範囲の設定値を、出力レベル変換処理部187に供給する。
出力レベル変換処理部187は、図20の画像生成部93−3における場合と基本的に同様の処理を実行するものであり、設定された複数の輝度範囲を基に、撮像部91から供給された画像信号を取得してその出力レベルを変換する。すなわち、出力レベル変換処理部187は、第1の輝度領域輝度範囲設定部281、第2の輝度領域輝度範囲設定部282、および、第3の輝度領域輝度範囲設定部283から供給された、第1の輝度範囲、第2の輝度領域の輝度範囲、および第3の輝度領域の輝度範囲の情報を基に、撮像部91から供給された画像信号の出力レベルを変換する。
なお、図30には、第1乃至第3の輝度領域の輝度範囲を設定するための、第1の輝度領域輝度範囲設定部281、第2の輝度領域輝度範囲設定部282、および、第3の輝度領域輝度範囲設定部283が図示されているが、画像生成部93−8には、更に、多くの輝度領域の輝度範囲の設定を受けることができるように、他の輝度領域輝度範囲設定部を設けるようにしても良い。
次に、図31のフローチャートを参照して、図30の画像生成部93−8が用いられている画像処理装置81において実行される画像表示処理6について説明する。
ステップS171において、操作入力部92は、ユーザから複数の輝度範囲の設定値の入力を受け、入力された設定値を、画像生成部93−8に供給する。
ステップS172において、撮像部91は、操作入力部92から供給されたユーザの操作入力を基に被写体を撮像し、対数変換され、A/D変換された撮像画像信号を、画像生成部93−8に供給する。画像生成部93−8は、撮像された画像信号を取得する。
ステップS173において、画像生成部93−8の第1の輝度領域輝度範囲設定部281、第2の輝度領域輝度範囲設定部282、および、第3の輝度領域輝度範囲設定部283は、操作入力部92から供給された複数の輝度範囲の設定値を取得し、出力レベル変換処理部187に供給する。
ステップS174において、出力レベル変換処理部187は、第1の輝度領域輝度範囲設定部281、第2の輝度領域輝度範囲設定部282、および、第3の輝度領域輝度範囲設定部283から供給された複数の輝度範囲の設定値を基に、例えば、図6、図7、または図15を用いて説明したような入力レベルと出力レベルの変換特性を決定する。
ステップS175において、出力レベル変換処理部187は、撮像部91から供給された撮像画像の階調を、ステップS174において決定された変換特性に基づいて変換し、出力制御部95に供給する。
ステップS176において、出力制御部95は、供給された画像信号を、例えば、図8や図16を用いて説明したように、出力制御部95が実行する処理に適合した階調に変換する。
ステップS177において、出力制御部95は、画像利用装置83が実行可能な処理に適合した階調に変換された、変換後の画像データの画像利用装置83への出力を制御して、処理が終了される。
なお、ここでも、生成された画像を画像利用装置83に出力させる処理について説明したが、生成された画像を、表示制御部94を介してディスプレイ82に出力させて表示させる場合には、ステップS171乃至ステップS175において基本的に同様の処理が実行され、画像信号が表示制御部94に供給されて、ディスプレイ82において処理可能な階調に変換されて出力され、その表示が制御される。
また、ここでは、操作入力部92から、それぞれの輝度領域の輝度範囲の設定値の入力を受けるものとして説明したが、それぞれの輝度領域の輝度範囲があらかじめ図示しない記憶部に記憶されている場合、記憶されている輝度領域の設定値を取得するものとしてもよいことは言うまでもない。
このような処理により、対数変換型撮像素子102を用いた撮像部91により撮像された画像データをディスプレイ82に対応した階調で表示させたい場合、または、出力先の外部機器に対応した階調で出力させたい場合であっても、ユーザが必要とする画像情報に対応する画素の輝度領域が予め分かっているのであれば、多くの階調ステップ数が割り当てられる輝度領域を予め定めておくことにより、簡単な処理で、ユーザが必要とする画像情報を、ユーザから識別可能な状態に表示させたり、または、印刷、画像認識、記録、または、送信などの各種処理の実行に好適な画像データを生成することができ、更に、装置のコストを下げることが可能となる。
また、予め定められた輝度領域の中で、撮像された画像に含まれる画素の輝度値の分布を示すヒストグラムを解析し、定められた輝度範囲のうち、一定数以上の画素数を持つ輝度を抽出し、抽出結果を基に、多くの階調ステップ数が割り当てられる輝度領域を定めることができるようにしても良い。
図32は、図2の画像生成部93の構成の第9の例である画像生成部93−9の構成を示すブロック図である。画像生成部93−9は、予め定められた輝度領域の中で、ヒストグラム解析により一定数以上の画素数を持つ輝度を抽出し、抽出結果を基に、多くの階調ステップ数が割り当てられる輝度領域を定めるようになされている。
なお、図27または図30における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。
すなわち、図32の画像生成部93−9は、図30を用いて説明した画像生成部93−8の第1の輝度領域輝度範囲設定部281、第2の輝度領域輝度範囲設定部282、および、第3の輝度領域輝度範囲設定部283、並びに、出力レベル変換処理部187を備えている。更に、画像生成部93−9には、それぞれから出力される輝度範囲の設定値を基に、ヒストグラムを解析して所定の閾値と比較するために、図27を用いて説明した画像生成部93−7に備えられていたヒストグラム解析部251および閾値比較処理部252と同様の処理を実行することができる、ヒストグラム解析部251−1乃至251−3および閾値比較処理部252−1乃至252−3が設けられている。
具体的には、画像生成部93−9においては、図33に示されるように、第1の輝度領域輝度範囲設定部281により設定される第1の範囲、第2の輝度領域輝度範囲設定部282により設定される第2の範囲、および、第3の輝度領域輝度範囲設定部283により設定される第3の範囲内のそれぞれにおいて、ヒストグラム解析部251−1乃至251−3により、撮像された画像の各画素の輝度値のヒストグラムが解析されて、閾値比較処理部252−1乃至252−3において閾値と比較され、所定の閾値以上の画素数を有する輝度が抽出される。
すなわち、第1の範囲、第2の範囲、および、第3の範囲以外の輝度範囲において、閾値より多い画素数を有する輝度が存在しても、その輝度は、階調ステップ数が優先的に割り当てられる輝度範囲には設定されない。
そして、抽出された輝度を基に、出力レベル変換処理部187において、その範囲内の画素に階調ステップ数が優先的に割り当てられて、設定された輝度範囲それぞれの輝度階調幅が充分与えられている状態で、連続した輝度階調に変換されるようになされている。そして、変換後の信号が、表示制御部94または出力制御部95において、表示または印刷出力の条件に応じて、階調変換(階調数が圧縮)され、表示されたり、または、印刷、画像認識、記録、または、送信などの各種処理のために出力されるようになされている。
例えば、撮像される画像の画角が固定であったり、一定の照明が被写体に照射されるなどして、撮像される画像のうち、ユーザが必要とする画像情報に対応する画素の輝度領域が予め分かっているが、例えば、時間によって、ユーザが必要とする画像情報に対応する画素の輝度領域が、何パターンかに変化するような場合、同じ輝度領域でも、昼には多くの情報を有し、夕方にはほとんど情報を有していなかったり、夕方や夜間には多くの情報を有するが、朝や昼には、ほとんど情報を有していないことがある。
このような場合、ユーザが必要とする画像情報を含む可能性のある全ての輝度領域を予め設定しておいても、ヒストグラム解析と閾値との比較を実行することにより、必要な情報を有していない輝度領域に、階調ステップ数が優先的に割り当てられることを避けることが可能となる。
次に、図34のフローチャートを参照して、図32の画像生成部93−9が用いられている画像処理装置81において実行される画像表示処理7について説明する。
ステップS201において、操作入力部92は、ユーザから複数の輝度範囲の設定値の入力を受け、入力された設定値を、画像生成部93−9に供給する。画像生成部93−9は、撮像された画像信号を取得する。
ステップS202において、撮像部91は、操作入力部92から供給されたユーザの操作入力を基に被写体を撮像し、対数変換され、A/D変換された撮像画像信号を、画像生成部93−9に供給する。
ステップS203において、画像生成部93−9の第1の輝度領域輝度範囲設定部281、第2の輝度領域輝度範囲設定部282、および、第3の輝度領域輝度範囲設定部283は、操作入力部92から供給された複数の輝度範囲の設定値を取得し、ヒストグラム解析部251−1乃至251−3にそれぞれ供給する。
ステップS204において、ヒストグラム解析部251−1乃至251−3は、撮像部91から供給された画像信号を基に、図33を用いて説明したように、撮像された画像の第1乃至第3の範囲内の輝度値の分布を示すヒストグラムをそれぞれ生成して解析し、解析結果を閾値比較処理部252−1乃至252−3に供給する。
ステップS205において、閾値比較処理部252−1乃至252−3は、ヒストグラム解析部251−1乃至251−3から供給された第1乃至第3の範囲内のヒストグラムの解析結果を基に、それぞれの入力信号の輝度値に対応する画素数を所定の閾値と比較する。閾値比較処理部252−1乃至252−3は、閾値と比較した結果、画素数が閾値以上であると判断された輝度値を、出力レベル変換処理部187に供給する。
ステップS206において、出力レベル変換処理部187は、閾値比較処理部252−1乃至252−3から供給された輝度値を基に、多くの階調ステップ数が割り当てられる輝度範囲を設定する。
ステップS207において、出力レベル変換処理部187は、例えば、図6、図7、または図15を用いて説明したような入力レベルと出力レベルの変換特性を決定する。
ステップS208において、出力レベル変換処理部187は、撮像部91から供給された撮像画像の階調を、ステップS74において決定された変換特性に基づいて変換し、出力制御部95に供給する。
ステップS209において、出力制御部95は、供給された画像信号を、例えば、図33を用いて説明したように、出力制御部95の処理に適合した階調に変換する。
ステップS210において、出力制御部95は、画像利用装置83が実行可能な処理に適合した階調に変換された、変換後の画像データの画像利用装置83への出力を制御して、処理が終了される。
なお、ここでも、生成された画像を画像利用装置83に出力させる処理について説明したが、生成された画像を、表示制御部94を介してディスプレイ82に出力させて表示させる場合には、ステップS201乃至ステップS208において基本的に同様の処理が実行され、画像信号が表示制御部94に供給されて、ディスプレイ82において処理可能な階調に変換されて出力され、その表示が制御される。
また、ここでは、操作入力部92から、それぞれの輝度領域の輝度範囲の設定値の入力を受けるものとして説明したが、それぞれの輝度領域の輝度範囲があらかじめ図示しない記憶部に記憶されている場合、記憶されている輝度領域の設定値を取得するものとしてもよいことは言うまでもない。
このような処理により、例えば、時間によって、ユーザが必要とする画像情報に対応する画素の輝度領域が、何パターンかに変化するような場合、具体的には、同じ輝度領域でも、昼には多くの情報を有し、夕方にはほとんど情報を有していなかったり、夕方や夜間には多くの情報を有するが、朝や昼には、ほとんど情報を有していない場合であっても、ユーザが必要とする画像情報を含む可能性のある全ての輝度領域を予め設定して、ヒストグラム解析と閾値との比較を実行することにより、必要な情報を有していない輝度領域に、階調ステップ数が優先的に割り当てられることを避けることが可能となる。
以上説明したように、画像生成部93−1乃至93−9が用いられている画像処理装置81においては、対数変換型撮像素子102を用いた撮像部91により撮像された画像データにおいて、広い輝度範囲にユーザが必要とする画像情報が存在するような場合であっても、このような画像をディスプレイ82に対応した階調で表示させたり、または、出力先の外部機器に対応した階調で出力させたときに、ユーザが必要とする情報(例えば、暗い中の黒い物体や、暗いものと同一の画各内に存在する明るい部分など)を識別可能な状態に表示させたり、印刷、画像認識、記憶、送信などの各種処理に用いて好適な画像データを生成することができる。
すなわち、以上説明した画像処理を行うことで、表示または印刷出力された画像において、ユーザが見やすいように輝度が圧縮された画像データを得ることができる。このようにして得られる画像データは、輝度圧縮が行われた広ダイナミックレンジ画像データであり、画像利用装置83においても扱いやすいものとなる。輝度圧縮とは、画像データの輝度値の階調数(階調ステップ数)を減少させることである。
輝度階調のステップ数が、全輝度領域において一定の比率で減少された場合、表示または印刷出力したときの画像の濃淡差がなくなってしまったり、2値化や所定対象物の検出などの一般的な画像処理が困難となってしまう。しかしながら、所定の処理により設定された前記所定の輝度範囲に、輝度範囲外よりも多くの階調が割り当てられるようにして、設定された輝度範囲の階調解像度を維持することができるようにし、一方、設定されていない輝度範囲に対して、階調ステップ数をまったく、または、ほとんど割り当てないようにして、画像データ全体としては、階調数を減少させるようにした。このため、本発明が適用された画像変換処理が実行されることにより、例えば、ユーザが認識すべき輝度領域部分が充分な濃淡差を持って表示または印刷出力されたり、または、各種画像処理において、2値化の閾値を容易に決定したり、画像を基に所定対象物を容易に検出することなどが可能となる。
また、画像利用装置83は、上述したように、例えば、画像印刷出力処理、画像認識処理、画像記録処理、画像通信処理など、画像を利用する処理を実行する装置である。
上述したようにして得られた、輝度圧縮が行われた広ダイナミックレンジ画像データは、もとの広ダイナミックレンジ画像のうち、対象の内容を認知するのに必要な情報を含み、かつ、データ量が大幅に削減されたものとなっている。したがって、1画素ごとに撮影した対象の輝度と1対1に対応する輝度情報が不要であるような処理においては、上述したようにして得られた、輝度圧縮が行われた広ダイナミックレンジ画像データを利用することができる。
例えば、14bitでA/D変換された広ダイナミックレンジ画像は非常に広い輝度帯域を含むため、従来の画像処理装置ではそのまま対応することができない。具体的には、例えば、微分処理を行うラプラシアン変換を行った場合に、ノイズ状の結果しか得られなかったり、2値化処理の閾値となりうる輝度の候補が多すぎるため、その処理量が爆発的に増大するなどの問題が発生してしまう。同様にして、他の画像処理手法の多くについても、広ダイナミックレンジ画像は、従来の画像処理において用いられてきた画像と、その性質が異なるため、従来の画像処理と同様の目的を有している場合でも、広ダイナミックレンジ画像を利用する場合には、処理プロセスに、大幅な修正が必要となる。
また、例えば、画像の内容が認識できれば十分であるような処理が実行されることを目的として画像が記録または送信される場合において、広ダイナミックレンジ画像データは、利用されることがない情報まで含む非常に巨大なデータであり、このようなデータを扱うことは、効率が悪い。
これに対して、本発明によれば、処理対象となる被写体が、乖離した輝度領域に分散しているような場合にも、輝度圧縮が行われて、人が見たときに通常の画像としてみても、従来の撮像素子で狭い輝度範囲を撮影したときと同様に、人間の目で観察して全く違和感のない画像が得られるので、例えば、従来の画像認識装置をそのままの処理プロセスにて適用することができる。
また、本発明によれば、画像の内容が認識可能な状態で輝度圧縮されるので、不必要な情報を含む巨大なデータを記録または送信することを防止することが可能となる。
また、図6、図7、または、図15において説明した様に、選択された輝度領域に割り当てられる、入力信号レベルに対する出力信号レベルの対応曲線の傾きによって、画像データの圧縮率は定められる。したがって、入力信号レベルに対する出力信号レベルの対応曲線の傾き、すなわち、入力レベルと出力レベルの変換特性は、画像利用装置83が必要とする階調ステップ数に応じて定めればよい。入力レベルと出力レベルの変換特性の傾きを緩やかにすれば、圧縮率を高く設定することができ、変換特性の傾きを急にすれば、圧縮率を低く設定することができる。
また、画像利用装置83が、例えば、走行している車の前面の画像を撮像して、車道の白線を検知する処理を実行する検知装置のような、2値化画像に近い画像を用いる装置である場合には、圧縮率を高く設定すると好適である。逆に、画像を記録する場合など、ある程度の階調を必要とする場合には、必用な階調ステップ数が割り当てられるようにすると好適である。
また、画像利用装置83が、例えば、走行している車の前面の画像を撮像して、走行している路面の状態、具体的には、路面が乾燥状態、湿潤状態、凍結状態、または、積雪状態であるか否かなどを検出するような道路状態検知装置である場合には、路面に相当する輝度領域については広い輝度範囲を選択し、それ以外の輝度範囲では相対的に狭い輝度範囲を選択するようにすれば、路面の情報量を減らさずに、圧縮率を高めることができる。
更に、画像利用装置83が、例えば、ナイトビジョン(夜間前方画像表示装置)の記録装置である場合には、暗い領域の階調に対して明るい領域の階調を少なめにすることで、重要な輝度領域の画質を落とさずに圧縮率を高めることができる。
また、例えば、センサ等の他の手段を用いて、昼と夜などの撮像環境の状態が判定できる場合には、画像処理装置81には、対象の状態に応じて異なるパターンで輝度範囲を設定することが望ましい。例えば、昼は比較的明るい領域に多くの輝度を割り当て、夜は低輝度、中央の輝度、高輝度領域に平均的に割り当てるようにすれば、輝度圧縮率を高めることができる。
また、輝度圧縮率を少しでも高めて利用したい画像利用装置83においては、図6A、図7A、または、図15Aを用いて説明した方法を用いることが望ましい。一方、選択された輝度領域以外の階調を必要とするような処理を実行する画像利用装置83の場合には、図6B、図7B、または、図15Bの方法を用いることが望ましい。そして、輝度変換カーブの急な傾きに影響を受けるような処理を画像利用装置83が実行する場合には、図6C、図7C、または、図15Cの方法を用いることが望ましい。
更に、輝度圧縮が行われた広ダイナミックレンジ画像を、濃度分布の影響を受けるような処理を実行する画像利用装置83において利用する場合、図6および図7のA,B,Cそれぞれで示される主要領域輝度範囲と第2の輝度範囲における入力レベルと出力レベルの変換特性の傾きは、同一であることが望ましい。これは、例えば、図12に示すトンネルの画像において、トンネル内とトンネル外の輝度分布を一致させるためである。同様に、輝度圧縮が行われた広ダイナミックレンジ画像を、濃度分布の影響を受けるような処理を実行する画像利用装置83において利用する場合にも、図15A,B,Cのそれぞれにおいて、主要輝度範囲、第2の輝度範囲、および、第3の輝度範囲の、それぞれにおける入力レベルと出力レベルの変換特性の傾きは同一であることが望ましい。逆に、輝度分布の影響を受けない処理を実行する画像利用装置83の場合には、領域ごとに、必要に応じて入力レベルと出力レベルの変換特性の傾きを変えるようにすれば、圧縮率を高くすることができる。
また、撮像対象の反射率や色が既知の領域があり、その周辺の輝度分布範囲が予め想定できる場合には、それに応じて輝度範囲を定めるようにすれば、輝度圧縮率を高めることができる。例えば、車載カメラで前方を撮影すると、画面中央下部には路面が写るので、その路面の輝度を基準にして上下の輝度範囲を決定すれば、必要な輝度範囲を正確に設定することが可能となり、必要な輝度範囲を失うことなく圧縮率を高めることができる。
ところで、上述したように、例えば、14bitでA/D変換された広ダイナミックレンジ画像は非常に広い輝度帯域を含むため、従来の画像処理装置ではそのまま対応することができない。具体的には、例えば、微分処理を行うラプラシアン変換を行った場合に、ノイズ状の結果しか得られなかったり、2値化処理の閾値となりうる輝度の候補が多すぎるため、その処理量が爆発的に増大するなどの問題が発生してしまう。同様にして、他の画像処理手法の多くについても、広ダイナミックレンジ画像は、従来の画像処理において用いられてきた画像と、その性質が異なるため、従来の画像処理と同様の目的を有している場合でも、広ダイナミックレンジ画像を利用する場合には、処理プロセスに、大幅な修正が必要となる。
また、例えば、画像の内容が認識できれば十分であるような処理が実行されることを目的として画像が記録または送信される場合において、広ダイナミックレンジ画像データは、利用されることがない情報まで含む非常に巨大なデータであり、このようなデータを扱うことは、効率が悪い。
上述した処理においては、処理対象となる被写体が、乖離した輝度領域に分散しているような場合にも、A/D変換された広ダイナミックレンジ画像の輝度圧縮が行われるようになされているので、従来の画像認識装置をそのままの処理プロセスにて適用することができ、従来の撮像素子で狭い輝度範囲を撮影したときと同様に、人間の目で観察して全く違和感のない画像が得られるようになされている。
これに対して、撮像された広ダイナミックレンジ画像データをA/D変換する際に、A/D変換における階調割り当てを、撮像された広ダイナミックレンジ画像データの輝度範囲全体に均一に割り当てるのではなく、必要な輝度領域に階調が充分割り当てられるように設定することによっても、従来の撮像素子で狭い輝度範囲を撮影したときと同様に、人間の目で観察して全く違和感のない画像を得ることができる。これによっても、例えば、従来の画像認識装置をそのままの処理プロセスにて適用することができたり、不必要な情報を含む巨大なデータを記録または送信することを防止することが可能となるような、上述した場合と同様の効果を得ることができる。
換言すれば、階調割り当てのbit数が少ないA/D変換素子を用いて、撮像された広ダイナミックレンジ画像データをA/D変換する場合に、A/D変換における階調割り当てを、撮像された広ダイナミックレンジ画像データの輝度範囲全体に均一に割り当ててしまっては、不自然な、違和感のある画像となってしまう。
例えば、所定の輝度範囲を12bitのA/D変換部によって均等にA/D変換すると、4096階調の画像データが得られる。図4を用いて説明したように、CCD撮像素子やCMOS撮像素子においては、撮影できる輝度範囲が、本発明で用いる対数変換型撮像素子と比較して非常に狭く、撮像可能な輝度範囲以外の階調は全く得られないので、その輝度範囲を4096階調で表現しても、人間の目で観察して全く違和感のない画像を得ることができる。しかしながら、本発明で用いる対数変換型撮像素子においては、図4を用いて説明したように、夜間の暗闇から直射日光までの輝度範囲を撮像することができるので、そのような広い輝度範囲を4096階調で表現しても、不自然な、違和感のある画像となってしまう。
本発明で用いる対数変換型撮像素子は、撮像によって得られた輝度レベルを対数変換した信号をA/D変換する構成となっている。したがって、単一の光源(例えば太陽や、1個の街灯)によって照らされた範囲の画像は、多くの場合、全体の1/16程度の輝度範囲に分布する。それに対して、例えば、路面の色は通常グレーであるので、全体の1/16程度の狭い輝度範囲の中の比較的暗い領域に分布する。このように、例えば、路面の輝度範囲が、全体の1/16程度の狭い輝度範囲の中の更に1/2の輝度領域である場合、路面部分に割り当てられるA/D変換の階調ステップ数は、4096/(16*2)=128階調となる。視覚的に対象の状態を正確に把握するためには256階調程度が必要であることを考えると、128階調では、階調が不足するため表示した場合に不自然な部分が現れる。具体的には、路面に描かれた白線や停止線や横断歩道などのペイントを画像処理で認識する場合に、量子化誤差によってわずかな輝度差が1/128の大きな差となって出力されてしまうため、誤認識の可能性が高くなる。
これに対して、人間の目で観察して全く違和感のない画像を得ることができ、従来の画像認識装置をそのままの処理プロセスにて適用することができ、更に、不必要な情報を含む巨大なデータを記録または送信することを防止することが可能となるように、撮像された広ダイナミックレンジ画像データをA/D変換する際に、A/D変換における階調割り当てを、撮像された広ダイナミックレンジ画像データの輝度範囲全体に均一に割り当てるのではなく、必要な輝度領域に階調が充分割り当てられるように設定する画像処理装置について、以下に説明する。
図35は、撮像された広ダイナミックレンジ画像データをA/D変換する際に、A/D変換における階調割り当てを、撮像された広ダイナミックレンジ画像データの全体ではなく、必要な輝度領域に階調が充分割り当てられるように設定するようになされている画像処理装置381の構成を示すブロック図である。
なお、図2における場合と同一の部分には、同一の符号を付してあり、その詳細な説明は省略する。すなわち、図35の画像処理装置381は、撮像部91に代わって、撮像部391が設けられ、画像生成部93に代わって、画像生成部392が設けられている以外は、図2を用いて説明した画像処理装置81と基本的に同様の構成を有するものである。
撮像部391は、操作入力部92から供給されるユーザの操作入力に基づいて、被写体を撮像し、撮像された画像信号を基に、または、ユーザによる操作入力を基に、輝度範囲ごとに階調割り当てを決定してA/D変換を行い、得られた画像信号を画像生成部392に供給する。撮像部391の詳細については、図36を用いて後述する。
操作入力部92は、例えば、リレーズボタンなどのボタン、操作キー、タッチパネルなどの入力デバイスで構成され、ユーザの操作入力を受け、ユーザからの指令を、撮像部391および画像生成部392に供給する。また、操作入力部92は、ユーザにより、撮像部391において実行されるA/D変換処理の階調割り当てに関する所定の設定値の入力を受けた場合、その設定値を撮像部391に供給する。
画像生成部392は、撮像部391から供給された画像信号を表示や印刷出力に適した画像信号に変換する処理を実行し、表示制御部94または出力制御部95に供給する。ここで、画像生成部392は、図5乃至図61を用いて説明したような輝度範囲の設定処理や出力レベルの変換処理は実行せず、従来行われていたような画像信号の生成処理のみを実行するものである。
すなわち、画像生成部392は、例えば、操作入力部92から、表示される、または、印刷出力される画像の範囲設定を受けた場合、画像領域の切り出しを実行したり、全体のコントラストを調整する操作入力を受けた場合、画像の全体のコントラストを調整するが、撮像部391において実行されるA/D変換処理の階調割り当てを変更するような処理は行わない。
表示制御部94は、画像生成部392から供給された処理済の画像信号を、ディスプレイ82の解像度や階調数に変換する処理を行い、処理済の信号を、ディスプレイ82に供給する。
出力制御部95は、画像生成部392から供給された処理済の画像信号を、画像利用装置83が処理可能な解像度や階調数に変換する処理を行い、処理済の信号を、画像利用装置83に出力する。
ディスプレイ82は、例えば、表示制御部94から供給された表示画像信号の入力を受け、画像(静止画像または、複数フレームよりなる動画像)を表示する。
画像利用装置83は、出力制御部95から供給された画像信号の入力を請け、所定の処理を実行する。画像利用装置83には、例えば、画像印刷装置、画像認識装置、画像記録装置、画像通信装置などの、画像を利用する処理を実行する、各種の情報処理装置を用いるようにすることができる。
画像生成部392により生成された画像信号も、上述した場合と同様に、特に、撮像対象の輝度と画像データの輝度データとが1対1に対応する(撮像対象の輝度と、画像データの輝度データとがリニアに対応する)必要がない処理を実行する画像利用装置83に利用されるようにすると好適である。
撮像対象の輝度と画像データの輝度データとが1対1に対応する必要がない処理には、例えば、印刷出力、記録処理、画像内の所定の対象物を認識する処理、画像内のエッジ部分、または、直線部分などを検出する処理、2値化処理、または、このような処理を実行する他の装置への送信処理などがある。
図36は、図35の画像処理装置381の撮像部391の更に詳細な構成例を示すブロック図である。
なお、図3における場合と同一の部分には、同一の符号を付してあり、その詳細な説明は省略する。すなわち、撮像部391は、対数変換型撮像素子102に代わって、対数変換型撮像素子401が設けられている以外は、基本的に、図3の撮像部39と同様の構成を有している。また、対数変換型撮像素子401は、階調割り当て決定部411が新たに設けられ、A/D変換部113に代わって、A/D変換部412が設けられている以外は、基本的に、図3の対数変換型撮像素子102と同様の構成を有している。
対数変換型撮像素子401は、例えば、HDRCなどの対数変換型の撮像素子とされ、光検出部111、対数変換部112、階調割り当て決定部411、A/D変換部412、および撮像タイミング制御部114を含むように構成される。
撮像部391により撮像される被写体から発せられた光(あるいは、被写体により反射された光)は、レンズ101に入射し、対数変換型撮像素子401の光検出部111の図示せぬ光検出面に結像する。光検出部111は、レンズ101により結像された被写体の光を、入射された光の明るさ(照度)に応じた電荷に変換し、変換した電荷を蓄積する。光検出部111は、撮像タイミング制御部114から供給される制御信号に同期して、蓄積した電荷を対数変換部112に供給する。対数変換部112は、MOSFETのサブスレッショルド特性を利用して、光検出部111から供給される電荷を画素ごとに電荷の数(電流の強さ)の対数(被写体の光の光量の対数)にほぼ比例した電圧値に変換したアナログの電気信号を生成する。対数変換部112は、生成したアナログの電気信号をA/D変換部412に供給するとともに、階調割り当て決定部411に供給する。
階調割り当て決定部411は、対数変換部112から供給されたアナログの電気信号を解析し、A/D変換部412において実行されるA/D変換の階調割り当てを決定する。
具体的には、階調割り当て決定部411は、入力画像の輝度分布において、主な輝度範囲(輝度領域)を検出し、その輝度範囲の画像が充分認識可能なように、A/D変換の階調ステップ数を割り当てるものである。輝度範囲の設定は、1つである場合や、複数である場合があり、また、複数領域の間の領域には、全く階調ステップを与えないようにする場合も、所定の輝度領域よりも粗い階調が得られるようになれている場合もある。さらに、設定される輝度範囲は、撮像される画像から自動的に選択設定されるようにしてもよいし、ユーザの操作入力により設定することも可能なようにしてもよい。
階調割り当て決定部411の詳細については、図37乃至図61を用いて後述する。
A/D変換部412は、撮像タイミング制御部114から供給される制御信号に同期して、アナログの電気信号をデジタルの画像データにA/D変換する。このとき、A/D変換部412は、階調割り当て決定部411により決定された階調割り当てに従ってA/D変換を実行する。A/D変換部412は、変換したデジタルの画像データを画像処理装置92に供給する。
このように、撮像部391は、光検出部111に入射した被写体の光の明るさ(入射光量)の対数に比例せず、階調割り当て決定部411により割り当てられた階調に基づいてA/D変換されたデジタルの画像データを出力する。
図37は、図36の階調割り当て決定部411の構成の第1の例である階調割り当て決定部411−1の構成を示すブロック図である。
平均輝度算出部451は、対数変換部112から供給されたアナログの画像信号を取得して、この平均輝度を算出し、平均輝度の算出結果を、主要領域輝度範囲設定部452に供給する。
主要領域輝度範囲設定部452は、平均輝度算出部451から供給された画像信号の平均輝度を基に、主要領域の輝度範囲を設定し、設定した主要領域の輝度範囲を、階調割り当て算出部455、および、第2の輝度領域輝度平均値算出部453に供給する。
主要領域輝度範囲設定部452は、例えば、画像信号の平均輝度を中心とした所定の輝度の範囲を主要領域の輝度範囲としても良いし、画像信号の平均輝度である画素を中心として、この輝度に近い輝度値を有するものから順番に所定数の画素を選択して主要領域の輝度範囲としても良い。
第2の輝度領域輝度平均値算出部453は、対数変換部112から供給された画像信号のうち、主要領域輝度範囲設定部452により設定された主要領域の輝度範囲より高輝度の範囲の画素の平均輝度を算出し、算出結果を、第2の輝度領域輝度範囲設定部454に供給する。
第2の輝度領域輝度範囲設定部454は、第2の輝度領域輝度平均値算出部453から供給された主要領域の輝度範囲より高輝度の範囲の画素の平均輝度を基に、第2の輝度領域の輝度範囲を設定し、設定した第2の輝度領域の輝度範囲を階調割り当て算出部455に供給する。
第2の輝度領域輝度範囲設定部454は、例えば、主要領域の輝度範囲より高輝度の範囲の画素の平均輝度を中心とした所定の輝度の範囲を第2の輝度領域の輝度範囲としても良いし、主要領域の輝度範囲より高輝度の範囲の画素の平均輝度である画素を中心として、この輝度に近い輝度値を有するものから順番に所定数の画素を選択して第2の輝度領域の輝度範囲としても良い。
階調割り当て算出部455は、対数変換部112から供給された画像信号を取得して、主要領域輝度範囲設定部452、および、第2の輝度領域輝度平均値算出部453から供給された、主要領域の輝度範囲、および、第2の輝度領域の輝度範囲の情報を基に、A/D変換部412によるA/D変換において、いずれの輝度範囲にどれだけの階調ステップ数を割り当てるかを決定する。
具体的には、階調割り当て算出部455は、入力される輝度信号のレベルに対して、A/D変換の階調ステップ数の割り当てを、主要領域および第2の輝度領域として設定されている輝度範囲と、それ以外の範囲とで、異なるものとする。すなわち、階調割り当て算出部455は、主要領域および第2の輝度領域として設定されている輝度範囲により多くの階調ステップ数が割り当てられるように、階調割り当てを決定するので、A/D変換部412においては、対応する輝度範囲の画素の階調数が多くなるようなA/D変換処理が実行される。このようにすることにより、表示または印刷出力される画像のうち、主要領域および第2の輝度領域に対応する輝度範囲の部分が、ユーザによってよりよく認識できるようになる。
階調割り当て算出部455は、例えば、主要領域の輝度範囲と第2の輝度領域の輝度範囲に対して、全ての階調ステップ数を分割して割り当て、それ以外の範囲、すなわち、主要領域より低輝度の範囲、主要領域と第2の輝度領域の間の輝度範囲、および、第2の輝度領域よりも高輝度となる範囲に対しては、A/D変換の階調ステップ数を割り当てないようにすることができる。
このようにして、A/D変換における階調のステップ数が割り当てられた場合、A/D変換部412に入力されるアナログ信号に対して、A/D変換されて出力されるデジタル信号においては、図38Aに示されるように、主要領域の輝度範囲より輝度の入力レベルが低い画素の出力レベルは0(すなわち、真っ黒)となる。そして、主要領域の輝度範囲内の画素には、入力レベルに応じて、所定の階調ステップ数が割り当てられて、A/D変換が実行される。また、主要領域と第2の輝度領域の間の輝度範囲の画素は、入力レベルにかかわらず、主要領域の輝度範囲に割り当てられた出力レベルの最大値と同一の階調のデジタル信号として出力される。第2の輝度領域内の画素には、主要領域と同一か略同等のステップ数で、入力レベルに応じて、主要領域の輝度範囲に割り当てられた階調の最大値から、全体の階調の最大値までの間の階調ステップ数が割り当てられて、A/D変換が実行される。そして、第2の輝度領域よりも高輝度の画素は、入力レベルにかかわらず、第2の輝度領域に割り当てられた階調の最大値、すなわち、全体の階調の最大値(最大出力レベル)のデジタル信号として出力される。
また、階調割り当て算出部455は、例えば、主要領域と第2の輝度領域に対して、A/D変換における全階調ステップ数のうちの所定のステップ数を割り当てるとともに、主要領域と第2の輝度領域の間の輝度範囲に対しては、主要領域や第2の輝度領域に割り当てられたステップ数よりも少ないステップ数(換言すれば、主要領域や第2の輝度範囲よりも狭い階調幅)を割り当て、主要領域より低輝度の範囲、および、第2の輝度領域よりも高輝度の範囲に対しては、A/D変換におけるステップ数を割り当てないようにすることができる。
このようにして、A/D変換における階調のステップ数が割り当てられた場合、例えば、図38Bに示されるように、主要領域の輝度範囲より低い輝度を有する画素においては、A/D変換部412に入力されるアナログ信号に対して、A/D変換されて出力されるデジタル信号の出力値は0となる。そして、主要領域の輝度範囲内の画素には、入力レベルに応じて、所定の階調の出力レベルが割り当てられて、A/D変換が実行される。また、主要領域と第2の輝度領域の間の輝度範囲の画素においては、主要領域の輝度範囲に割り当てられたステップ数よりも少ないステップ数の階調が割り当てられて、A/D変換が実行される。第2の輝度領域内の画素には、主要領域と同一か略同等のステップ数で、入力レベルに応じて、主要領域と第2の輝度領域の間の輝度範囲に割り当てられた階調の最大値から全体の最大値となる階調までの間の階調ステップが割り当てられて、A/D変換が実行される。そして、第2の輝度領域よりも高輝度の画素は、入力レベルにかかわらず、第2の輝度領域に割り当てられた階調の最大値、すなわち、最大出力レベルのデジタル信号として出力される。
また、階調割り当て算出部455は、例えば、主要領域の輝度の上限値を中心とする所定の輝度範囲を区間α、第2の輝度領域の輝度の下限値を中心とする所定の輝度範囲を区間βとし、主要領域または第2の輝度領域のうち、区間αまたは区間β以外の画素に対して、A/D変換における階調ステップ数のうちの所定の階調ステップ数を割り当て、区間αまたは区間βに、主要領域および第2の輝度領域の区間αまたは区間β以外の部分に割り当てられた階調ステップ数よりも少ない階調ステップ数を割り当て、主要領域よりも低輝度および第2の輝度領域よりも高輝度の画素に対しては、階調ステップ数を割り当てないようにすることができる。なお、このとき、主要領域と第2の輝度領域の間の輝度範囲のうち、区間αまたは区間βに当てはまらない輝度範囲内の画素に対しては、区間αまたは区間βに割り当てられた階調ステップ数よりも少ない階調ステップ数を割り当てるようにしたり、階調ステップ数を割り当てないようにすることができる。
このようにして、A/D変換における階調のステップ数が割り当てられた場合、例えば、図38Cに示されるように、主要領域の輝度範囲より低い輝度を有する画素においては、A/D変換部412に入力されるアナログ信号に対して、A/D変換されて出力されるデジタル信号の出力値は0となる。そして、主要領域の輝度範囲内であり、区間α以外の画素には、入力レベルに応じて、所定の階調ステップ数が割り当てられて、A/D変換が実行される。また、区間αの画素には、主要領域の区間α以外の部分に割り当てられたステップ数よりも少ないステップ数で、主要領域の区間α以外の部分に割り当てられた階調の最大値より大きな所定の階調が割り当てられて、A/D変換が実行される。また、主要領域と第2の輝度領域との間の輝度範囲のうち、区間αまたは区間βに当てはまらない画素においては、区間αに割り当てられたステップ数よりも少ないステップ数で階調ステップ数が割り当てられるか、または、入力レベルにかかわらず区間αに割り当てられた最大値と同一の階調が割り当てられるようになされる。
また、区間βの画素には、主要領域の区間α以外の部分に割り当てられたステップ数よりも少ないステップ数で、区間βより低い輝度範囲における階調の最大値より大きな所定の階調レベルが、区間αと同一または略同等のステップ数で割り当てられて、A/D変換が実行される。そして、第2の輝度領域の輝度範囲内で区間β以外の画素には、入力レベルに応じて、区間βに割り当てられた階調の最大値から全体の最大出力レベルまでの階調ステップが割り当てられる。換言すれば、第2の輝度領域の輝度範囲内で区間β以外の画素には、主要領域のうちの区間α以外の部分と同一か略同じ階調ステップ数、すなわち、区間αおよび区間βよりも多く階調ステップ数が割り当てられる。そして、第2の輝度領域よりも高輝度の画素は、入力レベルにかかわらず、第2の輝度領域に割り当てられた階調の最大値、すなわち、最大出力レベルのデジタル信号として出力される。
なお、図38Cにおいては、主要領域の輝度の上限値を中心とする所定の輝度範囲を区間α、第2の輝度領域の輝度の下限値を中心とする所定の輝度範囲を区間βとしたが、例えば、主要領域の輝度範囲内の上限側の所定区間を区間α、第2の輝度領域の輝度範囲内の下限側の所定区間を区間βとしたり、主要領域の輝度範囲の上限よりも高輝度の所定の区間を区間α、第2の輝度領域の輝度範囲の下限よりも低輝度の所定の区間を区間βとするようにしても良い。更に、主要領域の輝度の下限側、および、第2の輝度領域の輝度の上限側に、区間αおよび区間βと同様の出力レベルのステップ数が割り当てられるような領域を設定するようにしても良い。
また、図38においては、主要領域の輝度範囲以下の輝度を有する画素は、すべて出力0(真っ黒)であるものとし、第2の輝度領域の輝度範囲以上の輝度を有する範囲の画素は、すべて、第2の輝度領域の輝度範囲の最高の輝度と同一の出力レベル(最大出力レベル)としたが、主要領域の輝度範囲以下、および、第2の輝度領域の輝度範囲以上のそれぞれの輝度範囲においても、ある程度の階調ステップ数を割り当てることができるようにしても良い。
すなわち、階調割り当て算出部455.は、例えば、図39Aに示されるように、A/D変換の階調ステップ数の割り当てを決定することができる。すなわち、主要領域の輝度範囲より輝度の入力レベルが低い画素において、入力レベルに対応して、0(すなわち、真っ黒)から主要領域に割り当てられるステップ数よりも少ない所定数の階調ステップ数が割り当てられて、A/D変換が実行される。そして、主要領域輝度範囲内の画素には、入力レベルに応じて、所定の階調ステップ数が割り当てられて、A/D変換が実行される。また、主要領域と第2の輝度領域の間の輝度範囲の画素は、入力レベルにかかわらず、主要領域に割り当てられた階調の最大値のデジタル信号として出力される。第2の輝度領域内の画素には、入力レベルに応じて、主要領域に割り当てられた出力レベルの最大値から、所定の階調ステップ数が、主要領域と同一、または、略同等のステップ数で割り当てられて、A/D変換が実行される。そして、第2の輝度領域よりも高輝度の画素に対しては、第2の輝度領域の輝度範囲に割り当てられた階調ステップの最大値から、最大の階調まで、主要領域や第2の輝度領域に割り当てられたステップ数よりも少ないステップ数となるように、入力レベルに対応した階調ステップ数が割り当てられて、A/D変換が実行される。
また、階調割り当て算出部455は、例えば、図39Bに示されるように、A/D変換の階調ステップ数の割り当てを決定することができる。すなわち、主要領域の輝度範囲より輝度の入力レベルが低い画素において、入力レベルに対応して、0(すなわち、真っ黒)から主要領域に割り当てられるステップ数よりも少ない所定の階調ステップ数が割り当てられて、A/D変換が実行される。そして、主要領域輝度範囲内の画素には、入力レベルに応じて、所定の階調ステップ数が割り当てられて、A/D変換が実行される。また、主要領域と第2の輝度領域の間の輝度範囲の画素においては、主要領域に割り当てられたステップ数よりも少ないステップ数で、入力レベルに応じた階調ステップ数が割り当てられて、A/D変換が実行される。第2の輝度領域内の画素には、入力レベルに応じて、主要領域と第2の輝度領域の間の輝度範囲に割り当てられた階調の最大値から所定の階調のステップが、主要領域と同一、または、略同等のステップ数で割り当てられて、A/D変換が実行される。そして、第2の輝度領域よりも高輝度の画素に対しては、第2の輝度領域の輝度範囲に割り当てられた階調の最大値から、最大階調まで、主要領域に割り当てられたステップ数よりも少ないステップ数となるように、入力レベルに対応した階調ステップ数が割り当てられて、A/D変換が実行される。
また、階調割り当て算出部455は、例えば、図56Cに示されるようにA/D変換の階調ステップ数の割り当てを決定することができる。すなわち、主要領域の輝度範囲より輝度の入力レベルが低い画素において、入力レベルに対応して、0(すなわち、真っ黒)から主要領域に割り当てられるステップ数よりも少ない所定の階調ステップ数が割り当てられて、A/D変換が実行される。そして、主要領域輝度範囲内であり、区間α以外の画素には、入力レベルに応じて、所定の階調ステップ数が割り当てられて、A/D変換が実行される。また、区間αの画素には、主要領域の区間α以外の部分に割り当てられたステップ数よりも少ないステップ数で、主要領域の区間α以外の部分に割り当てられた階調の最大値より大きな所定の階調ステップが割り当てられて、A/D変換が実行される。また、主要領域と第2の輝度領域との間の輝度範囲のうち、区間αまたは区間βに当てはまらない画素においては、区間αに割り当てられたステップ数よりも少ないステップ数で、入力レベルに応じた階調が割り当てられるか、または、入力レベルにかかわらず区間αに割り当てられた階調の最大値が割り当てられて、A/D変換が実行されるようになされる。
また、区間βの画素には、主要領域の区間α以外の部分に割り当てられたステップ数よりも少ないステップ数で、区間βより低い輝度範囲における階調の最大値より大きな所定数の階調が割り当てられる。そして、第2の輝度領域の輝度範囲内で区間β以外の画素には、入力レベルに応じて、区間βに割り当てられた階調の最大値から、主要領域の区間α以外の輝度範囲と同一、または、略同等のステップ数での階調が割り当てられる。そして、第2の輝度領域よりも高輝度の画素に対しては、第2の輝度領域の輝度範囲に割り当てられた階調の最大値から、最大階調まで、主要領域の区間α以外の部分に割り当てられたステップ数よりも少ないステップ数となるように、入力レベルに対応した階調が割り当てられる。
なお、図39Cにおいても、主要領域の輝度の上限値を中心とする所定の輝度範囲を区間α、第2の輝度領域の輝度の下限値を中心とする所定の輝度範囲を区間βとしたが、例えば、主要領域輝度範囲内の上限側の所定区間を区間α、第2の輝度領域の輝度範囲内の下限側の所定区間を区間βとしたり、主要領域輝度範囲の上限よりも高輝度の所定の区間を区間α、第2の輝度領域の輝度範囲の下限よりも低輝度の所定の区間を区間βとするようにしても良い。更に、主要領域の輝度の下限側、および、第2の輝度領域の輝度の上限側に、区間αおよび区間βと同様の出力レベルのステップ数が割り当てられるような領域を設定するようにしても良い。
更に、階調割り当て算出部455は、例えば、主要領域、および、第2の輝度領域における入力レベルに対して割り当てられる階調ステップ数の比率(直線の傾き)よりも、それらの輝度領域以外の輝度範囲における入力レベルに対して割り当てられる階調ステップ数の比率が低くなるように、それぞれの輝度領域に割り当てられる階調のステップ数を決定するようにしてもよい。
以上説明した様に、階調割り当て決定部411−1において設定される主要領域と第2の輝度領域は、予め定められた輝度範囲ではなく、撮像された画像を基に設定されるものである。すなわち、階調割り当て決定部411−1によって決定されるA/D変換における階調割り当ては、撮像された画像全体のうち、例えば、画面の多くを占める被写体など、ユーザが画像を認識するために最も重要である輝度範囲と、その輝度範囲よりも高輝度の範囲の中で、特に多くを占めている輝度範囲において、限られた階調数のうちの多くを割り当てるようになされているものである。
これにより、A/D変換部412が有する限られた階調ステップ数を有効に配分して、撮像された画像が広ダイナミックレンジであっても、主要領域および第2の輝度領域に対応する輝度範囲の部分が、ユーザによってよりよく認識できるような階調数を有する、表示または印刷出力画像を得ることが可能となる。
図40を用いて、入力信号、階調割り当て算出部455による階調ステップの割り当てに基づいたA/D変換後の信号、および、表示される信号の輝度レベルについて説明する。
図40Aは、図38Aを用いて説明した階調ステップの割り当てに基づいたA/D変換が行われた場合における、アナログの入力信号、階調割り当て算出部455による階調ステップ数の割り当てに基づいたA/D変換後のデジタル信号、および、ディスプレイ82に表示される、もしくは、印刷や画像認識、記録、または、画像通信などの処理のために画像利用装置83へ出力される信号の輝度レベルを示す図である。
図40Aに示される場合、離散した輝度範囲である主要領域と第2の輝度領域において、多くの階調ステップ数が割り当てられてA/D変換が実行される。主要領域と第2の輝度領域の間の輝度範囲の画素は、全て、主要領域の最大出力レベルで出力される。そして、A/D変換後の信号が、画像生成部392により、表示または画像利用装置83への出力の条件に応じて画像処理されるが、ここでは、上述した画像生成部93のように、階調変換は行われない。すなわち、画像生成部392は、階調割り当て決定部411−1から供給された信号、すなわち、階調割り当て算出部445による階調割り当てに基づいたA/D変換後の信号を処理するとき、その階調の割り当ての割合を変更しない。
図40Bは、図38Bを用いて説明した階調ステップの割り当てに基づいたA/D変換が行われた場合における、アナログの入力信号、階調割り当て算出部455による階調ステップ数の割り当てに基づいたA/D変換後のデジタル信号、および、ディスプレイ82に表示される、もしくは、印刷や画像認識、記録、または、画像通信などの処理のために画像利用装置83へ出力される信号の輝度レベルを示す図である。図40Bに示される場合、主要領域と第2の輝度領域の間の領域には、主要領域と第2の輝度領域よりも少ないステップ数の階調しか与えられていない。そのため、画像の全体に与えられる階調ステップ数が少ないのにもかかわらず、主要領域と第2の輝度領域の間の領域のステップ数が少ない分、主要領域と第2の輝度領域の信号には、充分な輝度階調幅が与えられている。
図40Cは、図38Cを用いて説明した階調ステップの割り当てに基づいたA/D変換が行われた場合における、アナログの入力信号、階調割り当て算出部455による階調ステップ数の割り当てに基づいたA/D変換後のデジタル信号、および、ディスプレイ82に表示される、もしくは、印刷や画像認識、記録、または、画像通信などの処理のために画像利用装置83へ出力される信号の輝度レベルを示す図である。図40Cに示される場合、主要領域と第2の輝度領域と、それらの間の領域で、割り当てられる階調ステップ数を、上述した区間αおよび区間βによってなだらかに変化させるように、すなわち、区間αおよび区間βにおいては、主要領域と第2の輝度領域よりも少ないステップ数の階調が与えられるようになされている。そのため、画像の全体に与えられる階調ステップ数が少なくても、主要領域と第2の輝度領域には、充分な輝度階調幅が与えられているとともに、1階調のみで表現されてしまう輝度領域を少なくすることが可能となる。
なお、特に階調ステップ数を多く配分する輝度範囲が1つのみでよい場合、第2の輝度領域輝度平均値算出部453および第2の輝度領域輝度範囲設定部454がそれぞれ処理を実行しないようにすればよい。このようにすることにより、主要領域輝度範囲にのみ多くの階調ステップ数が割り当てられるので、例えば、図41に示されるように、A/D変換部412に入力されるアナログ信号に対して、A/D変換されて出力されるデジタル信号を得ることができる。
具体的には、主要領域輝度範囲にすべての階調ステップ数が割り当てられた場合、図41Aに示されるように、A/D変換部412に入力されるアナログ信号に対して、A/D変換されて出力されるデジタル信号を得ることができる。また、主要領域輝度範囲の前後にも、主要領域輝度範囲よりも少ない階調ステップ数が割り当てられた場合、図41Bに示されるように、A/D変換部412に入力されるアナログ信号に対して、A/D変換されて出力されるデジタル信号を得ることができる。そして、主要領域の輝度範囲内の上限側の所定区間である区間αおよび主要領域の輝度範囲内の下限側の所定区間である区間βに、主要領域輝度範囲よりも少ない階調ステップ数が割り当てられ、主要領域輝度範囲、区間α、および区間β以外の輝度範囲にも、区間αおよび区間βよりも少ない階調ステップ数が割り当てられた場合、図41Cに示されるように、A/D変換部412に入力されるアナログ信号に対して、A/D変換されて出力されるデジタル信号を得ることができる。
図42は、図41を用いて説明した階調割り当てを行った場合の、入力信号、階調割り当て算出部455による階調ステップの割り当てに基づいたA/D変換後の信号、および、表示される信号の輝度レベルを示す図である。
図42Aは、図41Aを用いて説明した階調ステップの割り当てに基づいたA/D変換が行われた場合における、アナログの入力信号、階調割り当て算出部455による階調ステップ数の割り当てに基づいたA/D変換後のデジタル信号、および、ディスプレイ82に表示される、もしくは、印刷や画像認識、記録、または、画像通信などの処理のために画像利用装置83へ出力される信号の輝度レベルを示す図である。図42Aに示される場合、主要領域にのみ多くの階調ステップ数が割り当てられてA/D変換が実行され、主要領域以下の輝度範囲の画素は、全て、出力レベル0で出力され、主要領域以上の輝度範囲の画素は、全て、主要領域の最大出力レベルで出力される。
図42Bは、図41Bを用いて説明した階調ステップの割り当てに基づいたA/D変換が行われた場合における、アナログの入力信号、階調割り当て算出部455による階調ステップ数の割り当てに基づいたA/D変換後のデジタル信号、および、ディスプレイ82に表示される、もしくは、印刷や画像認識、記録、または、画像通信などの処理のために画像利用装置83へ出力される信号の輝度レベルを示す図である。図42Bに示される場合、主要領域以外の領域には、主要領域よりも少ないステップ数の階調しか与えられていない。そのため、変換後の信号は、画像の全体に与えられる階調ステップ数が少ないのにもかかわらず、主要領域以外の領域のステップ数が少ない分、主要領域の信号には、充分な輝度階調幅が与えられている。
図42Cは、図41Cを用いて説明した階調ステップの割り当てに基づいたA/D変換が行われた場合における、アナログの入力信号、階調割り当て算出部455による階調ステップ数の割り当てに基づいたA/D変換後のデジタル信号、および、ディスプレイ82に表示される、もしくは、印刷や画像認識、記録、または、画像通信などの処理のために画像利用装置83へ出力される信号の輝度レベルを示す図である。図42Cに示される場合、主要領域とそれ以外の領域で、割り当てられる階調ステップ数を、上述した区間αおよび区間βによってなだらかに変化させるように、すなわち、区間αおよび区間βにおいては、主要領域よりも少なく、主要領域以外の領域よりも多いステップ数の階調が与えられるようになされている。そのため、画像の全体に与えられる階調ステップ数が少なくても、変換後の信号においては、主要領域には、充分な輝度階調幅が与えられているとともに、主要領域近傍の輝度領域には、主要領域と乖離した輝度領域よりも比較的多くの階調ステップ数を割り当てることができる。
次に、図43のフローチャートを参照して、図37を用いて説明した階調割り当て決定部411−1が用いられている画像処理装置381において実行される画像表示処理8について説明する。
ステップS301において、撮像部391の光検出部111は、撮像タイミング制御部114から供給される制御信号に同期して、蓄積した電荷を対数変換部112に供給する。すなわち、撮像された画像信号を取得する。対数変換部112は、MOSFETのサブスレッショルド特性を利用して、光検出部111から供給される電荷を画素ごとに電荷の数の対数にほぼ比例した電圧値に変換したアナログの電気信号を生成し、A/D変換部412に供給するとともに、階調割り当て決定部411−1に供給する。
ステップS302において、階調割り当て決定部411−1の平均輝度算出部451は、撮像された画像全体の平均輝度を求め、算出結果を、主要領域輝度範囲設定部452に供給する。
ステップS303において、主要領域輝度範囲設定部452は、平均輝度算出部451から供給された画像全体の平均輝度を基に、主要領域の輝度範囲を設定し、設定した主要領域の輝度範囲を、階調割り当て算出部455、および、第2の輝度領域輝度平均値算出部453に供給する。
主要領域輝度範囲設定部452は、例えば、画像信号の平均輝度を中心とした所定の輝度の範囲を主要領域の輝度範囲としても良いし、画像信号の平均輝度である画素を中心として、この輝度に近い輝度値を有するものから順番に所定数の画素を選択して主要領域の輝度範囲としても良い。
ステップS304において、第2の輝度領域輝度平均値算出部453は、対数変換部112から供給された画像信号のうち、主要領域輝度範囲設定部452により設定された主要領域の輝度範囲よりも明るい領域の平均輝度を求め、その結果を、第2の輝度領域輝度範囲設定部454に供給する。
ステップS305において、第2の輝度領域輝度範囲設定部454は、第2の輝度領域輝度平均値算出部453から供給された主要領域の輝度範囲よりも明るい領域の平均輝度を基に、第2の輝度領域の輝度範囲を設定し、設定した第2の輝度領域の輝度範囲を階調割り当て算出部455に供給する。
第2の輝度領域輝度範囲設定部454は、例えば、主要領域の輝度範囲より高輝度の範囲の画素の平均輝度を中心とした所定の輝度の範囲を第2の輝度領域の輝度範囲としても良いし、主要領域の輝度範囲より高輝度の範囲の画素の平均輝度である画素を中心として、この輝度に近い輝度値を有するものから順番に所定数の画素を選択して第2の輝度領域の輝度範囲としても良い。
ステップS306において、階調割り当て算出部455は、主要領域輝度範囲設定部452により設定された主要領域の輝度範囲、および、第2の輝度領域輝度平均値算出部453により設定された第2の輝度領域の輝度範囲を基に、例えば、図38または図39を用いて説明したように、それぞれの領域におけるA/D変換の階調割り当てを決定し、A/D変換部412に供給する。
ステップS307において、A/D変換部412は、階調割り当て算出部455から供給された階調割り当てに基づいて、対数変換部112から供給されたアナログの電気信号をデジタル信号に変換し、画像生成部392に供給する。
ステップS308において、画像生成部392は、供給された画像信号に対して画像処理を施して(階調変換は行わない)、出力制御部95に供給する。
ステップS309において、出力制御部95は、画像処理後の画像データの画像利用装置83への出力を制御して、処理が終了される。
なお、ここでは、生成された画像を画像利用装置83に出力させる処理について説明したが、生成された画像を、表示制御部94を介してディスプレイ82に出力させて表示させる場合には、ステップS301乃至ステップS307において基本的に同様の処理が実行され、画像信号が表示制御部94に供給されて、ディスプレイ82への表示が制御される。
このような処理により、対数変換型撮像素子401を用いた撮像部391により撮像され、A/D変換された画像データは、A/D変換部412が有する限られた階調ステップ数が有効に配分されているので、撮像された画像が広ダイナミックレンジであっても、主要領域および第2の輝度領域に対応する輝度範囲の部分が、ユーザによってよりよく認識できるような、表示または印刷出力画像を得ることが可能となる。
これにより、例えば、図10乃至図12を参照して説明した場合と同様にして、広ダイナミックイレンジで撮像された画像のうち、ユーザが必要とする情報が、ユーザにより認識しやすいように、すなわち、充分な階調ステップ数が割り当てられてA/D変換された後、表示または印刷出力される。
例えば、16bitなど、多くのbit数が割り当てられた(階調ステップ数が多い)A/D変換により得られる広ダイナミクスレンジ画像は、非常に広い輝度大域を含むため、通常の画像データと同様に微分処理を行うラプラシアン変換処理を施した場合、きわめてコントラストが低い画像と同等に、ノイズ状の結果しか得ることができない。また、2値化処理を行おうとした場合、閾値となりうる輝度の候補が非常に多くなってしまうため、処理量が爆発的に増大してしまう。このように、広ダイナミクスレンジ画像データを用いて一般的な画像処理を行うためには、従来実行されていた画像処理のプロセスを大幅に変更する必要が生じる場合がある。
これに対して、対数変換型撮像素子401を用いた撮像部391を用いて、階調割り当て決定部411−1により決定される階調ステップ数の割り当てに基づいて、A/D変換部412が有する限られた階調ステップ数(例えば、12bitなど、撮影できる輝度範囲が、本発明で用いる対数変換型撮像素子と比較して非常に狭く、撮像可能な輝度範囲以外の階調は全く得られない従来のCCD撮像素子やCMOS撮像素子により撮像される画像信号のA/D変換における場合とほぼ同様のbit数)を有効に配分して、A/D変換を施すようになされた場合、画像生成部392においては、従来の画像処理のプロセスをそのまま実行することが可能となる。
また、画像利用装置82が、生成された画像データの送信や記録などの処理を実行するようになされている場合、対数変換型撮像素子401を用いた撮像部391を用いて撮像された広ダイナミクスレンジの画像は、利用される輝度領域に主に階調ステップ数が割り当てられているので、必要な情報を伝送しつつ、記録容量または送受信路のトラフィックを節約することができる。
また、撮像された広ダイナミクスレンジの画像を、階調割り当て決定部411−1によって決定された階調割り当てに基づいてA/D変換処理することにより、例えば、図13を用いて説明したように、夜の街中を走行する車の前面の画像を撮像して、撮像された画像がディスプレイに表示されるようになされている場合においても、他の車のヘッドライトやテールランプ、または、街灯など、画面上の多くの部分の輝度値とは離散した輝度値を有する画素を含む画像も、白とびや黒つぶれを起こすことなく、更に、ユーザが必要としている画像情報が、ヘッドライトやテールランプ、または、街灯などの高輝度の画素のために認識しにくくなることなく、充分な階調を割り当てられて表示されたり、画像処理されるようになされる。
以上説明した階調割り当て決定部411−1においては、主要領域の輝度範囲と、主要領域の輝度範囲より高輝度の範囲のうちの主な部分である第2の輝度領域の輝度範囲(または、主要領域に輝度範囲のみ)に対して、多くの階調ステップ数が割り当てられて、A/D変換が行われるものとして説明した。これに対して、設定される輝度範囲が、主要領域の輝度範囲と第2の輝度領域の輝度範囲の2つではない場合について説明する。
次に、図44は、図36の階調割り当て決定部411の構成の第2の例である階調割り当て決定部411−2の構成を示すブロック図である。階調割り当て決定部411−2は、主要領域の輝度範囲以外に、主要領域の輝度範囲より高輝度の範囲のうちの主な部分である第2の輝度領域の輝度範囲と、主要領域の輝度範囲より低輝度の範囲のうちの主な部分である第3の輝度領域の輝度範囲との3つの輝度領域を設定し、設定された3つの輝度領域に対して、多くの階調ステップ数を割り当てることができるようになされている。
なお、図37における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。
すなわち、図44の階調割り当て決定部411−2は、図37を用いて説明した階調割り当て決定部411−1と基本的に同様の平均輝度算出部451、および、主要領域輝度範囲設定部452を有し、階調割り当て決定部411−1の第2の輝度領域輝度平均値算出部453および第2の輝度領域輝度範囲設定部454が省略され、高輝度領域輝度平均値算出部461、高輝度領域輝度範囲設定部462、低輝度領域輝度平均値算出部463、および、低輝度領域輝度範囲設定部464が新たに設けられ、階調割り当て算出部455に代わって、階調割り当て算出部465が設けられている。
高輝度領域輝度平均値算出部461は、対数変換部112から供給された画像信号を取得し、取得された画像信号のうち、主要領域輝度範囲設定部452により設定された主要領域の輝度範囲より高輝度の範囲の画素の平均輝度を算出し、算出結果を、高輝度領域輝度範囲設定部462に供給する。
高輝度領域輝度範囲設定部462は、高輝度領域輝度平均値算出部461から供給された主要領域の輝度範囲より高輝度の範囲の画素の平均輝度を基に、主要領域より高輝度である第2の輝度領域の輝度範囲を設定し、設定した第2の輝度領域の輝度範囲を階調割り当て算出部465に供給する。
高輝度領域輝度範囲設定部462は、例えば、主要領域の輝度範囲より高輝度の範囲の画素の平均輝度を中心とした所定の輝度の範囲を第2の輝度領域の輝度範囲としても良いし、主要領域の輝度範囲より高輝度の範囲の画素の平均輝度である画素を中心として、この輝度に近い輝度値を有するものから順番に所定数の画素を選択して第2の輝度領域の輝度範囲としても良い。
低輝度領域輝度平均値算出部463は、対数変換部112から供給された画像信号を取得し、取得された画像信号のうち、主要領域輝度範囲設定部452により設定された主要領域の輝度範囲より低輝度の範囲の画素の平均輝度を算出し、算出結果を、低輝度領域輝度範囲設定部464に供給する。
低輝度領域輝度範囲設定部464は、低輝度領域輝度平均値算出部463から供給された主要領域の輝度範囲より低輝度の範囲の画素の平均輝度を基に、主要領域より低輝度である第3の輝度領域の輝度範囲を設定し、設定した第3の輝度領域の輝度範囲を階調割り当て算出部465に供給する。
低輝度領域輝度範囲設定部464は、例えば、主要領域の輝度範囲より低輝度の範囲の画素の平均輝度を中心とした所定の輝度の範囲を第3の輝度領域の輝度範囲としても良いし、主要領域の輝度範囲より低輝度の範囲の画素の平均輝度である画素を中心として、この輝度に近い輝度値を有するものから順番に所定数の画素を選択して第3の域輝度範囲としても良い。
階調割り当て算出部465は、対数変換部112から供給された画像信号を取得して、主要領域輝度範囲設定部452、高輝度領域輝度範囲設定部462、および、低輝度領域輝度範囲設定部464から供給された、主要領域の輝度範囲、第2の輝度領域の輝度範囲、および、第3の輝度領域の輝度範囲の情報を基に、A/D変換部412によるA/D変換において、いずれの輝度範囲にどれだけの階調ステップ数を割り当てるかを決定する。
具体的には、階調割り当て算出部465は、入力される輝度信号のレベルに対して、A/D変換の階調ステップ数の割り当てを、主要領域、第2の輝度領域、および、第3の輝度領域として設定されている輝度範囲と、それ以外の範囲とで、異なるものとする。すなわち、階調割り当て算出部465は、主要領域、第2の輝度領域、および、第3の輝度領域として設定されている輝度範囲により多くの階調ステップ数が割り当てられるように、階調割り当てを決定するので、A/D変換部412においては、対応する輝度範囲の画素の階調数が多くなるようなA/D変換処理が実行される。このようにすることにより、表示または印刷出力される画像のうち、主要領域、第2の輝度領域、および、第3の輝度領域に対応する輝度範囲の部分が、ユーザによってよりよく認識できるようになる。
階調割り当て算出部465は、例えば、A/D変換部412に入力されるアナログ信号に対して、A/D変換されて出力されるデジタル信号が図45Aに示されるものとなるように、階調を割り当てることができる。すなわち、A/D変換部412に入力されるアナログ信号に対して、A/D変換されて出力されるデジタル信号においては、第3の輝度領域の輝度範囲より輝度の入力レベルが低い画素の出力レベルは0(すなわち、真っ黒)となる。そして、第3の輝度領域内、主要領域内、および、第2の輝度領域内の画素には、入力レベルに応じて、所定の階調ステップ数が割り当てられて、A/D変換が実行される。また、第3の輝度領域と主要領域の間の輝度範囲、および、主要領域と第2の輝度領域の間の輝度範囲の画素は、入力レベルにかかわらず、その範囲の直前に割り当てられた出力レベルの最大値と同一の階調のデジタル信号として出力される。そして、第2の輝度領域よりも高輝度の画素は、第2の輝度領域の輝度範囲に割り当てられた階調の最大値、すなわち、全体の階調の最大値(最大出力レベル)のデジタル信号として出力される。
また、階調割り当て算出部465は、例えば、A/D変換部412に入力されるアナログ信号に対して、A/D変換されて出力されるデジタル信号が図45Bに示されるものとなるように、階調を割り当てることができる。すなわち、A/D変換部412に入力されるアナログ信号に対して、A/D変換されて出力されるデジタル信号においては、第3の輝度領域の輝度範囲より輝度の入力レベルが低い画素の出力レベルは0(すなわち、真っ黒)となる。そして、第3の輝度領域内、主要領域内、および、第2の輝度領域内の画素には、入力レベルに応じて、所定の階調の出力レベルが割り当てられて、A/D変換が実行される。また、第3の輝度領域と主要領域の間の輝度範囲、および、主要領域と第2の輝度領域の間の輝度範囲の画素は、主要領域などに割り当てられたステップ数よりも少ないステップ数で、入力レベルに応じた出力レベルが割り当てられて、A/D変換が実行される。そして、第2の輝度領域よりも高輝度の画素は、入力レベルにかかわらず、第2の輝度領域に割り当てられた階調の最大値、すなわち、全体の階調の最大値(最大出力レベル)のデジタル信号として出力される。
また、階調割り当て算出部465は、例えば、A/D変換部412に入力されるアナログ信号に対して、A/D変換されて出力されるデジタル信号が図45Cに示されるものとなるように、階調を割り当てることができる。例えば、第3の輝度領域の輝度の上限値を中心とする所定の輝度範囲を区間α、主要領域の輝度の下限値を中心とする所定の輝度範囲を区間β、主要領域の輝度の上限値を中心とする所定の輝度範囲を区間γ、第2の輝度領域の輝度の下限値を中心とする所定の輝度範囲を区間δとする。そして、A/D変換部412に入力されるアナログ信号に対して、A/D変換されて出力されるデジタル信号において、第3の輝度領域より輝度の入力レベルが低い画素は、入力レベルにかかわらず、出力レベルは0(すなわち、真っ黒)とされる。第3の輝度領域内であり、区間α以外の画素、主要領域輝度の範囲内であり、区間βまたは区間γ以外の画素、および、第2の輝度領域の範囲内であり、区間δ以外の画素には、入力レベルに応じて、所定の階調の出力レベルが割り当てられて、A/D変換が実行される。また、区間α、区間β、区間γ、および、区間δの画素には、主要領域輝度範囲などであって、区間α乃至区間δ以外の部分に割り当てられたステップ数よりも少ないステップ数の所定の階調の出力レベルが割り当てられて、A/D変換が実行される。そして、第2の輝度領域よりも高輝度の画素は、入力レベルにかかわらず、第2の輝度領域に割り当てられた階調の最大値、すなわち、全体の階調の最大値(最大出力レベル)のデジタル信号として出力される。
なお、図45Cにおいては、第3の輝度領域の輝度の上限値を中心とする所定の輝度範囲を区間α、主要領域の輝度の下限値を中心とする所定の輝度範囲を区間β、主要領域の輝度の上限値を中心とする所定の輝度範囲を区間γ、第2の輝度領域の輝度の下限値を中心とする所定の輝度範囲を区間δとしたが、例えば、第3の輝度領域内の上限側の所定の輝度範囲を区間α、主要領域内の下限側の所定の輝度範囲を区間β、主要領域内の上限側の所定の輝度範囲を区間γ、第2の輝度領域内の下限側の所定の輝度範囲を区間δとしたり、第3の輝度領域の上限よりも高輝度の所定の輝度範囲を区間α、主要領域の下限よりも低輝度の所定の輝度範囲を区間β、主要領域の上限よりも高輝度の所定の輝度範囲を区間γ、第2の輝度領域の下限よりも低輝度の所定の輝度範囲を区間δとするようにしても良い。更に、第3の輝度領域の輝度の下限側、および、第2の輝度領域の輝度の上限側に、区間α乃至区間δと同様の出力レベルのステップ数が割り当てられるような領域を設定するようにしても良い。
また、図45においては、第3の輝度領域よりも低輝度、および、第2の輝度領域よりも高輝度の範囲において、出力レベルのステップ数(階調のステップ数)を割り当てない場合について説明した。これに対して、階調割り当て算出部465は、例えば、図39を用いて説明した場合と同様に、第3の輝度領域よりも低輝度、および、第2の輝度領域よりも高輝度の範囲においても、主要領域、第2の輝度領域、および、第3の輝度領域よりも少ないステップ数を割り当てるようにしてもよい。
更に、階調割り当て算出部465は、例えば、主要領域、第2の輝度領域、および、第3の輝度領域における入力レベルに対する出力レベルの比率(直線の傾き)よりも、それらの輝度領域以外の輝度範囲における入力レベルに対して割り当てられる階調ステップ数の比率が低くなるように、それぞれの輝度領域に割り当てられる階調のステップ数を決定するようにしてもよい。
次に、図46を用いて、入力信号、階調割り当て算出部465による階調ステップの割り当てに基づいたA/D変換後の信号、および、表示される信号の輝度レベルについて説明する。
図46Aは、図45Aを用いて説明した階調ステップの割り当てに基づいたA/D変換が行われた場合における、アナログの入力信号、階調割り当て算出部465による階調ステップの割り当てに基づいたA/D変換後の信号、および、ディスプレイ82に表示される、もしくは、印刷や画像認識、記録、または、画像通信などの処理のために画像利用装置83へ出力される信号の輝度レベルを示す図である。図46Aに示される場合、離散した輝度範囲である主要領域、第2の輝度領域、および第3の輝度領域において、多くの階調ステップ数が割り当てられてA/D変換が実行される。第3の輝度領域と主要領域の間の輝度範囲の画素は、全て、第3の輝度領域の最大出力レベルで出力され、主要領域と第2の輝度領域の間の輝度範囲の画素は、全て、主要領域の最大出力レベルで出力される。
図46Bは、図45Bを用いて説明した階調ステップの割り当てに基づいたA/D変換が行われた場合における、アナログの入力信号、階調割り当て算出部465よる階調ステップの割り当てに基づいたA/D変換後の信号、および、ディスプレイ82に表示される、または、画像利用装置83へ出力される信号の輝度レベルを示す図である。図46Bに示される場合、第3の輝度領域と主要領域の間、および、主要領域と第2の輝度領域の間の領域には、主要領域、第2の輝度領域、および第3の輝度領域よりも少ないステップ数の階調しか与えられていない。そのため、画像の全体に与えられる階調ステップ数が少ないのにもかかわらず、第3の輝度領域と主要領域の間、および、主要領域と第2の輝度領域の間の領域のステップ数が少ない分、主要領域、第2の輝度領域、および第3の輝度領域の信号には、充分な輝度階調幅が与えられて、A/D変換が実行される。
図46Cは、図45Cを用いて説明した階調ステップの割り当てに基づいたA/D変換が行われた場合における、アナログの入力信号、階調割り当て算出部465による階調ステップの割り当てに基づいたA/D変換後の信号、および、ディスプレイ82に表示される、または、画像利用装置83へ出力される信号の輝度レベルを示す図である。図46Cに示される場合、主要領域、第2の輝度領域、および第3の輝度領域と、それらの間の領域で、割り当てられる輝度の階調ステップ数を、上述した区間α乃至区間δによってなだらかに変化させるように、すなわち、区間α乃至区間δにおいては、主要領域、第2の輝度領域、および第3の輝度領域の区間α乃至区間δ以外の部分よりも少ない階調ステップ数が与えられるようになされている。そのため、画像の全体に与えられる階調ステップ数が少なくても、主要領域、第2の輝度領域、および第3の輝度領域に充分な輝度階調幅が与えられて、A/D変換が実行されるとともに、1階調のみで表現されてしまう輝度領域を少なくすることが可能となる。
次に、図47のフローチャートを参照して、図44の階調割り当て決定部411−2を含む画像処理装置381において実行される画像表示処理9について説明する。
ステップS331において、撮像部391の光検出部111は、撮像タイミング制御部114から供給される制御信号に同期して、蓄積した電荷を対数変換部112に供給する。すなわち、撮像された画像信号を取得する。対数変換部112は、MOSFETのサブスレッショルド特性を利用して、光検出部111から供給される電荷を画素ごとに電荷の数の対数にほぼ比例した電圧値に変換したアナログの電気信号を生成し、A/D変換部412に供給するとともに、階調割り当て決定部411−2に供給する。
ステップS332において、階調割り当て決定部411−2の平均輝度算出部451は、撮像された画像全体の平均輝度を求め、算出結果を、主要領域輝度範囲設定部452に供給する。
ステップS333において、主要領域輝度範囲設定部452は、平均輝度算出部451から供給された画像全体の平均輝度を基に、主要領域の輝度範囲を設定し、設定した主要領域の輝度範囲を、階調割り当て算出部465、高輝度領域輝度平均値算出部461、および、低輝度領域輝度平均値算出部463に供給する。
主要領域輝度範囲設定部452は、例えば、画像信号の平均輝度を中心とした所定の輝度の範囲を主要領域の輝度範囲としても良いし、画像信号の平均輝度である画素を中心として、この輝度に近い輝度値を有するものから順番に所定数の画素を選択して主要領域の輝度範囲としても良い。
ステップS334において、高輝度領域輝度平均値算出部461は、対数変換部112から供給された画像信号のうち、主要領域輝度範囲設定部452により設定された主要領域の輝度範囲よりも明るい領域の平均輝度を求め、その結果を、高輝度領域輝度範囲設定部462に供給する。
ステップS335において、高輝度領域輝度範囲設定部462は、高輝度領域輝度平均値算出部461から供給された主要領域の輝度範囲よりも明るい領域の平均輝度を基に、第2の輝度領域の輝度範囲を設定し、設定した第2の輝度領域の輝度範囲を階調割り当て算出部465に供給する。
高輝度領域輝度範囲設定部462は、例えば、主要領域の輝度範囲より高輝度の範囲の画素の平均輝度を中心とした所定の輝度の範囲を第2の輝度領域の輝度範囲としても良いし、主要領域の輝度範囲より高輝度の範囲の画素の平均輝度である画素を中心として、この輝度に近い輝度値を有するものから順番に所定数の画素を選択して第2の輝度領域の輝度範囲としても良い。
ステップS336において、低輝度領域輝度平均値算出部463は、対数変換部112から供給された画像信号のうち、主要領域輝度範囲設定部452により設定された主要領域の輝度範囲よりも暗い領域の平均輝度を求め、その結果を、低輝度領域輝度範囲設定部464に供給する。
ステップS337において、低輝度領域輝度範囲設定部464は、低輝度領域輝度平均値算出部463から供給された主要領域の輝度範囲よりも暗い領域の平均輝度を基に、第3の輝度領域の輝度範囲を設定し、設定した第3の輝度領域の輝度範囲を階調割り当て算出部465に供給する。
低輝度領域輝度範囲設定部464は、例えば、主要領域の輝度範囲より低輝度の範囲の画素の平均輝度を中心とした所定の輝度の範囲を第3の輝度領域の輝度範囲としても良いし、主要領域の輝度範囲より低輝度の範囲の画素の平均輝度である画素を中心として、この輝度に近い輝度値を有するものから順番に所定数の画素を選択して第3の域輝度範囲としても良い。
ステップS338において、階調割り当て算出部465は、主要領域輝度範囲設定部452により設定された主要領域の輝度範囲、高輝度領域輝度範囲設定部462により設定された第2の輝度領域の輝度範囲、および、低輝度領域輝度範囲設定部464により設定された第3の輝度領域の輝度範囲を基に、例えば、図45を用いて説明したように、それぞれの領域におけるA/D変換の階調割り当てを決定し、A/D変換部412に供給する。
ステップS339において、A/D変換部412は、階調割り当て算出部465から供給された階調割り当てに基づいて、対数変換部112から供給されたアナログの電気信号をデジタル信号に変換し、画像生成部392に供給する。
ステップS340において、画像生成部392は、供給された画像信号に対して画像処理を施して(階調変換は行わない)、出力制御部95に供給する。
ステップS341において、出力制御部95は、画像処理後の画像データの画像利用装置83への出力を制御して、処理が終了される。
なお、ここでは、生成された画像を画像利用装置83に出力させる処理について説明したが、生成された画像を、表示制御部94を介してディスプレイ82に出力させて表示させる場合には、ステップS331乃至ステップS339において基本的に同様の処理が実行され、画像信号が表示制御部94に供給されて、その表示が制御される。
このような処理により、対数変換型撮像素子401を用いた撮像部391により撮像された画像データが、特に、広い輝度範囲において、主な輝度範囲から離散した高輝度と低輝度の領域のいずれにも、ユーザが必要とする画像情報が存在するような場合であっても、A/D変換部412が有する限られた階調ステップ数が有効に配分されて、A/D変換が実行されているので、撮像された画像が広ダイナミックレンジであっても、主要領域および第2の輝度領域に対応する輝度範囲の部分が、ユーザによってよりよく認識できるような、表示または印刷出力画像を得ることが可能となる。
図44の階調割り当て決定部411−2を含む画像処理装置381により表示される画像は、具体的には、例えば、図18を用いて説明したように、撮像される画像のほとんどの部分が路面であり、その路面の輝度より非常に高輝度である空の部分が画角に含まれており、更に、路面の輝度より非常に低輝度である黒いスーツを着た人が画角に含まれている場合であっても、路面、空、黒いスーツを着た人のそれぞれに対応する輝度付近に、多くの階調ステップ数が割り当てられるようになされている。したがって、図44の階調割り当て決定部411−2を含む画像処理装置381を用いることにより、画像表示処理において、空の部分が白飛びして認識しにくい画像が表示されたり、撮像されているにもかかわらず、黒いスーツを着た人がユーザから判別できないように黒くつぶれて表示されてしまったり、画像認識処理において、黒いスーツを着た人を認識(または抽出)できないようなことを防ぐことが可能となる。
更に、同様にして、図44の階調割り当て決定部411−2を含む画像処理装置381により表示される画像は、具体的には、例えば、図19を用いて説明したように、撮像される画像のほとんどの部分がトンネル内の暗い路面であり、その路面の輝度よりやや高輝度であるトンネル内の白い壁や、非常に高輝度であるトンネル外の部分が画角に含まれており、更に、トンネル内の路面の輝度より非常に低輝度である、トンネル内の黒い車が画角に含まれている場合であっても、トンネル内の路面、トンネルの壁やトンネルの外、そして、トンネル内の黒い車のそれぞれに対応する輝度付近に、多くの階調ステップ数が割り当てられるようになされている。図44の階調割り当て決定部411−2を含む画像処理装置381を用いることにより、例えば、画像表示処理において、トンネルの外の部分が白飛びして認識しにくい画像が表示されたり、撮像されているにもかかわらず、トンネル内の黒い車がユーザから判別できないように黒くつぶれて表示されてしまうようなことを防いだり、画像認識処理において、トンネルの外の部分の車やガードレールなど、または、トンネルの中の黒い車を認識対象物として抽出できないようなことを防ぐことが可能となる。
更に、階調割り当て決定部411においては、3つ以上の領域を設定して、設定された領域と設定されていない領域に割り当てられる階調ステップ数を異なるものとすることができるようにしても良い。
次に、図48は、図36の階調割り当て決定部411の構成の第3の例である階調割り当て決定部411−3の構成を示すブロック図である。階調割り当て決定部411−3は、主要領域の輝度範囲以外に、複数の輝度領域とそれらの輝度範囲を設定し、設定された複数の輝度範囲に対して、設定されていない輝度範囲よりも多くの階調ステップ数を割り当てることができるようになされている。
なお、図37における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。
すなわち、図48の階調割り当て決定部411−3は、図37を用いて説明した階調割り当て決定部411−1と基本的に同様の平均輝度算出部451、および、主要領域輝度範囲設定部452を有し、階調割り当て決定部411−1の第2の輝度領域輝度平均値算出部453および第2の輝度領域輝度範囲設定部454が省略され、第2の輝度領域輝度平均値算出部481、第2の輝度領域輝度範囲設定部482、第3の輝度領域輝度平均値算出部483、第3の輝度領域輝度範囲設定部484、第4の輝度領域輝度平均値算出部485、および、第4の輝度領域輝度範囲設定部486が新たに設けられ、階調割り当て算出部455に代わって、階調割り当て算出部487が設けられている。
第2の輝度領域輝度平均値算出部481は、対数変換部112から供給された画像信号のうち、主要領域輝度範囲設定部452により設定された主要領域の輝度範囲以外の所定の範囲(例えば、主要領域の輝度範囲より高輝度の範囲を更に2分割し、その最も高輝度の部分など)に含まれる輝度を有する画素の平均輝度を算出し、算出結果を、第2の輝度領域輝度範囲設定部482に供給する。
第2の輝度領域輝度範囲設定部482は、第2の輝度領域輝度平均値算出部481から供給された主要領域以外の所定の範囲に含まれる輝度を有する画素の平均輝度を基に、第2の輝度領域の輝度範囲を設定し、設定した第2の輝度領域の輝度範囲を階調割り当て算出部487に供給する。
第2の輝度領域輝度範囲設定部482は、例えば、所定の範囲の輝度を有する画素の平均輝度を中心とした所定の輝度の範囲を第2の輝度領域の輝度範囲としても良いし、所定の範囲の輝度を有する画素の平均輝度である画素を中心として、この輝度に近い輝度値を有するものから順番に所定数の画素を選択して第2の輝度領域の輝度範囲としても良い。
第3の輝度領域輝度平均値算出部483は、対数変換部112から供給された画像信号のうち、主要領域輝度範囲設定部452により設定された主要領域の輝度範囲以外の所定の範囲(例えば、主要領域の輝度範囲より高輝度の範囲を更に2分割し、2分割されたうちの低輝度の部分など)に含まれる輝度を有する画素の平均輝度を算出し、算出結果を、第3の輝度領域輝度範囲設定部484に供給する。
第3の輝度領域輝度範囲設定部484は、第3の輝度領域輝度平均値算出部483から供給された主要領域以外の所定の範囲に含まれる輝度を有する画素の平均輝度を基に、第3の輝度領域の輝度範囲を設定し、設定した第3の輝度領域の輝度範囲を階調割り当て算出部487に供給する。
第3の輝度領域輝度範囲設定部484は、例えば、所定の範囲の輝度を有する画素の平均輝度を中心とした所定の輝度の範囲を第3の輝度領域の輝度範囲としても良いし、所定の範囲の輝度を有する画素の平均輝度である画素を中心として、この輝度に近い輝度値を有するものから順番に所定数の画素を選択して第3の域輝度範囲としても良い。
第4の輝度領域輝度平均値算出部485は、対数変換部112から供給された画像信号のうち、主要領域輝度範囲設定部452により設定された主要領域の輝度範囲以外の所定の範囲(例えば、主要領域の輝度範囲より低輝度の範囲を更に2分割し、2分割されたうちの低輝度の部分など)に含まれる輝度を有する画素の平均輝度を算出し、算出結果を、第4の輝度領域輝度範囲設定部486に供給する。
第4の輝度領域輝度範囲設定部486は、第4の輝度領域輝度平均値算出部485から供給された主要領域以外の所定の範囲に含まれる輝度を有する画素の平均輝度を基に、第4の輝度領域の輝度範囲を設定し、設定した第4の輝度領域の輝度範囲を階調割り当て算出部487に供給する。
第4の輝度領域輝度範囲設定部486は、例えば、所定の範囲の輝度を有する画素の平均輝度を中心とした所定の輝度の範囲を第4の輝度領域の輝度範囲としても良いし、所定の範囲の輝度を有する画素の平均輝度である画素を中心として、この輝度に近い輝度値を有するものから順番に所定数の画素を選択して第4の域輝度範囲としても良い。
階調割り当て算出部487は、対数変換部112から供給された画像信号を取得して、主要領域輝度範囲設定部452、第2の輝度領域輝度範囲設定部482、第3の輝度領域輝度範囲設定部484、および、第4の輝度領域輝度範囲設定部486から供給された、主要領域の輝度範囲、第2の輝度領域の輝度範囲、第3の輝度領域の輝度範囲および、第4の輝度領域の輝度範囲の情報を基に、A/D変換部412によるA/D変換において、いずれの輝度範囲にどれだけの階調ステップ数を割り当てるかを決定する。
階調割り当て算出部487は、A/D変換の階調ステップ数の割り当てを、例えば、図38、図39、または、図45を用いて説明した場合と同様に、主要領域および他の領域として設定されている輝度範囲と、それ以外の範囲とで、異なるものとする。すなわち、階調割り当て算出部487は、主要領域および他の領域として設定されている輝度範囲により多くの階調ステップ数が割り当てられるように、階調割り当てを決定するので、A/D変換部412においては、対応する輝度範囲の画素の階調数が多くなるようなA/D変換処理が実行される。このようにすることにより、表示または印刷出力される画像のうち、設定されている輝度領域に対応する輝度範囲の部分がユーザによってよりよく認識できるようになる。
なお、図48には、主要領域以外に、第2乃至第4の輝度領域を設定するための、第2の輝度領域輝度平均値算出部481、第2の輝度領域輝度範囲設定部482、第3の輝度領域輝度平均値算出部483、第3の輝度領域輝度範囲設定部484、第4の輝度領域輝度平均値算出部485、および、第4の輝度領域輝度範囲設定部486が図示されているが、階調割り当て決定部411−3には、更に、多くの輝度領域を設定することができるように、他の輝度領域輝度平均値算出部および輝度領域輝度範囲設定部を設けるようにしても良い。
また、図48の階調割り当て決定部411−3が実行する処理は、図47を用いて説明した画像表示処理9の処理と基本的には同様であり、設定される領域数を増やした場合に対応するので、その説明は省略する。
以上説明した階調割り当て決定部411−1乃至階調割り当て決定部411−3は、撮像された画像の全体の輝度の平均値を基に、主要領域を設定するようになされていた。これに対して、撮像された画像のうち、予め定められた領域に含まれる画素の輝度の平均値を基に、主要領域を設定するようにしても良い。
図49は、図36の階調割り当て決定部411の構成の第4の例である階調割り当て決定部411−4の構成を示すブロック図である。階調割り当て決定部411−4は、撮像された画像のうち、予め定められた領域に含まれる画素を切り出し、切り出された領域の輝度の平均値を基に、主要領域を設定するようになされている。
なお、図37における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。
すなわち、図49の階調割り当て決定部411−4は、平均輝度算出部451に代わって、主要領域切り出し部501および主要領域輝度平均値算出部502が設けられている以外は、基本的に、図37の階調割り当て決定部411−1と同様の構成を有している。
主要領域切り出し部501は、対数変換部112から供給された画像信号を取得し、取得された画像信号のうち、予め設定されている画像領域を切り出し、切り出した領域の画素を主要領域輝度平均値算出部502に供給する。
上述した場合と同様に、例えば、走行している車の前面の画像を撮像して、撮像された画像全体の平均値を用いて主要領域を設定した場合、画角内に極端に明るいものや極端に暗いものが入ったときに、主要領域の輝度範囲が変更され、表示される画像全体の明るさが変更されてしまう。これにより、表示画面の主な部分を占める路面などの明るさが頻繁に変更され、運転者が感じる表示画像の明るさがちらついてしまったり、対象物(車や人、または、センターラインなど)の抽出のための閾値その他のパラメータをそのつど変更する必要が生じてしまう。
そこで、主要領域切り出し部501により切り出される画像の領域を、図22を用いて説明した場合と同様に、定常的に路面が撮像されると思われる、例えば、画面中央やや左よりの下部の領域221とする。切り出される領域を、定常的に同じものが撮像されると思われる領域とすることにより、表示される画像のうちの主な部分を占める路面の表示の明るさを、略一定にすることができるので、運転者が感じる表示画像の明るさが頻繁にちらつくことを防止したり、対象物の抽出のためのパラメータをそのつど変更せずに処理することが可能となる。
主要領域輝度平均値算出部502は、主要領域切り出し部501から供給された、切り出された領域の画素の平均輝度を算出し、平均輝度の算出結果を、主要領域輝度範囲設定部452に供給する。
そして、図49の階調割り当て決定部411−4においては、主要領域輝度平均値算出部502により算出された、切り出された領域の平均輝度を基に、主要領域の輝度範囲が設定され、主要領域の輝度範囲を基に、主要領域の輝度範囲より高輝度の範囲の第2の輝度領域の輝度範囲が設定される。そして、階調割り当て算出部455により、主要領域および第2の輝度領域として設定されている輝度範囲により多くの階調ステップが割り当てられてA/D変換が実行されるようになされているので、表示または印刷出力される画像の対応する輝度範囲の部分がユーザによってよりよく認識できたり、画像利用装置83において処理するのに好適な画像データを生成することができる。
次に、図50のフローチャートを参照して、図49の階調割り当て決定部411−4が用いられている画像処理装置381において実行される画像表示処理10について説明する。
ステップS371において、撮像部391の光検出部111は、撮像タイミング制御部114から供給される制御信号に同期して、蓄積した電荷を対数変換部112に供給する。すなわち、撮像された画像信号を取得する。対数変換部112は、MOSFETのサブスレッショルド特性を利用して、光検出部111から供給される電荷を画素ごとに電荷の数の対数にほぼ比例した電圧値に変換したアナログの電気信号を生成し、A/D変換部412に供給するとともに、階調割り当て決定部411−4に供給する。
ステップS372において、階調割り当て決定部411−4の主要領域切り出し部501は、対数変換部112から供給された画像信号のうち、例えば、図22を用いて説明したような、予め設定されている画像領域を切り出し、切り出した領域の画素を主要領域輝度平均値算出部502に供給する。
ステップS373において、主要領域輝度平均値算出部502は、主要領域切り出し部501から供給された切り出された領域の画素の平均輝度を求め、算出結果を、主要領域輝度範囲設定部452に供給する。
ステップS374において、主要領域輝度範囲設定部452は、主要領域輝度平均値算出部502から供給された、切り出された領域の画素の平均輝度を基に、主要領域の輝度範囲を設定し、設定した主要領域の輝度範囲を、第2の輝度領域輝度平均値算出部453および階調割り当て算出部455に供給する。
そして、ステップS375乃至ステップS380において、図43のステップS304乃至ステップS309と基本的に同等の処理が実行される。
すなわち、第2の輝度領域輝度平均値算出部453は、対数変換部112から供給された画像信号のうち、主要領域の輝度範囲よりも明るい領域の平均輝度を求め、第2の輝度領域輝度範囲設定部454は、主要領域の輝度範囲よりも明るい領域の平均輝度を基に、第2の輝度領域の輝度範囲を設定する。
そして、階調割り当て算出部455は、主要領域輝度範囲、および、第2の輝度領域の輝度範囲を基に、例えば、図38または図39を用いて説明したように、それぞれの領域におけるA/D変換の階調割り当てを決定し、A/D変換部412に供給する。A/D変換部412は、階調割り当て算出部465から供給された階調割り当てに基づいて、対数変換部112から供給されたアナログの電気信号をデジタル信号に変換し、画像生成部392に供給する。画像生成部392は、供給された画像信号に対して画像処理を施して(階調変換は行わない)、出力制御部95に供給する。出力制御部95は、画像処理後の画像データの画像利用装置83への出力を制御して、処理が終了される。
なお、ここでは、生成された画像を画像利用装置83に出力させる処理について説明したが、生成された画像を、表示制御部94を介してディスプレイ82に出力させて表示させる場合には、ステップS371乃至ステップS378において基本的に同様の処理が実行され、画像信号が表示制御部94に供給されて、ディスプレイ82において処理可能な階調に変換されて出力され、その表示が制御される。
このような処理により、対数変換型撮像素子401を用いた撮像部391により撮像された広ダイナミックレンジの画像データに対して、A/D変換部412が有する限られた階調ステップ数が有効に配分されて、A/D変換が実行されているので、撮像された画像が広ダイナミックレンジであっても、主要領域および第2の輝度領域に対応する輝度範囲の部分が、ユーザによってよりよく認識できるような、表示または印刷出力画像を得ることが可能となる。特に、定常的に同じものが撮像されると思われる領域を切り出して、この領域の輝度を基に処理を行うようにすることにより、動画像を表示させる場合に表示画像の明るさが頻繁にちらつくことを防止したり、対象物の抽出のためのパラメータをそのつど変更せずに処理することが可能となる。
以上説明した階調割り当て決定部411−4は、撮像された画像内の所定の領域を切り出して、切り出された領域の画素を基に主要領域の輝度範囲を設定し、主要領域の輝度範囲と、主要領域の輝度範囲より高輝度の範囲のうちの主な部分である第2の輝度領域の輝度範囲に対して、多くの階調ステップ数が割り当てられるものとして説明した。これに対して、設定される輝度範囲が、主要領域の輝度範囲と第2の輝度領域の輝度範囲の2つではない場合について説明する。
次に、図51は、図36の階調割り当て決定部411の構成の第5の例である階調割り当て決定部411−5の構成を示すブロック図である。階調割り当て決定部411−5は、撮像された画像内の所定の領域を切り出して、切り出された領域の画素を基に主要領域の輝度範囲を設定し、主要領域の輝度範囲以外に、主要領域の輝度範囲より高輝度の範囲のうちの主な部分である第2の輝度領域の輝度範囲と、主要領域の輝度範囲より低輝度の範囲のうちの主な部分である第3の輝度領域の輝度範囲との3つの輝度領域を設定し、設定された3つの輝度領域に対して、多くの階調ステップ数を割り当てることができるようになされている。
なお、図44または図49における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。
すなわち、図51の階調割り当て決定部411−5は、図49を用いて説明した場合と同様の主要領域切り出し部501および主要領域輝度平均値算出部502を備えるとともに、図44を用いて説明した場合と同様の、主要領域輝度範囲設定部452、高輝度領域輝度平均値算出部461、高輝度領域輝度範囲設定部462、低輝度領域輝度平均値算出部463、低輝度領域輝度範囲設定部464、および、階調割り当て算出部465が設けられている。
図51の階調割り当て決定部411−5は、図49を用いて説明した階調割り当て決定部411−4と同様にして、撮像された画像内の所定の領域を切り出して、切り出された領域の画素を基に主要領域の輝度範囲を設定し、かつ、図44を用いて説明した階調割り当て決定部411−2と同様にして、主要領域の輝度範囲以外に、主要領域の輝度範囲より高輝度の範囲のうちの主な部分である第2の輝度領域の輝度範囲と、主要領域の輝度範囲より低輝度の範囲のうちの主な部分である第3の輝度領域の輝度範囲との3つの輝度領域を設定し、設定された3つの輝度領域に対して、多くの階調ステップ数が割り当てられてA/D変換が実行されるようになされている。
具体的には、画像全体の明るさより極端に暗いものが撮像される画像内にある場合、例えば、夜、黒い服を着た歩行者が画角に含まれていた場合など、ユーザから肉眼で確認しにくい被写体をはっきりと表示させることが望まれる。特に、上述したように、走行している車の前面の画像を撮像して、撮像された画像をディスプレイに表示されるようになされている場合、広ダイナミックレンジで撮像された撮像画像信号から、夜に黒い服を着た歩行者を運転者がはっきりと認識することができるような表示画像を生成することが望まれる。そのため、切り出される領域を、周辺の明るさにより反射光量が変更され、かつ定常的に同じものが撮像されると思われる領域とすることにより、画面のちらつきを防止しつつ、運転者にとって必要な情報を運転者から認識しやすい状態で表示させるようにすることが可能となる。
図52のフローチャートを参照して、図51の階調割り当て決定部411−5を含む画像処理装置381において実行される画像表示処理11について説明する。
ステップS401乃至ステップS403において、図50のステップS371乃至ステップS373と基本的に同様の処理が実行される。
すなわち、撮像部391の光検出部111は、撮像タイミング制御部114から供給される制御信号に同期して、蓄積した電荷を対数変換部112に供給する。すなわち、撮像された画像信号を取得する。対数変換部112は、MOSFETのサブスレッショルド特性を利用して、光検出部111から供給される電荷を画素ごとに電荷の数の対数にほぼ比例した電圧値に変換したアナログの電気信号を生成し、A/D変換部412に供給するとともに、階調割り当て決定部411−4に供給する。階調割り当て決定部411−4の主要領域切り出し部501は、対数変換部112から供給された画像信号のうち、例えば、図22を用いて説明したような、予め設定されている画像領域を切り出し、切り出した領域の画素を主要領域輝度平均値算出部502に供給する。主要領域輝度平均値算出部502は、主要領域切り出し部501から供給された切り出された領域の画素の平均輝度を求め、算出結果を、主要領域輝度範囲設定部452に供給する。
ステップS404において、主要領域輝度範囲設定部452は、主要領域輝度平均値算出部502から供給された、切り出された領域の画素の平均輝度を基に、主要領域の輝度範囲を設定し、設定した主要領域の輝度範囲を、階調割り当て算出部465、高輝度領域輝度平均値算出部461および、低輝度領域輝度平均値算出部463に供給する。
そして、ステップS405乃至ステップS412において、図47のステップS334乃至ステップS341と基本的に同等の処理が実行される。
すなわち、高輝度領域輝度平均値算出部461は、対数変換部112から供給された画像信号のうち、主要領域の輝度範囲よりも明るい領域の平均輝度を求め、高輝度領域輝度範囲設定部462は、主要領域の輝度範囲よりも明るい領域の平均輝度を基に、第2の輝度領域の輝度範囲を設定し、設定した第2の輝度領域の輝度範囲を階調割り当て算出部465に供給する。
そして、低輝度領域輝度平均値算出部463は、対数変換部112から供給された画像信号のうち、主要領域の輝度範囲よりも暗い領域の平均輝度を求め、低輝度領域輝度範囲設定部464は、主要領域の輝度範囲よりも暗い領域の平均輝度を基に、第3の輝度領域の輝度範囲を設定し、設定した第3の輝度領域の輝度範囲を階調割り当て算出部465に供給する。
そして、階調割り当て算出部465は、設定された主要領域の輝度範囲、第2の輝度領域の輝度範囲、および、第3の輝度領域の輝度範囲を基に、例えば、図45を用いて説明したように、それぞれの領域におけるA/D変換の階調割り当てを決定し、A/D変換部412に供給する。A/D変換部412は、階調割り当て算出部465から供給された階調割り当てに基づいて、対数変換部112から供給されたアナログの電気信号をデジタル信号に変換し、画像生成部392に供給する。画像生成部392は、供給された画像信号に対して画像処理を施して(階調変換は行わない)、出力制御部95に供給する。出力制御部95は、画像処理後の画像データの画像利用装置83への出力を制御して、処理が終了される。
なお、ここでも、生成された画像を画像利用装置83に出力させる処理について説明したが、生成された画像を、表示制御部94を介してディスプレイ82に出力させて表示させる場合には、ステップS401乃至ステップS410において基本的に同様の処理が実行され、画像信号が表示制御部94に供給されて、ディスプレイ82において処理可能な階調に変換されて出力され、その表示が制御される。
このような処理により、対数変換型撮像素子401を用いた撮像部391により撮像され、A/D変換された画像データには、A/D変換部412が有する限られた階調ステップ数が有効に配分されているので、撮像された画像が広ダイナミックレンジであっても、主要領域、第2の輝度領域、および、第3の輝度領域に対応する輝度範囲の部分が、ユーザによってよりよく認識できるような、表示または印刷出力画像を得ることが可能となる。特に、動画像を表示させる場合に表示画像の明るさが頻繁にちらつくことを防止したり、対象物の抽出のためのパラメータをそのつど変更せずに処理することが可能となる。
更に、階調割り当て決定部411においては、撮像された画像内の所定の領域を切り出して、切り出された領域の画素を基に、3つ以上の領域を設定するようにしても良い。そして、階調割り当て決定部411は、設定された領域と設定されていない領域に割り当てられる階調ステップ数を異なるものとすることができる。
次に、図53は、図36の階調割り当て決定部411の構成の第6の例である階調割り当て決定部411−6の構成を示すブロック図である。階調割り当て決定部411−6は、撮像された画像内の所定の領域を切り出して、切り出された領域の画素を基に主要領域の輝度範囲を設定し、主要領域の輝度範囲以外に、複数の輝度領域の対応する輝度範囲を設定し、設定された複数の輝度範囲に対して、設定範囲外よりも多くの階調ステップ数を割り当てることができるようになされている。
なお、図48または図49における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。
すなわち、図53の階調割り当て決定部411−6は、図49を用いて説明した場合と同様の主要領域切り出し部501および主要領域輝度平均値算出部502が設けられているとともに、図48を用いて説明した場合と同様の、主要領域輝度範囲設定部452、第2の輝度領域輝度平均値算出部481、第2の輝度領域輝度範囲設定部482、第3の輝度領域輝度平均値算出部483、第3の輝度領域輝度範囲設定部484、第4の輝度領域輝度平均値算出部485、第4の輝度領域輝度範囲設定部486、および、階調割り当て算出部487が設けられている。
図53の階調割り当て決定部411−6は、図49を用いて説明した階調割り当て決定部411−4と同様にして、撮像された画像内の所定の領域を切り出して、切り出された領域の画素を基に主要領域の輝度範囲を設定するものであり、かつ、図48を用いて説明した階調割り当て決定部411−3と同様にして、主要領域の輝度範囲以外に、複数の輝度領域のそれぞれの輝度範囲を設定し、設定された複数の輝度範囲に対して、設定範囲外よりも多くの階調ステップ数を割り当てることができるようになされている。
なお、図53には、主要領域以外に、第2乃至第4の輝度領域を設定するための、第2の輝度領域輝度平均値算出部481、第2の輝度領域輝度範囲設定部482、第3の輝度領域輝度平均値算出部483、第3の輝度領域輝度範囲設定部484、第4の輝度領域輝度平均値算出部485、および、第4の輝度領域輝度範囲設定部486が図示されているが、階調割り当て決定部411−3には、更に、多くの輝度領域を設定することができるように、他の輝度領域輝度平均値算出部および輝度領域輝度範囲設定部を設けるようにしても良い。
また、図53の階調割り当て決定部411−6が実行する処理は、図52を用いて説明した画像表示処理11の処理と基本的には同様であり、設定される領域数を増やした場合に対応するので、その説明は省略する。
以上説明した階調割り当て決定部411−1乃至階調割り当て決定部411−6は、撮像された画像の全体、または、所定の部分の輝度の平均値を基に、主要領域を設定するようになされていた。これに対して、撮像された画像に含まれる画素の輝度値の分布を示すヒストグラムを作成し、これを解析することにより、複数の輝度範囲を設定して、設定された輝度範囲に対して、設定範囲外よりも多くの階調ステップ数を割り当ててA/D変換を行うことができることができるようにしても良い。
図54は、図36の階調割り当て決定部411の構成の第7の例である階調割り当て決定部411−7の構成を示すブロック図である。階調割り当て決定部411−7は、撮像された画像の各画素の輝度値のヒストグラムを解析し、解析結果を基に、複数の輝度範囲を設定するようになされている。
階調割り当て決定部411−7は、ヒストグラム解析部551、閾値比較処理部552、複数段階輝度範囲設定部553、および、階調割り当て算出部554により構成されている。
ヒストグラム解析部551は、対数変換部112から供給された画像信号を取得し、取得された画像信号を基に、撮像された画像の各画素の輝度値の分布を示すヒストグラムを生成して解析し、解析結果を閾値比較処理部552に供給する。
閾値比較処理部552は、ヒストグラム解析部551から供給されたヒストグラムの解析結果を基に、入力信号のそれぞれの輝度値に対応する画素の数を所定の閾値と比較する。換言すれば、閾値比較処理部552は、撮像された画像の輝度範囲のうち、一定数以上の画素数を持つものを抽出する。閾値比較処理部552は、閾値と比較した結果、画素数が閾値以上であると判断された輝度値を示す情報を複数段階輝度範囲設定部553に供給する。
ここで、閾値は、実験的経験的に求められて予め設定されているものであっても、ユーザにより適宜設定することが可能な値であっても良い。閾値が低く設定されすぎてしまった場合、ほとんどの情報が残ってしまうため、得られる画像は、例えば、図10を用いて説明した、対数変換型撮像素子401を用いて撮像された広ダイナミクスレンジの画像を、画像処理装置381を用いて処理しない場合の表示画像のように、濃淡の差がない(シャープさのない)画像となってしまう。一方、閾値が高く設定されすぎてしまった場合、情報の取りこぼしが多くなってしまい、一部の輝度範囲のみが鮮明に表示されている画像となってしまう可能性がある。
複数段階輝度範囲設定部553は、閾値比較処理部552から供給される、画素数が閾値以上であると判断された輝度値を基に、設定範囲外よりも多くの階調ステップ数を割り当てる輝度範囲を複数設定し、設定された輝度範囲を、階調割り当て算出部554に供給する。複数段階輝度範囲設定部553により設定される輝度範囲の数は、閾値比較処理部552から供給される比較結果によって決まるが、例えば、その数の上限を予め定めておくようにしても良い。
階調割り当て算出部554は、対数変換部112から供給された画像信号を取得して、複数段階輝度範囲設定部553から供給された、設定された輝度範囲の情報を基に、A/D変換部412によるA/D変換において、いずれの輝度範囲にどれだけの階調ステップ数を割り当てるかを決定する。階調割り当て算出部554は、例えば、図38、図39、または、図45を用いて説明した場合と基本的に同様にして、設定された輝度領域のA/D変換の階調ステップ数の割り当てを、それ以外の輝度領域に割り当てられるA/D変換の階調ステップ数よりも多くなるようにして、階調ステップ数の割り当てを決定する。
具体的には、階調割り当て決定部411−7においては、図55に示されるように、ヒストグラム解析部551により、撮像された画像の各画素の輝度値(アナログ信号)の分布を示すヒストグラムが解析されて、閾値比較処理部552において閾値と比較され、同一画像内(1フレーム内)に閾値以上の画素数を有する輝度が抽出される。そして、抽出された輝度を基に、複数段階輝度範囲設定部553において、複数の輝度範囲が設定されて、階調割り当て算出部554において、その範囲内に階調ステップ数が優先的に割り当てられるように、A/D変換の階調ステップ数の割り当てが算出されるので、設定された輝度範囲それぞれの輝度階調幅が充分与えられるようになされている。
次に、図56のフローチャートを参照して、図54の階調割り当て決定部411−7が用いられている画像処理装置381において実行される画像表示処理12について説明する。
ステップS441において、撮像部391の光検出部111は、撮像タイミング制御部114から供給される制御信号に同期して、蓄積した電荷を対数変換部112に供給する。すなわち、撮像された画像信号を取得する。対数変換部112は、MOSFETのサブスレッショルド特性を利用して、光検出部111から供給される電荷を画素ごとに電荷の数の対数にほぼ比例した電圧値に変換したアナログの電気信号を生成し、A/D変換部412に供給するとともに、階調割り当て決定部411−7に供給する。
ステップS442において、階調割り当て決定部411−7のヒストグラム解析部551は、対数変換部112から供給された画像信号を基に、撮像された画像の各画素の輝度の分布を示すヒストグラムを生成して解析し、解析結果を閾値比較処理部552に供給する。
ステップS443において、閾値比較処理部552は、ヒストグラム解析部551から供給されたヒストグラムの解析結果を基に、それぞれの入力信号の輝度値に対応する画素数を所定の閾値と比較する。閾値比較処理部552は、閾値と比較した結果、画素数が閾値以上であると判断された輝度値を示す情報を複数段階輝度範囲設定部553に供給する。
ステップS444において、複数段階輝度範囲設定部553は、閾値比較処理部552から供給される、閾値以上であると判断された輝度値を基に、設定範囲外よりも多くの階調ステップ数を割り当てる輝度範囲を複数設定し、設定された輝度範囲を、階調割り当て算出部554に供給する
ステップS445において、階調割り当て算出部554は、複数段階輝度範囲設定部553から供給された、設定された輝度範囲の情報を基に、例えば、図38、図39、または、図45を用いて説明した場合と基本的に同様にして、それぞれの領域におけるA/D変換の階調割り当てを決定し、A/D変換部412に供給する。
ステップS446において、A/D変換部412は、階調割り当て算出部465から供給された階調割り当てに基づいて、対数変換部112から供給されたアナログの電気信号をデジタル信号に変換し、画像生成部392に供給する。
ステップS447において、画像生成部392は、供給された画像信号に対して画像処理を施して(階調変換は行わない)、出力制御部95に供給する。
ステップS448において、出力制御部95は、画像処理後の画像データの画像利用装置83への出力を制御して、処理が終了される。
なお、ここでも、生成された画像を画像利用装置83に出力させる処理について説明したが、生成された画像を、表示制御部94を介してディスプレイ82に出力させて表示させる場合には、ステップS441乃至ステップS446において基本的に同様の処理が実行され、画像信号が表示制御部94に供給されて、その表示が制御される。
このような処理により、対数変換型撮像素子401を用いた撮像部391により撮像された画像データにおいて、広い輝度範囲に、離散的に、ユーザが必要とする画像情報が存在するような場合であっても、図54の階調割り当て決定部411−7が用いられている画像処理装置381を用いて画像を処理することにより、画像内の主な輝度分布の範囲が検出されて、その範囲内にA/D変換における階調ステップ数が多く割り当てられるので、広ダイナミックレンジで撮像された画像をユーザから識別可能な状態に表示させたり、または、各種処理を容易に実行させることができる。
以上説明した階調割り当て決定部411−1乃至階調割り当て決定部411−7においては、撮像された画像を基に、多くの階調ステップ数が割り当てられる輝度領域が設定されていた。これに対して、多くの階調ステップ数が割り当てられる輝度領域を予め定めておいたり、ユーザからの操作入力により設定可能なようにしても良い。例えば、撮像される画像の画角が固定であったり、一定の照明が被写体に照射されるなどして、撮像される画像のうち、ユーザが必要とする画像情報に対応する画素の輝度領域が予め分かっている場合、多くの階調ステップ数が割り当てられる輝度領域を予め定めておくことができる。これにより、処理を簡単にすることができ、装置のコストを下げることが可能となる。
図57は、図36の階調割り当て決定部411の構成の第8の例である階調割り当て決定部411−8の構成を示すブロック図である。階調割り当て決定部411−8は、多くの階調ステップ数が割り当てられる輝度領域が予め定められている場合に用いられる。
第1の輝度領域輝度範囲設定部581は、操作入力部92から、第1の輝度領域の輝度範囲の設定値の入力を受けるか、または、図示しない記憶部に記憶されている第1の輝度領域の設定値を取得し、第1の輝度範囲の設定値を、階調割り当て算出部487に供給する。
第2の輝度領域輝度範囲設定部582は、操作入力部92から、第2の輝度領域の輝度範囲の設定値の入力を受けるか、または、図示しない記憶部に記憶されている第2の輝度領域の設定値を取得し、第2の輝度領域の輝度範囲の設定値を、階調割り当て算出部487に供給する。
第3の輝度領域輝度範囲設定部583は、操作入力部92から、第3の輝度領域の輝度範囲の設定値の入力を受けるか、または、図示しない記憶部に記憶されている第3の輝度領域の設定値を取得し、第3の輝度領域の輝度範囲の設定値を、階調割り当て算出部487に供給する。
階調割り当て算出部487は、図48の階調割り当て決定部411−3における場合と基本的に同様の処理を実行するものであり、設定された複数の輝度範囲を基に、A/D変換部412によるA/D変換において、いずれの輝度範囲にどれだけの階調ステップ数を割り当てるかを決定する。すなわち、階調割り当て算出部487は、第1の輝度領域輝度範囲設定部581、第2の輝度領域輝度範囲設定部582、および、第3の輝度領域輝度範囲設定部583から供給された、第1の輝度範囲、第2の輝度領域の輝度範囲、および第3の輝度領域の輝度範囲の情報を基に、それぞれの輝度範囲に割り当てられるA/D変換の階調ステップ数を決定する。
なお、図57には、第1乃至第3の輝度領域の輝度範囲を設定するための、第1の輝度領域輝度範囲設定部581、第2の輝度領域輝度範囲設定部582、および、第3の輝度領域輝度範囲設定部583が図示されているが、階調割り当て決定部411−8には、更に、多くの輝度領域の輝度範囲の設定を受けることができるように、他の輝度領域輝度範囲設定部を設けるようにしても良い。
次に、図58のフローチャートを参照して、図57の階調割り当て決定部411−8が用いられている画像処理装置381において実行される画像表示処理13について説明する。
ステップS471において、操作入力部92は、ユーザから複数の輝度範囲の設定値の入力を受け、入力された設定値を、階調割り当て決定部411−8に供給する。
ステップS472において、撮像部391の光検出部111は、撮像タイミング制御部114から供給される制御信号に同期して、蓄積した電荷を対数変換部112に供給する。すなわち、撮像された画像信号を取得する。対数変換部112は、MOSFETのサブスレッショルド特性を利用して、光検出部111から供給される電荷を画素ごとに電荷の数の対数にほぼ比例した電圧値に変換したアナログの電気信号を生成し、A/D変換部412に供給するとともに、階調割り当て決定部411−8に供給する。
ステップS473において、階調割り当て決定部411−8の第1の輝度領域輝度範囲設定部581、第2の輝度領域輝度範囲設定部582、および、第3の輝度領域輝度範囲設定部583は、操作入力部92から供給された複数の輝度範囲の設定値を取得し、階調割り当て算出部487に供給する。
ステップS474において、階調割り当て算出部487は、第1の輝度領域輝度範囲設定部581、第2の輝度領域輝度範囲設定部582、および、第3の輝度領域輝度範囲設定部583から供給された複数の輝度範囲の設定値を基に、例えば、図38、図39、または図45を用いて説明したようにして、それぞれの領域におけるA/D変換の階調割り当てを決定し、A/D変換部412に供給する。
ステップS475において、A/D変換部412は、階調割り当て算出部465から供給された階調割り当てに基づいて、対数変換部112から供給されたアナログの電気信号をデジタル信号に変換し、画像生成部392に供給する。
ステップS476において、画像生成部392は、供給された画像信号に対して画像処理を施して(階調変換は行わない)、出力制御部95に供給する。
ステップS477において、出力制御部95は画像処理後の画像データの画像利用装置83への出力を制御して、処理が終了される。
なお、ここでも、生成された画像を画像利用装置83に出力させる処理について説明したが、生成された画像を、表示制御部94を介してディスプレイ82に出力させて表示させる場合には、ステップS471乃至ステップS475において基本的に同様の処理が実行され、画像信号が表示制御部94に供給されて、その表示が制御される。
また、ここでは、操作入力部92から、それぞれの輝度領域の輝度範囲の設定値の入力を受けるものとして説明したが、それぞれの輝度領域の輝度範囲があらかじめ図示しない記憶部に記憶されている場合、記憶されている輝度領域の設定値を取得するものとしてもよいことは言うまでもない。
このような処理により、対数変換型撮像素子401を用いて撮像された広ダイナミックレンジの撮像画像データのうち、ユーザが必要とする画像情報に対応する画素の輝度領域が予め分かっているのであれば、多くの階調ステップ数が割り当てられる輝度領域を予め定めておくことにより、簡単な処理で、ユーザが必要とする画像情報を、ユーザから識別可能な状態に表示させたり、または、印刷、画像認識、記録、または、送信などの各種処理の実行に好適な画像データを生成することができ、更に、装置のコストを下げることが可能となる。
また、予め定められた輝度領域の中で、撮像された画像に含まれる画素の輝度値の分布を示すヒストグラムを解析し、定められた輝度範囲のうち、一定数以上の画素数を持つ輝度を抽出し、抽出結果を基に、多くの階調ステップ数が割り当てられる輝度領域を定めることができるようにしても良い。
図59は、図36の階調割り当て決定部411の構成の第9の例である階調割り当て決定部411−9の構成を示すブロック図である。階調割り当て決定部411−9は、予め定められた輝度領域の中で、ヒストグラム解析により一定数以上の画素数を持つ輝度を抽出し、抽出結果を基に、多くの階調ステップ数が割り当てられる輝度領域を定めるようになされている。
なお、図54または図57における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。
すなわち、図59の階調割り当て決定部411−9は、図57を用いて説明した階調割り当て決定部411−8の第1の輝度領域輝度範囲設定部581、第2の輝度領域輝度範囲設定部582、および、第3の輝度領域輝度範囲設定部583、並びに、階調割り当て算出部487を備えている。更に、階調割り当て決定部411−9には、それぞれから出力される輝度範囲の設定値を基に、ヒストグラムを解析して所定の閾値と比較するために、図54を用いて説明した階調割り当て決定部411−7に備えられていたヒストグラム解析部551および閾値比較処理部552と同様の処理を実行することができる、ヒストグラム解析部551−1乃至251−3および閾値比較処理部552−1乃至252−3が設けられている。
具体的には、階調割り当て決定部411−9においては、図60に示されるように、第1の輝度領域輝度範囲設定部581により設定される第1の範囲、第2の輝度領域輝度範囲設定部582により設定される第2の範囲、および、第3の輝度領域輝度範囲設定部583により設定される第3の範囲内のそれぞれにおいて、ヒストグラム解析部551−1乃至251−3により、撮像された画像の各画素の輝度値のヒストグラムが解析されて、閾値比較処理部552−1乃至252−3において閾値と比較され、所定の閾値以上の画素数を有する輝度が抽出される。
すなわち、第1の範囲、第2の範囲、および、第3の範囲以外の輝度範囲において、閾値より多い画素数を有する輝度が存在しても、その輝度は、階調ステップ数が優先的に割り当てられる輝度範囲には設定されない。
そして、抽出された輝度を基に、階調割り当て算出部487において、その範囲内の画素に階調ステップ数が優先的に割り当てられて、階調ステップの割り当てに基づいてA/D変換が実行されるようになされている。
例えば、撮像される画像の画角が固定であったり、一定の照明が被写体に照射されるなどして、撮像される画像のうち、ユーザが必要とする画像情報に対応する画素の輝度領域が予め分かっているが、例えば、時間によって、ユーザが必要とする画像情報に対応する画素の輝度領域が、何パターンかに変化するような場合、同じ輝度領域でも、昼には多くの情報を有し、夕方にはほとんど情報を有していなかったり、夕方や夜間には多くの情報を有するが、朝や昼には、ほとんど情報を有していないことがある。
このような場合、ユーザが必要とする画像情報を含む可能性のある全ての輝度領域を予め設定しておいても、ヒストグラム解析と閾値との比較を実行することにより、必要な情報を有していない輝度領域に、階調ステップ数が優先的に割り当てられることを避けることが可能となる。
次に、図61のフローチャートを参照して、図59の階調割り当て決定部411−9が用いられている画像処理装置381において実行される画像表示処理14について説明する。
ステップS501において、操作入力部92は、ユーザから複数の輝度範囲の設定値の入力を受け、入力された設定値を、階調割り当て決定部411−9に供給する。
ステップS502において、撮像部391の光検出部111は、撮像タイミング制御部114から供給される制御信号に同期して、蓄積した電荷を対数変換部112に供給する。すなわち、撮像された画像信号を取得する。対数変換部112は、MOSFETのサブスレッショルド特性を利用して、光検出部111から供給される電荷を画素ごとに電荷の数の対数にほぼ比例した電圧値に変換したアナログの電気信号を生成し、A/D変換部412に供給するとともに、階調割り当て決定部411−9に供給する。
ステップS503において、階調割り当て決定部411−9の第1の輝度領域輝度範囲設定部581、第2の輝度領域輝度範囲設定部582、および、第3の輝度領域輝度範囲設定部583は、操作入力部92から供給された複数の輝度範囲の設定値を取得し、ヒストグラム解析部551−1乃至251−3にそれぞれ供給する。
ステップS504において、ヒストグラム解析部551−1乃至251−3は、対数変換部112から供給された画像信号を基に、図60を用いて説明したように、撮像された画像の第1乃至第3の範囲内の輝度値の分布を示すヒストグラムをそれぞれ生成して解析し、解析結果を閾値比較処理部552−1乃至252−3に供給する。
ステップS505において、閾値比較処理部552−1乃至252−3は、ヒストグラム解析部551−1乃至251−3から供給された第1乃至第3の範囲内のヒストグラムの解析結果を基に、それぞれの入力信号の輝度値に対応する画素数を所定の閾値と比較する。閾値比較処理部552−1乃至252−3は、閾値と比較した結果、画素数が閾値以上であると判断された輝度値を、階調割り当て算出部487に供給する。
ステップS506において、階調割り当て算出部487は、閾値比較処理部552−1乃至252−3から供給された輝度値を基に、多くの階調ステップ数が割り当てられる輝度範囲を設定する。
ステップS507において、階調割り当て算出部487は、例えば、図38、図39、または図45を用いて説明したようにして、それぞれの領域におけるA/D変換の階調割り当てを決定し、A/D変換部412に供給する。
ステップS508において、A/D変換部412は、階調割り当て算出部465から供給された階調割り当てに基づいて、対数変換部112から供給されたアナログの電気信号をデジタル信号に変換し、画像生成部392に供給する。
ステップS509において、画像生成部392は、供給された画像信号に対して画像処理を施して(階調変換は行わない)、出力制御部95に供給する。
ステップS510において、出力制御部95は、画像処理後の画像データの画像利用装置83への出力を制御して、処理が終了される。
なお、ここでも、生成された画像を画像利用装置83に出力させる処理について説明したが、生成された画像を、表示制御部94を介してディスプレイ82に出力させて表示させる場合には、ステップS501乃至ステップS508において基本的に同様の処理が実行され、画像信号が表示制御部94に供給されて、ディスプレイ82において処理可能な階調に変換されて出力され、その表示が制御される。
また、ここでは、操作入力部92から、それぞれの輝度領域の輝度範囲の設定値の入力を受けるものとして説明したが、それぞれの輝度領域の輝度範囲があらかじめ図示しない記憶部に記憶されている場合、記憶されている輝度領域の設定値を取得するものとしてもよいことは言うまでもない。
このような処理により、例えば、時間によって、ユーザが必要とする画像情報に対応する画素の輝度領域が、何パターンかに変化するような場合、具体的には、同じ輝度領域でも、昼には多くの情報を有し、夕方にはほとんど情報を有していなかったり、夕方や夜間には多くの情報を有するが、朝や昼には、ほとんど情報を有していない場合であっても、ユーザが必要とする画像情報を含む可能性のある全ての輝度領域を予め設定して、ヒストグラム解析と閾値との比較を実行することにより、必要な情報を有していない輝度領域に、階調ステップ数が優先的に割り当てられることを避けて、A/D変換における階調ステップ数を効率よく割り当てることが可能となる。
以上説明したように、階調割り当て決定部411が用いられている画像処理装置381においては、対数変換型撮像素子401により撮像された画像データにおいて、広い輝度範囲にユーザが必要とする画像情報が存在するような場合であっても、A/D変換における階調ステップ数を効率よく割り当てることにより、A/D変換における階調ステップ数が予め限られている場合であっても、ユーザが必要とする情報(例えば、暗い中の黒い物体や、暗いものと同一の画各内に存在する明るい部分など)を識別可能な状態に表示させたり、印刷、画像認識、記憶、送信などの各種処理に用いて好適な画像データを生成することができる。
すなわち、以上説明した画像処理を行うことで、表示または印刷出力された画像において、ユーザが見やすいように輝度が圧縮された画像データを得ることができる。このようにして得られる画像データは、必要な輝度範囲に割り当てられる階調数を極端に減少させることなく輝度圧縮が行われた広ダイナミックレンジ画像データであり、画像利用装置83においても扱いやすいものとなる。輝度圧縮とは、画像データの輝度値の階調数(階調ステップ数)を減少させることである。
輝度階調のステップ数が、全輝度領域において一定の比率で減少された場合、表示または印刷出力したときの画像の濃淡差がなくなってしまったり、2値化や所定対象物の検出などの一般的な画像処理が困難となってしまう。しかしながら、所定の処理により設定された輝度範囲に、輝度範囲外よりも多くの階調が割り当てられるようにして、設定された輝度範囲の階調解像度を維持することができるようにし、一方、設定されていない輝度範囲に対して、階調ステップ数をまったく、または、ほとんど割り当てないようにして、画像データ全体としては、階調数を減少させるようにした。このため、本発明が適用された画像変換処理が実行されることにより、例えば、ユーザが認識すべき輝度領域部分が充分な濃淡差を持って表示または印刷出力されたり、または、各種画像処理において、2値化の閾値を容易に決定したり、画像を基に所定対象物を容易に検出することなどが可能となる。
また、例えば、画像の内容が認識できれば十分であるような処理が実行されることを目的として画像が記録または送信される場合において、広ダイナミックレンジ画像データは、利用されることがない情報まで含む非常に巨大なデータであり、このようなデータを扱うことは、効率が悪い。
これに対して、本発明によれば、処理対象となる被写体が、乖離した輝度領域に分散しているような場合にも、輝度圧縮が行われて、人が見たときに通常の画像としてみても、従来の撮像素子で狭い輝度範囲を撮影したときと同様に、人間の目で観察して全く違和感のない画像が得られるので、例えば、従来の画像認識装置をそのままの処理プロセスにて適用することができる。
また、本発明によれば、画像の内容が認識可能な状態で輝度圧縮されるので、不必要な情報を含む巨大なデータを記録または送信することを防止することが可能となる。
また、例えば、センサ等の他の手段を用いて、昼と夜などの撮像環境の状態が判定できる場合には、画像処理装置381には、対象の状態に応じて異なるパターンで輝度範囲を設定することが望ましい。例えば、昼は比較的明るい領域に多くの輝度を割り当て、夜は低輝度、中央の輝度、高輝度領域に平均的に割り当てるようにすれば、輝度圧縮率を高めることができる。
更に、本発明の方法で得られた画像は階調が自然に見えるように圧縮されたものであるため、従来のJPEGやMPEGなどの一般的な静止画/動画圧縮方法をそのまま適用することができる。結果として、非常に高い圧縮率を得ることができる。
上述した一連の処理は、ソフトウェアにより実行することもできる。そのソフトウェアは、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、記録媒体からインストールされる。この場合、例えば、図2を用いて説明した画像処理装置81のすべて、または、一部(例えば、画像生成部93および表示制御部94)は、図62に示されるようなパーソナルコンピュータ301により構成される。
図62において、CPU(Central Processing Unit)311は、ROM(Read Only Memory)312に記憶されているプログラム、または記憶部318からRAM(Random Access Memory)313にロードされたプログラムにしたがって、各種の処理を実行する。RAM313にはまた、CPU311が各種の処理を実行する上において必要なデータなども適宜記憶される。
CPU311、ROM312、およびRAM313は、バス314を介して相互に接続されている。このバス314にはまた、入出力インタフェース315も接続されている。
入出力インタフェース315には、キーボード、マウスなどよりなる入力部316、ディスプレイやスピーカなどよりなる出力部317、ハードディスクなどより構成される記憶部318、モデム、ターミナルアダプタなどより構成される通信部319が接続されている。通信部319は、インターネットを含むネットワークを介しての通信処理を行う。
入出力インタフェース315にはまた、必要に応じてドライブ320が接続され、磁気ディスク331、光ディスク332、光磁気ディスク333、もしくは、半導体メモリ334などが適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部318にインストールされる。
一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、ネットワークや記録媒体からインストールされる。
この記録媒体は、図62に示されるように、装置本体とは別に、ユーザにプログラムを供給するために配布される、プログラムが記憶されている磁気ディスク331(フロッピディスクを含む)、光ディスク332(CD-ROM(Compact Disk-Read Only Memory),DVD(Digital Versatile Disk)を含む)、光磁気ディスク333(MD(Mini-Disk)(商標)を含む)、もしくは半導体メモリ334などよりなるパッケージメディアにより構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに供給される、プログラムが記憶されているROM312や、記憶部318に含まれるハードディスクなどで構成される。
また、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
また、本明細書において、1つの装置が実行する処理が、複数の装置によって実現される場合であっても、本発明は適用可能であることは言うまでもない。