JP5962765B2 - 撮像装置及び撮像方法 - Google Patents

撮像装置及び撮像方法 Download PDF

Info

Publication number
JP5962765B2
JP5962765B2 JP2014538352A JP2014538352A JP5962765B2 JP 5962765 B2 JP5962765 B2 JP 5962765B2 JP 2014538352 A JP2014538352 A JP 2014538352A JP 2014538352 A JP2014538352 A JP 2014538352A JP 5962765 B2 JP5962765 B2 JP 5962765B2
Authority
JP
Japan
Prior art keywords
image
synchronous detection
pixels
light
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2014538352A
Other languages
English (en)
Other versions
JPWO2014050535A1 (ja
Inventor
洋介 松野
洋介 松野
西内 秀和
秀和 西内
広喜 三ツ石
広喜 三ツ石
松本 淳
淳 松本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nissan Motor Co Ltd
Original Assignee
Nissan Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nissan Motor Co Ltd filed Critical Nissan Motor Co Ltd
Application granted granted Critical
Publication of JP5962765B2 publication Critical patent/JP5962765B2/ja
Publication of JPWO2014050535A1 publication Critical patent/JPWO2014050535A1/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00Special procedures for taking photographs; Apparatus therefor
    • G03B15/02Illuminating scene
    • G03B15/03Combinations of cameras with lighting apparatus; Flash units
    • G03B15/05Combinations of cameras with electronic flash apparatus; Electronic flash units
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B7/00Control of exposure by setting shutters, diaphragms or filters, separately or conjointly
    • G03B7/08Control effected solely on the basis of the response, to the intensity of the light received by the camera, of a built-in light-sensitive device
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/74Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/741Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B2215/00Special procedures for taking photographs; Apparatus therefor
    • G03B2215/05Combinations of cameras with electronic flash units

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Studio Devices (AREA)
  • Exposure Control For Cameras (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)

Description

本発明は、撮像装置及び撮像方法に関するものである。
投光器よりビーム状光線を被計測雪面上に投射し、受光器内の光検出器により雪面からの反射光を受光評価して積雪の深さを計測する積雪計測装置が知られている(特許文献1参照)。特許文献1の積雪計測装置では、変調した光を投射し、光検出器内の受光素子で受光した光を変調周波数に基づいて同期検波する。これにより、雪面からの反射光のうち投光した光の成分のみを抽出して、外乱光の影響を軽減している。
特開昭58−87486号公報
しかし、受光素子の受光感度特性において、高輝度側或いは低輝度側に低感度領域が含まれているのが一般的である。このため、例えば、撮像された画像内に日向の領域及び日陰の領域が含まれている場合、同期検波画像内においてコントラストのばらつきが大きくなり、画像全体でコントラストが安定した同期検波画像を得ることができない。
本発明は、上記課題に鑑みて成されたものであり、その目的は、画像全体でコントラストが安定した同期検波画像を生成することができる撮像装置及び撮像方法を提供することである。
上記目的を達成するため、本発明の一態様に係わる撮像装置は、投光している状態で撮像した画像の出力値から、投光していない状態で撮像した画像の出力値を減算して同期検波画像を求め、露光条件が異なる2以上の同期検波画像を生成し、露光条件が異なる2以上の同期検波画像の同じ位置の画素のうち、出力値が最も低い画素を除く他の画素の中から1以上の画素を選び、選んだ1以上の画素を用いて合成した同期検波画像を生成する。
図1は、本発明の実施形態に係わる撮像装置の構成を示すブロック図である。 図2は、一検波周期内において露光条件が異なる2以上の同期検波画像を得るためのフレーム毎の露光条件の一例を示す表である。 図3は、撮像部12の受光素子に入射する光の輝度(受光量)と撮像部12の出力値との関係を示すグラフである。 図4は、図2に示したフレーム1〜3の各々に相当する輝度画像FG1〜FG3、図2の同期検波画像KG1〜KG3、及び同期検波画像SYKGの一例を示す図である。 図5は、図1の撮像装置1を用いた本発明の実施形態に係わる撮像方法を示すフローチャートである。
<撮像装置>
以下、図面を参照して本発明の実施形態を説明する。図1を参照して、本発明の実施形態に係わる撮像装置1の構成を説明する。撮像装置1は、例えば車両などの移動体上に設けられるものであり、図1に示すように、投光部11、撮像部12、同期検波処理部13、露光制御部14、画像生成部15、画像情報記憶部16、参照信号生成部17、及び画像出力部18を備える。
撮像部12は、受光量に応じて出力値が画素毎に変化するCMOSセンサ、CCDセンサなどの半導体素子(受光素子)を用いて画像を撮像する。撮像部12は、例えば路面上にある白線などの撮像対象Pの画像を撮像する。
投光部11は、撮像部12による撮像に同期して、撮像部12が画像を撮像する領域に投光する。すなわち、投光部11は、撮像タイミングに同期して撮像対象Pに向けて光を照射する。投光部11は、参照信号生成部17により生成された参照信号に基づいて、強度が変調された光を撮影対象Pに向けて投光する。
参照信号生成部17は、例えば正弦波からなる参照信号を生成し、参照信号からPWM信号などの同期パスル信号を生成する。生成された同期パスル信号は、露光制御部14を介して、投光部11及び撮像部12に転送される。投光部11は、受信した同期パスル信号の受信タイミングに同期して投光する。撮像部12は、受信した同期パスル信号の受信タイミングに同期して画像を撮像する。
露光制御部14は、撮像部12の撮像タイミング、投光部11の投光タイミング、及び撮像部12及び投光部11の露光条件を制御する。具体的には、露光制御部14は、撮像部12の露光条件として、撮像部12の露光時間及び撮像部12が備えるレンズの絞り値の少なくとも一方を制御する。露光制御部14は、投光部11の露光条件として、投光部11の投光量及び投光時間の少なくとも一方を制御する。露光制御部14は、投光部11が投光している状態で撮像部12が画像を撮像するのみならず、投光部11が投光していない状態で撮像部12が画像を撮像するように、撮像部12の撮像タイミング及び投光部11の投光タイミングを制御する。露光制御部14は、露光条件が異なる2以上の同期検波画像が得られるように、撮像部12及び投光部11を制御する。
画像情報記憶部16は、撮像部12により撮像された画像の電子データを一時的に記憶し、記憶している一検波周期内の画像データを読み出して同期検波処理部13へ転送する。
同期検波処理部13は、一検波周期内の画像データと、参照信号生成部17より出力される参照信号に基づいて同期検波処理を行い、一検波周期内に露光条件が異なる2以上の同期検波画像を生成する。具体的には、同期検波処理部13は、投光部11が投光している状態で撮像した画像の出力値から、投光部11が投光していない状態で撮像した画像の出力値を減算して同期検波画像を求める。
画像生成部15は、露光条件が異なる2以上の同期検波画像の同じ位置の画素のうち、出力値が最も低い画素を除く他の画素の中から1以上の画素を選び、選んだ1以上の画素を用いて1つの同期検波画像を生成する。出力値が最も低い画素を除く他の画素の中から1つの画素を選んだ場合、選んだ画素を各画素の位置に従って配列することにより、同期検波画像を生成することができる。例えば、画像生成部15は、露光条件が異なる2以上の同期検波画像の同じ位置の画素のうち、出力値が最も高い画素を選び、選んだ画素を各画素の位置に従って配列することにより、同期検波画像を生成することができる。
ここで、画像生成部15が選択する画素とは、撮像部12が備える受光素子のピクセル及び撮像部12が撮像した画像のピクセルのみならず、隣接する複数のピクセルを纏めた画素ブロックを含むものとする。つまり、画像生成部15は、露光条件が異なる2以上の同期検波画像の同じ位置のピクセルのうち、出力値が最も低いピクセルを除く他のピクセルの中から1以上のピクセルを選び、選んだ1以上のピクセルを用いて同期検波画像を生成する。或いは、画像生成部15は、露光条件が異なる2以上の同期検波画像の同じ位置の画素ブロックのうち、出力値が最も低い画素ブロックを除く他の画素ブロックの中から1以上の画素ブロックを選び、選んだ1以上の画素ブロックを用いて同期検波画像を生成する。画素ブロックの出力値は、画素ブロックを構成する各ピクセルの出力値の平均値とすればよい。
画像出力部18は、画像生成部15により生成された同期検波画像を下位のシステムへ出力する。
<露光制御>
次に、図2を参照して、露光制御部14が、一検波周期内において露光条件が異なる2以上の同期検波画像が得られるように、撮像部12及び投光部11を制御する方法について説明する。図2の「フレーム番号」は、一検波周期内において撮像されるフレームを示す識別番号である。なお、「フレーム」とは、撮像タイミングが連続する1以上の画像からなる。「露光時間」は、各フレームにおいて受光素子がレンズを通じて受光している時間、つまり露光時間を規格化して示す。つまり、フレーム1における露光時間を1とした場合に、フレーム2における露光時間は1/2であり、フレーム3における露光時間は1/4である。「投光強度ピーク」は、各フレームの撮像に同期して投光部11から投光される投光量を規格化して示す。つまり、フレーム1における投光量を1とした場合に、フレーム2における投光量は2であり、フレーム3における投光量は4である。
フレーム1において、撮像部12が投光部11により投光された光(投光量1)を露光時間(1)だけ受光した場合、撮像部12の露光量は1×1=1である。フレーム2において、撮像部12が投光部11により投光された光(投光量1/2)を露光時間(2)だけ受光した場合、撮像部12の露光量は1/2×2=1である。フレーム3において、撮像部12が投光部11により投光された光(投光量1/4)を露光時間(4)だけ受光した場合、撮像部12の露光量は1/4×4=1である。このように、露光制御部14は、フレーム1〜3において、投光部11により投光された光に対する撮像部12の露光量が一定となるように、撮像部12及び投光部11の露光条件を制御する。露光制御部14は、フレーム4〜6においても同様に、撮像部12及び投光部11の露光条件を制御する。露光制御部14は、撮像部12の露光条件として、撮像部12の露光時間の代わりにレンズの絞り値を制御することができる。露光時間を長くする代わりに、絞り値を小さくすればよい。また、露光制御部14は、投光部11の露光条件として、投光部11の投光量の代わりに投光部11の投光時間を制御することができる。投光部11の投光量を増やす代わりに、投光時間を長くすればよい。
フレーム4〜6の露光時間及び投光量は、フレーム1〜3とそれぞれ同じである。フレーム7〜9の露光時間も、フレーム1〜3とそれぞれ同じである。ただし、フレーム7〜9の投光量は、いずれも零である。つまり、フレーム7〜9は、投光部11が投光していない状態で撮像部12が撮像した画像に相当する。
同期検波処理部13は、投光部11が投光している状態で撮像したフレーム1〜6の出力値から、投光部11が投光していない状態で撮像したフレーム7〜9の出力値を減算して同期検波画像KG1〜KG3を求める。例えば、投光状態で撮像したフレーム1及びフレーム4の出力値を平均したフレームから、フレーム1及びフレーム4と露光時間が等しいフレーム7の出力値を減算する。これにより、撮像対象Pからの反射光のうち投光した光の成分のみを抽出して、環境光の影響を軽減した同期検波画像が生成される。同様に、フレーム2及びフレーム5の出力値を平均したフレームから、フレーム2及びフレーム5と露光時間が等しいフレーム8の出力値を減算する。そして、フレーム3及びフレーム6の出力値を平均したフレームから、フレーム3及びフレーム6と露光時間が等しいフレーム9の出力値を減算する。このようにして、露光制御部14は、露光条件が異なる3つの同期検波画像KG1〜KG3が得られるように、撮像部12の露光時間及び投光部11の投光量を制御する。
<同期検波ゲイン特性>
図3を参照して、撮像部12の受光素子に入射する光の輝度(受光量)と撮像部12の出力値との関係を説明する。図3の横軸は撮像部12の受光素子に入射する光の輝度(受光量)を示し、図3の縦軸は撮像部12の出力値を示す。線TCに示すように、受光量の増加に従って撮像部12の出力値は単調に増加する。しかし、受光量に対する出力値の増加率(同期検波ゲイン)は、受光素子の受光量に応じて変化する。具体的には、受光量が多い高輝度側及び受光量が少ない低輝度側の同期検波ゲインは、中間領域の同期検波ゲインに比べて低くなる。よって、撮像部12の出力特性を示す線TCには、高感度領域HSR、低感度領域LSR1及び領域LSR2が含まれる。
同期検波画像KG1〜KG3は、投光部11が投光している状態で撮像したフレーム1〜6の出力値と、投光部11が投光していない状態で撮像したフレーム7〜9の出力値との差分からなる画像である。つまり、同期検波画像KG1〜KG3は、撮像部12が受光した光のうち投光部11が投光した光の成分のみを抽出した画像となる。しかし、撮像部12が受光した光のうち投光部11が投光した光の成分を除いた太陽光などの環境光の成分は、投光部11が投光した光の成分に比べて大きいのが一般的である。したがって、上記した撮像部12の出力特性によって、環境光の光量に応じて同期検波画像KG1〜KG3のコントラストにばらつきが生じてしまう場合がある。
具体的には、環境光の光量が少ない同期検波画像では、撮像部12が受光した光のうち投光部11が投光した光の成分は、図3の領域HOF1となる。環境光の光量が多い同期検波画像では、撮像部12が受光した光のうち投光部11が投光した光の成分は、図3の領域HOF3となる。領域HOF1及び領域HOF3は低感度領域LSR1、LSR2に相当する。このため、投光部11が投光した光量(領域HOF1、領域HOF3)に対する撮像部12の出力値ROV1、ROV3の割合、つまり同期検波ゲインは小さくなる。
これに対して、撮像部12が受光した光のうち投光部11が投光した光の成分が、図3の領域HOF2となる場合、同期検波画像は、撮像部12の高感度領域HSRを用いることができる。このため、投光部11が投光した光量(領域HOF2)に対する撮像部12の出力値ROV2の割合、つまり同期検波ゲインは、大きくなる。
したがって、1つの同期検波画像内に、例えば日向と日陰等の、環境光の光量が異なる複数の領域が含まれている場合、その領域毎に、撮像部12の感度領域HSR、LSR1、LSR2が異なってしまう。このため、1つの画像内でコントラストのばらつきが大きくなってしまう。
<同期検波処理及び画像合成処理>
図4を参照して、同期検波処理部13による同期検波処理、及び画像生成部15による画像合成処理の具体例を説明する。図4は、図2に示したフレーム1〜3の各々に相当する輝度画像FG1〜FG3、図2の同期検波画像KG1〜KG3、及び同期検波画像KG1〜KG3を合成することにより生成された同期検波画像SYKGの一例を示す。
図4に示す画像は、総て、画面の中央を水平方向に延びる白線WL(撮像対象P)を撮像した画像である。画面の左上の部分は日陰SHDの領域であり、画面の右下の部分は日向SUNの領域である。輝度画像FG1〜FG3において、撮像部12が受光した光のうち投光部11が投光した光の成分は等しいが、輝度画像FG1〜FG3の露光時間は異なる。このため、環境光の影響により、画像全体の輝度がFG1、FG2、FG3の順番で高くなる。
同期検波画像KG1のうち、日向SUNの領域は、環境光の光量が多い領域であるため、撮像部12が受光した光のうち投光部11が投光した光の成分は、図3の領域HOF3となる。よって、同期検波画像KG1のうち、日向SUNの領域は、図3の低感度領域LSR2で撮像された画像となる。一方、同期検波画像KG1のうち、日陰SHDの領域は、環境光の光量が多くない領域であるため、撮像部12が受光した光のうち投光部11が投光した光の成分は、図3の領域HOF2となる。よって、同期検波画像KG1のうち、日陰SHDの領域は、図3の高感度領域HSRで撮像された画像となる。
また、同期検波画像KG3は、同期検波画像KG1比べて画像全体の輝度が低い。よって、同期検波画像KG3における日向SUNの領域は、環境光の光量が多くない領域となる。このため、撮像部12が受光した光のうち投光部11が投光した光の成分は、図3の領域HOF2となる。よって、同期検波画像KG3における日向SUNの領域は、図3の高感度領域HSRで撮像された画像となる。一方、同期検波画像KG1のうち、日陰SHDの領域は、環境光の光量が少ない領域となるため、撮像部12が受光した光のうち投光部11が投光した光の成分は、図3の領域HOF1となる。よって、同期検波画像KG1における日陰SHDの領域は、図3の低感度領域LSR1で撮像された画像となる。
なお、同期検波画像KG2の画像全体の輝度は、同期検波画像KG1と同期検波画像KG3の間に位置する。よって、日向SUNの領域は、図3の高感度領域HSRと低感度領域LSR2の間の領域で撮像された画像となる。また、日陰SHDの領域は、図3の高感度領域HSRと低感度領域LSR1の間の領域で撮像された画像となる。したがって、図4の同期検波画像KG2のコントラストは、同期検波画像KG1の日陰SHDにおけるコントラストや、同期検波画像KG3の日向SUNにおけるコントラストに比べて、低くなってしまう。ただし、同期検波画像KG2の日向SUNの領域と日陰SHDの領域との間でコントラストの差は大きくならない。
次に、画像生成部15による画像合成処理について説明する。画像生成部15は、露光条件が異なる3つの同期検波画像KG1〜KG3の出力値を同じ位置の画素同士で比較し、出力値が最も高い画素を選ぶ。具体的には、日陰SHDの領域について、3つの同期検波画像KG1〜KG3のうち同期検波画像KG1の出力値が最も高い。よって、日陰SHDの領域について同期検波画像KG1の画素を選択する。日向SUNの領域について、3つの同期検波画像KG1〜KG3のうち同期検波画像KG3の出力値が最も高い。よって、日向SUNの領域について同期検波画像KG3の画素を選択する。このように、同期検波画像を構成する画素の位置毎に、出力値が最も高い画素を選ぶ。そして、同期検波画像KG3の日向SUNの画素、及び同期検波画像KG1の日陰SHDの画素を各画素の位置に従って配列することにより、1つの同期検波画像SYKGを生成する。このようにして、画像生成部15は、露光条件が異なる3つの同期検波画像KG1〜KG3の同じ位置の画素のうち、出力値が最も高い画素を選び、選んだ画素を合成して同期検波画像を生成することができる。
<撮像方法>
次に、図5を参照して、図1の撮像装置1を用いた本発明の実施形態に係わる撮像方法を説明する。
先ず、ステップS101において、露光制御部14は、参照信号生成部17から出力される参照信号を読み出す。ステップS102に進み、露光制御部14は、投光部11により投光される投光量及び撮像部12の露光時間を設定する。
ステップS103に進み、投光部11は、受信した同期パスル信号の受信タイミングに同期して投光し、撮像部12は、受信した同期パスル信号の受信タイミングに同期して画像を撮像する。投光部11は、PWM信号により強度変調された光を撮像対象Pに向けて照射する。
ステップS104に進み、撮像装置1は、撮像した画像に光を照射したことを示す照射フラグ、及び周期情報を付加する。即ち、一検波周期で撮像される画像のうちの、何番目の画像であるかを示す情報を付加する。ステップS105に進み、画像情報記憶部16は、撮像した画像を記憶する。
ステップS106に進み、撮像装置1は、一検波周期分の総てのフレーム1〜9が撮像されたか否かを判断する。一検波周期分の総てのフレーム1〜9が撮像されていない場合(S106でNO)、ステップS101に戻って、次のフレームを撮像する。一方、一検波周期分の総てのフレーム1〜9が撮像されている場合には(S106でYES)、ステップS107に進む。
ステップS107において、撮像装置1は、図2に示した露光条件が異なる3種類のフレームが撮像されたか否かを判断する。露光条件が異なる3種類のフレームを撮像していない場合(S107でNO)、ステップS101に戻り、次のフレームを撮像する。露光条件が異なる3種類のフレームを撮像した場合(S107でYES)、ステップS108に進む。
ステップS108において、同期検波処理部13は、画像情報記憶部16に記憶されている一検波周期分の輝度画像(フレーム1〜9)を読み出す。ステップS109に進み、同期検波処理部13は、一検波周期分の輝度画像に基づいて同期検波処理を行い、露光条件が異なる3種類の同期検波画像を生成する。
ステップS110に進み、露光条件の異なる総ての同期検波画像KG1〜KG3が生成されたか否かを判断する。露光条件の異なる総ての同期検波画像KG1〜KG3が生成されていない場合(S110でNO)、ステップS108に戻り、次の同期検波画像を生成する。露光条件の異なる総ての同期検波画像KG1〜KG3が生成されている場合(S110でYES)、ステップS111に進む。
ステップS111において、画像生成部15は、露光条件の異なる総ての同期検波画像KG1〜KG3の同じ位置の画素の出力値を読み出す。ステップS112に進み、画像生成部15は、同期検波画像KG1〜KG3の同じ位置の画素のうち、出力値が最も高い画素を選ぶ。ステップS113に進み、画像生成部15は、選んだ画素を各画素の位置に従って配列することにより、1つの同期検波画像SYKGを生成する。ステップS114に進み、画像出力部18は、生成された同期検波画像SYKGを下位システムへ出力する。ステップS115において、電源がオフされたと判断された場合、本処理を終了する。
以上説明したように、本発明の実施形態によれば、以下の作用効果が得られる。
露光制御部14が、露光条件が異なる2以上の同期検波画像KG1〜KG3が得られるように、撮像部12及び投光部11を制御する。画像生成部15が、露光条件が異なる2以上の同期検波画像KG1〜KG3の同じ位置の画素のうち、出力値が最も低い画素を除く他の画素の中から1以上の画素を選び、選んだ1以上の画素を用いて同期検波画像SYKGを生成する。これにより、露光条件が異なる2以上の同期検波画像KG1〜KG3の中から、同期検波画像の出力値が高い領域を画素ごとに選んで1つの同期検波画像SYKGを生成することができる。よって、露光条件が異なる2以上の同期検波画像KG1〜KG3を用いて、画像全体でコントラストが安定した同期検波画像SYKGを生成することができる。
画像生成部15は、露光条件が異なる2以上の同期検波画像KG1〜KG3の同じ位置の画素のうち、出力値が最も低い画素を除く他の画素の中から1つの画素を選び、選んだ1つの画素を各画素の位置に従って配列して同期検波画像SYKGを生成する。これにより、2つ以上の画素を選択する場合に比べて画像生成部15が行う計算量が減少するので、画像処理速度が速くなる。
画像生成部15は、露光条件が異なる2以上の同期検波画像KG1〜KG3の同じ位置の画素のうち、出力値が最も高い画素を選び、選んだ画素を各画素の位置に従って配列して配列して同期検波画像SYKGを生成する。これにより、コントラストが安定し、且つコントラストの強い同期検波画像SYKGを生成することができる。
露光制御部14は、撮像部12の露光時間及び絞り値の少なくとも一方を制御することにより、露光条件を変化させる。これにより、露光条件が異なる2以上の同期検波画像KG1〜KG3を得ることができる。
露光制御部14は、投光部11の投光量及び投光時間の少なくとも一方を制御することにより、露光条件を変化させる。これにより、露光条件が異なる2以上の同期検波画像KG1〜KG3を得ることができる。
露光制御部14は、投光部11により投光された光に対する撮像部12の露光量が一定となるように撮像部12及び投光部11を制御する。これにより、画像全体でコントラストが安定した同期検波画像KG1〜KG3を生成することができる。
<その他の実施形態>
上記した実施形態において、画像生成部15は、露光条件が異なる2以上の同期検波画像KG1〜KG3の同じ位置の画素のうち、出力値が最も低い画素を除く他の画素の中から1つの画素を選んでいた。しかし、本発明はこれに限定されない。画像生成部15は、出力値が最も低い画素を除く他の画素の中から2つ以上の画素を選んでも構わない。この場合、画像生成部15は、選んだ2以上の画素を合成した画素を各画素の位置に従って配列して同期検波画像を生成することができる。ここで、「選んだ2以上の画素を合成した画素」には、選んだ2以上の画素の出力値を平均した画素が含まれる。また、選択した2つ以上の画素の出力値の大きさに応じて、選択した2つ以上の画素の出力値に対して重みづけを行ってもよい。
画像生成部15は、露光条件が異なる2以上の同期検波画像KG1〜KG3の同じ位置の画素のうち、出力値が最も高い画素を選んでいた。しかし、本発明はこれに限定されない。画像生成部15は、露光条件が異なる2以上の同期検波画像KG1〜KG3の同じ位置の画素のうち、出力値が2番目に高い画素、3番目に高い画素、・・を選択しても構わない。
露光制御部14は、図2に示したように、露光条件が異なる3つの同期検波画像KG1〜KG3を生成した。しかし、露光条件が異なる同期検波画像の数は3に限定されず、2或いは4以上であっても構わない。
特願2012−210671号(出願日:2012年9月25日)の全内容は、ここに援用される。
以上、実施例に沿って本発明の内容を説明したが、本発明はこれらの記載に限定されるものではなく、種々の変形及び改良が可能であることは、当業者には自明である。
本発明の実施形態に係わる撮像装置及び撮像方法によれば、露光条件が異なる2以上の同期検波画像の中から、同期検波画像の出力値が高い領域を画素ごとに選んで1つの同期検波画像を生成することができる。よって、画像全体でコントラストが安定した同期検波画像を生成することができる。本発明の実施形態に係わる撮像装置及び撮像方法は産業上利用可能性を有する。
1 撮像装置
11 投光部
12 撮像部
13 同期検波処理部
14 露光制御部
15 画像生成部
KG1〜KG3 同期検波画像
SYKG 同期検波画像

Claims (8)

  1. 受光量に応じて出力値が変化する受光素子を用いて、画像を撮像する撮像部と、
    前記撮像部による撮像に同期して、前記撮像部が画像を撮像する領域に投光する投光部と、
    前記投光部が投光している状態で撮像した画像の出力値から、投光部が投光していない状態で撮像した画像の出力値を減算して同期検波画像を求める同期検波処理部と、
    露光条件が異なる2以上の同期検波画像が得られるように、前記撮像部及び前記投光部を制御する露光制御部と、
    前記露光条件が異なる2以上の同期検波画像の同じ位置の画素のうち、前記出力値が最も低い画素を除く他の画素の中から1以上の画素を選び、選んだ1以上の画素を用いて合成した同期検波画像を生成する画像生成部と、
    を備えることを特徴とする撮像装置。
  2. 請求項1に記載の撮像装置において、
    前記画像生成部は、前記露光条件が異なる2以上の同期検波画像の同じ位置の画素のうち、前記出力値が最も低い画素を除く他の画素の中から1つの画素を選び、選んだ1つの画素を各画素の位置に従って配列して前記同期検波画像を生成することを特徴とする撮像装置。
  3. 請求項2に記載の撮像装置において、
    前記画像生成部は、前記露光条件が異なる2以上の同期検波画像の同じ位置の画素のうち、前記出力値が最も高い画素を選び、選んだ画素を各画素の位置に従って配列して前記同期検波画像を生成することを特徴とする撮像装置。
  4. 請求項1に記載の撮像装置において、
    前記画像生成部は、前記露光条件が異なる2以上の同期検波画像の同じ位置の画素のうち、前記出力値が最も低い画素を除く他の画素の中から2以上の画素を選び、選んだ2以上の画素を合成した画素を各画素の位置に従って配列して前記同期検波画像を生成することを特徴とする撮像装置。
  5. 請求項1〜4のいずれか一項に記載の撮像装置において、
    前記露光制御部は、前記撮像部の露光時間及び絞り値の少なくとも一方を制御することにより、前記露光条件を変化させることを特徴とする撮像装置。
  6. 請求項1〜5のいずれか一項に記載の撮像装置において、
    前記露光制御部は、前記投光部の投光量及び投光時間の少なくとも一方を制御することにより、前記露光条件を変化させることを特徴とする撮像装置。
  7. 請求項1〜6のいずれか一項に記載の撮像装置において、
    前記露光制御部は、前記投光部により投光された光に対する前記撮像部の露光量が一定となるように前記撮像部及び前記投光部を制御することを特徴とする撮像装置。
  8. 受光量に応じて出力値が変化する受光素子を用いて、画像を撮像し、
    前記画像の撮像に同期して、前記画像を撮像する領域に投光し、
    投光している状態で撮像した画像の出力値から、投光していない状態で撮像した画像の出力値を減算して同期検波画像を求め、
    前記画像の撮像における露光条件が異なる2以上の同期検波画像が得られるように、前記画像の撮像及び投光を制御し、
    前記2以上の同期検波画像の同じ位置の画素のうち、前記出力値が最も低い画素を除く他の画素の中から1以上の画素を選び、選んだ1以上の画素を用いて合成した同期検波画像を生成する
    ことを特徴とする撮像方法。

JP2014538352A 2012-09-25 2013-09-10 撮像装置及び撮像方法 Expired - Fee Related JP5962765B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2012210671 2012-09-25
JP2012210671 2012-09-25
PCT/JP2013/074333 WO2014050535A1 (ja) 2012-09-25 2013-09-10 撮像装置及び撮像方法

Publications (2)

Publication Number Publication Date
JP5962765B2 true JP5962765B2 (ja) 2016-08-03
JPWO2014050535A1 JPWO2014050535A1 (ja) 2016-08-22

Family

ID=50387943

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014538352A Expired - Fee Related JP5962765B2 (ja) 2012-09-25 2013-09-10 撮像装置及び撮像方法

Country Status (5)

Country Link
US (1) US9294686B2 (ja)
EP (1) EP2902841B1 (ja)
JP (1) JP5962765B2 (ja)
CN (1) CN104662472B (ja)
WO (1) WO2014050535A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019186813A1 (ja) * 2018-03-28 2019-10-03 本田技研工業株式会社 除雪機、除雪機における投影方法、プログラムおよび記憶媒体、並びに、投影システム

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5887486A (ja) 1981-11-20 1983-05-25 Meisei Electric Co Ltd 積雪計測装置
US6464633B1 (en) * 1999-08-23 2002-10-15 Olympus Optical Co., Ltd. Light source device for endoscope using DMD
US6362466B1 (en) * 1999-10-15 2002-03-26 Orest Fedan Optical object detection having circuitry applying logarithmic function to the average of filtered output
US6455839B1 (en) * 2000-12-15 2002-09-24 Prospects, Corp. Obstacle detection sensor using synchronous detection
JP3780178B2 (ja) * 2001-05-09 2006-05-31 ファナック株式会社 視覚センサ
WO2004010711A1 (ja) * 2002-07-18 2004-01-29 Sony Corporation 撮像データ処理方法、および撮像データ処理装置、並びにコンピュータ・プログラム
WO2006085834A1 (en) 2005-01-28 2006-08-17 Microvision, Inc. Method and apparatus for illuminating a field-of-view and capturing an image
JP2007049374A (ja) * 2005-08-09 2007-02-22 Nikon Corp 撮像方法及び撮像装置
JP2006127539A (ja) * 2005-12-05 2006-05-18 Toshiba Corp 画像抽出装置
JP5061767B2 (ja) * 2006-08-10 2012-10-31 日産自動車株式会社 画像処理装置および画像処理方法
JP4747065B2 (ja) * 2006-09-29 2011-08-10 富士通株式会社 画像生成装置、画像生成方法および画像生成プログラム
US7697062B2 (en) 2006-11-08 2010-04-13 Sony Ericsson Mobile Communications Ab Camera and method in a camera
JP5092613B2 (ja) * 2007-08-06 2012-12-05 日産自動車株式会社 距離計測方法および装置、ならびに距離計測装置を備えた車両
US7920247B2 (en) * 2007-11-30 2011-04-05 Nissan Motor Co., Ltd. Distance measurement system and distance measurement method
JP4934123B2 (ja) * 2008-09-30 2012-05-16 富士フイルム株式会社 撮影装置および方法
JP2010252212A (ja) * 2009-04-20 2010-11-04 Toyota Motor Corp 車載画像取得装置
JP2012119858A (ja) * 2010-11-30 2012-06-21 Aof Imaging Technology Ltd 撮影装置、撮影方法、およびプログラム

Also Published As

Publication number Publication date
EP2902841A1 (en) 2015-08-05
CN104662472B (zh) 2017-03-01
CN104662472A (zh) 2015-05-27
US20150229821A1 (en) 2015-08-13
JPWO2014050535A1 (ja) 2016-08-22
WO2014050535A1 (ja) 2014-04-03
EP2902841B1 (en) 2017-01-11
US9294686B2 (en) 2016-03-22
EP2902841A4 (en) 2015-08-05

Similar Documents

Publication Publication Date Title
JP5775732B2 (ja) カメラおよびカメラの制御方法
JP5656613B2 (ja) 撮像装置及びその制御方法
EP2256688A1 (en) Image obtaining apparatus, image synthesis method and microscope system
JP2010175435A (ja) 三次元情報検出装置及び三次元情報検出方法
US20180146144A1 (en) Image processing device, image processing method, program, and imaging device
US9875423B2 (en) Image pickup apparatus that calculates light amount change characteristic, electronic apparatus, and method of calculating light amount change characteristic
JP6251962B2 (ja) カメラ装置及び画像処理方法
US20160266347A1 (en) Imaging apparatus and method, and program
US20200145641A1 (en) Image processing apparatus and method
JP4466319B2 (ja) 空間情報の検出装置
JP2013083510A (ja) レーザレーダ装置およびレーザレーダ装置による撮像目標選択方法
JP5962765B2 (ja) 撮像装置及び撮像方法
CA2494095A1 (en) Image pickup system
JP2011078074A (ja) 撮像装置およびその制御方法
JP2004349837A (ja) 撮像装置及び撮像方法
JP2013214938A (ja) 撮影装置及び撮影装置の画像処理方法
JP5818451B2 (ja) 撮像装置および制御方法
JP2018142887A (ja) 画像撮像システム及び画像撮像装置
JP5772251B2 (ja) カメラシステムおよび画像生成方法
WO2019239945A1 (ja) 取得方法、プログラムおよび撮像装置
JP5772250B2 (ja) カメラシステムおよび画像生成方法
JP6566800B2 (ja) 撮像装置及び撮像方法
CN115201851A (zh) 图像捕获设备
JP2005164349A (ja) 距離検出方法及び装置
JP2016122941A (ja) 画像処理装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160427

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160531

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160613

R151 Written notification of patent or utility model registration

Ref document number: 5962765

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

LAPS Cancellation because of no payment of annual fees