JP6890263B2 - 撮像制御装置、撮像制御方法、プログラムおよび記録媒体 - Google Patents

撮像制御装置、撮像制御方法、プログラムおよび記録媒体 Download PDF

Info

Publication number
JP6890263B2
JP6890263B2 JP2018556514A JP2018556514A JP6890263B2 JP 6890263 B2 JP6890263 B2 JP 6890263B2 JP 2018556514 A JP2018556514 A JP 2018556514A JP 2018556514 A JP2018556514 A JP 2018556514A JP 6890263 B2 JP6890263 B2 JP 6890263B2
Authority
JP
Japan
Prior art keywords
image data
unit
target
distance
infrared light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018556514A
Other languages
English (en)
Other versions
JPWO2018110183A1 (ja
Inventor
岩井　浩
岩井　　浩
岩村　宏
宏 岩村
柴田　修
修 柴田
智宏 本多
智宏 本多
朋史 永田
朋史 永田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Publication of JPWO2018110183A1 publication Critical patent/JPWO2018110183A1/ja
Application granted granted Critical
Publication of JP6890263B2 publication Critical patent/JP6890263B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/484—Transmitters
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/02—Details
    • G01C3/06—Use of electric means to obtain final indication
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/10—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/30—Transforming light or analogous information into electric information
    • H04N5/33—Transforming infrared radiation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Measurement Of Optical Distance (AREA)

Description

本開示は、撮像制御装置、撮像制御方法、プログラムおよび記録媒体に関する。
特許文献１には、移動または静止する測定対象物（以下、「ターゲット」という）を画像としてとらえると共にこのターゲットとの距離を測定するためのセンサとして、ＴＯＦ（Ｔｉｍｅ−Ｏｆ−Ｆｌｉｇｈｔ）方式の距離画像センサが開示されている。
このようなＴＯＦ方式の距離画像センサは、赤外光照射部と赤外光受光部とを有している。そして、赤外光照射部が照射した照射光の照射タイミングと、反射光（つまり、照射光がターゲットで反射された光）の赤外光受光部における受光タイミングとの時間差または位相差に基づいて、距離画像センサとターゲットとの距離を測定する。
特開昭５９−７９１７３号公報
本開示は、ターゲットまでの距離を精度よく測定する技術を提供しようとするものである。
本開示の一形態は、画像データに基づいて、周囲の状況が所定の状況に該当するか否かを判定する認識部と、認識部が所定の状況に該当すると判定した場合に、ターゲットに照射する送信パルスの数を増やすように赤外光照射部を制御する制御部と、を有した撮像制御装置である。
なお、本開示の一形態は、方法、プログラムおよびプログラムを記録した一時的でない有形の記録媒体のいずれかであっても良い。
本開示によれば、ターゲットまでの距離を精度よく測定できる。
本開示の実施の形態に係る撮像制御装置が組み込まれた撮像装置の構成を示す概略図 本開示の実施の形態に係る撮像制御装置の構成を示す模式図 ＴＯＦ方式の距離画像センサの構成を説明するための模式図 実施の形態の撮像制御方法を実施していない状態の照射光および反射光の状態を示す模式図 実施の形態の撮像制御方法を実施している状態の照射光および反射光の状態を示す模式図 実施の形態の撮像制御方法を実施している状態の照射光および反射光の変形例を示す模式図 黒い自動車の可視画像データを表示した図 実施の形態の撮像制御方法を実施しない状態で得られる図５Ａに示す自動車の距離画像データを表示した図 輪郭抽出部が抽出した輪郭を図５Ｂの距離画像に表示した図 実施の形態の撮像制御方法を実施した状態で得られる図５Ａに示す自動車の距離画像データを表示した図 距離検出方法に関するフローチャート ターゲットの色を検出する処理に関するフローチャート 三箇所のコーナー部が見えている状態の自動車の模式図
本開示の実施の形態の説明に先立ち、従来の技術における問題点を簡単に説明する。特許文献１等に開示された距離画像センサは、例えば、周囲に赤外光受光部が受光する上記反射光の光強度を低下させるような状況が存在する場合に、距離の測定精度が低下する可能性がある。
（実施の形態）
図１〜８を参照して、本開示に係る実施の形態について説明する。なお、以下の実施の形態の説明において、その構成要素（要素ステップなどを含む）は、必須であることを明示した場合および原理的に明らかに必須であると考えられる場合などを除き、必ずしも必須のものではない。なお、以下の実施の形態で説明する赤外光は近赤外光であってもよい。
[１ 撮像装置について]
まず、図１を参照して、本開示に係る撮像制御装置が組み込まれる撮像装置１００の構成の概略について説明する。図１は、撮像装置の構成例の一例を示すブロック図である。
図１に示す撮像装置１００は、ターゲットの外観を確認するための画像である可視画像データ、および、赤外画像データ（以下、「ＩＲ画像データ」という）、ならびに、撮像装置１００とターゲットとの距離に関する距離画像データなどの画像データを生成する。また、撮像装置は、ターゲットに関する物標ＩＤ（identification）データを生成する。
上述のような撮像装置１００は、例えば、車両の周囲（典型的には前方）を撮像する装置として車両に搭載される。そして、撮像装置１００が生成した画像データおよび物標ＩＤデータは、撮像装置１００の後段に配置された先進運転支援システム（Advanced Driving Assistant System、以下、「ＡＤＡＳ」という）のＥＣＵ（Electronic Control Unit）に送信される。
[１．1 撮像装置の具体的構成について]
以下、図１に示す撮像装置１００の具体的構成について説明する。撮像装置１００は、赤外光照射部１１０と、赤外光受光部１２０と、可視光受光部１３０と、撮像制御装置１４０と、を有している。
[１．２ 赤外光照射部について]
赤外光照射部１１０は、少なくとも距離画像データに関する撮像範囲に向けて赤外光パルス（以下、「送信パルス」という）を照射する。具体的には、例えば、赤外光照射部１１０は、図４Ａ、４Ｂに示すような照射光１１１ａ、１１１ｂを照射する。照射光１１１ａ、１１１ｂについては後述する。
赤外光照射部１１０が照射する送信パルスの条件（例えば、幅、振幅、パルス間隔、パルス数など）は、後述する撮像制御装置１４０により制御される。
[１．３ 赤外光受光部について]
赤外光受光部１２０は、例えばＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサであって、赤外光を受光して、ＩＲ画像データを生成する。
赤外光受光部１２０の、受光の条件（露光時間、露光タイミング、露光回数など）は、後述する撮像制御装置１４０により制御される。
[１．４ 可視光受光部について]
可視光受光部１３０は、例えばＣＭＯＳイメージセンサであって、白黒ＢＷ（Black and White）の可視光、または、カラーＲＧＢ（Red Green Blue）の可視光をそれぞれ受光して、可視画像データを生成する。
可視光受光部１３０の受光の条件（露光時間、露光タイミング、露光回数など）は、後述する撮像制御装置１４０により制御される。
本実施の形態の場合、赤外光受光部１２０と可視光受光部１３０とは、共通のイメージセンサ１６０により構成されている。ただし、赤外光受光部１２０と可視光受光部１３０とを異なるイメージセンサにより構成することもできる。
また、本実施の形態の場合、赤外光受光部１２０および可視光受光部１３０に光（赤外光および可視光）を導入する光学系（図示省略）は、共通の光学系である。ただし、赤外光受光部１２０および可視光受光部１３０に光を導入する光学系は、異なる光学系でもよい。
[１．５ 撮像制御装置について]
撮像制御装置１４０は、撮像装置１００を構成する各部の制御を行う。撮像制御装置１４０は、認識部１４１と、制御部１４２と、出力部１５０と、を有している。
撮像制御装置１４０は、例えば図２に示す、入力端子１４０Ａ、出力端子１４０Ｂ、マイクロプロセッサ１４０Ｃ、プログラムメモリ１４０Ｄおよびメインメモリ１４０Ｅなどにより構成する。
上記プログラムメモリは、プログラムＰ１を保持する。プログラムメモリは、ＥＥＰＲＯＭ（Electrically Erasable and Programmable Read Only Memory）のような不揮発性半導体メモリであってよい。
上記メインメモリには、プログラムの実行に関する各種データが格納される。メインメモリは、ＳＲＡＭ（Static Random Access Memory）またはＤＲＡＭ（Dynamic Random Access Memory）のような揮発性半導体メモリであってよい。
マイクロプロセッサは、プログラムメモリからプログラムを読み出して、上記メインメモリを用いてプログラムを実行することにより、撮像制御装置１４０が有する各種機能を実現する。
また、撮像制御装置１４０の機能は、ＦＰＧＡ（Field Programmable Gate Array）、ＡＳＩＣ（Application Specific Integrated Circuit）などの論理回路、あるいは、プログラムとして実現されてもよい。
以下、撮像制御装置１４０が有する各種機能について説明する。
[１．６ 認識部について]
認識部１４１は、可視光受光部１３０が生成する可視画像データに基づいて、周囲の状況が所定の状況に該当するか否かを判定する。認識部１４１は、距離検出部１４３と、輪郭抽出部１４４と、色検出部１４５と、逆光検出部１４６と、霧検出部１４７と、物標抽出部１４８と、を有している。なお、認識部１４１は、必ずしも上述した全ての構成を有する必要はなく、一部の構成のみを有してもよい。
所定の状況とは、赤外光照射部１１０の照射光１１１ａ、１１１ｂがターゲットで反射された光である反射光の光強度を低下させるような状況である。具体的には、所定の状況とは、周囲に逆光が存在している状況、周囲に霧が存在している状況、および、ＩＲ光に対する反射率が、反射率に関する所定の閾値よりも低い色（例えば、黒、グレーであって、以下、「低反射色」という）を有している状況である。
[１．７ 距離検出部について]
距離検出部１４３は、赤外光受光部１２０が生成するＩＲ画像データに基づいて、ターゲットまでの距離を検出する。また、距離検出部１４３は、検出した距離に基づいて距離画像データを生成する。距離検出部１４３が、距離を検出する方法については後述する。
距離検出部１４３は、ＩＲ画像データを領域分割して一部のＩＲ画像データを抽出できる。そして、抽出した一部のＩＲ画像データに基づいて、距離画像データを生成する。なお、一部のＩＲ画像データとは、例えば、ターゲットに関するＩＲ画像データを含む。
[１．８ 輪郭抽出部について]
輪郭抽出部１４４は、可視光受光部１３０が生成する可視画像データまたは赤外光受光部１２０が生成するＩＲ画像データから、ターゲットの輪郭を抽出し、輪郭データを生成する。なお、輪郭抽出部１４４がＩＲ画像データからターゲットの輪郭を抽出して輪郭データを生成する場合、撮像装置１００は可視光受光部１３０を有しなくてもよい。
具体的には、ターゲットの可視画像データまたはＩＲ画像データが図５Ａに示す自動車２０１である場合、輪郭抽出部１４４は、この可視画像データから図５Ｃに示すような輪郭２００を抽出する。なお、可視画像データまたはＩＲ画像データを単に画像データと称することもある。
[１．９ 色検出部について]
色検出部１４５は、可視画像データまたはＩＲ画像データに基づいて、ターゲットが低反射色を有しているか否かを判定する。なお、反射率に関する所定の閾値は、例えば、輝度に関する値を設定する。
具体的には、色検出部１４５は、可視画像データまたはＩＲ画像データのうち、輪郭抽出部１４４が抽出したターゲットの輪郭内に、低反射色の部分が存在するか否かを判定する。色検出部１４５は、輪郭内の全面積に対する、低反射色の部分の面積の割合を検出する。
[１．１０ 逆光検出部について]
逆光検出部１４６は、可視画像データまたはＩＲ画像データに基づいて、逆光の有無を判定する。なお、逆光の有無は、例えば、可視画像データまたはＩＲ画像データにおける輝度に関する情報に基づいて判定する。この他、逆光の有無を判定する方法は、従来から知られている各種方法を採用できる。
[１．１１ 霧検出部について]
霧検出部１４７は、可視画像データまたはＩＲ画像データに基づいて、霧の有無を判定する。なお、霧の有無に関しても、例えば、可視画像データまたはＩＲ画像データの輝度に関する情報に基づいて判定する。この他、逆光の有無を判定する方法は、従来から知られている各種方法を採用できる。
[１．１２ 物標抽出部について]
物標抽出部１４８は、距離検出部１４３が生成する距離画像データから、ターゲット（換言すれば、物標）を抽出する。そして、物標抽出部１４８は、距離検出部１４３が生成する距離画像データのうち、ターゲットに相当する部分の距離画像データを抽出する。なお、撮像装置１００が車両に搭載されている場合には、ターゲットは、他の車両、歩行者または標識など、車両の走行に関連する各種物体である。
また、物標抽出部１４８は、ターゲットに関する距離画像データ内に、距離が適切に検出されていない部分が存在するか否かを判定する。
また、物標抽出部１４８は、ターゲットに関する距離画像データが適切でないと判定した場合には、輪郭抽出部１４４に対して、可視画像データまたはＩＲ画像データからターゲットの輪郭を抽出するように指示する。物標抽出部１４８は、輪郭抽出部１４４への指示を、直接または後述する制御部１４２を介して行う。
また、色検出部１４５が、ターゲットが低反射色を有していると判定した場合、物標抽出部１４８は、制御部１４２に対して、赤外光照射部１１０の送信パルス数を増やすまたは減らす旨の指示を出すことができる。なお、送信パルス数を増やすまたは減らす旨の指示は、物標抽出部１４８の代わりに輪郭抽出部１４４が出してもよい。
また、物標抽出部１４８または輪郭抽出部１４４は、制御部１４２に対して、送信パルス数を増やすまたは減らす旨の指示を出した場合に、制御部１４２に対して、ＩＲ画像データのフレームレートを下げる旨の指示を出す。
さらに、物標抽出部１４８は、ターゲットの物標ＩＤデータを生成する。そして、物標抽出部１４８は、距離画像データにおけるターゲットに対して物標ＩＤを付与する。
なお、認識部１４１は、物標ＩＤデータやＩＲ画像データ、距離画像データ、可視画像データ等の出力データを出力部１５０の出力端子から出力する。この出力データは、例えば、上述のＡＤＡＳのＥＣＵに送信される。なお、この出力データは、物標ＩＤデータ、ＩＲ画像データ、距離画像データまたは可視画像データのうちの少なくとも一つのデータを含んでいる。
[１．１３ 制御部について]
制御部１４２は、赤外光照射部１１０が照射する送信パルスの幅や振幅（強度）、パルス間隔、送信パルス数などを制御する。
具体的には、認識部１４１が所定の状況に該当すると判定した場合に、制御部１４２は、送信パルス数を増やすまたは減らすように赤外光照射部１１０を制御する。
また、ターゲットが低反射色を有している（つまり、所定の状況に該当する）と認識部１４１が判定した場合に、制御部１４２は、送信パルス数を増やすまたは減らすように赤外光照射部１１０を制御する。なお、車両速度（または、撮像装置１００とターゲットとの相対速度）が、速度に関する所定の閾値を超える場合には送信パルス回数を増加しなくてもよいことはもちろんのことである。なお、車両速度は、例えば、車両のＥＣＵ等から取得する。
制御部１４２は、送信パルス数を増やすまたは減らすと共に、送信パルスの強度（光度）を上げるまたは下げるように赤外光照射部１１０を制御してもよい。
また、距離画像データにおけるターゲットの輪郭内に、距離に関する所定の閾値以上の距離差を有する部分が存在する場合に、制御部１４２は、可視画像データに基づいて所定の状況に該当するか否かの判定を実施するように、認識部１４１を制御してもよい。
制御部１４２は、送信パルス数を増やすまたは減らすと共に、赤外光受光部１２０が生成するＩＲ画像データを領域分割して、一部のＩＲ画像データを抽出するように距離検出部１４３を制御してもよい。
この場合に、制御部１４２は、抽出した一部のＩＲ画像データに基づいて距離画像データを生成するように距離検出部１４３を制御してもよい。なお、一部のＩＲ画像データとは、例えば、ターゲットに関するＩＲ画像データを含む。
制御部１４２は、赤外光受光部１２０の露光時間およびタイミングに関する制御を行う。また、制御部１４２は、可視光受光部１３０の露光時間およびタイミングに関する制御を行う。
本実施の形態の場合、赤外光受光部１２０と可視光受光部１３０とを共通のイメージセンサにより構成している。このため、赤外光受光部１２０と可視光受光部１３０との露光時間およびタイミングは同期している。
なお、赤外光受光部１２０と可視光受光部１３０とを異なるイメージセンサにより構成することもできる。この場合には、制御部１４２は、ＩＲ画像データ、距離画像データおよび可視光画像データが一対一で対応するように、赤外光受光部１２０および可視光受光部１３０を制御する。
また、制御部１４２は、赤外光受光部１２０が生成するＩＲ画像データ、および、可視光受光部１３０が生成する可視画像データに関するフレームレートを設定する。
具体的には、制御部１４２は、赤外光照射部１１０が照射する送信パルス数に応じて、ＩＲ画像データおよび可視画像データに関するフレームレートを設定する。
例えば、制御部１４２は、赤外光照射部１１０が照射する送信パルス数が通常状態よりも増えている場合には、ＩＲ画像データに関するフレームレートを通常状態よりも小さく設定する。
また、色検出部１４５がターゲットの輪郭内の全面積に対する、低反射色部分の面積率が、面積率に関する所定の閾値以下であると判定した場合には、制御部１４２は、ＩＲ画像データに関するフレームレートを下げなくてもよい。
また、ターゲットが移動物体である場合には、制御部１４２は、ＩＲ画像データに関するフレームレートを下げなくてもよい。
また、制御部１４２は、車両のＥＣＵから取得した車両速度に応じて、ＩＲ画像データに関するフレームレートを設定してもよい。
具体的には、車両速度（または、撮像装置１００とターゲットとの相対速度）が速度に関する所定の閾値以上の場合には、制御部１４２は、ＩＲ画像データに関するフレームレートを下げなくてもよい。
[１．１４ 出力部について]
出力部１５０は、出力端子を有している。出力部１５０は、出力端子から出力信号を、例えばＡＤＡＳのＥＣＵに出力する。なお、出力信号には、例えば、ＩＲ画像データ、可視画像データ、距離画像データまたは物標ＩＤデータのうちの少なくとも１種類のデータが含まれる。
[２ 撮像装置が生成する撮像データについて]
以下、撮像装置１００が生成する可視画像データ、ＩＲ画像データ、距離画像データおよび物標ＩＤデータについて説明する。
[２．１ 可視画像データについて]
可視画像データは、可視光受光部１３０が受光する可視光に基づいて生成される。可視画像データは、輪郭抽出部１４４がターゲットの輪郭を抽出する際に使用される。
また、可視画像データは、逆光検出部１４６が逆光を検出する際に使用される。また、可視画像データは、霧検出部１４７が霧を検出する際に使用される。
本実施の形態の場合、可視画像データは、赤外光受光部１２０で生成されるＩＲ画像データと、一対一に対応した状態で生成される。従って、可視画像データにおけるターゲットの位置と、ＩＲ画像データにおけるターゲットの位置とは、一対一に対応している。なお、可視画像データは、出力データの一部として出力部１５０の出力端子から出力される。
[２．２ ＩＲ画像データについて]
ＩＲ画像データは、赤外光受光部１２０が受光するＩＲ光に基づいて生成される。ＩＲ画像データは、距離検出部１４３に送られて距離画像データの生成に使用される。また、ＩＲ画像データは、出力データの一部として出力部１５０の出力端子から出力される。さらに、ＩＲ画像データは、輪郭抽出部１４４に送られて、輪郭抽出に使用される。
[２．３ 距離画像データについて]
距離画像データは、距離検出部１４３が検出したターゲットまでの距離データに基づいて生成される。距離画像データは、座標情報および距離情報を有するデータとして生成される。距離画像データは、出力データの一部として出力部１５０の出力端子から出力される。
[２．４ 物標ＩＤデータについて]
物標ＩＤデータは、物標抽出部１４８が距離画像データから抽出した物標（つまり、ターゲット）に対して付与される識別子である。物標ＩＤデータは、出力データの一部として出力部１５０の出力端子から出力される。
なお、撮像装置１００が生成するデータは、例えば、撮像装置１００が有するメモリ（図示省略）などの記録媒体に記憶される。この場合には、出力部１５０は、適宜のタイミングで上記記録媒体から上記データを出力してもよい。
[３ 距離検出方法について]
以下、図１、３、６、７を参照して、図１に示す撮像装置１００により、ターゲットまでの距離を測定する方法について説明する。
[３．１ 距離画像センサについて]
先ず、撮像装置１００が有する距離画像センサの構成について、図１、３を参照して簡単に説明する。
図１に示す撮像装置１００の場合、ターゲットまでの距離の測定を、ＴＯＦ方式の距離画像センサにより行う。距離画像センサは、上述した赤外光照射部１１０、赤外光受光部１２０および距離検出部１４３により構成されている。
ＴＯＦ方式の距離画像センサは、図３に示すように、赤外光照射部１１０が照射した照射光１１１ａ、１１１ｂの照射タイミングと、照射光１１１ａ、１１１ｂがターゲット（図３の場合、人）で反射された光である反射光１１２ａ、１１２ｂの赤外光受光部１２０における受光タイミングとの時間差または位相差に基づいて、ターゲットまでの距離Ｚを測定する。なお、距離画像センサは、各種方式のＴＯＦセンサを採用できる。
[３．２ 距離検出方法について]
次に、図１に示す撮像装置１００を使用して行う距離検出方法について、図６、７を参照して説明する。なお、図６は、距離検出方法のフローチャートである。図７は、色検出処理に関するフローチャートである。
なお、以下の説明では、ターゲットが、図５Ａに示すような黒い自動車２０１である場合について説明する。図５Ａでは、色の黒い部分に斜格子を付している。
本実施の形態の撮像制御方法は、先ず、図６のステップ１０において、赤外光受光部１２０が受光したＩＲ光に基づいてＩＲ画像データを生成する。
次に、ステップ１１において、距離検出部１４３は、ＩＲ画像データから検出した距離データに基づいて距離画像データを生成する。なお、距離の検出方法については後述する。
次に、ステップ１２において、物標抽出部１４８は、距離画像データからターゲットを抽出する。
次に、ステップ１３において、物標抽出部１４８は、物標に関する物標ＩＤデータを生成すると共に、物標に物標ＩＤを付与する。
次に、ステップ１４において、物標抽出部１４８は、物標の距離画像データ内の、非検出部の有無を判定する。なお、非検出部とは、距離を正確に検出できていない部分である。
ターゲット（換言すれば、物標）の距離画像データ内に非検出部が存在する場合について、図５Ａ〜５Ｄを参照して説明する。なお、図５Ａは、黒い自動車の可視画像データを表示したものである。図５Ｂは、本実施の形態の撮像制御方法を実施しない状態で得られた図５Ａに示す自動車の距離画像データを表示したものである。
また、図５Ｃは、輪郭抽出部が可視画像データから抽出した物標の輪郭を図５Ｂの距離画像に重ねて表示したものである。さらに、図５Ｄは、本実施の形態の撮像制御を実施した状態で得られた図５Ａに示す自動車の距離画像データを表示したものである。
なお、物標に関する距離画像データ内に非検出部が存在する場合とは、例えば、図５Ａに示す自動車２０１の距離画像データが、図５Ｂに示す状態である場合が挙げられる。
即ち、正確な距離が検出されている場合には、図５Ａに示す自動車２０１の距離画像データは図５Ｄに示す状態となる。ところが、図５Ｂに示す距離画像データは、自動車２０１のライト、ナンバープレートおよびフロントグリル以外の部分（つまり、黒色部分）の距離画像データが適切に生成されていない。
換言すれば、図５Ａに示す自動車２０１の黒色部分の距離が正確に検出されていない。この場合には、図５Ｂに示す距離画像データのうち、図５Ａに示す自動車２０１の黒色部分（斜格子部分）に相当する部分が、非検出部となる。
ステップ１４において、「非検出部なし」と判定した場合（ステップ１４：ＮＯ）には、本実施の形態の撮像制御方法を実施せずに、今回の距離検出処理を終了する。
一方、ステップ１４において、「非検出部あり」と判定した場合（ステップ１４：ＹＥＳ）には、認識部１４１は、ステップ１５において、周囲の状況が所定の状況に該当するかを検出する。
具体的には、ステップ１５において、認識部１４１は、可視光受光部１３０が生成する可視画像データに基づいて、逆光、霧および低反射色の有無を判定する。なお、逆光の検出は逆光検出部１４６で行われる。また、霧の検出定は霧検出部１４７で行われる。さらに、低反射色の検出は色検出部１４５で行われる。
以下、ステップ１５において、色検出部１４５がターゲットの色を検出する方法について説明する。
[３．３ 低反射色を検出する方法について]
図７は、色検出処理に関するフローチャートである。
以下の処理は、図６のステップ１４において、ターゲットに関する距離画像データに非検出部が存在すると判定された場合に行う。以下の説明は、ターゲットを図５Ａの自動車２０１とした場合について説明する。ただし、ターゲットは自動車に限定されるものではない。
先ず、ステップ１５０において、物標抽出部１４８は、輪郭抽出部１４４に対して、ターゲットの輪郭を抽出するように指示する。具体的には、ターゲットとは、例えば、図５Ｂに示す距離画像データにおけるライト、ナンバープレートおよびフロントグリルを有する物品（即ち、図５Ａの自動車２０１）である。
次に、ステップ１５１において、輪郭抽出部１４４は、可視光画像データからターゲットの輪郭を抽出する。具体的には、輪郭抽出部１４４は、図５Ａに示す可視画像データから自動車２０１の輪郭２００を抽出する。
次に、ステップ１５２において、色検出部１４５は、可視画像データのうち、輪郭抽出部１４４が抽出したターゲットの輪郭の内から、低反射色を検出する。具体的には、図５Ａに示す可視画像データのうち、自動車２０１の輪郭２００の内側に存在する黒またはグレーを検出する。そして、色検出処理を終了して、処理を図６のステップ１５に戻す。
なお、可視画像データのうちのターゲットの輪郭内から低反射色が検出された場合でも、低反射色の部分の面積が、面積に関する所定の閾値以下である場合には、低反射色が検出されなかったとしてもよい。
また、例えば、図８に示す自動車２０１ａのように、自動車２０１ａの前端部かつ幅方向両端部の二箇所のコーナー部（換言すれば、隅部）および同じく後端部かつ幅方向両端部の二箇所のコーナー部（換言すれば、隅部）のうち、可視画像データで検出可能な三箇所のコーナー部２０２ａ、２０２ｂ、２０３ａの色に基づいて、低反射色が存在するか否かを判定してもよい。
次に、ステップ１６において、認識部１４１は、所定の状況が検出された（換言すれば、所定の状況に該当する）か否かを判定する。ステップ１６で、所定の状況に該当しないと判定された場合（ステップ１６：ＮＯ）には、本実施の形態の撮像制御方法を実施せずに今回の距離検出処理を終了する。
なお、所定の状況に該当しない場合とは、可視光画像データから、逆光、霧が検出されず、かつ、可視光画像データ内のターゲットから低反射色が検出されていない状況である。
一方、ステップ１６において、所定の状況に該当すると判定された場合（ステップ１５：ＹＥＳ）には、処理をステップ１７に進める。
次に、ステップ１７において、認識部１４１は、制御部１４２に対して、赤外光照射部１１０の送信パルス数を増やす旨の指示を出す。
次に、ステップ１８において、制御部１４２は、送信パルス数を通常状態の送信パルス数よりも増やすように赤外光照射部１１０を制御する。これと共に、制御部１４２は、赤外光照射部１１０が照射する送信パルス数に応じて、赤外光受光部１２０および可視光受光部１３０に関する露光時間およびタイミングを制御する。
さらに、制御部１４２は、赤外光照射部１１０が照射する送信パルス数に応じて、前述したようにＩＲ画像データおよび可視画像データに関するフレームレートを設定してもよい。
次に、ステップ１９において、赤外光受光部１２０は、赤外光照射部１１０が照射する送信パルス数を増やした状態（以下、「制御状態」という）で受光したＩＲ光に基づいてＩＲ画像データ（以下、「制御状態のＩＲ画像データ」という）を生成する。
次に、距離検出部１４３は、ステップ２０において、制御状態のＩＲ画像データから検出した距離データに基づいて距離画像データ（以下、「制御状態の距離画像データ」という）を生成する。そして、制御部１４２は、処理をステップ１４に戻す。
なお、制御状態の距離画像データは、制御状態のＩＲ画像データの全てに対して生成される必要はない。すなわち、距離検出部１４３が有する機能に基づいて、距離検出部１４３は、制御状態のＩＲ画像データを領域分割して、ターゲットに関するデータを含んだ一部のＩＲ画像データを抽出する。そして、距離検出部１４３は、この一部のＩＲ画像データに基づいて距離画像データを生成してもよい。このように距離画像データの一部のみを処理するようにすれば、距離検出部１４３の処理の負担を減らすことができるため、フレームレートの下げ幅を小さくできる。
なお、制御状態でステップ１４に戻った後、制御状態の距離画像データのうちのターゲットに関する距離画像データに、非検出部が存在していない場合には、制御部１４２は、送信パルス数を通常状態の送信パルス数に戻すように赤外光照射部１１０を制御する。そして、今回の距離検出処理を終了する。
なお、本実施の形態では可視光画像データからターゲットの輪郭を抽出する場合について説明したが、例えば、ＩＲ画像データに基づく距離画像が図５Ｂに示す状況であった場合には、距離画像と内部テーブルに記憶されたパターンとを照合することによって低反射色の物標であることを判断し、同様の手順により送信パルス回数を増加させることで同等の効果が期待できることは言うまでもない。
[４ 距離検出方法および本実施の形態の作用・効果について]
次に、図４Ａ、４Ｂを参照して、距離検出方法および本実施の形態の作用・効果について説明する。以下の説明は、いわゆる間接ＴＯＦ方式の距離画像センサにより距離を検出する方法の一例である。
なお、本実施の形態に係る撮像制御方法を実施する場合には、距離画像センサとして、間接ＴＯＦ方式または直接ＴＯＦ方式のものを採用できる。また、本実施の形態に係る撮像制御方法によれば、距離画像センサの方式に拘わらず、同様の作用・効果を得られる。
［４．１ 距離検出方法について］
先ず、制御部１４２が、送信パルス数を増やすように赤外光照射部１１０を制御していない状態（以下、「通常状態」という）でターゲットまでの距離を検出する方法について、図４Ａを参照して説明する。
通常状態において、赤外光照射部１１０の照射光１１１ａは、図４Ａに示すように、最初に照射される第一パルス１１３と、第一パルス１１３とパルス間隔Ｌ１だけ空けて照射される第二パルス１１４とからなる。第一パルス１１３および第二パルス１１４の振幅Ｈ１および幅Ｔｐは、それぞれ等しい。
なお、通常状態では、制御部１４２は、照射能力の上限に対して余裕を持った数の送信パルスを照射するように、赤外光照射部１１０を制御している。
図４Ａには、説明の便宜上、第一パルス１１３および第二パルス１１４からなる一組のパルスセットのみを図示している。ただし、複数組のパルスセットにより照射光を構成することもできる。
赤外光受光部１２０は、第一パルス１１３および第二パルス１１４のタイミングと同期したタイミングで露光するように制御部１４２により制御されている。本実施の形態の場合、図４Ａに示すように、赤外光受光部１２０は、照射光１１１ａがターゲットで反射した光である反射光１１２ａに対してＳ０露光、Ｓ１露光およびＢＧ露光の３回の露光を行う。
具体的には、Ｓ０露光は、第一パルス１１３の照射開始（つまり、第一パルス１１３の立ち上り）と同時に露光を開始し、照射光１１１ａとの関係で予め設定される露光時間Ｔ０だけ露光して終了する。Ｓ０露光は、第一パルス１１３の反射光を受光するための露光である。
なお、Ｓ０露光による受光データ（換言すれば、光量情報）Ｄ０は、図４Ａにおいて、斜格子を付した第一パルス１１３の反射光成分Ｓ０、および、梨地模様を付した背景成分ＢＧを含んでいる。反射光１１２ａは、照射光１１１ａよりも減衰しているため、反射光成分Ｓ０の振幅Ｈ２は、第一パルス１１３の振幅Ｈ１よりも小さい。
ここで、第一パルス１１３の立ち上りと、第一パルス１１３の反射光成分Ｓ０の立ち上りとの間には、時間差Δｔが存在している。即ち、第一パルス１１３の反射光成分Ｓ０は、第一パルス１１３の立ち上がりから時間差Δｔだけ遅れて立ち上る。
時間差Δｔは、撮像装置１００からターゲットまでの距離Ｚ（図３参照）の経路を、光が往復するのに要した時間である。
Ｓ１露光は、第二パルス１１４の照射終了（つまり、第二パルス１１４の立ち下り）と同時に露光を開始し、Ｓ０露光と同様の露光時間Ｔ０だけ露光して終了する。Ｓ１露光は、第二パルス１１４の反射光を受光するための露光である。
Ｓ１露光による受光データＤ１は、第二パルス１１４の反射光成分の一部の成分Ｓ１（図４Ａの斜格子部分）、および、同じく図４Ａの梨地模様で示す背景成分ＢＧを含んでいる。
なお、反射光成分の一部の成分Ｓ１は、次の式（１）で表せる。
Figure 0006890263
ＢＧ露光は、第一パルス１１３および第二パルス１１４の反射光成分を含まないタイミングで露光を開始し、Ｓ０露光およびＳ１露光と同じ露光時間Ｔ０だけ露光して終了する。
ＢＧ露光は、外光中の赤外光成分（換言すれば、背景成分）のみを受光するための露光である。従って、ＢＧ露光による受光データＤＢＧは、図４Ａの梨地模様で示す背景成分ＢＧのみを含む。
上述のような照射光１１１ａと反射光１１２ａとの関係から、撮像装置１００からターゲットまでの距離Ｚは、以下の式（２）〜（４）で算出できる。「Ｔｐ」は第一パルス１１３および第二パルス１１４の幅であり、「ｃ」は光速である。なお、以下の式のＤＢＧは、上述のＢＧ露光により生成された受光データである。
Figure 0006890263
Figure 0006890263
Figure 0006890263
ところで、上述のような方法により距離Ｚを検出する場合、第一パルス１１３および第二パルス１１４の反射光成分の振幅が小さい（換言すれば、強度が低下している）と、受光データＤ０および受光データＤ１のＳＮ比が小さくなって、距離Ｚの検出精度が低下してしまう可能性がある。
そこで、本実施の形態の撮像制御方法の場合には、第一パルス１１３および第二パルス１１４の反射光成分の光強度が低下する状況（つまり、所定の状況）が存在する場合には、制御部１４２が、送信パルス数を増やすように赤外光照射部１１０を制御する。
以下、制御状態でターゲットまでの距離を検出する方法について、図４Ｂを参照して説明する。
以下の説明では、１フレーム当たりの送信パルス数を通常状態の送信パルス数の２倍に増やした例について説明する。なお、通常状態の説明と重複する部分の説明については省略する。
制御状態において、赤外光照射部１１０の照射光１１１ｂは、図４Ｂに示すように、通常状態の２倍のパルスセットで構成されている。すなわち、制御状態の照射光１１１ｂは、図４Ａに示す通常状態と同様のパルスセットを、二組有している。パルスセットを構成する第一パルス１１３および第二パルス１１４の振幅Ｈ１および幅Ｔｐは、通常状態と同様である。
制御状態においては、第一パルス１１３および第二パルス１１４からなる二組のパルスセットにより、距離画像データの１フレームを構成している。これに伴い、制御部１４２は、可視光受光部１３０が生成する可視画像データ、および、反射光１１２ｂを受信した赤外光受光部１２０が生成するＩＲ画像データに関するフレームレートを、通常状態のフレームレートよりも下げている。
なお、図４Ｂに示す照射光１１１ｂは、説明の便宜上、図４Ａに示す照射光１１１ａの送信パルス数を２倍に増やしたものである。ただし、制御状態の照射光は、図４Ｂの場合に限定されない。
赤外光受光部１２０の露光のタイミングは、図４Ａに示す場合と同様である。即ち、赤外光受光部１２０は、照射光１１１ｂを構成する２個のパルスセットのそれぞれに対して、Ｓ０露光、Ｓ１露光およびＢＧ露光の３回の露光を行う。
特に、制御状態においては、１個目のパルスセットの第一パルス１１３の反射光成分Ｓ０と、２個目のパルスセットの第一パルス１１３の反射光成分Ｓ０とを加算する。なお、反射光成分Ｓ０は、上記式（２）により算出する。
一方、１個目のパルスセットにおける第二パルス１１４の反射光成分の一部の成分Ｓ１と、２個目のパルスセットにおける第二パルス１１４の反射光成分の一部の成分Ｓ１とを加算する。なお、反射光成分の一部の成分Ｓ１は、上記式（３）により算出する。
そして、加算した値を、上記式（４）に代入することにより、撮像装置１００からターゲットまでの距離Ｚを検出する。なお、上述の加算の際に、ホワイトノイズは低減されるため、距離Ｚの検出精度へのホワイトノイズの影響は抑えられる。
［４．２ 本実施の形態の作用・効果］
以上のように、本実施の形態によれば、周囲に逆光、霧が存在したり、ターゲットが低反射光反射色を有している場合（つまり、所定の状況に該当する場合）でも、撮像装置１００からターゲットまでの距離を、精度よく検出できる。この結果、ターゲットまでの距離を正確に反映した距離画像データを生成できる。
すなわち、本実施の形態の場合、所定の状況に該当する場合に、赤外光照射部１１０の送信パルス数を増やす制御を行う。
具体的には、本実施の形態の撮像制御方法を実施していない通常状態において、第一パルス１１３および第二パルス１１４の反射光成分の強度が低下している（換言すれば、ＳＮ比が小さくなっている）場合に、通常状態の照射光１１１ａよりも送信パルス数を増やした照射光１１１ｂを照射するように、赤外光照射部１１０を制御する。
そして、反射光１１２ｂの反射光成分Ｓ０同士、および、反射光１１２ｂの反射光成分の一部の成分Ｓ１同士を加算する。この結果、距離の検出に使用するデータのＳＮ比が大きくなり、距離Ｚを精度よく検出することができる。
従って、図５Ｂに示すように、ターゲットに関する距離画像データに非検出部が存在した場合でも、本実施の形態の撮像制御方法を実施して距離Ｚを精度よく検出できれば、図５Ｄに示すような、ターゲットまでの距離を正確に反映した距離画像データを生成できる。
なお、図５Ｄは、説明の便宜のため、距離が近い部分３００に斜格子を付すと共に、距離が遠い部分３０１に梨地模様を付している。
［５ 付記］
図６のフローチャートのステップ１７、１８において、制御部１４２は、赤外光照射部１１０が照射する送信パルスの条件として、送信パルス数を減らすようにしてもよい。具体的には、ステップ１４で非検出部が存在し、ステップ１５、１６で反射板による反射光など、赤外光受光部１２０で受光した反射率が所定よりも高い場合や輝度データが飽和している場合に、制御部１４２は赤外光照射部１１０に対し、ステップ１７で送信パルス数を減らす指示を行い、赤外光照射部１１０はステップ１８で送信パルス数を減らす制御を行うようにしてもよい。
また、他の例として、制御部１４２は、制御状態において、図４Ｃに示すタイミングで露光を行うように、赤外光受光部１２０を制御することもできる。具体的には、制御部１４２は、図４Ｂに示す各露光のうちの２回目のＢＧ露光を省略するように、赤外光受光部１２０を制御する。
また、撮像制御装置１４０の認識部１４１および制御部１４２の各構成はそれぞれコンピュータプログラムで実現されても良い。コンピュータプログラムは、ＤＶＤ（Digital Versatile Disc）等のような記録媒体に格納されて提供されても良いし、ネットワークを介してダウンロード可能にネットワーク上のサーバ装置などの記録媒体に格納されても良い。
また、撮像制御装置１４０の認識部１４１および制御部１４２は、それぞれＬＳＩ（Large-Scale Integration）等の物理的な回路として実現することもできる。
本開示に係る撮像制御装置、撮像制御方法、プログラムおよび記録媒体は、例えば、車両に搭載される撮像装置に好適である。
１００ 撮像装置
１１０ 赤外光照射部
１１１ａ，１１１ｂ 照射光
１１２ａ，１１２ｂ 反射光
１１３ 第一パルス
１１４ 第二パルス
１２０ 赤外光受光部
１３０ 可視光受光部
１４０ 撮像制御装置
１４１ 認識部
１４２ 制御部
１４３ 距離検出部
１４４ 輪郭抽出部
１４５ 色検出部
１４６ 逆光検出部
１４７ 霧検出部
１４８ 物標抽出部
１５０ 出力部
１６０ イメージセンサ
２０１，２０１ａ 自動車
２００ 輪郭
２０２ａ，２０２ｂ コーナー部
２０３ａ コーナー部
３００ 近い部分
３０１ 遠い部分

Claims (16)

  1. 赤外光照射部と赤外光受光部と可視光受光部とを備えた撮像装置を制御する撮像制御装置であって、
    前記赤外光照射部から送信パルスを照射した時間と、前記赤外光受光部が赤外線を受光した時間と、の時間差に基づき、ＴＯＦ（Ｔｉｍｅ−Ｏｆ−Ｆｌｉｇｈｔ）方式により、前記送信パルスを反射したターゲットまでの距離を測定する距離検出部と、
    可視光を受光した前記可視光受光部が生成した画像データに基づいて、前記撮像装置の周囲の状況が所定の状況に該当するか否かを判定する認識部と、
    前記認識部が前記所定の状況に該当すると判定した場合に、前記ターゲットに照射する前記送信パルスの数を増やすように赤外光照射部を制御する制御部と、
    を備える撮像制御装置。
  2. 前記所定の状況は、前記送信パルスに対する反射率が、反射率に関する所定の閾値よりも低い色である低反射色を前記ターゲットが有している状況である、請求項１に記載の撮像制御装置。
  3. 前記距離検出部は、前記距離検出部が生成する赤外画像データに基づいて距離画像データを生成し、前記認識部は、前記距離画像データから前記ターゲットを抽出し、前記ターゲットに物標ＩＤ（identification）を付与する、請求項２に記載の撮像制御装置。
  4. 前記認識部は、前記画像データから前記ターゲットの輪郭を抽出し、前記輪郭内に前記低反射色が存在するか否かを判定する、請求項３に記載の撮像制御装置。
  5. 前記認識部は、前記距離画像データにおける前記輪郭の内側に相当する部分に、所定値以上の距離差を有する部分が存在するか否かを判定し、前記距離差を有する部分が存在すると判定した場合に、前記画像データに基づいて前記所定の状況に該当するか否かを判定する、請求項４に記載の撮像制御装置。
  6. 前記制御部は、前記送信パルスの数に応じて、前記距離検出部が生成する赤外画像データのフレームレートを、前記制御を実行する以前のフレームレートよりも下げる、請求項２に記載の撮像制御装置。
  7. 前記制御部は、前記画像データにおいて、前記ターゲット全体に対する、前記ターゲットのうちの前記低反射色の部分の面積率が、面積率に関する所定の閾値以下であるか否かを判定し、前記面積率が前記面積率に関する所定の閾値以下であると判定した場合には、前記赤外画像データのフレームレートを下げない、請求項６に記載の撮像制御装置。
  8. 前記制御部は、前記ターゲットが移動物体であるか否かを判定し、前記ターゲットが移動物体であると判定した場合には、前記赤外画像データのフレームレートを下げない、請求項６に記載の撮像制御装置。
  9. 前記制御部は、前記送信パルスの数を増やすと共に、前記送信パルスのパルス強度を上げるように前記赤外光照射部を制御する、請求項２に記載の撮像制御装置。
  10. 前記認識部は、前記距離検出部が生成する赤外画像データから、前記ターゲットに関するデータを領域分割した一部の赤外画像データを抽出し、前記一部の赤外画像データに基づいて距離画像データを生成する、請求項２に記載の撮像制御装置。
  11. 前記制御部は、前記低反射色を前記ターゲットが有していると前記認識部が判定し、かつ、前記ターゲットとの相対速度が、速度に関する所定の閾値以下の場合に、前記制御を実行する、請求項２に記載の撮像制御装置。
  12. 前記所定の状況が、前記周囲に逆光が存在する状況である、請求項１に記載の撮像制御装置。
  13. 前記所定の状況が、前記周囲に霧が存在する状況である、請求項１に記載の撮像制御装置。
  14. 赤外光照射部と赤外光受光部と可視光受光部とを備えた撮像装置を制御する撮像制御方法であって、
    前記赤外光照射部から送信パルスを照射した時間と、前記赤外光受光部が赤外線を受光した時間と、の時間差に基づき、ＴＯＦ（Ｔｉｍｅ−Ｏｆ−Ｆｌｉｇｈｔ）方式により、前記送信パルスを反射したターゲットまでの距離を測定するステップと、
    可視光を受光した前記可視光受光部が生成した画像データに基づいて、前記撮像装置の周囲の状況が所定の状況に該当するか否かを判定するステップと、
    前記所定の状況に該当すると判定した場合に、ターゲットに照射する前記送信パルスの数を増やすように赤外光照射部を制御するステップと、
    を備えた撮像制御方法。
  15. 赤外光照射部と赤外光受光部と可視光受光部とを備えた撮像装置を制御する撮像制御方法をコンピュータに実行させるプログラムであって、
    コンピュータに、
    前記赤外光照射部から送信パルスを照射した時間と、前記赤外光受光部が赤外線を受光した時間と、の時間差に基づき、ＴＯＦ（Ｔｉｍｅ−Ｏｆ−Ｆｌｉｇｈｔ）方式により、前記送信パルスを反射したターゲットまでの距離を測定するステップと、
    可視光を受光した前記可視光受光部が生成した画像データに基づいて、周囲の状況が所定の状況に該当するか否かを判定するステップと、
    前記所定の状況に該当すると判定した場合に、ターゲットに照射する前記送信パルスの数を増やすように赤外光照射部を制御するステップと、
    を実行させるプログラム。
  16. 赤外光照射部と赤外光受光部と可視光受光部とを備えた撮像装置を制御する撮像制御方法をコンピュータに実行させるプログラムを記録した記録媒体であって、
    コンピュータに、
    前記赤外光照射部から送信パルスを照射した時間と、前記赤外光受光部が赤外線を受光した時間と、の時間差に基づき、ＴＯＦ（Ｔｉｍｅ−Ｏｆ−Ｆｌｉｇｈｔ）方式により、前記送信パルスを反射したターゲットまでの距離を測定するステップと、
    可視光を受光した前記可視光受光部が生成した画像データに基づいて、周囲の状況が所定の状況に該当するか否かを判定するステップと、
    前記所定の状況に該当すると判定した場合に、ターゲットに照射する前記送信パルスの数を増やすように赤外光照射部を制御するステップと、
    を実行させるプログラムを記録した記録媒体。
JP2018556514A 2016-12-14 2017-11-14 撮像制御装置、撮像制御方法、プログラムおよび記録媒体 Active JP6890263B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016242521 2016-12-14
JP2016242521 2016-12-14
PCT/JP2017/040867 WO2018110183A1 (ja) 2016-12-14 2017-11-14 撮像制御装置、撮像制御方法、プログラムおよび記録媒体

Publications (2)

Publication Number Publication Date
JPWO2018110183A1 JPWO2018110183A1 (ja) 2019-11-07
JP6890263B2 true JP6890263B2 (ja) 2021-06-18

Family

ID=62559016

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018556514A Active JP6890263B2 (ja) 2016-12-14 2017-11-14 撮像制御装置、撮像制御方法、プログラムおよび記録媒体

Country Status (3)

Country Link
US (1) US11487009B2 (ja)
JP (1) JP6890263B2 (ja)
WO (1) WO2018110183A1 (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6554310B2 (ja) * 2015-04-28 2019-07-31 浜松ホトニクス株式会社 距離測定装置
TWI672957B (zh) * 2018-03-29 2019-09-21 瑞昱半導體股份有限公司 影像處理裝置及影像處理方法
EP4386674A3 (en) * 2018-09-27 2024-08-28 Panasonic Intellectual Property Management Co., Ltd. Depth acquisition device, depth acquisition method, and program
EP3872527A4 (en) * 2018-10-24 2022-04-20 Konica Minolta, Inc. IMAGE PROCESSING DEVICE, CONTROL PROGRAM AND IMAGE PROCESSING METHOD
US20220342075A1 (en) * 2019-09-20 2022-10-27 Sony Group Corporation Information processing apparatus and control method
DE102020202329A1 (de) 2020-02-24 2021-08-26 Psa Automobiles Sa Umgebungserkennungssystem eines Kraftfahrzeugs, Verfahren zum Betrieb eines Umgebungserkennungssystems, Computerprogrammprodukt sowie Kraftfahrzeug
JP7113327B1 (ja) * 2021-07-12 2022-08-05 パナソニックＩｐマネジメント株式会社 撮像装置
WO2023286542A1 (ja) * 2021-07-16 2023-01-19 ヌヴォトンテクノロジージャパン株式会社 物体検知装置および物体検知方法
WO2023181662A1 (ja) * 2022-03-24 2023-09-28 ソニーセミコンダクタソリューションズ株式会社 測距装置および測距方法

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5979173A (ja) 1982-10-27 1984-05-08 Mitsubishi Electric Corp 赤外追尾センサ−
JPH07280940A (ja) 1994-04-12 1995-10-27 Mitsubishi Electric Corp 車両用レーダ装置
US6753876B2 (en) * 2001-12-21 2004-06-22 General Electric Company Method for high dynamic range image construction based on multiple images with multiple illumination intensities
JP4321540B2 (ja) * 2006-03-30 2009-08-26 株式会社豊田中央研究所 物体検出装置
CN101772711A (zh) * 2007-08-01 2010-07-07 皇家飞利浦电子股份有限公司 车辆定位测量系统和方法
JP2010170449A (ja) * 2009-01-26 2010-08-05 Calsonic Kansei Corp 車両用距離画像データ生成装置及び方法
US8743176B2 (en) * 2009-05-20 2014-06-03 Advanced Scientific Concepts, Inc. 3-dimensional hybrid camera and production system
JP6435513B2 (ja) * 2013-06-26 2018-12-12 パナソニックＩｐマネジメント株式会社 測距撮像装置及びその測距方法、固体撮像素子
JP6296401B2 (ja) * 2013-06-27 2018-03-20 パナソニックＩｐマネジメント株式会社 距離測定装置および固体撮像素子
JP6442710B2 (ja) * 2013-07-23 2018-12-26 パナソニックＩｐマネジメント株式会社 固体撮像装置、撮像装置及びその駆動方法
US9170095B1 (en) * 2014-04-08 2015-10-27 Sony Corporation Distance detection device and method including dynamically adjusted frame rate
US9523765B2 (en) * 2014-07-14 2016-12-20 Omnivision Technologies, Inc. Pixel-level oversampling for a time of flight 3D image sensor with dual range measurements
WO2016027289A1 (ja) * 2014-08-21 2016-02-25 三菱電機株式会社 運転支援装置、運転支援方法及びプログラム
US11076115B2 (en) * 2015-04-14 2021-07-27 Sony Corporation Solid-state imaging apparatus, imaging system, and distance measurement method
JP2018163110A (ja) 2017-03-27 2018-10-18 パナソニックＩｐマネジメント株式会社 周辺監視システムおよび撮像装置
US20190072648A1 (en) 2017-09-01 2019-03-07 Panasonic Intellectual Property Management Co., Ltd. Imaging control apparatus, imaging control method, imaging control program, and recording medium having imaging control program recorded thereon

Also Published As

Publication number Publication date
WO2018110183A1 (ja) 2018-06-21
US20190293791A1 (en) 2019-09-26
US11487009B2 (en) 2022-11-01
JPWO2018110183A1 (ja) 2019-11-07

Similar Documents

Publication Publication Date Title
JP6890263B2 (ja) 撮像制御装置、撮像制御方法、プログラムおよび記録媒体
CN106662651B (zh) Tof相机系统以及用于测量与该系统的距离的方法
US10755417B2 (en) Detection system
CN112739980B (zh) 多阶段有源光深度系统
US20190266425A1 (en) Identification apparatus, identification method, and non-transitory tangible recording medium storing identification program
US11373324B2 (en) Depth acquisition device and depth acquisition method for providing a corrected depth image
US10354413B2 (en) Detection system and picture filtering method thereof
US10803625B2 (en) Detection system and picturing filtering method thereof
JP2009150862A (ja) 距離計測装置、距離計測方法および車両
JP2020052001A (ja) 奥行取得装置、奥行取得方法およびプログラム
JP2010054461A (ja) 車両用距離画像データ生成装置
JP2019045303A (ja) 撮像制御装置、撮像制御方法、撮像制御プログラムおよび撮像制御プログラムを記録した記録媒体
US11585936B2 (en) Range imaging camera and range imaging method
KR20220165678A (ko) 라이다 장치
JP2010071704A (ja) 車両用距離画像データ生成装置及び方法
JP2020051991A (ja) 奥行取得装置、奥行取得方法およびプログラム
JP2010145255A (ja) 車両用距離画像データ生成装置及び方法
EP1887314B1 (en) Light detecting apparatus and method
JP6379646B2 (ja) 情報処理装置、測定方法及びプログラム
JP2013214938A (ja) 撮影装置及び撮影装置の画像処理方法
JP2021131385A (ja) 物体検出装置
WO2024185450A1 (ja) 画像処理装置、画像処理方法およびプログラム
JP7563351B2 (ja) 車両検出装置、車両検出方法、及び車両検出プログラム
WO2024176953A1 (ja) 画像処理装置、画像処理方法およびプログラム
WO2024202462A1 (ja) センシング方法、プログラムおよびセンシング装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190613

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200527

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201215

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210120

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210406

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210419

R151 Written notification of patent or utility model registration

Ref document number: 6890263

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

SZ03 Written request for cancellation of trust registration

Free format text: JAPANESE INTERMEDIATE CODE: R313Z03

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350