JP7251310B2 - カメラ位置検出装置、カメラユニット、カメラ位置検出方法、及びプログラム - Google Patents

カメラ位置検出装置、カメラユニット、カメラ位置検出方法、及びプログラム Download PDF

Info

Publication number
JP7251310B2
JP7251310B2 JP2019096015A JP2019096015A JP7251310B2 JP 7251310 B2 JP7251310 B2 JP 7251310B2 JP 2019096015 A JP2019096015 A JP 2019096015A JP 2019096015 A JP2019096015 A JP 2019096015A JP 7251310 B2 JP7251310 B2 JP 7251310B2
Authority
JP
Japan
Prior art keywords
camera
acceleration
vehicle
imaging
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019096015A
Other languages
English (en)
Other versions
JP2020191549A (ja
Inventor
拓海 鈴木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
JVCKenwood Corp
Original Assignee
JVCKenwood Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by JVCKenwood Corp filed Critical JVCKenwood Corp
Priority to JP2019096015A priority Critical patent/JP7251310B2/ja
Priority to PCT/JP2020/020270 priority patent/WO2020235670A1/ja
Priority to CN202080032473.3A priority patent/CN113784875B/zh
Priority to EP20809832.7A priority patent/EP3958555B1/en
Publication of JP2020191549A publication Critical patent/JP2020191549A/ja
Priority to US17/515,586 priority patent/US11783505B2/en
Application granted granted Critical
Publication of JP7251310B2 publication Critical patent/JP7251310B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62D—MOTOR VEHICLES; TRAILERS
    • B62D41/00—Fittings for identifying vehicles in case of collision; Fittings for marking or recording collision areas
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6812—Motion detection based on additional sensors, e.g. acceleration sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/302—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with GPS information or vehicle data, e.g. vehicle speed, gyro, steering angle data
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/40—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the details of the power supply or the coupling to vehicle components
    • B60R2300/402—Image calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30268—Vehicle interior

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Mechanical Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Transportation (AREA)
  • Combustion & Propulsion (AREA)
  • Chemical & Material Sciences (AREA)
  • Automation & Control Theory (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Studio Devices (AREA)
  • Closed-Circuit Television Systems (AREA)

Description

本発明は、カメラ位置検出装置、カメラユニット、カメラ位置検出方法、及びプログラムに関する。
車両にカメラを取り付け、車両の周囲を撮像する場合がある。また、例えば特許文献１に示すように、衝突事故などが起こった場合にカメラの撮像画像を記録するドライブレコーダにおいては、車両の周囲を撮像するために、複数のカメラを取り付ける場合がある。
特開２０１１－２５０１９３号公報
複数のカメラを設ける場合、それぞれのカメラの位置、すなわちカメラが車両に対しどの位置を撮像しているかを特定して、カメラの制御装置に入力しておく必要がある。これが行われない場合、それぞれのカメラの画像が、車両に対してどの位置を撮像した画像であるかを特定できなくなるおそれがある。しかし、例えば作業者によっては、カメラの撮像位置を事前に特定して入力することが困難となる場合があり、また、複数のカメラのそれぞれについて撮像位置を特定することは手間を要する。従って、車両に複数のカメラを取り付ける場合に、それぞれのカメラの撮像位置を、適切にかつ容易に検出することが求められる。
本発明は、上記課題に鑑み、車両に複数のカメラを取り付ける場合に、それぞれのカメラの撮像位置を、適切にかつ容易に検出することができるカメラ位置検出装置、カメラユニット、カメラ位置検出方法、及びプログラムを提供することを目的とする。
本発明の一態様にかかるカメラ位置検出装置は、車両に搭載されて加速度センサを備える複数のカメラが、前記車両に対してどの位置を撮像しているかを示す撮像位置を検出するカメラ位置検出装置であって、複数の前記カメラのうちの一部のカメラである基準カメラについての、前記撮像位置の情報を取得する基準カメラ情報取得部と、前記加速度センサが検出した加速度の情報を、複数の前記カメラのそれぞれについて取得する加速度取得部と、前記基準カメラの前記撮像位置の情報と、前記基準カメラの前記加速度の情報と、前記基準カメラ以外の前記カメラである被設定カメラの前記加速度の情報と、に基づき、前記被設定カメラの撮像位置を検出する撮像位置検出部と、を備える。
本発明の一態様にかかるカメラユニットは、前記カメラ位置検出装置と、複数の前記カメラと、を有する。
本発明の一態様にかかるカメラ位置検出方法は、車両に搭載されて加速度センサを備える複数のカメラが、前記車両に対してどの位置を撮像しているかを示す撮像位置を検出するカメラ位置検出方法であって、複数の前記カメラのうちの一部のカメラである基準カメラについての、前記撮像位置の情報を取得する基準撮像位置取得ステップと、前記加速度センサが検出した加速度の情報を、複数の前記カメラのそれぞれについて取得する加速度取得ステップと、前記基準カメラの前記撮像位置の情報と、前記基準カメラの前記加速度の情報と、前記基準カメラ以外の前記カメラである被設定カメラの前記加速度の情報とに基づき、前記被設定カメラの撮像位置を検出する撮像位置検出ステップと、を備える。
本発明の一態様にかかるプログラムは、車両に搭載されて加速度センサを備える複数のカメラが、前記車両に対してどの位置を撮像しているかを示す撮像位置をコンピュータに検出させるプログラムであって、複数の前記カメラのうちの一部のカメラである基準カメラについての、前記撮像位置の情報を取得する基準撮像位置取得ステップと、前記加速度センサが検出した加速度の情報を、複数の前記カメラのそれぞれについて取得する加速度取得ステップと、前記基準カメラの前記撮像位置の情報と、前記基準カメラの前記加速度の情報と、前記基準カメラ以外の前記カメラである被設定カメラの前記加速度の情報とに基づき、前記被設定カメラの撮像位置を検出する撮像位置検出ステップと、を前記コンピュータに実行させる。
本発明によれば、カメラの撮像位置を、適切にかつ容易に設定することができる。
図１は、本実施形態に係るカメラユニットの模式図である。 図２は、本実施形態に係るカメラユニットの模式的なブロック図である。 図３は、カメラの撮像方向と加速度基準方向とを説明する模式図である。 図４は、基準カメラの撮像位置の情報の入力方法の例を示す図である。 図５は、基準カメラの撮像位置の情報の入力方法の例を示す図である。 図６は、撮像方向の検出を説明するための模式図である。 図７は、撮像方向の検出を説明するための模式図である。 図８は、本実施形態に係るカメラの撮像位置の検出フローを説明するフローチャートである。 図９は、本実施形態に係るカメラの撮像位置の検出フローを説明するフローチャートである。 図１０は、本実施形態の他の例に係るカメラユニットの模式的なブロック図である。
以下に、本発明の実施形態を図面に基づいて詳細に説明する。なお、以下に説明する実施形態により本発明が限定されるものではない。
図１は、本実施形態に係るカメラユニットの模式図である。図１に示すように、本実施形態に係るカメラユニット１は、カメラ位置検出装置１０と、複数のカメラ１２とを有し、車両Ｖに搭載される。以下、車両Ｖの進行方向、すなわち車両Ｖから見た前方向を、方向Ｙ１とする。また、車両Ｖの進行方向（方向Ｙ１）と反対方向、すなわち車両Ｖから見た後方向を、方向Ｙ２とする。また、方向Ｘ１に直交する方向であって、車両Ｖから見た右方向を、方向Ｘ１とする。また、方向Ｘ１と反対方向、すなわち車両Ｖから見た左方向を、方向Ｘ２とする。また、以下、車内とは、車両Ｖの内部とは、車両Ｖの座席が設けられる空間を指す。また、車外とは、車両Ｖの外部の空間を指す。
カメラ位置検出装置１０は、車両Ｖ内に設けられ、カメラ１２の撮像位置を検出する装置である。カメラ１２は、車両Ｖに搭載され、車両Ｖの車内や車外を撮像する。本実施形態では、カメラ１２として、カメラ１２ａ、１２ｂ、１２ｃ、１２ｄ、１２ｅが設けられている。ただし、カメラ１２の数は、５つに限られず、複数であれば任意である。
本実施形態において、カメラ１２ａは、車両Ｖの方向Ｙ１側に搭載される。カメラ１２ａは、撮像方向Ａａが、方向Ｙ１を向くように、車両Ｖに搭載される。撮像方向とは、カメラ１２が撮像する方向を指し、レンズが向く方向であるともいえる。従って、カメラ１２ａは、車両Ｖの方向Ｙ１側を撮像する。さらに言えば、カメラ１２ａは、車両Ｖの方向Ｙ１側における車外を撮像する。図１の例では、カメラ１２ａは、車両ＶのフロントガラスＶ１の内側、すなわちフロントガラスＶ１の車内側の表面に設けられ、レンズが方向Ｙ１に向けられている。ただし、カメラ１２ａは、フロントガラスＶ１に設けることに限られない。
カメラ１２ｂは、車両Ｖの方向Ｙ２側に搭載される。カメラ１２ｂは、撮像方向Ａｂが、方向Ｙ２を向くように、車両Ｖに搭載される。従って、カメラ１２ｂは、車両Ｖの方向Ｙ２側を撮像する。さらに言えば、カメラ１２ｂは、車両Ｖの方向Ｙ２側における車外を撮像する。図１の例では、カメラ１２ｂは、車両ＶのリアガラスＶ２の内側、すなわちリアガラスＶ２の車内側の表面に設けられ、レンズが方向Ｙ２に向けられている。ただし、カメラ１２ｂは、リアガラスＶ２に設けることに限られない。
カメラ１２ｃは、車両Ｖの方向Ｘ１側に搭載される。カメラ１２ｃは、撮像方向Ａｃが、方向Ｘ１を向くように、車両Ｖに搭載される。従って、カメラ１２ｃは、車両Ｖの方向Ｘ１側を撮像する。さらに言えば、カメラ１２ｃは、車両Ｖの方向Ｘ１側における車外を撮像する。図１の例では、カメラ１２ｃは、車両ＶのサイドガラスＶ３の内側、すなわちサイドガラスＶ３の車内側の表面に設けられ、レンズが方向Ｘ１に向けられている。ただし、カメラ１２ｃは、サイドガラスＶ３に設けることに限られない。
カメラ１２ｄは、車両Ｖの方向Ｘ２側に搭載される。カメラ１２ｄは、撮像方向Ａｄが、方向Ｘ２を向くように、車両Ｖに搭載される。従って、カメラ１２ｄは、車両Ｖの方向Ｘ２側を撮像する。さらに言えば、カメラ１２ｄは、車両Ｖの方向Ｘ２側における車外を撮像する。図１の例では、カメラ１２ｄは、車両ＶのサイドガラスＶ４の内側、すなわちサイドガラスＶ４の車内側の表面に設けられ、レンズが方向Ｘ２に向けられている。ただし、カメラ１２ｄは、サイドガラスＶ４に設けることに限られない。
カメラ１２ｅは、車両Ｖの方向Ｙ１側に搭載される。カメラ１２ｅは、撮像方向Ａｅが、方向Ｙ２を向くように、車両Ｖに搭載される。従って、カメラ１２ｅは、車両ＶのＹ１側からＹ２側に向けて、車両Ｖの車内を撮像する。図１の例では、カメラ１２ｅは、車両ＶのフロントガラスＶ１の内側、すなわちフロントガラスＶ１の車内側の表面に設けられ、レンズが方向Ｙ２に向けられている。ただし、カメラ１２ｅは、フロントガラスＶ１に設けることに限られない。
このように、カメラ１２ａ、１２ｂ、１２ｃ、１２ｄは、撮像方向Ａの向きが互いに異なる。また、カメラ１２ｂとカメラ１２ｅとは、撮像方向Ａの向きが方向Ｙ２で同じであるが、撮像する対象が、車外と車内とで異なる。すなわち、複数のカメラ１２は、撮像方向Ａと、車内を撮像するか車外を撮像するかとの、少なくとも１つが互いに異なるように、車両Ａに取付けられているといえる。撮像方向Ａと、車内を撮像するか車外を撮像するかを示す車内外情報とは、車両Ｖに対してどの位置を撮像しているかを示す情報であると言えるので、以下適宜、撮像位置と記載する。言い換えれば、撮像位置は、撮像方向Ａと、車内外情報との、少なくとも１つを指す。
ここで、カメラ１２が撮像した画像を表示したり、画像を送信したりする場合、それぞれのカメラ１２の撮像位置、すなわち、車両Ｖに対しどの方向を撮像したか（撮像方向）、車両Ｖの車外と車内とのどちらを撮像したかを、特定する必要がある。撮像位置を特定していない場合、カメラ１２の撮像画像が、どこを撮像した画像であるかを特定することができず、撮像画像を適切に表示できなかったり、求められた画像を適切に外部に送信できなくなったりするおそれがある。例えば、方向Ｙ１側の車外を撮像した画像であるのにかかわらず、方向Ｙ２側の車外を撮像した画像として表示されるおそれがある。また例えば、ユーザが、カメラ１２毎に撮像位置を特定して、画像を管理する装置に、カメラ１２毎の撮像位置を入力する場合がある。この場合においては、カメラ１２毎に撮像位置の特定と入力とが必要になり、手間を要する。それに対し、本実施形態に係るカメラ位置検出装置１０は、後述するキャリブレーション処理を実行することにより、カメラ１２毎に撮像位置を特定して、撮像位置を設定する。
図２は、本実施形態に係るカメラユニットの模式的なブロック図である。図２に示すように、カメラ１２は、撮像部２０と加速度センサ２２とを有する。撮像部２０は、レンズ及び撮像素子を備える撮像装置であり、撮像方向Ａを撮像する。本実施形態では、撮像部２０は、所定のフレームレート毎に撮像を行うため、動画像を撮像しているといえる。加速度センサ２２は、カメラ１２の加速度を検出するセンサである。加速度センサ２２は、加速度として、カメラ１２に作用する加速度の大きさと、カメラ１２に作用する加速度方向とを、検出する。加速度方向とは、カメラ１２に作用する加速度の方向である。カメラ１２は、車両Ｖに対して位置が固定されているため、車両Ｖが走行した際に、車両Ｖと一体で移動する。加速度センサ２２は、カメラ１２と車両Ｖとの加速度を検出しているといえる。なお、図２の例では、便宜的に、カメラ１２ａが撮像部２０と加速度センサ２２とを有するように記載されているが、実際には、全てのカメラ１２が、撮像部２０と加速度センサ２２とを有する。
図３は、カメラの撮像方向と加速度基準方向とを説明する模式図である。図３に示す加速度基準方向Ｂは、加速度方向の基準とする方向である。さらに言えば、加速度基準方向Ｂは、加速度センサ２２が検出するカメラ１２に作用する加速度の方向の基準となる方向である。すなわち、加速度センサ２２は、カメラ１２に作用する加速度の方向の加速度基準方向Ｂに対する向きを、加速度方向として検出する。加速度基準方向Ｂは、加速度センサ２２に対して固定される方向となるため、カメラ１２に対しても方向が固定される。さらに言えば、カメラ１２は、加速度センサ２２の撮像部２０に対する位置が固定される。従って、加速度基準方向Ｂは、撮像方向Ａ（撮像部２０の向く方向）に対して、向きが固定されているといえる。本実施形態においては、加速度基準方向Ｂは、撮像方向Ａと同じ方向となっている。ただし、加速度基準方向Ｂは、撮像方向Ａに対して傾斜して設定されていてもよい。
図２に戻り、カメラ位置検出装置１０は、カメラ１２が撮像した撮像画像を取得する装置である。本実施形態では、カメラ位置検出装置１０は、カメラ１２が撮像した撮像画像を記録するドライブレコーダであるが、ドライブレコーダであることに限られない。カメラ位置検出装置１０は、コネクタ部Ｃと、入力部３０と、表示部３２と、記憶部３４と、電源部３６と、制御部３８とを有する。コネクタ部Ｃは、カメラ１２に接続される接続端子である。それぞれのカメラ１２は、配線Ｌに接続されており、配線Ｌがコネクタ部Ｃに接続されることで、カメラ位置検出装置１０に接続される。すなわち、カメラ位置検出装置１０は、コネクタ部Ｃ及び配線Ｌを介して、カメラ１２と情報の送受信を行う。ただし、カメラ位置検出装置１０は、このように有線でカメラ１２と情報の送受信を行う事に限られず、例えば無線で情報の送受信を行ってもよい。
入力部３０は、ユーザの操作を受け付ける入力装置である。入力部３０は、複数のボタンや、タッチパネルなどであってよい。表示部３２は、カメラ１２の撮像画像などを表示する表示装置である。記憶部３４は、制御部３８の演算内容やプログラムの情報などを記憶するメモリであり、例えば、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）と、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）などの外部記憶装置とのうち、少なくとも１つ含む。電源部３６は、カメラ位置検出装置１０の各部に電力を供給する電源である。
制御部３８は、演算装置、すなわちＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）である。制御部３８は、基準カメラ情報取得部５０と、加速度取得部５２と、画像取得部５４と、撮像位置検出部５６と、撮像位置設定部５８とを有する。基準カメラ情報取得部５０と、加速度取得部５２と、画像取得部５４と、撮像位置検出部５６と、撮像位置設定部５８とは、制御部３８が記憶部３４に記憶されたソフトウェア（プログラム）を読み出すことで実現されて、後述する処理を実行する。
制御部３８は、後述する処理、すなわちキャリブレーション処理において、それぞれのカメラ１２の撮像位置を特定して設定する。すなわち、カメラ１２は、例えば図１に示したように車両Ｖに搭載されているが、カメラ位置検出装置１０は、キャリブレーション処理を実行する時点では、カメラ１２の撮像位置を特定しておらず、言い換えれば、カメラ１２が車両Ｖのどの位置に搭載されたかを認識していない。すなわち例えば、カメラ１２ｂは、車両Ｖの方向Ｙ２側における車外を撮像するように、車両Ｖに搭載されているが、カメラ位置検出装置１０には、カメラ１２ｂの撮像位置（撮像方向が方向Ｙ２側であり車外を撮像する）が、設定されていない。カメラ位置検出装置１０は、以降の処理を実行することで、全てのカメラ１２の撮像位置を特定する。
基準カメラ情報取得部５０は、基準カメラの撮像位置の情報を取得する。基準カメラの撮像位置の情報は、カメラ位置検出装置１０に入力される情報であり、基準カメラ情報取得部５０は、その入力された基準カメラの撮像位置の情報を取得する。基準カメラとは、複数のカメラ１２のうちの一部のカメラ１２、ここでは１つのカメラである。本実施形態においては、基準撮像位置となるカメラ１２がどのカメラであるかの情報が、カメラ位置検出装置１０に入力される。基準カメラ情報取得部５０は、基準撮像位置となるカメラ１２を、基準カメラとして設定し、基準撮像位置をその基準カメラの撮像位置として設定する。言い換えれば、基準カメラ情報取得部５０は、入力された情報に基づき、複数のカメラ１２から、基準撮像位置となるカメラ１２を、基準カメラとして抽出する。なお、基準撮像位置は、任意の撮像位置であってよいが、本実施形態では、撮像方向が方向Ｙ１側であり車外を撮像するものである。従ってこの場合、撮像方向が方向Ｙ１側であり車外を撮像するカメラを示す情報が、カメラ位置検出装置１０に入力される。本実施形態の例では、基準撮像位置となるのがカメラ１２ａであるという情報が、カメラ位置検出装置１０に入力される。基準カメラ情報取得部５０は、カメラ１２ａを基準カメラとして、カメラ１２ａの撮像位置を、撮像方向が方向Ｙ１側であり車外を撮像するものとして設定する。
このように、基準カメラ情報取得部５０は、基準撮像位置となるカメラ１２を示す情報を取得するものであるが、例えば、任意のカメラ１２に対し、その撮像位置を示す情報を取得するものであってもよい。すなわち、基準カメラ情報取得部５０は、複数のカメラ１２のうちの一部のカメラ１２と、そのカメラ１２の撮像位置とを、関連付けて取得するものであればよい。言い換えれば、基準カメラ情報取得部５０は、基準カメラの撮像位置の情報を取得するものであり、基準カメラの撮像方向Ａと、基準カメラの車内外情報（車内と車外とのどちらを撮像しているかを示す情報）とを取得するといえる。
図４及び図５は、基準カメラの撮像位置の情報の入力方法の例を示す図である。図４に示すように、基準カメラの撮像位置の情報は、例えば、コネクタ部Ｃの接続部Ｃ１にカメラ１２を接続することによって入力されてもよい。基準カメラ情報取得部５０は、接続部Ｃ１にカメラ１２が接続されることでカメラ１２と通信可能な状態になるため、接続部Ｃ１にカメラ１２が接続されたことを認知する。接続部Ｃ１は、基準撮像位置（ここでは方向Ｙ１側の車外を撮像）のカメラ１２を接続するものとして設定されている。従って、基準カメラ情報取得部５０は、接続部Ｃ１に接続されたカメラ１２を、基準撮像位置のカメラ（基準カメラ）であると設定する。また、図５に示すように、画像取得部５４がそれぞれのカメラ１２の撮像画像を取得して、表示部３２に表示させてもよい。図５では、カメラ１２毎の撮像画像Ｐが表示されている。この場合、例えば基準撮像位置となる基準カメラ（図５の例では前方外部カメラ）の撮像画像Ｐをユーザが選択することを促す表示Ｐａを行う。そして、ユーザが入力部３０に入力して撮像画像Ｐを選択することで、基準カメラ情報取得部５０は、ユーザが選択した撮像画像Ｐを撮像したカメラ１２を、基準撮像位置となる基準カメラとして設定する。ただし、基準カメラの撮像位置の情報の入力方法は、これらに限られず任意である。
以下、カメラ１２のうちの基準カメラ以外のカメラ１２を、適宜、被設定カメラと記載する。すなわち、基準カメラは、撮像位置が入力されているカメラ１２であり、被設定カメラは、撮像位置が入力されず、カメラ位置検出装置１０により撮像位置が特定されるカメラである。なお、撮像位置が入力される基準カメラは、１つであることが好ましい。
図２に戻り、加速度取得部５２は、加速度センサ２２が検出した車両Ｖの加速度の情報を、複数のカメラ１２のそれぞれについて取得する。すなわち、加速度取得部５２は、基準カメラの加速度センサ２２が検出した加速度と、被設定カメラの加速度センサ２２が検出した加速度とを、取得する。キャリブレーション処理を行う場合、基準カメラの撮像位置の取得が終了したら、例えばユーザが車両Ｖを走行させる。加速度センサ２２は、車両Ｖが走行した際の加速度を検出する。加速度取得部５２は、この車両Ｖが走行した際の加速度の情報を、それぞれのカメラ１２の加速度センサ２２から取得する。上述のように、加速度取得部５２は、加速度の情報として、加速度方向の情報を、それぞれのカメラ１２の加速度センサ２２から取得する。
画像取得部５４は、それぞれのカメラ１２が撮像した撮像画像を取得する。画像取得部５４が取得したカメラ１２の撮像画像は、例えば、図５に示したような基準カメラの撮像位置の情報の入力や、後述する被設定カメラの車内外情報の検出に用いられる。被設定カメラの車内外情報の検出に用いる場合の撮像画像は、加速度センサ２２が加速度方向を検出した際に撮像された画像、すなわち、基準カメラの撮像位置の取得が終了して車両Ｖが走行した際に撮像された画像であることが好ましい。
撮像位置検出部５６は、基準カメラの撮像位置の情報と、基準カメラの加速度の情報と、被設定カメラの加速度の情報とに基づき、被設定カメラの撮像位置を検出する。撮像位置検出部５６は、車内外情報検出部６０と、撮像方向検出部６２とを有する。
車内外情報検出部６０は、被設定カメラの撮像位置のうちの、車内外情報を検出する。本実施形態では、車内外情報検出部６０は、画像取得部５４が取得したカメラ１２の撮像画像に基づき、被設定カメラの車内外情報を検出する。車内外情報検出部６０は、カメラ１２の撮像画像を解析して、撮像画像の明るさを算出する。撮像画像の明るさとは、撮像画像の輝度を指し、例えば撮像画像の領域全体の輝度の平均値である。車内外情報検出部６０は、基準カメラの撮像画像の明るさと、被設定カメラの撮像画像の明るさとに基づき、被設定カメラの車内外情報を検出する。車内外情報検出部６０は、被設定カメラの撮像画像の明るさを基準明るさと比較し、被設定カメラの撮像画像の明るさが、基準明るさ（基準輝度）以上であれば、その被設定カメラが車外を撮像していると判断する。一方、車内外情報検出部６０は、被設定カメラの撮像画像の明るさが、基準明るさ未満であれば、その被設定カメラが車内を撮像していると判断する。基準明るさは、基準カメラの撮像画像の明るさに基づく値である。基準明るさは、車内外情報検出部６０によって、基準カメラの撮像画像の明るさに基づき算出される。車内外情報検出部６０は、基準カメラの撮像画像の明るさに所定値を加えた値を、基準明るさとして算出する。ただし、基準明るさは、このように算出されることに限られず、任意に設定できる。
通常、車外は車内より明るいため、車外を撮像した画像は、車内を撮像した画像より明るい傾向にある。車内外情報検出部６０は、被設定カメラの撮像画像の明るさが基準明るさ以上であれば、その被設定カメラが車外を撮像していると判断するため、車内外情報、すなわち車内と車外とのどちらを撮像しているかを、適切に検出できる。
ただし、車内外情報検出部６０による車内外情報の検出方法は、以上の説明に限られない。以下、車内外情報の検出方法の他の例について説明する。
車内外情報の検出方法の他の例として、車内外情報検出部６０は、基準カメラの撮像画像の明るさから、キャリブレーション処理を行っている時間帯が、すなわち加速度検出と撮像とを行った時間帯が、日照時間帯か日没時間帯かを判断してよい。本実施形態の例では、基準カメラは、車外を撮像しているため、車内外情報検出部６０は、基準カメラの撮像画像の明るさに基づき、日照時間帯か日没時間帯かを判断できる。例えば、車内外情報検出部６０は、基準カメラの撮像画像の明るさが、所定の閾値明るさ（閾値輝度）以上である場合、日照時間帯であると判断し、閾値明るさより小さければ、日没時間帯であると判断する。そして、車内外情報検出部６０は、日照時間帯であると判断した場合には、被設定カメラの撮像画像の明るさが基準明るさ以上であれば、車外を撮像していると判断し、基準明るさ未満であれば、車内を撮像していると判断する。一方、車内外情報検出部６０は、日没時間帯であると判断した場合、被設定カメラの撮像画像の明るさが基準明るさ以上であれば、車内を撮像していると判断し、基準明るさ未満であれば、車外を撮像していると判断する。日照時間帯であれば車内の方が暗く、日没時間帯であれば車内の方が明るい可能性があるため、このように時間帯に応じて判断方法を変えることで、車内外情報を適切に検出できる。
また、車内外情報の検出方法の他の例として、車内外情報検出部６０は、被設定カメラの撮像画像において、車両Ｖのガラスで反射された光の像があるかを検出し、その検出結果に基づき、被設定カメラの車内外情報を検出してよい。本実施形態において、カメラ１２は、車両Ｖの車内に設けられるため、車外を撮像している場合、車両Ｖのガラス（フロントガラスＶ１など）を介して車外を撮像することとなる。この場合、車両Ｖのガラスで反射された光が、カメラ１２に入射して、カメラ１２は、車両Ｖのガラスで反射された光の像を撮像する場合がある。従って、車内外情報検出部６０は、被設定カメラの撮像画像を解析して、車両Ｖのガラスで反射された光の像が撮像されているかを判断し、車両Ｖのガラスで反射された光の像がある場合、その被設定カメラが車外を撮像していると判断し、車両Ｖのガラスで反射された光の像が無い場合、その被設定カメラが車内を撮像していると判断する。車両Ｖのガラスで反射された光の像は、任意の像であってよいが、例えば、撮像した自身のカメラ１２の像などであってよい。
車内外情報検出部６０は、以上の方法で、全ての被設定カメラについて、車内外情報を検出する。本実施形態の例では、車内外情報検出部６０は、被設定カメラであるカメラ１２ｂ、１２ｃ、１２ｄ、１２ｅについて、車内外情報を、それぞれ、車外、車外、車外、車内であると検出する。
撮像方向検出部６２は、加速度取得部５２が取得した加速度方向の情報に基づき、被設定カメラの撮像位置のうちの、撮像方向Ａを検出する。図６及び図７は、撮像方向の検出を説明するための模式図である。車両Ｖが走行した場合、それぞれのカメラ１２の加速度センサ２２は、車両Ｖが走行する方向を、加速度方向として検出する。すなわち、図６の例に示すように、車両Ｖを方向Ｙ１に走行させた場合、カメラ１２ａが検出する加速度方向Ｄａと、カメラ１２ｂが検出する加速度方向Ｄｂと、カメラ１２ｃが検出する加速度方向Ｄｃと、カメラ１２ｄが検出する加速度方向Ｄｄと、カメラ１２ｅが検出する加速度方向Ｄｅとは、車両Ｖから見た場合、それぞれ、車両Ｖが走行する方向Ｙ１に沿った方向となる。以下、カメラ１２毎の加速度方向を区別しない場合、加速度方向Ｄと記載する。
一方、図３に示したカメラ１２の加速度基準方向Ｂは、加速度センサ２２の取付位置、すなわちカメラ１２の撮像方向Ａの向きに対して固定された方向となる。カメラ１２の撮像方向Ａはカメラ１２毎に異なるため、加速度基準方向Ｂも、カメラ１２毎に異なる。図６の例では、カメラ１２ａの加速度基準方向Ｂａは、方向Ｙ１側であり、カメラ１２ｂの加速度基準方向Ｂｂは、方向Ｙ２側であり、カメラ１２ｃの加速度基準方向Ｂｃは、方向Ｘ１側であり、カメラ１２ｄの加速度基準方向Ｂｄは、方向Ｘ２側であり、カメラ１２ｅの加速度基準方向Ｂｅは、方向Ｙ２側である。ただし、カメラ位置検出装置１０は、被設定カメラの位置が未知なので、加速度基準方向Ｂがどの方向に向いているかを認識していない。
ここで、加速度センサ２２は、加速度基準方向Ｂに対する相対方向として、加速度方向Ｄを検出する。この場合、加速度方向Ｄは、車両Ｖから見た場合、方向Ｙ１として全てのカメラ１２で同じであるが、加速度基準方向Ｂに対する相対方向として見た場合、カメラ１２毎に異なる。撮像方向検出部６２は、被設定カメラについての、加速度基準方向Ｂに対する相対方向として加速度方向Ｄを見た場合の、加速度方向Ｄの向きを取得する。例えば、図７に示すように、カメラ１２ａの加速度方向Ｄａは、加速度基準方向Ｂａに対し前方側、すなわち加速度方向Ｄａが加速度基準方向Ｂａと同じ方向となる。また、カメラ１２ｂの加速度方向Ｄｂは、加速度基準方向Ｂｂに対し後方側、すなわち加速度方向Ｄｂが加速度基準方向Ｂｂと反対方向となる。また、カメラ１２ｃの加速度方向Ｄｃは、加速度基準方向Ｂｃに対し左方向側となる。また、カメラ１２ｄの加速度方向Ｄｄは、加速度基準方向Ｂｄに対し右方向側となる。また、カメラ１２ｅの加速度方向Ｄｄは、加速度基準方向Ｂｅに対し後方側となる。
撮像方向検出部６２は、基準カメラの加速度方向Ｄと被設定カメラの加速度方向Ｄとに基づき、被設定カメラの相対向きを検出する。被設定カメラの相対向きとは、加速度基準方向Ｂから見た場合の基準カメラの加速度方向Ｄに対する、加速度基準方向Ｂから見た場合の被設定カメラの加速度方向Ｄの向きである。例えば、図７に示すように、カメラ１２ａの加速度方向Ｄａは、加速度基準方向Ｂａから見て前方向であり、カメラ１２ｂの加速度方向Ｄｂは、加速度基準方向Ｂｂから見て後方向である。従って、カメラ１２ｂの相対向きは、カメラ１２ａに対して後方向となる。また、カメラ１２ｃの加速度方向Ｄｃは、加速度基準方向Ｂｃから見て左方向であるため、カメラ１２ｃの相対向きは、カメラ１２ａに対して左方向となる。また、カメラ１２ｄの相対向きは、カメラ１２ａに対して右方向となり、カメラ１２ｅの相対向きは、カメラ１２ａに対して後方向となる。なお、本実施形態では、被設定カメラの相対向きは、加速度基準方向Ｂに対する相対方向として加速度方向Ｄを見た場合の、加速度方向Ｄの向きに一致する。
撮像方向検出部６２は、このように検出した被設定カメラの相対向きと、基準カメラの撮像方向Ａとに基づき、被設定カメラの撮像方向Ａを検出する。撮像方向検出部６２は、被設定カメラの相対向きが前後方向である場合、すなわち基準カメラと被設定カメラとの加速度方向が平行である場合、基準カメラの撮像方向Ａに対し、相対向き側に向いた方向を、被設定カメラの撮像方向Ａとする。例えば、カメラ１２ｂ、１２ｅの相対向きは、後方向である。従って、図６に示すように、撮像方向検出部６２は、方向Ｙ１（カメラ１２ａの撮像方向Ａａ）に対する後方向（相対向き）である方向Ｙ２を、カメラ１２ｂ、１２ｅの撮像方向Ａｂ、Ａｅとする。また、撮像方向検出部６２は、カメラ１２の相対向きが前後方向でない場合、すなわち基準カメラと被設定カメラとの加速度方向が平行でない場合（例えば直交する場合）、基準カメラの撮像方向Ａに対し、相対向きと反対側に向いた方向を、被設定カメラの撮像方向Ａとする。例えば、カメラ１２ｃの相対向きは、左方向である。従って、撮像方向検出部６２は、方向Ｙ１（カメラ１２ａの撮像方向Ａａ）に対する右方向（相対向きと反対方向）である方向Ｘ１を、カメラ１２ｃの撮像方向Ａｃとする。また、撮像方向検出部６２は、方向Ｙ１（カメラ１２ａの撮像方向Ａａ）に対する左方向（相対向きと反対方向）である方向Ｘ２を、カメラ１２ｄの撮像方向Ａｄとする。
撮像方向検出部６２は、以上の方法で、全ての被設定カメラについて、撮像方向Ａを検出する。図２に戻り、撮像位置設定部５８は、撮像位置検出部５６が被設定カメラについて検出した撮像位置を、それぞれの被設定カメラの撮像位置として設定し、記憶部３４に記憶させる。すなわち、撮像位置設定部５８は、車内外情報検出部６０が被設定カメラについて検出した車内外情報を、それぞれの被設定カメラの車内外情報として設定し、記憶部３４に記憶させる。また、撮像位置設定部５８は、撮像方向検出部６２が被設定カメラについて検出した撮像方向Ａを、それぞれの被設定カメラの撮像方向Ａとして設定し、記憶部３４に記憶させる。なお、基準カメラの撮像位置は、基準カメラ情報取得部５０が取得済みであるため、基準カメラ情報取得部５０が取得した内容で設定され、記憶部３４に記憶されている。
カメラ位置検出装置１０は、以上のようにして、カメラ１２の撮像位置を設定する。次に、カメラ位置検出装置１０によるカメラ１２の撮像位置を検出するキャリブレーション処理のフローを説明する。図８は、本実施形態に係るカメラの撮像位置の検出フローを説明するフローチャートである。図８に示すように、カメラ位置検出装置１０は、キャリブレーションモードである場合（ステップＳ１０；Ｙｅｓ）に、キャリブレーション処理を行う。キャリブレーションモードでない場合（ステップＳ１０；Ｎｏ）、ステップＳ１０に戻り待機する。キャリブレーションモードは、例えばユーザが設定するものであり、ユーザがカメラ位置検出装置１０にキャリブレーション処理を行う旨の入力を行った場合に、キャリブレーションモードとなる。
キャリブレーション処理を行う場合、それぞれのカメラ１２は、車両Ｖに搭載されて、カメラ位置検出装置１０に接続される。最初に、カメラ位置検出装置１０は、基準カメラの撮像位置の情報を取得する（ステップＳ１２）。カメラ位置検出装置１０は、例えばユーザの入力に基づき、基準撮像位置となるカメラ１２を特定して、基準カメラとして抽出する。基準カメラの撮像位置の情報を取得したら、例えば、カメラ位置検出装置１０は、キャリブレーションを行うために車両Ｖの走行を促す画像を表示部３２に表示させてよい。これにより、ユーザは車両Ｖを走行させる。カメラ位置検出装置１０は、車両Ｖの走行中に、カメラ１２に、撮像と加速度検出とを行わせる。車両Ｖが走行した場合（ステップＳ１４；Ｙｅｓ）、カメラ位置検出装置１０は、加速度取得部５２により、車両Ｖが走行した際の基準カメラの加速度情報を取得し、画像取得部５４により、車両Ｖが走行した際の基準カメラの撮像画像を取得する（ステップＳ１６）。そして、カメラ位置検出装置１０は、被設定カメラがあるかを判断する（ステップＳ１８）。すなわち、カメラ位置検出装置１０は、撮像位置が検出されていないカメラ１２があるかを判断する。被設定カメラがある場合（ステップＳ１８；Ｙｅｓ）、カメラ位置検出装置１０は、加速度取得部５２により、車両Ｖが走行した際の被設定カメラの加速度情報を取得し、画像取得部５４により、車両Ｖが走行した際の被設定カメラの撮像画像を取得する（ステップＳ２０）。そして、カメラ位置検出装置１０は、車内外情報検出部６０により被設定カメラの車内外情報を検出し（ステップＳ２２）、撮像方向検出部６２により被設定カメラの撮像方向Ａを検出して（ステップＳ２４）、被設定カメラの撮像位置を検出する。被設定カメラの撮像位置の検出が終了したら、ステップＳ１８に戻り、他に被設定カメラが残っているか、すなわち撮像位置が検出されていないカメラ１２が残っているかの判断を続ける。ステップＳ１８で被設定カメラがない場合（ステップＳ１８）、すなわち全てのカメラ１２の撮像位置の検出が終了した場合、本処理を終了する。
図９は、本実施形態に係るカメラの撮像位置の検出フローを説明するフローチャートである。図９は、図８のステップＳ２０、Ｓ２２の撮像位置の検出の詳細を説明するフローチャートである。図９に示すように、車内外情報検出部６０は、カメラ１２の撮像画像に基づき、撮像画像の明るさを算出し（ステップＳ３０）、被設定カメラの撮像画像の明るさが基準明るさ以上であるかを判断する（ステップＳ３２）。被設定カメラの撮像画像の明るさが基準明るさ以上である場合（ステップＳ３２；Ｙｅｓ）、車内外情報検出部６０は、その被設定カメラが車外を撮像していると判断し（ステップＳ３４）、被設定カメラの撮像画像の明るさが基準明るさ以上でない場合（ステップＳ３２；Ｎｏ）、車内外情報検出部６０は、その被設定カメラが車内を撮像していると判断する（ステップＳ３６）。これにより、被設定カメラの車内外情報が検出される。そして、撮像方向検出部６２は、被設定カメラの相対向きを検出する（ステップＳ３７）。相対向きとは、加速度基準方向Ｂから見た場合の基準カメラの加速度方向Ｄに対する、加速度基準方向Ｂから見た場合の被設定カメラの加速度方向Ｄの向きを指す。撮像方向検出部６２は、被設定カメラの相対向きが前方である場合（ステップＳ３８；Ｙｅｓ）、すなわち加速度基準方向Ｂから見た場合の被設定カメラの加速度方向Ｄが前方である場合、被設定カメラの撮像方向Ａを方向Ｙ１に設定する（ステップＳ４０）。撮像方向検出部６２は、被設定カメラの相対向きが前方でなく（ステップＳ３８；Ｎｏ）、後方である場合（ステップＳ４２；Ｙｅｓ）、被設定カメラの撮像方向Ａを方向Ｙ２に設定する（ステップＳ４４）。撮像方向検出部６２は、被設定カメラの相対向きが後方でなく（ステップＳ４２；Ｎｏ）、左方向である場合（ステップＳ４６）、被設定カメラの撮像方向Ａを方向Ｘ１に設定する（ステップＳ４８）。撮像方向検出部６２は、被設定カメラの相対向きが左方向でない場合（ステップＳ４６；Ｎｏ）、被設定カメラの撮像方向Ａを方向Ｘ２に設定する（ステップＳ５０）。
以上説明したように、本実施形態に係るカメラ位置検出装置１０は、車両Ｖに搭載されて加速度センサ２２を備える複数のカメラ１２が、車両Ｖに対してどの位置を撮像しているかを示す撮像位置を検出する。カメラ位置検出装置１０は、基準カメラ情報取得部５０と、加速度取得部５２と、撮像位置検出部５６とを有する。基準カメラ情報取得部５０は、複数のカメラ１２のうちの一部のカメラである基準カメラについての、撮像位置の情報を取得する。加速度取得部５２は、加速度センサ２２が検出した加速度の情報を、複数のカメラ１２のそれぞれについて取得する。撮像位置検出部５６は、基準カメラの撮像位置の情報と、基準カメラの加速度の情報と、被設定カメラの加速度の情報とに基づき、被設定カメラの撮像位置を検出する。
カメラ１２が撮像した画像を表示したり、画像を送信したりする場合、それぞれのカメラ１２の撮像位置を特定する必要がある。本実施形態に係るカメラ位置検出装置１０は、基準カメラの撮像位置と、それぞれのカメラの加速度情報とに基づき、カメラ１２の撮像位置を検出するため、カメラ１２の撮像位置を適切に設定することができる。さらに、カメラ１２が複数ある場合、例えばユーザがそれぞれのカメラ１２の撮像位置を特定して設定することは、手間を要する。それに対し、本実施形態に係るカメラ位置検出装置１０によると、例えばユーザが基準カメラの撮像位置を入力し、車両Ｖを走行させるだけで、全てのカメラ１２の撮像位置が検出される。従って、複数のカメラ１２がある場合にも、それぞれのカメラ１２の撮像位置を容易に設定することができる。
また、基準カメラ情報取得部５０は、撮像位置として、基準カメラの撮像方向Ａの情報を取得する。加速度取得部５２は、加速度の情報として、加速度方向Ｄの情報を取得する。撮像位置検出部５６は、撮像方向検出部６２により、基準カメラの加速度方向Ｄと被設定カメラの加速度方向とに基づき、被設定カメラの相対向きを検出する。相対向きとは、基準カメラの加速度方向Ｄに対する被設定カメラの加速度方向Ｄの向きである。そして、撮像位置検出部５６は、基準カメラの撮像方向Ａと被設定カメラの相対向きとに基づき、撮像位置として、被設定カメラの撮像方向を検出する。本実施形態に係るカメラ位置検出装置１０は、基準カメラの加速度方向Ｄに対する被設定カメラの加速度方向Ｄの向きである相対向きを検出することで、被設定カメラの撮像方向が基準カメラの撮像方向に対しどの向きを向いているかを検出する。これにより、カメラ位置検出装置１０は、カメラ１２の撮像方向を、適切にかつ容易に設定することができる。
また、撮像位置検出部５６は、被設定カメラが車両内を撮像しているか、車両外を撮像しているかを示す車内外情報を、被設定カメラの撮像位置として検出する。車内を撮像するカメラ１２と車外を撮像するカメラがある場合、撮像方向の検出だけでは、撮像位置を適切に検出できない可能性がある。それに対し、本実施形態に係るカメラ位置検出装置１０は、車内を撮像するか車外を撮像するかについても検出するため、カメラ１２の撮像位置を適切に設定することができる。
また、カメラ位置検出装置１０は、カメラ１２の撮像画像を取得する画像取得部５４をさらに有する。撮像位置検出部５６は、カメラ１２の撮像画像に基づき、被設定カメラの車内外情報を検出する。本実施形態に係るカメラ位置検出装置１０は、カメラ１２の撮像画像に基づき車内外情報を検出するため、車内を撮像するか車外を撮像するかを、適切に検出することができる。
また、撮像位置検出部５６は、基準カメラの撮像画像の明るさと、被設定カメラの撮像画像の明るさとに基づき、被設定カメラの車内外情報を検出する。本実施形態に係るカメラ位置検出装置１０は、カメラ１２の撮像画像の明るさに基づき車内外情報を検出するため、車内を撮像するか車外を撮像するかを、適切に検出することができる。
また、撮像位置検出部５６は、被設定カメラの撮像画像において、車両Ｖのガラスで反射された光の像があるかを検出し、その検出結果に基づき、被設定カメラの車内外情報を検出する。カメラ１２は、反射光が写り込む場合がある。その反射光に基づき車内外情報を検出するため、車内を撮像するか車外を撮像するかを、適切に検出することができる。
また、本実施形態に係るカメラユニット１は、カメラ位置検出装置１０と、複数のカメラ１２とを有する。このカメラユニット１は、カメラ位置検出装置１０を備えることで、それぞれのカメラ１２の撮像位置を容易にかつ適切に設定することができる。
なお、以上の説明では、カメラ位置検出装置１０とカメラ１２とが別体であったが、図１０に示すように、カメラ位置検出装置１０Ａが１つのカメラ１２を有していてもよい。図１０は、本実施形態の他の例に係るカメラユニットの模式的なブロック図である。図１０に示すように、カメラ位置検出装置１０Ａは、カメラ１２ａを備えていてよい。この場合でも、他のカメラ１２は、カメラ位置検出装置１０Ａと別体であることが好ましい。このように、カメラ位置検出装置１０Ａが１つのカメラ１２ａを備えることで、例えばユーザが入力を行わなくても、カメラ１２ａを基準カメラに設定すること可能となる。
以上、本発明の実施形態を説明したが、これら実施形態の内容により実施形態が限定されるものではない。また、前述した構成要素には、当業者が容易に想定できるもの、実質的に同一のもの、いわゆる均等の範囲のものが含まれる。さらに、前述した構成要素は適宜組み合わせることが可能であり、各実施形態の構成を組み合わせることも可能である。さらに、前述した実施形態の要旨を逸脱しない範囲で構成要素の種々の省略、置換又は変更を行うことができる。
１ カメラユニット
１０ カメラ位置検出装置
１２ カメラ
２０ 撮像部
２２ 加速度センサ
３８ 制御部
５０ 基準カメラ情報取得部
５２ 加速度取得部
５４ 画像取得部
５６ 撮像位置検出部
５８ 撮像位置設定部
６０ 車内外情報検出部
６２ 撮像方向検出部
Ａ 撮像方向
Ｂ 加速度基準方向
Ｄ 加速度方向

Claims (9)

  1. 車両に搭載されて加速度センサを備える複数のカメラが、前記車両に対してどの位置を撮像しているかを示す撮像位置を検出するカメラ位置検出装置であって、
    複数の前記カメラのうちの一部のカメラである基準カメラについての、前記車両を基準とした前記撮像位置の情報を取得する基準カメラ情報取得部と、
    前記加速度センサが、その加速度センサを備える前記カメラの撮像方向と対応付けられた加速度基準方向を基準として検出した加速度の情報を、複数の前記カメラのそれぞれについて取得する加速度取得部と、
    前記基準カメラの前記撮像位置の情報と、前記車両を基準とした所定方向の加速度が与えられた場合の前記基準カメラの前記加速度の情報と、前記所定方向の加速度が与えられた場合の前記基準カメラ以外の前記カメラである被設定カメラの前記加速度の情報とに基づき、前記被設定カメラの前記車両を基準とした撮像位置を検出する撮像位置検出部と、
    を備える、カメラ位置検出装置。
  2. 前記基準カメラ情報取得部は、前記撮像位置として、前記基準カメラの撮像方向の情報を取得し、
    前記加速度取得部は、前記加速度の情報として、加速度方向の情報を取得し、
    前記撮像位置検出部は、
    前記基準カメラの加速度方向と前記被設定カメラの加速度方向とに基づき、前記基準カメラの加速度方向に対する、前記被設定カメラの加速度方向の向きである相対向きを検出し、
    前記基準カメラの撮像方向と前記相対向きとに基づき、前記撮像位置として、前記被設定カメラの撮像方向を検出する、請求項１に記載のカメラ位置検出装置。
  3. 前記撮像位置検出部は、前記被設定カメラが前記車両内を撮像しているか、前記車両外を撮像しているかを示す車内外情報を、前記被設定カメラの撮像位置として検出する、請求項１又は請求項２に記載のカメラ位置検出装置。
  4. 前記カメラの撮像画像を取得する画像取得部をさらに有し、
    前記撮像位置検出部は、前記カメラの撮像画像に基づき、前記被設定カメラの車内外情報を検出する、請求項３に記載のカメラ位置検出装置。
  5. 前記撮像位置検出部は、前記基準カメラの撮像画像の明るさと、前記被設定カメラの撮像画像の明るさとに基づき、前記被設定カメラの車内外情報を検出する、請求項４に記載のカメラ位置検出装置。
  6. 前記撮像位置検出部は、前記被設定カメラの撮像画像において、前記車両のガラスで反射された光の像があるかを検出し、その検出結果に基づき、前記被設定カメラの車内外情報を検出する、請求項４に記載のカメラ位置検出装置。
  7. 請求項１から請求項６のいずれか１項に記載のカメラ位置検出装置と、
    複数の前記カメラと、を有する、カメラユニット。
  8. 車両に搭載されて加速度センサを備える複数のカメラが、前記車両に対してどの位置を撮像しているかを示す撮像位置を検出するカメラ位置検出方法であって、
    複数の前記カメラのうちの一部のカメラである基準カメラについての、前記車両を基準とした前記撮像位置の情報を取得する基準撮像位置取得ステップと、
    前記加速度センサが、その加速度センサを備える前記カメラの撮像方向と対応付けられた加速度基準方向を基準として検出した加速度の情報を、複数の前記カメラのそれぞれについて取得する加速度取得ステップと、
    前記基準カメラの前記撮像位置の情報と、前記車両を基準とした所定方向の加速度が与えられた場合の前記基準カメラの前記加速度の情報と、前記所定方向の加速度が与えられた場合の前記基準カメラ以外の前記カメラである被設定カメラの前記加速度の情報とに基づき、前記被設定カメラの前記車両を基準とした撮像位置を検出する撮像位置検出ステップと、
    を備える、カメラ位置検出方法。
  9. 車両に搭載されて加速度センサを備える複数のカメラが、前記車両に対してどの位置を撮像しているかを示す撮像位置をコンピュータに検出させるプログラムであって、
    複数の前記カメラのうちの一部のカメラである基準カメラについての、前記車両を基準とした前記撮像位置の情報を取得する基準撮像位置取得ステップと、
    前記加速度センサが、その加速度センサを備える前記カメラの撮像方向と対応付けられた加速度基準方向を基準として検出した加速度の情報を、複数の前記カメラのそれぞれについて取得する加速度取得ステップと、
    前記基準カメラの前記撮像位置の情報と、前記車両を基準とした所定方向の加速度が与えられた場合の前記基準カメラの前記加速度の情報と、前記所定方向の加速度が与えられた場合の前記基準カメラ以外の前記カメラである被設定カメラの前記加速度の情報とに基づき、前記被設定カメラの前記車両を基準とした撮像位置を検出する撮像位置検出ステップと、
    を前記コンピュータに実行させる、プログラム。
JP2019096015A 2019-05-22 2019-05-22 カメラ位置検出装置、カメラユニット、カメラ位置検出方法、及びプログラム Active JP7251310B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2019096015A JP7251310B2 (ja) 2019-05-22 2019-05-22 カメラ位置検出装置、カメラユニット、カメラ位置検出方法、及びプログラム
PCT/JP2020/020270 WO2020235670A1 (ja) 2019-05-22 2020-05-22 カメラ位置検出装置、カメラユニット、カメラ位置検出方法、及びプログラム
CN202080032473.3A CN113784875B (zh) 2019-05-22 2020-05-22 相机位置检测装置和方法、相机单元以及存储介质
EP20809832.7A EP3958555B1 (en) 2019-05-22 2020-05-22 Camera position detecting device, camera unit, camera position detecting method, and program
US17/515,586 US11783505B2 (en) 2019-05-22 2021-11-01 Camera position detection apparatus, camera unit, camera position detection method, and medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019096015A JP7251310B2 (ja) 2019-05-22 2019-05-22 カメラ位置検出装置、カメラユニット、カメラ位置検出方法、及びプログラム

Publications (2)

Publication Number Publication Date
JP2020191549A JP2020191549A (ja) 2020-11-26
JP7251310B2 true JP7251310B2 (ja) 2023-04-04

Family

ID=73454753

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019096015A Active JP7251310B2 (ja) 2019-05-22 2019-05-22 カメラ位置検出装置、カメラユニット、カメラ位置検出方法、及びプログラム

Country Status (5)

Country Link
US (1) US11783505B2 (ja)
EP (1) EP3958555B1 (ja)
JP (1) JP7251310B2 (ja)
CN (1) CN113784875B (ja)
WO (1) WO2020235670A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008087974A1 (ja) 2007-01-16 2008-07-24 Panasonic Corporation データ処理装置、方法、記録媒体
JP2009301280A (ja) 2008-06-12 2009-12-24 Fujitsu Ten Ltd ドライブレコーダ
WO2016129704A1 (ja) 2015-02-13 2016-08-18 株式会社デンソー 取り付け姿勢を特定する車載カメラ校正装置
WO2017174250A1 (en) 2016-04-05 2017-10-12 Continental Automotive Gmbh Determining mounting positions and/or orientations of multiple cameras of a camera system of a vehicle
WO2018149323A1 (zh) 2017-02-16 2018-08-23 腾讯科技（深圳）有限公司 拍摄方向偏移检测方法、装置、设备及存储介质

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4329525B2 (ja) * 2003-12-16 2009-09-09 株式会社エクォス・リサーチ 車外情報表示装置
JP2010068069A (ja) * 2008-09-09 2010-03-25 Denso Corp 車両周辺撮影システム
KR100966288B1 (ko) * 2009-01-06 2010-06-28 주식회사 이미지넥스트 주변 영상 생성 방법 및 장치
KR100958127B1 (ko) * 2009-01-12 2010-05-18 유한회사 유지피디자인 블랙박스 기능을 갖는 자동차용 ｄｖｒ
JP5783591B2 (ja) 2010-05-27 2015-09-24 矢崎エナジーシステム株式会社 ドライブレコーダー
JP2015079299A (ja) * 2013-10-15 2015-04-23 株式会社デンソー 運転支援装置
JP2015182646A (ja) * 2014-03-25 2015-10-22 パイオニア株式会社 撮影装置
KR101579100B1 (ko) * 2014-06-10 2015-12-22 엘지전자 주식회사 차량용 어라운드뷰 제공 장치 및 이를 구비한 차량
JP6371185B2 (ja) * 2014-09-30 2018-08-08 クラリオン株式会社 カメラキャリブレーション装置及びカメラキャリブレーションシステム
JP6458439B2 (ja) * 2014-10-09 2019-01-30 株式会社デンソー 車載カメラ較正装置、画像生成装置、車載カメラ較正方法、画像生成方法
JP6413974B2 (ja) * 2015-08-05 2018-10-31 株式会社デンソー キャリブレーション装置、キャリブレーション方法、及びプログラム
US10371530B2 (en) * 2017-01-04 2019-08-06 Qualcomm Incorporated Systems and methods for using a global positioning system velocity in visual-inertial odometry
JP7162200B2 (ja) * 2018-02-09 2022-10-28 パナソニックＩｐマネジメント株式会社 カメラシステム、及び車両走行制御システム
US10440271B2 (en) * 2018-03-01 2019-10-08 Sony Corporation On-chip compensation of rolling shutter effect in imaging sensor for vehicles

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008087974A1 (ja) 2007-01-16 2008-07-24 Panasonic Corporation データ処理装置、方法、記録媒体
JP2009301280A (ja) 2008-06-12 2009-12-24 Fujitsu Ten Ltd ドライブレコーダ
WO2016129704A1 (ja) 2015-02-13 2016-08-18 株式会社デンソー 取り付け姿勢を特定する車載カメラ校正装置
WO2017174250A1 (en) 2016-04-05 2017-10-12 Continental Automotive Gmbh Determining mounting positions and/or orientations of multiple cameras of a camera system of a vehicle
WO2018149323A1 (zh) 2017-02-16 2018-08-23 腾讯科技（深圳）有限公司 拍摄方向偏移检测方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN113784875A (zh) 2021-12-10
US11783505B2 (en) 2023-10-10
WO2020235670A1 (ja) 2020-11-26
EP3958555A1 (en) 2022-02-23
EP3958555B1 (en) 2023-05-17
JP2020191549A (ja) 2020-11-26
US20220051434A1 (en) 2022-02-17
CN113784875B (zh) 2023-10-27
EP3958555A4 (en) 2022-05-18

Similar Documents

Publication Publication Date Title
JP5615441B2 (ja) 画像処理装置及び画像処理方法
EP2494498B1 (en) Method and apparatus for image detection with undesired object removal
US8155385B2 (en) Image-processing system and image-processing method
US9696814B2 (en) Information processing device, gesture detection method, and gesture detection program
US10705218B2 (en) Object position detection apparatus
US11736792B2 (en) Electronic device including plurality of cameras, and operation method therefor
US20150360612A1 (en) Around view monitoring apparatus and method thereof
EP3011894B1 (en) Eye gaze detection apparatus and eye gaze detection method
US20190135197A1 (en) Image generation device, image generation method, recording medium, and image display system
JP6265602B2 (ja) 監視カメラシステム、撮像装置及び撮像方法
KR102592745B1 (ko) 자세 추정 장치, 자세 추정 방법 및 기록 매체에 저장된 컴퓨터 프로그램
US9827906B2 (en) Image processing apparatus
JP7251310B2 (ja) カメラ位置検出装置、カメラユニット、カメラ位置検出方法、及びプログラム
US20170364765A1 (en) Image processing apparatus, image processing system, vehicle, imaging apparatus and image processing method
JP6485296B2 (ja) 映像記録装置
US10960820B2 (en) Vehicle periphery image display device and vehicle periphery image display method
JP2007314023A (ja) 運転支援システム
KR101815840B1 (ko) 영상 추정 기반 어라운드 뷰 모니터링 장치
US10242460B2 (en) Imaging apparatus, car, and variation detection method
US10609306B2 (en) Image processing apparatus, image processing method and storage medium
JP2007172052A (ja) 移動体認識装置
KR102331534B1 (ko) 카메라 시스템 및 카메라 제어 방법
JP2009288893A (ja) 画像処理装置
JPH06273170A (ja) 車両用障害物検出装置
US20160344936A1 (en) Imaging apparatus, camera system and signal output method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210630

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220906

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221031

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230221

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230306

R150 Certificate of patent or registration of utility model

Ref document number: 7251310

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150