WO2009131152A1 - ３次元画像処理カメラおよび３次元画像処理システム - Google Patents

３次元画像処理カメラおよび３次元画像処理システム Download PDF

Info

Publication number
WO2009131152A1
WO2009131152A1 PCT/JP2009/058005 JP2009058005W WO2009131152A1 WO 2009131152 A1 WO2009131152 A1 WO 2009131152A1 JP 2009058005 W JP2009058005 W JP 2009058005W WO 2009131152 A1 WO2009131152 A1 WO 2009131152A1
Authority
WO
WIPO (PCT)
Prior art keywords
dimensional
image
image processing
camera
coordinate
Prior art date
Application number
PCT/JP2009/058005
Other languages
English (en)
French (fr)
Inventor
川上　雄一
Original Assignee
コニカミノルタホールディングス株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by コニカミノルタホールディングス株式会社 filed Critical コニカミノルタホールディングス株式会社
Publication of WO2009131152A1 publication Critical patent/WO2009131152A1/ja

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/26—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the rear of the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/31—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles providing stereoscopic vision
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/22—Measuring distances in line of sight; Optical rangefinders using a parallactic triangle with variable angles and a base of fixed length at, near, or formed by the object
    • G06T5/80—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/107—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using stereoscopic cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/307—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/602—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective with an adjustable viewpoint
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/806—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for aiding parking
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8093—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for obstacle warning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Abstract

　３次元画像処理カメラは、被写体を撮像して、画像を生成する撮像部と、カメラパラメータを記憶している記憶部と、所定位置を基準とする３次元座標系における被写体の座標位置に対応する、撮像部で生成された画像による２次元座標系における座標位置を、カメラパラメータを用いて求める座標変換部とを備えている。

Description

３次元画像処理カメラおよび３次元画像処理システム
　本発明は、２次元で表される画像上に３次元的な情報を組み込む３次元画像処理カメラおよび３次元画像処理システムに関する。
　近年、自動車の普及により、交通事故が社会問題化している。交通事故による被害を減らすために、運転者に対する安全確認の補助及び予防安全を目的にした運転支援システムに対する取り組みが積極的に行われている。例えば、安全確認補助として、車両周囲に設置されたカメラにより、車両の周囲環境状況を把握しやすい画像が生成され、その画像が運転者に提供されている。また、例えば、運転支援システムは、ステレオカメラやレーダーを用いて進行方向にある障害物までの距離を測定し、その結果から、危険状態にあるか否かを判断し、危険であると判断した場合には、運転者への警告またはブレーキ制御等を行う。特に、ステレオカメラを利用した運転支援システムは、撮影した画像を処理することで障害物を特定することが可能であると共に、その障害物の動きも解析可能である。このように、レーダーを利用した運転支援システムには無い効果を有している。
　このような、カメラを用いた運転支援システムは、画像処理部と、画像入力部であるカメラを備えて構成される（例えば、特許文献１参照）。このようなシステムにおいては、カメラによって取り込まれた画像は、画像処理部において、そのカメラの性能等に応じて様々な処理がなされた後に表示装置にて表示される。なお、画像処理部において行われる処理において用いるパラメータには、各カメラ固有のものも含まれており、カメラが異なればその値は異なる。このパラメータとしては、焦点距離、収差パラメータおよび撮像素子における画素ピッチ等が挙げられる。また、一台のカメラにおいて画像処理により広角モードと標準モードとを使い分けるために用いるパラメータもカメラによって異なる。
　したがって、上述のシステムにおける画像処理部のシステムプログラムは、使用するカメラの性能に合わせて作成される。そのため、このシステムに新たにカメラを追加することや、カメラの故障や変更により異なる種類のカメラに交換する必要が生じた場合、画像処理部のシステムプログラムを変更する必要が生じるという問題がある。
特開２００７－１２９３３６号公報
　本発明は、上述の事情に鑑みて為された発明であり、その目的は、画像処理部側の構成を変更することなく、容易に追加、交換できる３次元画像処理カメラを提供することである。また、このような３次元画像処理カメラを備えた３次元画像処理システムを提供することである。
　本発明の３次元画像処理カメラは、所定位置を基準とする３次元座標系における被写体の座標位置に対応する、生成された画像上の２次元座標系における座標位置を、カメラパラメータを用いて求める座標変換部とを備える。
　これにより、画像処理部側の構成を変更することなく、容易に追加、交換できる３次元画像処理カメラを提供することができる。また、このような３次元画像処理カメラを備えた３次元画像処理システムを提供することができる。
本発明の実施の形態１に係る３次元画像処理システムの使用例を示す第１の図である。 本発明の実施の形態１に係る３次元画像処理システムの使用例を示す第２の図である。 本発明の実施の形態１に係る３次元画像処理システムにおける表示装置における表示画像を示す図であって、図３（Ａ）は広角モードを示す図であり、図３（Ｂ）は標準モードを示す図である。 本発明の実施の形態１に係る３次元画像処理システムの構成を示すブロック図である。 本発明の実施の形態１に係る単眼広角カメラの構成を示すブロック図である。 ｆ－θ光学系における被写体と撮像画像との３次元－２次元変換を説明する図である。 撮像素子上における座標変換を説明する図である。 収差補正について説明する図である。 本発明の実施の形態２に係る３次元画像処理システムの使用例を示す第１の図である。 本発明の実施の形態２に係る３次元画像処理システムの使用例を示す第２の図である。 本発明の実施の形態２に係る３次元画像処理システムにおける表示装置における表示画像を示す図であって、図１１（Ａ）は広角モードを示す図であり、図１１（Ｂ）は標準モードを示す図である。 本発明の実施の形態２に係る３次元画像処理システムの構成を示すブロック図である。 本発明の実施の形態２に係るステレオカメラの構成を示すブロック図である。 ３次元情報の算出方法について説明するための図である。
　以下、本発明に係る実施の形態を図面に基づいて説明する。なお、各図において同一の符号を付した構成は、同一の構成であることを示し、その説明を省略する。
　（実施の形態１）
　本発明の実施の形態１に係る３次元画像処理システムについて図を用いて説明する。まず、本発明の実施の形態１に係る３次元画像処理システムの構成について説明する。まず、図１～図３を用いて、実施の形態１に係る３次元画像処理システムの使用例について説明する。図１は本発明の実施の形態１に係る３次元画像処理システムの使用例を示す第１の図である。また、図２は本発明の実施の形態１に係る３次元画像処理システムの使用例を示す第２の図である。また、図３は本発明の実施の形態１に係る３次元画像処理システムにおける表示装置における表示画像を示す図であって、図３（Ａ）は広角モードを示す図であり、図３（Ｂ）は標準モードを示す図である。
　実施の形態１に係る３次元画像処理システムは、具体的には、図１に示すように使用するものである。つまり、移動体である車両１００の後部に単眼広角カメラ（３次元画像処理カメラ）１が設置され、単眼広角カメラ１は、車両１００の後部側から車両１００後方の景色を撮像している。表示装置（図示せず）は車両１００の操作者（運転者）が車両１００を操作しながら見やすい位置に設置してあり、操作者にとっては操作が難しい車両１００の後進において、操作者は表示装置に表示された車両１００後方の画像を見ながら、障害物等がないかを確認することができる。また、図２に示すように、車両１００において実際には存在しない仮想領域３１が存在していると操作者にとっては操作しやすい。すなわち、例えば、車両１００と同程度の幅及び長さを有する矩形の領域が例えば路面に描かれていた場合は、その箇所に車両１００を駐車することができるか否かの判断を容易に行うことができる。そこで、例えば図３に示すように、表示装置により、仮想領域３１の画像（３次元描画画像）３１ａ及び３１ｂを路面の実際の画像に合わせて表示させることが好ましい。また、その表示も、広角モードと標準モードとの両方の表示ができることが好ましい。図３（Ａ）は広角モードの表示であり、操作者が実際に見た場合よりも広い範囲を表示する。したがって、操作者は周囲状況が把握しやすい。また、図３（Ｂ）は標準モードの表示であり、操作者が実際に見たままに表示する。そのため、歪みのない画像が表示される。操作者は操作状況に応じてそれぞれのモードを選択できる。
　次に、実施の形態１に係る３次元画像処理システムの構成についてブロック図を用いて説明する。なお、図１に示されている、３次元画像処理システムが搭載された車両の所定位置を原点とする３次元座標系をグローバル座標という。また、広角単眼カメラ本体における所定の位置を原点とする３次元座標系を筐体座標、広角単眼カメラのレンズの中心を原点とする３次元座標をカメラ座標という。実施の形態１においては、グローバル座標のＺ座標は車両の後進方向としている。このように、グローバル座標の１つの軸を車両１００の進行方向とすることで、以下に説明する座標変換演算をより簡略化することができる。
　図４は本発明の実施の形態１に係る３次元画像処理システムの構成を示すブロック図である。また、図５は本発明の実施の形態１に係る単眼広角カメラの構成を示すブロック図である。図４に示すように、３次元画像処理システム１０は、被写体を撮像して画像を生成し、座標変換を行う単眼広角カメラ１と、単眼広角カメラ１から出力された画像および画像に表示する描画画像の２次元座標を取り込み、これらをもとに表示画像を生成する画像処理装置２と、画像処理装置２から出力された表示画像を表示する表示装置３とを備えて構成されている。
　また、図５に示すように、単眼広角カメラ１は、撮像光学系１１と、撮像素子１２と、画像変換部１３と、モード変換部１４と、座標変換部１５と、記憶部１６とを備えている。
　撮像光学系１１は、レンズを組み合わせて構成されていて、被写体からの光像が撮像素子上に結像されるように構成されている。なお、撮像光学系１１はｆ－θ光学系とよばれる広角画像を取得できるような光学系の構成である。したがって、標準画像は、取得した広角画像を画像処理することにより生成される。なお、光学系の構成を機械的に変化させることで、広角または標準に切り換えることとしてもよい。
　撮像素子１２は、結像された光像を電気信号へと変換する。例えば、ＣＣＤ（Charge　Coupled　Devices：電荷結合素子）イメージセンサ等でよい。
　モード変換部１４は、画像処理装置２からのモードの変換指示により、モードを変換するように画像変換部１３および座標変換部１５に指示を与える。なお、モードは広角画像を出力するための広角モードと、操作者が見た状態と同様の画像を出力するための標準モードとがある。画像変換部１３および座標変換部１５は、これらモードに応じて異なる処理を行う。
　記憶部１６は、単眼広角カメラ１で行う演算に必要なパラメータを記憶している。具体的には、単眼広角カメラ１に固有のパラメータおよび単眼広角カメラ１の設置状態を示すパラメータ等を記憶している。単眼広角カメラ１に固有のパラメータは、具体的には、収差パラメータ、画素ピッチおよび焦点距離等である。また、画像のモードを変換するための演算に必要なパラメータも記憶している。また、単眼広角カメラ１の設置状態を示すパラメータとしては、単眼広角カメラ１の路面からの高さ、単眼広角カメラ１の光軸と路面との角度、グローバル座標、筐体座標、カメラ座標の原点位置およびこれらの座標系同士を変換するために必要なパラメータ（回転パラメータおよび併進パラメータ）等である。なお、単眼広角カメラ１の設置状態を示すパラメータは単眼広角カメラ１を車両に設置する際にその設置状況に応じて入力する必要がある。
　座標変換部１５は、画像処理装置２から指示されたグローバル座標において仮想的に形成された３次元描画画像の座標位置に対する、撮像面を基準とする画像による２次元座標での座標位置を算出する。なお、座標変換部１５は、モード変換部１４からの指示により、それぞれのモードに合わせた座標を算出する。
　以下に、座標変換部１５で行われる座標変換について説明する。図６はｆ－θ光学系における被写体と撮像画像との３次元－２次元変換を説明する図である。図７は撮像素子上における座標変換を説明する図である。図８は収差補正について説明する図である。
　図６に示すように、３次元座標であるカメラ座標において、被写体である点（Ｘｃ，Ｙｃ，Ｚｃ）は、撮像光学系により２次元の撮像面に結像される。撮像面での座標（ｘ，ｙ）とカメラ座標の座標（Ｘｃ，Ｙｃ，Ｚｃ）との関係は式１で表される。なお、ｆは焦点距離であって、記憶部１６に記憶されている。
Figure JPOXMLDOC01-appb-I000001
　ここで、座標（ｘ，ｙ）を、画素を基準とする座標（ｕ，ｖ）に変換する。座標（ｘ，ｙ）の原点は画像の中心である。しかし、座標（ｕ，ｖ）の原点は、図７に示すように画像の左上の角部であり、画素を基準とすることから、画像の中心の座標である（ｕｃ，ｖｃ）とすると、座標（ｘ，ｙ）と座標（ｕ，ｖ）との間には、式２に示す関係が成り立つ。なお、ｐは画素ピッチであって、記憶部１６に記憶されている。
Figure JPOXMLDOC01-appb-I000002
　また、この画像は収差を有していることから、収差を補正する必要がある。収差が含まれている場合は、図８に示されたように歪が生じている。具体的には、画像の中心（ｕｃ，ｖｃ）から離れるほど歪が増大する。収差が含まれた座標ベクトルｕｄと収差が生じていない座標ベクトルｕｕの関係は、式３により示されている。なお、式３中の「ｄｉｓｔｏｒｔ」は収差を表す。ここで、ｋ１およびｋ２は収差パラメータであって、記憶部１６に記憶されている。
Figure JPOXMLDOC01-appb-I000003
　また、標準モードである場合は座標変換を行うが、この座標変換について説明する。標準モードにおいても、広角モードと同様に、図６に示すように、カメラ座標における被写体の点の座標を（Ｘｃ，Ｙｃ，Ｚｃ）とすれば、撮像面での２次元座標（ｘ，ｙ）は式４で表される。
Figure JPOXMLDOC01-appb-I000004
　座標変換部１５では、上記、式１～式４を用いて座標の変換を行う。まず、グローバル座標における３次元座標（Ｘ，Ｙ，Ｚ）をカメラ座標における３次元座標（Ｘｃ，Ｙｃ，Ｚｃ）に変換する。具体的には、式５によって行われる。なお、Ｒ２およびｔ２は、グローバル座標から筐体座標への変換パラメータであり、それぞれ回転パラメータおよび併進パラメータである。また、Ｒ１およびｔ１は、筐体座標からカメラ座標への変換パラメータであり、それぞれ回転パラメータおよび併進パラメータである。これらは、記憶部１６に記憶されている。
Figure JPOXMLDOC01-appb-I000005
　広角モードにおいては、この座標（Ｘｃ，Ｙｃ，Ｚｃ）と、式１、式２、式３を用いることで、撮像面での２次元座標（ｕ，ｖ）を求めることができる。
　また、標準モードにおいては、座標（Ｘｃ，Ｙｃ，Ｚｃ）と、式２、式３、式４を用いることで、撮像面での２次元座標（ｕ，ｖ）を求めることができる。
　画像変換部１３は、モード変換部１４からのモード変換指示に応じて、撮像素子１２からの電気信号として送られてきた画像を変換する。ここで、撮像光学系１１は広角画像を取得できるような構成とされていることから、広角モードが指示されている場合は、特に画像を変換しない。ここで、広角モードでの画像の座標（ｕｆ－θ，ｖｆ－θ）と、標準モードでの画像の座標（ｕｆ－ｔａｎθ，ｖｆ－ｔａｎθ）との間には、式６の関係が成り立つ。したがって、式６を用いて標準モードの座標へと変換すればよい。
Figure JPOXMLDOC01-appb-I000006
　画像処理装置２は、画像表示モード設定部２１と、座標設定部２２と、２次元描画部２３と、３次元描画内容設定部２４とを備えている。
　画像表示モード設定部２１は、表示装置３に表示させる表示画像のモードを設定するためのものであり、例えば、ボタン回路やスイッチ回路を備えて構成される。操作者が、画像表示モード設定部２１によりモード設定をした場合は、そのモード設定が単眼広角カメラ１に出力され、モード変換部１４に指示される。なお、画像表示モード設定部２１は、車両の他の操作部品に備えられている構成としてもよい。例えば、ギアを切り換えるシフトレバーに画像表示モード設定部２１を組み込む構成とし、ギアをバックに切り換えた場合には、標準モードに設定されることとし、それ以外は広角モードに設定されることとしてもよい。
　３次元描画内容設定部２４は、表示装置３に表示させる駐車領域等の仮想的な３次元描画画像の内容を設定する。
　座標設定部２２は、３次元描画内容設定部２４で設定された、表示される仮想的な３次元描画画像の座標位置を求めて単眼広角カメラ１へと出力する。具体的には、座標設定部２２は、３次元描画画像のグローバル座標による３次元座標位置を単眼広角カメラ１へと指示する。それにより、操作者により設定された３次元描画座標の内容は、座標変換部１５に指示される。また、座標変換部１５は、指示された３次元描画画像の、画像上における２次元座標を画像処理装置２へと出力するが、この２次元座標は、座標設定部２２に入力される。なお、座標設定部２２が単眼広角カメラ１へと指示する３次元描画画像の座標位置は、グローバル座標ではなく、筐体座標を用いてもよい。
　なお、実施の形態１に係る３次元画像処理システム１０においては、記憶部１６に記憶されている、３次元画像処理カメラ１の設置位置や光軸の方向等に関するパラメータにより位置の演算が可能な３次元描画画像を表示できる。例えば、路面が平面で傾きを有しない場合は、３次元画像処理カメラ１と路面との距離および光軸の傾きは、記憶部１６に記憶されているパラメータにより算出できる。つまり、路面が平面で傾きを有しない場合における路面上における所定の範囲等を示す仮想的な３次元描画画像の座標位置を特定することは可能である。したがって、３次元画像処理システム１０では、例えば、路面が平面で傾きを有しない場合に、路面における車両１００の駐車可能範囲等を仮想的に表示することは可能である。ただし、路面が水平でない場合や障害物がある場合には、それらを予測することは不可能であるため、それらに関する仮想的な３次元描画画像を表示することはできない。
　２次元描画部２３は、座標設定部２２から３次元描画画像の２次元座標情報を取り込み、単眼広角カメラ１の画像変換部１３から画像情報を取り込み、それらをもとに表示装置３に表示させる仮想的な３次元描画画像が組み込まれた表示画像を生成する。
　表示装置３は、画像処理装置２から出力された表示画像を表示する。
　次に、実施の形態１に係る３次元画像処理システム１０の動作について説明する。図１に示すように、単眼広角カメラ１は車両１００の後方の景色を取り込むように設置されているので、単眼広角カメラ１の撮像光学系１１には車両１００の後方からの光が入射する。操作者は画像表示モード設定部２１を用いて、表示装置３に表示される画像に適した画像表示モードを設定する。設定された画像表示モードは、画像表示モード設定部２１から単眼広角カメラ１へと出力される。また、操作者は、３次元描画内容設定部２４により、表示させるべき３次元描画画像を設定する。座標設定部２２は、設定された３次元描画画像の３次元座標位置を求める。求められた３次元座標は、単眼広角カメラ１へと出力される。単眼広角カメラ１において、画像表示モードの設定はモード変換部１４に入力され、３次元描画画像の座標は座標変換部１５に入力される。
　単眼広角カメラ１において、撮像光学系１１に入射した光の像が撮像素子１２に結像すると、撮像素子１２は画像の光信号を電気信号に変換して画像変換部１３に送る。画像変換部１３は、モード変換部１４から指示された画像表示モードに画像を変換する。なお、撮像光学系１１により画像は広角モードで取り込まれているので、標準モード設定の指示があった場合にのみ変換を行えばよい。画像変換部１３は、画像処理装置２から指示された画像表示モードとされた画像を画像処理装置２へと出力する。座標変換部１５は、画像処理装置２から指示された３次元描画画像の３次元座標を２次元座標に変換して、変換した座標を再び画像処理装置２へと出力する。
　画像処理装置２において、単眼広角カメラ１から送られた画像は２次元描画部２３に入力され、変換された３次元描画画像の座標は座標設定部２２を介して２次元描画部２３に入力される。２次元描画部２３は、これらを用いて、画像上に仮想的に３次元描画がなされた表示画像を生成し、表示装置３へと出力する。表示装置３は３次元描画がなされた表示画像を表示する。
　実施の形態１に係る３次元画像処理システム１０において、操作者は表示された画像を見ながら車両を操作することで、操作しにくい後進操作を容易に行うことができる。また、仮想領域３１を表示することができるので、操作者はより車両の操作がしやすい。
　実施の形態１に係る単眼広角カメラ１は、カメラ固有のパラメータである収差パラメータ、画素ピッチ、焦点距離等を記憶し、それらを用いた演算を行うことから、画像処理装置２において、これらの演算を行う必要がない。したがって、この単眼広角カメラ１を別の画像処理装置２と接続しても、画像処理装置２のシステムプログラムを変更する必要はなく、容易に両者を接続することができる。
　また、実施の形態１では単眼広角カメラ１と画像処理装置２とを分離されていることとしたが、これらを一体としてもよい。つまり、単眼広角カメラ１が現在の構成以外に、画像表示モード設定部２１と、座標設定部２２と、２次元描画部２３と、３次元描画内容設定部２４とを備えることとしてもよい。
　（実施の形態２）
　本発明の実施の形態２に係る３次元画像処理システムについて図を用いて説明する。なお、以下の説明において、実施の形態１に係る３次元画像処理システムと同様の構成については説明を省略する。また、同一部材には同一の符号を付している。まず、本発明の実施の形態２に係る３次元画像処理システムの構成について説明する。
　まず、図９～図１１を用いて、実施の形態２に係る３次元画像処理システムの使用例について説明する。図９は本発明の実施の形態２に係る３次元画像処理システムの使用例を示す第１の図である。また、図１０は本発明の実施の形態２に係る３次元画像処理システムの使用例を示す第２の図である。また、図１１は本発明の実施の形態２に係る３次元画像処理システムにおける表示装置における表示画像を示す図であって、図１１（Ａ）は広角モードを示す図であり、図１１（Ｂ）は標準モードを示す図である。
　実施の形態２に係る３次元画像処理システムは、具体的には、図９に示すように使用するものである。３次元計測装置であるステレオカメラ４を備えている点が、実施の形態１に係る３次元画像処理システムとは異なる。ステレオカメラ４は、基準カメラと参照カメラの２つのカメラを備え、ステレオ画像を取得するものである。ステレオ画像はそれぞれのカメラにより撮像された基準画像と参照画像とがあり、基準画像上の基準点と、これに対応する参照画像上の対応点とから３次元情報を得ることができる。なお、３次元情報とは、各点の３次元座標位置や視差等である。
　実施の形態２に係る３次元画像処理システムは、このような構成とすることで、実測により求められた３次元情報を用いてさらに複雑な３次元描画画像を表示できる。例えば、路面の凹凸や障害物等に対する仮想領域を表示することが可能である。また、実測により求められた３次元情報を用いるため、路面が水平でなく傾きを有する場合であっても、正しく仮想領域を表示することが可能である。
　例えば、図１１に示すように、道路上の障害物３３を囲うような仮想領域３２が存在し、表示されていると、操作者の注意を喚起し、操作ミスが生じにくい。具体的には、図１１（Ａ）および図１１（Ｂ）に示すように、障害物の画像３３ａおよび３３ｂを囲うように仮想領域の画像（３次元描画画像）３２ａおよび３２ｂが表示されれば好ましい。また、その表示も、図１１（Ａ）に示す広角モードと図１１（Ｂ）に示す標準モードとの両方の表示から選択できることが好ましい。
　次に、実施の形態２に係る３次元画像処理システムの構成についてブロック図を用いて説明する。図１２は本発明の実施の形態２に係る３次元画像処理システムの構成を示すブロック図である。また、図１３は本発明の実施の形態２に係るステレオカメラの構成を示すブロック図である。実施の形態２に係る３次元画像処理システム２０は、画像を撮像し、座標変換をする単眼広角カメラ１と、３次元情報を求めるためのステレオ画像を撮像するステレオカメラ４と、単眼広角カメラ１から出力された画像および画像に表示する描画画像の２次元座標を取り込み、これらをもとに表示画像を生成する画像処理装置２ａと、画像処理装置２ａから出力された表示画像を表示する表示装置３とを備えて構成されている。
　また、図１３に示すように、ステレオカメラ４は、基準カメラ４１ａおよび参照カメラ４１ｂと、対応付け部４２と、３次元再構成部４３とを備えていて、画像の３次元座標を求めることができる。ステレオカメラ４は単眼広角カメラ１が撮像する被写体と同一の被写体を撮像するように設置されている。
　基準カメラ４１ａおよび参照カメラ４１ｂは、左右一対に設置されていて、ともにｆ－ｔａｎθ光学系（標準光学系）が用いられている。
　なお、基準カメラ４１ａの射影行列をＰ１とし、参照カメラ４１ｂの射影行列をＰ２とした場合に、基準カメラ４１ａおよび参照カメラ４１ｂそれぞれの視野内にある任意の３次元座標点とそれぞれのカメラの画像上の２次元座標点は、３×４の射影行列により式７で関係付けられる。なお、ｍ１は基準カメラ４１ａの２次元座標点を、ｍ２は参照カメラ４１ｂの２次元座標点を、Ｍは３次元の座標点を表す。また、それぞれに付されたハットは、同次座標を示す記号である。
Figure JPOXMLDOC01-appb-I000007
　対応付け部４２は、基準カメラ４１ａおよび参照カメラ４１ｂにより撮像された、互いに対応する基準画像および参照画像において、任意の基準点とそれに対応する対応点とを探索する。対応付けは、例えば、ＳＡＤ（Sum　of　Absolute　Difference）法、ＳＳＤ(Sum　of　Squared　Difference)法（２乗残差法）、ＮＣＣ（Normalized　Cross　Correlation）法（正規化相互相関法）等を用いた方法により行えばよい。
　また、これらに比べてロバスト性を有する相関値演算として、画像パターンの周波数分解信号から、振幅成分を抑制した位相成分のみの信号を用いて類似度演算を行う方法により、対応付けを行うこととしてもよい。この方法は、画像の左右カメラの撮影条件の差や、ノイズなどの影響を受けにくく、ロバスト性を有する相関値演算が実現可能である。画像パターンの周波数分解信号を計算する手法として、例えば高速フーリエ変換（ＦＦＴ）、離散フーリエ変換（ＤＦＴ）、離散コサイン変換（ＤＣＴ）、離散サイン変換（ＤＳＴ）、ウエーブレット変換、アダマール変換などを用いればよい。具体的には、位相限定相関法（ＰＯＣ法）等を用いればよい。対応付け部４２は、基準画像と参照画像との間で対応付けを行い、その結果を３次元再構成部４３へ出力する。
　３次元再構成部４３は対応付け部４２により求められた基準点と対応点とから３次元情報を計算する。具体的な計算方法の一例について、以下に説明する。
　まず、基準カメラ４１ａによる画像上の基準点（ｘ１，ｙ１）に対して、以下に示す式８を用いて収差補正を施し、その座標を求める。同様に、参照カメラ４１ｂによる画像上の対応点（ｘ２，ｙ２）に対して、式８を用いて収差補正を施し、その座標を求める。
Figure JPOXMLDOC01-appb-I000008
　以下では、基準点および対応点の収差補正後の座標についても、（ｘ１，ｙ１）および（ｘ２，ｙ２）と表す。
　次に、基準画像および参照画像の平行化（レクティフィケーション）を行う（例えば、「Olivier　Faugeras,　“Three-Dimensional　Computer　Vision:　A　Geometric　Viewpoint　”,　The　MIT　Press　Cambridge,　1993/11/19,　p188-p189　6.3　Rectification」参照）。基準カメラ４１ａおよび参照カメラ４１ｂを平行に配置しておけば、平行化の処理は不要であるが、このように配置することは調整が難しく時間がかかることから画像処理により平行化を行うことが好ましい。平行化は、３×３の平行化行列Ｓ１およびＳ２による座標変換により行われる。なお、平行化行列Ｓ１およびＳ２は、射影行列Ｐ１およびＰ２から求めることができる。式９は、基準点および対応点の収差補正座標の平行化を表している。これにより、平行化された画像の基準点ｍ１´の座標（ｘ１´，ｙ１´）および対応点ｍ２´の座標（ｘ２´，ｙ２´）が求まる。
Figure JPOXMLDOC01-appb-I000009
　なお、式９において、平行化後の座標であるので、ｙ１´とｙ２´は等しくなるはずである（エピポーラ条件）。もし、これらが等しくならない場合は、対応点の探索が誤っていることから、これらを確認することで、対応付け結果に対する信頼性を判定できる。
　このようにして求めた平行化後の座標と３次元座標との関係は、射影行列Ｐ１´およびＰ２´を用いて以下に示す式１０で表される。
Figure JPOXMLDOC01-appb-I000010
　なお、射影行列Ｐ１´およびＰ２´は以下に示す式１１で表される。
Figure JPOXMLDOC01-appb-I000011
　このようにして、収差補正および平行化された基準点ｍ１´および対応点ｍ２´をもとに３次元情報を算出する。図１４は３次元情報の算出方法について説明するための図である。図１４に示すように、対象点からの光を基準カメラおよび参照カメラが撮像している。ここでは、３次元情報の算出の具体例として、距離演算について説明する。基準カメラ４１ａおよび参照カメラ４１ｂの焦点距離をｆとし、基線長をＢとし、撮像素子の画素数および１画素の大きさが互いに等しいとし、画素ピッチをｐとする。３次元座標位置が、座標（Ｘ´，Ｙ´，Ｚ´）にある対象点を撮像したとき、視差ｄを（ｘ１´－ｘ２´）とすれば、対象点の座標は、以下に示す式１２で表される。なお、α＝ｆ／ｐである。
Figure JPOXMLDOC01-appb-I000012
　このようにして、ステレオカメラ４では、各点の３次元座標位置や視差等である３次元情報を求めて、２次元画像である基準画像と共に画像処理装置２ａに出力する。なお、ステレオカメラ４は上述の演算を行うが、演算に必要な射影行列、焦点距離、画素ピッチ、基線長等はカメラパラメータであって記憶している。例えば、ステレオカメラ４は、図示していないが記憶部を有し、この記憶部に前記カメラパラメータを記憶しておけばよい。
　画像処理装置２ａは３次元情報解析部２５を備えている点が、実施の形態１に係る画像処理装置２とは異なる。３次元情報解析部２５は、ステレオカメラ４から出力された３次元情報および基準画像をもとに、車両１００の周囲環境について３次元的に解析・把握を行う。具体的には、路面や路面上にある障害物３３の位置検出等を行う。ここで、路面や路面上にある障害物３３の位置検出方法の具体例を示す。まず、ステレオカメラ４から出力された３次元情報をもとに、路面パラメータを推定する。路面パラメータとは路面位置を特定するためのパラメータであって、例えばハフ変換に代表される投票を用いた方法により推定すればよい。次に、基準画像上の基準点を路面に投影し、投影した点の集合の分布をもとに障害物が存在する位置および範囲の特定等を行う。このようにして、路面や路面上にある障害物３３の位置検出を行えばよい。
　なお、操作者は、３次元描画内容設定部２４において、仮想的な３次元描画画像の内容を設定する場合に、例えば障害物３３を囲う仮想領域３２の画像を表示するよう設定することができる。具体的には、図１１（Ａ）および図１１（Ｂ）に示すような画像３２ａおよび３２ｂを表示するよう設定する。この設定は、３次元描画内容設定部２４から座標設定部２２および３次元情報解析部２５に指示される。３次元情報解析部２５ではステレオカメラ４から出力された３次元情報および基準画像をもとに、３次元描画内容設定部２４により指示された仮想的な３次元描画画像の座標位置の算出に必要な３次元解析情報を座標設定部２２へ出力する。この３次元解析情報は、例えば路面や路面上にある障害物３３の位置および形状を表す座標等である。座標設定部２２では、３次元情報解析部２５からの３次元解析情報および３次元描画内容設定部２４から指示された３次元描画画像をもとに、仮想的な３次元描画画像の座標位置を求めて単眼広角カメラ１へと出力する。
　次に、実施の形態２に係る３次元画像処理システム２０の動作について説明する。図９に示すように、単眼広角カメラ１およびステレオカメラ４は車両１００の後方の景色を取り込むように設置されているので、単眼広角カメラ１およびステレオカメラ４には車両１００の後方からの光が入射する。操作者は画像表示モード設定部２１を用いて、表示装置３に表示される画像に適した画像表示モードを設定する。設定された画像表示モードは、画像表示モード設定部２１から単眼広角カメラ１へと出力される。座標設定部２２は、設定された３次元描画画像の３次元座標位置を、３次元情報解析部２５からの３次元解析情報をもとに求める。求められた３次元座標は、単眼広角カメラ１へと出力される。単眼広角カメラ１において、画像表示モードの設定はモード変換部１４に入力され、３次元描画画像の座標は座標変換部１５に入力される。
　ステレオカメラ４は、取り込んだ画像の３次元情報および基準画像を３次元情報解析部２５へと出力する。３次元情報解析部２５は、車両１００の周囲環境について３次元的に解析・把握を行う。具体的には、３次元情報解析部２５は路面や路面上にある障害物３３の位置検出等を行う。そして、それら、仮想的な３次元描画画像の座標位置の算出に必要な３次元解析情報を座標設定部２２へ出力する。
　単眼広角カメラ１において、撮像光学系１１に入射した光の像が撮像素子１２に結像すると、撮像素子１２は画像の光信号を電気信号に変換して画像変換部１３に送る。画像変換部１３は、モード変換部１４から指示された画像表示モードに画像を変換する。なお、撮像光学系１１により画像は広角モードで取り込まれているので、標準モード設定の指示があった場合にのみ変換を行えばよい。画像変換部１３は、画像処理装置２ａから指示された画像表示モードとされた画像を画像処理装置２ａへと出力する。座標変換部１５は、画像処理装置２ａから指示された３次元描画画像の３次元座標を２次元座標に変換して、変換した座標を再び画像処理装置２ａへと出力する。
　画像処理装置２ａにおいて、単眼広角カメラ１から送られた画像は２次元描画部２３に入力され、変換された３次元描画画像の座標は座標設定部２２を介して２次元描画部２３に入力される。２次元描画部２３は、これらを用いて、画像上に仮想的に３次元描画がなされた表示画像を生成し、表示装置３へと出力する。表示装置３は３次元描画がなされた表示画像を表示する。
　実施の形態２に係る３次元画像処理システム２０において、操作者は表示された画像を見ながら車両を操作することで、操作しにくい後進操作を容易に行うことができる。さらに、実測により求められた３次元情報を用いて、仮想領域３１および３２を表示することができるので、路面における駐車スペースの確認や障害物の有無の確認等が容易であり、操作者は車両の操作がしやすい。
　実施の形態２に係る単眼広角カメラ１は、カメラ固有のパラメータである収差パラメータ、画素ピッチ、焦点距離等を記憶し、それらを用いた演算を行うことから、画像処理装置２ａにおいて、これらの演算を行う必要がない。したがって、この単眼広角カメラ１を別の画像処理装置２ａと接続しても、画像処理装置２ａのシステムプログラムを変更する必要はなく、容易に両者を接続することができる。
　また、実施の形態２では単眼広角カメラ１、画像処理装置２ａおよびステレオカメラ４をそれぞれ分離されていることとしたが、これらを一体としてもよい。つまり、単眼広角カメラ１が現在の構成以外に、画像表示モード設定部２１と、座標設定部２２と、２次元描画部２３と、３次元情報解析部２５と、３次元描画内容設定部２４と、ステレオカメラとを備えることしてもよい。
　また、単眼広角カメラ１およびステレオカメラ４を一体として構成してもよい。このようなカメラは、別の画像処理装置２ａと接続しても、画像処理装置２ａのシステムプログラムを変更する必要はなく、容易に接続ができる。
　また、実施の形態２では、ステレオカメラ４を用いたが、この代わりに、３次元計測ができる機器、例えば、レーザやミリ波による計測器を用いてもよい。
　また、実施の形態１および実施の形態２では、単眼広角カメラを車両が搭載している場合について説明したが、これ以外に、例えば自立走行ロボットや搬送車等に単眼広角カメラを搭載してもよい。また、単眼広角カメラ以外のカメラを用いてもよい。
　また、カメラが２次元描画部を備えることとし、カメラは撮像した画像および２次元描画部で作成された表示装置に表示させるための表示画像を出力することとしてもよい。それにより、カメラと表示装置を直接接続して表示装置に画像を表示させることができる。また、画像処理装置が２次元描画部を備えている必要がなくなる。
　本発明者は、種々検討した結果、上記目的は、以下の本発明により達成されることを見出した。すなわち、本発明に係る一態様に係る３次元画像処理カメラは、被写体を撮像して、画像を生成する撮像部と、カメラパラメータを記憶している記憶部と、所定位置を基準とする３次元座標系における前記被写体の座標位置に対応する、前記撮像部で生成された画像による２次元座標系における座標位置を、前記カメラパラメータを用いて求める座標変換部とを備えている。
　このような３次元画像処理カメラは、各カメラ固有のパラメータおよび設置条件を示すパラメータ等を記憶し、これらを用いた演算処理を行うことができる。それにより、画像処理装置と組み合わせる場合に、画像処理装置側で前記演算処理を行う必要がない。したがって、３次元画像処理カメラを画像処理装置と組み合わせる場合に、画像処理装置側のシステムプログラムを修正等する必要がない。そのため、このような３次元画像処理カメラを用いて、画像処理システムを構築する場合に、３次元画像処理カメラが故障した場合の交換や、３次元画像処理カメラの追加する場合に、３次元画像処理カメラ交換に伴う画像処理装置側の修正等の新たな作業が不要である。
　なお、カメラパラメータとは、カメラにおいて撮像した画像を画像処理等するための演算に必要なパラメータであり、具体的には、各３次元画像処理カメラに固有のパラメータおよび３次元画像処理カメラの設置状態を示すパラメータである。各３次元画像処理カメラに固有のパラメータは、さらに具体的には、撮像部の固有の特性を示すパラメータであって、収差パラメータ、画素ピッチおよび焦点距離等である。また、画像処理により広角モードと標準モードとを使い分ける３次元画像処理カメラにおいては、その切り替えにおいて使用するパラメータも３次元画像処理カメラに固有のパラメータである。また、３次元画像処理カメラの設置状態を示すパラメータとしては、３次元画像処理カメラを設置した場合にその位置を特定するパラメータである。つまり、３次元画像処理カメラの路面からの高さ、光軸と路面との角度、所定位置との位置関係等である。
　また、上述の３次元画像処理カメラにおいて、さらに、カメラ本体を有し、前記所定位置は、前記カメラ本体上にあることが好ましい。
　これにより、カメラ本体の任意の箇所を原点とする座標（筐体座標）により、演算処理を行うことができる。筐体座標を用いて演算処理を行うことで、容易に演算処理ができ、その結果を容易に２次元座標へと変換できる。
　また、上述の３次元画像処理カメラにおいて、当該３次元画像処理カメラが移動体に搭載されるものであって、前記所定位置は、前記移動体上にあることが好ましい。
　これにより、移動体の任意の箇所を原点とする座標（グローバル座標）により、演算処理を行うことができる。グローバル座標を用いることで、移動体に複数のカメラが搭載されていた場合でも、それらの間で共通の３次元座標系を用いることができるため、演算が容易である。
　また、上述の３次元画像処理カメラにおいて、前記３次元座標系は、前記移動体の進行方向に対して平行な軸を有することが好ましい。
　これにより、移動体の周囲環境に関する演算を簡略化することができる。
　また、上述の３次元画像処理カメラにおいて、前記座標変換部は、前記３次元座標系において形成された３次元描画画像の座標位置に対する、前記２次元座標系における座標位置を求めることが好ましい。
　これにより、実際には存在しない仮想的な画像を含む表示画像を生成することができる。
　また、上述の３次元画像処理カメラは、前記カメラパラメータを用いて、前記撮像部で撮像した前記被写体の画像を変換する画像変換部をさらに備えたことが好ましい。
　これにより、画像の形態を変換することができる。したがって、操作者は操作状況に応じて、好ましい画像の形態を選択することができる。
　なお、座標変換部において、３次元座標系における画像の被写体の座標位置に対する、画像の２次元座標系における座標位置を求める際には、画像変換部において変換される画像の形態が考慮される。例えば、座標変換部および画像変換部は、カメラパラメータを用いてそれぞれの演算処理を行う際に、ともに画像の表示モード等の画像の形態に基づいて演算処理を行う。
　また、上述の３次元画像処理カメラにおいて、前記画像変換部は、画像表示モードに応じて画像を変換することが好ましい。
　これにより、例えば、広角モードと標準モードとを使い分けることができ、状況に応じた、最適の表示画像を生成できる。
　また、上述の３次元画像処理カメラにおいて、前記画像に対する前記被写体の３次元情報を検出する３次元情報検出装置をさらに備え、前記座標変換部は、前記３次元情報をもとに求められた前記３次元描画画像の座標位置に対する、前記２次元座標系における座標位置を求めることが好ましい。
　これにより、実測により求められた被写体の３次元情報を加えて仮想的な３次元描画画像を形成できるので、さらに複雑な３次元描画画像を加えた表示画像を生成できる。なお、３次元情報とは、画像上の各点の３次元座標位置や視差等である。
　また、上述の３次元画像処理カメラにおいて、前記カメラパラメータは、当該３次元画像処理カメラに固有の特性または当該３次元画像処理カメラの設置条件を示すパラメータを含むことが好ましい。
　それにより、画像処理等に必要な演算処理を３次元画像処理カメラ側で行うことができる。
　また、本発明の他の一態様に係る３次元画像処理システムは、上述の３次元画像処理カメラと、前記３次元画像処理カメラに、前記３次元描画画像の座標位置および画像表示モードを指示し、前記３次元画像処理カメラから出力される、前記画像および前記２次元座標系における座標位置をもとに表示画像を生成する画像処理装置と、前記画像処理装置において生成された表示画像を表示する表示装置とを備えている。
　これにより、撮像した画像を仮想的な３次元描画画像等とともに表示することができる３次元画像処理システムを実現できる。そのため、例えばこの３次元画像処理システムを搭載した移動体の操作者は、仮想的に表示された画像を見ながら移動体を操作することができるので、容易に操作をすることができる。
　また、上述の３次元画像処理システムにおいて、前記画像処理装置は、前記３次元描画画像の内容が入力される３次元描画内容設定部と、前記３次元描画画像の座標位置を設定する座標設定部と、前記画像表示モードが入力される画像表示モード設定部とを備え、前記設定された３次元描画画像の座標位置および前記入力された画像表示モードを、前記３次元画像処理カメラに指示することが好ましい。
　これにより、画像処理装置を操作することで、表示内容を指示することができる。
　また、上述の３次元画像処理システムにおいて、前記画像処理装置は、前記３次元画像処理カメラから出力される、前記画像および前記２次元座標系における座標位置をもとに表示画像を生成する２次元描画部をさらに備えていることが好ましい。
　これにより、３次元画像処理カメラで撮像した画像を操作者が所望とする形態の画像として表示することができる。
　また、上述の３次元画像処理システムにおいて、前記被写体の３次元情報を検出する３次元情報検出装置をさらに備え、前記座標設定部は、前記３次元情報をもとに前記３次元描画画像の座標位置を設定し、前記３次元描画画像の座標位置を前記３次元画像処理カメラに指示することが好ましい。
　これにより、実測により求められた被写体の３次元情報を加えた画像処理が可能となる。
　また、上述の３次元画像処理システムにおいて、前記座標変換部は、前記座標設定部から指示された前記３次元描画画像の座標位置に対する、前記２次元座標系における座標位置を求めることが好ましい。
　これにより、被写体の３次元情報を加えた複雑な３次元描画画像を仮想的に表示することが可能となる。
　また、上述の３次元画像処理システムにおいて、前記３次元情報検出装置はステレオカメラであることが好ましい。
　これにより、容易に３次元情報を検出することができる。
　この出願は、２００８年０４月２３日に出願された日本国特許出願特願２００８－１１２６１８を基礎とするものであり、その内容は、本願に含まれるものである。
　本発明を表現するために、上述において図面を参照しながら実施形態を通して本発明を適切且つ十分に説明したが、当業者であれば上述の実施形態を変更および／または改良することは容易に為し得ることであると認識すべきである。したがって、当業者が実施する変更形態または改良形態が、請求の範囲に記載された請求項の権利範囲を離脱するレベルのものでない限り、当該変更形態または当該改良形態は、当該請求項の権利範囲に包括されると解釈される。

Claims (15)

  1. 　被写体を撮像して、画像を生成する撮像部と、
    　カメラパラメータを記憶している記憶部と、
    　所定位置を基準とする３次元座標系における前記被写体の座標位置に対応する、前記撮像部で生成された画像による２次元座標系における座標位置を、前記カメラパラメータを用いて求める座標変換部とを備えたことを特徴とする、３次元画像処理カメラ。
  2. 　さらに、カメラ本体を有し、
    　前記所定位置は、前記カメラ本体上にあることを特徴とする、請求項１に記載の３次元画像処理カメラ。
  3. 　当該３次元画像処理カメラが移動体に搭載されるものであって、
    　前記所定位置は、前記移動体上にあることを特徴とする、請求項１に記載の３次元画像処理カメラ。
  4. 　前記３次元座標系は、前記移動体の進行方向に対して平行な軸を有することを特徴とする、請求項３に記載の３次元画像処理カメラ。
  5. 　前記座標変換部は、前記３次元座標系において形成された３次元描画画像の座標位置に対する、前記２次元座標系における座標位置を求めることを特徴とする、請求項１ないし請求項４のいずれかに記載の３次元画像処理カメラ。
  6. 　前記カメラパラメータを用いて、前記撮像部で撮像した前記被写体の画像を変換する画像変換部をさらに備えたことを特徴とする、請求項５に記載の３次元画像処理カメラ。
  7. 　前記画像変換部は、画像表示モードに応じて画像を変換することを特徴とする、請求項６に記載の３次元画像処理カメラ。
  8. 　前記画像に対する前記被写体の３次元情報を検出する３次元情報検出装置をさらに備え、
    　前記座標変換部は、前記３次元情報をもとに求められた前記３次元描画画像の座標位置に対する、前記２次元座標系における座標位置を求めることを特徴とする、請求項１ないし請求項７のいずれかに記載の３次元画像処理カメラ。
  9. 　前記カメラパラメータは、当該３次元画像処理カメラに固有の特性または当該３次元画像処理カメラの設置条件を示すパラメータを含むことを特徴とする、請求項１に記載の３次元画像処理カメラ。
  10. 　請求項５ないし請求項７のいずれかに記載の３次元画像処理カメラと、
    　前記３次元画像処理カメラに、前記３次元描画画像の座標位置および画像表示モードを指示し、前記３次元画像処理カメラから出力される、前記画像および前記２次元座標系における座標位置をもとに表示画像を生成する画像処理装置と、
    　前記画像処理装置において生成された表示画像を表示する表示装置とを備えたことを特徴とする、３次元画像処理システム。
  11. 　前記画像処理装置は、前記３次元描画画像の内容が入力される３次元描画内容設定部と、
    　前記３次元描画画像の座標位置を設定する座標設定部と、
    　前記画像表示モードが入力される画像表示モード設定部とを備え、
    　前記設定された３次元描画画像の座標位置および前記入力された画像表示モードを、前記３次元画像処理カメラに指示することを特徴とする、請求項１０に記載の３次元画像処理システム。
  12. 　前記画像処理装置は、前記３次元画像処理カメラから出力される、前記画像および前記２次元座標系における座標位置をもとに表示画像を生成する２次元描画部をさらに備えていることを特徴とする、請求項１１に記載の３次元画像処理システム。
  13. 　前記被写体の３次元情報を検出する３次元情報検出装置をさらに備え、
    　前記座標設定部は、前記３次元情報をもとに前記３次元描画画像の座標位置を設定し、
    　前記３次元描画画像の座標位置を前記３次元画像処理カメラに指示することを特徴とする、請求項１２に記載の３次元画像処理システム。
  14. 　前記座標変換部は、前記座標設定部から指示された前記３次元描画画像の座標位置に対する、前記２次元座標系における座標位置を求めることを特徴とする、請求項１３に記載の３次元処理システム。
  15. 　前記３次元情報検出装置はステレオカメラであることを特徴とする、請求項１３または請求項１４に記載の３次元画像処理システム。
PCT/JP2009/058005 2008-04-23 2009-04-22 ３次元画像処理カメラおよび３次元画像処理システム WO2009131152A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2008112618 2008-04-23
JP2008-112618 2008-04-23

Publications (1)

Publication Number Publication Date
WO2009131152A1 true WO2009131152A1 (ja) 2009-10-29

Family

ID=41216881

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2009/058005 WO2009131152A1 (ja) 2008-04-23 2009-04-22 ３次元画像処理カメラおよび３次元画像処理システム

Country Status (1)

Country Link
WO (1) WO2009131152A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012244583A (ja) * 2011-05-24 2012-12-10 Canon Inc 撮像装置、画像処理方法及びプログラム
JP5958462B2 (ja) * 2011-03-17 2016-08-02 日本電気株式会社 撮影装置、撮影方法、及びプログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001114047A (ja) * 1999-10-20 2001-04-24 Matsushita Electric Ind Co Ltd 車両周囲状況提示装置
JP2002135765A (ja) * 1998-07-31 2002-05-10 Matsushita Electric Ind Co Ltd カメラキャリブレーション指示装置及びカメラキャリブレーション装置
JP2007058093A (ja) * 2005-08-26 2007-03-08 Denso Corp 地図表示装置、地図表示方法、地図表示プログラム、及びそのプログラムを記録した記録媒体
JP2008085710A (ja) * 2006-09-28 2008-04-10 Sanyo Electric Co Ltd 運転支援システム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002135765A (ja) * 1998-07-31 2002-05-10 Matsushita Electric Ind Co Ltd カメラキャリブレーション指示装置及びカメラキャリブレーション装置
JP2001114047A (ja) * 1999-10-20 2001-04-24 Matsushita Electric Ind Co Ltd 車両周囲状況提示装置
JP2007058093A (ja) * 2005-08-26 2007-03-08 Denso Corp 地図表示装置、地図表示方法、地図表示プログラム、及びそのプログラムを記録した記録媒体
JP2008085710A (ja) * 2006-09-28 2008-04-10 Sanyo Electric Co Ltd 運転支援システム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5958462B2 (ja) * 2011-03-17 2016-08-02 日本電気株式会社 撮影装置、撮影方法、及びプログラム
JP2012244583A (ja) * 2011-05-24 2012-12-10 Canon Inc 撮像装置、画像処理方法及びプログラム

Similar Documents

Publication Publication Date Title
JP5455124B2 (ja) カメラ姿勢パラメータ推定装置
JP5729158B2 (ja) 駐車支援装置および駐車支援方法
JP5739584B2 (ja) 車両周辺視角化のための３次元映像合成装置およびその方法
JP5341789B2 (ja) パラメータ取得装置、パラメータ取得システム、パラメータ取得方法、及び、プログラム
JP6565188B2 (ja) 視差値導出装置、機器制御システム、移動体、ロボット、視差値導出方法、およびプログラム
US10467789B2 (en) Image processing device for vehicle
WO2015145543A1 (ja) 物体検出装置、物体検出方法、および移動ロボット
US10810762B2 (en) Image processing apparatus
JP6306735B2 (ja) ステレオカメラ装置及びステレオカメラ装置を備える車両
JP5959311B2 (ja) データ導出装置、及び、データ導出方法
JP2008085710A (ja) 運転支援システム
JP5173551B2 (ja) 車両周辺監視装置およびこれに適用されるカメラ取り付け位置・姿勢情報の設定修正方法
JP2014165810A (ja) パラメータ取得装置、パラメータ取得方法及びプログラム
JP6543935B2 (ja) 視差値導出装置、機器制御システム、移動体、ロボット、視差値導出方法、およびプログラム
JP6337504B2 (ja) 画像処理装置、移動体、ロボット、機器制御方法およびプログラム
JP4679293B2 (ja) 車載パノラマカメラシステム
JP2011024079A (ja) 周辺表示装置
WO2009131152A1 (ja) ３次元画像処理カメラおよび３次元画像処理システム
JP2008241609A (ja) 距離計測システム及び距離計測方法
KR101293263B1 (ko) 복수개의 영상을 합성한 합성 영상에서 거리 정보를 제공하는 기능을 구비하는 영상 처리 장치 및 방법
JP2006031101A (ja) 画像生成方法およびその装置
JP4685050B2 (ja) 表示装置
JP7196920B2 (ja) 運転支援装置および運転支援方法、プログラム
JP5580062B2 (ja) 障害物検知警報装置
JP4810919B2 (ja) 車両周辺監視装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 09734876

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 09734876

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP