JP4642723B2 - 画像生成装置および画像生成方法 - Google Patents
画像生成装置および画像生成方法 Download PDFInfo
- Publication number
- JP4642723B2 JP4642723B2 JP2006260424A JP2006260424A JP4642723B2 JP 4642723 B2 JP4642723 B2 JP 4642723B2 JP 2006260424 A JP2006260424 A JP 2006260424A JP 2006260424 A JP2006260424 A JP 2006260424A JP 4642723 B2 JP4642723 B2 JP 4642723B2
- Authority
- JP
- Japan
- Prior art keywords
- camera
- image
- virtual
- plane
- real
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims description 64
- 238000003384 imaging method Methods 0.000 claims description 132
- 238000006243 chemical reaction Methods 0.000 claims description 103
- 238000012545 processing Methods 0.000 claims description 45
- 230000003287 optical effect Effects 0.000 claims description 22
- 230000009466 transformation Effects 0.000 claims description 15
- 238000013507 mapping Methods 0.000 claims description 10
- 239000002131 composite material Substances 0.000 claims description 9
- 238000012546 transfer Methods 0.000 claims description 3
- 229960001716 benzalkonium Drugs 0.000 claims 1
- CYDRXTMLKJDRQH-UHFFFAOYSA-N benzododecinium Chemical compound CCCCCCCCCCCC[N+](C)(C)CC1=CC=CC=C1 CYDRXTMLKJDRQH-UHFFFAOYSA-N 0.000 claims 1
- 238000001444 catalytic combustion detection Methods 0.000 description 51
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 description 18
- 240000004050 Pentaglottis sempervirens Species 0.000 description 17
- 238000010586 diagram Methods 0.000 description 17
- 239000013598 vector Substances 0.000 description 17
- 238000012937 correction Methods 0.000 description 12
- 230000008569 process Effects 0.000 description 12
- 238000013461 design Methods 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 6
- 238000007796 conventional method Methods 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 3
- 230000002093 peripheral effect Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 239000013256 coordination polymer Substances 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000000844 transformation Methods 0.000 description 2
- 238000007792 addition Methods 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000011426 transformation method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/0007—Image acquisition
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
- B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
- B60R2300/602—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective with an adjustable viewpoint
- B60R2300/605—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective with an adjustable viewpoint the adjustment being automatic
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
- B60R2300/607—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
- B60R2300/806—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for aiding parking
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
- B60R2300/8066—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring rearward traffic
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Closed-Circuit Television Systems (AREA)
- Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
- Image Processing (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
- Processing Or Creating Images (AREA)
Description
本発明は、仮想カメラと仮想投影面を用いた視点変換によりカメラ映像データからモニタ画像データを生成する画像生成装置および画像生成方法に関する。
従来、運転支援装置としては、車両の動きに応じて画面構成及び、視点位置を連続的に変更することにより、ドライバに理解しやすい映像を提供することを目的とし、車両の動きに連動して、複数の撮影装置により撮像された複数のカメラ映像を１つの視点から見た俯瞰映像として表示させる１視点映像と、複数のカメラ映像を分割画面に表示した多視点映像とを切り換えるものが知られている（例えば、特許文献１参照）。
また、従来の画像生成装置としては、数台のカメラで撮影された複数枚の画像について、画像を互いに独立して表示するのではなく、数台のカメラで撮影しているエリアの全体の様子が直感的に分かるように、一枚に合成した画像を表示するものが知られている（例えば、特許文献２参照）。
特開２００５−２３６４９３号公報
特許第３２８６３０６号公報
しかしながら、上記特許文献１に記載された運転支援装置にあっては、１視点映像の場合、俯瞰映像を表示させるため、近景のみの表示となり、多視点映像の場合、カメラ映像を表示させるため、遠景のみの表示となり、車両の周囲状況を的確に認識するには選択操作を要する、という問題があった。
さらに、１視点映像の場合も多視点映像の場合も複数のカメラ映像を用いるものであるため、合成画像や分割画像に連続性が無く、同じ画像の二重写しや画像の抜け部分が生じてしまう、という問題があった。
さらに、１視点映像の場合も多視点映像の場合も複数のカメラ映像を用いるものであるため、合成画像や分割画像に連続性が無く、同じ画像の二重写しや画像の抜け部分が生じてしまう、という問題があった。
また、上記特許文献２に記載された画像生成装置にあっては、数台のカメラで撮影しているエリアの全体の様子を一枚に合成した画像にて表示しようとするものであるため、合成画像に連続性を持たせるには、複数のカメラ画像から特徴点を抽出する特徴点抽出手段と、複数個の特徴点を用いて表示画面の較正を行うキャリブレーション手段と、を設ける必要があり、モニタ画像データを生成するための演算処理が複雑になってしまう。
一方、特徴点抽出手段やキャリブレーション手段を用いないと、合成画像に連続性が無くなり、同じ画像の二重写しや画像の抜け部分が生じてしまう、という問題があった。
一方、特徴点抽出手段やキャリブレーション手段を用いないと、合成画像に連続性が無くなり、同じ画像の二重写しや画像の抜け部分が生じてしまう、という問題があった。
本発明は、上記問題に着目してなされたもので、演算処理を簡単にしながら、近景の俯瞰表示と中景から遠景のパース表示をシームレスに接合するモニタ画像データを生成することができる画像生成装置および画像生成方法を提供することを目的とする。
上記目的を達成するため、本発明では、仮想カメラと仮想投影面を用いた視点変換によりカメラ映像データからモニタ画像データを生成する画像生成装置において、
実撮像面に投影される画像により単独のカメラ映像データを取得する実カメラと、
前記実カメラからの前記カメラ映像データを入力し、画像処理によりモニタ画像データを生成する画像処理コントローラと、
前記画像処理コントローラからのモニタ画像データに基づいて、近景の俯瞰表示と中景から遠景のパース表示との合成画像を表示するモニタと、を備え、
前記画像処理コントローラは、前記実カメラより高い位置に、視点変換のための仮想カメラを設定し、前記実カメラの光軸側の地面上に、カメラ映像データからモニタ画像データを生成するための前記仮想カメラの仮想投影面を設定し、前記仮想カメラの仮想撮像面として、地面に平行な近景用撮像面と、該近景用撮像面の実カメラから近い側に連接すると共に所定の下向き傾斜角度を持って設定した遠景用撮像面と、を有し、近景の俯瞰映像と中景から遠景の映像を撮像するための仮想立体撮像面を設定し、前記実カメラにより取得した単独のカメラ映像データの各画素位置と、前記仮想投影面を介した前記仮想カメラの前記仮想立体撮像面上の各画素位置と、の間で座標変換し、前記座標変換にしたがって前記仮想カメラの前記仮想立体撮像面上に前記カメラ映像データの各画素を移し、前記仮想カメラから前記仮想投影面を見たときに前記仮想立体撮像面に投影される画像をモニタ画像とし、このモニタ画像を得る前記モニタ画像データを生成することを特徴とする。
実撮像面に投影される画像により単独のカメラ映像データを取得する実カメラと、
前記実カメラからの前記カメラ映像データを入力し、画像処理によりモニタ画像データを生成する画像処理コントローラと、
前記画像処理コントローラからのモニタ画像データに基づいて、近景の俯瞰表示と中景から遠景のパース表示との合成画像を表示するモニタと、を備え、
前記画像処理コントローラは、前記実カメラより高い位置に、視点変換のための仮想カメラを設定し、前記実カメラの光軸側の地面上に、カメラ映像データからモニタ画像データを生成するための前記仮想カメラの仮想投影面を設定し、前記仮想カメラの仮想撮像面として、地面に平行な近景用撮像面と、該近景用撮像面の実カメラから近い側に連接すると共に所定の下向き傾斜角度を持って設定した遠景用撮像面と、を有し、近景の俯瞰映像と中景から遠景の映像を撮像するための仮想立体撮像面を設定し、前記実カメラにより取得した単独のカメラ映像データの各画素位置と、前記仮想投影面を介した前記仮想カメラの前記仮想立体撮像面上の各画素位置と、の間で座標変換し、前記座標変換にしたがって前記仮想カメラの前記仮想立体撮像面上に前記カメラ映像データの各画素を移し、前記仮想カメラから前記仮想投影面を見たときに前記仮想立体撮像面に投影される画像をモニタ画像とし、このモニタ画像を得る前記モニタ画像データを生成することを特徴とする。
よって、本発明の画像生成装置にあっては、実カメラにおいて、実撮像面に投影される画像により単独のカメラ映像データが取得され、画像処理コントローラにおいて、実カメラからのカメラ映像データを入力し、画像処理によりモニタ画像データが生成され、モニタにおいて、画像処理コントローラからのモニタ画像データに基づいて、近景の俯瞰表示と中景から遠景のパース表示との合成画像が表示される。そして、画像処理コントローラでは、実カメラより高い位置に、視点変換のための仮想カメラが設定される。実カメラの光軸側の地面上に、カメラ映像データからモニタ画像データを生成するための仮想カメラの仮想投影面が設定される。仮想カメラの仮想撮像面として、地面に平行な近景用撮像面と、該近景用撮像面の実カメラから近い側に連接すると共に所定の下向き傾斜角度を持って設定した遠景用撮像面と、を有し、近景の俯瞰映像と中景から遠景の映像を撮像するための仮想立体撮像面が設定される。そして、実カメラにより取得した単独のカメラ映像データの各画素位置と、仮想投影面を介した仮想カメラの仮想立体撮像面上の各画素位置と、の間で座標変換され、座標変換にしたがって仮想カメラの仮想立体撮像面上にカメラ映像データの各画素が移され、仮想カメラから仮想投影面を見たときに仮想立体撮像面に投影される画像をモニタ画像とし、このモニタ画像を得るモニタ画像データが生成される。
このように、座標変換により実カメラにより取得した単独のカメラ映像データからモニタ画像データを生成するものであるため、複数のカメラ映像データを用いる従来技術のように、合成画像に連続性を持たせるために特徴点を抽出してキャリブレーションを行う必要が無く、連続性を持つモニタ画像データを得るための演算処理を簡単にすることができる。
さらに、仮想カメラから仮想投影面を見たとき、仮想立体撮像面の近景用撮像面に投影される画像は近景を上から眺めた俯瞰画像となり、仮想カメラから仮想投影面を見たとき、仮想立体撮像面の遠景用撮像面に投影される画像は中景から遠景を斜め上方から眺めたパース画像となる。しかも、仮想立体撮像面の近景用撮像面と遠景用撮像面とは一体に連接されているため、近景の俯瞰表示データと遠景のパース表示データにずれが生じることが全く無く、生成されるモニタ画像データはシームレスに接合したものとなる。
そして、このモニタ画像データにより得られるモニタ画像は、距離感を認識しやすい近景の俯瞰画像と、遠いものは小さく見え近いものは大きく見えるという遠近感を認識しやすい中景から遠景のパース画像とを合成した画像となり、この合成画像をモニタ画面に表示することができる。このため、俯瞰画像とカメラ画像の選択操作や分割されたモニタ画面上で目線を移す等を要することなく、１つのモニタ画面にて周囲状況を的確に認識することができる。
この結果、演算処理を簡単にしながら、近景の俯瞰表示と中景から遠景のパース表示をシームレスに接合するモニタ画像データを生成することができる。
以下、本発明の画像生成装置および画像生成方法を実現する最良の形態を、図面に示す実施例１に基づいて説明する。
まず、構成を説明する。
図１は実施例１の車両のリアカメラに適用された画像生成装置を示す全体システム図、図２は実施例１の画像生成装置において地面による仮想投影面と仮想立体撮像面を使った視点変換手法の一例を説明する模式図である。
図１は実施例１の車両のリアカメラに適用された画像生成装置を示す全体システム図、図２は実施例１の画像生成装置において地面による仮想投影面と仮想立体撮像面を使った視点変換手法の一例を説明する模式図である。
実施例１における画像生成装置は、仮想カメラと仮想投影面を用いた視点変換によりカメラ映像データからモニタ画像データを生成する装置であり、図１に示すように、リアカメラ１（実カメラ）と、画像処理コントローラ２と、モニタ３と、仮想カメラ位置調整操作ノブ４と、撮像面角度調整操作ノブ５と、を備えている。
前記リアカメラ１は、図１に示すように、車両の後部位置に取り付けられ、車両の後方景色を映し出す。このリアカメラ１の実撮像面１１（リアカメラＣＣＤ）に投影される画像によりカメラ映像データを取得する。
このリアカメラ１の光軸側には、図１及び図２に示すように、地面上に仮想投影面７が設定される（仮想投影面設定手段）。
また、リアカメラ１より高い位置には、図１及び図２に示すように、リアカメラ１からの水平方向距離ａ、地面からの垂直方向距離ｂ、により規定される位置に仮想カメラ８が設定される（仮想カメラ設定手段）。
さらに、前記仮想カメラ８の仮想撮像面として、図１及び図２に示すように、地面に平行な近景用撮像面９１と、該近景用撮像面９１のリアカメラ１から近い側に連接すると共に所定の下向き傾斜角度βを持って設定した遠景用撮像面９２と、を有する仮想立体撮像面９が設定される（仮想立体撮像面設定手段）。
前記画像処理コントローラ２は、デコーダ間変換部２１と、座標変換処理部２２と、ＲＯＭ２３と、ＲＡＭ２４と、エンコーダ変換部２５と、を有する。
前記デコーダ間変換部２１は、リアカメラ１に接続されているデコーダと、座標変換処理部２２にて想定しているデコーダと、の相違に基づき、両デコーダ間でカメラ入力座標系からデコーダ変換座標系へとデータ座標系を変換する。
なお、「デコーダ」とは、一定の規則に基づいて符号化されたデータを復元し、元のデータを取り出すソフトウェアをいう。
なお、「デコーダ」とは、一定の規則に基づいて符号化されたデータを復元し、元のデータを取り出すソフトウェアをいう。
前記座標変換処理部２２は、リアカメラ１により取得した単独のカメラ映像データとして前記デコーダ間変換部２１からのデコーダ変換座標系を入力し、前記ＲＯＭ２３に予め記憶設定されているマッピングテーブルを用い、座標変換にしたがって仮想カメラ８の仮想立体撮像面９上にカメラ映像データの各画素を移し、仮想カメラ８から仮想投影面７を見たときに仮想立体撮像面９に投影される画像をモニタ画像とし、このモニタ画像を得るモニタ画像データを生成する（モニタ画像データ生成手段）。
前記ＲＯＭ２３は、仮想立体撮像面９上での一つの画素位置を指定し、仮想投影面７上で指定した一つの画素位置に対応する第１対応位置を決め、リアカメラ１の実撮像面１１上で第１対応位置に対応する第２対応位置を決めるという順番により、各画素位置の座標変換を行って作成したマッピングテーブルを記憶設定しておくメモリである。
このマッピングテーブルの作成時、リアカメラ１により取得した単独のカメラ映像データの各画素位置と、仮想投影面７を介した仮想カメラ８の仮想立体撮像面９上の各画素位置と、の間で座標変換される（座標変換手段）。
また、マッピングテーブルの作成時、歪み映像による光軸位置からの画素の距離と無歪み映像による光軸位置からの画素の距離との変換量関係特性を予め定め（図１０(a)参照）、各画素の光軸位置からの距離と変換量関係特性とを用い、リアカメラ１により取得した単独のカメラ映像データの各画素位置の座標系歪みを補正変換し、仮想立体撮像面９の座標系としている。
なお、マッピングテーブルとしては、仮想カメラ８の位置（ａ，ｂ）と、撮像面傾斜角度βと、に応じて、所定の位置間隔毎や角度間隔毎に複数のマッピングテーブルが記憶設定されていて、細かな位置設定や角度設定に対しては、例えば、補間法を用いて対応するようにしている。
このマッピングテーブルの作成時、リアカメラ１により取得した単独のカメラ映像データの各画素位置と、仮想投影面７を介した仮想カメラ８の仮想立体撮像面９上の各画素位置と、の間で座標変換される（座標変換手段）。
また、マッピングテーブルの作成時、歪み映像による光軸位置からの画素の距離と無歪み映像による光軸位置からの画素の距離との変換量関係特性を予め定め（図１０(a)参照）、各画素の光軸位置からの距離と変換量関係特性とを用い、リアカメラ１により取得した単独のカメラ映像データの各画素位置の座標系歪みを補正変換し、仮想立体撮像面９の座標系としている。
なお、マッピングテーブルとしては、仮想カメラ８の位置（ａ，ｂ）と、撮像面傾斜角度βと、に応じて、所定の位置間隔毎や角度間隔毎に複数のマッピングテーブルが記憶設定されていて、細かな位置設定や角度設定に対しては、例えば、補間法を用いて対応するようにしている。
前記ＲＡＭ２４は、書き換え可能な情報を記憶設定しておくメモリである。
実施例１は、マッピングテーブルを用いて座標変換処理を行う例であるが、例えば、演算処理速の速いハードウェアを搭載し、リアルタイムで座標変換を行いながらモニタ画像データを生成するような例である場合、このＲＡＭ２４に、各画素等の座標変換式を記憶設定しておく。
実施例１は、マッピングテーブルを用いて座標変換処理を行う例であるが、例えば、演算処理速の速いハードウェアを搭載し、リアルタイムで座標変換を行いながらモニタ画像データを生成するような例である場合、このＲＡＭ２４に、各画素等の座標変換式を記憶設定しておく。
前記エンコーダ変換部２５は、前記座標変換処理部２２により生成されたモニタ画像データを、例えば、運転者視点対応の左右反転処理を含んで、モニタ３に映し出す画像データに変換する。
なお、「エンコーダ」とは、データを一定の規則に基づいて符号化するソフトウェアをいう。
なお、「エンコーダ」とは、データを一定の規則に基づいて符号化するソフトウェアをいう。
前記モニタ３は、車室内のインストルメントパネル位置等に設定され、画像処理コントローラ２からの画像データに基づいて、近景の俯瞰表示と中景から遠景のパース表示との合成画像を表示する。
前記仮想カメラ位置調整操作ノブ４は、運転者等による外部からの設定操作により任意の空間位置に仮想カメラ８を設定するための仮想カメラ位置調整操作手段である。この仮想カメラ位置調整操作ノブ４では、リアカメラ１からの水平方向距離ａ（例えば、2m）と、地面からの垂直方向距離ｂ（例えば、3m）と、を独立に設定できるようにしている。
前記撮像面角度調整操作ノブ５は、運転者等による外部からの設定操作により遠景用撮像面９２の近景用撮像面９１に対する下向き傾斜角度βを任意に設定（例えば、30°〜90°の角度範囲）するための撮像面角度調整操作手段である。
ここで、仮想立体撮像面９は、その遠景用撮像面９２を、リアカメラ１の実撮像面１１と平行に設定した状態を基準状態として設定し、この基準状態から下向き傾斜角度βを調整できるようにする。
ここで、仮想立体撮像面９は、その遠景用撮像面９２を、リアカメラ１の実撮像面１１と平行に設定した状態を基準状態として設定し、この基準状態から下向き傾斜角度βを調整できるようにする。
実施例１の画像生成装置は、仮想カメラ８，仮想投影面７（地面スクリーン）及び仮想撮像面９を用いた視点変換手法により、モニタ画像データを生成するものである。
発明のポイントは、
仮想カメラ８の撮像面の立体化することで、近景の俯瞰映像と歪み補正した遠景のパース映像を、同時に連続的に表示する。
ことにあり、このために、仮想立体撮像面９を導入し、地面スクリーンによる仮想投影面７を介して視点変換を行うようにした。
仮想カメラ８の撮像面の立体化することで、近景の俯瞰映像と歪み補正した遠景のパース映像を、同時に連続的に表示する。
ことにあり、このために、仮想立体撮像面９を導入し、地面スクリーンによる仮想投影面７を介して視点変換を行うようにした。
実施例１の詳細は、後述する「仮想立体撮像面を用いた視点変換手法」に譲り、要点のみここに示す。
図２に示す実施例１の模式図で、実カメラ映像が仮想投影面７（地面スクリーン）に射影され、その映像を仮想カメラ８の仮想立体撮像面９で撮影している構成である。この構成により、仮想立体撮像面９の近景用撮像面９１に近景の俯瞰映像を撮像し、仮想立体撮像面９の遠景用撮像面９２に中景から遠景の映像を撮像するという視点変換ができる。
図２に示す実施例１の模式図で、実カメラ映像が仮想投影面７（地面スクリーン）に射影され、その映像を仮想カメラ８の仮想立体撮像面９で撮影している構成である。この構成により、仮想立体撮像面９の近景用撮像面９１に近景の俯瞰映像を撮像し、仮想立体撮像面９の遠景用撮像面９２に中景から遠景の映像を撮像するという視点変換ができる。
この実施例１に示す発明の特徴を、図３及び図４を用い、俯瞰映像のみを得る従来手法との実施例１の手法との比較により説明する。
従来手法では、仮想カメラの仮想撮像面は平面としており、図２に示すように、地面に平行に設定している。したがって、近景と遠景の実カメラ撮像面映像（図３(a)）から、俯瞰変換により近景の俯瞰映像のみを生成していた（図３(b)）。
一方、実施例１の仮想立体撮像面９を用いた場合には、近景と遠景の実カメラ撮像面映像（図４(a)）から、俯瞰変換による近景の俯瞰映像とパース変換による中景乃至遠景のパース映像とを連続的に仮想立体撮像面９上に射影する。なお、図３及び図４の(u,v)座標は仮想立体撮像面９の表面上に沿った座標系である。
結果として、近景の俯瞰映像と遠景のパースのついた斜め俯瞰映像が同時に、かつ連続的に表示できるようになる。とりわけ、図１及び図２に示すように仮想立体撮像面９の遠景用撮像面９２とリアカメラ１の実撮像面１１が平行になるように設定すれば、リアカメラ映像と同じパースの遠景映像が表示される（レンズの歪み効果は除く）。そして、仮想立体撮像面９の撮像面傾斜角度βを調整することでパースの制御が可能である。
上記のように、実施例１にあっては、近景の俯瞰映像と中景から遠景のパース映像とをシームレスに表示することが可能になる。また、その表示について仮想立体撮像面９の撮像面傾斜角度βを制御することにより、中景から遠景映像について、実カメラの取り付けあおり角度を任意に変更する効果を制御することができる。
次に、「仮想立体撮像面を用いた視点変換手法（二平面モデルの場合）」について説明する。
１．背景および目的
車載周囲モニタとして、リアカメラ映像の俯瞰図表示と通常カメラ表示を同時表示させたいという要求は開発当初より存在し、商品化やデモンストレーションに際しては２画面表示により対応してきた。散発的には１画面表示手法について外部要求はあったものの、本当に見やすいのか、という疑問もあり本格的な検討は後回しにしてきた。
１．背景および目的
車載周囲モニタとして、リアカメラ映像の俯瞰図表示と通常カメラ表示を同時表示させたいという要求は開発当初より存在し、商品化やデモンストレーションに際しては２画面表示により対応してきた。散発的には１画面表示手法について外部要求はあったものの、本当に見やすいのか、という疑問もあり本格的な検討は後回しにしてきた。
現在の「新たな見せ方」検討では、上記要求がそのまま検討課題に含まれる。加えて近景から遠景までの映像を視点変換で見せるなど、従来の視点変換技術では対応できない内容を含むことになる。そこで、これら要求に一括して当たれるように、視点変換アルゴリズムそのものを一新し、拡張性の高い手法を新たに考案することとした。以下に記述する仮想立体撮像面を用いた視点変換手法はその一つの結果である。
この手法の特徴は、俯瞰映像を得るに際し地面に平行に設定していた平面による仮想撮像面を、任意の３次元形状を持つ立体的な仮想立体撮像面にするところにある。従来手法に比べ概念的には仮想撮像面の形状の違いだけであり、分かり易い拡張である。しかしながら、実現するアルゴリズムは全く異なる内容になっている。これまでは特定平面であることを前提として、全画素に同じマトリックスを作用させる簡素なアルゴリズムだったのに対し、任意形状の仮想撮像面に対応するには一画素毎に変換式が変わる可能性があり、その都度、対応点を求めることになるためである。
以下の記述は、この手法を整理し公開することを第一の目的とする。なお、立体撮像面形状については任意性が高く、本記述ではひとつの事例のみを示しているが、対応点計算に必要な基本式群を整理し示しており、その他の立体撮像面形状への応用も期待できる。以下の記述の第二の目的は、視点変換の実装に必要な座標変換群を総合的にレビューし、個別の技術を整理／提示することである。この種の情報は周辺技術的な内容であるため、これまで文書化されておらず、プログラムコードに埋め込まれた形で残っているだけである。しかし、それなりに複雑な手続きになっているため、視点変換の原理がわかっても実装上の障壁が高くなっている。記述の後半では必要な座標変換群を提示している。
２．仮想立体撮像面概論
仮想立体撮像面（以下、「仮想立体CCD」という。）による視点変換の考え方を図２に示す。図２の矢印で示したのが概念上での光の流れである。リアカメラで撮影されて映像を外部の地面スクリーンへ投影し、その地面スクリーン上の映像を仮想立体CCDで撮影している。この図２で仮想CCD画素とリアカメラCCD画素の対応を求めることが視点変換の基本である。もし、実体と同じ形状をした仮想立体CCDを用意できれば、まさに仮想位置から実体を撮影したのと同じ映像を撮影できるはずである。もっとも、リアカメラCCDから見て死角部分の映像は失われたままではある。
仮想立体撮像面（以下、「仮想立体CCD」という。）による視点変換の考え方を図２に示す。図２の矢印で示したのが概念上での光の流れである。リアカメラで撮影されて映像を外部の地面スクリーンへ投影し、その地面スクリーン上の映像を仮想立体CCDで撮影している。この図２で仮想CCD画素とリアカメラCCD画素の対応を求めることが視点変換の基本である。もし、実体と同じ形状をした仮想立体CCDを用意できれば、まさに仮想位置から実体を撮影したのと同じ映像を撮影できるはずである。もっとも、リアカメラCCDから見て死角部分の映像は失われたままではある。
図１及び図２で示す仮想立体CCDは２平面で構成された形状であり、仮想CCDとして地面に平行なCCDを選択した場合には全く自由度がないのに比べ、かなり自由度が高いものとなる。代わりに、全ての仮想CCD形状についてここで定式化するのは困難である。以下、図１及び図２と同じ二平面の仮想立体CCDの例を記述することで、その基本的な考え方と構成手法を示している。
３．変換手順
変換手順は、図２の矢印の逆順である。即ち、仮想立体CCD面上の一点を指定し、地面スクリーン上での対応点、リアカメラCCD上での対応点の順番で求める。これは、出力画像の全画素分の対応点を求めるためである。なお、CCD面の座標系について、画像処理を考える場合にはエンコーダ／デコーダなどによってデジタル化した後の座標系で考えるのが実践的であるが、一方で機種依存性が出てしまい応用が効きにくい表現になる。そのため本記述では一般的な座標系を用いて一連の変換手順を示している。特定機種への対応については、次章でPICASSOについて対応例を示している。
変換手順は、図２の矢印の逆順である。即ち、仮想立体CCD面上の一点を指定し、地面スクリーン上での対応点、リアカメラCCD上での対応点の順番で求める。これは、出力画像の全画素分の対応点を求めるためである。なお、CCD面の座標系について、画像処理を考える場合にはエンコーダ／デコーダなどによってデジタル化した後の座標系で考えるのが実践的であるが、一方で機種依存性が出てしまい応用が効きにくい表現になる。そのため本記述では一般的な座標系を用いて一連の変換手順を示している。特定機種への対応については、次章でPICASSOについて対応例を示している。
３.１ 世界座標系の定義
本記述で用いる世界座標系は、図５に示す地面をスクリーンとする座標系を使う。これは、３次元グラフィックス系でよく用いられる世界座標系とはｙ軸とｚ軸が入れ替わっている。
本記述で用いる世界座標系は、図５に示す地面をスクリーンとする座標系を使う。これは、３次元グラフィックス系でよく用いられる世界座標系とはｙ軸とｚ軸が入れ替わっている。
３.２ 仮想CCD面の決定
仮想立体CCD面の定義について、最初に述べたように複数の平面CCDによる構成を示す。平面CCD内の画素位置表示にはいくつかの手法があるが、ここではuvベクトルを用いて表現する。図６(a)がその実施例である。
光学的には図中のカメラ位置より後方にある仮想立体CCDが本来のCCD面であるが、処理のしやすさなどを考慮し、本記述ではカメラ位置を中心に回転した前面仮想立体CCD面上で論じる。そのため、uvベクトルの基底{ｅｕ,ｅｖ}もその面上で定義する。また複数平面があれば、当然平面毎にuv基底ベクトルは設定され、今回の例では{ｅｕ１,ｅｖ１}と{ｅｕ２,ｅｖ２}としている。なお、これら基底ベクトルは世界座標系で定義されるベクトルである。
これらを用いて、CCDi 面上の画素位置は、
ｕ・ｅｕ１＋ｖ・ｅｖ１＋Ｏｕｖ forCCD1 (1)
ｕ・ｅｕ２＋ｖ・ｅｖ２＋Ｏｕｖ forCCD2 (2)
で与えられる。Ｏｕｖは世界座標系で表される原点位置を表す位置ベクトルである。モニタ表示の(x,y)座標と(u,v)座標との相互変換は、２次元映像から２次元映像への変換であり、設計者に任される。一つの実施例は次節で示す。
仮想立体CCD面の定義について、最初に述べたように複数の平面CCDによる構成を示す。平面CCD内の画素位置表示にはいくつかの手法があるが、ここではuvベクトルを用いて表現する。図６(a)がその実施例である。
光学的には図中のカメラ位置より後方にある仮想立体CCDが本来のCCD面であるが、処理のしやすさなどを考慮し、本記述ではカメラ位置を中心に回転した前面仮想立体CCD面上で論じる。そのため、uvベクトルの基底{ｅｕ,ｅｖ}もその面上で定義する。また複数平面があれば、当然平面毎にuv基底ベクトルは設定され、今回の例では{ｅｕ１,ｅｖ１}と{ｅｕ２,ｅｖ２}としている。なお、これら基底ベクトルは世界座標系で定義されるベクトルである。
これらを用いて、CCDi 面上の画素位置は、
ｕ・ｅｕ１＋ｖ・ｅｖ１＋Ｏｕｖ forCCD1 (1)
ｕ・ｅｕ２＋ｖ・ｅｖ２＋Ｏｕｖ forCCD2 (2)
で与えられる。Ｏｕｖは世界座標系で表される原点位置を表す位置ベクトルである。モニタ表示の(x,y)座標と(u,v)座標との相互変換は、２次元映像から２次元映像への変換であり、設計者に任される。一つの実施例は次節で示す。
３.３ 視線ベクトルの決定とスクリーン上の対応点
ある画素についてuvベクトル表現が決定されると、図６(a)に示すようにカメラ位置からの視線ベクトルが決まり、この視線ベクトルが指す地面スクリーン上の点（交点CP）が決まる。この点を求めるのは直線と平面の交点を求める作業であり特に難しくはない。
ある画素についてuvベクトル表現が決定されると、図６(a)に示すようにカメラ位置からの視線ベクトルが決まり、この視線ベクトルが指す地面スクリーン上の点（交点CP）が決まる。この点を求めるのは直線と平面の交点を求める作業であり特に難しくはない。
３.４ 立体CCDの与え方
仮想立体CCDの形状によりモニタ上での見え方が変わる。仮想立体CCDの斜めに設定したCCD面とリアカメラCCDとの角度を同じにした場合、仮想立体CCDにより生成される映像は、
・指定した角度のカメラ映像として遠方映像を表示、
・近景は俯瞰映像、
・俯瞰映像と遠景映像の連続的接続、
という特徴をもつ。そして、仮想立体CCDの斜めに設定したCCD面をリアカメラCCDの角度から調整した場合、結果として、リアカメラの首振り角度を変えたのと同じ遠方画像が得られる。
仮想立体CCDの形状によりモニタ上での見え方が変わる。仮想立体CCDの斜めに設定したCCD面とリアカメラCCDとの角度を同じにした場合、仮想立体CCDにより生成される映像は、
・指定した角度のカメラ映像として遠方映像を表示、
・近景は俯瞰映像、
・俯瞰映像と遠景映像の連続的接続、
という特徴をもつ。そして、仮想立体CCDの斜めに設定したCCD面をリアカメラCCDの角度から調整した場合、結果として、リアカメラの首振り角度を変えたのと同じ遠方画像が得られる。
３.５ 地面スクリーンからリアカメラCCDへの射影
地面スクリーン上の一点が指示された。次の問題は図７に示すように、リアカメラCCD上の対応点を求めることであり、具体的には直線（視線）とCCD平面との交点を求めることである。結局は平面と直線の交点を求める問題であり、３.２節の場合に比べCCDとスクリーンの立場が入れ替わっただけで、原理的には全く同じである。しかし、最終的に求めたい交点の表現が、３次元位置ベクトル形式ではなくCCD表面上の(u,v)座標系という点が異なっている。そのため、図７にあるようにCCD表面を{ｅｕ,ｅｖ}を用いて表現する。この記号は３.１節と同じであるが、今回はリアカメラCCD表面上で定義される。
地面スクリーン上の一点が指示された。次の問題は図７に示すように、リアカメラCCD上の対応点を求めることであり、具体的には直線（視線）とCCD平面との交点を求めることである。結局は平面と直線の交点を求める問題であり、３.２節の場合に比べCCDとスクリーンの立場が入れ替わっただけで、原理的には全く同じである。しかし、最終的に求めたい交点の表現が、３次元位置ベクトル形式ではなくCCD表面上の(u,v)座標系という点が異なっている。そのため、図７にあるようにCCD表面を{ｅｕ,ｅｖ}を用いて表現する。この記号は３.１節と同じであるが、今回はリアカメラCCD表面上で定義される。
リアカメラCCD上での基底ベクトルの決定についてはいくつかの方法があるが、現実のリアカメラに合わせ込む必要があるため、合わせ込み調整が可能な手順が望ましい。ここでは以下に２つの方法を示す。ただしいずれの方法もレンズ歪み等の光学的効果は全て除かれて、リアカメラをピンホールカメラとして扱えることが前提である。
３.５.１ リアカメラ{ｅｕ,ｅｖ}の決定
ここではまず{ｅｕ,ｅｖ}の決定について、カメラ視線を指定する方法と、既に実施されてきた回転行列で指定する方法による。
ここではまず{ｅｕ,ｅｖ}の決定について、カメラ視線を指定する方法と、既に実施されてきた回転行列で指定する方法による。
３.５.２ リアカメラCCDへの射影
図７のCCDベクトルは、上記結果により定められた{ｅｕ,ｅｖ}を用いて、
と表現できる。このとき、３．３節で求めた交点CPに対応するCCD表面上の(u,v)値を求めたい。上式と、
を連立させることで(u,v)を求める。なお、ＯｕｖはCCD面上の原点を世界座標系で表現した３次元位置ベクトルである。結果だけを記すと、
となる。なお、Ｐrearはリアカメラ位置で、演算子×は３次元ベクトルの外積を意味している。これで得られる(u,v)値と実際のカメラ映像との対応はカメラシステムの画像座標に依存するため、一般的に記述できない。そこで次章では、特定の機種を用いた場合の変換例を示す。
図７のCCDベクトルは、上記結果により定められた{ｅｕ,ｅｖ}を用いて、
３.６ 仮想立体CCD法まとめ
本章では仮想立体CCDを用いた視点変換手法の原理とその基本式を視点変換処理の流れに沿って紹介した。本手法では、従来手法では不可能であった「俯瞰映像とパース映像の同時表示」が可能になり、表現の自由度は増している。しかしその分自由度が高く、俯瞰データ作成に際しては、より一層の理解が求められることになる。
本章では仮想立体CCDを用いた視点変換手法の原理とその基本式を視点変換処理の流れに沿って紹介した。本手法では、従来手法では不可能であった「俯瞰映像とパース映像の同時表示」が可能になり、表現の自由度は増している。しかしその分自由度が高く、俯瞰データ作成に際しては、より一層の理解が求められることになる。
４. 実カメラ映像と対応
本章で述べる相互変換処理の全体像を図８に示す。この一連の処理では、ピンホールカメラを前提とした前節の変換処理を、広角カメラの特性に合わせるための歪み補正処理も含まれる。具体的には図８内の矢印で示す６つの変換、すなわち、
・デコーダ間変換、
・ｙ軸変換、
・歪み補正変換、
・ピンホールカメラ変換、
・視点変換、
・エンコーダ変換、
を順番の処理することで対応点計算を行っている。前節で示したのは、この中の「視点変換」に関わる内容だけである。本章ではそれ以外の変換処理について詳述する。なお、本記述では、
カメラ：CC-445（クラリオン製）、
デコーダ：PCCAP（I/O データ製）、
を用いた場合の実施例を示している。
本章で述べる相互変換処理の全体像を図８に示す。この一連の処理では、ピンホールカメラを前提とした前節の変換処理を、広角カメラの特性に合わせるための歪み補正処理も含まれる。具体的には図８内の矢印で示す６つの変換、すなわち、
・デコーダ間変換、
・ｙ軸変換、
・歪み補正変換、
・ピンホールカメラ変換、
・視点変換、
・エンコーダ変換、
を順番の処理することで対応点計算を行っている。前節で示したのは、この中の「視点変換」に関わる内容だけである。本章ではそれ以外の変換処理について詳述する。なお、本記述では、
カメラ：CC-445（クラリオン製）、
デコーダ：PCCAP（I/O データ製）、
を用いた場合の実施例を示している。
４.１ デコーダ間変換
この変換は、ビデオキャプチャカードPCCAP(I/O データ製)のデコーダ性能とPICASSO のデコーダ性能とを互換させる変換である。PCCAPは歪み補正技術を構築するときに用いたハードウエアであり、この座標系で補正係数が決定されているため、当面避けて通れない。最も簡便な変換は、縦横とも解像度比分だけ倍数をかけて、座標値を対応させることである。ただし、これは近似的な対応であり、まず間違いなくズレが生じる。
PCCAPのデコーダとPICASSOのデコーダでは、NTSC信号からの映像切り出し領域が異なるためである。これまでの経験で、数％程度の位置ズレは常識的に存在する。データが全てそろっていれば、
・デコーダ性能表を比較して割り出す、
・同じカメラ映像をデコーダで同時に取得して比較する、
という手段があるが、残念ながら、
・PCCAP及びPICASSOともにデコーダの性能表は出ていない、
・PICASSOのデジタル映像データは外部に直接取り出せない、
のため現在ともに不可能である。現在用いている対策は複雑な手順となるが、PICASSO出力系のエンコーダ性能と併せて三つの相互変換について連立方程式を解くようにして決定する手法を考案している。このときPICASSOのスーパーインポーズ機能を併用して、内部の座標系を外部から計測できるように工夫している。
現在判明している変換式は、唯一PICASSO 開発途中に評価ボード（外部デコーダ）を用いて調整した結果だけである。
この変換は、ビデオキャプチャカードPCCAP(I/O データ製)のデコーダ性能とPICASSO のデコーダ性能とを互換させる変換である。PCCAPは歪み補正技術を構築するときに用いたハードウエアであり、この座標系で補正係数が決定されているため、当面避けて通れない。最も簡便な変換は、縦横とも解像度比分だけ倍数をかけて、座標値を対応させることである。ただし、これは近似的な対応であり、まず間違いなくズレが生じる。
PCCAPのデコーダとPICASSOのデコーダでは、NTSC信号からの映像切り出し領域が異なるためである。これまでの経験で、数％程度の位置ズレは常識的に存在する。データが全てそろっていれば、
・デコーダ性能表を比較して割り出す、
・同じカメラ映像をデコーダで同時に取得して比較する、
という手段があるが、残念ながら、
・PCCAP及びPICASSOともにデコーダの性能表は出ていない、
・PICASSOのデジタル映像データは外部に直接取り出せない、
のため現在ともに不可能である。現在用いている対策は複雑な手順となるが、PICASSO出力系のエンコーダ性能と併せて三つの相互変換について連立方程式を解くようにして決定する手法を考案している。このときPICASSOのスーパーインポーズ機能を併用して、内部の座標系を外部から計測できるように工夫している。
現在判明している変換式は、唯一PICASSO 開発途中に評価ボード（外部デコーダ）を用いて調整した結果だけである。
４.２ ｙ軸変換
これは原点を上下にする変換処理である。歪み補正技術構築時に原点を下にとる座標系を用いている。単純にｙ軸方向の画素数により変換するだけである。
これは原点を上下にする変換処理である。歪み補正技術構築時に原点を下にとる座標系を用いている。単純にｙ軸方向の画素数により変換するだけである。
４.３ 歪み補正変換
現有の歪み補正処理技術は、PCCAP(I/O データ製)でキャプチャした歪み補正前後のビットマップ画像（解像度640×480）について無次元の画素空間で処理する技術である。この変換処理の原理は、図９(b)に示すように、各画素の光軸位置からの距離を変えるだけである。変換量は図９(a)のグラフに示すような高次の単調増加関数で表され、あらかじめ実験的に定める。なお、経験上クラリオン製カメラでは同じロットでも光軸位置が数％程度ふらついている。これだけふらつきがあると、歪率の高い画像周縁部の映像処理に影響が現れるため、周縁部はできるだけは変換しない方がよい。
現有の歪み補正処理技術は、PCCAP(I/O データ製)でキャプチャした歪み補正前後のビットマップ画像（解像度640×480）について無次元の画素空間で処理する技術である。この変換処理の原理は、図９(b)に示すように、各画素の光軸位置からの距離を変えるだけである。変換量は図９(a)のグラフに示すような高次の単調増加関数で表され、あらかじめ実験的に定める。なお、経験上クラリオン製カメラでは同じロットでも光軸位置が数％程度ふらついている。これだけふらつきがあると、歪率の高い画像周縁部の映像処理に影響が現れるため、周縁部はできるだけは変換しない方がよい。
４.４ ピンホールカメラ変換
前節の歪み補正映像は無次元の処理であり、得られた映像を世界座標系の仮想CCD面上の映像に対応させるために、物理量を導入する。図１０はそのときの考え方を図示している。図中の歪み補正前後の映像は、前節と同じ解像度 640×480の画像としているが、それに対応するカメラモデルは異なっている様子が図１０の模式図で示されている。
前節の歪み補正映像は無次元の処理であり、得られた映像を世界座標系の仮想CCD面上の映像に対応させるために、物理量を導入する。図１０はそのときの考え方を図示している。図中の歪み補正前後の映像は、前節と同じ解像度 640×480の画像としているが、それに対応するカメラモデルは異なっている様子が図１０の模式図で示されている。
図１０(a)に示す広角カメラの模式図では、光軸位置が画像中心にない。少なくともこれまで弊社のカメラで実験してきた限りでは、合致していた例はない。図中の光軸上の「カメラ位置」がCCD面からの焦点距離を表しレンズ位置に対応する。この図では、斜めの入射光がカメラ（レンズ）位置で屈折してCCD面上で結像し、その結果歪み映像が生じる様子を図示している。
一方、図１０(b)に示すピンホールカメラの模式図は異なっている。広角カメラ模式図に比べCCDの物理サイズは大きめに描かれ、焦点距離は短くなっている。また入射光は屈折せず直線的にCCD面上で結像しているように描かれている。この模式図を見ると、例えばCCD面のサイズ（或いはピクセルサイズ）をより大きく設定しても、焦点距離を同じ割合で長く設定すれば、同じ解像度で同じ映像を取得できることが理解される。すなわち特別な事情がない限り比率を保持しておけば、ピンホールカメラのスケール設定は自由である。この模式図から対応点計算に必要なカメラ定数は以下の値となる。
・仮想CCD面上での光軸位置、
・仮想CCDの焦点距離 f、
・仮想CCDのピクセルサイズ (Wx Wy)、
光軸位置については、考え易さの観点から図中では画像の中心（319.5,239.5）に設定しているが、そもそも仮想的なピンホールカメラであり、どこを中心にするかは自由である。また後の２つの項目については先述べたように、絶対値そのものはあまり重要ではない。
・仮想CCD面上での光軸位置、
・仮想CCDの焦点距離 f、
・仮想CCDのピクセルサイズ (Wx Wy)、
光軸位置については、考え易さの観点から図中では画像の中心（319.5,239.5）に設定しているが、そもそも仮想的なピンホールカメラであり、どこを中心にするかは自由である。また後の２つの項目については先述べたように、絶対値そのものはあまり重要ではない。
これら仮想CCDの設定値を使うと、世界座標系への変換処理は図１１に示す関係から、
(Wx Wy)：仮想CCDのピクセルサイズ（通常はWx＝Wy）、
Ｏｃ：仮想CCD の光学中心（任意、通常は画面中央）、
とすることで変換する。なお、３.２節で述べたように基底ベクトル{ｅｕ,ｅｖ}は世界座標系の単位長さに規格化されているのが通常であり、その場合に(Wx Wy)は仮想CCDのピクセルサイズとしての意味を持つ。もし基底ベクトルが世界座標系で規格化されていなければ、この値はピクセルサイズではなく比例係数である。
Ｏｃ：仮想CCD の光学中心（任意、通常は画面中央）、
とすることで変換する。なお、３.２節で述べたように基底ベクトル{ｅｕ,ｅｖ}は世界座標系の単位長さに規格化されているのが通常であり、その場合に(Wx Wy)は仮想CCDのピクセルサイズとしての意味を持つ。もし基底ベクトルが世界座標系で規格化されていなければ、この値はピクセルサイズではなく比例係数である。
さらに車載リアカメラについては、多くの場合、
−ｕ⇒ｕ (9)
という左右反転処理が必要である。一般にリアカメラ映像は左右反転映像が出力されているためで、CC-445の場合にも同様である。
−ｕ⇒ｕ (9)
という左右反転処理が必要である。一般にリアカメラ映像は左右反転映像が出力されているためで、CC-445の場合にも同様である。
４.５ 視点変換
これは第３章で論じた内容でありここでは詳述しない。
これは第３章で論じた内容でありここでは詳述しない。
４.６ エンコーダ変換
出力画像のデザインに関わる内容であり一般式は提示できないが、例えば一定スケールで単純に画像中央に表示する場合は、
α：スケール定数、
SC：出力画像系の中心（図８ではSC＝(179.5, 119.5)）、
で与えられる。注意するのは、リアカメラ映像を出力する場合、運転者視点用に左右反転が求められることがあり、その場合には４.４節で指摘したように左右反転処理を行う。そのときは上記処理前に、
ｕ⇒−ｕ (11)
とするか、処理後に左右反転処理が必要である。後者の処理の場合、左右非対称な光学軸を設定して絵作りしている場合には注意が必要である。
なお、エンコーダ性能とモニタ性能の組み合わせ次第で、必ずしもエンコーダ座標系の中心点が出力モニタ上の中心点ではないため、上式SCで調整する場合が多い。
出力画像のデザインに関わる内容であり一般式は提示できないが、例えば一定スケールで単純に画像中央に表示する場合は、
SC：出力画像系の中心（図８ではSC＝(179.5, 119.5)）、
で与えられる。注意するのは、リアカメラ映像を出力する場合、運転者視点用に左右反転が求められることがあり、その場合には４.４節で指摘したように左右反転処理を行う。そのときは上記処理前に、
ｕ⇒−ｕ (11)
とするか、処理後に左右反転処理が必要である。後者の処理の場合、左右非対称な光学軸を設定して絵作りしている場合には注意が必要である。
なお、エンコーダ性能とモニタ性能の組み合わせ次第で、必ずしもエンコーダ座標系の中心点が出力モニタ上の中心点ではないため、上式SCで調整する場合が多い。
５．まとめ
本記述では、
・立体CCD概念、
・二平面モデルによる視点変換手法の原理、
・座標変換群の全体像、
・各変換処理の概念及び手法、
について示した。本記述で示した手続きに従えばマッピングテーブルを作成できるはずである。
本記述では、
・立体CCD概念、
・二平面モデルによる視点変換手法の原理、
・座標変換群の全体像、
・各変換処理の概念及び手法、
について示した。本記述で示した手続きに従えばマッピングテーブルを作成できるはずである。
次に、効果を説明する。
実施例１の画像生成装置および画像生成方法にあっては、下記に列挙する効果を得ることができる。
実施例１の画像生成装置および画像生成方法にあっては、下記に列挙する効果を得ることができる。
(1) 仮想カメラ８と仮想投影面を用いた視点変換によりカメラ映像データからモニタ画像データを生成する画像生成装置において、実撮像面に投影される画像により前記カメラ映像データを取得する実カメラと、地面上に仮想投影面７を設定する仮想投影面設定手段と、前記仮想カメラの仮想撮像面として、地面に平行な近景用撮像面９１と、該近景用撮像面９１の実カメラから近い側に連接すると共に所定の下向き傾斜角度βを持って設定した遠景用撮像面９２と、を有する仮想立体撮像面９を設定する仮想立体撮像面設定手段と、前記実カメラより高い位置に仮想カメラ８を設定する仮想カメラ設定手段と、前記実カメラにより取得した単独のカメラ映像データの各画素位置と、前記仮想投影面７を介した仮想カメラ８の仮想立体撮像面９上の各画素位置と、の間で座標変換する座標変換手段と、前記座標変換にしたがって仮想カメラ８の仮想立体撮像面９上に前記カメラ映像データの各画素を移し、前記仮想カメラ８から前記仮想投影面７を見たときに仮想立体撮像面９に投影される画像をモニタ画像とし、このモニタ画像を得るモニタ画像データを生成するモニタ画像データ生成手段と、を備えたため、演算処理を簡単にしながら、近景の俯瞰表示と中景から遠景のパース表示をシームレスに接合するモニタ画像データを生成する画像生成装置を提供することができる。
(2) 前記仮想立体撮像面設定手段は、仮想立体撮像面９の遠景用撮像面９２を、前記実カメラの実撮像面と平行に設定したため、実カメラ映像と同じパースの遠景映像を表示するモニタ画像データを生成することができる。
(3) 前記座標変換手段は、仮想立体撮像面９上での一つの画素位置を指定し、仮想投影面７上で指定した一つの画素位置に対応する第１対応位置を決め、実カメラの実撮像面１１上で第１対応位置に対応する第２対応位置を決めるという順番により、各画素位置の座標変換を行ってマッピングテーブルを作成するため、例えば、実カメラの実撮像面１１上での一つの画素位置を指定して最終的に仮想立体撮像面９上での対応点を決める場合には、俯瞰画像への変換により拡大・縮小が生じ、全画素分の対応点を求めることができない場合があるのに対し、出力画像となる仮想立体撮像面９の全画素分の対応点を求めることができる。
(4) 歪み映像による光軸位置からの画素の距離と無歪み映像による光軸位置からの画素の距離との変換量関係特性を予め定め、前記座標変換手段は、各画素の光軸位置からの距離と前記変換量関係特性を用い、前記実カメラにより取得した単独のカメラ映像データの各画素位置の座標系歪みを補正変換し、仮想立体撮像面９の座標系とするため、変換量関係特性を用いた簡単な歪み補正変換により、カメラレンズによる映像の歪みが補正され、ピンホールカメラでの撮像画面のように、直線的に描かれる遠景のパース画像を得ることができる。
(5) 前記仮想カメラ設定手段は、外部からの設定操作により任意の空間位置に仮想カメラを設定できるため、モニタ画面の下部に表示される近景の俯瞰画像と上部に表示される遠景のパース画像とのバランスが適切になるように調整することができる。
(6) 前記仮想立体撮像面設定手段は、外部からの設定操作により遠景用撮像面９２の近景用撮像面９１に対する下向き傾斜角度βを任意に設定できるため、遠景のパース画像として、遠近感が強く表示されるデザインや立体感を強く感じさせるデザインにすることができる等、モニタ画面のデザイン自由度を高めることができる。
(7) 前記実カメラは、車両後部位置に取り付けられ、車両の後方景色を映し出すリアカメラ１であるため、下部に表示される近景の俯瞰画像と上部に表示される中景乃至遠景のパース画像の合成画像により、距離感や遠近感を含めて車両の後方周囲状況を的確にモニタ表示し、運転支援の実効を図ることができる。
(8) 仮想カメラ８と仮想投影面を用いた視点変換によりカメラ映像データからモニタ画像データを生成する画像生成方法において、地面上に仮想投影面７を設定する仮想投影面設定手順と、前記仮想カメラの仮想撮像面として、地面に平行な近景用撮像面９１と、該近景用撮像面９１の実カメラから近い側に連接すると共に所定の下向き傾斜角度βを持って設定した遠景用撮像面９２と、を有する仮想立体撮像面９を設定する仮想立体撮像面設定手順と、実撮像面１１に投影される画像により前記カメラ映像データを取得する実カメラより高い位置に仮想カメラ８を設定する仮想カメラ設定手順と、前記実カメラにより取得した単独のカメラ映像データの各画素位置と、前記仮想投影面７を介した仮想カメラ８の仮想撮像面上の各画素位置と、の間で座標変換する座標変換手順と、前記座標変換にしたがって仮想カメラ８の仮想立体撮像面上に前記カメラ映像データの各画素を移し、前記仮想カメラ８から前記仮想投影面７を見たときに仮想立体撮像面９に投影される画像をモニタ画像とし、このモニタ画像を得るモニタ画像データを生成するモニタ画像データ生成手順と、を備えたため、演算処理を簡単にしながら、近景の俯瞰表示と中景乃至遠景のパース表示をシームレスに接合するモニタ画像データを生成する画像生成方法を提供することができる。
以上、本発明の画像生成装置および画像生成方法を実施例１に基づき説明してきたが、具体的な構成については、この実施例１に限られるものではなく、特許請求の範囲の各請求項に係る発明の要旨を逸脱しない限り、設計の変更や追加等は許容される。
実施例１では、リアカメラを１台のみ設置し、１台のリアカメラにより取得した単独のカメラ映像データの各画素位置を座標変換してモニタ画像データを生成する例を示した。これは、本発明が、実カメラからの単独のカメラ映像データを用いることを特徴とし、この点を明瞭にする意味で、実施例１では車載カメラを１台にする例を示したものである。よって、実施例１の記載は、車載カメラの台数を１台に限定するものではなく、１台の実カメラと１台または複数台の補助カメラを設置しても良い。例えば、俯瞰映像において、実カメラであるリアカメラCCDから見て死角部分（両端部分）の映像が失われることがあるが、この場合、他の車載カメラ（補助カメラ）からの映像を利用し、死角部分の映像を補完するようにしても良い。
実施例１では、モニタ表示画像として、近景の俯瞰表示画像と中景から遠景のパース表示画像とがシームレスに接合された画像とする例を示したが、例えば、近景の俯瞰表示画像と中景から遠景のパース表示画像との間に仕切り線を設定したモニタ表示画像としても良い。すなわち、本発明は、近景の俯瞰表示と中景から遠景のパース表示をシームレスに接合するモニタ画像データを生成するものであり、モニタ画像データに基づいて作成されるモニタ表示画像についてまで接合という条件を規定するものではない。例えば、視認性やデザイン性等を考慮して予め作成された仕切り線や枠組み等を施すベース画像に、生成したモニタ画像データに基づく俯瞰画像とパース画像を組み込み、両画像の合成画像をモニタへの表示画像とするようにしても良い。
実施例１では、車両に搭載されるリアカメラへの適用例を示したが、車両に搭載されるサイドカメラやフロントカメラへも適用できるし、また、車両以外に、店舗等に設置される監視カメラへも適用でき、監視カメラへ適用した場合には、カメラの設置台数やモニタの設置台数を大幅に減らすことができるというメリットを持つ。
１ リアカメラ（実カメラ）
２ 画像処理コントローラ
２１ デコーダ間変換部
２２ 座標変換処理部
２３ ＲＯＭ
２４ ＲＡＭ
２５ エンコーダ変換部
３ モニタ
４ 仮想カメラ位置調整操作ノブ
５ 撮像面角度調整操作ノブ
７ 仮想投影面
８ 仮想カメラ
９ 仮想立体撮像面
９１ 近景用撮像面
９２ 遠景用撮像面
ａ，ｂ 仮想カメラ８の位置
β 撮像面傾斜角度
２ 画像処理コントローラ
２１ デコーダ間変換部
２２ 座標変換処理部
２３ ＲＯＭ
２４ ＲＡＭ
２５ エンコーダ変換部
３ モニタ
４ 仮想カメラ位置調整操作ノブ
５ 撮像面角度調整操作ノブ
７ 仮想投影面
８ 仮想カメラ
９ 仮想立体撮像面
９１ 近景用撮像面
９２ 遠景用撮像面
ａ，ｂ 仮想カメラ８の位置
β 撮像面傾斜角度
Claims (8)
- 仮想カメラと仮想投影面を用いた視点変換によりカメラ映像データからモニタ画像データを生成する画像生成装置において、
実撮像面に投影される画像により単独のカメラ映像データを取得する実カメラと、
前記実カメラからの前記カメラ映像データを入力し、画像処理によりモニタ画像データを生成する画像処理コントローラと、
前記画像処理コントローラからのモニタ画像データに基づいて、近景の俯瞰表示と中景から遠景のパース表示との合成画像を表示するモニタと、を備え、
前記画像処理コントローラは、前記実カメラより高い位置に、視点変換のための仮想カメラを設定し、前記実カメラの光軸側の地面上に、カメラ映像データからモニタ画像データを生成するための前記仮想カメラの仮想投影面を設定し、前記仮想カメラの仮想撮像面として、地面に平行な近景用撮像面と、該近景用撮像面の実カメラから近い側に連接すると共に所定の下向き傾斜角度を持って設定した遠景用撮像面と、を有し、近景の俯瞰映像と中景から遠景の映像を撮像するための仮想立体撮像面を設定し、前記実カメラにより取得した単独のカメラ映像データの各画素位置と、前記仮想投影面を介した前記仮想カメラの前記仮想立体撮像面上の各画素位置と、の間で座標変換し、前記座標変換にしたがって前記仮想カメラの前記仮想立体撮像面上に前記カメラ映像データの各画素を移し、前記仮想カメラから前記仮想投影面を見たときに前記仮想立体撮像面に投影される画像をモニタ画像とし、このモニタ画像を得る前記モニタ画像データを生成することを特徴とする画像生成装置。 - 請求項１に記載された画像生成装置において、
前記画像処理コントローラは、仮想立体撮像面の遠景用撮像面を、前記実カメラの実撮像面と平行に設定したことを特徴とする画像生成装置。 - 請求項１または請求項２に記載された画像生成装置において、
前記画像処理コントローラは、仮想立体撮像面上での一つの画素位置を指定し、仮想投影面上で指定した一つの画素位置に対応する第１対応位置を決め、実カメラの実撮像面上で第１対応位置に対応する第２対応位置を決めるという順番により、各画素位置の座標変換を行ってマッピングテーブルを作成することを特徴とする画像生成装置。 - 請求項３に記載された画像生成装置において、
前記画像処理コントローラは、歪み映像による光軸位置からの画素の距離と無歪み映像による光軸位置からの画素の距離との変換量関係特性を予め定め、各画素の光軸位置からの距離と前記変換量関係特性を用い、前記実カメラにより取得した単独のカメラ映像データの各画素位置の座標系歪みを補正変換し、仮想立体撮像面の座標系とすることを特徴とする画像生成装置。 - 請求項１から請求項４の何れか１項に記載された画像生成装置において、
前記画像処理コントローラは、外部からの設定操作により任意の空間位置に仮想カメラを設定できることを特徴とする画像生成装置。 - 請求項１から請求項５の何れか１項に記載された画像生成装置において、
前記画像処理コントローラは、外部からの設定操作により遠景用撮像面の近景用撮像面に対する下向き傾斜角度を任意に設定できることを特徴とする画像生成装置。 - 請求項１から請求項６の何れか１項に記載された画像生成装置において、
前記実カメラは、車両後部位置に取り付けられ、車両の後方景色を映し出すリアカメラであることを特徴とする画像生成装置。 - 仮想カメラと仮想投影面を用いた視点変換によりカメラ映像データからモニタ画像データを生成する画像生成方法において、
実カメラの実撮像面に投影される画像により単独のカメラ映像データを取得するカメラ映像データ取得手順と、
前記実カメラより高い位置に、視点変換のための仮想カメラを設定する仮想カメラ設定手順と、
前記実カメラの光軸側の地面上に、前記カメラ映像データから前記モニタ画像データを生成するための仮想投影面を設定する仮想投影面設定手順と、
前記仮想カメラの仮想撮像面として、地面に平行な近景用撮像面と、該近景用撮像面の実カメラから近い側に連接すると共に所定の下向き傾斜角度を持って設定した遠景用撮像面と、を有し、近景の俯瞰映像と中景から遠景の映像を撮像するための仮想立体撮像面を設定する仮想立体撮像面設定手順と、
前記実カメラにより取得した単独のカメラ映像データの各画素位置と、前記仮想投影面を介した前記仮想カメラの前記仮想撮像面上の各画素位置と、の間で座標変換する座標変換手順と、
前記座標変換にしたがって前記仮想カメラの前記仮想立体撮像面上に前記カメラ映像データの各画素を移し、前記仮想カメラから前記仮想投影面を見たときに前記仮想立体撮像面に投影される画像をモニタ画像とし、このモニタ画像を得るモニタ画像データを生成するモニタ画像データ生成手順と、
を備えたことを特徴とする画像生成方法。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2006260424A JP4642723B2 (ja) | 2006-09-26 | 2006-09-26 | 画像生成装置および画像生成方法 |
| US11/902,952 US8259173B2 (en) | 2006-09-26 | 2007-09-26 | Image generating apparatus and image generating method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2006260424A JP4642723B2 (ja) | 2006-09-26 | 2006-09-26 | 画像生成装置および画像生成方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2008085446A JP2008085446A (ja) | 2008-04-10 |
| JP4642723B2 true JP4642723B2 (ja) | 2011-03-02 |
Family
ID=39355878
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2006260424A Expired - Fee Related JP4642723B2 (ja) | 2006-09-26 | 2006-09-26 | 画像生成装置および画像生成方法 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US8259173B2 (ja) |
| JP (1) | JP4642723B2 (ja) |
Families Citing this family (26)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010183170A (ja) * | 2009-02-03 | 2010-08-19 | Denso Corp | 車両用表示装置 |
| JP5190712B2 (ja) * | 2009-03-24 | 2013-04-24 | アイシン精機株式会社 | 障害物検出装置 |
| TWI392366B (zh) | 2009-12-31 | 2013-04-01 | Ind Tech Res Inst | 全周鳥瞰影像距離介面產生方法與系統 |
| JP5090496B2 (ja) * | 2010-04-12 | 2012-12-05 | 住友重機械工業株式会社 | 画像生成装置及び操作支援システム |
| US20130002861A1 (en) * | 2010-06-07 | 2013-01-03 | Tatsuya Mitsugi | Camera distance measurement device |
| US20130321614A1 (en) * | 2010-12-02 | 2013-12-05 | An-Sheng Liu | Driving safety device |
| JP5724446B2 (ja) * | 2011-02-21 | 2015-05-27 | 日産自動車株式会社 | 車両の運転支援装置 |
| JP5771508B2 (ja) * | 2011-11-10 | 2015-09-02 | オリンパス株式会社 | 表示装置、撮像装置、および映像表示システム |
| US8768583B2 (en) | 2012-03-29 | 2014-07-01 | Harnischfeger Technologies, Inc. | Collision detection and mitigation systems and methods for a shovel |
| JP5861776B2 (ja) * | 2012-05-08 | 2016-02-16 | トヨタ自動車株式会社 | 俯瞰画像表示装置 |
| US20140104137A1 (en) * | 2012-10-16 | 2014-04-17 | Google Inc. | Systems and methods for indirectly associating logical and physical display content |
| KR102001659B1 (ko) * | 2012-11-19 | 2019-07-19 | 한국전자통신연구원 | 차량용 카메라 캘리브레이션 장치 및 방법 |
| JP6255928B2 (ja) * | 2013-11-15 | 2018-01-10 | スズキ株式会社 | 俯瞰画像生成装置 |
| KR102175961B1 (ko) * | 2013-11-29 | 2020-11-09 | 현대모비스 주식회사 | 차량 후방 주차 가이드 장치 |
| JP6464579B2 (ja) * | 2014-06-17 | 2019-02-06 | スズキ株式会社 | 俯瞰画像生成装置 |
| KR101592740B1 (ko) * | 2014-07-24 | 2016-02-15 | 현대자동차주식회사 | 차량용 광각카메라의 영상 왜곡 보정 장치 및 방법 |
| EP3193305B1 (en) * | 2016-01-12 | 2018-09-12 | Continental Automotive GmbH | Method and device for displaying a front-view of a vehicle's surrounding and respective vehicle |
| DE102016211227A1 (de) | 2016-06-23 | 2017-12-28 | Conti Temic Microelectronic Gmbh | Verfahren und Fahrzeugsteuersystem zum Erzeugen von Abbildungen eines Umfeldmodells und entsprechendes Fahrzeug |
| RU2638510C1 (ru) * | 2016-12-01 | 2017-12-13 | Федеральное казенное предприятие "Научно-исследовательский институт "Геодезия" (ФКП "НИИ "Геодезия") | Способ формирования атмосферной проекционной мишени для обучения боевой стрельбе и устройство для его осуществления |
| DE102016225066A1 (de) * | 2016-12-15 | 2018-06-21 | Conti Temic Microelectronic Gmbh | Rundumsichtsystem für ein Fahrzeug |
| GB2566279B (en) * | 2017-09-06 | 2021-12-22 | Fovo Tech Limited | A method for generating and modifying images of a 3D scene |
| JP6958163B2 (ja) * | 2017-09-20 | 2021-11-02 | 株式会社アイシン | 表示制御装置 |
| DE102018203590A1 (de) | 2018-03-09 | 2019-09-12 | Conti Temic Microelectronic Gmbh | Surroundview-System mit angepasster Projektionsfläche |
| CN108447091B (zh) * | 2018-03-27 | 2022-09-06 | 北京颂泽科技有限公司 | 目标定位方法、装置、电子设备及存储介质 |
| JP2020135206A (ja) * | 2019-02-15 | 2020-08-31 | パナソニックＩｐマネジメント株式会社 | 画像処理装置、車載用カメラシステム及び画像処理方法 |
| JP7442029B2 (ja) * | 2019-10-17 | 2024-03-04 | 株式会社東海理化電機製作所 | 画像処理装置、画像処理プログラム |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH03286306A (ja) | 1990-04-03 | 1991-12-17 | Mitsubishi Electric Corp | 数値制御装置 |
| EP2309453A3 (en) | 1998-07-31 | 2012-09-26 | Panasonic Corporation | Image displaying apparatus and image displaying method |
| CN100438623C (zh) * | 1999-04-16 | 2008-11-26 | 松下电器产业株式会社 | 图象处理装置及监视系统 |
| JP4629839B2 (ja) * | 2000-09-07 | 2011-02-09 | クラリオン株式会社 | 画像変換装置 |
| JP2002127852A (ja) * | 2000-10-27 | 2002-05-09 | Aisin Seiki Co Ltd | 車両周辺表示装置 |
| JP4457690B2 (ja) | 2004-02-18 | 2010-04-28 | 日産自動車株式会社 | 運転支援装置 |
| JP2005311666A (ja) * | 2004-04-21 | 2005-11-04 | Auto Network Gijutsu Kenkyusho:Kk | 車両周辺視認装置 |
| JP2005311868A (ja) * | 2004-04-23 | 2005-11-04 | Auto Network Gijutsu Kenkyusho:Kk | 車両周辺視認装置 |
-
2006
- 2006-09-26 JP JP2006260424A patent/JP4642723B2/ja not_active Expired - Fee Related
-
2007
- 2007-09-26 US US11/902,952 patent/US8259173B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2008085446A (ja) | 2008-04-10 |
| US20080136912A1 (en) | 2008-06-12 |
| US8259173B2 (en) | 2012-09-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4642723B2 (ja) | 画像生成装置および画像生成方法 | |
| JP4257356B2 (ja) | 画像生成装置および画像生成方法 | |
| JP2883265B2 (ja) | 画像処理装置 | |
| JP4596978B2 (ja) | 運転支援システム | |
| US7570280B2 (en) | Image providing method and device | |
| JP5320970B2 (ja) | 車両用表示装置および表示方法 | |
| KR101339121B1 (ko) | 다중 룩업 테이블을 이용한 차량 어라운드 뷰 영상 생성장치 | |
| JP2012147149A (ja) | 画像生成装置 | |
| JP4927512B2 (ja) | 画像生成装置 | |
| WO2014034364A1 (ja) | 画像生成装置、画像表示システム、パラメータ取得装置、画像生成方法、およびパラメータ取得方法 | |
| JP2011182236A (ja) | カメラキャリブレーション装置 | |
| JP2007109166A (ja) | 運転支援システム | |
| WO2011129275A1 (ja) | 処理対象画像生成装置、処理対象画像生成方法、及び操作支援システム | |
| JP2016535377A (ja) | 車両の周辺部を表示するための方法と装置、並びに、ドライバー・アシスタント・システム | |
| WO2011129274A1 (ja) | 画像生成装置及び操作支援システム | |
| CN110651295B (zh) | 图像处理设备、图像处理方法和程序 | |
| JP2008149878A (ja) | 運転支援装置 | |
| JP2006515128A (ja) | 立体パノラマ画像取り込み装置 | |
| KR20130018869A (ko) | 화상생성장치 및 조작지원 시스템 | |
| JP3032414B2 (ja) | 画像処理方法および画像処理装置 | |
| KR102235951B1 (ko) | 차량용 영상 생성 장치 및 방법 | |
| JP2006119843A (ja) | 画像生成方法およびその装置 | |
| JP2019029721A (ja) | 画像処理装置、画像処理方法およびプログラム | |
| JP2017199958A (ja) | 撮像装置、その制御方法、および制御プログラム | |
| JP3054312B2 (ja) | 画像処理装置及び方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20071130 |
|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20080422 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20080422 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080811 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080819 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20081009 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20081104 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20081225 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20101201 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 4642723 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131210 Year of fee payment: 3 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313117 |
|
| R360 | Written notification for declining of transfer of rights |
Free format text: JAPANESE INTERMEDIATE CODE: R360 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R370 | Written measure of declining of transfer procedure |
Free format text: JAPANESE INTERMEDIATE CODE: R370 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313117 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |