WO2020136929A1 - 画像処理装置及び画像処理方法 - Google Patents

画像処理装置及び画像処理方法 Download PDF

Info

Publication number
WO2020136929A1
WO2020136929A1 PCT/JP2019/012707 JP2019012707W WO2020136929A1 WO 2020136929 A1 WO2020136929 A1 WO 2020136929A1 JP 2019012707 W JP2019012707 W JP 2019012707W WO 2020136929 A1 WO2020136929 A1 WO 2020136929A1
Authority
WO
WIPO (PCT)
Prior art keywords
projection
information
image processing
control unit
image
Prior art date
Application number
PCT/JP2019/012707
Other languages
English (en)
French (fr)
Inventor
保幸 神宮
Original Assignee
クラリオン株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by クラリオン株式会社 filed Critical クラリオン株式会社
Priority to US17/416,482 priority Critical patent/US11736672B2/en
Publication of WO2020136929A1 publication Critical patent/WO2020136929A1/ja

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/111Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/31Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles providing stereoscopic vision
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/10Geometric effects
    • G06T15/20Perspective computation
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/363Graphics controllers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/111Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H04N13/117Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/243Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/398Synchronisation thereof; Control thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2380/00Specific applications
    • G09G2380/10Automotive applications

Definitions

  • Patent Document 1 two virtual cameras are set, one is used for selecting a 3D model and the other is used for displaying. At this time, the visual field range of the virtual camera for 3D model selection is set larger than the visual field range of the virtual camera for display.
  • the visual field range of the selection virtual camera is used, and a range that will be displayed in the future (a new range to be displayed) is also drawn. Next, the display range is cut out by the display virtual camera and displayed on the display unit.
  • FIG. 6 is a diagram for explaining an example of an identification number calculation process executed in the image processing apparatus according to the embodiment. It is a figure which shows the example of 1 display of the image on the monitor of a navigation apparatus.
  • FIG. 9 is a diagram for explaining a modified example of the identification number calculation process executed in the image processing apparatus according to the embodiment.
  • the projection plane identification number calculation unit 112 determines the division projection plane 201 based on the position coordinates, the line-of-sight direction, and the viewing angle ⁇ of the virtual camera P acquired in step S1.
  • the identification numbers of all the divided projection planes 201 that constitute the projection destination (projection area) of the stereoscopic image are calculated from the assigned identification information (the strip number).
  • the projection area can be calculated based on the line-of-sight direction and the viewing angle.
  • the drawing controller When the virtual camera P is moved from one virtual viewpoint (virtual viewpoint 1) to another virtual viewpoint (virtual viewpoint 2) above the data structure of the projection plane vertex data storage area 121 of FIG. 6B, the drawing controller The range of the coordinate data sent to the coordinate conversion processing unit 115 by 113 is indicated by an arrow.
  • the coordinate data of the vertices 202 of the predetermined number of divided projection planes 201 is transmitted from the identification number 0.
  • the coordinate data of the predetermined number of vertices 202 of the divided projection plane 201 is transmitted from the identification number 1 which is shifted by 1 degree.
  • the projection surface 200 is divided into a plurality of pieces, and further, coordinate information of only the divided projection surface 201 corresponding to the projection area that is the projection destination from the virtual viewpoint is acquired from the storage unit 120. Coordinate conversion processing is being performed. Therefore, the load on the display control unit 114 including the GPU can be significantly reduced, and the load on the entire image processing can be reduced. As a result, even if the virtual viewpoint is changed, the stereoscopic image corresponding to the virtual viewpoint can be quickly and accurately presented.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Computer Hardware Design (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

画像処理の負荷を低減できる画像処理装置及び画像処理方法を提供する。 画像処理装置(100)を、制御部(110)と記憶部(120)から構成する。記憶部(120)には、投影面を所定角度で複数に分割した分割投影面の各頂点の座標情報及び識別番号が紐付けられた投影面頂点情報、並びに座標変換情報が格納されている。制御部(110)は、仮想視点からの立体視画像の投影先となる投影領域を構成するすべての分割投影面を特定し、特定した分割投影面の識別番号を取得し、取得した識別情報に基づいて頂点の座標情報を記憶部(120)から取得する情報制御部としての仮想カメラ情報取得部(111)、投影面識別番号算出部(112)及び描画制御部(113)と、分割投影面の各頂点の座標情報を座標変換し、撮像部から出力される画像信号に基づいて立体視画像を生成する表示制御部(114)とを備える。

Description

画像処理装置及び画像処理方法
 本発明は、車両の周囲の路面を撮像する撮像装置から出力される画像信号に基づいて、所定の仮想視点からの立体視画像を生成する画像処理装置及び画像処理方法に関するものである。
 車両に取り付けた複数のカメラで撮影された映像を合成して、車両周辺の俯瞰映像や立体視映像を生成し、モニターに表示する技術は公知である。このような合成映像を表現する言葉として、「3Dビュー」と呼ばれる表現がある。この3Dビューは、投影面として3D座標を用いることで、車両とその周辺映像を立体的に表現する技術である。
 また、3Dビューを利用した従来技術として、コンピュータグラフィクスにより作り出された仮想世界を、ユーザがリアルタイムでウォークスルー、ドライブスルー、あるいはフライスルーすることのできる、リアルタイムのシミュレーション映像を生成する模擬映像生成装置が開示されている(例えば特許文献1参照)。
 特許文献1に開示されたでは、仮想カメラを2つ設定して、1つを3Dモデル選定用、もう1つを表示用に使用している。このとき3Dモデル選定用の仮想カメラの視野範囲を、表示用の仮想カメラの視野範囲よりも大きくとっている。特許文献1に開示された技術では、まず、選定用仮想カメラの視野範囲を使い、将来表示されるであろう範囲(新たな表示すべき範囲)も含めて描画している。次に、表示用仮想カメラで表示範囲を切り出して表示部に表示している。
特開2012-033038号公報
 しかしながら、上記特許文献1に開示された技術では、選定用の仮想カメラが別途必要であり、かつ描画範囲を大きめにとる必要があるため、描画に用いる3Dモデルデータは、表示範囲よりも大きな範囲で選定する必要がある。その結果、演算処理が複雑で処理時間も膨大となり、記憶容量も増大するため、GPU(Graphics Processing Unit)等のプロセッサに過大な負荷がかかっていた。
 本発明は、上記の事情に鑑みてなされたもので、画像処理の負荷を低減することが可能な画像処理装置及び画像処理方法を提供することを目的とする。
 本発明の画像処理装置は、上述した目的を達成するため、車両の周囲を撮像する撮像部から出力される画像信号に基づいて、所定の仮想視点から所定の投影面に投影した立体視画像を生成する画像処理装置であって、前記投影面を、所定角度で複数に分割した分割投影面の各頂点の座標情報及び前記分割投影面に付与された識別情報が紐付けられた投影面頂点情報、並びに前記座標情報の座標変換情報が格納されている記憶部と、前記仮想視点からの前記立体視画像の投影先となる投影領域を構成するすべての前記分割投影面を特定し、特定した前記分割投影面の前記識別情報を取得し、取得した前記識別情報に基づいて前記頂点の前記座標情報を前記記憶部から取得する情報制御部と、前記情報制御部で取得した前記分割投影面の各頂点の前記座標情報を前記記憶部の前記座標変換情報に基づいて座標変換し、座標変換後の前記座標情報及び前記撮像部から出力される前記画像信号に基づいて前記立体視画像を生成する表示制御部と、を備えたことを特徴とする。
 本発明によれば、任意の仮想視点から立体視画像を投影する投影面を複数に分割し、仮想視点からの投影先である投影領域に対応する分割投影面のみの座標情報を記憶部から取得して座標変換処理を行っている。そのため、座標変換処理及び変換後の座標情報に基づく立体視画像の生成を、より少ない情報の容量で、簡易かつ高速に実行できる。したがって、画像処理の負荷を低減することが可能となる。
本発明の実施の形態である画像処理装置が適用される運転支援装置の概略構成を示すブロック図である。 実施の形態である運転支援装置の撮像装置の配置位置の一例を示す図である。 実施の形態である画像処理装置の概略構成を示す機能ブロック図である。 実施の形態である画像処理装置で用いられる半球型(お椀型)の投影面のイメージを示す図である。 複数の分割投影面(短冊)に分割された投影面と、分割投影面の頂点を示す概略図である。 記憶部の投影面頂点データ格納領域に格納される分割投影面の各頂点の座標データを説明するための図であって、複数の頂点を有する分割投影面(短冊)の概略図を示す。 記憶部の投影面頂点データ格納領域に格納される分割投影面の各頂点の座標データを説明するための図であって、投影面頂点データ格納領域のデータ構造を示す。 実施の形態である画像処理装置の動作の一例を説明するためのフローチャートであり、画像処理の全体の流れを示すフローチャートである。 投影面識別番号算出処理の一実施例の流れを示すフローチャートである。 投影面識別番号算出処理の変形例の流れを示すフローチャートである。 実施の形態である画像処理装置において実行される識別番号算出処理の一実施例を説明するための図である。 ナビゲーション装置のモニターへの画像の一表示例を示す図である。 実施の形態である画像処理装置において実行される識別番号算出処理の変形例を説明するための図である。
(運転支援装置の概略構成)
 以下、この発明の実施の形態を図面に基づいて説明する。図1は、本発明の実施の形態である画像処理装置及び画像処理方法が適用される運転支援装置の概略構成を示すブロック図、図2は実施の形態である運転支援装置の撮像装置の配置位置の一例を示す図である。
 図1に示すように、運転支援装置1は、車両V(図2参照)に搭載され、運転支援動作を行う。具体的には、運転支援装置1は、この車両Vの周囲を撮像した画像に基づいて所定の仮想視点からの立体視画像(3Dビュー画像)を生成し、この立体視画像をドライバに提示することで、車両Vの運転の支援を行う。
 車両Vの前後左右には、図2に示すように複数の小型カメラ(撮像装置)が備えられている。具体的には、車両Vのフロントバンパまたはフロントグリルには、車両Vの前方に向けて前方カメラ20aが装着されている。車両Vのリアバンパまたはリアガーニッシュには、車両Vの後方に向けて後方カメラ20bが装着されている。車両Vの左ドアミラーには、車両Vの左側方に向けて左側方カメラ20cが装着されている。車両Vの右ドアミラーには、車両Vの右側方に向けて右側方カメラ20dが装着されている。
 前方カメラ20a、後方カメラ20b、左側方カメラ20c、右側方カメラ20dには、それぞれ、広範囲を観測可能な広角レンズや魚眼レンズが装着されており、4台のカメラ20a~20dで車両Vの周囲の路面を含む領域を漏れなく観測できるようになっている。これらカメラ20a~20dにより、車両Vの周囲の路面を撮像する撮像装置が構成されている。なお、以下の説明において、個々のカメラ(撮像装置)20a~20dを区別せずに説明する場合は単にカメラ20として説明する。
 図1に戻って、運転支援装置1は、前方カメラ20a、後方カメラ20b、左側方カメラ20c、右側方カメラ20dと、カメラECU21と、ナビゲーション装置30と、車輪速センサ33と、操舵角センサ34とを有する。
 カメラECU21は、カメラ20を制御するとともに、カメラ20が検知した情報を用いて、立体視画像の生成処理(座標変換処理)等を行う。
 ナビゲーション装置(表示装置)30は画像表示機能を有するモニター31と、ユーザが入力操作する操作部32と、を有する。ナビゲーション装置30は、経路案内用の地図データ等が格納された記憶部を有する。ナビゲーション装置30は、この地図データ等及び図略のGPS装置等により検出された車両Vの現在位置に基づいて、ナビゲーション装置30の操作者が設定した目標地点までの経路案内を行う。
 経路案内動作中の各種画像はモニター31に表示される。このモニター31は、画像等が表示される表示面に、タッチパネル式の操作部が重畳されたタッチパネルディスプレイからなる。操作部32は、モニター31のタッチパネル、モニター31の周囲に設けられたジョイスティックや各種操作ボタン等から構成される。ドライバ等のユーザは、操作部32の操作によって、ナビゲーション装置30を通じて運転支援装置1の各部に所定の指示を与える。また、操作部32は、ユーザの操作入力を受けて、画像処理装置100へ送出するための仮想カメラ情報(仮想視点情報)を生成する。よって、操作部32は、画像処理装置100への仮想カメラ情報の入力部として機能する。仮想カメラ情報の詳細は後述する。
 車輪速センサ33は、車両Vの車輪速を検知するセンサである。車輪速センサ33で検知された検知情報(車輪速)は、車両制御ECU40に入力される。
 操舵角センサ34は、車両Vのステアリングの操舵角を検知する。車両Vが直進状態で走行するときの操舵角を中立位置(0度)とし、その中立位置からの回転角度を操舵角として送出する。操舵角センサ34で検知された検知情報(操舵角)は、車両制御ECU40に入力される。
 さらに、運転支援装置1は、車両制御ECU40と、ステアリング制御ユニット50と、スロットル制御ユニット60と、ブレーキ制御ユニット70とを有する。
 車両制御ECU40は、CPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)等から構成されたマイコンを主体として構成される。車両制御ECU40は、カメラECU21、車輪速センサ33及び操舵角センサ34から入力された各検知情報に基づいて、パワステアクチュエータ51、スロットルアクチュエータ61及びブレーキアクチュエータ71を駆動制御し、車両Vの運転を支援する各種処理を実行する。
 具体的には、例えば図略の自動駐車開始スイッチをドライバがオン操作して運転支援装置1を作動させると、車両制御ECU40は、カメラECU21が検出した駐車枠に車両Vを自動で駐車させる自動駐車処理などを実行する。
 ステアリング制御ユニット50は、車両制御ECU40で決定した車両制御情報に基づいて、パワステアクチュエータ51を駆動して、車両Vの操舵角を制御する。
 スロットル制御ユニット60は、車両制御ECU40で決定した車両制御情報に基づいて、スロットルアクチュエータ61を駆動して、車両Vのスロットルを制御する。
 ブレーキ制御ユニット70は、車両制御ECU40で決定した車両制御情報に基づいて、ブレーキアクチュエータ71を駆動して、車両Vのブレーキを制御する。
 なお、カメラECU21、車輪速センサ33及び操舵角センサ34と、車両制御ECU40との間は、車内LAN(Local Area Network)であるセンサ情報CAN(登録商標)(Controller Area Network)80によって接続される。
 また、ステアリング制御ユニット50、スロットル制御ユニット60及びブレーキ制御ユニット70と、車両制御ECU40との間は、車内LANである車両情報CAN(登録商標)81によって接続される。
 以上の構成を有する運転支援装置1において、本実施の形態の画像処理方法を実行する画像処理装置100は、カメラECU21により主に構成されている。以下、画像処理装置100の機能構成について詳細に説明する。
(画像処理装置の機能構成)
 図3は、本実施の形態である画像処理装置100の概略構成を示す機能ブロック図である。この図3に示すように、本実施の形態である画像処理装置100は、制御部110及び記憶部120を有する。
 主にカメラECU21から構成される制御部110は、画像処理装置100全体の制御を行う。制御部110はCPU、FPGA、GPU(Graphics Processing Unit、描画ユニット)などのプログラマブルロジックデバイス、ASIC等の集積回路に代表される演算素子を有する。本実施の形態では、3Dグラフィック画像処理を高速に行うべく、制御部110は、画像処理に特化したGPU、高速演算可能な演算素子(例えばFPGA)などを有することが好ましい。
 画像処理装置100の記憶部120は、投影面頂点データ格納領域121を有する。この投影面頂点データ格納領域121には、後述する分割投影面201の各頂点202の座標データと、分割投影面201に付与された識別番号とが紐付けられた投影面頂点データが格納されている。また、記憶部120には、座標変換処理に用いられる座標変換情報等、画像処理に用いられる各種情報、パラメータ等が格納されている。
 さらに、記憶部120には、制御用プログラム(画像処理プログラム)が格納されている。この制御用プログラムが画像処理装置100の起動時に制御部110により実行されることで、画像処理装置100は図3に示すような機能構成を備えたものとなる。
 すなわち、制御部110は、仮想カメラ情報取得部111、投影面識別番号算出部112、描画制御部113及び表示制御部114を有する。仮想カメラ情報取得部111、投影面識別番号算出部112及び描画制御部113は、情報制御部として機能する。表示制御部114は、座標変換処理部115及び表示画像合成部116を有する。表示制御部114は、GPUから構成される。
 本実施の形態である画像処理装置100では、3D画像を投影する3Dモデル(空間モデル)として、図4に示すように、車両モデルV’を中心に半球状に延在する半球型(お椀型)の投影面200を想定している。この半球型の投影面200では、半球の中心を天頂とし、この天頂を通る鉛直方向をY軸とし、このY軸に直交する一つの軸をX軸とし、X軸及びY軸に直交する軸をZ軸としている(図4、図5、図8等参照)。
 仮想カメラ情報取得部111は、入力部としての操作部32から仮想カメラ情報を取得する。また、仮想カメラ情報取得部111は、取得した仮想カメラ情報を、投影面識別番号算出部112に送出する。仮想カメラ情報は、所定の仮想視点に仮想的に設置された仮想カメラPに関する情報である。
 本実施の形態で用いる仮想カメラ情報としては、仮想カメラPの3Dモデル上での位置座標(X座標,Y座標,Z座標)、仮想カメラPの視線方向(表示方向)、視野角等が挙げられる。視線方向は、カメラ20の位置及び角度(ロール角、ピッチ角、ヨー角)から算出した方角のベクトル、または仮想カメラPの位置と、仮想カメラPの注視点から求めるベクトルとして設定される。なお、角度、或いは注視点は、操作部32の操作方向や操作量から求められる。ここでいう仮想カメラPの注視点とは、ユーザが見たい場所を示す座標である。
 仮想カメラ(仮想視点)Pは、半球型の投影面200の3次元空間の任意の位置に設定できる。ユーザは、操作部32を操作することで、モニター31に立体視画像を表示する際の所望の仮想カメラP(仮想視点)の位置と、所望の視線方向(表示方向)を設定できる。具体的には、例えば、ユーザが操作部32のタッチパネルを上下左右方向に操作(タッチ、ドラッグ、スワイプ又はフリック)したり、ジョイスティック等を操作したりすることで、仮想視点の位置を指定したり、所望の視線方向を選択したりできる。このユーザによる操作を操作部32が取得し、仮想カメラ情報を生成して仮想カメラ情報取得部11に送出する。
 投影面識別番号算出部112は、仮想カメラ情報取得部111からの仮想カメラ情報に基づいて、半球型の投影面200を所定角度ごとに分割した分割投影面201のうち、立体視画像の投影先となる投影面200を構成するすべての分割投影面201を特定し、特定された分割投影面201に付与された識別情報を算出する。投影面識別番号算出部112は、算出した識別番号を描画制御部113に送出する。
 投影面200は、図5、図6Aに示すように、所定角度ごとに縦方向に分割した複数の微細な3Dモデル、すなわち分割投影面201を有する。この分割投影面201は、短冊形を呈している(図6A参照)。そのため、以下では分割投影面201を「短冊201」と呼ぶことがあり、図6Aには「短冊201」と表している。
 図5、図6Aに示す例では、投影面200をY軸回り(水平方向)に1度ごとに分割し、360個の分割投影面(短冊)201を設けている。このような投影面200では、仮想カメラPの視線方向をY軸回りに1度ずつ移動させて、その視線方向に対応した立体視画像を生成することができる。
 各分割投影面201には、予め識別情報としての識別番号(短冊番号)が付与されている。図5等の例では、各分割投影面201に、X軸からの角度と同一の番号が付与されている。具体的には、X軸に対する角度0度の分割投影面201の識別番号は、0番(#0、短冊201-0)、X軸に対する角度1度の分割投影面201の識別番号を1番(#1、短冊201-1)とする。同様にしてすべての分割投影面201に識別番号を付与してゆき、X軸に対する角度359度の分割投影面201の識別番号を359番(#359、短冊201-305)とする。
 このように、角度と分割投影面201の識別番号とを一致させておくことが、記憶部120のアクセス速度の向上や紐付けのし易さ等の観点から望ましい。なお、本実施の形態では、投影面200を1度ずつ360個の分割投影面201に分割し、0番から359番まで識別番号を付与しているが、これに限定されるものではない。他の異なる実施の形態として、例えば投影面200を0.5度ずつ、より細かく分割し、0度に0番、0.5度に1番、1度に2番、1.5度に3番、・・・のように識別番号を付してもよいし、投影面200を5度ずつ、より大きい角度で分割し、0度に0番、5度に1番、10度に2番、15度に3番、・・・のように識別番号を付してもよい。
 分割投影面201は、複数の頂点202,202・・・を有している(図5、図6A等参照)。これら複数の頂点202の座標(X座標、Y座標、Z座標)のデータ(投影面頂点データ)は、記憶部120の投影面頂点データ格納領域121に格納される。この投影面頂点データ格納領域121には、図6Bに示すように、識別番号0番の短冊201-0のすべての頂点202の座標データが順番に格納され、その次に識別番号1番の短冊201-1のすべての頂点202の座標データが順番に格納されるといったように、識別番号0番の短冊201-0から259番の短冊201-59までの各頂点202の座標が直列的に連続して格納されている。
 描画制御部113は、投影面識別番号算出部112から入力される識別番号に基づいて、記憶部120の投影面頂点データ格納領域121から識別番号に対応する分割投影面201の頂点座標202の座標データを取得し、GPU設定値とともに表示制御部114に送出する。
 より詳細には、描画制御部113は、投影面頂点データ格納領域121において、算出された識別番号ごとに、対応する分割投影面201の頂点202の座標データが格納された先頭アドレスと頂点202の個数を表示制御部114(GPU)に送出する。
 ここで、GPUに投影面の頂点の座標データを送信する従来の手法として、投影面のすべての頂点の座標データをGPUに一括送信する手法がある。しかし、この手法では仮想カメラPの視野に無関係にすべての座標データをGPUに送信するため、GPUの負荷が膨大で、かつ視野とは関係ない無駄な頂点の座標データが存在することとなる。
 これに対して、本実施の形態では、投影面200を複数に分割し、さらに、仮想カメラPの投影先に対応する分割投影面201のみの座標データを表示制御部114(GPU)に送信している。これにより、GPUの負荷を削減して、より高速な演算処理が可能となる。
 表示制御部114の座標変換処理部115は、描画制御部113から入力された識別番号ごとの先頭アドレス及び頂点202の個数に基づいて、各識別番号に対する頂点202の座標データを、投影面頂点データ格納領域121から取得する。そして、座標変換処理部115は、取得した座標データに対して座標変換処理を行う。座標変換処理部115では、予め各分割投影面201の頂点202の座標データと、座標変換情報(変換式を含む)とが、テーブル等によって対応付けられている。
 表示画像合成部116は、座標変換処理部115で座標変換された座標データと、カメラ20からの画像信号(撮像画像)を取得し、これらに基づいてモニター31に表示するための立体視画像を合成する。表示画像合成部116は、この立体視画像を表示させるための表示制御信号をナビゲーション装置30(モニター31)に送出する。
(画像処理装置の動作)
 次に、本実施の形態である画像処理装置100の動作の一例(画像処理方法)を、図7A~図7Cのフローチャート及び図8~図10の説明図を参照して説明する。
 図7Aは画像処理装置100の全体動作を説明するためのフローチャートである。図7Aのフローチャートに示す動作は、ドライバがモニター31のタッチパネル等の操作部32を操作して、立体視画像の表示開始の指示入力を行うことにより開始する。
 ステップS1の仮想カメラ情報取得処理では、画像処理装置100の制御部110の仮想カメラ情報取得部111が、ナビゲーション装置30の操作部32から、仮想カメラ情報を取得する。仮想カメラ情報は、仮想カメラ(仮想視点)Pの位置座標、視線方向及び視野角である。
 視野角は、使用するカメラ20によって予め決まっている。図8では、視野角はθで表されている。これに対して、仮想カメラPの位置座標及び視線方向(図8に矢印で示す方向)は、前述したように、ユーザが操作部32を操作することで任意に設定できる。処理開始後であってユーザによる操作部32の操作前では、仮想カメラPの位置座標の初期値として、予め決められた座標データ、例えば、車両Vの真上の所定高さの位置座標、つまりY軸上の所定の位置座標(0,Y,0)が設定される。なお、Y座標も固定で決められていてもよい。視線方向は、初期値として、例えばX軸に沿った方向が設定される。
 次に、ステップS2の投影面識別番号算出処理では、ステップS1で取得した仮想カメラPの位置座標、視線方向及び視野角θに基づいて、投影面識別番号算出部112が、分割投影面201に付与した識別情報(短冊番号)のうち、立体視画像の投影先(投影領域)を構成するすべての分割投影面201の識別番号を算出する。投影領域は、視線方向と視野角に基づいて算出できる。
 この投影面識別番号算出部112による識別番号の算出手順の一実施例を、図7B及び図8を参照して説明する。図8は、投影面200の天頂から見下ろした平面図であり、仮想カメラPは、Y軸上の固定の位置「(0,Y,0)」に位置している。
 図7Bに示すように、ステップS21で、仮想カメラ情報の視線方向(表示方向)に基づき、X軸(基準方向)に対する視線方向の角度φを算出する(図8参照)。次に、ステップS22で、ステップS21で算出された角度φと、ステップS1で取得した視野角θから、下記式(1)、(2)を用いて、視野のX軸に対する最小角αと最大角βを求める
 α=φ - θ/2     (1)
 β=φ + θ/2     (2)
 次のステップS23では、下記式(3)を用いて、描画対象の短冊領域N(仮想カメラPからの投影領域に対応する分割投影面201を包含する領域)を算出する。すなわち、ステップS22で式(1)、(2)を用いて算出した最小角αと最大角βとを式(3)により整数化(四捨五入)し、この整数化された最小角と最大角の間を短冊領域Nとする。このとき、図8に示すように、Nに所定のマージンM(調整値)を加算して(N+マージンM)、Nの値を調整してもよい。下記式(3)中、int()は小数点以下を四捨五入して、整数を算出する関数であり、Mはマージン(調整値)を示す。
 N=int(φ) ± [int(θ/2) + M]   (3)
 ステップS24では、上記式(3)によって算出した短冊領域Nに基づき、立体視画像を描画すべき分割投影面201の識別番号を取得する。すなわち、短冊領域Nに含まれる角度を、識別番号として取得する。
 以下、識別番号の算出手順の具体例1、2、3を挙げる。
 具体例1:φ=45.0(度)、θ=90.0(度),M=0としたとき、
 N = 45 ± 45 = 0,90
 よって、識別番号として、0番~90番が取得される。
 具体例2:φ=0.0(度)、θ=180.0(度)、M=0としたとき、
 N = 0 ± 90 = -90,90
 よって、識別番号として、-90度~90度の範囲、つまり0番~90番と、270番~359番が取得される。
 具体例3:φ=1.5(度)、θ=180.0(度). M=1としたとき、
 N = 1 ± 90 = -90,92
 よって、識別番号として、-90度~92度の範囲、つまり0番~92番と、270番~359番が取得される。
 図7Aに戻って、ステップS3の描画制御処理では、描画制御部113が、上記ステップS2で算出されたすべての識別番号に対応する分割投影面201について、頂点202の座標データ(ここでは各分割投影面201の座標データの格納領域の先頭アドレス)を、記憶部120の投影面頂点データ格納領域121から取得する。描画制御部113は、取得した各分割投影面201の座標データ(先頭アドレス)と、その頂点202の個数を、GPU設定値とともに表示制御部114(GPU)の座標変換処理部115に送出する。
 GPU設定値としては、具体的には、例えば、下記が挙げられる。
[行列]:主に座標変換に使用
 ・回転行列、拡大/縮小行列、平行移動行列
[描画条件]
 ・透過率設定、ライトの設定(光の強さ、方向など)、物体の質感情報
 ステップS4の座標変換処理では、座標変換処理部115が、描画制御部113から入力される座標データ(各識別番号の座標データの先頭アドレス及び頂点202の個数に基づいて投影面頂点データ格納領域121から取得した座標データ)に対して、GPU設定値に基づいて、座標変換処理を行う。
 GPUから構成される表示制御部114は、3Dビューの描画においては、上記回転行列、拡大/縮小行列、平行移動行列の3つの行列を組み合わせて、以下のような意味を持つ行列を算出して使用する。そこで、表示制御部114の座標変換処理部115は、これらの行列に各頂点202の座標データを掛け合せることで、座標変換を行う。
 ・モデル変換行列(モデルそのものの移動、回転、拡大縮小を担う変換行列)
 ・ビュー変換行列(カメラ位置を原点とするように座標を変換する行列)
 ・投影変換行列(遠近感を出す変換行列)
 最後に、ステップS5の表示画像合成処理で、表示画像合成部116が、座標変換処理部115によって変換された座標データと、車両Vの周囲を撮影するカメラ20から取得した画像信号(撮像画像データ)に基づいて、モニター31に表示するための立体視画像を合成する。立体視画像の合成を行う際には、例えばテクスチャマッピング等の公知の手法を用いて行える。そして、表示画像合成部116は、生成した立体視画像を表示させるための表示制御信号を、ナビゲーション装置30に送出する。
 このとき、モニター31に立体視画像と並べて、例えば車両Vを真下に見下ろした画像を表示すべく、表示画像合成部116は、各カメラ20の画像信号に基づいて俯瞰画像を合成し、この俯瞰画像を表示させるための表示制御信号も併せてナビゲーション装置30に送出してもよい。
 以上により、画像処理装置100による画像処理が完了する。ナビゲーション装置30は、画像処理装置100から入力される表示制御信号に基づき、モニター31に画像を表示する。図9に、モニター31への画像の一表示例を示す。この図9に示す例では、モニター31の表示面に、画像処理装置100によって生成された立体視画像31aと、俯瞰画像31bが並べて表示されている。ユーザは、立体視画像31a等を視認することで、例えば、駐車時の死角の確認等を行いつつ、駐車を行うことができる。すなわち、立体視画像31aによって運転支援が行われる。
 そして、このモニター31に表示された立体視画像31a上で、ユーザがタッチパネルを操作して、仮想カメラPのY軸方向の位置又は視線方向を変更すると、操作部32がこの操作を受付けて、変更された仮想カメラ情報を画像処理装置100に送出する。この仮想カメラ情報の入力を受けて、画像処理装置100は、図7AのステップS1~S5の処理を繰り返すことで、変更された仮想カメラ情報に基づいた立体視画像を生成し、その表示制御信号をナビゲーション装置30のへ送出する。これにより、ユーザは、所定の仮想カメラPから、ユーザが変更指示した所望の視線方向に更新された立体視画像を視認することができる。
 図6Bの投影面頂点データ格納領域121のデータ構造の上方に、仮想カメラPが、ある仮想視点(仮想視点1)から他の仮想視点(仮想視点2)へ移動されたときに、描画制御部113によって座標変換処理部115に送出される座標データの範囲を、矢印で示した。この例によれば、仮想視点1の場合は、識別番号0から所定数の分割投影面201の頂点202の座標データが送出される。そして、操作部32からの入力操作によって、仮想視点が仮想視点2に移動したときは、1度分ずれた識別番号1から所定数の分割投影面201の頂点202の座標データが送出される。
(変形例)
 次に、投影面識別番号算出部112による識別番号の算出手順の変形例(ステップS2’)について、図7Cのフローチャート及び図10の図を参照しながら説明する。上記では、図8を用いて、仮想カメラPの位置座標が「(0,Y,0)」でY軸上にあり、視線方向が任意の場合の識別番号の算出手順について説明している。これに対して、当該変形例では、ユーザの操作部32の操作により、仮想カメラPのX軸、Y軸及びZ軸方向の位置と視線方向とが任意に指定できるようになっている。このような場合の識別番号の算出手順について説明する。
 投影面識別番号算出部112には、仮想カメラ情報取得部111で取得された仮想カメラPの位置座標(X,Y,Z)と、視線方向と、視野角θとが入力される。
 図7Cに示すように、ステップS121では、投影面識別番号算出部112は、仮想カメラPの位置座標(X,Y,Z)と、視野角θに基づいて、投影面200と仮想カメラPの視野との交点A,B(図10参照)の座標データを算出する。
 次に、ステップS122で、投影面識別番号算出部112は、ステップS121で算出された交点A,Bの座標データに基づいて、下記式(4)、(5)を用いて、原点に設置された基準仮想カメラP’(基準仮想視点)における視野角θ’を算出する。下記式(4)、(5)中、rは半球型の投影面200の半径を、ABは交点Aと交点Bとの距離を示す。
 r+r-2rcosθ’ = |AB|     (4)
 θ’=arccos(1-|AB|/2r)    (5)
 次に、ステップS123において、投影面識別番号算出部112は、ステップS121で算出された交点A及び交点Bの座標データに基づいて、その中点Cの座標データを算出する。次のステップS124において、ステップS123で算出された中点Cの座標データと、基準仮想カメラP’(原点)の座標データとに基づいて、基準仮想カメラP’からの視線方向を算出する。この視線方向に基づいて、X軸に対する視線方向の角度φを算出する。
 次いで、投影面識別番号算出部112は、ステップS125において、ステップS124で算出された基準仮想カメラP’(原点)からの視線方向に関する角度φと、ステップS122で算出された視野角θ’に基づいて、描画対象の短冊領域Nを算出する。この短冊領域Nは、前出の式(3)を用いて、実施例のステップS23と同様の算出手順を用いて算出できる。
 そして、画像処理装置100は、上述のようにして算出された短冊領域Nに基づいて、図7AのステップS3の描画制御処理、ステップS4の座標変換処理、ステップS5の表示画像合成処理を実行することで立体視画像を生成し、その表示制御信号をナビゲーション装置30に送出する。これにより、ユーザが指定した所望の位置の仮想カメラPから、所望の視線方向へ投影した立体視画像がモニター31に表示される。
(画像処理装置の効果)
 以上説明したように、本実施の形態である画像処理装置100は、車両Vの周囲を撮像するカメラ20から出力される画像信号に基づいて、所定の仮想視点から所定の投影面200に投影した立体視画像を生成する画像処理装置である。画像処理装置100は、投影面200を、所定角度で複数に分割した分割投影面201の各頂点202の座標情報及び識別情報が紐付けられた投影面頂点情報、並びに座標変換情報が格納された記憶部120を有する。また、仮想視点(仮想カメラP)からの立体視画像の投影先となる投影領域を構成するすべての分割投影面201を特定し、特定した分割投影面201の識別情報を取得し、取得した識別情報に基づいて頂点202の座標情報を記憶部120から取得する情報制御部(仮想カメラ情報取得部111、投影面識別番号算出部112、描画制御部113)と、分割投影面の各頂点の座標情報を記憶部120の座標変換情報に基づいて座標変換し、座標変換後の座標情報及び撮像部から出力される画像信号に基づいて立体視画像を生成する表示制御部114(座標変換処理部115、表示画像合成部116)と、を備える。
 また、本実施の形態である画像処理装置100で実行される画像処理方法は、仮想視点(仮想カメラP)からの立体視画像の投影先となる投影領域を構成するすべての分割投影面201を特定するステップと、特定した分割投影面201の識別情報を取得するステップと、取得した識別情報に基づいて頂点202の座標情報を記憶部120から取得するステップと、取得した分割投影面201の各頂点202の座標情報を座標変換情報に基づいて座標変換するステップと、座標変換後の座標情報及びカメラ20から出力される画像信号に基づいて立体視画像を生成するステップと、を含む。
 したがって、本実施の形態によれば、投影面200を複数に分割し、さらに、仮想視点からの投影先である投影領域に対応する分割投影面201のみの座標情報を記憶部120から取得して座標変換処理を行っている。そのため、GPUからなる表示制御部114の負荷を大幅に低減でき、画像処理全体の負荷を削減できる。その結果、仮想視点が変更されても、仮想視点に対応した立体視画像を、迅速かつ高精度に提示することができる。
 また、本実施の形態では、投影面200は、半球型の投影面から構成される。この半球型の投影面は、半球の中心から水平方向に、所定角度(例えば、1度)ずつ分割された複数の分割投影面201を有し、各分割投影面201に、識別情報として識別番号が昇順に付与されている。これにより、識別番号と分割投影面201との対応付けが簡易かつ明確となり、画像処理の負荷の削減と高速化を、より合理的に図ることができる。
 また、本実施の形態では、情報制御部は、所定の入力部(例えば、操作部32)から入力される仮想視点(仮想カメラP)の位置座標、視線方向及び視野角を含む仮想視点情報(仮想カメラ情報)を取得し、仮想視点の位置座標及び視線方向に基づいて、水平方向の所定の基準方向に対する視線方向の角度を算出し、これら角度及び視野角に基づいて、基準方向に対する投影領域の最小角度及び最大角度を算出し、最小角度及び最大角度に基づいて、投影領域に含まれるすべての分割投影面の識別情報を算出している。そのため、分割投影面の特定処理が簡易となり、計算速度を速め、画像処理の負荷を削減できる。
 このとき、投影領域の最小角及び最大角を、前出の一実施例のように、式(3)に基づいて算出してもよい。また、仮想視点の位置座標が任意に指定される場合は、前出の変形例のように式(4)、(5)を用いて、仮想視点からの視線方向と視野角を、原点からの視線方向と視野角とに変換した後、式(3)を用いて投影領域の最小角及び最大角を算出してもよい。いずれの場合でも、分割投影面201の特定を、簡易な計算式を用いて高速に行うことができ、画像処理の負荷を削減できる。
 以上、図面を参照して、本発明の実施の形態及び変形例を詳述してきたが、具体的な構成は、この実施の形態及び変形例に限らず、本発明の要旨を逸脱しない程度の設計的変更は、本発明に含まれる。
 例えば、上記実施の形態及び変形例では、分割投影面201(短冊)として3Dモデルデータをそのまま描画に使用しているが、この手法に限定されるものではない。他の異なる実施の形態として、あくまで投影対象(描画対象)の識別番号の算出のみを行うように画像処理装置及び画像処理方法を構成し、予め各識別番号に割り当てておいた任意の3Dモデルデータを描画するものとしてもよい。
 また、上記実施の形態では、入力部から入力される仮想視点からの視線方向の一回の変更指示に基づいて、投影領域について、分割投影面201を1つずつ、つまり1度ずつ変更し、投影する立体視画像を更新しているが、これに限定されるものではない。他の異なる実施の形態として、例えば、ユーザによる操作部32の操作速度、より具体的には、タッチパネル上でのドラッグやフリック動作の速度や操作量等、入力部からの変更指示の入力状態に応じた角度で視線方向を変更し、立体視画像を更新してもよい。例えば、操作速度が低速又はドラッグ等の操作距離が短いときには、1度ずつ視線方向変更して分割投影面201を1つずつずらし、操作速度が高速又はドラッグ等の操作距離が長いときには、5度ずつ視線方向を変更して分割投影面201を5つずつずらし、各々の視線方向からの立体視画像に更新してもよい。これにより、比較的機能が低いGPUを用いた場合であっても、ユーザの操作に追従させて、立体視画像を更新していくことができる。
 また、上記実施の形態では、操作部32からのユーザの入力操作に応じて、仮想視点からの投影領域、すなわち仮想カメラ情報の位置や視線方向を変更しているが、これに限定されるものではない。他の異なる実施の形態として、例えば、仮想視点からの投影領域を、車両Vの走行状態に応じて変更してもよい。具体的には、操舵角センサ34で検知した車両Vのステアリングの操舵角に基づいて、仮想カメラPの位置や視線方向を自動で変更し、これに基づいて立体視画像を生成してもよい。この場合、操舵角センサ34も仮想カメラ情報の入力部の一つとして機能する。これにより、車両Vの走行方向やステアリング方向等に対応した適切な立体視像が自動で表示される。
 さらに異なる実施の形態として、例えば、操舵角センサ34で検知した車両Vのステアリングの操舵角に追従して仮想カメラPの視線方向を変更する場合に、さらに車輪速センサ33で検知した車輪速、つまり車速に応じて角度を変更してもよい。この場合、操舵角センサ34及び車輪速センサ33も仮想カメラ情報の入力部の一つとして機能する。
 この構成では、例えば、所定以下の車速では、投影先の分割投影面201を1度ずつ移動させて立体視画像を更新する。これにより、所定以下の低速走行時には、より精細な立体視画像をユーザに提示できる。これに対して、車速が所定超の高速となったとき、投影先の分割投影面201を5度ずつ移動させて立体視画像を更新する。これにより、高速走行に追従して迅速に立体視画像を更新してユーザに提示できる。
 また、本実施の形態の画像処理装置100及び画像処理方法で作成した立体視画像を、電子ミラー用の画像として用いることもできる。本実施の形態では、視野角に適した分割投影面201を選定して立体視画像を生成し、画像処理(特にGPU)の負荷を低減しているため、電子ミラー用の画像の生成に適用しても、画像処理の負荷を低減して、好適な電子ミラー画像をドライバに提示できる。
関連出願への相互参照
 本出願は、2018年12月27日に日本国特許庁に出願された特願2018-245393に基づいて優先権を主張し、その全ての開示は完全に本明細書で参照により組み込まれる。

Claims (9)

  1.  車両の周囲を撮像する撮像部から出力される画像信号に基づいて、所定の仮想視点から所定の投影面に投影した立体視画像を生成する画像処理装置であって、
     前記投影面を、所定角度で複数に分割した分割投影面の各頂点の座標情報及び前記分割投影面に付与された識別情報が紐付けられた投影面頂点情報、並びに前記座標情報の座標変換情報が格納されている記憶部と、
     前記仮想視点からの前記立体視画像の投影先となる投影領域を構成するすべての前記分割投影面を特定し、特定した前記分割投影面の前記識別情報を取得し、取得した前記識別情報に基づいて前記頂点の前記座標情報を前記記憶部から取得する情報制御部と、
     前記情報制御部で取得した前記分割投影面の各頂点の前記座標情報を前記記憶部の前記座標変換情報に基づいて座標変換し、座標変換後の前記座標情報及び前記撮像部から出力される前記画像信号に基づいて前記立体視画像を生成する表示制御部と、
    を備えたことを特徴とする画像処理装置。
  2.  前記投影面は、半球型の投影面から構成され、前記半球型の投影面は、半球の中心から水平方向に、所定角度ずつ分割された複数の前記分割投影面を有し、前記分割投影面に、前記識別情報として識別番号が昇順に付与されていることを特徴とする請求項1に記載の画像処理装置。
  3.  前記情報制御部は、
     所定の入力部から入力される前記仮想視点の位置座標、視線方向及び視野角を含む仮想視点情報を取得し、
     前記仮想視点の前記位置座標及び前記視線方向に基づいて、水平方向の所定の基準方向に対する前記視線方向の角度を算出し、
     前記角度及び前記視野角に基づいて、前記基準方向に対する前記投影領域の最小角度及び最大角度を算出し、
     前記最小角度及び前記最大角度に基づいて、前記投影領域に含まれるすべての前記分割投影面の前記識別情報を算出することを特徴とする請求項1又は2に記載の画像処理装置。
  4.  前記情報制御部は、前記基準方向に対する前記視線方向の角度をφとし、前記視野角をθとし、調整値をMとしたとき、前記投影領域の最小角及び最大角を、次式
     int(φ) ± [int(θ/2) + M]
    により算出することを特徴とする請求項3に記載の画像処理装置。
  5.  前記情報制御部は、前記仮想視点の前記位置座標及び前記視野角に基づいて、前記投影面と視野との水平方向における交点A,Bの座標情報を算出し、
     前記交点A,Bの座標に基づいて算出した前記交点A,B間の距離をABとし、前記投影面の半径をrとしたとき、前記投影面の原点を前記仮想視点と想定したときの前記原点からの視野角θ’を、次式
     r+r-2rcosθ’ = |AB|
     θ’=arccos(1-|AB|/2r
    により算出し、
     前記原点からの前記視線方向の前記基準方向に対する角度をφとし、前記原点からの前記視野角をθ’とし、調整値をMとしたとき、前記原点からの前記投影領域の最小角及び最大角を、次式
     int(φ) ± [int(θ/2) + M]
    により算出することを特徴とする請求項3に記載の画像処理装置。
  6.  前記情報制御部は、所定の入力部から入力される前記仮想視点からの視線方向の変更指示に基づいて、前記仮想視点からの前記投影領域を、一回の変更指示に対して水平方向に前記分割投影面を1つずつ変更していくが、前記入力部からの変更指示の入力状態に応じて、前記投影領域を、一回の変更指示に対して前記分割投影面を複数個分ずつ変更していくように構成されたことを請求項1~5のいずれか一項に記載の画像処理装置。
  7.  前記情報制御部は、前記仮想視点からの前記投影領域を、前記車両の走行状態に応じて変更することを特徴とする請求項1~6のいずれか一項に記載の画像処理装置。
  8.  前記情報制御部は、前記記憶部から、前記分割投影面の前記頂点の前記座標情報が格納された先頭アドレスと、前記頂点の個数とを、前記投影領域に対応する前記分割投影面ごとに取得して前記表示制御部に送信するように構成され、
     前記表示制御部は、前記表示制御部から取得した前記分割投影面ごとの前記先頭アドレス及び前記頂点の個数に基づいて、前記記憶部から、前記分割投影面のすべての前記頂点の前記座標情報を取得し、座標変換を行うように構成されたことを特徴とする請求項1~7のいずれか一項に記載の画像処理装置。
  9.  請求項1~8のいずれか一項に記載の画像処理装置によって実行される画像処理方法であって、
     前記仮想視点からの前記立体視画像の投影先となる前記投影領域を構成するすべての前記分割投影面を特定するステップと、
     特定した前記分割投影面の前記識別情報を取得するステップと、
     取得した前記識別情報に基づいて前記頂点の前記座標情報を前記記憶部から取得するステップと、
     取得した前記分割投影面の各頂点の前記座標情報を前記座標変換情報に基づいて座標変換するステップと、
     座標変換後の前記座標情報及び前記撮像部から出力される前記画像信号に基づいて前記立体視画像を生成するステップと、
    を含むことを特徴とする画像処理方法。
PCT/JP2019/012707 2018-12-27 2019-03-26 画像処理装置及び画像処理方法 WO2020136929A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US17/416,482 US11736672B2 (en) 2018-12-27 2019-03-26 Image processor and method for virtual viewpoint synthesis in a vehicle-based camera system

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018245393A JP7156937B2 (ja) 2018-12-27 2018-12-27 画像処理装置及び画像処理方法
JP2018-245393 2018-12-27

Publications (1)

Publication Number Publication Date
WO2020136929A1 true WO2020136929A1 (ja) 2020-07-02

Family

ID=71127855

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/012707 WO2020136929A1 (ja) 2018-12-27 2019-03-26 画像処理装置及び画像処理方法

Country Status (3)

Country Link
US (1) US11736672B2 (ja)
JP (1) JP7156937B2 (ja)
WO (1) WO2020136929A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114179724A (zh) * 2020-09-15 2022-03-15 马自达汽车株式会社 车辆用显示装置

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6692981B1 (ja) * 2019-09-13 2020-05-13 マレリ株式会社 表示装置及び表示方法
JP2022048455A (ja) * 2020-09-15 2022-03-28 マツダ株式会社 車両用表示装置
US11910092B2 (en) * 2020-10-01 2024-02-20 Black Sesame Technologies Inc. Panoramic look-around view generation method, in-vehicle device and in-vehicle system
WO2023192754A1 (en) * 2022-04-01 2023-10-05 Nvidia Corporation Image stitching with an adaptive three-dimensional bowl model of the surrounding environment for surround view visualization
CN116740114B (zh) * 2023-08-11 2023-11-21 之江实验室 一种基于凸包检测的目标物边界拟合方法及装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012017560A1 (ja) * 2010-08-06 2012-02-09 富士通株式会社 画像処理装置および画像処理プログラム
WO2014033886A1 (ja) * 2012-08-30 2014-03-06 富士通株式会社 画像処理装置、画像処理方法、及びプログラム

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5652037B2 (ja) 2010-07-30 2015-01-14 富士通株式会社 模擬映像生成装置、方法、プログラム
JP2012256274A (ja) * 2011-06-10 2012-12-27 Panasonic Corp 画像生成装置、画像生成方法、及びコンピュータプログラム
JP6319804B2 (ja) * 2014-09-18 2018-05-09 日本電信電話株式会社 投影画像生成装置、投影画像生成方法および投影画像生成プログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012017560A1 (ja) * 2010-08-06 2012-02-09 富士通株式会社 画像処理装置および画像処理プログラム
WO2014033886A1 (ja) * 2012-08-30 2014-03-06 富士通株式会社 画像処理装置、画像処理方法、及びプログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114179724A (zh) * 2020-09-15 2022-03-15 马自达汽车株式会社 车辆用显示装置

Also Published As

Publication number Publication date
US11736672B2 (en) 2023-08-22
US20220078390A1 (en) 2022-03-10
JP7156937B2 (ja) 2022-10-19
JP2020107089A (ja) 2020-07-09

Similar Documents

Publication Publication Date Title
WO2020136929A1 (ja) 画像処理装置及び画像処理方法
JP5397373B2 (ja) 車両用画像処理装置、車両用画像処理方法
JP5369465B2 (ja) 車両用画像処理装置、車両用画像処理方法、車両用画像処理プログラム
US11094132B2 (en) System and method for presentation and control of augmented vehicle surround views
JP5168580B2 (ja) 運転模擬装置、広角カメラ映像模擬装置および画像変形合成装置
EP2554434B1 (en) Vehicle surround view system
JP6149676B2 (ja) 画像処理装置、画像処理方法、及び、プログラム
CN104204847B (zh) 用于可视化车辆的周围环境的方法和装置
JP4579145B2 (ja) 車両周辺画像表示装置
JP2004297808A (ja) 移動体周辺監視装置
JP5716389B2 (ja) 車両用表示装置
JP2009118416A (ja) 車両周辺画像生成装置および車両周辺画像の歪み補正方法
JP2011004201A (ja) 周辺表示装置
JP6587626B2 (ja) カメラシステムによって様々な位置で撮影された複数の個別画像を1つの共通の画像につなぎ合わせるための方法
KR20180021822A (ko) 후방 교차 교통-퀵 룩스
JP2007110177A (ja) 画像処理装置及びプログラム
JP2015088942A (ja) 画像表示システム、画像表示方法及びプログラム
JP5273068B2 (ja) 車両周辺監視装置
US11580689B2 (en) Information display control device, method, and non-transitory computer-readable recording medium
WO2010007960A1 (ja) 車載用カメラの視点変換映像システム及び視点変換映像取得方法
JPH0981772A (ja) 画像合成方法及び装置
JP2010128935A (ja) 遠隔操作システムおよび遠隔操作装置
JP7318265B2 (ja) 画像生成装置および画像生成方法
JP2023006860A (ja) ビュー表示装置およびビュー表示方法
JP2023006857A (ja) ビュー表示装置およびビュー表示方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19902420

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19902420

Country of ref document: EP

Kind code of ref document: A1