WO2016140212A1 - 多方向画像出力装置および多方向画像出力プログラム - Google Patents

多方向画像出力装置および多方向画像出力プログラム Download PDF

Info

Publication number
WO2016140212A1
WO2016140212A1 PCT/JP2016/056209 JP2016056209W WO2016140212A1 WO 2016140212 A1 WO2016140212 A1 WO 2016140212A1 JP 2016056209 W JP2016056209 W JP 2016056209W WO 2016140212 A1 WO2016140212 A1 WO 2016140212A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
wide
angle
view
horizontal
Prior art date
Application number
PCT/JP2016/056209
Other languages
English (en)
French (fr)
Inventor
耕太郎 滝上
保宏 沢田
Original Assignee
カムイ・イノベーション株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2015200967A external-priority patent/JP2016167792A/ja
Application filed by カムイ・イノベーション株式会社 filed Critical カムイ・イノベーション株式会社
Publication of WO2016140212A1 publication Critical patent/WO2016140212A1/ja

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Definitions

  • the present invention relates to a multidirectional image output device and a multidirectional image output device capable of simultaneously outputting images from multiple directions such as a bird's-eye view image and a horizontal view image based on a wide-angle image acquired by a single wide-angle imaging unit.
  • the present invention relates to an image output program.
  • Patent Document 1 An image processing technique for generating a so-called bird's-eye view image in which the surroundings of a vehicle are photographed by a camera installed in a car or the like and the car is virtually looked down from above based on the photographed image has been proposed.
  • Patent Document 1 An image processing technique for generating a so-called bird's-eye view image in which the surroundings of a vehicle are photographed by a camera installed in a car or the like and the car is virtually looked down from above based on the photographed image has been proposed.
  • the above-described bird's-eye view image has been in increasing demand in recent years as an assist that enables even a driver unfamiliar with driving to perform parking and garage safely and smoothly.
  • a bird's-eye view image and a horizontal view image are often taken with a wide-angle camera with a wide angle of view, but distortion occurs in a three-dimensional object in the image taken with the wide-angle camera. For this reason, when displaying each image, image processing for correcting the distortion is generally performed. However, as the number of cameras increases, the amount of calculation required for the image processing becomes enormous, which makes it difficult to display moving images in real time.
  • the present invention has been made to solve such problems, and distortion is corrected in a predetermined direction view image in a plurality of line-of-sight directions based on a wide-angle image acquired by one wide-angle imaging unit. It is an object of the present invention to provide a multidirectional image output apparatus and a multidirectional image output program that can output simultaneously in the state in which they are performed.
  • a multi-directional image output apparatus includes a wide-angle image acquisition unit that acquires a wide-angle image from a wide-angle imaging unit that has an angle of view including a field of view range in two or more gaze directions, and a plurality of the wide-angle images
  • a predetermined direction view image conversion unit that corrects each distortion of the visual field range and acquires a predetermined direction view image in each of the plurality of line-of-sight directions.
  • the wide-angle imaging unit is installed to have an angle of view including a bird's-eye view range corresponding to a bird's-eye view and a horizontal field-of-view range corresponding to a horizontal view, and the predetermined direction view image
  • the conversion unit may acquire a bird's-eye view image by correcting distortion of the bird's-eye view range in the wide-angle image, and may acquire a horizontal view image by correcting distortion in the horizontal field-of-view range in the wide-angle image.
  • a conversion coordinate table storage unit that stores a conversion coordinate table for image conversion from the wide-angle image to the predetermined direction view image may be provided.
  • a conversion coordinate calculation unit that calculates conversion coordinates for image conversion from the wide-angle image to the predetermined direction view image may be provided.
  • a field-of-view range setting unit that can arbitrarily set the field-of-view range may be provided.
  • a line-of-sight direction setting unit that can arbitrarily set the line-of-sight direction of the predetermined direction view image within the field-of-view range may be provided.
  • a stitching unit that generates a horizontal panoramic image by connecting horizontal images obtained from a plurality of the wide-angle images, and a bird's-eye view image obtained from the plurality of wide-angle images are connected.
  • a stitching unit that generates an around view image may be included.
  • the multi-directional image output program includes a wide-angle image acquisition unit that acquires a wide-angle image from a wide-angle imaging unit that has an angle of view including a field of view range in two or more gaze directions, and the wide-angle image
  • the computer functions as a predetermined direction visual image conversion unit that corrects each of the distortions of the plurality of visual field ranges and acquires a predetermined direction visual image in each of the plurality of visual line directions.
  • the present invention based on a wide-angle image acquired by a single wide-angle imaging unit, it is possible to simultaneously output a predetermined direction-view image in a plurality of line-of-sight directions with distortion corrected.
  • 1 is a diagram showing a first embodiment of an automobile equipped with a multidirectional image output apparatus and a multidirectional image output program according to the present invention. It is a block diagram which shows the multidirectional image output device and multidirectional image output program of this 1st Embodiment. It is a figure explaining the visual field range and eyes
  • FIG. 5 is a conceptual diagram illustrating an around-view image and horizontal panorama image generation process performed by a stitching unit in the first embodiment. It is a flowchart which shows the process which the multi-directional image output device of this 1st Embodiment and a multi-directional image output program perform. It is a block diagram which shows the multi-directional image output device and multi-directional image output program of this 2nd Embodiment. It is a flowchart which shows the process which the multi-directional image output device of this 2nd Embodiment and a multi-directional image output program perform. It is the wide-angle image used in the present Example 1. 12 is a horizontal view image obtained from the wide-angle image of FIG. 11. 12 is an overhead view image obtained from the wide-angle image of FIG.
  • the multidirectional image output apparatus 1A acquires a wide-angle image from a wide-angle imaging unit 10 provided in a side mirror of an automobile and the like.
  • An image from two directions called a visual image is output and displayed on the display means 11 provided in the vehicle.
  • the multi-directional image output apparatus 1A and the multi-directional image output program 1a according to the present invention are mounted on the automobile, but the present invention is not limited to this configuration.
  • the present invention can be applied to all systems that require images from multiple directions, such as a security system including a surveillance camera.
  • the wide-angle imaging means 10 is configured by a camera having a wide angle of view such as a wide-angle camera, and takes a wide-angle image.
  • the wide-angle imaging unit 10 tilts the optical axis so as to have an angle of view including a horizontal visual field range corresponding to horizontal view and an overhead view range corresponding to overhead view. Installed facing downward.
  • the wide-angle imaging unit 10 is installed as described above in order to output images from two directions, a horizontal view image and a bird's-eye view image.
  • the present invention is not limited to this configuration. Absent. That is, the wide-angle imaging unit 10 only needs to be installed so as to have an angle of view including a visual field range in two or more viewing directions.
  • the present invention is not limited to this configuration, and is appropriately set as necessary. It may be increased or decreased.
  • the wide-angle image is a concept including both a still image and a moving image.
  • the display means 11 is configured by a touch display or the like, and displays a predetermined direction view image in multiple directions such as a bird's-eye view image and a horizontal view image.
  • a predetermined direction view image in multiple directions such as a bird's-eye view image and a horizontal view image.
  • an around view image obtained by connecting a plurality of bird's-eye view images and a horizontal panorama image obtained by connecting a plurality of horizontal view images are displayed.
  • the multidirectional image output apparatus 1A is configured by a computer capable of image processing and the like, and stores various data and functions as a working area when the arithmetic processing means 3 performs arithmetic processing as shown in FIG.
  • the storage unit 2 and the arithmetic processing unit 3 that executes various arithmetic processes by executing the multi-directional image output program 1a installed in the storage unit 2 are provided.
  • each constituent means will be described.
  • the storage means 2 includes a hard disk, ROM (Read Only Memory), RAM (Random Access Memory), flash memory, etc. As shown in FIG. 2, a program storage unit 21, a visual field range storage unit 22, A line-of-sight direction storage unit 23 and a conversion coordinate table storage unit 24 are provided.
  • the program storage unit 21 is installed with a multidirectional image output program 1a for controlling the multidirectional image output apparatus 1A of the first embodiment. Then, the arithmetic processing means 3 executes the multi-directional image output program 1a to cause the computer to function as each component described later.
  • the usage form of the multi-directional image output program 1a is not limited to the above configuration.
  • the multi-directional image output program 1a may be stored in a computer-readable non-transitory recording medium such as a CD-ROM or a USB memory, and directly read from the recording medium and executed.
  • the multidirectional image output program 1a may be used from an external server or the like by a cloud computing method, an ASP (Application Service Provider) method, or the like.
  • the visual field range storage unit 22 stores a plurality of visual field ranges to be output to the display means 11.
  • the visual field range storage unit 22 stores a horizontal visual field range corresponding to horizontal view and an overhead view range corresponding to overhead view.
  • the visual field range setting unit 31 described later is configured so that the horizontal visual field range and the overhead visual field range can be arbitrarily set.
  • the gaze direction storage unit 23 stores a plurality of gaze directions to be output to the display unit 11.
  • the line-of-sight storage unit 23 stores the line-of-sight direction of the horizontal view image within the horizontal field-of-view range and the line-of-sight direction of the bird's-eye view image within the overhead view range.
  • the line-of-sight direction setting unit 32 which will be described later, is configured such that the line-of-sight direction of the horizontal view image and the line-of-sight direction of the overhead view image can be arbitrarily set.
  • the line-of-sight direction refers to the direction of a perpendicular line dropped from a viewpoint (lens position) to a predetermined direction view image such as a horizontal view image or an overhead view image.
  • a predetermined direction view image such as a horizontal view image or an overhead view image.
  • the line-of-sight direction and the visual field range corresponding to the horizontal view image and the line-of-sight direction and the visual field range corresponding to the overhead view image are set.
  • the present invention is not limited to this configuration. That is, it is possible to set a plurality of sets of arbitrary line-of-sight directions and visual field ranges required by the user.
  • the conversion coordinate table storage unit 24 stores a conversion coordinate table for converting a desired visual field range in a wide-angle image into a predetermined direction view image.
  • the conversion coordinate table storage unit 24 includes a horizontal conversion coordinate table for image conversion from a wide-angle image to a horizontal view image, and an overhead conversion coordinate table for image conversion from a wide-angle image to a bird's-eye view image. Is remembered.
  • a substantially fan-shaped visual field range horizontal visual field range or bird's-eye visual field range
  • two-dimensional two-dimensional data included in the outer periphery and inside of the visual field range The correspondence between the coordinates (Source_x, Source_y) and the two-dimensional coordinates (Dest_x, Dest_y) of a plurality of points in the image (horizontal view image or overhead view image) after distortion correction is converted as shown in FIG. Stored as a coordinate table.
  • the horizontal view range and the overhead view range in the wide-angle image are set in a substantially fan shape.
  • the visual field range may be set to a trapezoid or the like.
  • the coordinates of 56 points arranged in a lattice shape in the visual field range are converted.
  • the present invention is not limited to this configuration, and as necessary. You may increase / decrease a coordinate point suitably.
  • the conversion coordinate table can be calculated by various methods. For example, in the first embodiment, as shown in FIG. 6, when a wide-angle image is captured by the wide-angle imaging unit 10 installed at the depression angle ⁇ and a two-dimensional UV coordinate system is set on the wide-angle image, A horizontal conversion coordinate table for converting the point (u 0 , v 0 ) on the image into the point (u h , v h ) on the horizontal view image, and the point (u 0 , v 0 ) on the wide-angle image.
  • the overhead conversion coordinate table for converting to a point (u v , v v ) on the visual image has the following basic expressions (1) and (2), respectively, and distortion correction and alignment correction of the wide-angle imaging means 10.
  • ⁇ depression angle of wide-angle imaging unit u 0 : U coordinate on wide-angle image u h : U-coordinate on horizontal view image u v : U-coordinate on bird's-eye view image v 0 : V coordinate on wide-angle image v h : horizontal view V coordinate on image v v : V coordinate on overhead view image w h : Scaling variable of homogeneous coordinate w v : Scaling variable of homogeneous coordinate z 0 : Positive constant indicating angle of view of wide angle image z h : Horizontal viewing Positive constant indicating angle of view of image z v : Positive constant indicating angle of view of overhead view image
  • the arithmetic processing means 3 is constituted by a CPU (Central Processing ⁇ Unit) or the like, and by executing the multidirectional image output program 1a installed in the storage means 2, as shown in FIG. Functions as a setting unit 31, a line-of-sight direction setting unit 32, a wide-angle image acquisition unit 33, a visual field range acquisition unit 34, a predetermined direction visual image conversion unit 35, a stitching unit 36, and an image output unit 37. It has become.
  • a setting unit 31 a line-of-sight direction setting unit 32, a wide-angle image acquisition unit 33, a visual field range acquisition unit 34, a predetermined direction visual image conversion unit 35, a stitching unit 36, and an image output unit 37.
  • the visual field range setting unit 31 is for making it possible to arbitrarily set the visual field range of a predetermined direction view image to be output.
  • the field-of-view range setting unit 31 sets the horizontal field-of-view range and the bird's-eye-view field range within the field-of-view range included in the angle of view of the wide-angle imaging unit 10, as shown in FIG.
  • the visual field range storage unit 22 stores the visual field range. Further, for example, as shown in the horizontal view image of FIG. 3, it is possible to expand the visual field range downward while maintaining the line-of-sight direction.
  • the line-of-sight direction setting unit 32 is for making it possible to arbitrarily set the line-of-sight direction of a predetermined direction view image within the visual field range.
  • the line-of-sight direction setting unit 32 sets the line-of-sight direction for each of the horizontal view image and the overhead view image with an inclination angle with respect to the optical axis, and the line-of-sight direction storage unit 23. To memorize. Also, for example, as shown in the overhead view image of FIG. 3, it is possible to change the line-of-sight direction to a direction perpendicular to the ground while maintaining the visual field range.
  • the wide-angle image acquisition unit 33 acquires a wide-angle image from the wide-angle imaging unit 10.
  • four wide-angle imaging units 10 are provided on the front, rear, left, and right sides of the automobile. For this reason, the wide-angle image acquisition part 33 acquires each wide-angle image image
  • the visual field range acquisition unit 34 acquires a visual field range from a wide-angle image.
  • the field-of-view range acquisition unit 34 refers to the plurality of field-of-view ranges set in the field-of-view range storage unit 22, and sets the horizontal field-of-view range set in each wide-angle image and each wide-angle image. Each of the set overhead view ranges is acquired.
  • the predetermined direction view image conversion unit 35 corrects distortions in a plurality of visual field ranges in a wide-angle image, and acquires predetermined direction view images in each of a plurality of line-of-sight directions.
  • the predetermined-direction visual image conversion unit 35 uses the conversion coordinate table stored in the conversion coordinate table storage unit 24 to use the horizontal visual field range and the overhead visual field range acquired by the visual field range acquisition unit 34. Each is converted into an image, and a horizontal view image and an overhead view image are acquired.
  • the predetermined direction view image conversion unit 35 executes the image conversion process simultaneously and in parallel, so that the horizontal view image and the overhead view image are displayed.
  • the present invention is not limited to this configuration. That is, the processing speed of the predetermined direction view image conversion unit 35 may be increased, and the horizontal view image and the overhead view image may be alternately output.
  • the stitching unit 36 stitches a plurality of input images and outputs one image.
  • wide-angle images at the front, rear, left and right positions are acquired by the four wide-angle imaging units 10.
  • the stitching unit 36 generates a horizontal panoramic image by connecting horizontal images at front, rear, left, and right positions obtained from a plurality of wide-angle images.
  • the stitching unit 36 connects the overhead view images at the front, rear, left, and right positions obtained from the plurality of wide angle images to generate an around view image.
  • the stitching unit 36 generates both a horizontal panoramic image and an around view image.
  • the present invention is not limited to this configuration, and only one of them may be generated. .
  • the image output unit 37 outputs the around view image and the horizontal panorama image generated by the stitching unit 36 to the display means 11 for display.
  • the stitching unit 36 generates the around view image and the horizontal panorama image.
  • the present invention is not limited to this configuration. That is, when only a horizontal view image or an overhead view image obtained from a single wide-angle image is displayed, it is not necessary to provide the stitching unit 36. In this case, the image output unit 37 outputs only the horizontal view image and the overhead view image.
  • a horizontal visual field range and an overhead visual field range are set in advance by the range setting unit 31. Further, the line-of-sight direction setting unit 32 sets a desired line-of-sight direction in the horizontal view image and the overhead view image in advance. Thereby, the visual field range and line-of-sight direction required by the user are set as appropriate.
  • the wide-angle image acquisition unit 33 acquires each wide-angle image from each wide-angle imaging unit 10 (step S1).
  • each wide-angle imaging means 10 is installed so as to have an angle of view including a horizontal visual field range and an overhead view field range.
  • the visual field range acquisition unit 34 reliably acquires the horizontal visual field range and the overhead view visual field range from each wide-angle image (step S2).
  • the predetermined direction view image conversion unit 35 corrects the distortion of the horizontal visual field range in each wide angle image to acquire the horizontal view image (step S3), and simultaneously corrects the distortion of the overhead view field range in each wide angle image.
  • An overhead view image is acquired (step S4).
  • the horizontal view image and the bird's-eye view image in a state in which the distortion is corrected are simultaneously acquired.
  • the conversion coordinate table is calculated in advance and stored in the conversion coordinate table storage unit 24, the image processing speed is increased.
  • the stitching unit 36 performs a so-called stitching process in which a plurality of images are continuously combined for each of the horizontal view image and the overhead view image (step S5).
  • each horizontal view image generates a horizontal panoramic image that allows the entire periphery of the vehicle to be viewed in a substantially horizontal direction, it is supported so that the periphery can be confirmed at a glance during normal driving or the like.
  • each bird's-eye view image generates an around-view image that allows a bird's-eye view of the entire surroundings of the car from above, thus assisting drivers who are unfamiliar with driving to park and garage safely and smoothly. .
  • step S6 The horizontal panorama image and the around view image generated by the stitching unit 36 are output to the display unit 11 by the image output unit 37 (step S6).
  • the horizontal panorama image and the around view image are simultaneously displayed on the display means 11 in real time.
  • the multi-directional image display function is turned off (step S7), the processes according to the above-described steps S1 to S6 are repeatedly executed.
  • the multidirectional image output apparatus 1A and the multidirectional image output program 1a of the first embodiment as described above, the following effects can be obtained. 1. Based on a wide-angle image acquired by one wide-angle imaging unit 10, it is possible to simultaneously output a predetermined-direction image in a plurality of viewing directions with distortion corrected. 2. By storing the conversion coordinate table in advance, the image processing speed can be increased. 3. A desired visual field range and line-of-sight direction can be set as appropriate for each of a plurality of predetermined-direction images. 4). A horizontal panoramic image and an around view image can be displayed to effectively assist the driver of the car.
  • a conversion coordinate table for image conversion from a wide-angle image to a horizontal view image and a bird's-eye view image is stored in the conversion coordinate table storage unit 24 in advance.
  • the feature of the second embodiment is that the conversion coordinates are calculated internally every time the image conversion process is executed without holding the conversion coordinate table in advance.
  • the multidirectional image output apparatus 1B of the second embodiment does not have the conversion coordinate table storage unit 24 in the first embodiment, and separately calculates conversion coordinates. This is different from the multi-directional image output apparatus 1A of the first embodiment in that it has a conversion coordinate calculation unit 38 that performs the conversion.
  • the conversion coordinate calculation unit 38 calculates conversion coordinates for image conversion from a wide-angle image to a predetermined direction view image.
  • the conversion coordinate calculation unit 38 converts each time the visual field range acquisition unit 34 acquires a horizontal visual field range and an overhead visual field range from each wide-angle image (step S2).
  • the coordinates are calculated internally (step S8).
  • the predetermined direction view image conversion unit 35 performs an image conversion process using the calculated conversion coordinates (steps S3 and S4). Thereby, even when the setting of the visual field range and the line-of-sight direction is changed, the converted coordinates corresponding to the setting are immediately acquired.
  • the multidirectional image output apparatus 1B and the multidirectional image output program 1b of the second embodiment as described above, in addition to the effects of the first embodiment, when the setting of the visual field range and the line-of-sight direction is changed. In addition, there is no need to prepare a conversion coordinate table separately, and it is possible to immediately output a predetermined direction view image such as a horizontal view image or an overhead view image.
  • Example 1 an experiment for outputting a horizontal view image and a bird's-eye view image from a single wide-angle image was performed using the multidirectional image output apparatus 1A and the multidirectional image output program 1a of the first embodiment described above. .
  • a wide-angle camera was installed with the optical axis directed obliquely downward so as to have an angle of view including a horizontal visual field range and a bird's-eye visual field range. And the wide-angle image as shown in FIG. 11 was image
  • the horizontal visual field range and the overhead visual field range set in a substantially fan shape were acquired. Then, by converting the horizontal visual field range using the conversion table illustrated in FIG. 5, a horizontal view image as shown in FIG. 12 was output. Similarly, the overhead view image as shown in FIG. 13 was output by converting the overhead view range.
  • Example 1 in the wide-angle image, as shown in FIG. 11, the upper bus was distorted in a fan shape, and the lower curb was inclined.
  • distortion is corrected as shown in FIGS. It was an image that was easy to see without a sense of incongruity.
  • the multi-directional image output apparatus and multi-directional image output program according to the present invention are not limited to the above-described embodiments, and can be changed as appropriate.
  • the visual field range setting unit 31 and the visual line direction setting unit 32 are provided so that the visual field range and the visual line direction can be arbitrarily set.
  • the present invention is not limited to this configuration. That is, in a system that may be fixed without changing the visual field range and the line-of-sight direction, it is not necessary to provide the visual field range setting unit 31 and the line-of-sight direction setting unit 32.
  • the stitching unit 36 that generates the horizontal panorama image and the around view image is included, but the present invention is not limited to this configuration. That is, when it is not necessary to stitch each image, or when only a horizontal view image or a bird's-eye view image obtained from one wide-angle image is sufficient, it is not necessary to provide the stitching unit 36.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Signal Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)

Abstract

【課題】　一台の広角撮像手段によって取得された広角画像に基づいて、複数の視線方向における所定方向視画像を歪みが補正された状態で同時に出力することができる多方向画像出力装置および多方向画像出力プログラムを提供する。 【解決手段】　二以上の視線方向における視野範囲を含む画角を有するように設置された広角撮像手段１０から広角画像を取得する広角画像取得部３３と、前記広角画像における複数の前記視野範囲の歪みをそれぞれ補正して、複数の前記視線方向のそれぞれにおける所定方向視画像を取得する所定方向視画像変換部３５と、を有する。

Description

多方向画像出力装置および多方向画像出力プログラム
　本発明は、一台の広角撮像手段によって取得された広角画像に基づいて、俯瞰視画像や水平視画像等のように、多方向からの画像を同時に出力可能な多方向画像出力装置および多方向画像出力プログラムに関するものである。
　従来、自動車等に設置したカメラによって車両の周囲を撮影し、その撮影された画像に基づいて、当該自動車を仮想的に上方から見下ろすような、いわゆる俯瞰視画像を生成する画像処理技術が提案されている（例えば、特許文献１）。
特開２０１３－７４３５０号公報
　上述した俯瞰視画像は、運転に不慣れな運転手であっても、駐車や車庫入れを安全かつスムーズに行えるようにアシストするものとして近年需要が高まっている。また、俯瞰視画像のみならず、自動車の側方を見渡すような、いわゆる水平視画像についても、通常の運転時等におけるサポートとして表示させたいという要望が存在する。
　しかしながら、俯瞰視画像および水平視画像の両方を表示させるには、垂直下方に向けたカメラと、水平方向に向けたカメラとの２台のカメラが必要となる。また、近年では、車両の周囲全体を把握できるように、車体の前後左右にカメラを設置するケースが多い。このため、上記のようなケースでは、少なくとも合計８台のカメラが必要となり、コストがかかる上、設置スペースも確保しにくいという問題がある。
　また、俯瞰視画像や水平視画像は、画角の広い広角カメラで撮影されることが多いが、当該広角カメラで撮影された画像中の立体物には歪みが発生する。このため、各画像を表示させる際には、一般的に、当該歪みを補正する画像処理が施されている。しなしながら、カメラが多くなるほど、上記画像処理に要する計算量が膨大となるため、リアルタイムでの動画像表示が困難になってしまうという問題もある。
　本発明は、このような問題点を解決するためになされたものであって、一台の広角撮像手段によって取得された広角画像に基づいて、複数の視線方向における所定方向視画像を歪みが補正された状態で同時に出力することができる多方向画像出力装置および多方向画像出力プログラムを提供することを目的としている。
　本発明に係る多方向画像出力装置は、二以上の視線方向における視野範囲を含む画角を有するように設置された広角撮像手段から広角画像を取得する広角画像取得部と、前記広角画像における複数の前記視野範囲の歪みをそれぞれ補正して、複数の前記視線方向のそれぞれにおける所定方向視画像を取得する所定方向視画像変換部と、を有する。
　また、本発明の一態様として、前記広角撮像手段は、俯瞰視に相当する俯瞰視野範囲および水平視に相当する水平視野範囲を含む画角を有するように設置されており、前記所定方向視画像変換部は、前記広角画像における前記俯瞰視野範囲の歪みを補正して俯瞰視画像を取得するとともに、前記広角画像における前記水平視野範囲の歪みを補正して水平視画像を取得してもよい。
　さらに、本発明の一態様として、前記広角画像から前記所定方向視画像へ画像変換するための変換座標テーブルを記憶する変換座標テーブル記憶部を有していてもよい。
　また、本発明の一態様として、前記広角画像から前記所定方向視画像へ画像変換するための変換座標を算出する変換座標計算部を有していてもよい。
　さらに、本発明の一態様として、前記視野範囲を任意に設定可能な視野範囲設定部を有していてもよい。
　また、本発明の一態様として、前記視野範囲内における前記所定方向視画像の視線方向を任意に設定可能な視線方向設定部を有していてもよい。
　さらに、本発明の一態様として、複数の前記広角画像から得られた水平視画像を繋ぎ合わせて水平パノラマ画像を生成するステッチング部や、複数の前記広角画像から得られた俯瞰視画像を繋ぎ合わせてアラウンドビュー画像を生成するステッチング部を有していてもよい。
　また、本発明に係る多方向画像出力プログラムは、二以上の視線方向における視野範囲を含む画角を有するように設置された広角撮像手段から広角画像を取得する広角画像取得部と、前記広角画像における複数の前記視野範囲の歪みをそれぞれ補正して、複数の前記視線方向のそれぞれにおける所定方向視画像を取得する所定方向視画像変換部と、してコンピュータを機能させる。
　本発明によれば、一台の広角撮像手段によって取得された広角画像に基づいて、複数の視線方向における所定方向視画像を歪みが補正された状態で同時に出力することができる。
本発明に係る多方向画像出力装置および多方向画像出力プログラムを搭載した自動車の第１実施形態を示す図である。 本第１実施形態の多方向画像出力装置および多方向画像出力プログラムを示すブロック図である。 俯瞰視画像および水平視画像に対して設定される視野範囲および視線方向を説明する図である。 本第１実施形態において、広角画像における複数点の座標と、画像変換後の画像における複数点の座標との対応関係を示す図である。 図４の画像変換に用いられる変換座標テーブルの一例である。 本第１実施形態の変換座標テーブルを算出する際の説明図である。 本第１実施形態において、ステッチング部により行われるアラウンドビュー画像および水平パノラマ画像の生成処理を示す概念図である。 本第１実施形態の多方向画像出力装置および多方向画像出力プログラムが実行する処理を示すフローチャートである。 本第２実施形態の多方向画像出力装置および多方向画像出力プログラムを示すブロック図である。 本第２実施形態の多方向画像出力装置および多方向画像出力プログラムが実行する処理を示すフローチャートである。 本実施例１で用いた広角画像である。 図１１の広角画像から得られた水平視画像である。 図１１の広角画像から得られた俯瞰視画像である。
　以下、本発明に係る多方向画像出力装置および多方向画像出力プログラムの一実施形態について図面を用いて説明する。
　本第１実施形態の多方向画像出力装置１Ａは、図１に示すように、自動車のサイドミラー等に設けられた広角撮像手段１０から広角画像を取得し、当該広角画像から俯瞰視画像および水平視画像という二方向からの画像を出力し、車内に設けられた表示手段１１に表示させるためのものである。以下、各構成について詳細に説明する。
　なお、以下の実施形態では、本発明に係る多方向画像出力装置１Ａおよび多方向画像出力プログラム１ａを自動車に搭載しているが、この構成に限定されるものではない。例えば、監視カメラを備えたセキュリティシステムのように、多方向からの画像を必要とする全てのシステムに適用可能である。
　広角撮像手段１０は、広角カメラ等のように広角な画角を備えたカメラによって構成されており、広角画像を撮影するものである。本第１実施形態において、広角撮像手段１０は、図１に示すように、水平視に相当する水平視野範囲および俯瞰視に相当する俯瞰視野範囲を含む画角を有するように、光軸を斜め下向きに向けた状態で設置される。
　なお、本第１実施形態では、水平視画像および俯瞰視画像という二方向からの画像を出力させるため、広角撮像手段１０を上記のように設置しているが、この構成に限定されるものではない。すなわち、広角撮像手段１０は、二以上の視線方向における視野範囲を含む画角を有するように設置されていればよい。
　また、本第１実施形態において、広角撮像手段１０は、図１に示すように、自動車の前後左右に４台設置されているが、この構成に限定されるものではなく、必要に応じて適宜増減してもよい。さらに、本発明において、広角画像とは、静止画像および動画像の双方を含む概念である。
　表示手段１１は、タッチディスプレイ等によって構成されており、俯瞰視画像や水平視画像等のように、多方向における所定方向視画像を表示するものである。本第１実施形態では、後述するとおり、複数の俯瞰視画像を繋ぎ合わせたアラウンドビュー画像や、複数の水平視画像を繋ぎ合わせた水平パノラマ画像を表示させるようになっている。
　多方向画像出力装置１Ａは、画像処理可能なコンピュータ等によって構成されており、図２に示すように、各種のデータを記憶するとともに演算処理手段３が演算処理を行う際のワーキングエリアとして機能する記憶手段２と、この記憶手段２にインストールされた多方向画像出力プログラム１ａを実行することにより、各種の演算処理を実行する演算処理手段３とを有している。以下、各構成手段について説明する。
　記憶手段２は、ハードディスク、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、フラッシュメモリ等で構成されており、図２に示すように、プログラム記憶部２１と、視野範囲記憶部２２と、視線方向記憶部２３と、変換座標テーブル記憶部２４とを有している。
　プログラム記憶部２１には、本第１実施形態の多方向画像出力装置１Ａを制御するための多方向画像出力プログラム１ａがインストールされている。そして、演算処理手段３が、当該多方向画像出力プログラム１ａを実行することにより、コンピュータを後述する各構成部として機能させるようになっている。
　なお、多方向画像出力プログラム１ａの利用形態は、上記構成に限られるものではない。例えば、ＣＤ－ＲＯＭやＵＳＢメモリ等のように、コンピュータで読み取り可能な非一時的な記録媒体に多方向画像出力プログラム１ａを記憶させておき、当該記録媒体から直接読み出して実行してもよい。また、外部サーバ等からクラウドコンピューティング方式やＡＳＰ（Application Service Provider）方式等で多方向画像出力プログラム１ａを利用してもよい。
　視野範囲記憶部２２は、表示手段１１へ出力しようとする複数の視野範囲を記憶するものである。本第１実施形態において、視野範囲記憶部２２には、図３に示すように、水平視に相当する水平視野範囲および俯瞰視に相当する俯瞰視野範囲のそれぞれが記憶されている。また、後述する視野範囲設定部３１によって、水平視野範囲および俯瞰視野範囲が任意に設定可能に構成されている。
　視線方向記憶部２３は、表示手段１１へ出力しようとする複数の視線方向を記憶するものである。本第１実施形態において、視線方向記憶部２３には、図３に示すように、水平視野範囲内における水平視画像の視線方向、および俯瞰視野範囲内における俯瞰視画像の視線方向のそれぞれが記憶されている。また、後述する視線方向設定部３２によって、水平視画像の視線方向、および俯瞰視画像の視線方向が任意に設定可能に構成されている。
　なお、本発明において、視線方向とは、視点（レンズ位置）から水平視画像や俯瞰視画像等の所定方向視画像へ下ろした垂線の方向をいうものとする。また、本第１実施形態では、水平視画像に対応する視線方向と視野範囲、および俯瞰視画像に対応する視線方向と視野範囲が設定されているが、この構成に限定されるものではない。すなわち、ユーザが必要とする任意の視線方向および視野範囲のセットを複数設定することが可能である。
　変換座標テーブル記憶部２４は、広角画像における所望の視野範囲を所定方向視画像へ画像変換するための変換座標テーブルを記憶するものである。本第１実施形態において、変換座標テーブル記憶部２４には、広角画像から水平視画像へ画像変換するための水平変換座標テーブル、および広角画像から俯瞰視画像へ画像変換するための俯瞰変換座標テーブルが記憶されている。
　例えば、図４に示すように、広角画像上に略扇形状の視野範囲（水平視野範囲または俯瞰視野範囲）が設定されている場合、当該視野範囲の外周および内部に含まれる複数点の二次元座標（Source_x,Source_y）と、歪みが補正された後の画像（水平視画像または俯瞰視画像）における複数点の二次元座標（Dest_x,Dest_y）との対応関係が、図５に示すような変換座標テーブルとして記憶される。
　なお、本第１実施形態では、水平視画像や俯瞰視画像の歪みをできるだけ低減するため、広角画像における水平視野範囲や俯瞰視野範囲が略扇形状に設定されている。しかしながら、この構成に限定されるものではなく、視野範囲は台形等に設定してもよい。また、本第１実施形態では、図４に示すように、視野範囲において格子状に配置された５６点の座標を変換させているが、この構成に限定されるものではなく、必要に応じて座標点を適宜増減してもよい。
　なお、変換座標テーブルは、様々な方法で算出することができる。例えば、本第１実施形態では、図６に示すように、俯角ψで設置された広角撮像手段１０によって広角画像を撮像し、当該広角画像上に二次元のＵＶ座標系を設定した場合、広角画像上の点（ｕ０，ｖ０）を水平視画像上の点（ｕｈ，ｖｈ）に変換するための水平変換座標テーブル、および広角画像上の点（ｕ０，ｖ０）を俯瞰視画像上の点（ｕｖ，ｖｖ）に変換するための俯瞰変換座標テーブルは、それぞれ以下のような基本式（１），（２）に、広角撮像手段１０の歪曲収差補正やアライメント補正等を加えることにより算出されている。
Figure JPOXMLDOC01-appb-I000001
　ただし、各記号は以下を表す。
　ψ：広角撮像手段の俯角
　ｕ０：広角画像上のＵ座標
　ｕｈ：水平視画像上のＵ座標
　ｕｖ：俯瞰視画像上のＵ座標
　ｖ０：広角画像上のＶ座標
　ｖｈ：水平視画像上のＶ座標
　ｖｖ：俯瞰視画像上のＶ座標
　ｗｈ：同次座標のスケーリング変数
　ｗｖ：同次座標のスケーリング変数
　ｚ０：広角画像の画角を示す正定数
　ｚｈ：水平視画像の画角を示す正定数
　ｚｖ：俯瞰視画像の画角を示す正定数
　つぎに、演算処理手段３は、ＣＰＵ（Central Processing Unit）等によって構成されており、記憶手段２にインストールされた多方向画像出力プログラム１ａを実行することにより、図２に示すように、視野範囲設定部３１と、視線方向設定部３２と、広角画像取得部３３と、視野範囲取得部３４と、所定方向視画像変換部３５と、ステッチング部３６と、画像出力部３７として機能するようになっている。以下、各構成部についてより詳細に説明する。
　視野範囲設定部３１は、出力しようとする所定方向視画像の視野範囲を任意に設定可能とするためのものである。本第１実施形態において、視野範囲設定部３１は、図３に示すように、広角撮像手段１０の画角に含まれる視野範囲内において、水平視野範囲および俯瞰視野範囲を視野角度等で設定し、視野範囲記憶部２２に記憶させるようになっている。また、例えば、図３の水平視画像に示すように、視線方向を維持したまま視野範囲を下方に拡大することも可能である。
　視線方向設定部３２は、視野範囲内における所定方向視画像の視線方向を任意に設定可能とするためのものである。本第１実施形態において、視線方向設定部３２は、図３に示すように、水平視画像および俯瞰視画像のそれぞれについて、光軸に対する傾斜角度等で視線方向を設定し、視線方向記憶部２３に記憶させるようになっている。また、例えば、図３の俯瞰視画像に示すように、視野範囲を維持したまま視線方向を地面に垂直な方向へ変更することも可能である。
　広角画像取得部３３は、広角撮像手段１０から広角画像を取得するものである。本第１実施形態では、上述したとおり、自動車の前後左右に４台の広角撮像手段１０が設けられている。このため、広角画像取得部３３は、各広角撮像手段１０によって撮影された各広角画像をリアルタイムで取得するようになっている。
　視野範囲取得部３４は、広角画像から視野範囲を取得するものである。本第１実施形態において、視野範囲取得部３４は、視野範囲記憶部２２に設定されている複数の視野範囲を参照し、各広角画像内に設定された水平視野範囲、および各広角画像内に設定された俯瞰視野範囲をそれぞれ取得するようになっている。
　所定方向視画像変換部３５は、広角画像における複数の視野範囲の歪みをそれぞれ補正して、複数の視線方向のそれぞれにおける所定方向視画像を取得するものである。本第１実施形態において、所定方向視画像変換部３５は、変換座標テーブル記憶部２４に記憶されている変換座標テーブルを用いて、視野範囲取得部３４によって取得された水平視野範囲および俯瞰視野範囲のそれぞれを画像変換し、水平視画像および俯瞰視画像のそれぞれを取得するようになっている。
　なお、本第１実施形態では、マルチタスク処理可能な演算処理手段３を使用しているため、所定方向視画像変換部３５が同時並行で画像変換処理を実行し、水平視画像および俯瞰視画像を同時に出力していたが、この構成に限定されるものではない。すなわち、所定方向視画像変換部３５による処理速度を高速化し、水平視画像および俯瞰視画像を交互出力するようにしてもよい。
　ステッチング部３６は、複数の入力画像をステッチングして一つの画像を出力するものである。本第１実施形態では、４台の広角撮像手段１０によって前後左右位置の広角画像が取得される。このため、ステッチング部３６は、複数の広角画像から得られた前後左右位置の水平視画像を繋ぎ合わせて水平パノラマ画像を生成する。また、ステッチング部３６は、図７に示すように、当該複数の広角画像から得られた前後左右位置の俯瞰視画像を繋ぎ合わせてアラウンドビュー画像を生成するようになっている。なお、本第１実施形態において、ステッチング部３６は、水平パノラマ画像とアラウンドビュー画像を両方生成しているが、この構成に限定されるものではなく、いずれか一方のみを生成してもよい。
　画像出力部３７は、ステッチング部３６によって生成されたアラウンドビュー画像および水平パノラマ画像を表示手段１１へ出力し、表示させるものである。なお、本第１実施形態では、ステッチング部３６によって、アラウンドビュー画像および水平パノラマ画像を生成しているが、この構成に限定されるものではない。すなわち、単一の広角画像から得られた水平視画像や俯瞰視画像のみを表示させる場合には、ステッチング部３６を設ける必要はない。また、この場合、画像出力部３７は、当該水平視画像および当該俯瞰視画像のみを出力することとなる。
　つぎに、本第１実施形態の多方向画像出力装置１Ａおよび多方向画像出力プログラム１ａによる作用について説明する。なお、図８のフローチャートでは、所定方向視画像として、水平視画像および俯瞰視画像の２方向からの画像を出力する場合について説明する。
　本第１実施形態の多方向画像出力装置１Ａおよび多方向画像出力プログラム１ａによって、水平視画像および俯瞰視画像のように、多方向からの所定方向視画像を表示させる場合、事前設定として、視野範囲設定部３１によって水平視野範囲および俯瞰視野範囲を予め設定しておく。また、視線方向設定部３２によって、水平視画像および俯瞰視画像における所望の視線方向を予め設定しておく。これにより、ユーザが必要とする視野範囲や視線方向が適宜設定される。
　つぎに、図８に示すように、広角画像取得部３３が、各広角撮像手段１０から各広角画像を取得する（ステップＳ１）。このとき、各広角撮像手段１０は、水平視野範囲および俯瞰視野範囲を含む画角を有するように設置されている。このため、視野範囲取得部３４が、各広角画像から水平視野範囲および俯瞰視野範囲を確実に取得する（ステップＳ２）。
　つづいて、所定方向視画像変換部３５が、各広角画像における水平視野範囲の歪みを補正して水平視画像を取得すると同時に（ステップＳ３）、各広角画像における俯瞰視野範囲の歪みを補正して俯瞰視画像を取得する（ステップＳ４）。これにより、歪みが補正された状態の水平視画像および俯瞰視画像が同時に取得される。また、本第１実施形態では、予め変換座標テーブルを算出して変換座標テーブル記憶部２４に記憶させているため、画像処理速度が高速化する。
　つぎに、ステッチング部３６が、水平視画像および俯瞰視画像のそれぞれについて複数の画像を連続的に結合する、いわゆるステッチング処理を実行する（ステップＳ５）。これにより、各水平視画像からは、自動車の周囲全体を略水平方向に見渡すことができる水平パノラマ画像が生成されるため、通常走行時等に一目で周囲を確認しうるようにサポートする。また、各俯瞰視画像からは、自動車の周囲全体を上方から俯瞰視しうるアラウンドビュー画像が生成されるため、運転に不慣れな運転手が駐車や車庫入れを安全かつスムーズに行えるようにアシストする。
　ステッチング部３６により生成された水平パノラマ画像およびアラウンドビュー画像は、画像出力部３７によって表示手段１１へ出力される（ステップＳ６）。これにより、少ない広角撮像手段１０しか設置されていなくても、表示手段１１にはリアルタイムで水平パノラマ画像およびアラウンドビュー画像が同時に表示される。その後、多方向画像表示機能がＯＦＦされない限り（ステップＳ７）、上述したステップＳ１～Ｓ６に係る処理が繰り返し実行される。
　以上のような本第１実施形態の多方向画像出力装置１Ａおよび多方向画像出力プログラム１ａによれば、以下のような効果を奏する。
１．一台の広角撮像手段１０によって取得された広角画像に基づいて、複数の視線方向における所定方向視画像を歪みが補正された状態で同時に出力することができる。
２．予め変換座標テーブルを記憶させておくことにより、画像処理速度を高速化することができる。
３．複数の所定方向視画像のそれぞれについて、所望の視野範囲や視線方向を適宜設定することができる。
４．水平パノラマ画像およびアラウンドビュー画像を表示して、自動車の運転手を効果的にアシストすることができる。
　つぎに、本発明に係る多方向画像出力装置および多方向画像出力プログラムの第２実施形態について説明する。なお、本第２実施形態のうち、上述した第１実施形態の構成およびステップと同一若しくは相当する構成およびステップについては、同一の符号を付して再度の説明を省略する。
　上述した第１実施形態では、広角画像から水平視画像および俯瞰視画像へ画像変換するための変換座標テーブルを予め変換座標テーブル記憶部２４に格納していた。これに対して、本第２実施形態の特徴は、事前に変換座標テーブルを保持することなく、画像変換処理を実行するたびに当該変換座標を内部で算出する点にある。
　具体的には、本第２実施形態の多方向画像出力装置１Ｂは、図９に示すように、第１実施形態における変換座標テーブル記憶部２４を有しておらず、別途、変換座標を算出する変換座標計算部３８を有している点で、第１実施形態の多方向画像出力装置１Ａと異なっている。
　変換座標計算部３８は、広角画像から所定方向視画像へ画像変換するための変換座標を算出するものである。本第２実施形態において、変換座標計算部３８は、図１０に示すように、視野範囲取得部３４が、各広角画像から水平視野範囲および俯瞰視野範囲を取得するたびに（ステップＳ２）、変換座標を内部で算出するようになっている（ステップＳ８）。そして、所定方向視画像変換部３５は、当該算出された変換座標を用いて画像変換処理を実行する（ステップＳ３，Ｓ４）。これにより、視野範囲や視線方向の設定が変更された場合であっても、当該設定に応じた変換座標が直ちに取得されることとなる。
　以上のような本第２実施形態の多方向画像出力装置１Ｂおよび多方向画像出力プログラム１ｂによれば、第１実施形態の効果に加えて、視野範囲や視線方向の設定が変更された場合にも、別途、変換座標テーブルを予め用意する必要が無く、直ちに水平視画像や俯瞰視画像のような多方向からの所定方向視画像を出力することができるという効果を奏する。
　つぎに、本発明に係る多方向画像出力装置および多方向画像出力プログラムの実施例について説明する。なお、本発明の技術的範囲は、以下の実施例によって示される特徴に限定されるものではない。
　本実施例１では、上述した第１実施形態の多方向画像出力装置１Ａおよび多方向画像出力プログラム１ａを用いて、１枚の広角画像から水平視画像および俯瞰視画像を出力する実験を行った。
　具体的には、まず、水平視野範囲および俯瞰視野範囲を含む画角を有するように、光軸を斜め下向きに向けた状態で広角カメラを設置した。そして、当該広角カメラを用いて、図１１に示すような広角画像を撮影した。
　つぎに、多方向画像出力装置１Ａに当該広角画像を取り込んだ後、図１１に示すように、略扇形状に設定した水平視野範囲および俯瞰視野範囲を取得させた。そして、図５で例示した変換テーブルを用いて水平視野範囲を画像変換させることにより、図１２に示すような水平視画像が出力された。同様に、俯瞰視野範囲を画像変換させることにより、図１３に示すような俯瞰視画像が出力された。
　本実施例１の結果、広角画像では、図１１に示すように、上方のバスが扇形状に歪んでおり、下方の縁石は傾斜されていた。これに対し、本第１実施形態の多方向画像出力装置１Ａを用いて、当該広角画像から取得された水平視画像および俯瞰視画像においては、図１２および図１３に示すように、歪みが補正されており、違和感がなく視認しやすい画像となっていた。
　以上の本実施例１によれば、１枚の広角画像から歪みが補正された水平視画像と歪みが補正された俯瞰視画像とを同時に取得できることが示された。
　なお、本発明に係る多方向画像出力装置および多方向画像出力プログラムは、前述した実施形態に限定されるものではなく、適宜変更することができる。
　例えば、上述した各実施形態では、視野範囲設定部３１および視線方向設定部３２を設け、視野範囲や視線方向を任意に設定可能に構成していたが、この構成に限定されるものではない。すなわち、視野範囲や視線方向を変更する必要がなく固定してもよいシステムにおいては、視野範囲設定部３１および視線方向設定部３２を設ける必要はない。
　また、上述した各実施形態では、水平パノラマ画像およびアラウンドビュー画像を生成するステッチング部３６を有していたが、この構成に限定されるものではない。すなわち、各画像同士をステッチングする必要がない場合や、一つの広角画像から得られた水平視画像や俯瞰視画像のみで十分な場合には、ステッチング部３６を設ける必要はない。
　１Ａ，１Ｂ　多方向画像出力装置
　１ａ，１ｂ　多方向画像出力プログラム
　２　記憶手段
　３　演算処理手段
　１０　広角撮像手段
　１１　表示手段
　２１　プログラム記憶部
　２２　視野範囲記憶部
　２３　視線方向記憶部
　２４　変換座標テーブル記憶部
　３１　視野範囲設定部
　３２　視線方向設定部
　３３　広角画像取得部
　３４　視野範囲取得部
　３５　所定方向視画像変換部
　３６　ステッチング部
　３７　画像出力部
　３８　変換座標計算部

Claims (9)

  1. 　二以上の視線方向における視野範囲を含む画角を有するように設置された広角撮像手段から広角画像を取得する広角画像取得部と、
    　前記広角画像における複数の前記視野範囲の歪みをそれぞれ補正して、複数の前記視線方向のそれぞれにおける所定方向視画像を取得する所定方向視画像変換部と、
    　を有する、多方向画像出力装置。
  2. 　前記広角撮像手段は、俯瞰視に相当する俯瞰視野範囲および水平視に相当する水平視野範囲を含む画角を有するように設置されており、
    　前記所定方向視画像変換部は、前記広角画像における前記俯瞰視野範囲の歪みを補正して俯瞰視画像を取得するとともに、前記広角画像における前記水平視野範囲の歪みを補正して水平視画像を取得する、請求項１に記載の多方向画像出力装置。
  3. 　前記広角画像から前記所定方向視画像へ画像変換するための変換座標テーブルを記憶する変換座標テーブル記憶部を有している、請求項１または請求項２に記載の多方向画像出力装置。
  4. 　前記広角画像から前記所定方向視画像へ画像変換するための変換座標を算出する変換座標計算部を有している、請求項１または請求項２に記載の多方向画像出力装置。
  5. 　前記視野範囲を任意に設定可能な視野範囲設定部を有している、請求項１から請求項４のいずれかに記載の多方向画像出力装置。
  6. 　前記視野範囲内における前記所定方向視画像の視線方向を任意に設定可能な視線方向設定部を有している、請求項１から請求項５のいずれかに記載の多方向画像出力装置。
  7. 　複数の前記広角画像から得られた水平視画像を繋ぎ合わせて水平パノラマ画像を生成するステッチング部を有している、請求項２に記載の多方向画像出力装置。
  8. 　複数の前記広角画像から得られた俯瞰視画像を繋ぎ合わせてアラウンドビュー画像を生成するステッチング部を有している、請求項２または請求項７に記載の多方向画像出力装置。
  9. 　二以上の視線方向における視野範囲を含む画角を有するように設置された広角撮像手段から広角画像を取得する広角画像取得部と、
    　前記広角画像における複数の前記視野範囲の歪みをそれぞれ補正して、複数の前記視線方向のそれぞれにおける所定方向視画像を取得する所定方向視画像変換部と、
    　してコンピュータを機能させる、多方向画像出力プログラム。
PCT/JP2016/056209 2015-03-02 2016-03-01 多方向画像出力装置および多方向画像出力プログラム WO2016140212A1 (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2015-039731 2015-03-02
JP2015039731 2015-03-02
JP2015-200967 2015-10-09
JP2015200967A JP2016167792A (ja) 2015-03-02 2015-10-09 多方向画像出力装置および多方向画像出力プログラム

Publications (1)

Publication Number Publication Date
WO2016140212A1 true WO2016140212A1 (ja) 2016-09-09

Family

ID=56848685

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/056209 WO2016140212A1 (ja) 2015-03-02 2016-03-01 多方向画像出力装置および多方向画像出力プログラム

Country Status (1)

Country Link
WO (1) WO2016140212A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012065228A (ja) * 2010-09-17 2012-03-29 Fujitsu Ten Ltd 画像処理装置、画像表示システム及び画像表示方法
JP2013211035A (ja) * 2013-05-20 2013-10-10 Denso Corp 車両周辺表示装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012065228A (ja) * 2010-09-17 2012-03-29 Fujitsu Ten Ltd 画像処理装置、画像表示システム及び画像表示方法
JP2013211035A (ja) * 2013-05-20 2013-10-10 Denso Corp 車両周辺表示装置

Similar Documents

Publication Publication Date Title
JP4257356B2 (ja) 画像生成装置および画像生成方法
KR101150546B1 (ko) 차량의 주변감시장치
JP4642723B2 (ja) 画像生成装置および画像生成方法
CN107660337B (zh) 用于从鱼眼摄像机产生组合视图的系统及方法
JP5739584B2 (ja) 車両周辺視角化のための３次元映像合成装置およびその方法
JP5966341B2 (ja) 画像処理装置、画像処理方法、画像処理装置用プログラム、画像表示装置
US9196022B2 (en) Image transformation and multi-view output systems and methods
JP5523730B2 (ja) 車載周辺画像表示装置
KR101407806B1 (ko) 화상생성장치 및 조작지원 시스템
JP2013110712A5 (ja)
KR101418664B1 (ko) 화상생성장치 및 조작지원 시스템
JP2006100965A (ja) 車両の周辺監視システム
CN106855999A (zh) 汽车环视图像的生成方法及装置
JPWO2018221209A1 (ja) 画像処理装置、画像処理方法、及び、プログラム
JP6874850B2 (ja) 物体検知装置、物体検知方法、及びプログラム
JP5861871B2 (ja) 俯瞰画像提示装置
JP2018030526A (ja) 車両用視認装置及び車両用視認画像表示方法
JP2009123131A (ja) 撮像装置
JP2016167792A (ja) 多方向画像出力装置および多方向画像出力プログラム
US20100283864A1 (en) Image processing system
WO2016140212A1 (ja) 多方向画像出力装置および多方向画像出力プログラム
JP2009044597A (ja) 広角画像取得装置
JP5049304B2 (ja) 車両の周辺を画像表示するための装置
CN102291573A (zh) 一种工程机械全景作业监视方法及系统
JP2005167309A (ja) 運転支援装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16758905

Country of ref document: EP

Kind code of ref document: A1

DPE1 Request for preliminary examination filed after expiration of 19th month from priority date (pct application filed from 20040101)
NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16758905

Country of ref document: EP

Kind code of ref document: A1