WO2012144452A1 - 画像表示装置および画像表示方法 - Google Patents

画像表示装置および画像表示方法 Download PDF

Info

Publication number
WO2012144452A1
WO2012144452A1 PCT/JP2012/060242 JP2012060242W WO2012144452A1 WO 2012144452 A1 WO2012144452 A1 WO 2012144452A1 JP 2012060242 W JP2012060242 W JP 2012060242W WO 2012144452 A1 WO2012144452 A1 WO 2012144452A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
unit
display device
horizontally
area
Prior art date
Application number
PCT/JP2012/060242
Other languages
English (en)
French (fr)
Inventor
忠夫 森下
Original Assignee
シャープ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by シャープ株式会社 filed Critical シャープ株式会社
Publication of WO2012144452A1 publication Critical patent/WO2012144452A1/ja

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/26—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the rear of the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/60—Rotation of whole images or parts thereof
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/14—Display of multiple viewports
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8066—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring rearward traffic
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/0492—Change of orientation of the displayed image, e.g. upside-down, mirrored
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/12—Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/14—Solving problems related to the presentation of information to be displayed
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2380/00—Specific applications
    • G09G2380/10—Automotive applications

Definitions

  • the present invention relates to an image display device and an image display method, and more particularly to an image display device and an image display method for displaying an image photographed by photographing means such as a camera.
  • Patent Document 1 a device for displaying a guide index serving as a guide for a distance from a vehicle or a traveling direction is devised.
  • a driving support device is disclosed in which a driver can arbitrarily set a display position of a guide index displayed superimposed on an image obtained by photographing the rear side of a car.
  • the present invention has been made in view of the above-described problems, and the object of the present invention is to display a character string displayed on the image when the image captured by a photographing unit such as a camera is displayed horizontally reversed.
  • An object of the present invention is to provide an image display device and an image display method that enable correct reading.
  • an image display device includes a photographing device, a detection unit that detects a square area including a character string from a photographed image photographed by the photographing device, and the photographing
  • a horizontally reversed image creating unit that creates a horizontally reversed image obtained by horizontally inverting an image
  • a specifying unit that identifies a corresponding region corresponding to the rectangular region in the horizontally reversed image, and a region corresponding to the rectangular region from the captured image.
  • the character recognition is not performed by a device such as a character recognition device, it is unlikely that the viewer erroneously recognizes the contents of the character string. Even if the character string portion of the quadrangular region is an unclear image, it is easier for the viewer to perceive the image as a picture, and there is a possibility that it can be remembered later.
  • an image display device that allows a character string displayed in an image to be read correctly when the image captured by a capturing unit such as a camera is displayed horizontally reversed. can do.
  • an image display method detects a rectangular region including a character string from a step of photographing by a photographing device and a photographed image photographed by the photographing device.
  • the method includes a step of creating a superimposed image and a step of displaying the superimposed image.
  • the image display device when the image captured by the image capturing device is reversed left and right, only the quadrangular region including the character string that is reflected in the image is not horizontally reversed. Therefore, the character string described in the rectangular area can be easily recognized. Therefore, when using an image obtained by horizontally inverting an image captured by the image capturing device, it is possible to easily recognize the contents of the character string described in the rectangular area while using the horizontally reversed image.
  • FIG. 1 is a block diagram illustrating a schematic configuration of an image processing apparatus according to an embodiment of the present invention.
  • 1 is a block diagram illustrating a schematic configuration of an image display device according to an embodiment of the present invention. It is the schematic at the time of mounting the image display apparatus which concerns on one Embodiment of this invention in a motor vehicle. It is the schematic at the time of sharing the display apparatus which concerns on one Embodiment of this invention with the display of a car navigation system.
  • (A) in a figure is a figure which shows the left-right reversed image produced by the conventional image processing apparatus,
  • (b) in the figure was produced by the image processing apparatus which concerns on one Embodiment of this invention. It is a figure which shows a left-right reverse image.
  • FIG. 1 It is a figure for demonstrating the image processing by the image processing apparatus which concerns on one Embodiment of this invention. It is a figure which shows the flow of the image processing by the image processing apparatus which concerns on one Embodiment of this invention.
  • (A) in the figure is a diagram showing a photographed image and a horizontally reversed image
  • (b) in the figure is a diagram showing an image before correcting the image of the plate on which the character string is described
  • (C) in a figure is a figure which shows the image after correct
  • (A) in a figure is a figure which shows the mirror image currently reflected on the mirror
  • (b) in the figure shows the right-left inverted image created by the image processing apparatus which concerns on one Embodiment of this invention.
  • the image display device according to the present embodiment can be used to display the back of a car, or can be used instead of a mirror installed in front of a customer in a beauty salon or the like.
  • the image display device according to the present embodiment will be described by taking as an example the case where the image display device is used to display the rear of the automobile.
  • FIG. 2 is a block diagram showing a schematic configuration of the image processing apparatus according to the present embodiment.
  • FIG. 3 is a schematic diagram when the image display device 1 according to the present embodiment is mounted on an automobile 12.
  • FIG. 4 is a schematic diagram when the display device 4 according to the present embodiment is shared with the display of the car navigation system.
  • the image display device 1 includes a photographing device 2, an image processing device 3, and a display device 4.
  • the imaging device 2 is installed behind the automobile 12 and is an imaging means for imaging the rear of the automobile 12.
  • a small camera or the like can be used as the photographing device 2, it is a camera equipped with a lens having an angle of view that allows a driver to view a range that can be viewed with a conventional rearview mirror. It is preferable.
  • the image processing device 3 is a device that processes an image captured by the image capturing device 2 and displays the image on the display device 4. The function and configuration of the image processing device 3 will be described in detail later.
  • the image processing device 3 is incorporated in the car navigation system.
  • the display device 4 is a device that displays an image subjected to image processing by the image processing device 3.
  • the display device 4 is preferably mounted at a position where the driver can check the rear image of the automobile 12 while driving.
  • the display device 4 is shared with the display device of the car navigation system described above. May be.
  • a conventional rearview mirror or room mirror provided in front of the interior of the automobile 12 may be replaced with the display device 4.
  • the image display device 1 is used to display on the display device 4 an image obtained by imaging the rear of the automobile 12 by the imaging device 2 and image-processing by the image processing device 3. Is.
  • the captured image is reversed left and right (in order to make the positional relationship of the objects displayed in the image displayed on the display device 4 the same as when the driver looks at the rearview mirror. That is, a process of rotating the photographed image by 180 ° about the center line of the photographed image is performed.
  • FIG. 5 shows a horizontally reversed image created by a conventional image processing apparatus and a horizontally reversed image created by the image processing apparatus 3 according to the present embodiment.
  • (A) in FIG. 5 is a diagram showing a horizontally reversed image created by a conventional image processing apparatus
  • (b) in FIG. 5 is a diagram showing a horizontally reversed image created by the image processing apparatus 3. It is.
  • the conventional image processing apparatus inverts the image captured by the image capturing apparatus as it is, so that the number plate 9 of the automobile shown in the image is also horizontally inverted. Therefore, it is difficult to instantly recognize the character string written on the license plate 9 of the automobile.
  • FIG. 5B when the image processing device 3 horizontally inverts the image captured by the image capturing device 2, only the vehicle license plate 9 shown in the image is horizontally inverted. Absent. Therefore, the character string described on the license plate 9 of the automobile can be easily recognized. Therefore, the driver can easily confirm the rear of the automobile 12 and can easily recognize the character string written on the license plate 9 of the automobile shown in the image.
  • FIG. 1 is a block diagram illustrating a schematic configuration of the image processing apparatus 3.
  • the image processing apparatus 3 includes a license plate detection unit 5 (detection unit), a horizontally reversed image creation unit 6 (reverse image creation unit), a correction unit 7 (cutout unit, identification unit), and a superimposition. Part 8. The function of each member will be described with reference to FIG. FIG. 6 is a diagram for explaining image processing by the image processing apparatus 3.
  • the license plate detector 5 detects the license plate 9 shown in the image taken by the photographing device 2.
  • the detection means that the license plate 9 shown in the photographed image is detected and the position thereof is specified.
  • a detection method of the license plate 9 a known method can be used. For example, you may use the sensor which detects the square area
  • the left / right reversed image creation unit 6 creates an image obtained by horizontally flipping an image captured by the photographing apparatus.
  • Information on the license plate 9 detected by the license plate detection unit 5 for example, position information such as position coordinates on the captured image
  • the horizontally reversed image created by the horizontally reversed image creating unit 6 are output to the correcting unit 7.
  • the A photographed image is also output from the photographing device 2 to the correction unit 7.
  • the correction unit 7 cuts out an image (rectangular region image) of the license plate 9 from the photographed image based on the information of the license plate 9 detected by the license plate detection unit 5 and also applies the license plate 9 to the license plate 9 in the horizontally reversed image.
  • a corresponding portion hereinafter referred to as a reverse corresponding portion (corresponding region) is specified.
  • an image (hereinafter referred to as a corrected image) is created by correcting the shape of the extracted license plate 9 to the shape of the inversion corresponding portion based on the inversion corresponding portion.
  • the correction unit 7 causes the point (x 1 , y 1 ) and the point (x 3 .
  • the slope of the line segment connecting y 3 ) is the slope of the line segment connecting the point (x 2 ′, y 2 ′) and the point (x 4 ′, y 4 ′) of the license plate 9 in the horizontally reversed image. Correct as follows. A more detailed correction method will be described later, but the other three sides are similarly corrected.
  • the corrected image of the license plate 9 created by the correcting unit 7 is output to the superimposing unit 8.
  • position information for example, position coordinates
  • the horizontally reversed image created by the horizontally reversed image creating unit 6 is also output to the superimposing unit 8, and the superimposing unit 8 performs a process of superimposing the correction image of the license plate 9 on the horizontally reversed image.
  • the correction image of the license plate 9 is superimposed on the inversion corresponding portion in the left-right inverted image.
  • the image (superimposed image) created by the superimposing unit 8 is output to the display device 4 and displayed.
  • FIG. 7 is a diagram showing a flow of image processing by the image processing apparatus 3.
  • the image processing apparatus 3 acquires a captured image from the imaging apparatus 2 (step 1; hereinafter abbreviated as S1).
  • the captured image from the imaging device 2 is output to the license plate detection unit 5, the left / right inverted image creation unit 6, and the correction unit 7 of the image processing device 3.
  • the left-right inverted image creation unit 6 that has received the photographed image creates an image obtained by horizontally inverting the photographed image (S2).
  • the horizontally reversed image created by the horizontally reversed image creating unit 6 is output to the correcting unit 7 and the superimposing unit 8.
  • the license plate detection unit 5 that has received the photographed image detects the license plate 9 shown in the photographed image, and specifies position information such as position coordinates on the photographed image (S3).
  • the position information of the license plate 9 detected by the license plate detection unit 5 is output to the correction unit 7.
  • the correction unit 7 cuts out the image of the license plate 9 detected from the photographed image based on the information from the license plate detection unit 5 (S4).
  • the correction unit 7 performs a process of correcting the inclination of the image of the extracted license plate 9 (S5). Specifically, this will be described with reference to FIG. (A) in FIG. 8 is a diagram showing a photographed image and a horizontally reversed image, and (b) in FIG. 8 is a diagram showing an image before correcting the image of the plate on which the character string is described. FIG. 8C is a diagram showing an image after correcting the image of the plate on which the character string is described.
  • the position information of the license plate 9 is sent from the license plate detection unit 5 to the correction unit 7, based on the position information, a position corresponding to the number plate 9 (reversal corresponding position) in the horizontally reversed image is displayed. Can be identified. Therefore, for example, it is assumed that a photographed image and a horizontally reversed image as shown in FIG.
  • the position of the plate (rectangle ABCD) shown in (a) in FIG. 8 can be specified, the position of the plate (rectangle A′B′C′D ′) after horizontal reversal is uniquely determined.
  • the shape of the quadrangle ABCD is corrected to the shape of the quadrangle A′B′C′D ′ based on the identified position of the horizontally inverted plate (rectangle A′B′C′D ′). Specifically, the shape of the quadrangle A′B′C′D ′ is first identified from the identified position of the plate after left-right reversal. Therefore, the shape of the quadrangle ABCD is projected onto the shape of the specified quadrangle A′B′C′D ′. More specifically, the pixels included in the line segment a 1 d 1 of the quadrangle ABCD shown in (b) of FIG. 8 are represented by the line segment of the quadrangle A′B′C′D ′ shown in (c) of FIG.
  • the line segment a ′ 1 d ′ 1 coincides with the position of the side B′C ′ of the quadrangle A′B′C′D ′.
  • the pixels included in the line segment a 2 d 2 obtained by shifting the line segment a 1 d 1 by the minute amount ⁇ along the line segment AB are converted into line segments a ′ 2 d along the line segment a ′ 1 d ′ 1.
  • the shift amount from the line segment a ′ 1 d ′ 1 to the line segment a ′ 2 d ′ 2 is equal to ⁇ due to the symmetry of the rectangle ABCD and the rectangle A′B′C′D ′.
  • the correction unit 7 divides the pixels included in the rectangle ABCD into a plurality of pixel groups along the side AD, and changes the order in which the pixel groups are arranged. And project along the side B′C ′ of the quadrangle A′B′C′D ′.
  • the shape of the plate is changed from the rectangle ABCD to the rectangle A′B′C ′ without horizontally inverting the character “A” written on the plate (rectangle ABCD). It can be corrected to D ′.
  • the corrected image created in this way is output to the superimposing unit 8.
  • the specified plate after left-right reversal that is, the position information of the reversal corresponding portion is also output to the superimposing unit 8.
  • the superimposing unit 8 that has received the corrected image performs a process of superimposing the corrected image on the inversion-corresponding portion of the horizontally reversed image received in advance based on the position information of the inversion-corresponding portion (S6).
  • a horizontally reversed image is created in which the corrected image that has not been horizontally reversed is superimposed on the reversal corresponding portion of the horizontally reversed image.
  • the superimposing unit 8 uses a horizontally reversed image in which the corrected image of the license plate 9 that has already been corrected is superimposed. Therefore, the newly corrected correction image of the license plate 9 is superimposed on the left-right inverted image in which the correction image of the license plate 9 that has already been corrected is superimposed. Finally, a horizontally reversed image is obtained in which the corrected images of all license plates 9 detected by the license plate detector 5 are superimposed.
  • the correction unit 7 divides the pixels included in the quadrilateral ABCD into a plurality of pixel groups along one side of the four sides constituting the quadrilateral ABCD.
  • each pixel group is arranged along the side having the same relative position as the relative position of the one side in the quadrangle ABCD. Projection can be done without changing the order.
  • Each pixel group is projected without changing the order in which the pixel groups are arranged.
  • a character recognition device or the like recognizes characters on a car license plate 9 shown in an image taken by a photographing device, and displays the characters as character information on a horizontally reversed image. is there.
  • this method has the following problems.
  • the number plate 9 is attached in a fixed position, and humans naturally understand it. Therefore, humans naturally see the license plate 9 when they are drowned. Therefore, there is a high possibility that the characters on the license plate 9 are overlooked even if they are displayed. In particular, if characters of a plurality of license plates 9 are displayed on the image, the possibility of being overlooked further increases. Further, since the characters on the license plate 9 are recognized by a device such as a character recognition device, the characters on the license plate 9 may be erroneously recognized.
  • the image display device 1 Compared with this, in the image display device 1 according to the present embodiment, only the license plate 9 of the automobile shown in the horizontally reversed image is not horizontally reversed. Can be recognized. This allows the characters on the license plate 9 to be recognized naturally even when a plurality of automobiles are shown in the horizontally reversed image. Further, since character recognition by a device such as a character recognition device is not performed, it is unlikely that the driver will erroneously recognize the characters on the license plate 9. And even if the character string portion of the license plate 9 is an unclear image, it is easier for the driver to perceive the image as a picture, and there is a possibility that it can be remembered later.
  • FIG. 10 is a diagram showing a mirror image projected on a mirror
  • FIG. 10 is a diagram showing a horizontally reversed image created by the image processing device 3.
  • a large display device 4 is disposed at the position of the mirror and is positioned in front of the display surface of the display device 4.
  • a photographing device 2 for photographing a customer 11 (person) is installed in the vicinity of the display device 4.
  • the image processing device 3 performs the same processing as when the image display device 1 is mounted on the automobile 12. That is, when an image obtained by reversing the image captured by the image capturing device 2 is created, the same processing as that for creating an image that is not reversed horizontally is performed only for the car license plate 9 shown in the image.
  • the license plate detection unit 5 detects a sticker 10 such as an advertisement shown in an image taken by the photographing device 2. Therefore, it functions as a sticker detection unit.
  • detecting means detecting the sticker 10 shown in the photographed image and specifying its position.
  • the detection method of the sticker paper 10 a known method can be used, and the same detection method as the license plate 9 can be used.
  • the correction unit 7 creates an image (corrected image) in which the detected shape of the tension paper 10 is corrected to the shape of the portion corresponding to the tension paper 10 (reversal corresponding portion) in the horizontally reversed image. Then, the correction image of the sticker 10 created by the correction unit 7 is superimposed on the reversal-corresponding portion in the horizontally reversed image by the superimposing unit 8. As a result, it is possible to create a horizontally reversed image in which only the tension paper 10 is not horizontally reversed.
  • the image created by the superimposing unit 8 is output to the display device 4 and displayed in front of the customer 11.
  • the image processing device 3 flips the image captured by the photographing device 2 left and right, only the sticker 10 shown in the image is not reversed left and right. Therefore, the customer 11 can easily recognize the character string written on the sticker 10.
  • the portions other than the sticker 10 are horizontally reversed. Therefore, the customer 11 can use the image displayed on the display device 4 as a mirror, and can easily recognize the contents of the sticker 10 such as an advertisement shown in the image.
  • the correction unit includes a plurality of pixels along one side of the four sides constituting the quadrangular region as pixels included in the quadrangular region image.
  • the pixel groups are arranged in an order in which the pixel groups are arranged along the side having the same relative position as the relative position of the one side in the rectangular area. It is characterized by projecting without changing.
  • the photographing device is installed behind the automobile and photographs the rear of the automobile, and the rectangular area is different from the automobile. It is characterized by being an automobile license plate.
  • the driver when the driver checks backward using an image obtained by horizontally inverting the image captured by the imaging device, only the number plate portion can use an image that is not horizontally reversed. For this reason, even in the case of an emergency such as an accident, it is possible to easily recognize the license plate characters from the horizontally reversed image even when it is desired to recognize the characters on the license plate of the automobile shown in the displayed image. Therefore, the driver can easily check the rear of the vehicle and can easily recognize the character string written on the license plate of the vehicle shown in the image.
  • the imaging device is installed in the vicinity of the display device and images a person located in front of the display surface of the display device.
  • the region is characterized by being a sticker.
  • the image display device can be used to display the back of a car, or can be used instead of a mirror installed in front of a customer in a beauty salon or the like.
  • the present invention can be applied to a case where an image captured by a photographing unit such as a camera is displayed in a horizontally reversed manner and a character string displayed in the image is displayed without being horizontally reversed.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Computer Hardware Design (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Image Processing (AREA)

Abstract

　画像処理装置（３）は、ナンバープレート検出部（５）、左右反転画像作成部（６）、補正部（７）、および、重畳部（８）を有している。ナンバープレート検出部（５）は、撮影装置が撮影した画像に映っているナンバープレートを検出する。一方、左右反転画像作成部（６）は、撮影装置が撮影した画像を左右反転させた画像を作成する。補正部（７）では、ナンバープレート検出部（５）が検出したナンバープレートの形状を、左右反転画像においてそのナンバープレートに対応する箇所の形状に射影した画像を作成する。補正部（７）が作成した画像は重畳部（８）に出力され、左右反転画像に重ね合わせられる。重畳部（８）が作成した画像はディスプレイ装置に出力され、表示される。

Description

画像表示装置および画像表示方法
　本発明は、画像表示装置および画像表示方法に関し、特に、カメラ等の撮影手段で撮影した画像を表示するための画像表示装置および画像表示方法に関する。
　従来、自動車の後方および斜め後方を確認する手段として、自動車の室内前方に設けられたバックミラーまたは自動車前方の両サイドに設けられたサイドミラーがある。このような後方確認方法は日常的に運転者が行うものであり、運転技術として身についているものであるが、バックミラーあるいはサイドミラーを見るためには、視線の方向を大きく変えなければならず、慎重な行動が必要であった。
　そこで、視線を大きく動かさずにすむように、自動車の後方に設置したカメラ等の撮影手段で撮影した画像を自動車の室内のディスプレイに表示させる技術が開発されている。このように、自動車の後方を撮影した画像を室内のディスプレイに表示することによって、運転者は視線の方向を大きく動かさずに自動車の後方確認を容易に行うことができる。
　自動車の後方を撮影した画像を表示する技術は実用化されつつあり、この技術をより実用的にするための工夫が近年ではなされている。例えば、特許文献１には、自動車からの距離あるいは進行方向の目安となるガイド指標を表示する工夫がなされている。具体的には、運転者は自動車の後側方を撮影した画像に重畳して表示されるガイド指標の表示位置を任意に設定することができるような運転支援装置が開示されている。このように運転者が運転しやすい位置にガイド指標を表示させることにより、運転の安心感を向上させ、運転のフィーリングを高めることができる。
日本国公開特許公報「特開２０１０－３９９５３号公報（２０１０年２月１８日公開）」
　運転者が前方を向いたまま後方を確認するための画像においては、バックミラーを見るときと違和感がないように、自動車の後方から撮影した画像を左右反転させた鏡像を表示するのが一般的である。したがって、事故等の緊急の際に、表示されている画像に映った自動車のナンバープレート等の文字を認識したくても、左右に反転しているため判断が困難であったり、誤認しやすかったりするという問題がある。例えば、ナンバープレートに「８８０１」と記載されていても、左右反転した画像を見た場合、ナンバープレートの文字列を「１０８８」と誤認してしまう虞がある。
　このような問題は自動車に限らない。例えば美容室等では、客は目の前に設置されている鏡越しにものを見る機会が多い。そのため、美容室の壁等に広告等の張り紙が設置されていても、客は鏡越しにその張り紙を目にすることになるので、張り紙の内容を認識するのが困難であったり、認識するのを断念してしまったりする。それでは張り紙の意味を成しているとは言い難い。
　そこで、本発明は上記の課題に鑑みてなされたものであり、その目的は、カメラ等の撮影手段で撮影した画像を左右反転させて表示する場合において、該画像に映し出されている文字列が正しく読めるようにする画像表示装置および画像表示方法を提供することにある。
　本発明の一態様に係る画像表示装置は、上記の課題を解決するために、撮影装置と、上記撮影装置が撮影した撮影画像から、文字列を含む四角形領域を検出する検出部と、上記撮影画像を左右反転させた左右反転画像を作成する左右反転画像作成部と、上記左右反転画像において、上記四角形領域に対応する対応領域を特定する特定部と、上記撮影画像から上記四角形領域に対応する四角形領域画像を切出す切出し部と、上記切出し部が切出した上記四角形領域画像の形状を上記対応領域の形状に補正した補正画像を作成する補正部と、上記左右反転画像における上記対応領域に、上記補正画像を重ね合わせた重畳画像を作成する重畳部と、上記重畳画像を表示するディスプレイ装置とを備えていることを特徴としている。
　上記の構成によれば、撮影装置が撮影した画像を左右反転させる際に、画像に映っている、文字列を含む四角形領域のみは左右反転させていない。そのため、その四角形領域に記載されている文字列を容易に認識することができる。したがって、撮影装置が撮影した画像を左右反転させた画像を利用する場合、左右反転画像を利用しながらも、四角形領域に記載されている文字列の内容を容易に認識することができる。
　また、本発明の一態様に係る画像表示装置では、文字認識装置等の装置による文字認識を行っていないので、視認者が文字列の内容を誤って認識してしまう可能性は低い。そして、四角形領域の文字列部分が不明瞭な画像であっても、視認者がその画像を絵として知覚できる方が認識しやすく、後からでも思い出すことができる可能性がある。
　よって、本発明の一態様によれば、カメラ等の撮影手段で撮影した画像を左右反転させて表示する場合において、該画像に映し出されている文字列が正しく読めるようにする画像表示装置を提供することができる。
　また、本発明の一態様に係る画像表示方法は、上記の課題を解決するために、撮影装置が撮影するステップと、上記撮影装置が撮影した撮影画像から、文字列を含む四角形領域を検出するステップと、上記撮影画像を左右反転させた左右反転画像を作成するステップと、上記左右反転画像において、上記四角形領域に対応する対応領域を特定するステップと、上記撮影画像から上記四角形領域に対応する四角形領域画像を切出すステップと、切出した上記四角形領域画像の形状を上記対応領域の形状に補正した補正画像を作成するステップと、上記左右反転画像における上記対応領域に、上記補正画像を重ね合わせた重畳画像を作成するステップと、上記重畳画像を表示するステップとを含んでいることを特徴としている。
　上記の方法によれば、カメラ等の撮影手段で撮影した画像を左右反転させて表示する場合において、該画像に映し出されている文字列が正しく読めるようにする画像表示方法を提供することができる。
　本発明の他の目的、特徴、および優れた点は、以下に示す記載によって十分分かるであろう。また、本発明の利点は、添付図面を参照した次の説明で明白になるであろう。
　本発明の一態様に係る画像表示装置によれば、撮影装置が撮影した画像を左右反転させる際に、画像に映っている、文字列を含む四角形領域のみは左右反転させていない。そのため、その四角形領域に記載されている文字列を容易に認識することができる。したがって、撮影装置が撮影した画像を左右反転させた画像を利用する場合、左右反転画像を利用しながらも、四角形領域に記載されている文字列の内容を容易に認識することができる。
本発明の実施の一形態に係る画像処理装置の概略構成を示すブロック図である。 本発明の実施の一形態に係る画像表示装置の概略構成を示すブロック図である。 本発明の実施の一形態に係る画像表示装置を自動車に搭載した場合の概略図である。 本発明の実施の一形態に係るディスプレイ装置をカーナビゲーションシステムのディスプレイと共有させた場合の概略図である。 図中の（ａ）は、従来の画像処理装置によって作成された左右反転画像を示す図であり、図中の（ｂ）は、本発明の実施の一形態に係る画像処理装置によって作成された左右反転画像を示す図である。 本発明の実施の一形態に係る画像処理装置による画像処理を説明するための図である。 本発明の実施の一形態に係る画像処理装置による画像処理の流れを示す図である。 図中の（ａ）は、撮影画像および左右反転画像を示す図であり、図中の（ｂ）は、文字列が記載されているプレートの画像を補正する前の画像を示す図であり、図中の（ｃ）は、文字列が記載されているプレートの画像を補正した後の画像を示す図である。 自動車のナンバープレートの文字を左右反転画像に表示した画像を示す図である。 図中の（ａ）は、鏡に映し出されている鏡像を示す図であり、図中の（ｂ）は、本発明の実施の一形態に係る画像処理装置によって作成された左右反転画像を示す図である。
　図面に基づいて、本発明の実施の形態について詳細に説明する。なお、以下の説明においては、同一の機能および作用を示す部材については、同一の符号を付し、説明を省略する。
　（画像表示装置の構成）
　本実施の形態に係る画像表示装置は、自動車の後方を表示するために使用したり、美容室等で客の前に設置される鏡の代わりに使用したりすることができる。以下では、本実施の形態に係る画像表示装置について、該画像表示装置を自動車の後方を表示するために使用する場合を例に挙げて説明する。
　まず、本実施の形態に係る画像表示装置の構成について、図２～４を参照して説明する。図２は、本実施の形態に係る画像処理装置の概略構成を示すブロック図である。図３は、本実施の形態に係る画像表示装置１を自動車１２に搭載した場合の概略図である。図４は、本実施の形態に係るディスプレイ装置４をカーナビゲーションシステムのディスプレイと共有させた場合の概略図である。
　図２に示すように、画像表示装置１は、撮影装置２、画像処理装置３、および、ディスプレイ装置４を有している。図３に示すように、撮影装置２は、自動車１２の後方に設置されており、自動車１２の後方を撮影するための撮影手段である。撮影装置２としては、小型のカメラ等が適用可能であるが、従来のバックミラーで運転者が目視できる範囲を撮影することができる程度の画角を持ったレンズを装着しているカメラであることが好ましい。また、画像処理装置３は、撮影装置２が撮影した画像を処理して、ディスプレイ装置４に表示させる装置である。この画像処理装置３の機能および構成については後に詳述するが、一般的に撮影装置２とカーナビゲーションシステムとはセットになった商品がほとんどであるため、画像処理装置３はカーナビゲーションシステムに組み込まれたものであることが好ましい。上述したように、ディスプレイ装置４は画像処理装置３によって画像処理された画像を表示する装置である。ディスプレイ装置４は、運転者が運転しながらも自動車１２の後方画像を確認できるような位置に搭載されることが好ましく、例えば、図４に示すように、上述のカーナビゲーションシステムのディスプレイ装置と共用してもよい。あるいは、自動車１２の室内前方に設けられた従来のバックミラーまたはルームミラーをディスプレイ装置４に置き換えてもよい。
　このように、本実施の形態に係る画像表示装置１は、撮影装置２によって自動車１２の後方を撮影した画像を画像処理装置３によって画像処理されたものをディスプレイ装置４に表示するために用いられるものである。この際、画像処理装置３では、ディスプレイ装置４に表示する画像に映し出されている物体の位置関係が、運転者がバックミラーを見たときと同じようにするため、撮影した画像を左右反転（すなわち、撮影画像の中心線を軸として、撮影画像を１８０°回転）させる処理を行っている。しかし、事故等の緊急の際に、表示されている画像に映った自動車のナンバープレート等の文字を認識したくても、左右に反転しているため判断が困難であったり、誤認しやすかったりするという問題がある。そこで、画像処理装置３では、撮影装置２が撮影した画像を左右反転させた画像を作成する際に、画像に映っている自動車のナンバープレートのみは左右反転させない画像を作成している。
　従来の画像処理装置によって作成された左右反転画像と、本実施の形態に係る画像処理装置３によって作成された左右反転画像とを図５に示す。図５中の（ａ）は、従来の画像処理装置によって作成された左右反転画像を示す図であり、図５中の（ｂ）は、画像処理装置３によって作成された左右反転画像を示す図である。
　図５中の（ａ）に示すように、従来の画像処理装置は、撮影装置が撮影した画像をそのまま左右反転させるので、画像に映っている自動車のナンバープレート９も左右反転されている。そのため、瞬時にはその自動車のナンバープレート９に記載されている文字列を認識するのは難しい。一方、図５中の（ｂ）に示すように、画像処理装置３は、撮影装置２が撮影した画像を左右反転させる際に、画像に映っている自動車のナンバープレート９のみは左右反転させていない。そのため、その自動車のナンバープレート９に記載されている文字列を容易に認識することができる。したがって、運転者は自動車１２の後方確認を容易に行うことができると共に、画像に映っている自動車のナンバープレート９に記載されている文字列を容易に認識することができる。
　（画像処理装置の構成）
　以下では、画像処理装置３の構成について、図１を参照して説明する。図１は、画像処理装置３の概略構成を示すブロック図である。
　図１に示すように、画像処理装置３は、ナンバープレート検出部５（検出部）、左右反転画像作成部６（反転画像作成部）、補正部７（切出し部，特定部）、および、重畳部８を有している。各部材の機能について、図６を参照して説明する。図６は、画像処理装置３による画像処理を説明するための図である。
　ナンバープレート検出部５は、撮影装置２が撮影した画像に映っているナンバープレート９を検出する。検出するとは、すなわち撮影画像に映っているナンバープレート９を検出し、その位置を特定することである。ナンバープレート９の検出方法としては、公知の方法を用いることができる。例えば、撮影画像の中から、文字列を含む四角形領域を検出するセンサを用いてもよい。あるいは、撮影画像の中から四角形領域を検出するセンサと、撮影画像の中から文字列を検出するセンサとを組み合わせたものを用いてもよく、ナンバープレート９を検出することができるものであれば特に限定はない。一方、左右反転画像作成部６は、撮影装置が撮影した画像を左右反転させた画像を作成する。
　ナンバープレート検出部５が検出したナンバープレート９の情報（例えば、撮影画像上の位置座標等の位置情報）と、左右反転画像作成部６が作成した左右反転画像とは、補正部７に出力される。補正部７には、撮影画像も撮影装置２から出力されている。補正部７では、ナンバープレート検出部５が検出したナンバープレート９の情報を基に、撮影画像からそのナンバープレート９の画像（四角形領域画像）を切出すと共に、左右反転画像においてそのナンバープレート９に対応する箇所（以下、反転対応箇所（対応領域）と称す）を特定する。そして、反転対応箇所に基づいて、切出したナンバープレート９の形状を、反転対応箇所の形状に補正した画像（以下、補正画像と称す）を作成する。具体的には、図６に示すような撮影画像と左右反転画像とが得られた場合、補正部７では、撮影画像におけるナンバープレート９の点（ｘ１,ｙ１）と点（ｘ３,ｙ３）とを結ぶ線分の傾きが、左右反転画像におけるナンバープレート９の点（ｘ２',ｙ２'）と点（ｘ４',ｙ４'）とを結ぶ線分の傾きとなるように補正する。より詳細な補正方法については後述するが、他の３辺についても同様に補正する。
　補正部７が作成したナンバープレート９の補正画像は重畳部８に出力される。この際、左右反転画像における反転対応箇所の位置情報（例えば、位置座標等）も補正部７から重畳部８に出力されている。左右反転画像作成部６が作成した左右反転画像も重畳部８には出力されており、重畳部８ではナンバープレート９の補正画像を左右反転画像に重ね合わせる処理を行う。具体的には、補正部７からの反転対応箇所の位置座標に基づいて、ナンバープレート９の補正画像を、左右反転画像における反転対応箇所に重ね合わせる。これによって、ナンバープレート９だけ左右反転されていない左右反転画像を作成することができる。重畳部８が作成した画像（重畳画像）はディスプレイ装置４に出力され、表示される。
　（画像処理装置の処理）
　続いて、画像処理装置３による画像処理について、図７に沿って説明する。図７は、画像処理装置３による画像処理の流れを示す図である。
　まず画像処理装置３は、撮影装置２から撮影画像を取得する（ステップ１；以下、Ｓ１と略記する）。撮影装置２からの撮影画像は、画像処理装置３のナンバープレート検出部５、左右反転画像作成部６、および、補正部７に出力される。
　撮影画像を受け取った左右反転画像作成部６は、撮影画像を左右反転させた画像を作成する（Ｓ２）。左右反転画像作成部６が作成した左右反転画像は、補正部７および重畳部８に出力される。
　一方、撮影画像を受け取ったナンバープレート検出部５は、撮影画像に映っているナンバープレート９を検出し、例えば撮影画像上の位置座標等の位置情報を特定する（Ｓ３）。ナンバープレート検出部５が検出したナンバープレート９の位置情報は補正部７に出力される。補正部７では、ナンバープレート検出部５からの情報を基に、撮影画像から検出されたナンバープレート９の画像を切出す（Ｓ４）。
　補正部７では、切出したナンバープレート９の画像の傾きを補正する処理を行う（Ｓ５）。具体的には、図８を参照して説明する。図８中の（ａ）は、撮影画像および左右反転画像を示す図であり、図８中の（ｂ）は、文字列が記載されているプレートの画像を補正する前の画像を示す図であり、図８中の（ｃ）は、文字列が記載されているプレートの画像を補正した後の画像を示す図である。
　補正部７には、ナンバープレート検出部５からナンバープレート９の位置情報が送られているので、その位置情報に基づけば、左右反転画像においてそのナンバープレート９に対応する箇所（反転対応箇所）を特定することができる。したがって、例えば図８中の（ａ）に示すような撮影画像と左右反転画像とが得られたとする。ここで、図８中の（ａ）に示すプレート（四角形ＡＢＣＤ）の位置を特定できるのであれば、左右反転後のプレート（四角形Ａ'Ｂ'Ｃ'Ｄ'）の位置は一意に決まる。
　ここで、特定した左右反転後のプレート（四角形Ａ'Ｂ'Ｃ'Ｄ'）の位置に基づいて、四角形ＡＢＣＤの形状を、四角形Ａ'Ｂ'Ｃ'Ｄ'の形状に補正する。具体的には、まず特定した左右反転後のプレートの位置から、四角形Ａ'Ｂ'Ｃ'Ｄ'の形状が特定する。そこで、特定した四角形Ａ'Ｂ'Ｃ'Ｄ'の形状に、四角形ＡＢＣＤの形状を射影する。より詳細には、図８中の（ｂ）に示す四角形ＡＢＣＤの線分ａ１ｄ１に含まれる画素を、図８中の（ｃ）に示す四角形Ａ'Ｂ'Ｃ'Ｄ'の線分ａ'１ｄ'１に沿って射影する。線分ａ'１ｄ'１は四角形Ａ'Ｂ'Ｃ'Ｄ'の辺Ｂ'Ｃ'の位置と一致する。ここで射影するとは、線分ａ１ｄ１に含まれる画素を、線分ａ'１ｄ'１に沿って並べ替えることを意味する。すなわち、線分ａ１ｄ１の傾きを線分ａ'１ｄ'１の傾きに補正することを意味する。
　そして、線分ａ１ｄ１を微少量δだけ線分ＡＢに沿ってずらした線分ａ２ｄ２に含まれる画素を、線分ａ'１ｄ'１に沿った線分ａ'２ｄ'２に沿って射影する。このとき、四角形ＡＢＣＤおよび四角形Ａ'Ｂ'Ｃ'Ｄ'の対称性から、線分ａ'１ｄ'１から線分ａ'２ｄ'２へのずれ量はδに等しい。
　続いて、同じように線分ａ２ｄ２を微少量δだけ線分ＡＢに沿ってずらした線分ａ３ｄ３の射影を行い、その後また同じように線分ａ３ｄ３を微少量δだけ線分ＡＢに沿ってずらした線分ａ４ｄ４の射影を行い、射影する線分が線分ＢＣに到達するまで上記の処理を繰り返し行う。以上の処理を換言すれば、補正部７は、四角形ＡＢＣＤに含まれる画素を、辺ＡＤに沿った複数の画素群に分割し、各画素群を、各画素群の配列している順番を変えずに、四角形Ａ'Ｂ'Ｃ'Ｄ'の辺Ｂ'Ｃ'に沿って射影する。
　この結果、図８中の（ｃ）のように、プレート（四角形ＡＢＣＤ）に記載されている文字「あ」を左右反転させることなくプレートの形状を、四角形ＡＢＣＤから四角形Ａ'Ｂ'Ｃ'
Ｄ'へと補正することができる。このようにして作成した補正画像は、重畳部８に出力さ
れる。この際、特定した左右反転後のプレート、すなわち反転対応箇所の位置情報も重畳部８に出力される。
　補正画像を受け取った重畳部８は、反転対応箇所の位置情報に基づいて、予め受け取っていた左右反転画像の反転対応箇所に補正画像を重ね合わせる処理を行う（Ｓ６）。これによって、左右反転画像の反転対応箇所に左右反転されていない補正画像が重ね合わせられた左右反転画像が作成される。
　ナンバープレート検出部５が検出したナンバープレート９が他にある場合は（Ｓ７のＮＯ）、上述のＳ４～Ｓ６の処理を再び行う。この場合、重畳部８では、既に補正が終了したナンバープレート９の補正画像が重ね合わせられた左右反転画像を用いる。したがって、既に補正が終了したナンバープレート９の補正画像が重ね合わせられた左右反転画像に、新たに補正したナンバープレート９の補正画像を重ね合わせていく。そして、最終的には、ナンバープレート検出部５が検出したすべてのナンバープレート９の補正画像が重ね合わせられた左右反転画像が得られる。
　ナンバープレート検出部５が検出したすべてのナンバープレート９に対してＳ４～Ｓ６の処理が完了したら（Ｓ７のＹＥＳ）、作成した左右反転画像をディスプレイ装置４に出力する。重畳部８からの左右反転画像を受け取ったディスプレイ装置４は、その左右反転画像を表示する（Ｓ８）。
　なお、以上では、線分ａ１ｄ１に含まれる画素、すなわち辺ＡＤに沿った画素群を四角形Ａ'Ｂ'Ｃ'Ｄ'の辺Ｂ'Ｃ'に沿って射影しているが、必ずしもこれに限定されるわけではない。したがって、補正部７は、四角形ＡＢＣＤに含まれる画素を、四角形ＡＢＣＤを構成する四辺のうちの一辺に沿った複数の画素群に分割する。そして、四角形Ａ'Ｂ'Ｃ'Ｄ'において、四角形ＡＢＣＤにおける上記の一辺の相対的な位置と同じ相対的な位置にある辺に沿って、各画素群を、各画素群の配列している順番を変えずに射影すればよい。したがって、例えば四角形ＡＢＣＤにおいて相対的に左上に位置する辺ＡＢに沿って複数の画素群に分割する場合、四角形Ａ'Ｂ'Ｃ'Ｄ'においても相対的に左上に位置する辺に沿って、各画素群を、各画素群の配列している順番を変えずに射影する。
　（作用効果）
　以上で説明したように、本実施の形態によれば、撮影装置２が撮影した画像を左右反転した画像を利用して運転者が後方確認する場合、ナンバープレート９の部分だけは左右反転されていない画像を利用することができる。そのため、事故等の緊急の際に、表示されている画像に映った自動車のナンバープレート９の文字を認識したい場合でも、左右反転した画像から容易にナンバープレート９の文字を認識することができる。
　類似する技術として、図９に示すように、撮影装置が撮影した画像に映った自動車のナンバープレート９の文字を文字認識装置等が認識し、それを文字情報として左右反転画像に表示する方法がある。しかし、この方法では下記のような問題がある。
　まず、ナンバープレート９の取り付け位置は定まっており、人間はそれを自然に体得しているため、咄嗟のときに人間は自然とナンバープレート９を見てしまう。そのため、ナンバープレート９の文字を表示していても見落としてしまう可能性が高い。特に、画像に複数のナンバープレート９の文字が表示されていると見落としてしまう可能性がさらに高まる。また、ナンバープレート９の文字を文字認識装置等の装置が認識しているので、ナンバープレート９の文字が誤って認識されてしまう虞がある。
　これと比較して、本実施の形態に係る画像表示装置１では、左右反転画像に映っている自動車のナンバープレート９だけ左右反転されていないので、ナンバープレート９の部分を見ればそこに記載されている文字を認識することができる。これは、複数の自動車が左右反転画像に映っている場合でも、自然にナンバープレート９の文字を認識することができる。また、文字認識装置等の装置による文字認識を行っていないので、運転者がナンバープレート９の文字を誤って認識してしまう可能性は低い。そして、ナンバープレート９の文字列部分が不明瞭な画像であっても、運転者がその画像を絵として知覚できる方が認識しやすく、後からでも思い出すことができる可能性がある。
　（鏡の代用）
　以上では、画像表示装置１を自動車１２に搭載する例を挙げたが、必ずしもこれに限定されるわけではない。例えば、上述したように、美容室等で客の前に設置される鏡の代わりに使用したりすることもできる。以下では、本実施の形態に係る画像表示装置１を鏡の代わりに使用する場合について、図１０を参照して説明する。図１０中の（ａ）は、鏡に映し出されている鏡像を示す図であり、図１０中の（ｂ）は、画像処理装置３によって作成された左右反転画像を示す図である。
　美容室等では、客は目の前に設置されている鏡越しにものを見る機会が多い。そのため、美容室の壁等に広告等の張り紙１０が設置されていても、図１０中の（ａ）に示すように、客１１は鏡越しにその張り紙１０を目にすることになるので、張り紙１０の内容を認識するのが困難であったり、認識するのを断念してしまったりする。それでは張り紙１０の意味を成しているとは言い難い。
　そこで、鏡の代わりに画像表示装置１を使用する場合、図１０中の（ｂ）に示すように、鏡の位置に大型のディスプレイ装置４を配置し、ディスプレイ装置４の表示面の前に位置する客１１（人物）を撮影する撮影装置２をディスプレイ装置４の近辺に設置する。画像処理装置３では、画像表示装置１を自動車１２に搭載する場合と同様の処理を行う。すなわち、撮影装置２が撮影した画像を左右反転させた画像を作成する際に、画像に映っている自動車のナンバープレート９のみは左右反転させない画像を作成する処理と同様の処理を行う。
　具体的には、画像表示装置１を鏡に代用する場合は、ナンバープレート検出部５は、撮影装置２が撮影した画像に映っている広告等の張り紙１０を検出する。したがって、張り紙検出部として機能する。検出するとは、すなわち撮影画像に映っている張り紙１０を検出し、その位置を特定することである。張り紙１０の検出方法としては、公知の方法を用いることができ、ナンバープレート９の検出方法と同様のものを用いることができる。
　補正部７では、検出された張り紙１０の形状を、左右反転画像においてその張り紙１０に対応する箇所（反転対応箇所）の形状に補正した画像（補正画像）を作成する。そして、補正部７が作成した張り紙１０の補正画像は、重畳部８において左右反転画像における反転対応箇所に重ね合わせられる。これによって、張り紙１０だけ左右反転されていない左右反転画像を作成することができる。重畳部８が作成した画像はディスプレイ装置４に出力され、客１１の前に表示される。
　このように、画像処理装置３は、撮影装置２が撮影した画像を左右反転させる際に、画像に映っている張り紙１０のみは左右反転させない。そのため、その張り紙１０に記載されている文字列を客１１は容易に認識することができる。ここで、ディスプレイ装置４に映し出されている画像は、張り紙１０以外の部分は左右反転している。したがって、客１１はディスプレイ装置４に映し出されている画像を鏡として利用することができると共に、その画像に映っている広告等の張り紙１０の内容を容易に認識することができる。
　本発明は上述した実施の形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、それによって得られる実施の形態についても本発明の技術的範囲に含まれる。
　〔実施形態の総括〕
　以上のように、本発明の一態様に係る画像表示装置においては、上記補正部は、上記四角形領域画像に含まれる画素を、上記四角形領域を構成する四辺のうちの一辺に沿った複数の画素群に分割し、上記対応領域において、上記四角形領域における上記一辺の相対的な位置と同じ相対的な位置にある辺に沿って、各上記画素群を、各上記画素群の配列している順番を変えずに射影することを特徴としている。
　上記の構成によれば、四角形領域に記載されている文字列は反転させずに、該四角形領域の形状だけ対応領域の形状に補正することができる。
　また、本発明の一態様に係る画像表示装置においては、上記撮影装置は、自動車の後方に設置され、上記自動車の後方を撮影するものであり、上記四角形領域は、上記自動車とは異なる他の自動車のナンバープレートであることを特徴としている。
　上記の構成によれば、撮影装置が撮影した画像を左右反転した画像を利用して運転者が後方確認する場合、ナンバープレートの部分だけは左右反転されていない画像を利用することができる。そのため、事故等の緊急の際に、表示されている画像に映った自動車のナンバープレートの文字を認識したい場合でも、左右反転した画像から容易にナンバープレートの文字を認識することができる。したがって、運転者は自動車の後方確認を容易に行うことができると共に、画像に映っている自動車のナンバープレートに記載されている文字列を容易に認識することができる。
　また、本発明の一態様に係る画像表示装置においては、上記撮影装置は、上記ディスプレイ装置の近辺に設置され、上記ディスプレイ装置の表示面の前に位置する人物を撮影するものであり、上記四角形領域は、張り紙であることを特徴としている。
　上記の構成によれば、撮影装置が撮影した画像を左右反転した画像を鏡として美容室等の客が利用する場合、画像に映っている広告等の張り紙だけは左右反転されていない画像を利用することができる。そのため、その張り紙に記載されている文字列を客は容易に認識することができる。したがって、客はディスプレイ装置に映し出されている画像を鏡として利用することができると共に、その画像に映っている張り紙の内容を容易に認識することができる。
　発明の詳細な説明の項においてなされた具体的な実施形態または実施例は、あくまでも、本発明の技術内容を明らかにするものであって、そのような具体例にのみ限定して狭義に解釈されるべきものではなく、本発明の精神と次に記載する請求の範囲内で、いろいろと変更して実施することができるものである。 
　本発明の一態様に係る画像表示装置は、自動車の後方を表示するために使用したり、美容室等で客の前に設置される鏡の代わりに使用したりすることができる。すなわち、カメラ等の撮影手段で撮影した画像を左右反転させて表示する場合において、該画像に映し出されている文字列を左右反転させないで表示するような場合に適用することができる。
　１　画像表示装置
　２　撮影装置
　３　画像処理装置
　４　ディスプレイ装置
　５　ナンバープレート検出部
　６　左右反転画像作成部
　７　補正部
　８　重畳部
　９　ナンバープレート
１０　張り紙
１１　客
１２　自動車

Claims (5)

  1. 　撮影装置と、
    　上記撮影装置が撮影した撮影画像から、文字列を含む四角形領域を検出する検出部と、
    　上記撮影画像を左右反転させた左右反転画像を作成する左右反転画像作成部と、
    　上記左右反転画像において、上記四角形領域に対応する対応領域を特定する特定部と、
    　上記撮影画像から上記四角形領域に対応する四角形領域画像を切出す切出し部と、
    　上記切出し部が切出した上記四角形領域画像の形状を上記対応領域の形状に補正した補正画像を作成する補正部と、
    　上記左右反転画像における上記対応領域に、上記補正画像を重ね合わせた重畳画像を作成する重畳部と、
    　上記重畳画像を表示するディスプレイ装置とを備えていることを特徴とする画像表示装置。
  2. 　上記補正部は、
    　　上記四角形領域画像に含まれる画素を、上記四角形領域を構成する四辺のうちの一辺に沿った複数の画素群に分割し、
    　　上記対応領域において、上記四角形領域における上記一辺の相対的な位置と同じ相対的な位置にある辺に沿って、各上記画素群を、各上記画素群の配列している順番を変えずに射影することを特徴とする請求項１に記載の画像表示装置。
  3. 　上記撮影装置は、自動車の後方に設置され、上記自動車の後方を撮影するものであり、
    　上記四角形領域は、上記自動車とは異なる他の自動車のナンバープレートであることを特徴とする請求項１または２に記載の画像表示装置。
  4. 　上記撮影装置は、上記ディスプレイ装置の近辺に設置され、上記ディスプレイ装置の表示面の前に位置する人物を撮影するものであり、
    　上記四角形領域は、張り紙であることを特徴とする請求項１または２に記載の画像表示装置。
  5. 　撮影装置が撮影するステップと、
    　上記撮影装置が撮影した撮影画像から、文字列を含む四角形領域を検出するステップと、
    　上記撮影画像を左右反転させた左右反転画像を作成するステップと、
    　上記左右反転画像において、上記四角形領域に対応する対応領域を特定するステップと、
    　上記撮影画像から上記四角形領域に対応する四角形領域画像を切出すステップと、
    　切出した上記四角形領域画像の形状を上記対応領域の形状に補正した補正画像を作成するステップと、
    　上記左右反転画像における上記対応領域に、上記補正画像を重ね合わせた重畳画像を作成するステップと、
    　上記重畳画像を表示するステップとを含んでいることを特徴とする画像表示方法。
PCT/JP2012/060242 2011-04-21 2012-04-16 画像表示装置および画像表示方法 WO2012144452A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011095430 2011-04-21
JP2011-095430 2011-04-21

Publications (1)

Publication Number Publication Date
WO2012144452A1 true WO2012144452A1 (ja) 2012-10-26

Family

ID=47041558

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2012/060242 WO2012144452A1 (ja) 2011-04-21 2012-04-16 画像表示装置および画像表示方法

Country Status (1)

Country Link
WO (1) WO2012144452A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017132405A (ja) * 2016-01-29 2017-08-03 小島プレス工業株式会社 車両用の表示装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05301537A (ja) * 1992-04-28 1993-11-16 Fujitsu Ten Ltd 車両用後方監視装置及び文字信号処理装置
JPH11112970A (ja) * 1997-10-08 1999-04-23 Sony Corp メイク機能付きテレビジョン受像機
JP2006275823A (ja) * 2005-03-29 2006-10-12 Pioneer Electronic Corp 画像表示装置、画像表示方法、画像表示プログラム、および記録媒体
JP2009204817A (ja) * 2008-02-27 2009-09-10 Seiko Epson Corp 画像表示装置およびその制御方法
JP2010210690A (ja) * 2009-03-06 2010-09-24 Toshiba Alpine Automotive Technology Corp 車載用画像表示装置、及び車載用画像表示方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05301537A (ja) * 1992-04-28 1993-11-16 Fujitsu Ten Ltd 車両用後方監視装置及び文字信号処理装置
JPH11112970A (ja) * 1997-10-08 1999-04-23 Sony Corp メイク機能付きテレビジョン受像機
JP2006275823A (ja) * 2005-03-29 2006-10-12 Pioneer Electronic Corp 画像表示装置、画像表示方法、画像表示プログラム、および記録媒体
JP2009204817A (ja) * 2008-02-27 2009-09-10 Seiko Epson Corp 画像表示装置およびその制御方法
JP2010210690A (ja) * 2009-03-06 2010-09-24 Toshiba Alpine Automotive Technology Corp 車載用画像表示装置、及び車載用画像表示方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017132405A (ja) * 2016-01-29 2017-08-03 小島プレス工業株式会社 車両用の表示装置

Similar Documents

Publication Publication Date Title
JP6731116B2 (ja) ヘッドアップディスプレイ装置およびその表示制御方法
JP5619873B2 (ja) 車両の運転を支援するための装置
JP6304628B2 (ja) 表示装置および表示方法
US11087438B2 (en) Merging of partial images to form an image of surroundings of a mode of transport
CN111433067A (zh) 平视显示装置及其显示控制方法
US20160134815A1 (en) Driving assist device
US20150042799A1 (en) Object highlighting and sensing in vehicle image display systems
JP2008077628A (ja) 画像処理装置並びに車両周辺視界支援装置及び方法
JP4315968B2 (ja) 画像処理装置並びに視界支援装置及び方法
KR101547415B1 (ko) 상용차량 주위 근접부의 모니터링
JP2009105656A (ja) 車載用撮像装置
US20140043466A1 (en) Environment image display apparatus for transport machine
JP2011073496A (ja) 車載立体表示装置、及び車載立体表示方法
JP2007180720A (ja) 車両運転支援装置
TWI533694B (zh) 車用障礙物偵測顯示系統
JP2012030611A (ja) 車両用表示装置
JP2014036326A (ja) 俯瞰画像表示装置
JP3194024B2 (ja) 車両用情報表示装置
US20170072855A1 (en) Rearview video full windshield projector
WO2012144452A1 (ja) 画像表示装置および画像表示方法
JP3448692B2 (ja) 車載用ステレオ画像表示装置
JP2010064646A (ja) 車両周辺監視装置および車両周辺監視方法
JP2005182305A (ja) 車両走行支援装置
JP3513664B2 (ja) 車両用情報表示装置
JP6274936B2 (ja) 運転支援装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12774577

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 12774577

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP