WO2021153012A1 - 画像処理装置およびヘッドアップディスプレイ - Google Patents

画像処理装置およびヘッドアップディスプレイ Download PDF

Info

Publication number
WO2021153012A1
WO2021153012A1 PCT/JP2020/045555 JP2020045555W WO2021153012A1 WO 2021153012 A1 WO2021153012 A1 WO 2021153012A1 JP 2020045555 W JP2020045555 W JP 2020045555W WO 2021153012 A1 WO2021153012 A1 WO 2021153012A1
Authority
WO
WIPO (PCT)
Prior art keywords
stereoscopic image
image
image processing
written
pixel
Prior art date
Application number
PCT/JP2020/045555
Other languages
English (en)
French (fr)
Inventor
大輔 大関
健夫 小糸
知球 中岡
Original Assignee
株式会社ジャパンディスプレイ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社ジャパンディスプレイ filed Critical 株式会社ジャパンディスプレイ
Priority to CN202080094874.1A priority Critical patent/CN115023951A/zh
Publication of WO2021153012A1 publication Critical patent/WO2021153012A1/ja
Priority to US17/875,410 priority patent/US20220377305A1/en

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/111Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H04N13/117Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/302Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H04N13/31Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using parallax barriers
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00Stereoscopic photography
    • G03B35/18Stereoscopic photography by simultaneous viewing
    • G03B35/24Stereoscopic photography by simultaneous viewing using apertured or refractive resolving means on screens or between screen and eye
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/014Head-up displays characterised by optical features comprising information/image processing systems
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/20Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
    • G02B30/26Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type
    • G02B30/30Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type involving parallax barriers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/139Format conversion, e.g. of frame-rate or size

Definitions

  • An embodiment of the present invention relates to an image processing device and a head-up display.
  • the stereoscopic image displayed on such a display device is generated, for example, by synthesizing the same number of images as the number of parallax. Alternatively, it is generated by acquiring a depth map from the image.
  • one of the purposes of the present disclosure is to provide an image processing device capable of reducing the processing load when generating a stereoscopic image and a head-up display capable of displaying the stereoscopic image.
  • the acquisition unit for acquiring the target image and the plurality of video signals corresponding to the acquired target image are rearranged so as to be written in each predetermined number of pixels among the plurality of pixels arranged in the horizontal direction, and the stereoscopic structure is used. It includes a generation unit that generates an image and an output unit that outputs the generated stereoscopic image to a display device. An image processing device is provided.
  • An image processing device and a display device for displaying and outputting a stereoscopic image output from the image processing device are provided.
  • a head-up display is provided.
  • an image processing device capable of reducing the processing load when generating a stereoscopic image and a head-up display capable of displaying the stereoscopic image.
  • FIG. 1 is a diagram schematically showing a head-up display using the display device according to the embodiment.
  • FIG. 2 is a block diagram showing a functional configuration example of the image processing device according to the embodiment.
  • FIG. 3 is a diagram for schematically explaining the sorting process executed by the image processing apparatus according to the embodiment.
  • FIG. 4 is another diagram for schematically explaining the sorting process executed by the image processing apparatus according to the same embodiment.
  • FIG. 5 is a diagram for specifically explaining the sorting process executed by the image processing apparatus according to the embodiment.
  • FIG. 6 is a flowchart showing an example of a procedure of stereoscopic image generation processing executed by the image processing apparatus according to the same embodiment.
  • FIG. 7 is a diagram for explaining a modified example of the stereoscopic image generation processing executed by the image processing apparatus according to the same embodiment.
  • FIG. 8 is another diagram for explaining a modified example of the stereoscopic image generation processing executed by the image processing apparatus according to the same embodiment.
  • FIG. 1 is a schematic view schematically showing a head-up display (HUD) using the image processing device according to the embodiment.
  • the HUD includes a liquid crystal display device 10 as a display device for projecting an image. Further, the HUD has a plurality of concave mirrors, for example, two concave mirrors M1 and M2. Further, the HUD includes an image processing device 20 that is electrically connected to the liquid crystal display device 10. The image processing device 20 may be communicably connected to the liquid crystal display device 10.
  • the image processing device 20 generates a stereoscopic image, and outputs the generated stereoscopic image to the liquid crystal display device 10.
  • the liquid crystal display device 10 includes a large number of pixels PX arranged in a matrix.
  • the liquid crystal display device 10 acquires the stereoscopic image output from the image processing apparatus 20, the liquid crystal display device 10 writes the video signal V corresponding to the acquired stereoscopic image in the pixel PX. According to this, the acquired stereoscopic image is displayed and output as a projected image.
  • the projected image output from the liquid crystal display device 10 is reflected and condensed by the concave mirrors M1 and M2, and is projected as a projection surface, for example, on the inner surface of the windshield FG of an automobile.
  • the stereoscopic image means an image in which the entire image has a sense of depth or a sense of foreground.
  • the mirror that constitutes a part of the HUD is not limited to the concave mirror, and other optical members such as a half mirror and a Fresnel mirror can be selected. Further, the configuration is not limited to direct projection on the windshield FG, and a transparent reflector (projection surface) may be installed in front of the observer to project an image on the reflector.
  • a paralux barrier and a lenticular lens are provided on the display surface of the liquid crystal display device 10.
  • the parallax barrier limits the transmitted light rays and functions as an optical control unit.
  • the parallax barrier is provided with a plurality of fine slits. The slit is provided along a direction inclined by a predetermined angle from the vertical direction of the display surface of the liquid crystal display device 10.
  • the lenticular lens controls the emission direction of the transmitted light beam, and functions as an optical control unit like the parallax barrier.
  • the lenticular lens is a semi-cylindrical lens extending in the vertical direction of the display surface of the liquid crystal display device 10.
  • a plurality of lenticular lenses are installed on the display surface of the liquid crystal display device 10 so as to be arranged along the lateral direction of the display surface.
  • FIG. 2 is a block diagram showing a functional configuration example of the image processing device 20 according to the present embodiment.
  • the image processing device 20 includes a target image acquisition unit 21, a stereoscopic image generation unit 22, a stereoscopic image output unit 23, and the like.
  • the target image acquisition unit 21 acquires a target image (two-dimensional image) that is the source of the stereoscopic image.
  • the target image include a car navigation image (for example, an image suggesting a right or left turn), a meter image corresponding to various meters such as a speedometer, a tachometer, and a warning lamp, and the like. ..
  • the acquired target image is output to the stereoscopic image generation unit 22.
  • the stereoscopic image generation unit 22 generates a stereoscopic image from one target image acquired by the target image acquisition unit 21. Since the stereoscopic image generation process executed by the stereoscopic image generation unit 22 will be described later, detailed description thereof will be omitted here.
  • the stereoscopic image output unit 23 outputs the stereoscopic image generated by the stereoscopic image generation unit 22 to the liquid crystal display device 10.
  • the liquid crystal display device 10 displays and outputs a stereoscopic image output from the stereoscopic image output unit 23 of the image processing device 20 as a projected image.
  • a virtual image VI is formed several meters ahead of the windshield FG, and the observer (driver) can check the car navigation image and the meter image without moving the line of sight from the traveling direction of the vehicle. It becomes.
  • the sorting process executed by the stereoscopic image generation unit 22 will be schematically described.
  • FIG. 3A it is assumed that the target image is an image that can be displayed by writing the video signals V0 and V1 to the two pixel PX.
  • the stereoscopic image generation unit 22 may display FIG. 3 (b). )
  • the video signals V0 and V1 are rearranged to generate a stereoscopic image so that the video signals V0 and V1 are written to the pixel PX by skipping two.
  • the number of jumps of the video signals V0 and V1 written to the pixel PX is determined according to how far the stereoscopic image is to be displayed from the observer's eye, from the observer's eye to the stereoscopic image.
  • the distance of can be arbitrarily set by the observer.
  • a value determined by the observer setting the distance from the observer's eyes to the stereoscopic image that is, how many skips of the video signal V are written to the pixel PX
  • n a value determined by the observer setting the distance from the observer's eyes to the stereoscopic image
  • the number of parallax to be displayed that is, the number of parallax
  • the target image is an image that can be displayed by writing the video signals V0 to V4 to the five pixel PX.
  • a setting is made to display a stereoscopic image corresponding to the five disparities at a position separated from the observer's eyes by a predetermined distance (here, the distance at which the above-mentioned set value n becomes 1).
  • the stereoscopic image generation unit 22 rearranges the video signals V0 to V4 so that the video signals V0 to V4 are written to the pixel PX by skipping one, and the stereoscopic image is stereoscopic. Generate an image.
  • the sorting process executed by the stereoscopic image generation unit 22 will be described more specifically.
  • the target image is an image that can be displayed by writing the video signals V0 to V29 to the 30 pixels PX0 to PX29. ing.
  • FIG. 5 it is a case where it is desired to display a stereoscopic image corresponding to the five parallaxs at a position separated from the observer's eyes by a predetermined distance, and the set value n determined according to the distance is 1. I'm assuming a case.
  • the video signals V0 to V4, V5 to V9, V10 to V14, V15 to V19, V20 to V24, V25 to V29. are rearranged so that they are written to the pixel PX one by one.
  • the stereoscopic image generation unit 22 displays the video signal VB (for displaying black color on the pixel PX) ( The video signals VB1 to VB4) shown in FIG. 5B are assigned.
  • video signal V0 video signal VB1, video signal V1, video signal VB2, video signal V2, video signal V5, video signal V3, video signal V6, video signal A stereoscopic image in which the video signals V are arranged in the order of "V4, video signal V7, " Is generated.
  • the video signal V0 is written in the pixel PX0 when displaying the target image, but as a result of the above rearrangement, when displaying the stereoscopic image, the video signal V0 is in the horizontal direction from the pixel PX0. It is written to the pixel PXa that is shifted (shifted) by two pixels. That is, the amount of shift of the pixel PX in which the video signal V0 is written is 2 pixels. Similarly, pay attention to the video signal V1.
  • the video signal V1 is written to the pixel PX1 when displaying the target image, but as a result of the above rearrangement, the video signal V1 is written to the pixel PX0 which is shifted by one pixel in the horizontal direction from the pixel PX0 when displaying the stereoscopic image. That is, the amount of shift of the pixel PX in which the video signal V1 is written is one pixel. Further, focusing on the video signal V2, the video signal V2 is written in the pixel PX2 regardless of whether the target image is displayed or the stereoscopic image is displayed. That is, the amount of shift of the pixel PX in which the video signal V2 is written becomes 0.
  • the shift amount of the pixel PX in which the video signal V is written is the position (that is, the coordinates) of the pixel in which the video signal V is written when the target image is displayed.
  • the resolution of the stereoscopic image generated by executing the sorting process described above is higher than the resolution of the target image because the video signal V corresponding to the target image is assigned to the pixel PX with n skips. It increases by n ⁇ (parallax number -1) ”.
  • the resolution of the target image is 30 pixels
  • the resolution of the stereoscopic image is 34 pixels
  • these four pixels correspond to the number of pixels in which the video signal VB for displaying black (in the case of FIG. 5, the video signals VB1 to VB4) is written.
  • the sorting process shown in FIG. 5 is executed in pixel row units.
  • FIG. 6 is a flowchart showing an example of the procedure of the stereoscopic image generation processing executed by the stereoscopic image generation unit 22.
  • the stereoscopic image generation unit 22 acquires the target image output from the target image acquisition unit 21 (step S1). Subsequently, the stereoscopic image generation unit 22 executes the above-mentioned sorting process on the video signal V corresponding to the acquired target image to generate a stereoscopic image (step S2). After that, the stereoscopic image generation unit 22 outputs the generated stereoscopic image to the stereoscopic image output unit 23 (step S3), and ends a series of stereoscopic image generation processes.
  • the stereoscopic image generation processing it is possible to generate a stereoscopic image from one target image, synthesize the same number of images as the number of disparities, and acquire a depth map. Since there is no need to do this, it is possible to significantly reduce the processing load on the device when generating a stereoscopic image.
  • the stereoscopic image generation process since it is possible to generate a stereoscopic image corresponding to an arbitrarily set / changed parallax number, it is already installed on the display surface of the liquid crystal display device 10. You can get the advantage that you don't have to change the parallax barrier or lenticular lens. In other words, even if a parallax barrier or lenticular lens is already installed on the display surface of the liquid crystal display device 10, a stereoscopic image corresponding to the number of parallax that the parallax barrier or lenticular lens can handle is displayed. Since it can be generated, it is possible to obtain an advantage that it is not necessary to install a new parallax barrier or a lenticular lens with the installation of the image processing device 20.
  • a stereoscopic image is generated so that the entire three-dimensionally displayed image is recognized by the observer with the same sense of depth.
  • the stereoscopic image generation unit 22 executes the above-mentioned sorting process for each pixel row, it is possible to generate a stereoscopic image that is recognized with a different sense of depth for each pixel row. For example, as shown in FIG. 7, it is possible to generate a stereoscopic image in which the observer recognizes the upper half of the image with a sense of depth rather than the lower half.
  • the stereoscopic image generation unit 22 sets the set value n applied to the rearrangement processing of the video signal V written in the upper half pixel line of the liquid crystal display device 10 to the video signal V written in the lower half pixel line.
  • the set value n applied to the sorting process of a stereoscopic image is generated so that the observer recognizes the upper half of the image with a sense of depth more than the lower half.
  • FIG. 8 is a sorting process executed to generate a stereoscopic image corresponding to the five parallax, and a stereoscopic image capable of causing the observer to recognize the upper half of the image with a sense of depth rather than the lower half. It is a figure for demonstrating the sorting process for generating.
  • the stereoscopic image generation unit 22 sets the set value n applied to the rearrangement processing of the video signal V written in the pixel line of the upper half of the liquid crystal display device 10 to 2. According to this, as shown in FIG.
  • the video signals V0 to V4, V5 to V9, V10 to V14, V15 to V19, V20 to V24, and V25 to V29 are each jumped by two to the pixel PX. Sorted to be written.
  • the video signal VB (video signals VB1 to VB8 shown in FIG. 8A) for displaying black is assigned to the pixel PX in which none of the video signals V0 to V29 can be written. Be done.
  • the stereoscopic image generation unit 22 sets the set value n applied to the rearrangement processing of the video signal V written in the pixel line of the lower half of the liquid crystal display device 10 to 1.
  • the video signals V0 to V4, V5 to V9, V10 to V14, V15 to V19, V20 to V24, and V25 to V29 are each skipped by one to the pixel PX. Sorted to be written.
  • the video signal VB for displaying black color (video signals VB3 to VB6 shown in FIG. 8B) is displayed on the pixel PX in which none of the video signals V0 to V29 can be written. ) Is assigned.
  • the stereoscopic image generation unit 22 determines the resolution of the stereoscopic image based on the pixel row that gives the most sense of depth. For example, in the case of FIGS. 7 and 8, the resolution of the stereoscopic image is the number of video signals V written in the upper half pixel lines of the liquid crystal display device 10 (in other words, the number of pixel PXs to which the video signal V is written). Determined on the basis. Therefore, the stereoscopic image generation unit 22 makes the number of video signals V written in the lower half pixel lines of the liquid crystal display device 10 the same as the number of video signals V written in the upper half pixel lines of the liquid crystal display device 10.
  • video signals VB (video signals VB1, VB2, VB7, VB8 shown in FIG. 8B) for displaying black are further assigned to both ends of the lower half pixel row.
  • the resolution of the stereoscopic image displayed on the lower half of the liquid crystal display device 10 can be made the same as the resolution of the stereoscopic image displayed on the upper half of the liquid crystal display device 10.
  • the stereoscopic image generation process including the rearrangement process described above, it is possible to generate a stereoscopic image that is recognized with a different sense of depth (or a sense of front) for each pixel row.
  • the parallax barrier and the lenticular lens are arranged on the entire display surface of the liquid crystal display device 10 .
  • the parallax barrier and the lenticular lens may be arranged only on a part of the display surface of the liquid crystal display device 10.
  • the stereoscopic image generation unit 22 may execute the above-mentioned sorting process only for the video signal V written in the pixel PX located at the portion where the parallax barrier or the lenticular lens is arranged.
  • the observer recognizes the stereoscopic image (three-dimensional image) corresponding to the video signal V written in the pixel PX located at the portion where the paralux barrier and the lenticular lens are arranged, and also recognizes the paralux barrier. It is possible to recognize a two-dimensional image corresponding to a video signal V written in a pixel PX located in a portion where a lenticular lens or a lenticular lens is not arranged.
  • the stereoscopic image generation unit 22 that generates a stereoscopic image by rearranging the pixels so as to be written in the n-by-step pixels PX, and the stereoscopic image output unit 23 that outputs the generated stereoscopic image to the liquid crystal display device 10.
  • a head-up display HUD including an image processing device 20 and a liquid crystal display device 10 for displaying and outputting a stereoscopic image output from the image processing device 20.

Abstract

立体画像を生成する際の処理負荷を軽減し得る画像処理装置および当該立体画像を表示し得るヘッドアップディスプレイを提供すること。 実施形態に係る画像処理装置は、対象画像を取得する取得部と、取得された対象画像に対応する複数の映像信号が、水平方向に並ぶ複数の画素のうち、所定個数おきの画素にそれぞれ書き込まれるように並び替えて、立体画像を生成する生成部と、生成された立体画像を表示装置に出力する出力部と、を備える。

Description

画像処理装置およびヘッドアップディスプレイ
 本発明の実施形態は、画像処理装置およびヘッドアップディスプレイに関する。
 近年、観察者が裸眼で立体画像(3次元画像)を視認することができる表示装置が普及しつつある。このような表示装置に表示される立体画像は、例えば、視差数と同数の画像を合成することにより生成されている。あるいは、画像からデプスマップを取得することにより生成されている。
特開平10-271535号公報 特開平07-182533号公報
 しかしながら、上記した方法では、複数の画像を合成する処理等、複雑な処理を実行する必要がある。このため、立体画像が生成される度に、当該立体画像を生成する装置に大きな処理負荷がかかるという問題がある。
 そこで、本開示は、立体画像を生成する際の処理負荷を軽減し得る画像処理装置および当該立体画像を表示し得るヘッドアップディスプレイを提供することを目的の1つとする。
 本実施形態によれば、
 対象画像を取得する取得部と、前記取得された対象画像に対応する複数の映像信号が、水平方向に並ぶ複数の画素のうち、所定個数おきの画素にそれぞれ書き込まれるように並び替えて、立体画像を生成する生成部と、前記生成された立体画像を表示装置に出力する出力部と、を具備する、
 画像処理装置が提供される。
 本実施形態によれば、
 画像処理装置と、前記画像処理装置から出力される立体画像を表示出力する表示装置と、を具備する、
 ヘッドアップディスプレイが提供される。
 本実施形態によれば、立体画像を生成する際の処理負荷を軽減し得る画像処理装置および当該立体画像を表示し得るヘッドアップディスプレイを提供することができる。
図1は、実施形態に係る表示装置を用いたヘッドアップディスプレイを概略的に示す図である。 図2は、同実施形態に係る画像処理装置の機能構成例を示すブロック図である。 図3は、同実施形態に係る画像処理装置により実行される並び替え処理を模式的に説明するための図である。 図4は、同実施形態に係る画像処理装置により実行される並び替え処理を模式的に説明するための別の図である。 図5は、同実施形態に係る画像処理装置により実行される並び替え処理を具体的に説明するための図である。 図6は、同実施形態に係る画像処理装置により実行される立体画像生成処理の手順の一例を示すフローチャートである。 図7は、同実施形態に係る画像処理装置により実行される立体画像生成処理の変形例を説明するための図である。 図8は、同実施形態に係る画像処理装置により実行される立体画像生成処理の変形例を説明するための別の図である。
 いくつかの実施形態につき、図面を参照しながら説明する。
 なお、開示はあくまで一例に過ぎず、当業者において、発明の趣旨を保っての適宜変更について容易に想到し得るものについては、当然に本発明の範囲に含有されるものである。また、図面は、説明をより明確にするため、実施の態様に比べて模式的に表される場合があるが、あくまで一例であって、本発明の解釈を限定するものではない。また、本明細書と各図において、既出の図に関して前述したものと同一または類似した機能を発揮する構成要素には同一の参照符号を付し、重複する詳細な説明を省略することがある。
 図1は、実施形態に係る画像処理装置を用いたヘッドアップディスプレイ(HUD)を概略的に示す模式図である。HUDは、画像を投影するための表示装置として、液晶表示装置10を備えている。また、HUDは、複数の凹面ミラー、例えば、2つの凹面ミラーM1,M2を有している。さらに、HUDは、液晶表示装置10と電気的に接続される画像処理装置20を備えている。なお、画像処理装置20は、液晶表示装置10と通信可能に接続されていてもよい。
 画像処理装置20は立体画像を生成し、生成した立体画像を液晶表示装置10に出力する。液晶表示装置10は、マトリクス状に配列された多数の画素PXを備えている。液晶表示装置10は、画像処理装置20から出力された立体画像を取得すると、取得した立体画像に対応する映像信号Vを画素PXに書き込む。これによれば、取得した立体画像が投影画像として表示出力される。液晶表示装置10から出力された投影画像は、凹面ミラーM1,M2により反射・集光され、投影面として、例えば、自動車のフロントガラスFGの内面に投影される。投影された画像は、フロントガラスFGで観察者(ドライバー)側に反射され、フロントガラスFGの数メートル先に虚像VIを形成する。なお、本明細書中において立体画像とは、画像全体に奥行き感あるいは手前感を持たせた画像を意味するものとする。
 なお、HUDの一部を構成するミラーは、凹面ミラーに限らず、ハーフミラー、フレネルミラー等の他の光学部材を選択可能である。また、直接、フロントガラスFGに投影する構成に限らず、観察者の前方に透明な反射板(投影面)を設置し、この反射板に画像を投影する構成としてもよい。
 図1に示すHUDにおいては、液晶表示装置10の表示面に、例えば、パララックスバリアやレンチキュラーレンズが設けられている。
 パララックスバリアは、透過する光線を制限するものであり、光制御部として機能する。パララックスバリアには、複数の細かいスリットが設けられる。スリットは、液晶表示装置10の表示面の縦方向から所定角度だけ傾けた方向に沿って設けられる。
 レンチキュラーレンズは、透過する光線の出射方向を制御するものであり、パララックスバリア同様、光制御部として機能する。レンチキュラーレンズは、液晶表示装置10の表示面の縦方向に延びる半円筒型のレンズである。液晶表示装置10の表示面には、複数のレンチキュラーレンズが表示面の横方向に沿って並ぶように設置される。
 このようなパララックスバリアやレンチキュラーレンズが設けられることで、観察者(ドライバー)に対して立体画像を認識させることができる。
 図2は、本実施形態に係る画像処理装置20の機能構成例を示すブロック図である。図2に示すように、画像処理装置20は、対象画像取得部21、立体画像生成部22、立体画像出力部23、等を備えている。
 対象画像取得部21は、立体画像の元となる対象画像(2次元画像)を取得する。対象画像としては、カーナビゲーション画像(例えば、右折または左折する曲がり角を示唆する画像)や、スピードメーター、タコメーター、ウォーニングランプ等の各種メーター類に相当するメーター画像、等を一例として挙げることができる。取得された対象画像は、立体画像生成部22に出力される。
 立体画像生成部22は、対象画像取得部21により取得された1枚の対象画像から立体画像を生成する。なお、立体画像生成部22によって実行される立体画像生成処理については後述するため、ここではその詳しい説明を省略する。
 立体画像出力部23は、立体画像生成部22により生成された立体画像を液晶表示装置10に出力する。液晶表示装置10は、画像処理装置20の立体画像出力部23より出力された立体画像を投影画像として表示出力する。これにより、フロントガラスFGの数メートル先には虚像VIが形成され、観察者(ドライバー)は、視線を車両の走行方向から移動させなくても、カーナビゲーション画像やメーター画像を確認することが可能となる。
 ここで、図3および図4を参照して、立体画像生成部22により実行される並び替え処理について模式的に説明する。
 図3では、図3(a)に示すように、対象画像が、2個の画素PXに対して、映像信号V0,V1を書き込むことにより表示され得る画像である場合を想定している。このような場合において、2視差に対応する立体画像を観察者の眼から所定の距離だけ離れた位置に表示させたい旨の設定がなされている場合、立体画像生成部22は、図3(b)に示すように、映像信号V0,V1が2個飛びで画素PXに書き込まれるように、映像信号V0,V1を並び替えて、立体画像を生成する。
 なお、映像信号V0,V1がいくつ飛びで画素PXに書き込まれるかは、観察者の眼からどれだけ離れた位置に立体画像を表示させたいかに応じて決定され、観察者の眼から立体画像までの距離は、観察者により任意に設定することが可能であるものとする。以下では、観察者の眼から立体画像までの距離が観察者によって設定されることで決定される値(つまり、映像信号Vがいくつ飛びで画素PXに書き込まれるか)を、設定値nと称して説明する。
 また、何視差に対応する立体画像を表示させたいかも(つまり、視差数も)、観察者により任意に設定することが可能であるものとする。
 図4では、図4(a)に示すように、対象画像が、5個の画素PXに対して、映像信号V0~V4を書き込むことにより表示され得る画像である場合を想定している。このような場合において、5視差に対応する立体画像を観察者の眼から所定の距離(ここでは、上記した設定値nが1となる距離)だけ離れた位置に表示させたい旨の設定がなされている場合、立体画像生成部22は、図4(b)に示すように、映像信号V0~V4が1個飛びで画素PXに書き込まれるように、映像信号V0~V4を並び替えて、立体画像を生成する。
 ここで、図5を参照して、立体画像生成部22により実行される並び替え処理についてより具体的に説明する。なお、図5では、図5(a)に示すように、対象画像が、30個の画素PX0~PX29に対して、映像信号V0~V29を書き込むことにより表示され得る画像である場合を想定している。また、図5では、5視差に対応する立体画像を観察者の眼から所定の距離だけ離れた位置に表示させたい場合であって、当該距離に応じて決定される設定値nが1である場合を想定している。
 この場合、5視差に対応する立体画像であって、上記した設定値nが1であるので、映像信号V0~V4,V5~V9,V10~V14,V15~V19,V20~V24,V25~V29は、それぞれ1個飛びで画素PXに書き込まれるように並び替えられる。なお、映像信号V0~V29のうちのいずれの映像信号Vも書き込むことができない画素PXが存在する場合、立体画像生成部22は、当該画素PXに対して黒色を表示するための映像信号VB(図5(b)に示す映像信号VB1~VB4)を割り当てる。
 これによれば、図5(b)に示すように、「映像信号V0、映像信号VB1、映像信号V1、映像信号VB2、映像信号V2、映像信号V5、映像信号V3、映像信号V6、映像信号V4、映像信号V7、・・・」の順に映像信号Vが並んでいる立体画像が生成される。
 ここで、例えば映像信号V0に着目すると、映像信号V0は、対象画像を表示するにあたっては画素PX0に書き込まれるが、上記した並び替えの結果、立体画像を表示するにあたっては画素PX0から水平方向に2画素だけずれた(シフトした)画素PXaに書き込まれる。つまり、映像信号V0が書き込まれる画素PXのずらし量は2画素となる。同様に、映像信号V1に着目する。映像信号V1は、対象画像を表示するにあたっては画素PX1に書き込まれるが、上記した並び替えの結果、立体画像を表示するにあたっては画素PX0から水平方向に1画素だけずれた画素PX0に書き込まれる。つまり、映像信号V1が書き込まれる画素PXのずらし量は1画素となる。さらに、映像信号V2に着目すると、映像信号V2は、対象画像を表示する場合であっても、立体画像を表示する場合であっても画素PX2に書き込まれる。つまり、映像信号V2が書き込まれる画素PXのずらし量は0となる。
 このように、映像信号Vが書き込まれる画素PXのずらし量(換言すると、映像信号Vのずらし量)は、対象画像を表示する場合に映像信号Vが書き込まれる画素の位置(つまり、座標)と、立体画像が何視差に対応する画像であるか(つまり、視差数)と、上記した設定値nとに基づいて決定される。
 以上説明した並び替え処理が実行されることにより生成される立体画像の解像度は、対象画像に対応する映像信号Vをn個飛びの画素PXに割り当てる関係上、対象画像の解像度に比べて、「n×(視差数-1)」だけ大きくなる。例えば図5の場合、対象画像の解像度が30画素であるのに対し、立体画像の解像度は34画素であり、立体画像の解像度は対象画像の解像度に比べて4画素(=「1×(5-1)」)だけ大きくなっている。なお、この4画素は、黒色を表示するための映像信号VB(図5の場合、映像信号VB1~VB4)が書き込まれる画素の数に相当する。
 なお、図5に示す並び替え処理は、画素行単位で実行される。
 図6は、立体画像生成部22によって実行される立体画像生成処理の手順の一例を示すフローチャートである。
 まず、立体画像生成部22は、対象画像取得部21から出力された対象画像を取得する(ステップS1)。続いて、立体画像生成部22は、取得された対象画像に対応する映像信号Vに対して上記した並び替え処理を実行し、立体画像を生成する(ステップS2)。しかる後、立体画像生成部22は、生成された立体画像を立体画像出力部23に出力し(ステップS3)、一連の立体画像生成処理を終了させる。
 以上説明したように、本実施形態に係る立体画像生成処理においては、1枚の対象画像から立体画像を生成することが可能であり、視差数と同数の画像を合成したり、デプスマップを取得したりする必要がないため、立体画像を生成する際に装置にかかる処理負荷を大幅に軽減することが可能である。
 また、本実施形態に係る立体画像生成処理においては、任意に設定・変更された視差数に対応した立体画像を生成することが可能であるため、液晶表示装置10の表示面に既に設置されているパララックスバリアやレンチキュラーレンズを変更する必要がないという利点を得ることができる。換言すれば、液晶表示装置10の表示面にパララックスバリアやレンチキュラーレンズが既に設置されている場合であっても、当該パララックスバリアやレンチキュラーレンズが対応可能である視差数に応じた立体画像を生成することが可能であるため、画像処理装置20の設置に伴い、新たなパララックスバリアやレンチキュラーレンズを設置する必要がないという利点を得ることが可能である。
 なお、上記した実施形態においては、3次元表示される画像全体が同じ奥行き感をもって観察者により認識されるような立体画像が生成される場合について説明した。しかしながら、立体画像生成部22は、上記した並び替え処理を画素行単位で実行するため、画素行毎に異なる奥行き感をもって認識されるような立体画像を生成することも可能である。例えば、図7に示すように、画像の上半分を下半分よりも奥行き感をもって観察者に認識させるような立体画像を生成することも可能である。
 この場合、立体画像生成部22は、液晶表示装置10の上半分の画素行に書き込まれる映像信号Vの並び替え処理に適用される設定値nを、下半分の画素行に書き込まれる映像信号Vの並び替え処理に適用される設定値nよりも大きくすることで、画像の上半分を下半分よりも奥行き感をもって観察者に認識させるような立体画像を生成する。
 図8は、5視差に対応する立体画像を生成するために実行される並び替え処理であって、画像の上半分を下半分よりも奥行き感をもって観察者に認識させることが可能な立体画像を生成するための並び替え処理について説明するための図である。
 この場合、立体画像生成部22は、液晶表示装置10の上半分の画素行に書き込まれる映像信号Vの並び替え処理に適用される設定値nを2にする。これによれば、図8(a)に示すように、映像信号V0~V4,V5~V9,V10~V14,V15~V19,V20~V24,V25~V29は、それぞれ2個飛びで画素PXに書き込まれるように並び替えられる。なお、映像信号V0~V29のうちのいずれの映像信号Vも書き込むことができない画素PXには、黒色を表示するための映像信号VB(図8(a)に示す映像信号VB1~VB8)が割り当てられる。
 また、立体画像生成部22は、液晶表示装置10の下半分の画素行に書き込まれる映像信号Vの並び替え処理に適用される設定値nを1にする。これによれば、図8(b)に示すように、映像信号V0~V4,V5~V9,V10~V14,V15~V19,V20~V24,V25~V29は、それぞれ1個飛びで画素PXに書き込まれるように並び替えられる。この場合においても、映像信号V0~V29のうちのいずれの映像信号Vも書き込むことができない画素PXには、黒色を表示するための映像信号VB(図8(b)に示す映像信号VB3~VB6)が割り当てられる。
 なお、画素行毎に異なる奥行き感をもたせる場合、立体画像生成部22は、最も奥行き感をもたせる画素行を基準にして、立体画像の解像度を決定する。例えば、図7および図8の場合、立体画像の解像度は、液晶表示装置10の上半分の画素行に書き込まれる映像信号Vの数(換言すると、映像信号Vが書き込まれる画素PXの数)を基準にして決定される。このため、立体画像生成部22は、液晶表示装置10の下半分の画素行に書き込まれる映像信号Vの数を、液晶表示装置10の上半分の画素行に書き込まれる映像信号Vの数と同じにするために、当該下半分の画素行の両端部に、黒色を表示するための映像信号VB(図8(b)に示す映像信号VB1,VB2,VB7,VB8)をさらに割り当てる。これによれば、液晶表示装置10の下半分に表示される立体画像の解像度を、液晶表示装置10の上半分に表示される立体画像の解像度と同じにすることが可能である。
 以上説明した並び替え処理を含む立体画像生成処理によれば、画素行毎に異なる奥行き感(または手前感)をもって認識されるような立体画像を生成することが可能である。
 また、上記した実施形態においては、液晶表示装置10の表示面全面に、パララックスバリアやレンチキュラーレンズが配置されている場合について説明した。しかしながら、パララックスバリアやレンチキュラーレンズは、液晶表示装置10の表示面の一部にのみ配置されるとしてもよい。
 この場合、立体画像生成部22は、パララックスバリアやレンチキュラーレンズが配置されている部分に位置する画素PXに書き込まれる映像信号Vのみを対象にして、上記した並び替え処理を実行すればよい。これによれば、観察者は、パララックスバリアやレンチキュラーレンズが配置されている部分に位置する画素PXに書き込まれる映像信号Vに対応する立体画像(3次元画像)を認識すると共に、パララックスバリアやレンチキュラーレンズが配置されていない部分に位置する画素PXに書き込まれる映像信号Vに対応する2次元画像を認識することが可能となる。
 以上説明した実施形態によれば、画像処理装置20は、対象画像を取得する対象画像取得部21と、取得された対象画像に対応する複数の映像信号Vが、水平方向に並ぶ複数の画素PXのうち、n個飛びの画素PXにそれぞれ書き込まれるように並び替えて、立体画像を生成する立体画像生成部22と、生成された立体画像を液晶表示装置10に出力する立体画像出力部23と、を備えており、1枚の対象画像から立体画像を生成することが可能であるため、立体画像を生成する際の処理負荷を軽減することが可能である。
 また、画像処理装置20と、画像処理装置20から出力される立体画像を表示出力する液晶表示装置10と、を備えたヘッドアップディスプレイHUDを提供することが可能である。
 本発明の思想の範疇において、当業者であれば、各種の変形例に想到し得るものであり、それら変形例についても本発明の範囲に属するものと解される。例えば、上述の各実施形態に対して、当業者が適宜、構成要素の追加、削除、若しくは設計変更を行ったもの、または、工程の追加、省略若しくは条件変更を行ったものも、本発明の要旨を備えている限り、本発明の範囲に含まれる。
 また、上述の各実施形態において述べた態様によりもたらされる他の作用効果について、本明細書の記載から明らかなもの、または当業者において適宜想到し得るものについては、当然に本発明によりもたらされるものと解される。
 10…液晶表示装置、20…画像処理装置、PX…画素、M1,M2…凹面ミラー、FG…フロントガラス、VI…虚像、21…対象画像取得部、22…立体画像生成部、23…立体画像出力部。

Claims (7)

  1.  対象画像を取得する取得部と、
     前記取得された対象画像に対応する複数の映像信号が、水平方向に並ぶ複数の画素のうち、所定個数おきの画素にそれぞれ書き込まれるように並び替えて、立体画像を生成する生成部と、
     前記生成された立体画像を表示装置に出力する出力部と、
     を具備する、画像処理装置。
  2.  前記生成部は、
     前記複数の映像信号が、前記所定個数おきの画素であって、視差数と同数の画素にそれぞれ書き込まれるように並び替えて、前記立体画像を生成する、
     請求項1に記載の画像処理装置。
  3.  前記所定個数は、
     前記立体画像が表示出力された際に形成される虚像の位置から、観察者により当該立体画像が認識される位置までの距離に基づいて決定される、
     請求項1に記載の画像処理装置。
  4.  前記立体画像の解像度は、
     前記所定個数がn個である場合、前記対象画像の解像度に比べて、n×(視差数-1)だけ大きい、
     請求項3に記載の画像処理装置。
  5.  前記生成部は、
     前記複数の映像信号のうちのいずれの映像信号も書き込むことができない画素に対して黒色を表示するための映像信号を割り当てる、
     請求項4に記載の画像処理装置。
  6.  前記黒色を表示するための映像信号は、
     前記水平方向に並ぶ複数の画素うちの両端部付近の画素に割り当てられる、
     請求項5に記載の画像処理装置。
  7.  請求項1~請求項6のいずれか1項に記載の画像処理装置と、
     前記画像処理装置から出力される前記立体画像を表示出力する表示装置と、
     を具備する、ヘッドアップディスプレイ。
PCT/JP2020/045555 2020-01-28 2020-12-07 画像処理装置およびヘッドアップディスプレイ WO2021153012A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202080094874.1A CN115023951A (zh) 2020-01-28 2020-12-07 图像处理装置及平视显示器
US17/875,410 US20220377305A1 (en) 2020-01-28 2022-07-28 Image processing device and head-up display

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020-011746 2020-01-28
JP2020011746A JP2021118479A (ja) 2020-01-28 2020-01-28 画像処理装置およびヘッドアップディスプレイ

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/875,410 Continuation US20220377305A1 (en) 2020-01-28 2022-07-28 Image processing device and head-up display

Publications (1)

Publication Number Publication Date
WO2021153012A1 true WO2021153012A1 (ja) 2021-08-05

Family

ID=77078207

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/045555 WO2021153012A1 (ja) 2020-01-28 2020-12-07 画像処理装置およびヘッドアップディスプレイ

Country Status (4)

Country Link
US (1) US20220377305A1 (ja)
JP (1) JP2021118479A (ja)
CN (1) CN115023951A (ja)
WO (1) WO2021153012A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002073003A (ja) * 2000-08-28 2002-03-12 Namco Ltd 立体視画像生成装置及び情報記憶媒体
JP2004248212A (ja) * 2003-02-17 2004-09-02 Kazunari Era 立体視画像表示装置
JP2007036528A (ja) * 2005-07-26 2007-02-08 Sharp Corp 画像処理装置
JP2012120109A (ja) * 2010-12-03 2012-06-21 Toshiba Corp 視差画像生成装置、立体映像表示装置及び視差画像生成方法
JP2012182569A (ja) * 2011-02-28 2012-09-20 Sanyo Electric Co Ltd 表示装置

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020080495A1 (en) * 2000-12-21 2002-06-27 Raytheon Company Method and apparatus for reducing distortion in a displayed image
US20070146235A1 (en) * 2002-03-01 2007-06-28 James Nolan Navigation system utilizing portable and adjustable heads up display
CA2605347A1 (en) * 2005-04-25 2006-11-02 Yappa Corporation 3d image generation and display system
US8121618B2 (en) * 2009-10-28 2012-02-21 Digimarc Corporation Intuitive computing methods and systems
DE102012001950A1 (de) * 2012-02-02 2013-08-08 Daimler Ag Verfahren zum Betreiben einer Kameraanordnung für ein Fahrzeug und Kameraanordnung
US10186236B2 (en) * 2013-05-23 2019-01-22 Intel Corporation Universal codec
JP6601020B2 (ja) * 2014-08-11 2019-11-06 セイコーエプソン株式会社 撮像表示装置
EP3585045B1 (en) * 2017-02-15 2023-11-01 Sony Group Corporation Information processing device, information processing method, and program

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002073003A (ja) * 2000-08-28 2002-03-12 Namco Ltd 立体視画像生成装置及び情報記憶媒体
JP2004248212A (ja) * 2003-02-17 2004-09-02 Kazunari Era 立体視画像表示装置
JP2007036528A (ja) * 2005-07-26 2007-02-08 Sharp Corp 画像処理装置
JP2012120109A (ja) * 2010-12-03 2012-06-21 Toshiba Corp 視差画像生成装置、立体映像表示装置及び視差画像生成方法
JP2012182569A (ja) * 2011-02-28 2012-09-20 Sanyo Electric Co Ltd 表示装置

Also Published As

Publication number Publication date
CN115023951A (zh) 2022-09-06
US20220377305A1 (en) 2022-11-24
JP2021118479A (ja) 2021-08-10

Similar Documents

Publication Publication Date Title
US10162175B2 (en) Dual head-up display apparatus
US11004424B2 (en) Image display system, image display method, movable object including the image display system, and non-transitory computer-readable medium
CN109309828B (zh) 图像处理方法和图像处理装置
WO2022188096A1 (zh) 一种hud系统、车辆及虚像的位置调节方法
JP7194906B2 (ja) 映像表示システム、映像表示方法、プログラム、及び映像表示システムを備える移動体
US10564416B2 (en) Display device and display method of the same
JP6498355B2 (ja) ヘッドアップディスプレイ装置
US20200301145A1 (en) Head-up display device and transportation device
CN110050222A (zh) 虚像显示装置
CN110764339A (zh) 多区成像设备和方法
JP7110968B2 (ja) ヘッドアップディスプレイ装置
WO2021153012A1 (ja) 画像処理装置およびヘッドアップディスプレイ
CN111064941A (zh) 多区投影设备及多区投影方法
JP6779571B2 (ja) 車載用表示装置
US11187911B2 (en) Projection display with representation in multiple display planes
CN114007902A (zh) 抬头显示装置和抬头显示方法
JP2017227681A (ja) ヘッドアップディスプレイ装置
US20220252878A1 (en) Multi-region imaging device and method
KR102598912B1 (ko) 레이저 안전 장치가 적용된 차량용 헤드업 디스플레이 장치
EP3534202B1 (en) Virtual image display device
CN210666207U (zh) 一种抬头显示设备、成像系统和车辆
JP2021089395A (ja) 画像表示装置
JP2023525839A (ja) 多焦点画像生成装置、ヘッドアップディスプレイ装置、関連する方法およびデバイス
CN115469462A (zh) 抬头显示器及抬头显示设备
JP2019066760A (ja) 画像表示装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20916619

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20916619

Country of ref document: EP

Kind code of ref document: A1