JP7408408B2 - display system - Google Patents
display system Download PDFInfo
- Publication number
- JP7408408B2 JP7408408B2 JP2020008285A JP2020008285A JP7408408B2 JP 7408408 B2 JP7408408 B2 JP 7408408B2 JP 2020008285 A JP2020008285 A JP 2020008285A JP 2020008285 A JP2020008285 A JP 2020008285A JP 7408408 B2 JP7408408 B2 JP 7408408B2
- Authority
- JP
- Japan
- Prior art keywords
- color
- image
- camera
- display
- video
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003384 imaging method Methods 0.000 claims description 24
- 239000003086 colorant Substances 0.000 description 4
- 238000000034 method Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 230000000052 comparative effect Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000016776 visual perception Effects 0.000 description 1
Landscapes
- Closed-Circuit Television Systems (AREA)
- Color Television Image Signal Generators (AREA)
- Processing Of Color Television Signals (AREA)
- Studio Devices (AREA)
Description
本発明は、カメラで撮影した映像を表示する表示システムに関するものである。 The present invention relates to a display system that displays images captured by a camera.
カメラで撮影した映像を表示する表示システムとしては、自動車車内のフロントウインドシールドの上方の位置に配置したディスプレイに、カメラで撮影した自動車後方の映像を表示する電子ミラーシステムが知られている（たとえば、特許文献１）。 As a display system that displays images captured by a camera, an electronic mirror system is known that displays images of the rear of the vehicle captured by a camera on a display placed above the front windshield inside the vehicle (for example, , Patent Document 1).
また、このような表示システムに用いることのできるカメラに関する技術としては、被写体の白色の部分を表す画素の画素値が、正しく白色を表す画素値となるように、撮像素子から出力される映像の各色のゲインを調整した上で出力するホワイトバランス調整の技術が知られている（たとえば、特許文献２）。 In addition, camera technology that can be used in such display systems includes adjusting the image output from the image sensor so that the pixel value of the pixel representing the white part of the subject is the pixel value correctly representing white. A white balance adjustment technique is known in which the gain of each color is adjusted and then output (for example, Patent Document 2).
また、撮影時の色環境（環境光色等）下における被写体の色味を反映した映像、すなわち、目視によって認識される色味と同じ色味の被写体の映像が得られるように、撮像素子から出力される映像の各色のゲインを調整した上で出力する色味調整の技術も知られている（たとえば、特許文献３）。 In addition, the image sensor is designed to produce an image that reflects the color of the subject under the color environment (environmental light color, etc.) at the time of shooting, that is, an image of the subject that has the same color tone as visually recognized. There is also known a color adjustment technique in which the gain of each color of an output video is adjusted and then output (for example, Patent Document 3).
たとえば、上述した電子ミラーシステムにおいて、カメラにおいてホワイトバランス調整を行った映像をディスプレイに表示すると、その時点の色環境によって、ディスプレイに表示される映像中の被写体の色味と、ドライバーが目視によって認識する被写体の色味とが異なってしまうことがある。 For example, in the above-mentioned electronic mirror system, when an image with white balance adjusted by the camera is displayed on the display, the color tone of the subject in the image displayed on the display and the driver's visual perception will depend on the color environment at that time. The color tone of the subject may differ.
一方、上述した電子ミラーシステムにおいて、カメラにおいて色味調整を行う場合には、カメラから出力された映像において被写体の白色の部分は有彩色となるため、ユーザから設定された有彩色を調整する色調整をカメラから出力された映像に対して施してディスプレイに表示する場合などには、ディスプレイに表示される被写体の白色等の無彩色の部分が、無彩色とは認識できない色となってしまうことがある。 On the other hand, in the electronic mirror system described above, when performing color adjustment in the camera, since the white part of the subject in the image output from the camera is a chromatic color, the chromatic color set by the user is adjusted. When adjusting the image output from a camera and displaying it on a display, the white or other achromatic parts of the subject displayed on the display may become colors that cannot be recognized as achromatic. There is.
そして、このように、ディスプレイに表示される映像中の被写体の色味の印象と、ドライバーが直接の目視やサイドミラーを介した目視によって認識する被写体の色味の印象とが異なってしまうことは、ドライバーの自動車周辺の状況の直感的な把握にとってマイナス要因となる。 In this way, the impression of the color of the subject in the image displayed on the display may differ from the impression of the color of the subject perceived by the driver directly or through the side mirror. This is a negative factor for the driver's ability to intuitively grasp the situation around the vehicle.
そこで、本発明は、カメラで撮影した映像に対して有彩色の調整を施して表示した場合にも、表示される映像中の被写体の色味の印象を、目視によって認識する被写体の色味の印象に整合できる表示システムを提供することを課題とする。 Therefore, the present invention aims to improve the impression of the color of the subject in the displayed image even when the image taken with a camera is displayed after performing chromatic color adjustment. The objective is to provide a display system that can match impressions.
前記課題達成のために、本発明は、映像を撮影するカメラと、前記カメラの出力映像の映像処理を行う映像処理部と、前記映像処置部が映像処理を行った映像を表示するディスプレイとを備えた表示システムを提供する。ここで、前記カメラは、映像を撮像し出力する撮像部と、撮像部が出力した映像のホワイトバランス調整を行って当該カメラの前記出力映像として出力するホワイトバランス調整部と、前記撮像部が出力した映像の色味を識別可能な情報を色味情報として出力する色味情報出力手段とを備えている。また、前記映像処理部は、前記カメラの出力映像の色を調整する所定の色調整処理を行う色調整処理部と、前記カメラから出力される色味情報に基づいて、前記色調整処理部が色調整処理を行った映像から、前記カメラの撮像部が出力した映像の色味に近似する色味の映像として前記ディスプレイに表示される映像を生成して、前記ディスプレイに出力する色味補正手段とを備えている。 In order to achieve the above object, the present invention includes a camera that photographs an image, a video processing section that performs video processing on the output video of the camera, and a display that displays the video processed by the video processing section. Provides a display system with Here, the camera includes an imaging section that captures and outputs a video, a white balance adjustment section that performs white balance adjustment on the video output by the imaging section and outputs it as the output video of the camera, and an output video that the imaging section outputs. and a color information output means for outputting information by which the color of the video image can be identified as color information. Further, the video processing section includes a color adjustment processing section that performs a predetermined color adjustment processing to adjust the color of the output video of the camera, and a color adjustment processing section that performs a predetermined color adjustment processing to adjust the color of the output video of the camera, and a color adjustment processing section that performs a predetermined color adjustment processing to adjust the color of the output video of the camera. A color correction means for generating an image to be displayed on the display as an image having a color similar to the color of the image output by the imaging unit of the camera from the image subjected to color adjustment processing, and outputting the image to the display. It is equipped with
ここで、このような表示システムは、前記色味補正手段において、前記色調整処理部が色調整処理を行った映像に、前記カメラの撮像部が出力した映像の色味に近似する色味の映像への変換と、映像の白色部分を前記ディスプレイに白色に表示させるための表示用ホワイトバランス調整とを施した映像を生成して前記ディスプレイに出力するように構成してもよい。 Here, in such a display system, the color correction unit adds a color tone similar to the color tone of the image outputted by the imaging unit of the camera to the image subjected to color adjustment processing by the color adjustment processing unit. It may be configured to generate an image that has been converted into an image and subjected to display white balance adjustment for displaying white portions of the image in white on the display, and output to the display.
以上のような表示システムは、前記カメラの色味情報出力手段において、ホワイトバランス調整部が行ったホワイトバランス調整の内容を表す情報を前記色味情報として出力するように構成してもよい。 The display system as described above may be configured such that the color information output means of the camera outputs information representing the content of the white balance adjustment performed by the white balance adjustment section as the color information.
または、以上の表示システムにおいて、前記カメラに、前記撮像部が出力した映像の色味を算定する色味算定手段を設け、前記カメラの色味情報出力手段において、前記色味算定手段が算定した色味を表す情報を前記色味情報として出力するようにしてもよい。 Alternatively, in the above display system, the camera is provided with a tint calculation means for calculating the tint of the image output by the imaging unit, and the tint information output means of the camera includes Information representing the tint may be output as the tint information.
また、以上の表示システムは自動車に搭載されたものであってよく、この場合、前記カメラは前記自動車の後方の映像を撮影し、前記ディスプレイは前記自動車の運転席の着席者から視認可能な位置に配置されているものであってもよい。 Further, the above display system may be installed in a car, in which case the camera shoots an image of the rear of the car, and the display is located at a position that is visible from a person sitting in the driver's seat of the car. It may be placed in
以上のような表示システムによれば、カメラにおいてホワイトバランス調整された映像に対して、映像処理部で色調整処理を行った後に、色調整処理を行った映像を、前記カメラの撮像部が出力した映像の色味に近似する色味の映像として前記ディスプレイに表示される映像に変換してディスプレイに表示するので、色調整処理で有彩色の調整を施した場合にも、被写体の白色の部分が不自然に色づいてしまうことを抑止しつつ、表示される映像中の被写体の色味の印象を、目視によって認識する被写体の色味の印象に整合できる。 According to the above-described display system, after the video processing unit performs color adjustment processing on the white balance-adjusted video in the camera, the imaging unit of the camera outputs the color-adjusted video. Since the image is converted to the image displayed on the display and displayed on the display as an image with a color tone that approximates the color tone of the image, even when chromatic color adjustment is performed in the color adjustment process, the white part of the subject is The color impression of the subject in the displayed video can be matched with the impression of the color of the subject visually recognized while preventing the color from being unnaturally colored.
以上のように、本発明によれば、カメラで撮影した映像に対して有彩色の調整を施して表示した場合にも、表示される映像中の被写体の色味の印象を、目視によって認識する被写体の色味の印象に整合できる。 As described above, according to the present invention, even when a video shot with a camera is displayed after performing chromatic color adjustment, the impression of the color of the subject in the displayed video can be visually recognized. It can match the color impression of the subject.
以下、本発明の実施形態について、電子ミラーシステムへの適用を例にとり説明する。
図１に、本実施形態に係る電子ミラーシステムの構成を示す。
電子ミラーシステムは自動車に搭載されているシステムであり、図示するように、カメラ１とモニタ装置２を備えている。
ここで、カメラ１は、たとえば、図２ａに示すように、自動車の後部に配置され自動車の後方のようすを撮影する。
また、モニタ装置２は、たとえば、図２ｂに示すように、自動車車内のフロントウインドシールドの上方の位置、すなわち、伝統的にルームミラーが配置されてきた位置に配置され、カメラ１で撮影した映像を表示する。
Embodiments of the present invention will be described below, taking application to an electronic mirror system as an example.
FIG. 1 shows the configuration of an electronic mirror system according to this embodiment.
The electronic mirror system is a system mounted on an automobile, and includes a camera 1 and a monitor device 2, as shown in the figure.
Here, the camera 1 is placed at the rear of the car, for example, as shown in FIG. 2a, and photographs the rear of the car.
Further, as shown in FIG. 2b, for example, the monitor device 2 is placed above the front windshield inside an automobile, that is, in the position where a rearview mirror has traditionally been placed, and monitors the image taken by the camera 1. Display.
図１に戻り、カメラ１は、CCDイメージセンサなどの映像を撮像し出力する撮像部１１、撮像部１１が出力した映像の各色のゲインを調整して出力するホワイトバランス調整部１２、ホワイトバランス調整部１２から出力される映像の色温度を推定する色温度推定部１３、色温度推定部１３が推定した色温度に基づいて、ホワイトバランス調整部１２から出力される映像中の、被写体の白色の部分を表す画素の画素値が、正しく白色を表す画素値となるように、ホワイトバランス調整部１２における各色のゲインを制御して、ホワイトバランスを調整するホワイトバランス制御部１４を有している。ここで、ホワイトバランス調整部１２における各色のゲインの制御は、より具体的には、たとえば、、色温度推定部１３において、ホワイトバランス調整部１２から出力される映像中の色の平均レベルを算定し、ホワイトバランス制御部１４が色温度推定部１３において算定した平均レベルが所定値（たとえば０）となるように各色のゲインを制御すること等により行うことができる。なお、ホワイトバランス調整部１２における各色のゲインの制御によるホワイトバランス調整は、撮像部１１が撮像した映像中の被写体の白色の部分に対応する領域を推定し、当該領域の画素値が白色を表す値となるように各色のゲインを制御することなどによっても行うことができる。 Returning to FIG. 1, the camera 1 includes an imaging unit 11 that captures and outputs an image using a CCD image sensor, a white balance adjustment unit 12 that adjusts the gain of each color of the image output by the imaging unit 11, and a white balance adjustment unit 12 that adjusts the gain of each color of the image output by the imaging unit 11. A color temperature estimation section 13 estimates the color temperature of the video output from the white balance adjustment section 12, and a color temperature estimation section 13 estimates the color temperature of the image output from the white balance adjustment section 12. It has a white balance control section 14 that adjusts the white balance by controlling the gain of each color in the white balance adjustment section 12 so that the pixel value of the pixel representing the part correctly becomes the pixel value representing white. Here, more specifically, the control of the gain of each color in the white balance adjustment section 12 is performed by, for example, calculating the average level of the color in the video output from the white balance adjustment section 12 in the color temperature estimation section 13. However, this can be done by the white balance control section 14 controlling the gain of each color so that the average level calculated by the color temperature estimating section 13 becomes a predetermined value (for example, 0). Note that white balance adjustment by controlling the gain of each color in the white balance adjustment unit 12 is performed by estimating a region corresponding to a white part of a subject in a video imaged by the imaging unit 11, and pixel values of the region represent white. This can also be done by controlling the gain of each color so that the value is the same.
そして、ホワイトバランス調整部１２から出力される映像はカメラ出力映像Ｖとしてモニタ装置２に送られる。また、ホワイトバランス制御部１４によるホワイトバランス調整部１２における各色のゲインの制御内容は、ゲイン制御情報Iとしてモニタ装置２に送られる。 The video output from the white balance adjustment section 12 is sent to the monitor device 2 as a camera output video V. Further, the content of the control of the gain of each color in the white balance adjustment section 12 by the white balance control section 14 is sent to the monitor device 2 as gain control information I.
次に、モニタ装置２は、映像処理部２１、ディスプレイ２２、制御部２３、入力装置２４を備えている。
ディスプレイ２２は、LCD等の表示装置であり、表示面を自動車後方に向けて配置されている。また、入力装置２４は、スイッチやディスプレイ２２の表示面に重ねて設けられたタッチパネルなどの入力装置２４であり、ユーザ操作を受け付ける。
Next, the monitor device 2 includes a video processing section 21, a display 22, a control section 23, and an input device 24.
The display 22 is a display device such as an LCD, and is arranged with its display surface facing toward the rear of the vehicle. Further, the input device 24 is a switch or a touch panel provided overlapping the display surface of the display 22, and receives user operations.
映像処理部２１は、色調整部２１１、表示ホワイトバランス補正部２１２、表示ホワイトバランス制御部２１３を備えている。
色調整部２１１は、制御部２３が入力装置２４に対するユーザ操作等に応じて色調整部２１１に設定した内容の色調整処理を、カメラ１から入力するカメラ出力映像Ｖに施して表示ホワイトバランス補正部２１２に出力する。
The video processing section 21 includes a color adjustment section 211, a display white balance correction section 212, and a display white balance control section 213.
The color adjustment unit 211 performs display white balance correction by applying color adjustment processing set in the color adjustment unit 211 by the control unit 23 according to a user operation on the input device 24 to the camera output video V input from the camera 1. 212.
表示ホワイトバランス補正部２１２は、色調整部２１１から入力する色調整処理後のカメラ出力映像Ｖの各色のゲインを、表示ホワイトバランス制御部２１３から設定されたゲインに調整し、ディスプレイ２２に表示する。 The display white balance correction unit 212 adjusts the gain of each color of the camera output video V after color adjustment processing inputted from the color adjustment unit 211 to the gain set by the display white balance control unit 213, and displays the gain on the display 22. .
表示ホワイトバランス制御部２１３は、カメラ１から入力するゲイン制御情報Iと、ディスプレイ２２の表示特性とに応じて、表示ホワイトバランス補正部２１２において施す、色調整処理後のカメラ出力映像Ｖの各色のゲインを設定する。 The display white balance control unit 213 adjusts each color of the camera output video V after color adjustment processing, which is performed in the display white balance correction unit 212, according to the gain control information I input from the camera 1 and the display characteristics of the display 22. Set the gain.
すなわち、表示ホワイトバランス制御部２１３は、ゲイン制御情報Iが表すカメラ１において撮像部１１が撮像した映像に対して施されたホワイトバランス調整の内容から求まる撮像部１１が撮像した映像の色味に、ディスプレイ２２に表示される映像の色味が再現されるように、表示ホワイトバランス補正部２１２において施す、色調整処理後のカメラ出力映像Ｖの各色のゲインを設定する。 That is, the display white balance control unit 213 adjusts the color tone of the image captured by the imaging unit 11 determined from the white balance adjustment performed on the image captured by the imaging unit 11 in the camera 1 represented by the gain control information I. , the gain of each color of the camera output video V after color adjustment processing is set in the display white balance correction unit 212 so that the color tone of the video displayed on the display 22 is reproduced.
より具体的には、表示ホワイトバランス制御部２１３は、各色iについて、ゲイン制御情報Iが表すカメラ１のホワイトバランス調整部１２の当該色iのゲインを全てキャンセルするゲイン、もしくは、所定程度キャンセルするゲイン、すなわち、ホワイトバランス調整部１２の当該色iのゲインの逆数に１以下０超の所定の係数を乗じたゲインを、当該色iの色味調整用のゲインＧciとして算出する。 More specifically, for each color i, the display white balance control unit 213 sets a gain that completely cancels the gain of the white balance adjustment unit 12 of the camera 1 represented by the gain control information I for the color i, or cancels the gain to a predetermined extent. The gain, that is, the gain obtained by multiplying the reciprocal of the gain of the color i of the white balance adjustment unit 12 by a predetermined coefficient of 1 or less and greater than 0 is calculated as the tint adjustment gain Gci of the color i.
これにより、ゲイン制御情報Iが、カメラ１のホワイトバランス調整部１２で黄色味を減ずる各色のゲインでホワイトバランス調整を行っていることを表している場合には、黄色味を減じた分に応じた程度、黄色味を増加する各色iの色味調整用のゲインＧciが算定される。 As a result, if the gain control information I indicates that the white balance adjustment unit 12 of the camera 1 is performing white balance adjustment using the gain of each color that reduces yellowness, then A tint adjustment gain Gci for each color i that increases the yellow tint is calculated.
また、表示ホワイトバランス制御部２１３は、各色ｉについて、ディスプレイ２２の表示特性より予め定まる、ディスプレイ２２のホワイトバランス調整用の当該色ｉのゲインをＧwiとして、Ｇci×Ｇwiを、表示ホワイトバランス補正部２１２において施す、色調整処理後のカメラ出力映像Ｖの当該色ｉのゲインとして設定する。 Further, for each color i, the display white balance correction unit calculates Gci×Gwi, where Gwi is the gain of the color i for white balance adjustment of the display 22, which is predetermined from the display characteristics of the display 22. It is set as the gain of the color i of the camera output video V after the color adjustment processing performed in step 212.
なお、ディスプレイ２２のホワイトバランス調整用の各色のゲインとは、映像Ａの各色に当該色iのゲインＧwiを施した映像Ｂをディスプレイ２２に出力したときに、映像Ａにおいて白色を表す画素値を持っていた映像Ｂの画素が、ディスプレイ２２において白色に表示されるゲインである。 Note that the gain of each color for white balance adjustment of the display 22 means that when the image B obtained by applying the gain Gwi of the color i to each color of the image A is output to the display 22, the pixel value representing white in the image A is The pixels of the image B that were held have a gain that is displayed in white on the display 22.
図３に、以上のような電子ミラーシステムの動作を示す。
いま、図３ａのように、目視において夕方の被写体の白色の部分が黄色味がかって認識される風景をカメラ１で撮影した場合、カメラ１の撮像部１１からは被写体の白色の部分が黄色味がかった映像が出力される。そして、図３ｂ１に示すように、カメラ１のホワイトバランス調整部１２によって、撮像部１１から出力された映像を、被写体の白色の部分が白色となるようにホワイトバランス調整した映像が生成されモニタ装置２に出力される。
FIG. 3 shows the operation of the electronic mirror system as described above.
Now, as shown in FIG. 3a, if the camera 1 photographs a landscape in which the white part of the subject in the evening appears to have a yellowish tinge, the white part of the subject appears to have a yellowish tinge when viewed from the imaging unit 11 of the camera 1. A tinged image is output. Then, as shown in FIG. 3b1, the white balance adjustment unit 12 of the camera 1 generates an image in which the white balance of the image output from the imaging unit 11 is adjusted so that the white part of the subject becomes white, and the image is displayed on the monitor device. 2 is output.
そして、モニタ装置２の映像処理部２１の色調整部２１１に色を濃くする色調整処理が設定されている場合、色調整部２１１において図３ｂ１の映像の有彩色を濃くした図３ｂ２に示す映像が生成され、表示ホワイトバランス補正部２１２に出力される。ここで被写体の白色の部分は、カメラ１から入力する図３ｂ１の映像においても無彩色である白色となっているので、色調整処理後の図３ｂ２に示す映像でも白色のままとなる。 When the color adjustment unit 211 of the video processing unit 21 of the monitor device 2 is set to perform color adjustment processing to deepen the color, the color adjustment unit 211 produces an image shown in FIG. 3b2 in which the chromatic colors of the image shown in FIG. 3b1 are deepened. is generated and output to the display white balance correction section 212. Here, since the white part of the subject is also achromatic white in the image shown in FIG. 3b1 input from the camera 1, it remains white in the image shown in FIG. 3b2 after the color adjustment process.
そして、表示ホワイトバランス補正部２１２において、カメラ１で行われたホワイトバランスの調整をキャンセルした映像がディスプレイ２２に表示されることとなる映像、すなわち、カメラ１で行われた黄色味がかった白色を白色とするホワイトバランス調整とは逆に白色の部分を黄色味がからせた映像がディスプレイ２２に表示されることとなる映像が生成され、図３ｂ３に示すようにディスプレイ２２に表示される。 Then, the display white balance correction unit 212 corrects the image that is to be displayed on the display 22 after canceling the white balance adjustment made by the camera 1, that is, the yellowish white color made by the camera 1. Contrary to the white balance adjustment that makes the white part white, an image in which the white part has a yellowish tinge is generated and displayed on the display 22, as shown in FIG. 3b3.
したがって、ディスプレイ２２に表示される映像は、目視の場合と同様に、被写体の白色の部分が黄色味がかって表れる映像となる。
また、色調整部２１１で有彩色を濃くする色調整処理を行っても、表示された映像の、被写体の白色の部分が、白色と認識されないほどに色づいてしまうことはない。また、色調整部２１１で色相を変換する色調整処理を行った場合にも、表示された映像の、被写体の白色の部分の色相が目視で認識される色相からずれてしまうこともない。
Therefore, the image displayed on the display 22 is an image in which white parts of the subject appear yellowish, as in the case of visual observation.
Furthermore, even if the color adjustment unit 211 performs color adjustment processing to deepen chromatic colors, the white portion of the subject in the displayed video will not be colored to such an extent that it cannot be recognized as white. Further, even when the color adjustment unit 211 performs color adjustment processing to convert the hue, the hue of the white portion of the subject in the displayed image does not deviate from the hue that is visually recognized.
ここで、比較例として、モニタ装置２の映像処理部２１の表示ホワイトバランス補正部２１２において、ディスプレイ２２のホワイトバランス調整用の各色のゲインＧwiのみを施した場合について示す。 Here, as a comparative example, a case is shown in which only the gain Gwi of each color for white balance adjustment of the display 22 is applied in the display white balance correction section 212 of the video processing section 21 of the monitor device 2.
この場合、図３ｃに示すように、ディスプレイ２２に表示される映像は、被写体の白色の部分が白色で表れる映像となり、表示された映像と、図３ａに示すように目視によって被写体の白色の部分が黄色味がかって認識される映像との間に、色味の印象の相違が生じることとなる。 In this case, as shown in FIG. 3c, the image displayed on the display 22 is an image in which the white part of the subject appears white, and the displayed image and the white part of the subject are visually observed as shown in FIG. 3a. This results in a difference in color impression between the image and the image, which is perceived as having a yellowish tinge.
次に、比較例として、カメラ１において、目視によって認識される色味と同じ色味の被写体の映像が得られるように撮像部１１から出力される映像を調整する色味調整を行うと共に、モニタ装置２の映像処理部２１の表示ホワイトバランス補正部２１２において、ディスプレイ２２のホワイトバランス調整用の各色のゲインＧwiのみを施す場合について示す。 Next, as a comparative example, in the camera 1, color adjustment is performed to adjust the image output from the imaging unit 11 so as to obtain an image of a subject with the same color tone as visually recognized, and the monitor A case will be described in which the display white balance correction unit 212 of the video processing unit 21 of the device 2 applies only the gain Gwi of each color for white balance adjustment of the display 22.
この場合、カメラ１からは図３ｄ１に示すように、目視によって認識される場合と同様に被写体の白色の部分が黄色味がかった映像が出力される。
そして、モニタ装置２の映像処理部２１の色調整部２１１に色を濃くする色調整処理が設定されている場合、色調整部２１１において図３ｄ１の映像の有彩色を濃くした図３ｄ２に示す映像が生成され、表示ホワイトバランス補正部２１２に出力される。ここで被写体の白色の部分は、カメラ１から入力する図３ｄ１の映像においても黄色味がかった白色となっているので、色調整処理後の図３ｄ２に示す映像では、さらに黄色味が強化されて黄色と認識される色となる場合がある。
In this case, as shown in FIG. 3d1, the camera 1 outputs an image in which the white part of the subject has a yellowish tinge, as in the case of visual recognition.
When the color adjustment unit 211 of the video processing unit 21 of the monitor device 2 is set to perform color adjustment processing to deepen the color, the color adjustment unit 211 produces an image shown in FIG. 3d2 in which the chromatic colors of the image shown in FIG. 3d1 are deepened. is generated and output to the display white balance correction section 212. Here, the white part of the subject has a yellowish white color even in the image shown in FIG. 3d1 input from camera 1, so the yellowish color is further enhanced in the image shown in FIG. 3d2 after color adjustment processing. The color may be perceived as yellow.
そして、この場合、図３ｄ３に示すように、ディスプレイ２２に表示される映像は、被写体の白色の部分が黄色と認識される色で表れる映像となり、表示された映像と、図３ａに示すように目視によって被写体の白色の部分が黄色味がかった白色として認識される映像との間に、色味の印象の相違が生じることとなる。 In this case, as shown in FIG. 3d3, the image displayed on the display 22 is an image in which the white part of the subject appears in a color that is recognized as yellow, and the displayed image and the image shown in FIG. 3a are This results in a difference in color impression from the image in which the white part of the subject is visually recognized as yellowish white.
また、この場合には、色調整処理部で色相の変換を含む色調整処理を行うと、被写体の白色の部分に目視により認識される色相と異なる色相の色への変化が生じ、さらに、表示された映像と目視によって認識される映像との間に乖離が生じることがある。 In this case, when the color adjustment processing unit performs color adjustment processing including hue conversion, the white part of the subject changes to a hue different from the hue that is visually recognized, and the display There may be a discrepancy between the captured image and the visually recognized image.
以上、本発明の実施形態について説明した。
なお、以上の実施形態は、カメラ１において、撮像部１１が撮像した映像の色温度を推定してモニタ装置２に通知し、モニタ装置２の表示ホワイトバランス制御部２１３において、各色iについて、通知された色温度に映像を調整するゲインを、当該色iのゲインＧciとして算出するようにしてもよい。
The embodiments of the present invention have been described above.
Note that in the above embodiment, the camera 1 estimates the color temperature of the video imaged by the imaging unit 11 and notifies the monitor device 2, and the display white balance control unit 213 of the monitor device 2 notifies each color i. The gain for adjusting the video to the color temperature may be calculated as the gain Gci of the color i.
また、以上の実施形態はフロントウインドシールドの上方の位置にモニタ装置２を配置した電子ミラーシステムへの適用を例にとり示したが、本実施形態は、左右に配置した二つのモニタ装置２に、カメラ１で撮影した自動車の左右側部後方の映像をそれぞれ表示する電子ミラーシステムや、その他のカメラで撮影した映像/映像を表示する任意の表示システムに同様に適用することができる。 Further, although the above embodiment has been described as an example of application to an electronic mirror system in which the monitor device 2 is placed above the front windshield, this embodiment has two monitor devices 2 placed on the left and right. The present invention can be similarly applied to an electronic mirror system that displays images of the rear left and right sides of a car taken with the camera 1, and any display system that displays images/images taken with other cameras.
１…カメラ、２…モニタ装置、１１…撮像部、１２…ホワイトバランス調整部、１３…色温度推定部、１４…ホワイトバランス制御部、２１…映像処理部、２２…ディスプレイ、２３…制御部、２４…入力装置、２１１…色調整部、２１２…表示ホワイトバランス補正部、２１３…表示ホワイトバランス制御部。 DESCRIPTION OF SYMBOLS 1... Camera, 2... Monitor device, 11... Imaging unit, 12... White balance adjustment unit, 13... Color temperature estimation unit, 14... White balance control unit, 21... Video processing unit, 22... Display, 23... Control unit, 24... Input device, 211... Color adjustment section, 212... Display white balance correction section, 213... Display white balance control section.
Claims (5)
前記カメラは、
映像を撮像し出力する撮像部と、
撮像部が出力した映像のホワイトバランス調整を行って当該カメラの前記出力映像として出力するホワイトバランス調整部と、
前記撮像部が出力した映像の色味を識別可能な情報を色味情報として出力する色味情報出力手段とを有し、
前記映像処理部は、
前記カメラの出力映像の色を調整する所定の色調整処理を行う色調整処理部と、
前記カメラから出力される色味情報に基づいて、前記色調整処理部が色調整処理を行った映像から、前記カメラの撮像部が出力した映像の色味に近似する色味の映像として前記ディスプレイに表示される映像を生成して、前記ディスプレイに出力する色味補正手段とを有することを特徴とする表示システム。 A display system comprising: a camera that shoots a video; a video processing unit that performs video processing on the output video of the camera; and a display that displays the video processed by the video processing unit.
The camera is
an imaging unit that captures and outputs video;
a white balance adjustment unit that adjusts the white balance of the video output by the imaging unit and outputs it as the output video of the camera;
and a color information output means for outputting information that allows the color of the video output by the imaging unit to be identified as color information,
The video processing unit includes:
a color adjustment processing unit that performs predetermined color adjustment processing to adjust the color of the output video of the camera;
Based on the color information outputted from the camera, the color adjustment processing section performs color adjustment processing on the image, and displays the image on the display as an image having a color tone similar to the color tone of the image outputted by the imaging section of the camera. A display system comprising: a color correction means for generating an image to be displayed on the display and outputting it to the display.
前記色味補正手段は、前記色調整処理部が色調整処理を行った映像に、前記カメラの撮像部が出力した映像の色味に近似する色味の映像への変換と、映像の白色部分を前記ディスプレイに白色に表示させるための表示用ホワイトバランス調整とを施した映像を生成して前記ディスプレイに出力することを特徴とする表示システム。 The display system according to claim 1, comprising:
The color correction means converts the image on which the color adjustment processing unit has performed color adjustment processing into an image with a color similar to the color of the image output by the imaging unit of the camera, and converts the image into a white portion of the image. What is claimed is: 1. A display system that generates an image that has been subjected to display white balance adjustment for displaying the image in white on the display, and outputs the generated image to the display.
前記カメラの色味情報出力手段は、ホワイトバランス調整部が行ったホワイトバランス調整の内容を表す情報を前記色味情報として出力することを特徴とする表示システム。 3. The display system according to claim 1 or 2,
The display system is characterized in that the color information output means of the camera outputs, as the color information, information representing the content of the white balance adjustment performed by the white balance adjustment section.
前記カメラは、前記撮像部が出力した映像の色味を算定する色味算定手段を有し、
前記カメラの色味情報出力手段は、前記色味算定手段が算定した色味を表す情報を前記色味情報として出力することを特徴とする表示システム。 3. The display system according to claim 1 or 2,
The camera has a tint calculation means for calculating the tint of the video output by the imaging unit,
The display system is characterized in that the color information output means of the camera outputs information representing the color calculated by the color calculation means as the color information.
当該表示システムは自動車に搭載され、
前記カメラは前記自動車の後方の映像を撮影し、
前記ディスプレイは前記自動車の運転席の着席者から視認可能な位置に配置されていることを特徴とする表示システム。 5. The display system according to claim 1, 2, 3 or 4,
The display system is installed in a car,
the camera captures an image of the rear of the vehicle;
The display system is characterized in that the display is arranged at a position where it can be seen by a person sitting in a driver's seat of the automobile.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020008285A JP7408408B2 (en) | 2020-01-22 | 2020-01-22 | display system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020008285A JP7408408B2 (en) | 2020-01-22 | 2020-01-22 | display system |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2021118372A JP2021118372A (en) | 2021-08-10 |
| JP7408408B2 true JP7408408B2 (en) | 2024-01-05 |
Family
ID=77176075
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2020008285A Active JP7408408B2 (en) | 2020-01-22 | 2020-01-22 | display system |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7408408B2 (en) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009165036A (en) | 2008-01-09 | 2009-07-23 | Sharp Corp | Image processor and computer program |
| JP2011097398A (en) | 2009-10-30 | 2011-05-12 | Aiphone Co Ltd | Intercom system with camera |
| JP2011254311A (en) | 2010-06-02 | 2011-12-15 | Aisin Seiki Co Ltd | Vehicle peripheral image processor |
| JP2014042138A (en) | 2012-08-22 | 2014-03-06 | Nikon Corp | Image processing device, computer program, and digital camera |
| JP2017184152A (en) | 2016-03-31 | 2017-10-05 | パナソニックＩｐマネジメント株式会社 | On-vehicle display device |
| WO2019087547A1 (en) | 2017-11-02 | 2019-05-09 | ソニー株式会社 | Image processing device, image processing method, and program |
-
2020
- 2020-01-22 JP JP2020008285A patent/JP7408408B2/en active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009165036A (en) | 2008-01-09 | 2009-07-23 | Sharp Corp | Image processor and computer program |
| JP2011097398A (en) | 2009-10-30 | 2011-05-12 | Aiphone Co Ltd | Intercom system with camera |
| JP2011254311A (en) | 2010-06-02 | 2011-12-15 | Aisin Seiki Co Ltd | Vehicle peripheral image processor |
| JP2014042138A (en) | 2012-08-22 | 2014-03-06 | Nikon Corp | Image processing device, computer program, and digital camera |
| JP2017184152A (en) | 2016-03-31 | 2017-10-05 | パナソニックＩｐマネジメント株式会社 | On-vehicle display device |
| WO2019087547A1 (en) | 2017-11-02 | 2019-05-09 | ソニー株式会社 | Image processing device, image processing method, and program |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2021118372A (en) | 2021-08-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3105920B1 (en) | Brightness and color matching video from multiple-camera system | |
| EP3065390B1 (en) | Image correction parameter output device, camera system, and correction parameter output method | |
| US11483487B2 (en) | Evaluation device, evaluation method, and camera system | |
| EP2629506A1 (en) | Two-step brightness adjustment in around-view systems | |
| JP2009017020A (en) | Image processor and method for generating display image | |
| JP2012105090A (en) | Parking support apparatus | |
| TW200418318A (en) | Image processing device, method, and program | |
| JP2007215216A (en) | Monotonization processing of color image | |
| JP4862321B2 (en) | In-vehicle camera device | |
| JP2013029995A (en) | Imaging system | |
| JP3709981B2 (en) | Gradation correction apparatus and method | |
| WO2013118337A1 (en) | Imaging device | |
| JP7408408B2 (en) | display system | |
| JP4001079B2 (en) | Monotone processing of color image | |
| JP2009141490A (en) | Composite image generation device and composite image generation method | |
| JP2012001210A (en) | Circumference monitoring system | |
| JP6459577B2 (en) | Signal adjustment device, display device, and signal adjustment method | |
| JP2007118762A (en) | Circumference monitoring system | |
| JP6411644B2 (en) | Automatic vehicle camera device with histogram diffusion | |
| JP2010154478A (en) | Compound-eye imaging apparatus and method for generating combined image thereof | |
| JP5569817B2 (en) | Image processing apparatus, image processing method, and program | |
| KR101241012B1 (en) | Method for improving images of around view monitor system | |
| JP2011181019A (en) | Bird's-eye view image generation device | |
| US20060038827A1 (en) | Simple and robust color saturation adjustment for digital images | |
| JP2003070009A (en) | Imaging apparatus |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20221222 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230908 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230912 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20231212 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20231220 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7408408 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |