JP4244361B1 - Video correction device, video correction method, and video correction program - Google Patents

Video correction device, video correction method, and video correction program Download PDF

Info

Publication number
JP4244361B1
JP4244361B1 JP2008028608A JP2008028608A JP4244361B1 JP 4244361 B1 JP4244361 B1 JP 4244361B1 JP 2008028608 A JP2008028608 A JP 2008028608A JP 2008028608 A JP2008028608 A JP 2008028608A JP 4244361 B1 JP4244361 B1 JP 4244361B1
Authority
JP
Japan
Prior art keywords
information
video
degree
control
specified
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2008028608A
Other languages
Japanese (ja)
Other versions
JP2009188872A (en
Inventor
史章 伊勢
Original Assignee
キャンバスマップル株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by キャンバスマップル株式会社 filed Critical キャンバスマップル株式会社
Priority to JP2008028608A priority Critical patent/JP4244361B1/en
Application granted granted Critical
Publication of JP4244361B1 publication Critical patent/JP4244361B1/en
Publication of JP2009188872A publication Critical patent/JP2009188872A/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Exposure Control For Cameras (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)

Abstract

【課題】映像が逆光状態であるか否かを確認することなく、複雑な機構を必要としないで、映像の白飛びを補正して視認性を改善することが可能な仕組みを提供する。
【解決手段】本装置10は、撮影装置30の位置情報と撮影方位情報と時刻情報を測位装置31より取得し、位置情報及び時刻情報に基づき、太陽の方位情報を特定すると共に、撮影方位情報と太陽の方位情報とに基づき、映像情報の明るさの度合いを制御する程度を示す制御度を特定する。また、本装置は、撮影装置より映像情報を受信し、特定した制御度に基づき、受信した映像情報の明るさの度合いを制御する。そして、本装置は、明るさの度合いを制御した映像情報を、表示装置32へ出力する。
【選択図】図1
There is provided a mechanism that can improve visibility by correcting whiteout of an image without confirming whether the image is in a backlight state and without requiring a complicated mechanism.
The device acquires position information, shooting direction information, and time information of a shooting device from a positioning device, specifies solar direction information based on the position information and time information, and sets shooting direction information. And the degree of control indicating the degree of controlling the degree of brightness of the video information based on the azimuth information of the sun. In addition, the present apparatus receives video information from the imaging apparatus and controls the brightness level of the received video information based on the specified degree of control. Then, this apparatus outputs the video information whose brightness is controlled to the display device 32.
[Selection] Figure 1

Description

本発明は、撮影装置から送信される映像情報の明るさの度合いを制御するようにした調光技術に係り、詳しくは、撮影装置より送信される映像情報が逆光状態となるかどうかを予測し、逆光状態になる映像情報の出力前に明るさの度合いを制御することで、視認性良く映像をモニタリングできるようにする映像補正装置、映像補正方法、及び映像補正プログラムに関する。   The present invention relates to a dimming technique that controls the degree of brightness of video information transmitted from a photographing apparatus, and more specifically, predicts whether video information transmitted from a photographing apparatus is in a backlight state. The present invention relates to a video correction apparatus, a video correction method, and a video correction program that enable video to be monitored with good visibility by controlling the degree of brightness before output of video information in a backlight state.

従来、撮影装置が光源の方向、又はそれに近い方向に向けられた逆光条件下で情景等を撮影した場合、輝度の高い光が撮影装置に入射することで、撮影装置において再現できる明るさの幅、いわゆるダイナミックレンジの限界により、撮影した映像が真っ白に写る、いわゆる白飛びという現象が生じてしまうことがある。   Conventionally, when a photographing device has photographed a scene or the like under a backlight condition directed in the direction of the light source or in a direction close to the light source, the brightness range that can be reproduced by the photographing device when high luminance light enters the photographing device. The so-called whiteout phenomenon may occur due to the limit of the so-called dynamic range, in which the captured image appears white.

しかしながらこのような現象は、たとえば、走行している車両から撮影した車外の情景映像に、地図情報と連携したナビゲーションを重ね合わせてディスプレイに表示する、いわゆるビューナビと称される機能の場合、安心・安全が求められているナビゲーションにおいて逆光で前方の映像が飛んでしまうことは、運転車のハンドル操作に影響を及ぼす虞があることから致命的である。   However, such a phenomenon is reassuring in the case of a function called so-called view navigation in which a navigation image linked with map information is displayed on a display superimposed on a scene image taken from a moving vehicle. -In navigation where safety is required, it is fatal that the image in front of the subject may fly due to backlighting because it may affect the steering operation of the driver's car.

そのため、このような白飛び部分を補正して映像の視認性を改善する手段として、たとえば輝度分布ヒストグラムの特徴を利用してコントラストを強調した映像に変換する画像処理や、撮影装置に入射する太陽光の光量を制限することによって映像を暗くする絞りの調整が知られている。また、絞りの調整においては、センサ類を用いて撮影状態が逆光条件下であるか否か判定し、この判定に基づき逆光補正装置によって撮影装置の絞り開度を調整して明るさの度合いを少なくすることによって逆光の程度を補正する手法もある。   For this reason, as means for correcting such white-out portions and improving the visibility of the image, for example, image processing for converting the image with enhanced contrast using the characteristics of the luminance distribution histogram, or the sun incident on the photographing device It is known to adjust an aperture that darkens an image by limiting the amount of light. In the adjustment of the aperture, it is determined whether or not the shooting state is a backlight condition using sensors, and based on this determination, the aperture degree of the imaging device is adjusted by the backlight correction device to adjust the degree of brightness. There is also a technique for correcting the degree of backlight by decreasing the number.

また、カメラとモニタ装置との間に、映像信号の黒レベル近傍の変化を大きく増幅しつつ白レベル近傍の変化を飽和圧縮させた信号を形成することで、被写体の輪郭や形状などを容易に確認することができる映像を形成するようにした補助増幅回路を有する逆光補正回路を備えた手段が提案されている(特許文献1を参照)。
また、撮像素子の全体又は一部に到達する光量を段階的に異ならせるグラデーション生成手段を備えることで、逆光状態の影響を受けることのないようにした手段も提案されている(特許文献2を参照)。
さらに、撮影した画像内から所定値以上の輝度を有する特定光源の像を検出し、この特定光源の像を除外した画像に対して最適な露光時間を用いることで、高精度に画像認識できるようにした手段も提案されている(特許文献3を参照)。
In addition, by forming a signal between the camera and monitor device that greatly amplifies the change in the vicinity of the black level of the video signal and saturates and compresses the change in the vicinity of the white level, the contour and shape of the subject can be easily obtained. Means including a backlight correction circuit having an auxiliary amplifier circuit configured to form an image that can be confirmed has been proposed (see Patent Document 1).
In addition, there is also proposed a means that is provided with gradation generation means that changes the amount of light reaching the whole or a part of the image sensor stepwise so as not to be affected by the backlight state (Patent Document 2). reference).
Furthermore, by detecting an image of a specific light source having a luminance of a predetermined value or more from the captured image and using an optimal exposure time for an image excluding the image of the specific light source, the image can be recognized with high accuracy. There has also been proposed a means (see Patent Document 3).

しかしながら、上述した従来技術は何れも、撮影装置より撮影された映像が逆光状態であるか否かを確認してから対処するものであり、また、複雑な機構を必要とするものであった。
したがって、映像が逆光状態であるか否かを確認することなく、複雑な機構を必要としないで、映像の白飛びを補正して視認性を改善することが可能な映像補正手段は、現在のところ提案されていない。
特許第3270341号公報 特開2005−123832号公報 特開2007−251258号公報
However, all of the above-described conventional techniques deal with after confirming whether or not the video imaged by the imaging device is in the backlight state, and require a complicated mechanism.
Therefore, the current image correction means capable of correcting the whiteout of the image and improving the visibility without confirming whether or not the image is in a backlight state and without requiring a complicated mechanism, However, it has not been proposed.
Japanese Patent No. 3270341 JP 2005-123832 A JP 2007-251258 A

本発明は、上記事情に鑑みて成されたものであり、映像が逆光状態であるか否かを確認することなく、複雑な機構を必要としないで、映像の白飛びを補正して視認性を改善することが可能な仕組みを提供することを目的とする。   The present invention has been made in view of the above circumstances, and does not require whether a video is in a backlit state, and does not require a complicated mechanism, thereby correcting the whiteout of the video and improving visibility. It aims at providing the mechanism which can improve.

本発明の映像補正装置は、撮影装置から送信される映像情報の明るさの度合いを制御する映像補正装置であって、位置情報と、時刻情報と、太陽の方位情報と、を互いに関連付けて記憶する第1記憶手段と、撮影方位情報と、太陽の方位情報と、映像情報の明るさの度合いを制御する程度を示す制御度と、を互いに関連付けて記憶する第2記憶手段と、前記撮影装置の位置情報、撮影方位情報、及び時刻情報を取得する撮影地点情報取得手段と、前記撮影地点情報取得手段で取得した前記位置情報及び前記時刻情報に基づき、前記第1記憶手段を参照して太陽の方位情報を特定する太陽方位特定手段と、前記撮影地点情報取得手段で取得した前記撮影方位情報と、前記太陽方位特定手段で特定した太陽の方位情報とに基づき、前記第2記憶手段を参照して制御度を特定する制御度特定手段と、前記撮影装置より映像情報を受信する映像情報受信手段と、前記制御度特定手段で特定した前記制御度に基づき、前記映像情報受信手段で受信した前記映像情報の明るさの度合いを制御する映像明るさ補正手段と、前記映像明るさ補正手段で明るさの度合いを制御した前記映像情報を出力する出力手段と、前記撮影地点情報取得手段で取得した位置情報、撮影方位情報、及び時刻情報と、前記太陽方位特定手段が前記第1記憶手段を参照して特定した太陽の方位情報と、前記制御度特定手段が前記第2記憶手段を参照して特定した制御度と、を互いに関連付けて記憶する第5記憶手段と、前記映像明るさ補正手段で制御した前記映像情報の明るさの度合いに対する適否の応答の入力を受け付ける制御適否応答取得手段と、前記制御適否応答取得手段で受け付けた応答が適している場合、前記撮影地点情報取得手段で取得した前記位置情報、前記撮影方位情報、及び前記時刻情報と、前記太陽方位特定手段が前記第1記憶手段を参照して特定した太陽の方位情報とに基づき、前記制御度特定手段が前記第2記憶手段を参照して特定した前記制御度を互いに関連付けて前記第5記憶手段に記憶する制御度履歴学習手段と、前記制御適否応答取得手段で受け付けた応答が適していない場合、前記撮影地点情報取得手段で取得した前記位置情報、前記撮影方位情報、及び前記時刻情報と、前記太陽方位特定手段が前記第1記憶手段を参照して特定した太陽の方位情報とに基づき、前記第5記憶手段を参照して制御度を特定し、特定した前記制御度を前記映像明るさ補正手段に対して送信する制御度補正手段と、を備えたことを特徴とする。 The video correction device of the present invention is a video correction device that controls the brightness level of video information transmitted from a photographing device, and stores positional information, time information, and sun direction information in association with each other. First storage means, second shooting means for storing the shooting direction information, the sun direction information, and the degree of control indicating the degree of control of the brightness level of the video information, and the shooting apparatus. Shooting position information acquisition means for acquiring position information, shooting direction information, and time information, and the first storage means with reference to the first storage means based on the position information and time information acquired by the shooting point information acquisition means. Based on the solar orientation specifying means for specifying the orientation information of the camera, the imaging orientation information acquired by the imaging location information acquisition means, and the orientation information of the sun specified by the solar orientation specifying means, the second memory And a video information receiving means for receiving video information from the photographing device, and the video information receiving means based on the control degree specified by the control degree specifying means. Video brightness correction means for controlling the brightness level of the received video information, output means for outputting the video information whose brightness level is controlled by the video brightness correction means, and shooting point information acquisition means The position information, the shooting direction information, and the time information acquired in the above, the sun direction information specified by the sun direction specifying means with reference to the first storage means, and the control degree specifying means the second storage means. A fifth storage means for storing the degree of control specified with reference to each other, and an input of a response of suitability for the degree of brightness of the video information controlled by the video brightness correction means If the response accepted by the control suitability response acquisition means and the control suitability response acquisition means is appropriate, the position information, the shooting orientation information, and the time information acquired by the shooting spot information acquisition means, and the sun Based on the azimuth information of the sun specified by the azimuth specifying unit with reference to the first storage unit, the control degree specified by the control degree specifying unit with reference to the second storage unit is associated with the fifth degree. When the response received by the control degree history learning means and the control suitability response acquisition means stored in the storage means is not appropriate, the position information, the shooting direction information, and the time information acquired by the shooting point information acquisition means On the basis of the solar azimuth information specified with reference to the first storage means by the sun azimuth specifying means with reference to the fifth storage means to specify the degree of control. Control degree correction means for transmitting control to the image brightness correction means .

また、本発明の映像補正装置は、位置情報と、建物情報が含まれた道路地図情報と、を互いに関連付けて記憶する第3記憶手段と、前記撮影地点情報取得手段で取得した前記位置情報に基づき、前記第3記憶手段を参照して周囲に存在する建物情報を特定する周囲環境特定手段と、前記周囲環境特定手段で特定した建物情報と、前記太陽方位特定手段で特定した太陽の方位情報とに基づき、前記建物の影が生じる領域(以下、「影領域」という。)を算出する影領域算出手段と、前記撮影地点情報取得手段で取得した前記位置情報と、前記影領域算出手段で算出した前記影領域とに基づき、前記位置情報が前記影領域に入るか否か撮影位置環境を判定する撮影位置環境判定手段と、をさらに備え、前記映像明るさ補正手段が、前記制御度特定手段で特定した前記制御度と、前記撮影位置環境判定手段で判定した前記撮影位置環境とに基づき、前記映像情報受信手段で受信した前記映像情報の明るさの度合いを制御するものとしても良い。   The video correction apparatus according to the present invention also includes third storage means for storing position information and road map information including building information in association with each other, and the position information acquired by the shooting point information acquisition means. Based on the surrounding environment specifying means for specifying building information existing in the surroundings with reference to the third storage means, the building information specified by the surrounding environment specifying means, and the sun direction information specified by the solar direction specifying means Based on the above, the shadow area calculation means for calculating the area where the shadow of the building occurs (hereinafter referred to as “shadow area”), the position information acquired by the shooting point information acquisition means, and the shadow area calculation means Shooting position environment determination means for determining whether or not the position information enters the shadow area based on the calculated shadow area, and the image brightness correction means is configured to specify the degree of control. And wherein the control level identified in stage, on the basis of said photographing position environment determined in the imaging position environment judgment unit may be configured to control the degree of brightness of the image information received by the video information receiving unit.

また、本発明の映像補正装置は、天気情報を提供する天気情報提供装置と通信ネットワークを介して接続され、天気情報と、前記制御度を適応する程度を示す制御適応度と、を互いに関連付けて記憶する第4記憶手段と、前記撮影地点情報取得手段で取得した前記位置情報に基づき、前記天気情報提供装置より天気情報を取得する天気情報取得手段と、前記天気情報取得手段で取得した天気情報に基づき、前記第4記憶手段を参照して制御適応度を特定する制御適応度特定手段と、をさらに備え、前記映像明るさ補正手段が、前記制御度特定手段で特定した前記制御度と、前記制御適応度特定手段で特定した前記制御適応度に基づき、前記映像情報受信手段で受信した前記映像情報の明るさの度合いを制御するものとしても良い。   The video correction device of the present invention is connected to a weather information providing device that provides weather information via a communication network, and associates the weather information with a control fitness indicating the degree to which the control is applied. 4th memory | storage means to memorize | store, the weather information acquisition means which acquires weather information from the said weather information provision apparatus based on the said positional information acquired by the said imaging | photography point information acquisition means, and the weather information acquired by the said weather information acquisition means And a control fitness specifying means for specifying the control fitness with reference to the fourth storage means, and the video brightness correcting means, the control degree specified by the control degree specifying means, The degree of brightness of the video information received by the video information receiving means may be controlled based on the control fitness specified by the control fitness specifying means.

また、本発明の映像補正装置は、撮影方向に向かって発光する照明装置とさらに接続され、前記映像明るさ補正手段が、前記制御度特定手段で特定した前記制御度に基づき、前記映像情報受信手段で受信した前記映像情報の明るさの度合いを制御することができるか否か判断し、前記映像情報の明るさの度合いを制御することができない場合、前記照明装置に対して発光を指示する発光指示情報を送信する発光指示情報送信手段、をさらに備えたものとしても良い。   The video correction device of the present invention is further connected to an illumination device that emits light in the shooting direction, and the video brightness correction unit receives the video information reception based on the control degree specified by the control degree specification unit. It is determined whether or not the brightness level of the video information received by the means can be controlled. If the brightness level of the video information cannot be controlled, the lighting device is instructed to emit light. A light emission instruction information transmitting unit that transmits the light emission instruction information may be further provided.

また、本発明の映像補正方法は、位置情報と、時刻情報と、太陽の方位情報と、を互いに関連付けて記憶する第1記憶手段と、撮影方位情報と、太陽の方位情報と、映像情報の明るさの度合いを制御する程度を示す制御度と、を互いに関連付けて記憶する第2記憶手段と、を備え、映像補正装置により撮影装置から送信される映像情報の明るさの度合いを制御する映像補正方法であって、撮影装置から前記映像補正装置に前記撮影装置の位置情報、撮影方位情報、及び時刻情報を取得する第1ステップと、前記映像補正装置において、前記第1ステップで取得した前記位置情報及び前記時刻情報に基づき、前記第1記憶手段を参照して太陽の方位情報を特定する第2ステップと、前記映像補正装置において、前記第1ステップで取得した前記撮影方位情報と、前記第2ステップで特定した太陽の方位情報とに基づき、前記第2記憶手段を参照して制御度を特定する第3ステップと、前記映像補正装置において、前記撮影装置より映像情報を受信する第4ステップと、前記映像補正装置において、前記第3ステップで特定した前記制御度に基づき、前記第4ステップで受信した前記映像情報の明るさの度合いを制御する第5ステップと、前記第5ステップで明るさの度合いを制御した前記映像情報を出力する第6ステップと、を含み、前記映像補正装置は、前記第1ステップで取得した位置情報、撮影方位情報、及び時刻情報と、前記第2ステップで前記第1記憶手段を参照して特定した太陽の方位情報と、前記第3ステップで前記第2記憶手段を参照して特定した制御度と、を互いに関連付けて記憶する第5記憶手段をさらに備え、前記第5ステップで制御した前記映像情報の明るさの度合いに対する適否の応答の入力を受け付けるステップδ1と、前記映像補正装置において、前記ステップδ1で受け付けた応答が適している場合、前記第1ステップで取得した位置情報、撮影方位情報、及び時刻情報と、前記第2ステップで前記第1記憶手段を参照して特定した太陽の方位情報とに基づき、前記第3ステップで前記第2記憶手段を参照して特定した制御度を互いに関連付けて前記第5記憶手段に記憶するステップδ2と、前記映像補正装置において、前記ステップδ1で受け付けた応答が適していない場合、前記第1ステップで取得した前記位置情報、前記撮影方位情報、及び前記時刻情報と、前記第2ステップで前記第1記憶手段を参照して特定した太陽の方位情報とに基づき、前記第5記憶手段を参照して制御度を特定し、特定した前記制御度に基づき、前記第4ステップで受信した前記映像情報の明るさの度合いを制御するステップδ3と、をさらに含むことを特徴とする。 Further, the image correction method of the present invention includes first storage means for storing position information, time information, and sun azimuth information in association with each other, photographing azimuth information, sun azimuth information, and video information. And a second storage means for storing the degree of control indicating the degree of brightness control in association with each other, and an image for controlling the degree of brightness of the video information transmitted from the imaging device by the video correction device A correction method comprising: a first step of acquiring position information, shooting direction information, and time information of the photographing device from the photographing device to the video correcting device; and Based on the position information and the time information, the second step of specifying the azimuth information of the sun with reference to the first storage means, and the video correction device, the acquired in the first step Based on the shadow direction information and the sun direction information specified in the second step, the third step of specifying the degree of control with reference to the second storage means; A fourth step of receiving information; and a fifth step of controlling a brightness level of the video information received in the fourth step based on the degree of control specified in the third step in the video correction device. And a sixth step of outputting the video information whose brightness level is controlled in the fifth step , wherein the video correction device acquires the position information, shooting direction information, and time information acquired in the first step. And the azimuth information of the sun specified with reference to the first storage means in the second step and the control degree specified with reference to the second storage means in the third step. A fifth storage means for storing the information in association with each other; step δ1 that receives an input of a response of suitability for the brightness level of the video information controlled in the fifth step; and the video correction device that receives an input in step δ1. If the response is suitable, based on the position information acquired in the first step, the shooting direction information, and the time information, and the sun direction information specified by referring to the first storage means in the second step The step δ2 that stores the degree of control specified with reference to the second storage means in the third step and stores them in the fifth storage means, and the response received in the step δ1 in the video correction device is suitable. If not, the position information acquired in the first step, the shooting direction information, and the time information, and the second step Based on the azimuth information of the sun specified with reference to the storage means, the control degree is specified with reference to the fifth storage means, and the video information received in the fourth step is specified based on the specified control degree. And a step δ3 for controlling the degree of brightness .

また、本発明の映像補正方法は、前記映像補正装置は、位置情報と、建物情報が含まれた道路地図情報と、を互いに関連付けて記憶する第3記憶手段をさらに備え、前記第1ステップで取得した前記位置情報に基づき、前記第3記憶手段を参照して周囲に存在する建物情報を特定するステップα1と、前記映像補正装置において、前記ステップα1で特定した建物情報と、前記第2ステップで特定した太陽の方位情報とに基づき、前記建物の影が生じる領域(以下、「影領域」という。)を算出するステップα2と、前記映像補正装置において、前記第1ステップで取得した前記位置情報と、前記ステップα2で算出した前記影領域とに基づき、前記位置情報が前記影領域に入るか否か撮影位置環境を判定するステップα3と、をさらに含み、前記第5ステップは、前記第3ステップで特定した前記制御度と、前記ステップα3で判定した前記撮影位置環境とに基づき、前記第4ステップで受信した前記映像情報の明るさの度合いを制御するものとしても良い。   In the image correction method of the present invention, the image correction apparatus further includes third storage means for storing the position information and the road map information including the building information in association with each other, in the first step. Based on the acquired position information, referring to the third storage means, the step α1 for identifying building information existing around the building, the building information identified in the step α1 in the video correction device, and the second step Step α2 for calculating a region where the shadow of the building is generated (hereinafter referred to as “shadow region”) based on the azimuth information of the sun specified in Step 2, and the position acquired in the first step in the video correction device A step α3 for determining whether or not the position information enters the shadow region based on the information and the shadow region calculated in the step α2, The fifth step controls the brightness level of the video information received in the fourth step based on the degree of control specified in the third step and the shooting position environment determined in the step α3. It is good as a thing.

また、本発明の映像補正方法は、前記映像補正装置は、天気情報を提供する天気情報提供装置と通信ネットワークを介して接続され、天気情報と、前記制御度を適応する程度を示す制御適応度と、を互いに関連付けて記憶する第4記憶手段をさらに備え、前記第1ステップで取得した前記位置情報に基づき、前記天気情報提供装置より天気情報を取得するステップβ1と、前記映像補正装置において、前記ステップβ1で取得した天気情報に基づき、前記第4記憶手段を参照して制御適応度を特定するステップβ2と、をさらに含み、前記第5ステップは、前記第3ステップで特定した前記制御度と、前記ステップβ2で特定した前記制御適応度に基づき、前記第4ステップで受信した前記映像情報の明るさの度合いを制御するものとしても良い。   In the video correction method of the present invention, the video correction device is connected to a weather information providing device that provides weather information via a communication network, and the control fitness indicating the degree to which the weather information and the control degree are adapted. And a fourth storage means for storing the information in association with each other, the step β1 for obtaining weather information from the weather information providing device based on the position information obtained in the first step, and the video correction device, And a step β2 of specifying a control fitness with reference to the fourth storage means based on the weather information acquired in the step β1, and the fifth step includes the control degree specified in the third step. And the degree of brightness of the video information received in the fourth step may be controlled based on the control fitness specified in the step β2. .

また、本発明の映像補正方法は、前記映像補正装置は、撮影方向に向かって発光する照明装置とさらに接続され、前記第5ステップは、前記第3ステップで特定した前記制御度に基づき、前記第4ステップで受信した前記映像情報の明るさの度合いを制御することができるか否か判定するステップγ1と、
前記映像補正装置において、前記ステップγ1で前記映像情報の明るさの度合いを制御することがない場合、前記照明装置に対して発光を指示する発光指示情報を送信するステップγ2と、をさらに含むものとしても良い。
In the video correction method of the present invention, the video correction device is further connected to an illumination device that emits light in the shooting direction, and the fifth step is based on the control degree specified in the third step. Step γ1 for determining whether or not the degree of brightness of the video information received in the fourth step can be controlled;
The video correction device further includes a step γ2 of transmitting light emission instruction information for instructing the illumination device to emit light when the brightness level of the video information is not controlled in the step γ1. It is also good.

また、本発明の映像補正プログラムは、位置情報と、時刻情報と、太陽の方位情報と、を互いに関連付けて記憶する第1記憶手段と、撮影方位情報と、太陽の方位情報と、映像情報の明るさの度合いを制御する程度を示す制御度と、を互いに関連付けて記憶する第2記憶手段と、撮影装置の位置情報、撮影方位情報、及び時刻情報と、前記第1記憶手段を参照して特定された太陽の方位情報と、前記第2記憶手段を参照して特定された制御度と、を互いに関連付けて記憶する第5記憶手段と、を備え、撮影装置から送信される映像情報の明るさの度合いを制御することを実行させるためにコンピュータを、前記撮影装置の位置情報、撮影方位情報、及び時刻情報を取得する手段、取得した前記位置情報及び前記時刻情報に基づき、前記第1記憶手段を参照して太陽の方位情報を特定する手段、取得した前記撮影方位情報と、特定した太陽の方位情報とに基づき、前記第2記憶手段を参照して制御度を特定する手段、前記撮影装置より映像情報を受信する手段、特定した前記制御度に基づき、受信した前記映像情報の明るさの度合いを制御する手段、明るさの度合いを制御した前記映像情報を出力する手段、制御した前記映像情報の明るさの度合いに対する適否の応答の入力を受け付ける手段、受け付けた前記応答が適している場合、前記撮影装置の位置情報、撮影方位情報、及び時刻情報と、前記第1記憶手段を参照して特定した太陽の方位情報とに基づき、前記第2記憶手段を参照して特定した制御度を互いに関連付けて前記第5記憶手段に記憶する手段、受け付けた前記応答が適していない場合、前記撮影装置の位置情報、撮影方位情報、及び時刻情報と、前記第1記憶手段を参照して特定した太陽の方位情報とに基づき、前記第5記憶手段を参照して制御度を特定し、特定した前記制御度に基づき、前記映像情報の明るさの度合いを制御する手段、として機能させることを特徴とする。 In addition, the video correction program of the present invention includes a first storage unit that stores position information, time information, and sun azimuth information in association with each other, photographing azimuth information, sun azimuth information, and video information. Refer to the second storage means for storing the degree of control indicating the degree of brightness control in association with each other, the position information of the photographing apparatus, the photographing direction information, the time information, and the first storage means. And fifth storage means for storing the specified sun direction information and the control degree specified with reference to the second storage means in association with each other, and the brightness of the video information transmitted from the imaging device In order to execute the degree of control, the computer is configured to acquire the position information, the shooting direction information, and the time information of the shooting apparatus, based on the acquired position information and the time information. Means for identifying sun direction information with reference to means, means for identifying a degree of control with reference to the second storage means based on the acquired shooting direction information and the identified sun direction information, the shooting Means for receiving video information from the apparatus, means for controlling the degree of brightness of the received video information based on the specified degree of control, means for outputting the video information for which the degree of brightness has been controlled, the controlled Means for accepting input of appropriateness response to brightness level of video information, and when said received response is suitable, refer to position information, photographing direction information, time information of said photographing device, and said first storage means And means for storing the degree of control specified with reference to the second storage means in association with each other on the basis of the azimuth information of the sun specified in the fifth storage means, and the received response is If not, control is performed with reference to the fifth storage means based on the position information, the shooting orientation information, and the time information of the imaging apparatus, and the azimuth information of the sun specified with reference to the first storage means. And a function for controlling the brightness level of the video information based on the specified control level .

また、本発明の映像補正プログラムは、位置情報と、建物情報が含まれた道路地図情報と、を互いに関連付けて記憶する第3記憶手段、をさらに備え、前記コンピュータを、前記位置情報に基づき、前記第3記憶手段を参照して周囲に存在する建物情報を特定する手段、特定した前記建物情報と、前記太陽の方位情報とに基づき、前記建物の影が生じる領域(以下、「影領域」という。)を算出する手段、前記位置情報と、算出した前記影領域とに基づき、前記位置情報が前記影領域に入るか否か撮影位置環境を判定する手段、前記制御度と、判定した前記撮影位置環境とに基づき、前記映像情報の明るさの度合いを制御する手段、としてさらに機能させるものとしても良い。   The video correction program of the present invention further comprises third storage means for storing the positional information and the road map information including the building information in association with each other, and the computer is based on the positional information, Based on the means for identifying building information existing in the vicinity with reference to the third storage means, the identified building information, and the direction information of the sun (hereinafter referred to as “shadow area”) Based on the position information and the calculated shadow area, a means for determining whether or not the position information enters the shadow area, the control degree, and the determined degree Based on the shooting position environment, it may be further functioned as a means for controlling the degree of brightness of the video information.

また、本発明の映像補正プログラムは、天気情報を提供する天気情報提供装置と通信ネットワークを介して接続され、天気情報と、前記制御度を適応する程度を示す制御適応度と、を互いに関連付けて記憶する第4記憶手段、をさらに備え、前記コンピュータを、前記位置情報に基づき、前記天気情報提供装置より天気情報を取得する手段、取得した天気情報に基づき、前記第4記憶手段を参照して制御適応度を特定する手段、前記制御度と、特定した前記制御適応度に基づき、前記映像情報の明るさの度合いを制御する手段、としてさらに機能させるものとしても良い。   The video correction program of the present invention is connected to a weather information providing device that provides weather information via a communication network, and associates the weather information with a control fitness indicating the degree to which the control is applied. Fourth storage means for storing, the computer based on the position information, means for acquiring weather information from the weather information providing device, and based on the acquired weather information, referring to the fourth storage means It may be further functioned as means for specifying control fitness, and means for controlling the degree of brightness of the video information based on the control degree and the specified control fitness.

また、本発明の映像補正プログラムは、撮影方向に向かって発光する照明装置とさらに接続され、前記コンピュータを、前記制御度に基づき、前記映像情報の明るさの度合いを制御することができるか否か判断し、前記映像情報の明るさの度合いを制御することができない場合、前記照明装置に対して発光を指示する発光指示情報を送信する手段、としてさらに機能させるものとしても良い。   The video correction program of the present invention is further connected to an illumination device that emits light in the shooting direction, and the computer can control the degree of brightness of the video information based on the control degree. If the degree of brightness of the video information cannot be controlled, it may be further functioned as means for transmitting light emission instruction information for instructing the lighting device to emit light.

本発明の映像補正装置は、撮影装置の位置情報と撮影方位情報と時刻情報を取得し、位置情報及び時刻情報に基づき、太陽の方位情報を特定すると共に、撮影方位情報と太陽の方位情報とに基づき、映像情報の明るさの度合いを制御する程度を示す制御度を特定する。ゆえに、撮影装置より送信される映像情報が逆光状態となるかどうかを予測し、特定した制御度に基づき、撮影装置より受信した映像情報の明るさの度合いを制御して、出力することができる。
したがって、映像が逆光状態であるか否かを確認することなく、複雑な機構を必要としないで、映像の白飛びを補正して視認性を改善することが可能な仕組みを提供することができる。
The video correction device of the present invention acquires position information, shooting direction information, and time information of a shooting device, specifies sun direction information based on the position information and time information, and also includes shooting direction information and sun direction information. The control degree indicating the degree of controlling the degree of brightness of the video information is specified based on the above. Therefore, it is possible to predict whether or not the video information transmitted from the imaging device is in a backlight state, and to control and output the brightness level of the video information received from the imaging device based on the specified degree of control. .
Therefore, it is possible to provide a mechanism capable of correcting the whiteout of the video and improving the visibility without checking whether the video is in a backlight state or not and without requiring a complicated mechanism. .

以下、図面を参照しながら、本発明に係る映像補正装置、映像補正方法、映像補正プログラムの一例について説明する。
本発明に係る映像補正装置(以下、「本装置」という)10は、撮影装置30から送信される映像情報の明るさの度合いを制御する装置であって、図1に示すように、測位装置31より送信される位置情報、撮影方位情報、及び時刻情報からなる撮影地点情報を取得する。また、本装置10は、この撮影地点情報に基づいて撮影装置30より送信される映像情報が逆光状態となるかどうかを前記映像情報の受信前に予測し、逆光状態になる映像情報の出力前に映像情報の明るさの度合いを制御する補正を行うことで、映像情報を視認性良く表示装置32に対して出力する。
Hereinafter, an example of a video correction device, a video correction method, and a video correction program according to the present invention will be described with reference to the drawings.
A video correction device (hereinafter referred to as “the present device”) 10 according to the present invention is a device for controlling the degree of brightness of video information transmitted from the photographing device 30. As shown in FIG. Shooting point information consisting of position information, shooting direction information, and time information transmitted from 31 is acquired. Further, the present apparatus 10 predicts, before receiving the video information, whether or not the video information transmitted from the imaging device 30 is in a backlight state based on the shooting point information, and before outputting the video information to be in the backlight state. Then, the video information is output to the display device 32 with high visibility by performing correction for controlling the brightness level of the video information.

また、本装置10は、天気情報提供装置40と通信ネットワークNWを介して接続される装置であり、天気情報提供装置40より取得した天気情報を加味して映像情報の明るさの度合いを制御する補正を行うことで、映像情報を視認性良く表示装置32に対して出力するものでもある。
さらに、本装置10は、照明装置50とさらに接続される装置であり、映像情報の明るさの度合いを制御することができない場合、照明装置50に対して発光を指示することで、映像情報を視認性良く表示装置32に対して出力するものでもある。
The device 10 is a device connected to the weather information providing device 40 via the communication network NW, and controls the brightness level of the video information in consideration of the weather information acquired from the weather information providing device 40. By performing the correction, the video information is also output to the display device 32 with high visibility.
Further, the device 10 is a device that is further connected to the lighting device 50. When the brightness level of the video information cannot be controlled, the device 10 instructs the lighting device 50 to emit light, thereby obtaining the video information. It is also what outputs with respect to the display apparatus 32 with sufficient visibility.

撮影装置30は、映像情報を生成する処理を行う手段であり、たとえばレンズを介してCCD(Charge Coupled Device)等の撮像素子によって得られる映像情報を生成・出力するカメラをいう。また、この撮影装置30は、車両に搭載されて走行中の屋外の情景を撮影する車載カメラをいう。そして、撮影装置30は、撮像(生成)した映像情報を本装置10へ送信する。   The imaging device 30 is a means for performing processing for generating video information, and refers to a camera that generates and outputs video information obtained by an imaging element such as a CCD (Charge Coupled Device) via a lens. The photographing device 30 is an in-vehicle camera that photographs an outdoor scene mounted on a vehicle and traveling. Then, the imaging device 30 transmits the captured (generated) video information to the present device 10.

測位装置31は、撮影装置30の現在位置、撮影方位、及び撮影時刻といった各情報を取得する装置である。また、本装置10と測位装置31とは、たとえば衛星通信網等の通信回線を介して接続している。   The positioning device 31 is a device that acquires information such as the current position, the shooting direction, and the shooting time of the shooting device 30. Further, the present apparatus 10 and the positioning apparatus 31 are connected via a communication line such as a satellite communication network.

現在位置は、たとえばGPSセンサによって測定し、撮影方位は、ジャイロセンサや加速度センサによって測定し、撮影時刻は、GPS衛星に搭載された原子時計から取得する。GPSセンサは、いわゆるGPS受信機と称されるものであり、GPS衛星から放射されるGPS信号を受信してGPS衛星とGPS受信機自身との距離(疑似距離)を測定し、複数の衛星からのGPS信号を同時に受信することによりGPS受信機自身の現在位置(GPS測位解)を算出する。この現在位置は、たとえば緯度と経度により構成される。なお、本発明は、現在位置、撮影方位、及び撮影時刻といった各情報を、入力装置を介して取得することを妨げるものではない。   The current position is measured by, for example, a GPS sensor, the shooting direction is measured by a gyro sensor or an acceleration sensor, and the shooting time is acquired from an atomic clock mounted on a GPS satellite. A GPS sensor is a so-called GPS receiver, receives a GPS signal radiated from a GPS satellite, measures a distance (pseudo distance) between the GPS satellite and the GPS receiver itself, and receives a plurality of satellites. Are simultaneously received to calculate the current position (GPS positioning solution) of the GPS receiver itself. This current position is constituted by latitude and longitude, for example. Note that the present invention does not prevent the acquisition of each information such as the current position, shooting direction, and shooting time via the input device.

表示装置32は、撮影装置30によって撮影された映像情報をモニタリングできるように出力・表示するディスプレイ(モニタ)である。   The display device 32 is a display (monitor) that outputs and displays so that video information captured by the imaging device 30 can be monitored.

天気情報提供装置40は、晴れや曇り、雨といった太陽光の大まかな光量を推測することのできる天気情報を提供する装置である。本装置10と天気情報提供装置40とは、通信ネットワークNWとして、たとえばインターネットなどのコンピュータ通信網を介して接続している。   The weather information providing device 40 is a device that provides weather information that can be used to estimate a rough light amount of sunlight such as sunny, cloudy, and rainy. The device 10 and the weather information providing device 40 are connected as a communication network NW via a computer communication network such as the Internet.

照明装置50は、撮影方向に向かって発光する装置である。したがって、撮影装置30が車載カメラであれば、照明装置50は、車両のヘッドライトとすることができる。   The illumination device 50 is a device that emits light in the shooting direction. Therefore, if the imaging device 30 is a vehicle-mounted camera, the illumination device 50 can be a vehicle headlight.

次に、本装置10の構成について説明する。
図2は、本装置10の一例を示すブロック構成図である。
本装置10は、図2に示すように、太陽方位情報テーブル(TB)と、制御度情報テーブル(TB)と、撮影地点情報取得部11と、太陽方位特定部12と、制御度特定部13と、映像情報受信部14と、映像明るさ補正部15と、出力部16と、を基本的に備えている。また、本装置10は、地図情報データベース(DB)と、周囲環境特定部17と、影領域算出部18と、撮影位置環境判定部19と、をさらに備えたものとしても良い。また、本装置10は、天気情報テーブル(TB)と、天気情報取得部20と、制御適応度特定部21と、をさらに備えたものとしても良い。また、本装置10は、発光指示情報送信部22をさらに備えたものとしても良い。さらに、本装置10は、学習情報データベース(DB)と、制御適否応答取得部23と、制御度履歴学習部24と、制御度補正部25と、をさらに備えたものとしても良い。なお、図中の符号26は、本装置10において制御信号、データ等を伝送するバスである。
Next, the configuration of the apparatus 10 will be described.
FIG. 2 is a block diagram illustrating an example of the apparatus 10.
As shown in FIG. 2, the present apparatus 10 includes a solar orientation information table (TB), a control degree information table (TB), a shooting point information acquisition unit 11, a solar orientation specification unit 12, and a control degree specification unit 13. A video information receiving unit 14, a video brightness correction unit 15, and an output unit 16. The apparatus 10 may further include a map information database (DB), an ambient environment specifying unit 17, a shadow region calculating unit 18, and a shooting position environment determining unit 19. In addition, the device 10 may further include a weather information table (TB), a weather information acquisition unit 20, and a control fitness level specifying unit 21. In addition, the apparatus 10 may further include a light emission instruction information transmission unit 22. Furthermore, the present apparatus 10 may further include a learning information database (DB), a control propriety response acquisition unit 23, a control degree history learning unit 24, and a control degree correction unit 25. Reference numeral 26 in the figure is a bus for transmitting control signals, data, and the like in the apparatus 10.

本装置10は、情報処理装置であればよく、たとえば、パーソナルコンピュータなどで実現される。また、本装置10は、図示しないが、CPU(中央処理装置)、プログラム記憶部、キーボタン等の入力装置、ディスプレイ等の出力装置、OS(オペレーティング・システム)、等を有する。
CPUは、プログラム記憶部に記憶されたコンピュータプログラムに従い、本装置10の各構成要素を統制制御し、プログラム処理を実行する手段である。プログラム記憶部は、ROM(Read Only Memory)やRAM(Random Access Memory)等で構成され、本装置10が使用する各種コンピュータプログラムを記憶している手段である。
The apparatus 10 may be an information processing apparatus and is realized by, for example, a personal computer. Although not shown, the apparatus 10 includes a CPU (Central Processing Unit), a program storage unit, an input device such as a key button, an output device such as a display, an OS (Operating System), and the like.
The CPU is means for controlling and controlling each component of the apparatus 10 and executing program processing according to the computer program stored in the program storage unit. The program storage unit is constituted by a ROM (Read Only Memory), a RAM (Random Access Memory), or the like, and is a means for storing various computer programs used by the apparatus 10.

太陽方位情報TBは、位置情報と、時刻情報と、太陽の方位情報と、を互いに関連付けて記憶する手段である。ここで、位置情報は、たとえば緯度と経度の情報により構成されたものである。また、時刻情報には、時・分・秒だけでなく、年・月・日も含む。そして、太陽の方位情報は、位置情報を基準として、特定の時刻にはどの方角に太陽が位置しているのか、太陽光の入射方向及び高さ(角度)を特定する情報をいう。
図3は、太陽方位情報TBに記憶されている情報の例を示す図である。
たとえば、図3に示す太陽方位情報テーブルでは、位置情報と、時刻情報と、太陽の方位情報と、を関連付けて構成することを示している。
The sun direction information TB is a means for storing the position information, the time information, and the sun direction information in association with each other. Here, the position information is composed of, for example, latitude and longitude information. The time information includes not only the hour / minute / second but also the year / month / day. The direction information of the sun refers to information specifying the direction in which the sun is located at a specific time, the incident direction and the height (angle) of sunlight, with reference to the position information.
FIG. 3 is a diagram illustrating an example of information stored in the sun direction information TB.
For example, the sun direction information table shown in FIG. 3 indicates that the position information, time information, and sun direction information are associated with each other.

制御度情報TBは、撮影方位情報と、太陽の方位情報と、映像情報の明るさの度合いを制御する程度を示す制御度と、を互いに関連付けて記憶する手段である。ここで、撮影方位情報は、位置情報を基準として、どの方角を撮影するのか、撮影方向及び高さ(角度)を特定する情報をいう。また、制御度とは、映像情報の明るさの度合いを制御する、いわゆる逆光フィルタの適応度であって、撮影時に撮影装置30に対して入射する太陽光の光量と、撮影装置30において再現できる明るさの幅(ダイナミックレンジ)とに基づき特定されるものである。
図4は、制御度情報TBに記憶されている情報の例を示す図である。
たとえば、図4に示す制御度情報テーブルでは、撮影方位情報と、太陽の方位情報と、制御度と、を関連付けて構成することを示している。
The control degree information TB is means for storing the shooting direction information, the sun direction information, and the control degree indicating the degree of control of the brightness level of the video information in association with each other. Here, the shooting direction information refers to information for specifying which direction is shot, the shooting direction and the height (angle) based on the position information. The degree of control refers to the adaptability of a so-called backlight filter that controls the degree of brightness of video information, and can be reproduced by the photographing device 30 with the amount of sunlight incident on the photographing device 30 during photographing. It is specified based on the brightness range (dynamic range).
FIG. 4 is a diagram illustrating an example of information stored in the control degree information TB.
For example, the control degree information table shown in FIG. 4 indicates that the shooting direction information, the sun direction information, and the control degree are associated with each other.

地図情報DBは、位置情報と、建物情報が含まれた道路地図情報と、を互いに関連付けて記憶する手段である。ここで、位置情報は、たとえば緯度と経度の情報により構成されたものである。また、建物情報には、建物の高さや横幅といった大きさを特定する情報が含まれる。
図5は、地図情報DBに記憶されている情報の例を示す図である。
たとえば、図5に示す地図情報データベースでは、位置情報(緯度、経度)をインデックスとして、道路地図情報を1レコードとしてデータベースを構成することを示している。
The map information DB is means for storing location information and road map information including building information in association with each other. Here, the position information is composed of, for example, latitude and longitude information. The building information includes information for specifying the size such as the height and width of the building.
FIG. 5 is a diagram illustrating an example of information stored in the map information DB.
For example, the map information database shown in FIG. 5 indicates that the database is configured with position information (latitude, longitude) as an index and road map information as one record.

天気情報TBは、天気情報と、制御度を適応する程度を示す制御適応度と、を互いに関連付けて記憶する手段である。ここで、天気情報とは、晴れや曇り、雨といった、特定場所における、特定時刻もしくは一定の期間の大気の予測状態をいう。また、制御適応度とは、天気よって変化する太陽光の光量に応じた映像の明るさを制御する度合いをいう。
図6は、天気情報TBに記憶されている情報の例を示す図である。
たとえば、図6に示す天気情報テーブルでは、天気情報と、制御適応度と、を関連付けて構成することを示している。
The weather information TB is a means for storing the weather information and the control fitness indicating the degree of adaptation of the control in association with each other. Here, the weather information refers to a predicted state of the atmosphere at a specific time or a certain period in a specific place such as sunny, cloudy, and rainy. The control fitness refers to the degree to which the brightness of the image is controlled in accordance with the amount of sunlight that changes depending on the weather.
FIG. 6 is a diagram illustrating an example of information stored in the weather information TB.
For example, the weather information table shown in FIG. 6 indicates that the weather information is associated with the control fitness.

学習情報DBは、撮影地点情報取得部11で取得した位置情報、撮影方位情報、及び時刻情報と、太陽方位特定部12で特定した太陽の方位情報と、制御度特定部21で特定した制御度と、を互いに関連付けて記憶する手段である。
図7は、学習情報DBに記憶されている情報の例を示す図である。
たとえば、図7に示す学習情報データベースでは、位置情報をインデックスとして、撮影方位情報と、時刻情報と、太陽の方位情報と、制御度と、を1レコードとしてデータベースを構成することを示している。
The learning information DB includes the position information acquired by the shooting point information acquisition unit 11, shooting direction information, and time information, the sun direction information specified by the sun direction specifying unit 12, and the control degree specified by the control degree specifying unit 21. Are stored in association with each other.
FIG. 7 is a diagram illustrating an example of information stored in the learning information DB.
For example, the learning information database shown in FIG. 7 indicates that the database is configured with position information as an index, shooting direction information, time information, sun direction information, and control degree as one record.

撮影地点情報取得部11は、撮影装置30の位置情報、撮影方位情報、及び時刻情報を取得する処理を行う。この撮影方位情報には、位置情報を基準として、どの方角を撮影するのか、撮影方向及び高さ(角度)の情報を含み、道路の勾配により撮影高さ(角度)が変更される場合も考慮されている。撮影地点情報取得部11は、取得した位置情報及び時刻情報を太陽方位特定部12へ送信すると共に、取得した撮影方位情報を制御度特定部13へ送信する。また、撮影地点情報取得部11は、取得した位置情報を、周囲環境特定部17や撮影位置環境判定部19、天気情報取得部20、制御度履歴学習部24へ送信する機能を有する。   The shooting point information acquisition unit 11 performs processing for acquiring position information, shooting direction information, and time information of the shooting device 30. This shooting direction information includes information on the shooting direction and height (angle), which direction is taken based on the position information, and also considers the case where the shooting height (angle) is changed due to the road gradient. Has been. The imaging point information acquisition unit 11 transmits the acquired position information and time information to the solar orientation specifying unit 12 and transmits the acquired imaging orientation information to the control degree specifying unit 13. The shooting point information acquisition unit 11 has a function of transmitting the acquired position information to the surrounding environment identification unit 17, the shooting position environment determination unit 19, the weather information acquisition unit 20, and the control degree history learning unit 24.

太陽方位特定部12は、撮影地点情報取得部11で取得した位置情報及び時刻情報に基づき、太陽方位情報TBを参照して太陽の方位情報を特定する処理を行う。太陽方位特定部12は、特定した太陽の方位情報を制御度特定部13へ送信する。また、太陽方位特定部12は、特定した太陽の方位情報を影領域算出部18へ送信する機能を有する。   The solar azimuth specifying unit 12 performs processing for specifying the azimuth information of the sun with reference to the solar azimuth information TB based on the position information and time information acquired by the imaging point information acquisition unit 11. The sun direction specifying unit 12 transmits the specified sun direction information to the control degree specifying unit 13. In addition, the sun direction specifying unit 12 has a function of transmitting the specified sun direction information to the shadow region calculating unit 18.

制御度特定部13は、撮影地点情報取得部11で取得した撮影方位情報と、太陽方位特定部12で特定した太陽の方位情報とに基づき、制御度情報TBを参照して制御度を特定する処理を行う。制御度特定部13は、特定した制御度の情報を映像明るさ補正部15へ送信する。   The control degree specifying unit 13 specifies the control degree with reference to the control degree information TB based on the shooting direction information acquired by the shooting point information acquisition unit 11 and the sun direction information specified by the sun direction specifying unit 12. Process. The control degree specifying unit 13 transmits information on the specified control degree to the video brightness correction unit 15.

映像情報受信部14は、撮影装置30より映像情報を受信する処理を行う。   The video information receiving unit 14 performs processing for receiving video information from the imaging device 30.

映像明るさ補正部15は、制御度特定部13で特定した制御度に基づき、映像情報受信部14で受信した映像情報の明るさの度合いを制御する処理を行う。明るさの度合いの制御は、明るさを調整する部分に対応する領域の輝度が変化する逆光補正フィルタにより行う。映像明るさ補正部15は、明るさの度合いを制御した映像情報を出力部16へ送信する。また、映像明るさ補正部15は、制御度に基づく映像情報の明るさの度合いを制御結果を、発光指示情報送信部22へ送信する。   The video brightness correction unit 15 performs a process of controlling the brightness level of the video information received by the video information receiving unit 14 based on the control degree specified by the control degree specifying unit 13. The control of the brightness level is performed by a backlight correction filter in which the brightness of the region corresponding to the portion for adjusting the brightness changes. The video brightness correction unit 15 transmits video information in which the degree of brightness is controlled to the output unit 16. In addition, the video brightness correction unit 15 transmits the control result of the brightness level of the video information based on the control degree to the light emission instruction information transmission unit 22.

また、映像明るさ補正部15は、制御度特定部13で特定した制御度と、撮影位置環境判定部19で判定した撮影位置環境とに基づき、映像情報受信部14で受信した映像情報の明るさの度合いを制御する機能を有する。ここで、映像情報の明るさの度合いの制御は、たとえば位置情報に基づく撮影地点が影領域に入る場合、映像情報の明るさの度合いを制御せず、一方、位置情報に基づく撮影地点が影領域に入らない場合は映像情報の明るさの度合いを制御するものとする。   The video brightness correction unit 15 also determines the brightness of the video information received by the video information reception unit 14 based on the control degree specified by the control degree specification unit 13 and the shooting position environment determined by the shooting position environment determination unit 19. It has a function to control the degree of thickness. Here, the brightness level of the video information is controlled, for example, when the shooting point based on the position information enters the shadow area, the brightness level of the video information is not controlled. When it does not enter the area, the brightness level of the video information is controlled.

また、映像明るさ補正部15は、制御度特定部13で特定した制御度と、制御適応度特定部21で特定した制御適応度に基づき、映像情報受信部14で受信した映像情報の明るさの度合いを制御する機能を有する。   The video brightness correction unit 15 also determines the brightness of the video information received by the video information receiving unit 14 based on the control level specified by the control level specifying unit 13 and the control fitness level specified by the control fitness level specifying unit 21. It has a function to control the degree.

出力部16は、映像明るさ補正部15で明るさの度合いを制御した映像情報を、表示装置32に対して出力する処理を行う。   The output unit 16 performs processing for outputting the video information whose brightness level is controlled by the video brightness correction unit 15 to the display device 32.

周囲環境特定部17は、撮影地点情報取得部11で取得した位置情報に基づき、地図情報DBを参照して周囲に存在する建物情報を特定する処理を行う。周囲環境特定部17は、特定した建物情報を影領域算出部18へ送信する。   The surrounding environment specifying unit 17 performs processing for specifying building information existing in the surroundings with reference to the map information DB based on the position information acquired by the shooting point information acquiring unit 11. The surrounding environment identification unit 17 transmits the identified building information to the shadow area calculation unit 18.

影領域算出部18は、周囲環境特定部17で特定した建物情報と、太陽方位特定部12で特定した太陽の方位情報とに基づき、建物の影が生じる領域(以下、「影領域」という。)を算出する処理を行う。影領域算出部18は、算出した影領域の情報を撮影位置環境判定部19へ送信する。   The shadow area calculation unit 18 is an area in which a shadow of a building occurs (hereinafter referred to as “shadow area”) based on the building information specified by the surrounding environment specifying unit 17 and the sun direction information specified by the sun direction specifying unit 12. ) Is calculated. The shadow area calculation unit 18 transmits the calculated shadow area information to the imaging position environment determination unit 19.

撮影位置環境判定部19は、撮影地点情報取得部11で取得した位置情報と、影領域算出部18で算出した影領域とに基づき、この位置情報が影領域に入るか否か撮影位置環境を判定する処理を行う。   Based on the position information acquired by the shooting point information acquisition unit 11 and the shadow area calculated by the shadow area calculation unit 18, the shooting position environment determination unit 19 determines whether or not this position information enters the shadow area. Processing to determine is performed.

天気情報取得部20は、撮影地点情報取得部11で取得した位置情報に基づき、天気情報提供装置40より天気情報を取得する処理を行う。天気情報取得部20は、取得した天気情報を制御適応度特定部21へ送信する。   The weather information acquisition unit 20 performs a process of acquiring weather information from the weather information providing device 40 based on the position information acquired by the shooting point information acquisition unit 11. The weather information acquisition unit 20 transmits the acquired weather information to the control fitness level specifying unit 21.

制御適応度特定部21は、天気情報取得部20で取得した天気情報に基づき、天気情報TBを参照して制御適応度を特定する処理を行う。   Based on the weather information acquired by the weather information acquiring unit 20, the control fitness specifying unit 21 performs a process of specifying the control fitness with reference to the weather information TB.

発光指示情報送信部22は、映像明るさ補正部15が、制御度特定部13で特定した制御度に基づき、映像情報受信部14で受信した映像情報の明るさの度合いを制御することができない場合、照明装置50に対して発光を指示する発光指示情報を送信する処理を行う。   The light emission instruction information transmission unit 22 cannot control the brightness level of the video information received by the video information reception unit 14 based on the control degree specified by the control degree specification unit 13 by the video brightness correction unit 15. In this case, a process of transmitting light emission instruction information for instructing the lighting device 50 to emit light is performed.

制御適否応答取得部23は、映像明るさ補正部15で制御した映像情報の明るさの度合いに対する適否の応答の入力を受け付ける処理を行う。制御適否応答取得部23は、受け付けた応答結果を、制御度履歴学習部24又は制御度補正部25へ送信する。   The control suitability response acquisition unit 23 performs a process of receiving an input of a suitability response to the brightness level of the video information controlled by the video brightness correction unit 15. The control suitability response acquisition unit 23 transmits the received response result to the control degree history learning unit 24 or the control degree correction unit 25.

制御度履歴学習部24は、制御適否応答取得部23で受け付けた応答が適している場合、撮影地点情報取得部11で取得した位置情報、撮影方位情報、及び時刻情報と、太陽方位特定部12で特定した太陽の方位情報とに基づき、制御度特定部13で特定した制御度を互いに関連付けて学習情報DBに記憶する処理を行う。   When the response received by the control suitability response acquisition unit 23 is appropriate, the control degree history learning unit 24 acquires the position information, shooting direction information, and time information acquired by the shooting point information acquisition unit 11, and the sun direction specifying unit 12. The degree of control specified by the degree-of-control specifying unit 13 is associated with each other and stored in the learning information DB based on the direction information of the sun specified in step (b).

制御度補正部25は、制御適否応答取得部23で受け付けた応答が適していない場合、撮影地点情報取得部11で取得した位置情報、撮影方位情報、及び時刻情報と、太陽方位特定部12で特定した太陽の方位情報とに基づき、学習情報DBを参照して制御度を特定し、特定した制御度を映像明るさ補正部15に対して送信する処理を行う。   When the response received by the control propriety response acquisition unit 23 is not appropriate, the control degree correction unit 25 uses the position information acquired by the shooting point information acquisition unit 11, shooting direction information, and time information, and the sun direction specifying unit 12. Based on the specified sun direction information, the control information is specified with reference to the learning information DB, and the specified control degree is transmitted to the video brightness correction unit 15.

制御部は、CPU、ROM、RAM等を具備し、プログラム記憶部に記憶されたプログラムに従い、本装置10の各構成要素を統制制御し、プログラム処理を実行する。   The control unit includes a CPU, a ROM, a RAM, and the like, and controls and controls each component of the apparatus 10 according to a program stored in the program storage unit, and executes a program process.

<第1の実施の形態>
次に、上述した映像補正方法を実施する本装置10の基本的な動作の一例を、図8を参照しながら説明する。図8は、本装置10での映像補正処理の一例を示すフローチャートである。本実施の形態では、車両に搭載された車載カメラを撮影装置30として、この車載カメラ30により進行方向の車外情景を撮影する。そして、本装置10においてこの撮影映像が逆光状態となると予測された場合に、撮影映像の明るさの度合いを制御する処理を行った後、ビューナビ装置が備える表示装置32であるディスプレイに出力・表示する場合を例に説明する。したがって、本装置10は、撮影装置30と共に車両に搭載されている。
<First Embodiment>
Next, an example of a basic operation of the apparatus 10 that performs the above-described video correction method will be described with reference to FIG. FIG. 8 is a flowchart showing an example of the video correction process in the apparatus 10. In the present embodiment, an in-vehicle camera mounted on a vehicle is used as an imaging device 30, and a scene outside the vehicle in the traveling direction is imaged by the in-vehicle camera 30. Then, when it is predicted that the captured video is in a backlight state in the device 10, after processing for controlling the brightness level of the captured video is output to the display, which is the display device 32 included in the view navigation device. An example of display will be described. Therefore, the present apparatus 10 is mounted on the vehicle together with the photographing apparatus 30.

まず、撮影地点情報取得部11が、撮影地点情報として、測位装置31であるGPSより撮影装置30の位置情報及び時刻情報を取得すると共に、車両の加速度センサより進行方向、すなわち車載カメラ30が撮影する撮影方位情報を取得したか否か判断する(S11)。
その結果、撮影地点情報取得部11が、撮影地点情報を取得した場合(Y)、引き続き、太陽方位特定部12が、撮影地点情報取得部11で取得した位置情報及び時刻情報に基づき、太陽方位情報TBを参照して太陽の方位情報を特定する(S12)。
一方、撮影地点情報取得部11が、撮影地点情報を取得していない場合(N)、撮影地点情報取得部11は、撮影地点情報を取得したか否か判断を繰り返す(S11)。
First, the shooting point information acquisition unit 11 acquires the position information and time information of the shooting device 30 from the GPS which is the positioning device 31 as shooting point information, and the traveling direction, that is, the in-vehicle camera 30 takes a shot from the acceleration sensor of the vehicle. It is determined whether or not the shooting direction information to be acquired has been acquired (S11).
As a result, when the shooting point information acquisition unit 11 acquires the shooting point information (Y), the solar direction is continuously determined based on the position information and time information acquired by the sun direction specifying unit 12 by the shooting point information acquisition unit 11. The sun direction information is specified with reference to the information TB (S12).
On the other hand, when the shooting spot information acquisition unit 11 has not acquired shooting spot information (N), the shooting spot information acquisition unit 11 repeats the determination of whether or not the shooting spot information has been acquired (S11).

次いで、制御度特定部13が、撮影地点情報取得部11で取得した撮影方位情報と、太陽方位特定部12で特定した太陽の方位情報とに基づき、制御度情報TBを参照して制御度を特定する(S13)。   Next, the control degree specifying unit 13 refers to the control degree information TB based on the shooting direction information acquired by the shooting point information acquiring unit 11 and the sun direction information specified by the solar direction specifying unit 12 to obtain the control degree. Specify (S13).

引き続き、映像情報受信部14が、撮影装置30より映像情報を受信したか否か判断する(S14)。
その結果、映像情報受信部14が、映像情報を受信した場合(Y)、さらに、映像明るさ補正部15が、制御度特定部13で特定した制御度に基づき、映像情報受信部14で受信した映像情報の明るさの度合いを制御(補正)する処理を行う(S15)。
一方、映像情報受信部14が、映像情報を受信していない場合(N)、映像情報受信部14は、映像情報を受信したか否か判断を繰り返す(S14)。
Subsequently, it is determined whether the video information receiving unit 14 has received video information from the imaging device 30 (S14).
As a result, when the video information receiving unit 14 receives the video information (Y), the video brightness correcting unit 15 receives the video information based on the control degree specified by the control degree specifying unit 13. A process for controlling (correcting) the brightness level of the video information is performed (S15).
On the other hand, when the video information receiving unit 14 has not received the video information (N), the video information receiving unit 14 repeatedly determines whether the video information has been received (S14).

そして、出力部16が、映像明るさ補正部15で明るさの度合いを制御(補正)した映像情報を、ディスプレイ32に対して出力する(S16)。
これにより、本装置10での一連の動作が終了する。
なお、これら一連の処理は、制御部での統制制御により実行される。
Then, the output unit 16 outputs the video information whose brightness is controlled (corrected) by the video brightness correction unit 15 to the display 32 (S16).
Thereby, a series of operation | movement with this apparatus 10 is complete | finished.
Note that a series of these processes is executed by the control control in the control unit.

以上のように本実施の形態では、太陽の位置と撮影の方位を特定することで、撮影装置より送信される映像情報が逆光状態となるかどうかを予測し、この予測に基づいて映像情報の明るさの度合いを制御する制御度を特定する。そして、撮影装置より受信した映像情報の明るさの度合いを、特定した制御度基づいて制御し、出力する。
したがって、撮影装置にて撮影された映像が逆光状態であるか否かを確認することなく、複雑な機構を必要としないで、映像の白飛びを補正して視認性を改善することが可能となる。しかも、複雑な機構を必要とすることなく、安価に装置の開発・提供ができる。
As described above, in the present embodiment, by specifying the position of the sun and the shooting direction, it is predicted whether or not the video information transmitted from the shooting device is in a backlight state, and based on this prediction, the video information The control degree that controls the degree of brightness is specified. Then, the degree of brightness of the video information received from the photographing apparatus is controlled based on the specified degree of control and output.
Therefore, it is possible to improve visibility by correcting the whiteout of the image without checking whether the image captured by the image capturing device is in a backlight state or not and without requiring a complicated mechanism. Become. In addition, the apparatus can be developed and provided at a low cost without requiring a complicated mechanism.

<第2の実施の形態>
また、本発明では、太陽の方位情報に基づく位置だけでなく、車両が走行する周囲の環境を加味して、映像情報の明るさの度合いを精度良く制御することもできる。すなわち、本実施の形態は、上述した第1の実施の形態とは、周囲環境を特定し、この周囲環境に基づいて映像情報の明るさの度合いを制御する手段を備える点が異なる。
以下、第2の実施の形態における映像補正方法を実施する本装置10の動作の一例を、図9を参照しながら説明する。図9は、本装置10での映像補正処理の他の一例を示すフローチャートである。なお、以下に述べる他の実施の形態では、上述した第1の実施の形態と異なる部分を中心に説明する。したがって、第1の実施の形態と同様の構成部分は同じ符号を付してその説明は省略し、特に説明しない限り同じであるものとする。
<Second Embodiment>
Further, according to the present invention, not only the position based on the azimuth information of the sun but also the surrounding environment in which the vehicle travels can be taken into account, and the degree of brightness of the video information can be accurately controlled. That is, this embodiment is different from the first embodiment described above in that it includes means for specifying the surrounding environment and controlling the degree of brightness of the video information based on the surrounding environment.
Hereinafter, an example of the operation of the apparatus 10 that implements the video correction method according to the second embodiment will be described with reference to FIG. FIG. 9 is a flowchart illustrating another example of the video correction process in the apparatus 10. In other embodiments described below, the description will focus on parts that are different from the first embodiment described above. Therefore, the same components as those in the first embodiment are denoted by the same reference numerals, and the description thereof is omitted. Unless otherwise specified, the same components are assumed to be the same.

まず、撮影地点情報取得部11が、撮影地点情報として、測位装置31であるGPSより撮影装置30の位置情報及び時刻情報を取得すると共に、車両の加速度センサより進行方向、すなわち車載カメラ30が撮影する撮影方位情報を取得したか否か判断する(S21)。
その結果、撮影地点情報取得部11が、撮影地点情報を取得した場合(Y)、引き続き、太陽方位特定部12が、撮影地点情報取得部11で取得した位置情報及び時刻情報に基づき、太陽方位情報TBを参照して太陽の方位情報を特定する(S22)。
一方、撮影地点情報取得部11が、撮影地点情報を取得していない場合(N)、撮影地点情報取得部11は、撮影地点情報を取得したか否か判断を繰り返す(S21)。
ここまでの処理は、上述した第1の実施の形態と同様である。
First, the shooting point information acquisition unit 11 acquires the position information and time information of the shooting device 30 from the GPS which is the positioning device 31 as shooting point information, and the traveling direction, that is, the in-vehicle camera 30 takes a shot from the acceleration sensor of the vehicle. It is determined whether or not the shooting direction information to be acquired has been acquired (S21).
As a result, when the shooting point information acquisition unit 11 acquires the shooting point information (Y), the solar direction is continuously determined based on the position information and time information acquired by the sun direction specifying unit 12 by the shooting point information acquisition unit 11. The sun direction information is specified with reference to the information TB (S22).
On the other hand, when the shooting spot information acquisition unit 11 has not acquired shooting spot information (N), the shooting spot information acquisition unit 11 repeats the determination of whether or not the shooting spot information has been acquired (S21).
The processing so far is the same as in the first embodiment described above.

次いで、周囲環境特定部17が、撮影地点情報取得部11で取得した位置情報に基づき、地図情報DBを参照して周囲に存在する建物の高さや幅といった大きさの情報を特定する(S23)。
引き続き、影領域算出部18が、周囲環境特定部17で特定した建物情報と、太陽方位特定部12で特定した太陽の方位情報とに基づき、建物の影が生じる領域(以下、「影領域」という。)を算出する(S24)。
さらに、撮影位置環境判定部19が、撮影地点情報取得部11で取得した位置情報及び撮影方位情報と、影領域算出部18で算出した影領域とに基づき、撮影装置30の撮影地点が影領域に入るか否か撮影位置環境を判断する(S25)。
Next, the surrounding environment specifying unit 17 specifies size information such as the height and width of buildings existing in the surroundings with reference to the map information DB based on the position information acquired by the shooting point information acquiring unit 11 (S23). .
Subsequently, based on the building information specified by the surrounding environment specifying unit 17 and the sun direction information specified by the sun direction specifying unit 12, the shadow region calculating unit 18 generates a shadow of the building (hereinafter, “shadow region”). Is calculated) (S24).
Further, based on the position information and shooting direction information acquired by the shooting position environment determination unit 19 by the shooting point information acquisition unit 11 and the shadow region calculated by the shadow region calculation unit 18, the shooting point of the shooting device 30 is a shadow region. Whether or not to enter the shooting position environment is determined (S25).

その結果、撮影位置環境判定部19が、撮影装置30の撮影地点が影領域に入らないと判断した場合(Y)、制御度特定部13が、撮影地点情報取得部11で取得した撮影方位情報と、太陽方位特定部12で特定した太陽の方位情報とに基づき、制御度情報TBを参照して制御度を特定する(S26)。
一方、撮影位置環境判定部19が、撮影装置30の撮影地点が影領域に入ると判断した場合(N)、映像情報の明るさの度合いを制御(補正)する処理を行わずに、本装置10での一連の動作はそのまま終了(エンド)する。
As a result, when the shooting position environment determination unit 19 determines that the shooting point of the shooting device 30 does not fall within the shadow area (Y), the shooting direction information acquired by the control point identification unit 13 by the shooting point information acquisition unit 11 Based on the azimuth information of the sun specified by the solar azimuth specifying unit 12, the control degree is specified with reference to the control degree information TB (S26).
On the other hand, when the shooting position / environment determination unit 19 determines that the shooting point of the shooting device 30 falls within the shadow area (N), this apparatus does not perform the process of controlling (correcting) the brightness level of the video information. The series of operations at 10 is finished (end) as it is.

引き続き、映像情報受信部14が、撮影装置30より映像情報を受信したか否か判断する(S27)。
その結果、映像情報受信部14が、映像情報を受信した場合(Y)、さらに、映像明るさ補正部15が、制御度特定部13で特定した制御度に基づき、映像情報受信部14で受信した映像情報の明るさの度合いを制御(補正)する処理を行う(S28)。
一方、映像情報受信部14が、映像情報を受信していない場合(N)、映像情報受信部14は、映像情報を受信したか否か判断を繰り返す(S27)。
Subsequently, the video information receiving unit 14 determines whether or not video information has been received from the imaging device 30 (S27).
As a result, when the video information receiving unit 14 receives the video information (Y), the video brightness correcting unit 15 receives the video information based on the control degree specified by the control degree specifying unit 13. A process for controlling (correcting) the brightness level of the video information is performed (S28).
On the other hand, when the video information receiving unit 14 has not received the video information (N), the video information receiving unit 14 repeatedly determines whether the video information has been received (S27).

そして、出力部16が、映像明るさ補正部15で明るさの度合いを制御(補正)した映像情報を、ディスプレイ32に対して出力する(S29)。
これにより、本装置10での一連の動作が終了する。
なお、これら一連の処理は、制御部での統制制御により実行される。
Then, the output unit 16 outputs the video information whose brightness level is controlled (corrected) by the video brightness correction unit 15 to the display 32 (S29).
Thereby, a series of operation | movement with this apparatus 10 is complete | finished.
Note that a series of these processes is executed by the control control in the control unit.

以上のように本実施の形態では、太陽の位置と撮影地点の周囲の環境(影領域)を特定することで、撮影装置より送信される映像情報が逆光状態となるかどうかを予測すると共に、撮影地点は影領域に入るか入らないか判断することで、映像情報の明るさの度合いを制御するか否か決定することができる。
したがって、逆光状態の予測だけに基づく制御度による映像情報の明るさの度合いの制御の精度を向上させ、映像情報の明るさの度合いの制御を、車両が走行する周囲の環境を加味して適切に行うことが可能となる。
As described above, in the present embodiment, by specifying the position of the sun and the environment (shadow region) around the shooting point, it is predicted whether the video information transmitted from the shooting device is in a backlight state, It is possible to determine whether or not to control the brightness level of the video information by determining whether or not the shooting point enters the shadow area.
Therefore, the accuracy of the control of the brightness level of the video information based on the control degree based only on the prediction of the backlight condition is improved, and the control of the brightness level of the video information is appropriately considered in consideration of the surrounding environment where the vehicle travels. Can be performed.

<第3の実施の形態>
また、本発明では、太陽の方位情報に基づく位置や、車両が走行する周囲の環境だけでなく、車両が走行する地域の天気情報を加味して、映像情報の明るさの度合いを精度良く制御することもできる。すなわち、本実施の形態は、上述した各実施の形態とは、天気情報を取得し、この天気情報に基づいて映像情報の明るさの度合いの制御を行う手段を備える点が異なる。
以下、第3の実施の形態における映像補正方法を実施する本装置10の動作の一例を、図10を参照しながら説明する。図10は、本装置10での映像補正処理の他の一例を示すフローチャートである。
<Third Embodiment>
In the present invention, the brightness level of the video information is accurately controlled in consideration of not only the position based on the sun direction information and the surrounding environment in which the vehicle travels but also the weather information of the region in which the vehicle travels. You can also That is, this embodiment is different from the above-described embodiments in that it includes means for acquiring weather information and controlling the degree of brightness of video information based on the weather information.
Hereinafter, an example of the operation of the present apparatus 10 that implements the video correction method according to the third embodiment will be described with reference to FIG. FIG. 10 is a flowchart illustrating another example of the video correction process in the apparatus 10.

まず、撮影地点情報取得部11が、撮影地点情報として、測位装置31であるGPSより撮影装置30の位置情報及び時刻情報を取得すると共に、車両の加速度センサより進行方向、すなわち車載カメラ30が撮影する撮影方位情報を取得したか否か判断する(S31)。
その結果、撮影地点情報取得部11が、撮影地点情報を取得した場合(Y)、引き続き、太陽方位特定部12が、撮影地点情報取得部11で取得した位置情報及び時刻情報に基づき、太陽方位情報TBを参照して太陽の方位情報を特定する(S32)。
一方、撮影地点情報取得部11が、撮影地点情報を取得していない場合(N)、撮影地点情報取得部11は、撮影地点情報を取得したか否か判断を繰り返す(S31)。
First, the shooting point information acquisition unit 11 acquires the position information and time information of the shooting device 30 from the GPS which is the positioning device 31 as shooting point information, and the traveling direction, that is, the in-vehicle camera 30 takes a shot from the acceleration sensor of the vehicle. It is determined whether or not the shooting direction information to be acquired has been acquired (S31).
As a result, when the shooting point information acquisition unit 11 acquires the shooting point information (Y), the solar direction is continuously determined based on the position information and time information acquired by the sun direction specifying unit 12 by the shooting point information acquisition unit 11. The sun direction information is specified by referring to the information TB (S32).
On the other hand, when the shooting spot information acquisition unit 11 has not acquired shooting spot information (N), the shooting spot information acquisition unit 11 repeats the determination of whether or not the shooting spot information has been acquired (S31).

次いで、周囲環境特定部17が、撮影地点情報取得部11で取得した位置情報に基づき、地図情報DBを参照して周囲に存在する建物の高さや幅といった大きさの情報を特定する(S33)。
引き続き、影領域算出部18が、周囲環境特定部17で特定した建物情報と、太陽方位特定部12で特定した太陽の方位情報とに基づき、建物の影が生じる領域(以下、「影領域」という。)を算出する(S34)。
さらに、撮影位置環境判定部19が、撮影地点情報取得部11で取得した位置情報及び撮影方位情報と、影領域算出部18で算出した影領域とに基づき、撮影装置30の撮影地点が影領域に入るか否か撮影位置環境を判断する(S35)。
ここまでの処理は、上述した第2の実施の形態と同様である。
Next, the surrounding environment specifying unit 17 specifies size information such as the height and width of buildings existing in the surroundings with reference to the map information DB based on the position information acquired by the shooting point information acquiring unit 11 (S33). .
Subsequently, based on the building information specified by the surrounding environment specifying unit 17 and the sun direction information specified by the sun direction specifying unit 12, the shadow region calculating unit 18 generates a shadow of the building (hereinafter, “shadow region”). Is calculated (S34).
Further, based on the position information and shooting direction information acquired by the shooting position environment determination unit 19 by the shooting point information acquisition unit 11 and the shadow region calculated by the shadow region calculation unit 18, the shooting point of the shooting device 30 is a shadow region. It is determined whether or not the shooting position environment is entered (S35).
The processing so far is the same as in the second embodiment described above.

その結果、撮影位置環境判定部19が、撮影装置30の撮影地点が影領域に入らないと判断した場合(Y)、天気情報取得部20が、撮影地点情報取得部11で取得した位置情報に基づき、天気情報提供装置40より天気情報を取得する(S36)。
一方、撮影位置環境判定部19が、撮影装置30の撮影地点が影領域に入ると判断した場合(N)、映像情報の明るさの度合いを制御(補正)する処理を行わずに、本装置10での一連の動作はそのまま終了(エンド)する。
As a result, when the shooting position environment determination unit 19 determines that the shooting point of the shooting device 30 does not enter the shadow region (Y), the weather information acquisition unit 20 adds the position information acquired by the shooting point information acquisition unit 11 to the position information. Based on the weather information providing device 40, the weather information is acquired (S36).
On the other hand, when the shooting position / environment determination unit 19 determines that the shooting point of the shooting device 30 falls within the shadow area (N), this apparatus does not perform the process of controlling (correcting) the brightness level of the video information. The series of operations at 10 is finished (end) as it is.

引き続き、制御適応度特定部21が、天気情報取得部20で取得した天気情報に基づき、天気情報TBを参照して制御適応度を特定する(S37)。
さらに、制御度特定部13が、撮影地点情報取得部11で取得した撮影方位情報と、太陽方位特定部12で特定した太陽の方位情報とに基づき、制御度情報TBを参照して制御度を特定する(S38)。
Subsequently, the control fitness level identifying unit 21 identifies the control fitness level with reference to the weather information TB based on the weather information acquired by the weather information acquisition unit 20 (S37).
Furthermore, the control degree specifying unit 13 refers to the control degree information TB based on the shooting direction information acquired by the shooting point information acquiring unit 11 and the sun direction information specified by the solar direction specifying unit 12 to obtain the control degree. Specify (S38).

引き続き、映像情報受信部14が、撮影装置30より映像情報を受信したか否か判断する(S39)。
その結果、映像情報受信部14が、映像情報を受信した場合(Y)、さらに、映像明るさ補正部15が、制御度特定部13で特定した制御度と、制御適応度特定部21で特定した制御適応度に基づき、映像情報受信部14で受信した映像情報の明るさの度合いを制御(補正)する処理を行う(S40)。
一方、映像情報受信部14が、映像情報を受信していない場合(N)、映像情報受信部14は、映像情報を受信したか否か判断を繰り返す(S39)。
Subsequently, it is determined whether the video information receiving unit 14 has received video information from the imaging device 30 (S39).
As a result, when the video information receiving unit 14 receives the video information (Y), the video brightness correcting unit 15 further specifies the control degree specified by the control degree specifying unit 13 and the control fitness specifying part 21. Based on the control adaptability, processing for controlling (correcting) the degree of brightness of the video information received by the video information receiving unit 14 is performed (S40).
On the other hand, when the video information receiving unit 14 has not received the video information (N), the video information receiving unit 14 repeatedly determines whether or not the video information has been received (S39).

そして、出力部16が、映像明るさ補正部15で明るさの度合いを制御(補正)した映像情報を、ディスプレイ32に対して出力する(S41)。
これにより、本装置10での一連の動作が終了する。
なお、これら一連の処理は、制御部での統制制御により実行される。
Then, the output unit 16 outputs video information whose brightness is controlled (corrected) by the video brightness correction unit 15 to the display 32 (S41).
Thereby, a series of operation | movement with this apparatus 10 is complete | finished.
Note that a series of these processes is executed by the control control in the control unit.

以上のように本実施の形態では、太陽の位置と撮影地点の天気を特定することで、撮影装置より送信される映像情報が逆光状態となるかどうかを予測すると共に、撮影地点の天気状況を判断することで、映像情報の明るさの度合いを制御するか否か決定することができる。
したがって、逆光状態の予測だけに基づく制御度や、周囲環境を加味した制御度による映像情報の明るさの度合いの制御の精度を一層向上させ、映像情報の明るさの度合いの制御を、車両が走行する地域(撮影地点)の天気情報を加味して適切に行うことが可能となる。
As described above, in the present embodiment, by specifying the position of the sun and the weather at the shooting point, it is predicted whether or not the video information transmitted from the shooting device is in a backlight state, and the weather condition at the shooting point is also determined. By determining, it is possible to determine whether or not to control the brightness level of the video information.
Therefore, the accuracy of control of the degree of brightness of the video information by the degree of control based only on the prediction of the backlight state or the degree of control taking into account the surrounding environment is further improved, and the vehicle controls the degree of brightness of the video information. It is possible to appropriately carry out in consideration of the weather information of the traveling area (shooting point).

<第4の実施の形態>
また、本発明では、映像情報の明るさの度合いの制御を適切に行うことができない場合を考慮して対処することもできる。すなわち、本実施の形態は、上述した各実施の形態とは、撮影方向に向かって発光する照明装置50であるヘッドライトに対して、発光を指示する手段を備える点が異なる。
以下、第4の実施の形態における映像補正方法を実施する本装置10の動作の一例を、図11を参照しながら説明する。図11は、本装置10での映像補正処理の他の一例を示すフローチャートである。
<Fourth embodiment>
Further, in the present invention, it is possible to cope with the case where the brightness level of the video information cannot be appropriately controlled. That is, this embodiment is different from the above-described embodiments in that the headlight which is the illumination device 50 that emits light in the photographing direction is provided with means for instructing light emission.
Hereinafter, an example of the operation of the apparatus 10 that performs the video correction method according to the fourth embodiment will be described with reference to FIG. FIG. 11 is a flowchart illustrating another example of the video correction process in the apparatus 10.

まず、撮影地点情報取得部11が、撮影地点情報として、測位装置31であるGPSより撮影装置30の位置情報及び時刻情報を取得すると共に、車両の加速度センサより進行方向、すなわち車載カメラ30が撮影する撮影方位情報を取得したか否か判断する(S51)。
その結果、撮影地点情報取得部11が、撮影地点情報を取得した場合(Y)、引き続き、太陽方位特定部12が、撮影地点情報取得部11で取得した位置情報及び時刻情報に基づき、太陽方位情報TBを参照して太陽の方位情報を特定する(S52)。
一方、撮影地点情報取得部11が、撮影地点情報を取得していない場合(N)、撮影地点情報取得部11は、撮影地点情報を取得したか否か判断を繰り返す(S51)。
First, the shooting point information acquisition unit 11 acquires the position information and time information of the shooting device 30 from the GPS which is the positioning device 31 as shooting point information, and the traveling direction, that is, the in-vehicle camera 30 takes a shot from the acceleration sensor of the vehicle. It is determined whether or not the shooting direction information to be acquired has been acquired (S51).
As a result, when the shooting point information acquisition unit 11 acquires the shooting point information (Y), the solar direction is continuously determined based on the position information and time information acquired by the sun direction specifying unit 12 by the shooting point information acquisition unit 11. The sun direction information is specified with reference to the information TB (S52).
On the other hand, when the shooting spot information acquisition unit 11 has not acquired shooting spot information (N), the shooting spot information acquisition unit 11 repeats the determination of whether or not the shooting spot information has been acquired (S51).

次いで、制御度特定部13が、撮影地点情報取得部11で取得した撮影方位情報と、太陽方位特定部12で特定した太陽の方位情報とに基づき、制御度情報TBを参照して制御度を特定する(S53)。
ここまでの処理は、上述した第1の実施の形態と同様である。
Next, the control degree specifying unit 13 refers to the control degree information TB based on the shooting direction information acquired by the shooting point information acquiring unit 11 and the sun direction information specified by the solar direction specifying unit 12 to obtain the control degree. Specify (S53).
The processing so far is the same as in the first embodiment described above.

引き続き、発光指示情報送信部22が、映像明るさ補正部15において、制御度特定部13で特定した制御度に基づき、映像情報受信部14で受信した映像情報の明るさの度合いを制御することができるか否か(明るさ制御不可能か)判断する(S54)。
その結果、発光指示情報送信部22が、明るさの制御は不可能と判断した場合(Y)、さらに、発光指示情報送信部22は、車両のヘッドライト50に対して発光を指示する発光指示情報を送信する(S55)。これにより、ヘッドライト50が発光して露出を調整し、映像明るさ補正部15において映像情報の明るさの度合いの制御を行うことができようになる。
Subsequently, the light emission instruction information transmitting unit 22 controls the brightness level of the video information received by the video information receiving unit 14 in the video brightness correcting unit 15 based on the control level specified by the control level specifying unit 13. Is determined (whether brightness control is impossible) (S54).
As a result, when the light emission instruction information transmitting unit 22 determines that the brightness cannot be controlled (Y), the light emission instruction information transmitting unit 22 further instructs the vehicle headlight 50 to emit light. Information is transmitted (S55). As a result, the headlight 50 emits light to adjust the exposure, and the video brightness correction unit 15 can control the degree of brightness of the video information.

次に、発光指示情報送信部22が、ヘッドライト50に対して発光指示情報を送信した後、及び発光指示情報送信部22が、明るさの制御は可能と判断した場合(N)、映像情報受信部14が、撮影装置30より映像情報を受信したか否か判断する(S56)。
その結果、映像情報受信部14が、映像情報を受信した場合(Y)、さらに、映像明るさ補正部15が、制御度特定部13で特定した制御度に基づき、映像情報受信部14で受信した映像情報の明るさの度合いを制御(補正)する処理を行う(S57)。
一方、映像情報受信部14が、映像情報を受信していない場合(N)、映像情報受信部14は、映像情報を受信したか否か判断を繰り返す(S56)。
Next, after the light emission instruction information transmission unit 22 transmits the light emission instruction information to the headlight 50, and when the light emission instruction information transmission unit 22 determines that the brightness can be controlled (N), the video information The receiving unit 14 determines whether video information is received from the imaging device 30 (S56).
As a result, when the video information receiving unit 14 receives the video information (Y), the video brightness correcting unit 15 receives the video information based on the control degree specified by the control degree specifying unit 13. A process for controlling (correcting) the brightness level of the video information is performed (S57).
On the other hand, when the video information receiving unit 14 has not received the video information (N), the video information receiving unit 14 repeatedly determines whether or not the video information has been received (S56).

そして、出力部16が、映像明るさ補正部15で明るさの度合いを制御(補正)した映像情報を、ディスプレイ32に対して出力する(S58)。
これにより、本装置10での一連の動作が終了する。
なお、これら一連の処理は、制御部での統制制御により実行される。
Then, the output unit 16 outputs the video information whose brightness is controlled (corrected) by the video brightness correcting unit 15 to the display 32 (S58).
Thereby, a series of operation | movement with this apparatus 10 is complete | finished.
Note that a series of these processes is executed by the control control in the control unit.

以上のように本実施の形態では、映像明るさ補正部において映像情報の明るさの度合いの制御を行うことができるか否か確認することで、映像情報の明るさの度合いの制御を行うことができない場合でも、撮影方向に向かってヘッドライトを発光させることにより、適切に対処することができる。
したがって、逆光状態の予測に基づく制御度による映像情報の明るさの度合いの制御を、幅広く確実に行うことが可能となる。
As described above, in the present embodiment, it is possible to control the brightness level of video information by confirming whether the brightness level of video information can be controlled in the video brightness correction unit. Even if it is not possible, it is possible to appropriately cope with the problem by causing the headlight to emit light in the shooting direction.
Accordingly, it is possible to reliably and widely perform control of the brightness level of the video information based on the control level based on the prediction of the backlight state.

<第5の実施の形態>
さらに、本発明では、過去に実施した映像情報の明るさの度合いの制御の学習履歴を取得し、この学習履歴に基づいて、効率良く、かつ、最適に映像情報の明るさの度合いの制御を行うようにするもできる。すなわち、本実施の形態は、上述した各実施の形態とは、過去に実施した映像情報の明るさの度合いの制御情報を取得・記憶し、この制御情報に基づいて映像情報の明るさの度合いの制御を行う手段を備える点が異なる。
以下、第5の実施の形態における映像補正方法を実施する本装置10の動作の一例を、図12を参照しながら説明する。図12は、本装置10での映像補正処理の他の一例を示すフローチャートである。
<Fifth embodiment>
Furthermore, in the present invention, a learning history for controlling the degree of brightness of video information performed in the past is acquired, and the brightness level of video information is controlled efficiently and optimally based on this learning history. You can also do it. That is, this embodiment acquires and stores the control information of the brightness level of the video information performed in the past, and the brightness level of the video information based on the control information. The difference is that a means for performing the control is provided.
Hereinafter, an example of the operation of the apparatus 10 that performs the image correction method according to the fifth embodiment will be described with reference to FIG. FIG. 12 is a flowchart illustrating another example of the video correction process in the apparatus 10.

まず、出力部16が、映像明るさ補正部15で明るさの度合いを制御(補正)した映像情報を、ディスプレイ32に対して出力する処理(S61)までは、上述した各実施の形態における処理と同様である。
次いで、制御適否応答取得部23が、映像明るさ補正部15で制御した映像情報の光量に対する適否の応答の入力を受け付け、受け付けた応答が映像情報の明るさの度合いが適しているか否か判断をする(S62)。
その結果、制御適否応答取得部23が、映像情報の明るさの度合いが適している応答を受け付けた場合(N)、引き続き、制御度履歴学習部24が、撮影地点情報取得部11で取得した位置情報、撮影方位情報、及び時刻情報と、太陽方位特定部12で特定した太陽の方位情報とに基づき、制御度特定部13で特定した制御度を互いに関連付けて学習情報DBに記憶する(S65)。
これにより、本装置10での一連の動作が終了する。
なお、これら一連の処理は、制御部での統制制御により実行される。
First, the processing in each embodiment described above is performed until the output unit 16 outputs the video information whose brightness level is controlled (corrected) by the video brightness correction unit 15 to the display 32 (S61). It is the same.
Next, the control suitability response acquisition unit 23 receives an input of a suitability response to the light amount of the video information controlled by the video brightness correction unit 15, and determines whether the received response has a suitable degree of brightness of the video information. (S62).
As a result, when the control suitability response acquisition unit 23 receives a response in which the degree of brightness of the video information is appropriate (N), the control degree history learning unit 24 continues to acquire the shooting point information acquisition unit 11. Based on the position information, the shooting direction information, the time information, and the sun direction information specified by the sun direction specifying unit 12, the control degrees specified by the control degree specifying unit 13 are associated with each other and stored in the learning information DB (S65). ).
Thereby, a series of operation | movement with this apparatus 10 is complete | finished.
Note that a series of these processes is executed by the control control in the control unit.

一方、制御適否応答取得部23が、映像情報の明るさの度合いが適していない応答を受け付けた場合(Y)、制御適否応答取得部23は、撮影地点情報取得部11で取得した位置情報、撮影方位情報、及び時刻情報と、太陽方位特定部12で特定した太陽の方位情報とに基づき、学習情報DBを参照して過去の適切な制御度を特定し、制御適否応答取得部23は、特定した制御度を映像明るさ補正部15に対して送信する(S63)。
そして、映像明るさ補正部15は、した制御度に基づき、映像情報受信部14で受信した映像情報の明るさの度合いを制御(補正)する処理を行う(S64)。
On the other hand, when the control propriety response acquisition unit 23 receives a response in which the degree of brightness of the video information is not appropriate (Y), the control propriety response acquisition unit 23 acquires the position information acquired by the shooting point information acquisition unit 11, Based on the shooting azimuth information and time information and the sun azimuth information specified by the sun azimuth specifying unit 12, the past appropriate control degree is specified with reference to the learning information DB. The specified degree of control is transmitted to the video brightness correction unit 15 (S63).
Then, the video brightness correction unit 15 performs a process of controlling (correcting) the degree of brightness of the video information received by the video information receiving unit 14 based on the degree of control (S64).

なお、その後は、上述した各実施の形態における処理と同様に、出力部16が、映像明るさ補正部15で明るさの度合いを制御(補正)した映像情報を、ディスプレイ32に対して出力する。   After that, similarly to the processing in each of the embodiments described above, the output unit 16 outputs the video information whose brightness level is controlled (corrected) by the video brightness correction unit 15 to the display 32. .

以上のように本実施の形態では、過去に実施した映像情報の明るさの度合いの制御の学習履歴を取得することで、この学習履歴による実績に基づいて映像情報の明るさの度合いの制御の補正を行うようにすることができる。
したがって、逆光状態の予測に基づく制御度による映像情報の明るさの度合いの制御を、効率良く、かつ、最適に行うことが可能となる。
As described above, in the present embodiment, by acquiring the learning history of the control of the degree of brightness of the video information performed in the past, the control of the degree of brightness of the video information is performed based on the result of the learning history. Correction can be performed.
Therefore, it is possible to efficiently and optimally control the degree of brightness of video information based on the degree of control based on the prediction of the backlight state.

なお、上述した実施の形態では何れも、車載カメラ30により進行方向の車外情景を撮影し、撮影映像が逆光状態となると予測された場合に、撮影映像の明るさの度合いを制御する処理を行った後、ビューナビ装置が備える表示装置32であるディスプレイに出力・表示する場合を例に説明したが、本発明はこれに限定されず、放送や映画などの映像においても適応することができるものである。   In any of the above-described embodiments, when the vehicle-mounted camera 30 captures a scene outside the vehicle in the traveling direction and it is predicted that the captured image is in a backlight state, a process for controlling the brightness level of the captured image is performed. After that, the case where output / display is performed on the display, which is the display device 32 included in the view navigation device, has been described as an example. However, the present invention is not limited to this, and can be applied to images such as broadcasts and movies. It is.

本発明は、撮影した映像の白飛びを補正して視認性を改善するようにした逆光補正システムを扱う業種において産業上有用であり、特に、電子地図と連携したナビゲーションを映像に重ね合わせて表示するビューナビ装置等の電化製品市場においても有用である。   INDUSTRIAL APPLICABILITY The present invention is industrially useful in an industry that deals with a backlight correction system that improves visibility by correcting whiteout of a captured image, and particularly displays navigation in cooperation with an electronic map superimposed on the image. It is also useful in the market for electrical appliances such as view navigation devices.

本発明に係る映像補正装置を用いた映像補正システムの概要を示す図である。It is a figure which shows the outline | summary of the video correction system using the video correction apparatus which concerns on this invention. 本発明に係る映像補正装置の実施形態の一例を示すブロック構成図である。It is a block block diagram which shows an example of embodiment of the image correction apparatus which concerns on this invention. 本発明に係る映像補正装置が備える太陽方位情報記憶部に記憶されているテーブル構造の一例である。It is an example of the table structure memorize | stored in the solar orientation information storage part with which the video correction device concerning the present invention is provided. 本発明に係る映像補正装置が備える制御度情報記憶部に記憶されているテーブル構造の一例である。It is an example of the table structure memorize | stored in the control degree information storage part with which the video correction apparatus which concerns on this invention is provided. 本発明に係る映像補正装置が備える地図情報記憶部に記憶されているデータベース構造の一例である。It is an example of the database structure memorize | stored in the map information storage part with which the video correction apparatus which concerns on this invention is provided. 本発明に係る映像補正装置が備える天気情報記憶部に記憶されているテーブル構造の一例である。It is an example of the table structure memorize | stored in the weather information storage part with which the video correction apparatus which concerns on this invention is provided. 本発明に係る映像補正装置が備える学習情報記憶部に記憶されているデータベース構造の一例である。It is an example of the database structure memorize | stored in the learning information storage part with which the video correction apparatus which concerns on this invention is provided. 本発明に係る映像補正装置での映像補正処理の一例を示すフローチャートである。It is a flowchart which shows an example of the image correction process in the image correction apparatus which concerns on this invention. 本発明に係る映像補正装置での映像補正処理の他の一例を示すフローチャートである。It is a flowchart which shows another example of the image correction process in the image correction apparatus which concerns on this invention. 本発明に係る映像補正装置での映像補正処理の他の一例を示すフローチャートである。It is a flowchart which shows another example of the image correction process in the image correction apparatus which concerns on this invention. 本発明に係る映像補正装置での映像補正処理の他の一例を示すフローチャートである。It is a flowchart which shows another example of the image correction process in the image correction apparatus which concerns on this invention. 本発明に係る映像補正装置での映像補正処理の他の一例を示すフローチャートである。It is a flowchart which shows another example of the image correction process in the image correction apparatus which concerns on this invention.

符号の説明Explanation of symbols

10 映像補正装置(本装置)、30 撮影装置(カメラ)、31 測位装置(GPS)、32 表示装置(ディスプレイ)、40 天気情報提供装置、50 照明装置(ライト)。   DESCRIPTION OF SYMBOLS 10 Image correction apparatus (this apparatus), 30 imaging | photography apparatus (camera), 31 positioning apparatus (GPS), 32 display apparatus (display), 40 weather information provision apparatus, 50 illumination apparatus (light).

Claims (12)

撮影装置から送信される映像情報の明るさの度合いを制御する映像補正装置であって、
位置情報と、時刻情報と、太陽の方位情報と、を互いに関連付けて記憶する第1記憶手段と、
撮影方位情報と、太陽の方位情報と、映像情報の明るさの度合いを制御する程度を示す制御度と、を互いに関連付けて記憶する第2記憶手段と、
前記撮影装置の位置情報、撮影方位情報、及び時刻情報を取得する撮影地点情報取得手段と、
前記撮影地点情報取得手段で取得した前記位置情報及び前記時刻情報に基づき、前記第1記憶手段を参照して太陽の方位情報を特定する太陽方位特定手段と、
前記撮影地点情報取得手段で取得した前記撮影方位情報と、前記太陽方位特定手段で特定した太陽の方位情報とに基づき、前記第2記憶手段を参照して制御度を特定する制御度特定手段と、
前記撮影装置より映像情報を受信する映像情報受信手段と、
前記制御度特定手段で特定した前記制御度に基づき、前記映像情報受信手段で受信した前記映像情報の明るさの度合いを制御する映像明るさ補正手段と、
前記映像明るさ補正手段で明るさの度合いを制御した前記映像情報を出力する出力手段と、
前記撮影地点情報取得手段で取得した位置情報、撮影方位情報、及び時刻情報と、前記太陽方位特定手段が前記第1記憶手段を参照して特定した太陽の方位情報と、前記制御度特定手段が前記第2記憶手段を参照して特定した制御度と、を互いに関連付けて記憶する第5記憶手段と、
前記映像明るさ補正手段で制御した前記映像情報の明るさの度合いに対する適否の応答の入力を受け付ける制御適否応答取得手段と、
前記制御適否応答取得手段で受け付けた応答が適している場合、前記撮影地点情報取得手段で取得した前記位置情報、前記撮影方位情報、及び前記時刻情報と、前記太陽方位特定手段が前記第1記憶手段を参照して特定した太陽の方位情報とに基づき、前記制御度特定手段が前記第2記憶手段を参照して特定した前記制御度を互いに関連付けて前記第5記憶手段に記憶する制御度履歴学習手段と、
前記制御適否応答取得手段で受け付けた応答が適していない場合、前記撮影地点情報取得手段で取得した前記位置情報、前記撮影方位情報、及び前記時刻情報と、前記太陽方位特定手段が前記第1記憶手段を参照して特定した太陽の方位情報とに基づき、前記第5記憶手段を参照して制御度を特定し、特定した前記制御度を前記映像明るさ補正手段に対して送信する制御度補正手段と、
を備えたことを特徴とする映像補正装置。
A video correction device that controls the degree of brightness of video information transmitted from a photographing device,
First storage means for storing position information, time information, and sun direction information in association with each other;
Second storage means for storing the shooting direction information, the sun direction information, and the degree of control indicating the degree of control of the brightness level of the video information in association with each other;
Shooting point information acquisition means for acquiring position information, shooting direction information, and time information of the shooting device;
Based on the position information and the time information acquired by the shooting point information acquisition means, a solar direction specifying means for specifying solar direction information with reference to the first storage means;
A control degree specifying means for specifying a control degree with reference to the second storage means based on the shooting direction information acquired by the shooting point information acquisition means and the sun direction information specified by the sun direction specifying means; ,
Video information receiving means for receiving video information from the imaging device;
Video brightness correction means for controlling the degree of brightness of the video information received by the video information receiving means based on the control degree specified by the control degree specifying means;
Output means for outputting the video information in which the degree of brightness is controlled by the video brightness correction means;
The position information, shooting direction information, and time information acquired by the shooting point information acquisition unit, the sun direction information specified by the solar direction specifying unit with reference to the first storage unit, and the control degree specifying unit Fifth control means for storing the degree of control specified with reference to the second storage means in association with each other;
Control propriety response acquisition means for receiving an input of a propriety response to the brightness level of the video information controlled by the video brightness correction means;
If the response received by the control suitability response acquisition unit is appropriate, the position information acquired by the shooting point information acquisition unit, the shooting direction information, the time information, and the sun direction specifying unit are stored in the first memory. Control degree history in which the degree of control specified by the control degree specifying means with reference to the second storage means is associated with each other and stored in the fifth storage means based on the azimuth information of the sun specified with reference to the means Learning means,
When the response received by the control suitability response acquisition unit is not appropriate, the position information acquired by the shooting point information acquisition unit, the shooting direction information, the time information, and the sun direction specifying unit are stored in the first memory. Control degree correction for specifying a control degree with reference to the fifth storage means based on the sun direction information specified with reference to the means and transmitting the specified control degree to the image brightness correction means Means,
An image correction apparatus comprising:
位置情報と、建物情報が含まれた道路地図情報と、を互いに関連付けて記憶する第3記憶手段と、
前記撮影地点情報取得手段で取得した前記位置情報に基づき、前記第3記憶手段を参照して周囲に存在する建物情報を特定する周囲環境特定手段と、
前記周囲環境特定手段で特定した建物情報と、前記太陽方位特定手段で特定した太陽の方位情報とに基づき、前記建物の影が生じる領域(以下、「影領域」という。)を算出する影領域算出手段と、
前記撮影地点情報取得手段で取得した前記位置情報と、前記影領域算出手段で算出した前記影領域とに基づき、前記位置情報が前記影領域に入るか否か撮影位置環境を判定する撮影位置環境判定手段と、
をさらに備え、
前記映像明るさ補正手段は、前記制御度特定手段で特定した前記制御度と、前記撮影位置環境判定手段で判定した前記撮影位置環境とに基づき、前記映像情報受信手段で受信した前記映像情報の明るさの度合いを制御する、
ことを特徴とする請求項1に記載の映像補正装置。
Third storage means for storing location information and road map information including building information in association with each other;
Based on the position information acquired by the shooting point information acquisition means, the surrounding environment specifying means for specifying building information existing around with reference to the third storage means;
Based on the building information specified by the surrounding environment specifying unit and the sun direction information specified by the solar direction specifying unit, a shadow region for calculating a region where the shadow of the building is generated (hereinafter referred to as “shadow region”). A calculation means;
A shooting position environment for determining whether or not the position information enters the shadow area based on the position information acquired by the shooting point information acquisition means and the shadow area calculated by the shadow area calculation means. A determination means;
Further comprising
The video brightness correction unit is configured to control the video information received by the video information receiving unit based on the control degree specified by the control degree specifying unit and the shooting position environment determined by the shooting position environment determining unit. Control the degree of brightness,
The image correction apparatus according to claim 1, wherein
天気情報を提供する天気情報提供装置と通信ネットワークを介して接続され、
天気情報と、前記制御度を適応する程度を示す制御適応度と、を互いに関連付けて記憶する第4記憶手段と、
前記撮影地点情報取得手段で取得した前記位置情報に基づき、前記天気情報提供装置より天気情報を取得する天気情報取得手段と、
前記天気情報取得手段で取得した天気情報に基づき、前記第4記憶手段を参照して制御適応度を特定する制御適応度特定手段と、
をさらに備え、
前記映像明るさ補正手段は、前記制御度特定手段で特定した前記制御度と、前記制御適応度特定手段で特定した前記制御適応度に基づき、前記映像情報受信手段で受信した前記映像情報の明るさの度合いを制御する、
ことを特徴とする請求項1又は2に記載の映像補正装置。
Connected with a weather information providing device that provides weather information via a communication network,
Fourth storage means for storing weather information and control fitness indicating the degree to which the control is applied, in association with each other;
Weather information acquisition means for acquiring weather information from the weather information providing device based on the position information acquired by the shooting point information acquisition means;
Control fitness identifying means for identifying control fitness with reference to the fourth storage means based on the weather information obtained by the weather information obtaining means;
Further comprising
The video brightness correction means is based on the control degree specified by the control degree specifying means and the control fitness specified by the control fitness specifying means, and the brightness of the video information received by the video information receiving means. Control the degree of thickness,
The video correction apparatus according to claim 1, wherein the video correction apparatus is a video correction apparatus.
撮影方向に向かって発光する照明装置とさらに接続され、
前記映像明るさ補正手段が、前記制御度特定手段で特定した前記制御度に基づき、前記映像情報受信手段で受信した前記映像情報の明るさの度合いを制御することができるか否か判断し、前記映像情報の明るさの度合いを制御することができない場合、前記照明装置に対して発光を指示する発光指示情報を送信する発光指示情報送信手段、
をさらに備えたことを特徴とする請求項1乃至3の何れかに記載の映像補正装置。
It is further connected to a lighting device that emits light in the shooting direction,
Determining whether the video brightness correction means can control the degree of brightness of the video information received by the video information receiving means based on the control degree specified by the control degree specifying means; If the degree of brightness of the video information cannot be controlled, light emission instruction information transmitting means for transmitting light emission instruction information for instructing the lighting device to emit light,
The video correction apparatus according to claim 1, further comprising:
位置情報と、時刻情報と、太陽の方位情報と、を互いに関連付けて記憶する第1記憶手段と、撮影方位情報と、太陽の方位情報と、映像情報の明るさの度合いを制御する程度を示す制御度と、を互いに関連付けて記憶する第2記憶手段と、を備え、映像補正装置により撮影装置から送信される映像情報の明るさの度合いを制御する映像補正方法であって、
撮影装置から前記映像補正装置に前記撮影装置の位置情報、撮影方位情報、及び時刻情報を取得する第1ステップと、
前記映像補正装置において、前記第1ステップで取得した前記位置情報及び前記時刻情報に基づき、前記第1記憶手段を参照して太陽の方位情報を特定する第2ステップと、
前記映像補正装置において、前記第1ステップで取得した前記撮影方位情報と、前記第2ステップで特定した太陽の方位情報とに基づき、前記第2記憶手段を参照して制御度を特定する第3ステップと、
前記映像補正装置において、前記撮影装置より映像情報を受信する第4ステップと、
前記映像補正装置において、前記第3ステップで特定した前記制御度に基づき、前記第4ステップで受信した前記映像情報の明るさの度合いを制御する第5ステップと、
前記第5ステップで明るさの度合いを制御した前記映像情報を出力する第6ステップと、を含み、
前記映像補正装置は、前記第1ステップで取得した位置情報、撮影方位情報、及び時刻情報と、前記第2ステップで前記第1記憶手段を参照して特定した太陽の方位情報と、前記第3ステップで前記第2記憶手段を参照して特定した制御度と、を互いに関連付けて記憶する第5記憶手段をさらに備え、
前記第5ステップで制御した前記映像情報の明るさの度合いに対する適否の応答の入力を受け付けるステップδ1と、
前記映像補正装置において、前記ステップδ1で受け付けた応答が適している場合、前記第1ステップで取得した位置情報、撮影方位情報、及び時刻情報と、前記第2ステップで前記第1記憶手段を参照して特定した太陽の方位情報とに基づき、前記第3ステップで前記第2記憶手段を参照して特定した制御度を互いに関連付けて前記第5記憶手段に記憶するステップδ2と、
前記映像補正装置において、前記ステップδ1で受け付けた応答が適していない場合、前記第1ステップで取得した前記位置情報、前記撮影方位情報、及び前記時刻情報と、前記第2ステップで前記第1記憶手段を参照して特定した太陽の方位情報とに基づき、前記第5記憶手段を参照して制御度を特定し、特定した前記制御度に基づき、前記第4ステップで受信した前記映像情報の明るさの度合いを制御するステップδ3と、をさらに含む
ことを特徴とする映像補正方法。
The first storage means for storing the positional information, the time information, and the sun azimuth information in association with each other, the shooting azimuth information, the sun azimuth information, and the degree of brightness control of the video information are indicated. And a second storage means for storing the degree of control in association with each other, and a video correction method for controlling the degree of brightness of video information transmitted from the imaging device by the video correction device,
A first step of acquiring position information, shooting direction information, and time information of the shooting device from the shooting device to the video correction device;
In the image correction device, based on the position information and the time information acquired in the first step, a second step of specifying sun direction information with reference to the first storage unit;
In the video correction device, a control degree is specified with reference to the second storage unit based on the shooting direction information acquired in the first step and the sun direction information specified in the second step. Steps,
A fourth step of receiving video information from the photographing device in the video correction device;
A fifth step of controlling a brightness degree of the video information received in the fourth step based on the control degree specified in the third step in the video correction device;
A sixth step of outputting the video information in which the degree of brightness is controlled in the fifth step ,
The image correction device includes the position information, the shooting direction information, and the time information acquired in the first step, the sun direction information specified by referring to the first storage unit in the second step, and the third step. A fifth storage means for storing the degree of control specified with reference to the second storage means in the step in association with each other;
A step δ1 for receiving an input of a response of suitability for the brightness level of the video information controlled in the fifth step;
In the video correction apparatus, when the response received in the step δ1 is appropriate, the position information, shooting direction information, and time information acquired in the first step, and the first storage means in the second step are referred to. Step δ2 for storing the degree of control specified in the third step with reference to the second storage unit in association with each other on the basis of the specified azimuth information of the sun and storing the degree of control in the fifth storage unit;
In the video correction device, if the response received in step δ1 is not suitable, the position information acquired in the first step, the shooting direction information, and the time information, and the first memory in the second step. Based on the azimuth information of the sun specified with reference to the means, the control degree is specified with reference to the fifth storage means, and the brightness of the video information received in the fourth step is determined based on the specified control degree. A video correction method , further comprising: a step δ3 for controlling the degree of roughness .
前記映像補正装置は、位置情報と、建物情報が含まれた道路地図情報と、を互いに関連付けて記憶する第3記憶手段をさらに備え、
前記第1ステップで取得した前記位置情報に基づき、前記第3記憶手段を参照して周囲に存在する建物情報を特定するステップα1と、
前記映像補正装置において、前記ステップα1で特定した建物情報と、前記第2ステップで特定した太陽の方位情報とに基づき、前記建物の影が生じる領域(以下、「影領域」という。)を算出するステップα2と、
前記映像補正装置において、前記第1ステップで取得した前記位置情報と、前記ステップα2で算出した前記影領域とに基づき、前記位置情報が前記影領域に入るか否か撮影位置環境を判定するステップα3と、
をさらに含み、
前記第5ステップは、前記第3ステップで特定した前記制御度と、前記ステップα3で判定した前記撮影位置環境とに基づき、前記第4ステップで受信した前記映像情報の明るさの度合いを制御する、
ことを特徴とする請求項5に記載の映像補正方法。
The video correction device further includes third storage means for storing the position information and the road map information including the building information in association with each other,
Based on the position information acquired in the first step, referring to the third storage means to identify building information existing around, α1,
In the image correction apparatus, an area where the shadow of the building occurs (hereinafter referred to as a “shadow area”) is calculated based on the building information specified in step α1 and the sun direction information specified in the second step. Step α2,
In the video correction device, a step of determining a shooting position environment based on the position information acquired in the first step and the shadow area calculated in the step α2 whether or not the position information enters the shadow area. α3,
Further including
The fifth step controls the degree of brightness of the video information received in the fourth step based on the control degree specified in the third step and the photographing position environment determined in the step α3. ,
The video correction method according to claim 5 , wherein:
前記映像補正装置は、天気情報を提供する天気情報提供装置と通信ネットワークを介して接続され、天気情報と、前記制御度を適応する程度を示す制御適応度と、を互いに関連付けて記憶する第4記憶手段をさらに備え、
前記第1ステップで取得した前記位置情報に基づき、前記天気情報提供装置より天気情報を取得するステップβ1と、
前記映像補正装置において、前記ステップβ1で取得した天気情報に基づき、前記第4記憶手段を参照して制御適応度を特定するステップβ2と、
をさらに含み、
前記第5ステップは、前記第3ステップで特定した前記制御度と、前記ステップβ2で特定した前記制御適応度に基づき、前記第4ステップで受信した前記映像情報の明るさの度合いを制御する、
ことを特徴とする請求項5又は6に記載の映像補正方法。
The video correction apparatus is connected to a weather information providing apparatus that provides weather information via a communication network, and stores weather information and a control fitness indicating a degree to which the control is applied in association with each other. A storage means,
Step β1 for acquiring weather information from the weather information providing device based on the position information acquired in the first step;
In the video correction device, based on the weather information acquired in the step β1, a step β2 for specifying a control fitness with reference to the fourth storage unit;
Further including
The fifth step controls the degree of brightness of the video information received in the fourth step based on the control degree specified in the third step and the control fitness specified in the step β2.
The video correction method according to claim 5 or 6 ,
前記映像補正装置は、撮影方向に向かって発光する照明装置とさらに接続され、
前記第5ステップは、前記第3ステップで特定した前記制御度に基づき、前記第4ステップで受信した前記映像情報の明るさの度合いを制御することができるか否か判定するステップγ1と、
前記映像補正装置において、前記ステップγ1で前記映像情報の明るさの度合いを制御することがない場合、前記照明装置に対して発光を指示する発光指示情報を送信するステップγ2と、
をさらに含んだことを特徴とする請求項5乃至7の何れかに記載の映像補正方法。
The video correction device is further connected to a lighting device that emits light in the shooting direction,
In the fifth step, based on the degree of control specified in the third step, a step γ1 for determining whether or not the brightness level of the video information received in the fourth step can be controlled;
In the video correction device, when the brightness level of the video information is not controlled in the step γ1, the step γ2 of transmitting light emission instruction information for instructing the lighting device to emit light;
The video correction method according to claim 5 , further comprising:
位置情報と、時刻情報と、太陽の方位情報と、を互いに関連付けて記憶する第1記憶手段と、撮影方位情報と、太陽の方位情報と、映像情報の明るさの度合いを制御する程度を示す制御度と、を互いに関連付けて記憶する第2記憶手段と、撮影装置の位置情報、撮影方位情報、及び時刻情報と、前記第1記憶手段を参照して特定された太陽の方位情報と、前記第2記憶手段を参照して特定された制御度と、を互いに関連付けて記憶する第5記憶手段と、を備え、撮影装置から送信される映像情報の明るさの度合いを制御することを実行させるためにコンピュータを、
前記撮影装置の位置情報、撮影方位情報、及び時刻情報を取得する手段、
取得した前記位置情報及び前記時刻情報に基づき、前記第1記憶手段を参照して太陽の方位情報を特定する手段、
取得した前記撮影方位情報と、特定した太陽の方位情報とに基づき、前記第2記憶手段を参照して制御度を特定する手段、
前記撮影装置より映像情報を受信する手段、
特定した前記制御度に基づき、受信した前記映像情報の明るさの度合いを制御する手段、
明るさの度合いを制御した前記映像情報を出力する手段、
制御した前記映像情報の明るさの度合いに対する適否の応答の入力を受け付ける手段、
受け付けた前記応答が適している場合、前記撮影装置の位置情報、撮影方位情報、及び時刻情報と、前記第1記憶手段を参照して特定した太陽の方位情報とに基づき、前記第2記憶手段を参照して特定した制御度を互いに関連付けて前記第5記憶手段に記憶する手段、
受け付けた前記応答が適していない場合、前記撮影装置の位置情報、撮影方位情報、及び時刻情報と、前記第1記憶手段を参照して特定した太陽の方位情報とに基づき、前記第5記憶手段を参照して制御度を特定し、特定した前記制御度に基づき、前記映像情報の明るさの度合いを制御する手段、
として機能させることを特徴とする映像補正プログラム。
The first storage means for storing the positional information, the time information, and the sun azimuth information in association with each other, the shooting azimuth information, the sun azimuth information, and the degree of brightness control of the video information are indicated. Second storage means for storing the degree of control in association with each other , position information of the photographing apparatus, photographing azimuth information, and time information, sun direction information specified with reference to the first storage means, Fifth control means for storing the degree of control specified with reference to the second storage means in association with each other, and controlling the degree of brightness of the video information transmitted from the photographing apparatus Computer for
Means for acquiring position information of the photographing apparatus, photographing direction information, and time information;
Means for identifying the azimuth information of the sun with reference to the first storage means based on the acquired position information and time information;
Means for specifying a degree of control with reference to the second storage means based on the acquired shooting direction information and the specified sun direction information;
Means for receiving video information from the imaging device;
Means for controlling the degree of brightness of the received video information based on the specified degree of control;
Means for outputting the video information in which the degree of brightness is controlled;
Means for receiving an input of a response of suitability with respect to the brightness level of the controlled video information;
When the received response is suitable, the second storage unit is based on the position information, the shooting direction information, and the time information of the shooting device, and the sun direction information specified with reference to the first storage unit. Means for storing the degree of control specified with reference to each other in the fifth storage means,
If the received response is not suitable, the fifth storage means based on the position information, the shooting direction information, and the time information of the shooting apparatus, and the sun direction information specified with reference to the first storage means Means for controlling a brightness degree of the video information based on the specified control degree,
A video correction program characterized by functioning as
位置情報と、建物情報が含まれた道路地図情報と、を互いに関連付けて記憶する第3記憶手段、をさらに備え、
前記コンピュータを、
前記位置情報に基づき、前記第3記憶手段を参照して周囲に存在する建物情報を特定する手段、
特定した前記建物情報と、前記太陽の方位情報とに基づき、前記建物の影が生じる領域(以下、「影領域」という。)を算出する手段、
前記位置情報と、算出した前記影領域とに基づき、前記位置情報が前記影領域に入るか否か撮影位置環境を判定する手段、
前記制御度と、判定した前記撮影位置環境に基づき、前記映像情報の明るさの度合いを制御する手段、
としてさらに機能させることを特徴とする請求項9に記載の映像補正プログラム。
A third storage means for storing the location information and the road map information including the building information in association with each other;
The computer,
Means for identifying building information existing in the surroundings with reference to the third storage means based on the position information;
Means for calculating a region where a shadow of the building occurs (hereinafter referred to as a “shadow region”) based on the identified building information and the sun direction information;
Means for determining a shooting position environment based on the position information and the calculated shadow area, whether or not the position information enters the shadow area;
Means for controlling the degree of brightness of the video information based on the degree of control and the determined shooting position environment;
The video correction program according to claim 9 , further functioning as:
天気情報を提供する天気情報提供装置と通信ネットワークを介して接続され、天気情報と、前記制御度を適応する程度を示す制御適応度と、を互いに関連付けて記憶する第4記憶手段、をさらに備え、
前記コンピュータを、
前記位置情報に基づき、前記天気情報提供装置より天気情報を取得する手段、
取得した天気情報に基づき、前記第4記憶手段を参照して制御適応度を特定する手段、
前記制御度と、特定した前記制御適応度に基づき、前記映像情報の明るさの度合いを制御する手段、
としてさらに機能させることを特徴とする請求項9又は10に記載の映像補正プログラム。
A fourth storage means connected to a weather information providing apparatus for providing weather information via a communication network, and storing the weather information and a control fitness indicating the degree of adaptation of the control in association with each other; ,
The computer,
Means for obtaining weather information from the weather information providing device based on the position information;
Means for specifying control fitness with reference to the fourth storage means based on the acquired weather information;
Means for controlling the degree of brightness of the video information based on the control degree and the specified control fitness;
The video correction program according to claim 9 or 10 , further functioning as:
撮影方向に向かって発光する照明装置とさらに接続され、
前記コンピュータを、
前記制御度に基づき、前記映像情報の明るさの度合いを制御することができるか否か判断し、前記映像情報の明るさの度合いを制御することができない場合、前記照明装置に対して発光を指示する発光指示情報を送信する手段、
としてさらに機能させることを特徴とする請求項9乃至11の何れかに記載の映像補正プログラム。
It is further connected to a lighting device that emits light in the shooting direction,
The computer,
Based on the degree of control, it is determined whether or not the brightness level of the video information can be controlled, and if the brightness level of the video information cannot be controlled, the lighting device emits light. Means for transmitting light emission instruction information to instruct;
The video correction program according to claim 9 , further functioning as:
JP2008028608A 2008-02-08 2008-02-08 Video correction device, video correction method, and video correction program Expired - Fee Related JP4244361B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008028608A JP4244361B1 (en) 2008-02-08 2008-02-08 Video correction device, video correction method, and video correction program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008028608A JP4244361B1 (en) 2008-02-08 2008-02-08 Video correction device, video correction method, and video correction program

Publications (2)

Publication Number Publication Date
JP4244361B1 true JP4244361B1 (en) 2009-03-25
JP2009188872A JP2009188872A (en) 2009-08-20

Family

ID=40559942

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008028608A Expired - Fee Related JP4244361B1 (en) 2008-02-08 2008-02-08 Video correction device, video correction method, and video correction program

Country Status (1)

Country Link
JP (1) JP4244361B1 (en)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5655334B2 (en) * 2010-03-19 2015-01-21 ソニー株式会社 Image processing apparatus and method, and program
KR101573890B1 (en) * 2014-03-06 2015-12-02 인하대학교 산학협력단 Video Enhancement System and Method Using Environmental Information
KR102599265B1 (en) * 2018-11-29 2023-11-06 현대오토에버 주식회사 Control apparatus of camera for autonomous driving vehicle and method thereof
CN109889786A (en) * 2019-02-26 2019-06-14 国网辽宁省电力有限公司鞍山供电公司 A kind of power marketing work on the spot recording device and method based on panorama camera

Also Published As

Publication number Publication date
JP2009188872A (en) 2009-08-20

Similar Documents

Publication Publication Date Title
JP4622740B2 (en) Display control device for vehicle
US7283736B2 (en) Imaging apparatus and imaging method
JP4244361B1 (en) Video correction device, video correction method, and video correction program
JP2010239479A (en) Imaging part control device, imaging part control method, and imaging part control program
US20120249583A1 (en) Display apparatus, display method, and computer-readable recording medium
KR20120071968A (en) Digital image photographing apparatus and method for controlling the same
JP7073769B2 (en) Driving support system and driving support method
JP2012160978A (en) Imaging control device, template acquisition device, and program
CN102246506B (en) Image pickup device and image pickup method
JP2009239501A (en) Photographing system and photographing method
KR101888970B1 (en) A camera module for automatically adjusting brightness
US20120249840A1 (en) Electronic camera
JP7094748B2 (en) Image recording device and image recording method
JP4247547B2 (en) Exposure amount control method and apparatus for camera
JP4539400B2 (en) Stereo camera correction method and stereo camera correction device
US9565357B2 (en) Image pickup apparatus, and image correction method
KR20090099938A (en) The camera system for producing the panorama of a map information
WO2018047393A1 (en) Video output system
WO2011099049A1 (en) Imaging system
JP2014235022A (en) Navigation device and navigation method
KR101648561B1 (en) Security camera
JP6222170B2 (en) Imaging device
JP2016085248A (en) Exposure computation device
JP5764907B2 (en) Imaging device
JP2024021119A (en) Control device, back direction confirmation device, control method and program

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20081224

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20081226

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120116

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120116

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130116

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130116

Year of fee payment: 4

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130116

Year of fee payment: 4

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130116

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees