WO2022014199A1 - 撮像制御装置、撮像制御方法及びプログラム - Google Patents

撮像制御装置、撮像制御方法及びプログラム Download PDF

Info

Publication number
WO2022014199A1
WO2022014199A1 PCT/JP2021/021514 JP2021021514W WO2022014199A1 WO 2022014199 A1 WO2022014199 A1 WO 2022014199A1 JP 2021021514 W JP2021021514 W JP 2021021514W WO 2022014199 A1 WO2022014199 A1 WO 2022014199A1
Authority
WO
WIPO (PCT)
Prior art keywords
imaging data
unit
frame
representative value
image
Prior art date
Application number
PCT/JP2021/021514
Other languages
English (en)
French (fr)
Inventor
武 茨木
規夫 倉重
信行 松川
Original Assignee
株式会社Ｊｖｃケンウッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社Ｊｖｃケンウッド filed Critical 株式会社Ｊｖｃケンウッド
Priority to CN202180022949.XA priority Critical patent/CN115336252B/zh
Priority to EP21842359.8A priority patent/EP4106319A4/en
Publication of WO2022014199A1 publication Critical patent/WO2022014199A1/ja
Priority to US17/944,233 priority patent/US20230007187A1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source

Definitions

  • the present invention relates to an image pickup control device, an image pickup control method, and a program.
  • Patent Document 1 the first gradation conversion curve corresponding to the dynamic range of the image data is adjusted so that the brightness change between the bright part and the dark part of the image data is visually equivalent.
  • a technique for generating a curve and performing gradation conversion of image data using a second gradation conversion curve is described.
  • Patent Document 2 a conversion unit including a control function having a hybrid log-gamma characteristic and a calculation unit for calculating a parameter value for adjusting a coefficient of a control function for converting a preset input signal in the bright region are obtained.
  • a signal converter having the above is described.
  • HDR High Dynamic Range
  • SDR Standard Dynamic Range
  • HLG Hybrid Log Gamma
  • the present disclosure has been made in view of the above, and provides an image pickup control device, an image pickup control method, and a program having higher image quality.
  • the imaging control device has an imaging data acquisition unit that acquires imaging data and a predetermined image on the imaging data acquired by the imaging data acquisition unit.
  • a representative value calculation unit that calculates a representative value from a brightness value and a conversion unit that gamma-converts the imaging data acquired by the imaging data acquisition unit are provided, and the conversion unit is calculated by the representative value calculation unit.
  • the upper limit of the brightness value is set based on the representative value, the imaging data is normalized, and the imaging data normalized by the hybrid log gamma transfer function according to the upper limit of the brightness value is gamma-converted.
  • the imaging control method includes an imaging data acquisition step for acquiring imaging data, a frame setting step for setting a predetermined frame on the image for the imaging data acquired by the imaging data acquisition step, and the frame setting.
  • a representative value calculation that calculates a representative value from the brightness value acquired by the brightness value acquisition step for acquiring the brightness value of the pixels constituting the imaging data within the range of the frame set by the step and the brightness value acquired by the brightness value acquisition step.
  • the conversion step includes a step and a conversion step of gamma-converting the imaging data acquired by the imaging data acquisition step. In the conversion step, the brightness value is calculated based on the representative value calculated by the representative value calculation step.
  • An upper limit is set to normalize the imaging data, and the normalized imaging data is gamma-converted by a hybrid log gamma transfer function.
  • the effect of higher image quality can be achieved.
  • FIG. 1 is a block diagram showing a configuration example of a vehicle recording device according to the present embodiment.
  • FIG. 2 is an explanatory diagram showing a mass group divided vertically and horizontally in the imaging data according to the present embodiment.
  • FIG. 3 is an explanatory diagram showing an example of a frame set for the normal imaging data according to the present embodiment.
  • FIG. 4 is an explanatory diagram showing an example of a frame set for daytime image pickup data according to the present embodiment.
  • FIG. 5 is an explanatory diagram showing an example of a frame set for nighttime imaging data according to the present embodiment.
  • FIG. 6 is an explanatory diagram showing an example of a frame set for the overall dark imaging data according to the present embodiment.
  • FIG. 7 is a diagram illustrating an HLG curve when the peak luminance is 12.
  • FIG. 8 is a diagram illustrating an HLG curve when the peak luminance is 48.
  • FIG. 9 is a diagram showing the correlation between the normalized scene brightness and the signal level of the normalized electric signal.
  • FIG. 10 is a flowchart showing a processing flow in the image pickup control device according to the present embodiment.
  • the imaging control device, the imaging control method, and the embodiment of the program according to the present disclosure are described in detail with reference to the attached drawings below.
  • the present invention is not limited to the following embodiments.
  • the image pickup system converts and outputs a video signal using an HLG curve corresponding to a representative value regarding the brightness value of the image pickup data.
  • the vehicle recording device 10 will be described as an example of the image pickup system.
  • FIG. 1 is a block diagram showing a configuration example of the vehicle recording device 10 according to the present embodiment.
  • the vehicle recording device 10 is, for example, a so-called drive recorder.
  • the vehicle recording device 10 may be a portable device that can be used in the vehicle, in addition to the device mounted on the vehicle.
  • the vehicle recording device 10 includes a camera (imaging unit) 20 and an image pickup control device 40.
  • the camera 20 is arranged so as to capture at least one of the traveling direction of the vehicle and the direction opposite to the traveling direction.
  • the camera 20 will be described as a camera that captures the traveling direction of the vehicle.
  • the camera 20 will be described using a single camera facing in one direction in front of the vehicle, but may be a plurality of camera groups.
  • the camera 20 is arranged at a position where the front of the vehicle can be imaged, for example, in front of the vehicle interior of the vehicle.
  • the camera 20 constantly captures an image while the accessory power of the vehicle is on.
  • the camera 20 outputs the captured image data (image data) to the image pickup data acquisition unit 41 of the image pickup control device 40.
  • the image pickup control device 40 is, for example, an arithmetic processing device (control device) configured by a CPU (Central Processing Unit) or the like.
  • the image pickup control device 40 loads the stored program into the memory and executes an instruction included in the program.
  • the image pickup control device 40 includes an internal memory (not shown), and the internal memory is used for temporary storage of data in the image pickup control device 40 and the like.
  • the image pickup control device 40 includes an image pickup data acquisition unit 41, a frame setting unit 42, a luminance value acquisition unit 43, a representative value calculation unit 44, and a conversion unit 45.
  • the imaging data acquisition unit 41 acquires imaging data that images the surroundings of the vehicle. More specifically, the image pickup data acquisition unit 41 acquires the image pickup data output by the camera 20.
  • the imaging data is data that sequentially outputs an image composed of a predetermined number of pixels in the horizontal and vertical directions in time.
  • the frame setting unit 42 selects a part of the pixels on the image (screen) so as to be appropriate as a range for acquiring the luminance value in the image pickup data acquired by the image pickup data acquisition unit 41 around the vehicle.
  • the position, shape, and size of the frame are set so as to be appropriate as a range for acquiring the luminance value in the imaging data.
  • the frame setting unit 42 has a predetermined position on an image constituting the image captured data from the camera 20 arranged so as to capture at least one of the traveling direction of the vehicle and the direction opposite to the traveling direction.
  • Set the frame of shape and size is provided for selecting and extracting some of the pixels of the image.
  • the position, shape, and size of the frame are set so as to be appropriate as a range for acquiring the luminance value in the imaging data.
  • the frame is described as a rectangular shape that is rectangular in the horizontal and vertical directions, but the frame is not limited to this, and may be a circular shape, an elliptical shape, or a combined shape.
  • the description is made assuming that one frame is set, but the present invention is not limited to this, and a plurality of frames may be set.
  • the frame set by the frame setting unit 42 may include a range in which at least one of the road surfaces in the direction of travel of the vehicle or the direction opposite to the direction of travel in the image pickup data is imaged.
  • the frame is set in position, shape and size on the image so as to include a range in which the road surface is imaged.
  • the frame setting unit 42 may set the frame in a range including the lower side of the central portion of the image pickup data. Since the area occupied by the area where the road surface is imaged in the imaging data is a predetermined ratio or more and the color of the road surface does not change much, it is suitable as a range for setting a frame for acquiring the luminance value.
  • the frame set by the frame setting unit 42 includes a range in which the surrounding scenery such as the sky, the sea, and a river is imaged in addition to the road surface.
  • the frame is set in position, shape and size on the image so as to include the surrounding scenery in addition to the road surface.
  • the brightness value of the part other than the road surface is included. As a result, a more appropriate luminance value is acquired.
  • the frame setting unit 42 may have an image recognition unit 421.
  • the image recognition unit 421 recognizes image pickup data in order to set the position, shape, and size of the frame. More specifically, the image recognition unit 421 recognizes, for example, at least one of the road surfaces in the direction of travel of the vehicle or in the direction opposite to the direction of travel in the image pickup data.
  • the image recognition unit 421 may perform image processing on the image pickup data and recognize, for example, a portion whose color is black or gray below the center portion of the image pickup data as a road surface.
  • the image recognition unit 421 may recognize a predetermined range on the image in the captured data, for example, a lower side than the central portion as a road surface.
  • the image recognition unit 421 may, for example, perform image processing on the captured data to recognize the presence or absence of the sun and the position of the sun.
  • the image recognition unit 421 may perform image processing on the imaged data to recognize the image as the sun when the entire imaged data is bright and there is a locally brighter part above the central part than the peripheral part. Further, the image recognition unit 421 may recognize the time zone and the weather at the time of imaging from the presence / absence of the recognized sun and the position of the sun.
  • the image recognition unit 421 may, for example, perform image processing on the captured data to recognize a portion illuminated by the headlights of the own vehicle or another vehicle.
  • the image recognition unit 421 may perform image processing on the image pickup data, and if the entire image pickup data is dark and there is a portion brighter than the periphery only below the center portion, the image recognition unit 421 may recognize the portion illuminated by the headlight. .. When the image pickup time stored in the image pickup data is nighttime and there is a portion brighter than the periphery only below the center portion, the image recognition unit 421 may recognize the portion illuminated by the headlight.
  • the image recognition unit 421 may, for example, perform image processing on the captured data to recognize the sky.
  • the image recognition unit 421 may perform image processing on the image pickup data and recognize, for example, a portion whose color is blue, white, or gray above the center portion of the image pickup data as an sky.
  • the image recognition unit 421 may recognize a predetermined range in the captured data, for example, the upper side of the central portion as the sky. Further, the image recognition unit 421 may recognize the night sky based on, for example, the information of the imaging time stored in the imaging data.
  • the image recognition unit 421 may, for example, perform image processing on the captured data to recognize the sea and rivers.
  • the image recognition unit 421 may perform image processing on the image pickup data to recognize, for example, a portion having a blue color below the center portion of the image pickup data as a sea or a river.
  • the image recognition unit 421 may, for example, perform image processing on the captured data to recognize the surrounding scenery such as a tunnel.
  • the frame setting unit 42 may set a frame having a predetermined position, shape, and size on the image of the captured data based on the recognition result by the image recognition unit 421.
  • FIG. 2 is an explanatory diagram showing a mass group divided vertically and horizontally in the imaging data according to the present embodiment.
  • the frame setting unit 42 may divide the imaging data into a group of 6 vertical ⁇ 9 horizontal cells as an example, and set a frame of an arbitrary position, shape, and size.
  • FIG. 3 is an explanatory diagram showing an example of a frame set for the normal imaging data according to the present embodiment.
  • Normal time means, for example, daytime on a sunny day.
  • the frame setting unit 42 normally sets a frame in the range below the center of the screen so as to include the road surface more than the others in the image pickup data.
  • the frame is set in a rectangular shape having a size of, for example, about 50% up and down and 60% left and right with respect to the imaged data.
  • FIG. 4 is an explanatory diagram showing an example of a frame set for daytime imaging data according to the present embodiment.
  • intense light such as direct sunlight may be reflected, and locally bright parts may appear in the imaging data.
  • Locally bright means a pixel having a value of, for example, 80% or more of the maximum value of luminance (for example, 205, which is 80% of the maximum value of 254 in the case of 8 bits).
  • the frame setting unit 42 sets the position of the frame based on the recognition result of the image recognition unit 421 while avoiding the locally bright portion of the image pickup data.
  • the frame setting unit 42 moves the position of the frame in the direction opposite to the position of the bright pixels in the frame. For example, the frame setting unit 42 divides the imaging data into four vertically and horizontally, and if there is a bright pixel in the upper right, moves the position of the frame to the lower left.
  • the frame setting unit 42 may be set by changing the size of the frame while avoiding a locally bright portion of the imaging data.
  • the frame setting unit 42 may reduce the size of the frame when the position of the frame cannot be moved while avoiding bright pixels.
  • FIG. 5 is an explanatory diagram showing an example of a frame set for nighttime imaging data according to the present embodiment.
  • the headlights of the own vehicle brighten the direction of travel, and the dark areas around the area where the headlights do not reach are darkened.
  • the frame setting unit 42 sets the frame including the range illuminated by the headlights, the dark portion around the area where the light of the headlights does not reach becomes dark.
  • the frame setting unit 42 may set the position of the frame so as to include a peripheral dark portion or a night sky portion based on the recognition result of the image recognition unit 421.
  • the frame setting unit 42 may be set by changing the size of the frame so as to include a peripheral dark portion or a night sky portion based on the recognition result of the image recognition unit 421. It can be determined that the imaging data is at night by recognizing the imaging time and the on / off of the headlight by the image recognition unit 421.
  • FIG. 6 is an explanatory diagram showing an example of a frame set for the overall dark imaging data according to the present embodiment.
  • the size of the frame may be increased in order to acquire the luminance value from a wide range. It can be determined that the imaged data is dark as a whole by the brightness average value of the pixels in the frame, the number of pixels having a brightness value equal to or more than a predetermined value or a brightness value equal to or less than a predetermined value, and the like.
  • the brightness value acquisition unit 43 acquires the brightness value of the imaging data within the range of the frame. More specifically, the luminance value acquisition unit 43 acquires the luminance value for each pixel included in the range of the frame.
  • the representative value calculation unit 44 calculates the representative value from the luminance value acquired by the luminance value acquisition unit 43.
  • the representative value is the median value of the luminance value acquired from the imaging data within the range of the frame.
  • the representative value is not limited to the median value of the luminance value, and may be the mode value of the luminance value or various average values of the luminance values.
  • the conversion unit 45 gamma-converts the image pickup data acquired by the image pickup data acquisition unit 41. More specifically, the conversion unit 45 sets the peak luminance, which is the upper limit of the luminance value, based on the representative value calculated by the representative value calculation unit 44, normalizes the imaging data, and converts the normalized imaging data into the peak luminance. Gamma conversion is performed by the corresponding hybrid log gamma transfer function. The peak luminance may be set higher as the representative value becomes smaller, for example.
  • the peak brightness is set in the range of 12 or more and 48 or less. The larger the peak brightness, the wider the dynamic range of HDR.
  • FIG. 7 is a diagram illustrating an HLG curve when the peak luminance is 12.
  • the horizontal axis represents the scene luminance E normalized so that the reference white luminance level in SDR becomes 1
  • the vertical axis represents the signal level E'of the electric signal corresponding to the horizontal axis.
  • the hybrid log-gamma transfer function is adjusted so that the HDR signal at that time is 0.5, with white as the reference brightness 1 in SDR.
  • FIG. 8 is a diagram illustrating an HLG curve when the peak luminance is 48.
  • the horizontal axis represents the scene luminance E normalized so that the reference white luminance level in SDR is 1
  • the vertical axis represents the signal level E of the electric signal corresponding to the horizontal axis. Represents ⁇ .
  • FIG. 9 is a diagram showing the correlation between the normalized scene luminance E and the signal level E'of the normalized electric signal.
  • the horizontal axis represents E / maxE and the vertical axis represents E'/ maxE'.
  • FIG. 9 shows an HLG curve in which the horizontal axis and the vertical axis of FIGS. 7 and 8 are normalized to a range of 0 or more and 1 or less.
  • a similarly normalized HLG curve can be obtained for each value having a peak luminance of 12 or more and 48 or less.
  • the HLG curve used by the conversion unit 45 for the gamma conversion draws a different curve depending on the peak luminance.
  • FIG. 10 is a flowchart showing a processing flow in the image pickup control device 40 according to the present embodiment.
  • the camera 20 while the vehicle recording device 10 is activated, the camera 20 constantly captures images and constantly executes the process shown in FIG.
  • the process shown in FIG. 10 may be executed every frame, every few frames, at a predetermined time interval, or the like.
  • the image pickup control device 40 acquires the image pickup data output by the camera 20 by the image pickup data acquisition unit 41 (step S1). In the image pickup control device 40, the process shifts to step S2 after step S1.
  • the image pickup control device 40 sets a predetermined frame in the image pickup data by the frame setting unit 42 (step S2).
  • the image pickup control device 40 sets a frame having a predetermined position, shape, and size in the image pickup data from the camera 20 by the frame setting unit 42.
  • the position, shape, and size of the frame are set so as to be appropriate as a range for acquiring the luminance value in the imaging data.
  • the process shifts to step S3 after step S2.
  • step S2 the image pickup control device 40 acquires the brightness value of the image pickup data within the range of the frame by the brightness value acquisition unit 43 (step S3). In the image pickup control device 40, the process shifts to step S4 after step S3.
  • the image pickup control device 40 calculates the representative value from the luminance value acquired by the luminance value acquisition unit 43 by the representative value calculation unit 44 (step S4).
  • the image pickup control device 40 calculates, for example, the median value of the brightness value of the brightness value acquired from the image pickup data within the range of the frame as the representative value by the representative value calculation unit 44.
  • the process shifts to step S5 after step S4.
  • step S4 the image pickup control device 40 sets the upper limit value of the luminance based on the representative value by the conversion unit 45 and normalizes the image pickup data (step S5). In the image pickup control device 40, the process shifts to step S6 after step S5.
  • step S5 the image pickup control device 40 gamma-converts and outputs the normalized image pickup data by the conversion unit 45 using the hybrid log gamma transfer function corresponding to the peak luminance set in step S5.
  • Step S6 the image pickup control device 40 ends the process after step S6.
  • the imaging data is gamma-converted and the image signal is output by using the hybrid log gamma transmission function according to the peak luminance of the imaging data. do.
  • the imaging data can be converted by using the hybrid log gamma transfer function corresponding to the imaging data.
  • the dynamic range can be set according to the imaging data. According to the present embodiment, overexposure in the HDR image of the HLG system can be further suppressed as compared with the conventional HDR image. According to this embodiment, the output data can be made high quality.
  • a frame suitable for each image pickup data can be set based on the recognition result of the image recognition unit 421.
  • the representative value can be calculated more appropriately, so that the output data can be improved in image quality.
  • a frame having a predetermined position, shape, and size is provided on either one of the imaging data from the camera 20 arranged so as to capture at least one of the traveling direction of the vehicle and the direction opposite to the traveling direction.
  • the image pickup data from the camera 20 arranged so as to image at least one of the traveling direction of the vehicle or the direction opposite to the traveling direction, and set a preferable frame for the imaging data.
  • the frame set by the frame setting unit 42 includes at least one of the road surfaces in the direction of travel of the vehicle or in the direction opposite to the direction of travel in the image pickup data. According to the present embodiment, it is possible to recognize the road surface from the image pickup data and set a frame including the road surface in the image pickup data. According to this embodiment, it is possible to output high-quality output data suitable for a drive recorder.
  • the presence or absence of the sun, the position of the sun, the part illuminated by the headlights, the sky, the sea and rivers, and the surrounding scenery are recognized from the image pickup data and the frame is set.
  • an appropriate frame can be set according to the imaging data. According to this embodiment, it is possible to output high-quality output data according to the imaging data.
  • Each component of the illustrated vehicle recording device 10 is functionally conceptual and does not necessarily have to be physically configured as shown in the figure. That is, the specific form of each device is not limited to the one shown in the figure, and all or part of the device may be functionally or physically dispersed or physically distributed in an arbitrary unit according to the processing load and usage status of each device. May be integrated.
  • the configuration of the vehicle recording device 10 is executed, for example, as software by a method of operating the vehicle recording device 10 in the vehicle recording device 10 or by a computer loaded in a memory and operating the vehicle recording device 10. It is realized by the program to be executed. In the above embodiment, it has been described as a functional block realized by cooperation of these hardware or software. That is, these functional blocks can be realized in various forms by hardware only, software only, or a combination thereof.
  • the above describes an example in which the present disclosure is applied to a vehicle recording device 10 such as a drive recorder as an imaging system, but the present invention is not limited to this.
  • the imaging system can also be applied to, for example, a video camera, a smartphone, or broadcasting equipment.
  • the image pickup control device, image pickup control method and program of the present disclosure can be used for, for example, a drive recorder, a video camera, a smartphone or broadcasting equipment.
  • Vehicle recording device (imaging system) 20 Camera (imaging unit) 40 Imaging control device 41 Imaging data acquisition unit 42 Frame setting unit 421 Image recognition unit 43 Luminance value acquisition unit 44 Representative value calculation unit 45 Conversion unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Exposure Control For Cameras (AREA)

Abstract

より高画質化すること。撮像制御装置４０は、撮像データを取得する撮像データ取得部４１と、撮像データ取得部４１が取得した撮像データに所定の枠を設定する枠設定部４２と、枠設定部４２が設定した枠の範囲内の撮像データの輝度値を取得する輝度値取得部４３と、輝度値取得部４３が取得した輝度値から代表値を算出する代表値算出部４４と、撮像データ取得部４１が取得した撮像データをガンマ変換する変換部４５と、を備え、変換部４５は、代表値算出部４４が算出した代表値に基づいて輝度値の上限値を設定して撮像データを正規化し、正規化した撮像データをハイブリッドログガンマ伝達関数によってガンマ変換する。

Description

撮像制御装置、撮像制御方法及びプログラム
　本発明は、撮像制御装置、撮像制御方法及びプログラムに関する。
　特許文献１には、画像データのダイナミックレンジに対応する第１の階調変換カーブを画像データの明部と暗部との輝度変化が視覚的に同等となるように調整した第２の階調変換カーブを生成し、第２の階調変換カーブを用いて画像データの階調変換を行う技術が記載されている。特許文献２には、ハイブリッドログガンマ特性を有する制御関数を含む変換部と、事前に設定された明部領域の入力信号を変換する制御関数の係数を調整するためのパラメータ値を算出する算出部と、を有する信号変換装置が記載されている。
特開２０１９－０７１５６８号公報 特開２０１９－１０１２４１号公報
　ＨＤＲ（Ｈｉｇｈ　Ｄｙｎａｍｉｃ　Ｒａｎｇｅ）は、ＳＤＲ（Ｓｔａｎｄａｒｄ　Ｄｙｎａｍｉｃ　Ｒａｎｇｅ）に比べて白飛びが抑制されるなど高画質である。ＨＬＧ（Ｈｙｂｒｉｄ　Ｌｏｇ　Ｇａｍｍａ）方式のＨＤＲでは、白飛びのさらなる抑制など、より高画質化が望まれている。
　本開示は、上記に鑑みてなされたものであって、より高画質化した撮像制御装置、撮像制御方法及びプログラムを提供する。
　上述した課題を解決し、目的を達成するために、本開示に係る撮像制御装置は、撮像データを取得する撮像データ取得部と、前記撮像データ取得部が取得した前記撮像データに画像上の所定の枠を設定する枠設定部と、前記枠設定部が設定した前記枠の範囲内の撮像データを構成する画素の輝度値を取得する輝度値取得部と、前記輝度値取得部が取得した前記輝度値から代表値を算出する代表値算出部と、前記撮像データ取得部が取得した前記撮像データをガンマ変換する変換部と、を備え、前記変換部は、前記代表値算出部が算出した前記代表値に基づいて輝度値の上限値を設定して前記撮像データを正規化し、輝度値の上限値に応じたハイブリッドログガンマ伝達関数によって正規化した前記撮像データをガンマ変換する。
　本開示に係る撮像制御方法は、撮像データを取得する撮像データ取得ステップと、前記撮像データ取得ステップによって取得された前記撮像データに画像上の所定の枠を設定する枠設定ステップと、前記枠設定ステップによって設定された前記枠の範囲内の撮像データを構成する画素の輝度値を取得する輝度値取得ステップと、前記輝度値取得ステップによって取得された前記輝度値から代表値を算出する代表値算出ステップと、前記撮像データ取得ステップによって取得された前記撮像データをガンマ変換する変換ステップと、を含み、前記変換ステップにおいては、前記代表値算出ステップによって算出された前記代表値に基づいて輝度値の上限値を設定して前記撮像データを正規化し、正規化した前記撮像データをハイブリッドログガンマ伝達関数によってガンマ変換する。
　本開示によれば、より高画質化することができるという効果が奏される。
図１は、本実施形態に係る車両用記録装置の構成例を示すブロック図である。 図２は、本実施形態に係る撮像データの縦横に区分けされたマス群を示す説明図である。 図３は、本実施形態に係る通常時の撮像データに設定される枠の一例を示す説明図である。 図４は、本実施形態に係る昼間の撮像データに設定される枠の一例を示す説明図である。 図５は、本実施形態に係る夜間の撮像データに設定される枠の一例を示す説明図である。 図６は、本実施形態に係る全体的に暗い撮像データに設定される枠の一例を示す説明図である。 図７は、ピーク輝度が１２である場合におけるＨＬＧ曲線を説明する図である。 図８は、ピーク輝度が４８である場合におけるＨＬＧ曲線を説明する図である。 図９は、正規化したシーン輝度と、正規化した電気信号の信号レベルとの相関関係を示す図である。 図１０は、本実施形態に係る撮像制御装置における処理の流れを示すフローチャートである。
　以下に添付図面を参照して、本開示に係る撮像制御装置、撮像制御方法及びプログラムの実施形態が詳細に説明されている。なお、以下の実施形態により本発明が限定されるものではない。撮像システムは、撮像データの輝度値に関する代表値に応じたＨＬＧ曲線を用いて映像信号に変換して出力する。以下の実施形態では、撮像システムの一例として、車両用記録装置１０について説明する。
［実施形態］
＜車両用記録装置１０の構成＞
　図１は、本実施形態に係る車両用記録装置１０の構成例を示すブロック図である。車両用記録装置１０は、例えばいわゆるドライブレコーダである。車両用記録装置１０は、車両に載置されているものに加えて、可搬型で車両において利用可能な装置であってもよい。車両用記録装置１０は、カメラ（撮像部）２０と、撮像制御装置４０と、を備える。
　カメラ２０は、車両の進行方向または進行方向とは逆方向の少なくともどちらかを撮像するように配置されている。本実施形態では、カメラ２０は、車両の進行方向を撮像するカメラとして説明する。本実施形態では、カメラ２０は、車両の前方の一方向を向いた単数のカメラを用いて説明するが、複数のカメラ群であってもよい。カメラ２０は、例えば、車両の車室内前方における車両の前方を撮像可能な位置に配置されている。本実施形態では、カメラ２０は、車両のアクセサリ電源がＯＮである間、映像を常時撮像する。カメラ２０は、撮像した撮像データ（画像データ）を撮像制御装置４０の撮像データ取得部４１に出力する。
＜撮像制御装置４０の構成＞
　撮像制御装置４０は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）などで構成された演算処理装置（制御装置）である。撮像制御装置４０は、記憶されているプログラムをメモリにロードして、プログラムに含まれる命令を実行する。撮像制御装置４０には図示しない内部メモリが含まれ、内部メモリは撮像制御装置４０におけるデータの一時記憶などに用いられる。撮像制御装置４０は、撮像データ取得部４１と、枠設定部４２と、輝度値取得部４３と、代表値算出部４４と、変換部４５と、を備える。
　撮像データ取得部４１は、車両の周辺を撮像した撮像データを取得する。より詳しくは、撮像データ取得部４１は、カメラ２０が出力した撮像データを取得する。ここで撮像データとは、所定の数量の水平及び垂直方向の画素から構成される画像を、時間的に逐次出力するデータである。
　枠設定部４２は、撮像データ取得部４１によって取得された車両の周辺を撮像した撮像データにおいて、輝度値を取得する範囲として適切になるように、画像（画面）上の一部の画素を選択し抽出するための所定の枠（取得範囲）を設定する。枠の位置、形状及び大きさは、撮像データにおいて輝度値を取得する範囲として適切になるように設定される。より詳しくは、枠設定部４２は、車両の進行方向または進行方向とは逆方向の少なくともどちらかを撮像するように配置されたカメラ２０からの撮像データを構成する画像上に、所定の位置、形状及び大きさの枠を設定する。言い換えると、画像の画素のうち一部の画素を選択し抽出するための枠を設ける。枠の位置、形状及び大きさは、撮像データにおいて輝度値を取得する範囲として適切になるように設定される。本実施形態では、枠は水平および垂直方向に矩形な長方形状として説明するが、これに限定されず、円形や楕円状であってもよく、これらを組み合わせた形状であってもよい。本実施形態では、１つの枠を設定するものとして説明するが、これに限定されず、複数の枠を設定してもよい。
　枠設定部４２が設定する枠は、撮像データにおける車両の進行方向または進行方向とは逆方向の少なくともどちらかの路面が撮像される範囲を含んでもよい。枠は、路面が撮像される範囲を含むように、画像上の位置、形状及び大きさが設定される。この場合、枠設定部４２は、撮像データの中央部より下側を含む範囲に枠を設定すればよい。撮像データにおいて路面が撮像される範囲が占める面積は所定割合以上あり、かつ、路面は色彩の変化が少ないので、輝度値を取得する枠を設定する範囲として適している。
　枠設定部４２が設定する枠は、路面に加えて、例えば空、海、河川のような周辺の景色が撮像される範囲を含むことが好ましい。枠は、路面に加えて周辺の景色を含むように、画像上の位置、形状及び大きさが設定される。周辺の景色を含むことによって、路面以外の部分の輝度値が含まれる。これにより、より適切な輝度値が取得される。
　枠設定部４２は、画像認識部４２１を有してもよい。画像認識部４２１は、枠の位置、形状及び大きさを設定するために、撮像データを認識する。より詳しくは、画像認識部４２１は、例えば、撮像データにおける車両の進行方向または進行方向とは逆方向の少なくともどちらかの路面を認識する。画像認識部４２１は、撮像データに画像処理を行って、例えば撮像データの中央部より下側において色彩が黒色または灰色である部分を路面として認識してもよい。画像認識部４２１は、撮像データにおける画像上の所定の範囲、例えば、中央部より下側を路面として認識してもよい。
　画像認識部４２１は、例えば、撮像データに画像処理を行って、太陽の有無及び太陽の位置を認識してもよい。画像認識部４２１は、撮像データに画像処理を行って、撮像データの全体が明るく、中央部より上側に局所的に周辺より明るい部分がある場合、太陽として認識してもよい。さらに、画像認識部４２１は、認識した太陽の有無及び太陽の位置から、撮像時の時間帯及び天候を認識してもよい。
　画像認識部４２１は、例えば、撮像データに画像処理を行って、自車両または他車両のヘッドライトによって照らされた部分を認識してもよい。画像認識部４２１は、撮像データに画像処理を行って、撮像データの全体が暗く、中央部より下側にのみ周辺より明るい部分がある場合、ヘッドライトによって照らされた部分として認識してもよい。画像認識部４２１は、撮像データに保存された撮像時刻が夜間であって、中央部より下側にのみ周辺より明るい部分がある場合、ヘッドライトによって照らされた部分として認識してもよい。
　画像認識部４２１は、例えば、撮像データに画像処理を行って、空を認識してもよい。画像認識部４２１は、撮像データに画像処理を行って、例えば撮像データの中央部より上側において色彩が青色、白色、または灰色である部分を空として認識してもよい。画像認識部４２１は、撮像データにおける所定の範囲、例えば、中央部より上側を空として認識してもよい。さらに、画像認識部４２１は、例えば、撮像データに保存された撮像時刻の情報に基づいて、夜空を認識してもよい。
　画像認識部４２１は、例えば、撮像データに画像処理を行って、海及び河川を認識してもよい。画像認識部４２１は、撮像データに画像処理を行って、例えば撮像データの中央部より下側において色彩が青色である部分を海または河川として認識してもよい。
　画像認識部４２１は、例えば、撮像データに画像処理を行って、トンネルなどの周辺の景色を認識してもよい。
　枠設定部４２は、画像認識部４２１による認識結果に基づいて、撮像データの画像上に、所定の位置、形状及び大きさの枠を設定してもよい。
　図２ないし図６を用いて、枠設定部２１によって設定される枠について説明する。図２は、本実施形態に係る撮像データの縦横に区分けされたマス群を示す説明図である。図２に示されるように、枠設定部４２は、撮像データを一例として縦６×横９のマス群に区分けして、任意の位置、形状及び大きさの枠を設定してもよい。
　図３は、本実施形態に係る通常時の撮像データに設定される枠の一例を示す説明図である。通常時とは、例えば晴天の昼間をいう。図３に示されるように、枠設定部４２は、通常時には、撮像データにおいて、路面を他より多く含むように画面中央部より下側の範囲に枠を設定する。枠は、撮像データに対して、例えば上下５０％、左右６０％程度の大きさの長方形状に設定される。
　図４は、本実施形態に係る昼間の撮像データに設定される枠の一例を示す説明図である。昼間は時間帯、天候または撮像方向によっては、直射日光などの強烈な光が映りこんで、撮像データに局所的に明るい部分が生じることがある。局所的に明るいとは、例えば輝度の最大値の８０％（例えば８ビットであれば、最大値２５４のうちの８０％である２０５）以上の値の画素をいう。枠設定部４２は、画像認識部４２１の認識結果に基づいて、撮像データの局所的に明るい部分を避けて枠の位置を設定する。枠設定部４２は、枠内に明るい画素がある場合、枠内における明るい画素の位置と反対方向に枠の位置を移動させる。枠設定部４２は、例えば、撮像データを上下左右に４分割して、右上に明るい画素がある場合、左下に枠の位置を移動させる。枠設定部４２は、撮像データの局所的に明るい部分を避けて枠の大きさを変えて設定してもよい。枠設定部４２は、明るい画素を避けて枠の位置を移動できない場合、枠の大きさを縮小させてもよい。
　図５は、本実施形態に係る夜間の撮像データに設定される枠の一例を示す説明図である。夜間は自車両のヘッドライトによって進行方向が明るく、ヘッドライトの光が届いていない周辺の暗い部分が暗くなる。枠設定部４２が、ヘッドライトによって照らされた範囲を含んで枠を設定した場合、ヘッドライトの光が届いていない周辺の暗い部分が暗くなる。枠設定部４２は、画像認識部４２１の認識結果に基づいて、周辺の暗い部分または夜空の部分が含まれるように、枠の位置を設定してもよい。枠設定部４２は、画像認識部４２１の認識結果に基づいて、周辺の暗い部分または夜空の部分を含むように、枠の大きさを変えて設定してもよい。撮像データが夜間であることは、撮像時刻や、画像認識部４２１によってヘッドライトのオン・オフを認識することによって判定可能である。
　図６は、本実施形態に係る全体的に暗い撮像データに設定される枠の一例を示す説明図である。例えばトンネルなどのように全体が暗い場合には、広い範囲から輝度値を取得するために、枠の大きさを広げてもよい。撮像データが全体に暗いことは、枠内の画素の輝度平均値、所定値以上または所定値以下の輝度値を持つ画素の数などによって判断可能である。
　輝度値取得部４３は、枠の範囲内の撮像データの輝度値を取得する。より詳しくは、輝度値取得部４３は、枠の範囲内に含まれる画素ごとの輝度値を取得する。
　代表値算出部４４は、輝度値取得部４３によって取得された輝度値から代表値を算出する。例えば、代表値は、枠の範囲内の撮像データから取得された輝度値の中央値である。代表値は、輝度値の中央値に限られず、輝度値の最頻値または輝度値の各種平均値などでもよい。
　変換部４５は、撮像データ取得部４１が取得した撮像データをガンマ変換する。より詳しくは、変換部４５は、代表値算出部４４が算出した代表値に基づいて輝度値の上限値であるピーク輝度を設定して撮像データを正規化し、正規化した撮像データをピーク輝度に応じたハイブリッドログガンマ伝達関数によってガンマ変換する。ピーク輝度は、例えば代表値が小さくなるほど大きく設定されてもよい。
　本実施形態では、ピーク輝度は、１２以上４８以下の範囲で設定される。ピーク輝度が大きくなるほど、ＨＤＲのダイナミックレンジが広くなる。
　図７ないし図９を用いて、ピーク輝度に応じたハイブリッドログガンマ伝達関数を示すＨＬＧ曲線について説明する。図７は、ピーク輝度が１２である場合におけるＨＬＧ曲線を説明する図である。図７において、横軸はＳＤＲにおける基準白色の輝度レベルが１になるように正規化されたシーン輝度Ｅを表し、縦軸は横軸に対応する電気信号の信号レベルＥ´を表す。ハイブリッドログガンマ伝達関数は、ＳＤＲにおける白を基準の輝度１として、そのときのＨＤＲの信号が０．５となるように調整されている。
　図８は、ピーク輝度が４８である場合におけるＨＬＧ曲線を説明する図である。図８においても図７と同様に、横軸はＳＤＲにおける基準白色の輝度レベルが１になるように正規化されたシーン輝度Ｅを表し、縦軸は横軸に対応する電気信号の信号レベルＥ´を表す。
　図９は、正規化したシーン輝度Ｅと、正規化した電気信号の信号レベルＥ´との相関関係を示す図である。図９において、横軸はＥ／ｍａｘＥ、縦軸はＥ´／ｍａｘＥ´を表す。図９には、図７、図８の横軸と縦軸とを０以上１以下の範囲に正規化したＨＬＧ曲線を図示している。図９には図示していないが、ピーク輝度が１２以上４８以下の各値について、同様に正規化されたＨＬＧ曲線が得られる。このように、変換部４５がガンマ変換に使用するＨＬＧ曲線は、ピーク輝度に応じて異なる曲線を描く。
　変換部４５は、正規化されたＨＬＧ曲線のうち、代表値算出部４４が算出した代表値に応じたＨＬＧ曲線を使用して、撮像データを画像信号に変換して出力する。より詳しくは、変換部４５は、正規化した画像信号を、数式１に示すハイブリッドログガンマ伝達関数によって画像信号に変換する。Ｅは、シーン輝度であり、基準白色レベルで正規化したものとする。Ｅ′は、信号レベルである。γは、基準白色レベルに対応する信号レベルであり、γ＝０．５である。ａ、ｂ、ｃは定数であり、ＨＬＧ曲線ごとに定められる。例えば、ａ＝０．１７８８３２７７、ｂ＝０．２８４６６８９２、ｃ＝０．５５９９１０７３である。
Figure JPOXMLDOC01-appb-M000001
＜撮像制御装置４０における情報処理＞
　次に、図１０を用いて、撮像制御装置４０における処理の流れについて説明する。図１０は、本実施形態に係る撮像制御装置４０における処理の流れを示すフローチャートである。本実施形態では、車両用記録装置１０の起動中、カメラ２０は常時撮像して、図１０に示す処理を常時実行する。図１０に示す処理は、１フレームごとに実行してもよいし、数フレームごとまたは所定時間間隔などで実行してもよい。
　まず、撮像制御装置４０は、撮像データ取得部４１によって、カメラ２０が出力した撮像データを取得する（ステップＳ１）。撮像制御装置４０は、ステップＳ１の後、処理がステップＳ２に移行する。
　ステップＳ１の処理後に、撮像制御装置４０は、枠設定部４２によって、撮像データに所定の枠を設定する（ステップＳ２）。撮像制御装置４０は、枠設定部４２によって、カメラ２０からの撮像データに、所定の位置、形状及び大きさの枠を設定する。枠の位置、形状及び大きさは、撮像データにおいて輝度値を取得する範囲として適切になるように設定される。撮像制御装置４０は、ステップＳ２の後、処理がステップＳ３に移行する。
　ステップＳ２の処理後に、撮像制御装置４０は、輝度値取得部４３によって、枠の範囲内の撮像データの輝度値を取得する（ステップＳ３）。撮像制御装置４０は、ステップＳ３の後、処理がステップＳ４に移行する。
　ステップＳ３の処理後に、撮像制御装置４０は、代表値算出部４４によって、輝度値取得部４３が取得した輝度値から代表値を算出する（ステップＳ４）。撮像制御装置４０は、代表値算出部４４によって、例えば、枠の範囲内の撮像データから取得された輝度値の輝度値の中央値を代表値として算出する。撮像制御装置４０は、ステップＳ４の後、処理がステップＳ５に移行する。
　ステップＳ４の処理後に、撮像制御装置４０は、変換部４５によって、代表値に基づいて輝度の上限値を設定して撮像データを正規化する（ステップＳ５）。撮像制御装置４０は、ステップＳ５の後、処理がステップＳ６に移行する。
　ステップＳ５の処理後に、撮像制御装置４０は、変換部４５によって、ステップＳ５において設定されたピーク輝度に対応するハイブリッドログガンマ伝達関数を用いて、正規化した撮像データをガンマ変換して出力する（ステップＳ６）。撮像制御装置４０は、ステップＳ６の後、処理が終了される。
＜効果＞
　上述したように、本実施形態では、撮像データの輝度値に関する代表値に基づいて、撮像データのピーク輝度に応じたハイブリッドログガンマ伝達関数を用いて、撮像データをガンマ変換して画像信号を出力する。本実施形態によれば、撮像データに応じたハイブリッドログガンマ伝達関数を用いて、撮像データを変換することができる。本実施形態によれば、撮像データに合わせてダイナミックレンジを設定することができる。本実施形態によれば、ＨＬＧ方式のＨＤＲ画像における白飛びを、従来のＨＤＲ画像に比べてより抑制することができる。本実施形態によれば、出力データを高画質化することができる。
　本実施形態によれば、画像認識部４２１の認識結果に基づいて、撮像データごとに適した枠を設定することができる。本実施形態によれば、より適切に代表値を算出できるので、出力データを高画質化することができる。
　本実施形態は、車両の進行方向または進行方向とは逆方向の少なくともどちらかを撮像するように配置されたカメラ２０からの撮像データのいずれか一方に、所定の位置、形状及び大きさの枠を設定する。本実施形態によれば、車両の進行方向または進行方向とは逆方向の少なくともどちらかを撮像するように配置されたカメラ２０からの撮像データを認識して、撮像データに好ましい枠を設定できる。
　本実施形態では、枠設定部４２が設定する枠には、撮像データにおける車両の進行方向または進行方向とは逆方向の少なくともどちらかの路面を含む。本実施形態によれば、撮像データから路面を認識して、撮像データに路面を含む枠を設定できる。本実施形態によれば、ドライブレコーダに適した高画質な出力データを出力することができる。
　本実施形態では、撮像データから、太陽の有無及び太陽の位置、ヘッドライトによって照らされた部分、空、海及び河川、周辺の景色を認識して枠を設定する。本実施形態によれば、撮像データに応じて適切な枠を設定できる。本実施形態によれば、撮像データに応じて高画質な出力データを出力することができる。
［その他］
　図示した車両用記録装置１０の各構成要素は、機能概念的なものであり、必ずしも物理的に図示の如く構成されていなくてもよい。すなわち、各装置の具体的形態は、図示のものに限られず、各装置が実施する処理負担や使用状況などに応じて、その全部または一部を任意の単位で機能的または物理的に分散または統合してもよい。
　車両用記録装置１０の構成は、例えば、ソフトウェアとして、車両用記録装置１０内にて車両用記録装置１０を動作させる方法、または、メモリにロードされ、車両用記録装置１０を動作させるコンピュータが実行するプログラムなどによって実現される。上記実施形態では、これらのハードウェアまたはソフトウェアの連携によって実現される機能ブロックとして説明した。すなわち、これらの機能ブロックについては、ハードウェアのみ、ソフトウェアのみ、または、それらの組み合わせによって種々の形で実現できる。
　上記に記載した構成要素には、当業者が容易に想定できるものや、実質的に同一のものを含む。さらに、上記に記載した構成は、適宜組み合わせ可能である。また、本発明の要旨を逸脱しない範囲において構成の種々の省略、置換または変更が可能である。
　上記では、撮像システムとしてドライブレコーダなどの車両用記録装置１０に本開示が適用される例を説明しているがこれに限定されるものではない。撮像システムは、例えばビデオカメラ、スマートフォンあるいは放送用機材などにも適用可能である。
　本開示の撮像制御装置、撮像制御方法及びプログラムは、例えば、ドライブレコーダ、ビデオカメラ、スマートフォンあるいは放送用機材に使用することができる。
　１０　　車両用記録装置（撮像システム）
　２０　　カメラ（撮像部）
　４０　　撮像制御装置
　４１　　撮像データ取得部
　４２　　枠設定部
　４２１　画像認識部
　４３　　輝度値取得部
　４４　　代表値算出部
　４５　　変換部

Claims (5)

  1. 　撮像データを取得する撮像データ取得部と、
    　前記撮像データ取得部が取得した前記撮像データに画像上の所定の枠を設定する枠設定部と、
    　前記枠設定部が設定した前記枠の範囲内の撮像データを構成する画素の輝度値を取得する輝度値取得部と、
    　前記輝度値取得部が取得した前記輝度値から代表値を算出する代表値算出部と、
    　前記撮像データ取得部が取得した前記撮像データをガンマ変換する変換部と、
    　を備え、
    　前記変換部は、前記代表値算出部が算出した前記代表値に基づいて輝度値の上限値を設定して前記撮像データを正規化し、輝度値の上限値に応じたハイブリッドログガンマ伝達関数によって正規化した前記撮像データをガンマ変換する、
    　撮像制御装置。
  2. 　前記枠は、前記撮像データにおける車両の進行方向または進行方向とは逆方向の少なくともどちらかの路面を撮像した範囲を含むように設定される、
    　請求項１に記載の撮像制御装置。
  3. 　前記枠設定部は、画像認識部をさらに含み、
    　前記枠は、前記画像認識部による認識結果に基づいて、自車両または他車両のヘッドライトによって照らされた範囲を含まないように設定される、
    　請求項２に記載の撮像制御装置。
  4. 　撮像データを取得する撮像データ取得ステップと、
    　前記撮像データ取得ステップによって取得された前記撮像データに画像上の所定の枠を設定する枠設定ステップと、
    　前記枠設定ステップによって設定された前記枠の範囲内の撮像データを構成する画素の輝度値を取得する輝度値取得ステップと、
    　前記輝度値取得ステップによって取得された前記輝度値から代表値を算出する代表値算出ステップと、
    　前記撮像データ取得ステップによって取得された前記撮像データをガンマ変換する変換ステップと、
    　を含み、
    　前記変換ステップにおいては、前記代表値算出ステップによって算出された前記代表値に基づいて輝度値の上限値を設定して前記撮像データを正規化し、正規化した前記撮像データをハイブリッドログガンマ伝達関数によってガンマ変換する、
    　撮像制御方法。
  5. 　撮像データを取得する撮像データ取得ステップと、
    　前記撮像データ取得ステップによって取得された前記撮像データに画像上の所定の枠を設定する枠設定ステップと、
    　前記枠設定ステップによって設定された前記枠の範囲内の撮像データを構成する画素の輝度値を取得する輝度値取得ステップと、
    　前記輝度値取得ステップによって取得された前記輝度値から代表値を算出する代表値算出ステップと、
    　前記撮像データ取得ステップによって取得された前記撮像データをガンマ変換する変換ステップと、
    　を含み、
    　前記変換ステップにおいては、前記代表値算出ステップによって算出された前記代表値に基づいて輝度値の上限値を設定して前記撮像データを正規化し、正規化した前記撮像データをハイブリッドログガンマ伝達関数によってガンマ変換する、
    　ことを撮像制御装置として動作するコンピュータに実行させるプログラム。
PCT/JP2021/021514 2020-07-15 2021-06-07 撮像制御装置、撮像制御方法及びプログラム WO2022014199A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202180022949.XA CN115336252B (zh) 2020-07-15 2021-06-07 拍摄控制装置、拍摄控制方法及存储介质
EP21842359.8A EP4106319A4 (en) 2020-07-15 2021-06-07 IMAGING CONTROL APPARATUS, IMAGING CONTROL METHOD AND PROGRAM
US17/944,233 US20230007187A1 (en) 2020-07-15 2022-09-14 Imaging control device, imaging control method, and non-transitory computer readable recording medium

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020121277A JP2022018276A (ja) 2020-07-15 2020-07-15 撮像制御装置、撮像制御方法及びプログラム
JP2020-121277 2020-07-15

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/944,233 Continuation US20230007187A1 (en) 2020-07-15 2022-09-14 Imaging control device, imaging control method, and non-transitory computer readable recording medium

Publications (1)

Publication Number Publication Date
WO2022014199A1 true WO2022014199A1 (ja) 2022-01-20

Family

ID=79555157

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/021514 WO2022014199A1 (ja) 2020-07-15 2021-06-07 撮像制御装置、撮像制御方法及びプログラム

Country Status (5)

Country Link
US (1) US20230007187A1 (ja)
EP (1) EP4106319A4 (ja)
JP (1) JP2022018276A (ja)
CN (1) CN115336252B (ja)
WO (1) WO2022014199A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018180843A1 (ja) * 2017-03-29 2018-10-04 シャープ株式会社 表示装置
JP2019071568A (ja) 2017-10-10 2019-05-09 キヤノン株式会社 画像処理装置及び画像処理方法、プログラム、記憶媒体
JP2019101241A (ja) 2017-12-01 2019-06-24 日本放送協会 信号処理装置

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2645859B2 (ja) * 1988-05-20 1997-08-25 三洋電機株式会社 撮像装置
JP3976095B2 (ja) * 2004-05-27 2007-09-12 株式会社ナナオ 液晶表示装置のガンマ値取得方法及びそれを実現するガンマ値取得システム並びにそのガンマ値取得コンピュータとそれに用いられるプログラム
JP4717720B2 (ja) * 2006-06-05 2011-07-06 富士フイルム株式会社 画像処理装置および方法並びにプログラム
JP5195395B2 (ja) * 2008-12-19 2013-05-08 株式会社リコー 画像処理装置、画像処理方法、画像処理プログラム及び記録媒体
KR101329966B1 (ko) * 2009-09-22 2013-11-20 엘지디스플레이 주식회사 유기 발광 다이오드 표시 장치의 휘도 제어 장치 및 방법
JP2014235209A (ja) * 2013-05-31 2014-12-15 シャープ株式会社 ガンマ調整方法及び表示装置
CN103630496B (zh) * 2013-12-12 2015-09-30 南京大学 基于路面视亮度和最小二乘法的交通视频能见度检测方法
JP6278736B2 (ja) * 2014-02-26 2018-02-14 キヤノン株式会社 画像処理装置、画像処理方法、制御プログラム、および記録媒体
JP6282156B2 (ja) * 2014-03-31 2018-02-21 キヤノン株式会社 画像装置、画像処理方法、制御プログラム及び記憶媒体
JP6365355B2 (ja) * 2015-03-09 2018-08-01 オムロン株式会社 画像生成装置および画像生成方法
JP7045916B2 (ja) * 2018-04-20 2022-04-01 日本放送協会 映像輝度変換装置およびそのプログラム
CN109146822A (zh) * 2018-09-05 2019-01-04 成都索贝数码科技股份有限公司 一种利用sdr显示设备模拟hdr监视器的方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018180843A1 (ja) * 2017-03-29 2018-10-04 シャープ株式会社 表示装置
JP2019071568A (ja) 2017-10-10 2019-05-09 キヤノン株式会社 画像処理装置及び画像処理方法、プログラム、記憶媒体
JP2019101241A (ja) 2017-12-01 2019-06-24 日本放送協会 信号処理装置

Also Published As

Publication number Publication date
CN115336252A (zh) 2022-11-11
CN115336252B (zh) 2023-07-25
EP4106319A1 (en) 2022-12-21
JP2022018276A (ja) 2022-01-27
US20230007187A1 (en) 2023-01-05
EP4106319A4 (en) 2023-10-18

Similar Documents

Publication Publication Date Title
US8363131B2 (en) Apparatus and method for local contrast enhanced tone mapping
US10021313B1 (en) Image adjustment techniques for multiple-frame images
KR101367637B1 (ko) 감시장치
JP2013098805A (ja) 画像処理装置、撮像装置および画像処理プログラム
JP4089911B2 (ja) 画像入力装置
JP2009177250A (ja) 車載用画像認識装置、車両状況判定装置および車載用画像認識方法
US20030210345A1 (en) Image pickup device and method for capturing subject with wide range of brightness
JP5569359B2 (ja) 撮像制御装置、撮像装置、及び撮像装置の制御方法
JP4985660B2 (ja) 擬似濃淡画像生成装置及びプログラム
WO2010089836A1 (ja) 画像処理装置
JP2013223152A (ja) 撮像装置
US7639287B2 (en) Video imaging apparatus having non-linear input-output characteristic for improved image contrast control
JP7340772B2 (ja) 撮像装置、および、画像調整方法
WO2022014199A1 (ja) 撮像制御装置、撮像制御方法及びプログラム
US10063827B2 (en) Image processing apparatus, imaging apparatus, image processing program, and image processing method
US9129406B2 (en) Image processing method
JP2006157599A (ja) 撮像装置
US20230128031A1 (en) Solid-state imaging apparatus
JP2010119035A (ja) 撮像装置
JP2008277921A (ja) 撮像装置およびこれを備えた移動体
JP2006295581A (ja) 撮影システム、および映像信号処理プログラム
US20230247284A1 (en) Camera system, movable apparatus, camera system control method, and storage medium
JPH09311927A (ja) 駐車車両検出装置及び駐車車両検出方法
JPH1011581A (ja) 駐車車両検出方法及び装置
JP4145967B2 (ja) 駐車車両検出方法及びその装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21842359

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021842359

Country of ref document: EP

Effective date: 20220916

NENP Non-entry into the national phase

Ref country code: DE