WO2007029454A1 - 風景解析装置及び方法 - Google Patents

風景解析装置及び方法 Download PDF

Info

Publication number
WO2007029454A1
WO2007029454A1 PCT/JP2006/316023 JP2006316023W WO2007029454A1 WO 2007029454 A1 WO2007029454 A1 WO 2007029454A1 JP 2006316023 W JP2006316023 W JP 2006316023W WO 2007029454 A1 WO2007029454 A1 WO 2007029454A1
Authority
WO
WIPO (PCT)
Prior art keywords
landscape
image
sky
determined
piece
Prior art date
Application number
PCT/JP2006/316023
Other languages
English (en)
French (fr)
Inventor
Ryujiro Fujita
Original Assignee
Pioneer Corporation
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Pioneer Corporation filed Critical Pioneer Corporation
Priority to EP06796413A priority Critical patent/EP1939809A4/en
Priority to JP2007534295A priority patent/JP4717073B2/ja
Publication of WO2007029454A1 publication Critical patent/WO2007029454A1/ja

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/579—Depth or shape recovery from multiple images from motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Definitions

  • the present invention provides a landscape analysis apparatus and method for determining features of a landscape included in an image by analyzing an image taken by, for example, a camera mounted on an automobile, and these functions.
  • the present invention relates to the technical field of computer programs to be realized.
  • Patent Document 1 Japanese Unexamined Patent Publication No. 2003-198904
  • Patent Document 1 it is necessary to register position information of recommended points suitable for photographing in advance.
  • the present invention has been made in view of, for example, the above-described problems.
  • a landscape analysis apparatus and method for analyzing an image by an in-vehicle camera and determining a feature of a landscape included in the image and these The problem is to provide a computer program that realizes these functions.
  • the landscape analysis apparatus of the present invention acquires a plurality of landscape images.
  • Scenery image acquisition means for performing image division means for dividing each of the plurality of landscape images into a plurality of image pieces, and distant view determination means for determining whether a part of the landscape corresponding to the landscape image is a distant view With.
  • a landscape image, an object, or a set of objects is mounted by a landscape image acquisition means including, for example, a camera mounted on a moving body and directed in the moving direction.
  • a landscape image is acquired by photographing a landscape such as a body.
  • a monocular camera when used, a plurality of landscape images are acquired by taking images intermittently at fixed or fixed time intervals, in other words, by shooting in time series.
  • a compound camera that is, a stereo camera (in other words, a plurality of cameras)
  • a plurality of images are acquired, one at a time by each camera. At least two landscape images need to be acquired.
  • the landscape image acquisition means “acquires a plurality of landscape images” means that the scenery that changes from moment to moment according to the change in position as viewed from one landscape image acquisition means whose position changes.
  • acquiring multiple landscape images or by acquiring two or more landscape image acquisition means with fixed positions. This includes the case of acquiring landscape images.
  • each of the acquired plurality of landscape images is divided into a plurality of image pieces, and image piece data corresponding to each of the plurality of image pieces is stored in a storage medium such as a node disk, for example.
  • a storage medium such as a node disk
  • the size of the image piece is preferably about 30 X 30 pixels.
  • the size of the image piece is preferably determined in consideration of the accuracy and processing speed of the feature determination means. Also, depending on the relationship between the size of the landscape image and the size of the image fragment, it may not be possible to divide the entire landscape image into uniform image fragments. In this case, you can exclude the target power of the image segmentation means at the edge of the landscape image! /.
  • the distant view determination means determines whether or not a part of the landscape corresponding to each of the plurality of image pieces is a distant view.
  • the “distant view” refers to a landscape corresponding to an arbitrary subject part when the distance to an arbitrary subject part constituting the landscape is located farther than a predetermined distance. Mean part.
  • the predetermined distance is set in advance. It may be a fixed distance, or a distance that can be variably set according to the type of landscape, the preference of the operator, and the like.
  • the distant view determination means may be a relative distance between a part of the scenery corresponding to each image piece and the scenery image acquisition means (that is, a part of the scenery corresponding to a plurality of pixels included in each image piece and the scenery). If the average distance from the image acquisition means is greater than the specified value, the part of the landscape corresponding to the image fragment is distant (i.e., distant from the sky, sea, mountains, etc.). If the relative distance is smaller than the predetermined value, a part of the landscape corresponding to the image fragment is a close view (i.e., near a road, a preceding vehicle, etc.) (Landscape). It is also possible to define a landscape with one or more intermediate distances between the distant view and the close view.
  • the landscape analysis device further includes a distance calculation unit that calculates a distance to a part of the landscape corresponding to each of the plurality of image pieces. Based on the calculated distance, it is determined whether or not a part of the landscape is a distant view.
  • the distance to the part of the landscape corresponding to each of the plurality of image pieces is calculated by the distance calculation means.
  • the relative distance between a part of the scenery corresponding to each of the plurality of image pieces and the landscape image acquisition unit is calculated.
  • each of a plurality of image pieces from a reference position having a predetermined positional relationship with respect to the landscape image acquisition means for example, a specific location of the landscape analysis apparatus or a specific location of a vehicle body on which the landscape analysis device is mounted.
  • the distance to the part of the landscape corresponding to is calculated. For example, when a monocular camera is used, first, the optical flow between two landscape images acquired in chronological order is calculated.
  • a relative distance between a part of the landscape corresponding to a plurality of pixels included in each image piece and the landscape image acquisition unit is calculated.
  • the average value of the relative distances between a part of the landscape corresponding to a plurality of pixels included in each image piece and the scenery image acquisition means is obtained as a part of the landscape corresponding to each image piece and the scenery image acquisition. Calculated as the relative distance to the means.
  • calculating the relative distance between a part of the landscape and the landscape image acquisition means For example, when a part of the landscape is much larger than a part of another landscape, for example, when it corresponds to the sky, it may be calculated as infinite.
  • the distant view determination means determines whether or not the force is that a part of the landscape is a distant view.
  • the distant view determination means indicates that a part of the landscape corresponding to the image piece is a distant view, and the calculated relative distance is greater than the predetermined value. If it is smaller, it is determined that a part of the landscape corresponding to the image fragment is a foreground. Therefore, it is possible to more reliably determine which part of the landscape corresponding to the landscape image is a distant view and which part is a close view.
  • the part of the landscape is less than the sky, the sea, the mountains, and the night view. It further includes feature determining means for determining whether or not the force falls under at least one.
  • the feature determination unit converts the part of the landscape into at least one of the sky, the sea, the mountains, and the night view. It is determined whether this is the case. Preferably, it is determined whether a part of the landscape is one of the sky, the sea, the mountains, and the night view. Therefore, for example, by setting at least one landscape among the sky, sea, mountains, and night view in advance, it can be used for distant views such as the sky, ocean, mountains, and night view set in advance while the vehicle is running. You can automatically save the scenery image you want to save. Alternatively, for example, the music and video in the vehicle can be switched to music and video according to the sky, sea, mountains, or night view.
  • the feature determination unit includes, among the plurality of image pieces, an image piece positioned above the landscape image in the image piece positioned above the landscape image. It may be configured to include sky determination means for determining whether or not a part of the landscape is empty from a variance value of brightness of a plurality of pixels.
  • the sky determination means uses a plurality of image pieces included in each image piece for an image piece located above the landscape image, typically in the upper half of the plurality of image pieces.
  • a variance of elementary brightness ie luminance
  • this color information is color information of color system using hue, saturation and brightness as parameters, for example, HLS The color information of the system Converted.
  • the sky determination means has a variance value of all brightness values of one image piece to be determined and eight image pieces positioned in the vicinity thereof (that is, image pieces in the vicinity of 8) equal to or less than a predetermined value (for example, 10). In this case, it is determined that a part of the landscape corresponding to the image piece is empty, and one image piece to be judged and eight image pieces (that is, eight neighboring image pieces) located around the image piece If one of the brightness variance values is greater than a predetermined value (for example, 10), it is determined that a part of the landscape corresponding to the image piece is not empty.
  • a predetermined value for example, 10
  • a sky pattern such as a blue sky, a white cloud, a black cloud, a sunset sky, or a night sky. It becomes possible.
  • the feature determination unit may calculate an average of a plurality of pixels included in the image piece determined to be empty for the image piece determined to be empty. Based on the hue and the average saturation, it may be configured to include sea judgment means for judging whether or not a part of the landscape is the sea.
  • an image piece that has been determined not to be empty by the sea determination means is based on the average hue and average saturation of a plurality of pixels included in the image piece determined to be empty. It is determined whether a part of the landscape is a sea or not.
  • the sea determination means includes an average hue (or color tone) of a plurality of pixels included in an image piece that is not determined to be sky as an average hue of a plurality of pixels included in an image piece that is determined to be sky.
  • the average brightness of a plurality of pixels included in an image piece that is within a predetermined range and is not determined to be empty is equal to or less than the average brightness of a plurality of pixels included in an image piece that is determined to be empty. Therefore, the color of the sea reflects the color of the sky and becomes a dark color that resembles the color of the sky. It can be determined whether or not. Therefore, it is possible to accurately determine whether or not a part of the landscape is the sea.
  • the feature determination unit may perform color processing for each of the image pieces adjacent to the image piece determined to be empty among the image pieces determined to be empty.
  • the boundary between sky and non-sky landscape By analyzing the nature of It may be configured to include a mountain determination means for determining whether or not a mountain is included in the scene! / ⁇ .
  • the color determination is first performed on the image pieces adjacent to the image piece determined to be empty among the image pieces determined to be empty by the mountain determination unit. Is done.
  • the pixels that are determined to be the sky color are more than a certain ratio, and the pixels that are not determined to be the sky color are less than a certain ratio. It is determined that there is a high possibility that the image piece includes a ridgeline.
  • “determined as a sky color” refers to determining that the hue, brightness, and saturation of a pixel are included in the range of hue, brightness, and saturation in the above-described sky determination unit.
  • the feature determination unit is configured to distinguish a plurality of image pieces by performing binary binarization of pixels with respect to a predetermined value of brightness for each of the plurality of image pieces. Based on the number of the pixel groups that are distinguished to be higher than the reference among the pixel groups, it is configured to include a night scene determination unit that determines whether or not a part of the landscape is a night scene. Hey.
  • the night scene determination unit first binarizes each of the plurality of image pieces based on, for example, a predetermined value of brightness (that is, luminance). Accordingly, a pixel group in which a plurality of pixels having a lightness higher than a predetermined value are adjacent to each other from a plurality of pixels included in one image piece (a lightness higher than a predetermined value adjacent to a pixel having a lightness of a predetermined value or less) Including one pixel). For example, as many white particles exist on a black background, pixels of one image piece are scattered with higher brightness than the surroundings! /. Next, the number of pixel groups in which a plurality of pixels having brightness higher than a predetermined value are adjacent is calculated.
  • the image piece may contain a night view.
  • a predetermined value for example, 10
  • the “night scene” means a night scene that includes a lot of light such as buildings, residential areas, and cars.
  • the night view is included
  • the landscape is determined to include a night view. Therefore, it is possible to determine whether a part of the landscape is a night scene, reflecting the characteristic that the night scene often includes more light spots with higher brightness than the surrounding area. Therefore, it is possible to accurately determine whether or not a part of the landscape is a night scene.
  • the night view level or degree! / May be determined based on the number of image pieces that have been determined to include a night view and are likely to be!
  • the processing speed can be improved by limiting the image pieces that are the targets of the night view determination means to only the image pieces that have been determined to be a distant view by the above-mentioned distant view determination means. Furthermore, it may be limited to the case where there are more than a certain number (for example, 10) of image pieces determined as night sky by the above-described sky determination means.
  • the image processing apparatus may further include a landscape image storage unit that stores the landscape image in accordance with a feature determination result by the feature determination unit.
  • the landscape image storage unit determines, for example, a landscape image including the sea and mountains, for example, as a feature determination result by the feature determination unit
  • the landscape image is stored, for example. Store in the storage area of the device. Therefore, for example, a landscape image that satisfies a predetermined condition by a user or factory default setting can be automatically saved.
  • the sky determination unit may be configured to determine a part of the sky pattern of the scenery determined to be empty.
  • the sky determination unit determines, for example, the sky pattern for each image piece based on the average value of hue, lightness, and saturation for the image piece determined to be empty! To do. That is, the sky determination means determines the sky pattern, for example, based on whether or not the average value of the hue, lightness, and saturation of the image piece to be determined satisfies a predetermined determination condition. As the sky pattern of the image piece, for example, “blue sky”, “white cloud”, “black cloud”, “sunset”, “night” and the like are set. After determining the sky pattern for each image piece, for example, the sky determination means counts the number of each sky pattern image piece, and the largest number of sky patterns among the number of each sky image piece is the sky pattern of the landscape image.
  • the number of image fragments determined to be “blue sky” is greater than any of the image fragments determined to be other sky patterns such as “white clouds”, “black clouds”, “sunset”, “night”, etc. Many In this case, it is determined that the sky pattern of the landscape image is “blue sky”. Therefore, it is possible to accurately determine a part of the sky in the landscape.
  • a landscape analysis method of the present invention includes a landscape image acquisition step of acquiring a plurality of landscape images, an image division step of dividing each of the plurality of landscape images into a plurality of image pieces, A distant view determination step of determining whether or not a part of the landscape corresponding to each of the plurality of image pieces is a distant view out of the landscape corresponding to the landscape image.
  • the landscape analysis method of the present invention can also adopt various aspects.
  • the computer program of the present invention causes a computer to function as the above-described landscape analysis apparatus of the present invention.
  • the computer program of the present invention if the computer program is read from an information recording medium such as a ROM, CD-ROM, DVD-ROM, and hard disk storing the computer program and executed, Alternatively, if the computer program is downloaded to a computer via communication means and then executed, the above-described landscape analysis apparatus of the present invention can be realized relatively easily.
  • the computer program of the present invention can also adopt various aspects in response to the various aspects of the landscape analysis apparatus of the present invention described above.
  • a computer program product in a computer-readable medium clearly embodies program instructions executable by a computer, and the computer is the above-described scene of the present invention. It functions as an analyzer (however, including its various aspects).
  • the computer program product of the present invention from a recording medium such as a ROM, CD-ROM, DVD-ROM, or hard disk storing the computer program product, If the computer program product is read into a computer or the computer program product, which is a transmission wave, for example, is downloaded to the computer via communication means, the above-described landscape analysis apparatus of the present invention can be relatively easily obtained. Can be implemented. More specifically, the computer program product may be configured with computer-readable code (or computer-readable instructions) that functions as the landscape analysis apparatus of the present invention described above.
  • the landscape analysis apparatus of the present invention includes landscape image acquisition means, image segmentation means, distance calculation means, and distant view determination means, so in any part of the distant view of the landscape corresponding to the landscape image. Yes, it is possible to determine which part is a foreground. According to the aspect further including the feature determination means described above, it is possible to determine whether or not a part of the landscape corresponds to at least one of the sky, the sea, the mountains, and the night view.
  • landscape images corresponding to distant views such as sky, sea, mountains, and night views set in advance while the vehicle is running can be automatically maintained. Can exist.
  • the music or video in the car can be switched to music or video according to the sky, sea, mountain or night view.
  • the landscape analysis method of the present invention includes a landscape image acquisition process, an image segmentation process, a distance calculation process, and a distant view determination process, it is possible to enjoy various benefits of the landscape analysis apparatus of the present invention.
  • the computer program of the present invention causes a computer to function as the landscape analysis apparatus of the present invention, the landscape analysis apparatus of the present invention can be realized relatively simply by reading the computer program into a computer and executing it.
  • FIG. 1 is a block diagram showing a structure of a landscape analysis apparatus according to a first embodiment.
  • FIG. 2 is a flowchart showing the operation of the landscape analysis apparatus according to the first embodiment.
  • FIG. 3 is a flowchart showing details of landscape image acquisition processing.
  • FIG. 4 is an explanatory diagram showing a landscape image corresponding to the landscape image data.
  • FIG. 5 is an explanatory diagram showing a state in which the image in FIG. 4 is divided into image pieces.
  • FIG. 6 is a flowchart showing details of distance calculation processing.
  • FIG. 7 is an explanatory diagram showing a result of performing a distance calculation process on the image in FIG.
  • FIG. 8 is an explanatory diagram showing a result of performing a distant view determination process on the image in FIG.
  • FIG. 9 is a flowchart showing the contents of feature determination processing.
  • FIG. 10 is a flowchart showing details of empty determination processing.
  • FIG. 11 is a flowchart showing the contents of sea determination processing.
  • FIG. 12 is an explanatory diagram for explaining the result of the mountain determination process performed on the image in FIG. 5.
  • FIG. 13 is an explanatory diagram for explaining the result of performing night scene determination processing on an image fragment. Explanation of symbols
  • FIG. 1 is a block diagram showing the structure of the landscape analysis apparatus according to the first embodiment.
  • a landscape analysis apparatus 1 includes a camera 11, an input unit 12, an obstacle recognition unit 13, an image division unit 14, a distance calculation unit 15, a distant view determination unit 16, a sky determination unit 17, a sea determination unit 18 A mountain determination unit 19, a night view determination unit 20, a storage device 21, a control unit 22, an information input unit 23, and an information display unit 24.
  • the camera 11, the input unit 12, and the obstacle recognizing unit 13 are each an example of part of the “landscape image acquisition means” according to the present invention.
  • the camera 11, the input unit 12, and the obstacle recognizing unit 13 are A part of “landscape image acquisition means” is formed as a unit.
  • the landscape analysis apparatus 1 is preferably mounted on a moving body.
  • the landscape analysis apparatus 1 may be incorporated in a car navigation system and installed in a vehicle.
  • only the camera among the components of the landscape analysis apparatus 1 may be attached to the moving body, and a structure including the other components may be installed in a room of a company, laboratory, observation station, or home. In this case, the camera is connected to a structure installed in the room and the camera.
  • the camera 11 captures, for example, a landscape such as a landscape, an object, or an object aggregate that exists in front of the moving body in the traveling direction.
  • the camera 11 is preferably attached to the front of the moving body so that the front of the moving body can be photographed.
  • the camera 11 may be mounted near the front bumper or near the windshield of an automobile.
  • the camera 11 may be a digital camera or an analog camera.
  • the camera 11 may be a camera for taking a picture (still image) or a camera for taking a video (moving picture), that is, a video camera. In either case, the camera 11 is a camera capable of continuous shooting or continuous shooting.
  • the camera 11 may be a compound eye camera, that is, a stereo camera (in other words, a plurality of cameras).
  • the input unit 12 generates image data based on still image data or moving image data output from the camera 11.
  • the input unit 12 includes, for example, an input interface circuit, a control device for image processing, an arithmetic device, and the like. Note that the input section 12 has an external input terminal.
  • the device 25 may be provided so that an image input device other than the camera 11 can be connected, and image data can be generated based on still image data or moving image data output from the image input device other than the camera 11. Good.
  • a D / A converter digital / analog converter
  • the obstacle recognizing unit 13 recognizes that an obstacle approaches the camera 11 and that the scenery to be photographed and the camera 11 are blocked by the obstacle.
  • the image dividing unit 14 divides an image corresponding to image data into a plurality of image pieces.
  • the distance calculating unit 15 calculates the distance between a part of the landscape included in each image piece divided by the image dividing unit 14 and the camera 11 (more precisely, a reference point in the camera 11).
  • the distance calculated here is a relative distance between parts of the landscape included in the image piece, and does not have to be an absolute distance between the part of the landscape and the camera 11. That is, it is only necessary to know which part of the landscape included in the image piece is relatively far or near.
  • the image corresponds to a part of the landscape in each image piece divided from the image corresponding to the image data. “Part of the landscape” has this meaning.
  • the distant view determination unit 16 determines whether a part of the landscape is a distant view based on the calculated distance.
  • the sky determination unit 17 determines whether or not the landscape included in the landscape image includes the sky.
  • the sea determination unit 18 determines whether the scenery included in the landscape image includes a sea.
  • the mountain determination unit 19 determines whether or not the landscape included in the landscape image includes a mountain.
  • the night scene determination unit 20 determines whether a night scene is included in the landscape included in the landscape image.
  • Each of the sky determination unit 17, the sea determination unit 18, the mountain determination unit 19, and the night view determination unit 20 is an example of a part of the “feature determination unit” according to the present invention.
  • the obstacle recognition unit 13, the image division unit 14, the distance calculation unit 15, the distant view determination unit 16, the sky determination unit 17, the sea determination unit 18, the mountain determination unit 19 and the night view determination unit 20 are, for example, a central processing unit. It consists of a multiprocessor or a microcomputer.
  • the storage device 21 includes a work area for performing processing by each component of the landscape analysis device 1. This work area includes, for example, image data extraction processing by the input unit 12, obstacle recognition processing by the obstacle recognition unit 13, image division processing by the image division unit 14, distance calculation processing by the distance calculation unit 15, and distant view determination.
  • the storage device 21 has a data storage area. In the data storage area, the sky determination condition information for use in the sky determination process by the sky determination unit 17 and the sea determination condition information for use in the sea determination process by the sea determination unit 18 are stored.
  • the control unit 17 controls the operation of each component of the landscape analysis apparatus 1.
  • the information input unit 18 enables input of sky determination condition information and the like for use in the sky determination processing by the sky determination unit 17 from the outside.
  • the information display unit 19 displays the result of the sky determination process by the sky determination unit 17 and the like.
  • FIG. 2 is a flowchart showing the operation of the landscape analysis apparatus according to the first embodiment.
  • step S1 As shown in Fig. 2, in the landscape analysis apparatus 1, a series of operations from step S1 to step S7 are performed as described below.
  • FIG. 3 is a flowchart showing the contents of the landscape image acquisition process
  • FIG. 4 is an explanatory diagram showing a landscape image corresponding to the landscape image data.
  • the landscape analysis apparatus 1 first performs landscape image acquisition processing (step Sl).
  • the landscape image acquisition process is mainly a process of taking a landscape (that is, a landscape or the like) with the camera 11 and storing landscape image data obtained by encoding a landscape image including the landscape to be photographed.
  • step S1 1 force Step SI 3 series of operations are performed.
  • the landscape analysis apparatus 1 first captures a landscape with the camera 11 (step Sl l). That is, the power camera 11 captures a scene that exists in front of the moving body in the traveling direction, and outputs still image data or moving picture data obtained by encoding the image of the scene to the input unit 12.
  • the input unit 12 acquires still image data or moving image data output from the camera 11 and generates image data based on the still image data or moving image data. That is, when the data output from the camera 11 is still image data, the input unit 12 acquires the still image data and outputs this as landscape image data to the work area of the storage device 21.
  • the input unit 12 acquires the moving image data, extracts one frame of data from the moving image data, and extracts this as landscape image data. To the work area of the storage device 21.
  • photographing of a landscape by the camera 11 is performed every predetermined moving distance (for example, 50 m) or predetermined moving time (for example, 5 seconds) of the moving body in principle.
  • predetermined moving distance for example, 50 m
  • predetermined moving time for example, 5 seconds
  • the camera 11 is a camera for taking pictures
  • the shutter is cut at predetermined intervals.
  • shooting by the camera 11 is continuously performed while the moving body is moving. Then, one frame of data is extracted by the input unit 12 at predetermined intervals from the moving image data obtained in this way.
  • An image 51 in FIG. 4 shows an example of a landscape image corresponding to the landscape image data.
  • the landscape analysis apparatus 1 stores the landscape image data obtained by the shooting in the work area of the storage device 21 (step S 12).
  • the landscape analysis apparatus 1 determines whether or not the landscape has been properly captured by the camera 11, that is, whether or not the landscape image is appropriately included in the landscape image corresponding to the landscape image data. To do. This determination is made by the obstacle recognition unit 13. In other words, the obstacle recognizing unit 13 recognizes whether an obstacle approaches the camera 11 and the camera 11 is obstructed between the scenery (that is, the landscape) to be photographed and the camera 11 ( Step S13). Specifically, the failure recognition unit 13 checks the color of the landscape image corresponding to the landscape image data, identifies an object included in the landscape image, and checks the proportion of the object in the landscape image.
  • the obstacle recognition unit 13 approaches the camera 11 so that the obstacle is close to the camera 11 while the obstacle is approaching. Recognize that it is blocked by the obstacle. For example, when a car equipped with the camera 11 is running immediately after a bus or truck, the forward view of the car in the direction of travel is blocked by the rear surface of the bus or truck. When shooting in such a situation, the rear surface of the bus or truck is fully captured in the landscape image corresponding to the landscape image data. In such a case, the obstacle recognizing unit 13 recognizes that the obstacle is approaching the camera 11 and that the scenery and the camera 11 to be photographed are blocked by the obstacle.
  • step S13 When the obstacle between the scenery to be photographed and the camera 11 is blocked by the obstacle (step S13: YES), the landscape analyzer 1 again takes pictures of the scenery and the like.
  • the landscape image data obtained by this shooting is stored in the work area of the storage device 21 as landscape image data instead of the landscape image data obtained by the previous shooting.
  • step S13 NO
  • position information indicating the shooting position of the camera 11, time information indicating the shooting date and time, and the like may be stored in association with the landscape image data.
  • FIG. 5 is an explanatory diagram showing a state in which the image in FIG. 4 is divided into image pieces.
  • the landscape analysis apparatus 1 performs image segmentation processing following the landscape image acquisition processing (step S2).
  • the image division process is a process of dividing a landscape image corresponding to the landscape image data acquired by the landscape image acquisition process into a plurality of image pieces.
  • the image dividing process is performed by the image dividing unit 14. That is, the image dividing unit 14 divides the landscape image corresponding to the landscape image data stored in the work area of the storage device 21 into a plurality of image pieces, and the image piece data corresponding to each image piece is stored in the work of the storage device 21. Store in the area.
  • the size of the image piece is preferably about 30 X 30 pixels.
  • the size of the image piece is preferably determined in consideration of the accuracy and processing speed of distance calculation processing, sky determination processing, sea determination processing, mountain determination processing, night scene determination processing, and the like.
  • An image 52 in FIG. 5 shows a state in which the image 51 in FIG. 4 is divided into a plurality of image pieces 53, 53,.
  • FIG. 6 is a flowchart showing the content of the distance calculation process
  • FIG. 7 is an explanatory diagram showing the result of the distance calculation process performed on the image in FIG.
  • the landscape analysis apparatus 1 performs a distance calculation process following the image division process (step S3).
  • the distance calculation process is a process of calculating the distance between a part of the landscape corresponding to each image side divided by the image division process and the camera 11.
  • the distance calculation process is performed by the distance calculation unit 15.
  • step S21 force to step S23 is performed in the distance calculation processing.
  • the distance calculation unit 15 first detects a feature point for each image piece of two landscape images photographed one after the other (step S21). That is, for two landscape images continuous in time series, a point (in other words, a pixel) that meets a predetermined condition is detected as a feature point from a part of the landscape included in each image fragment. . Note that multiple or one feature point is detected for each image piece.
  • an optical flow is also calculated for the detected feature point force (step S22).
  • the optical flow is calculated by obtaining the change (that is, the vector) of the feature point detected for each image piece for two landscape images taken before and after.
  • the average distance of each image piece is calculated (step S23). That is, the distance between the camera 11 and the plurality of feature points is calculated from a plurality of vectors (that is, optical flows) respectively corresponding to the plurality of feature points detected for each image piece. The calculated distance is averaged to calculate the average distance of each image piece. It should be noted that the average distance between the image pieces calculated in this way is only required to recognize a relative difference between the image pieces. Treat as infinity.
  • an image 54 shows the result of the distance calculation process performed on the image 52 in FIG.
  • each image piece is represented in multiple stages such as white, gray, black, etc., and the brighter (i.e., closer to white), the smaller the average distance, the darker V ⁇ (ie, closer to black) indicates that the average distance is larger.
  • the parallax displacement force for two landscape images taken simultaneously from different positions may also be calculated as the average distance of each image piece.
  • FIG. 8 is an explanatory diagram showing the result of performing a distant view determination process on the image in FIG.
  • the landscape analysis apparatus 1 performs a distant view determination process following the distance calculation process (step S4).
  • the distant view determination process is a process of determining whether or not a part of the landscape included in each image piece is a distant view based on the average distance of each image piece calculated by the distance calculation process.
  • the distant view determination process is performed by the distant view determination unit 16.
  • a part of the landscape corresponding to the image piece is a distant view ( That is, for example, when the average distance of each image fragment is smaller than a preset threshold value, a part of the landscape corresponding to the image fragment is a near view. (That is, for example, it is determined that the road is close to a road, a preceding vehicle, etc.). Subsequently, the number of image pieces determined to be a distant view among a plurality of image pieces in the landscape image is counted.
  • step S4 NO
  • the operation from step SI is performed again.
  • an image 55 shows the result of performing a far-field determination process on the image 54 in FIG.
  • the image piece determined to be a distant view is displayed and is represented by a color such as gray or black.
  • An image piece determined to be a foreground corresponds to a non-displayed portion (ie, a white portion). In this way, it is possible to determine which part of the landscape corresponding to the landscape image is a distant view and which part is a foreground by the distant view determination process. (Feature judgment processing)
  • FIG. 9 is a flowchart showing the contents of the feature determination process.
  • step S4 when the number of image pieces determined to be a distant view by the distant view determination process is equal to or greater than a predetermined number (step S4: YES), the landscape analysis apparatus 1 subsequently performs the feature determination process. Perform (Step S5). Only the image piece determined to be a distant view is the target of the feature determination process.
  • step S31 to step S34 are performed in the feature determination process as described below. Note that the processing from step 32 to step 34 is not limited to the order shown in FIG. 9, and may be performed in any order.
  • FIG. 10 is a flowchart showing the contents of the empty determination process.
  • the landscape analysis apparatus 1 first performs sky determination processing (step S31).
  • Sky determination processing is processing for determining whether a part of the landscape corresponding to each image piece is empty.
  • the sky determination process is performed by the sky determination unit 17.
  • step S41 to step S48 are performed in the sky determination process.
  • the sky determination unit 17 calculates an average value and a variance value of the hue H, lightness L, and saturation S of a plurality of pixels included in each image piece (step S41).
  • the calculated average value and variance value are stored in the work area of the storage device 21.
  • the average value for all pixels of one image piece to be judged and its eight neighboring image pieces that is, eight image pieces located around one image piece to be judged
  • the work area force of the storage device 21 is also read out from the variance value (step S42).
  • the image piece to be determined is, for example, an image piece located above the landscape image, typically in the upper half. A series of operations from step S42 to step S45 is repeated for each image piece to be judged.
  • the color information of the image piece data corresponding to the image piece is RGB color information
  • the color information is converted into color information of the color system using hue, saturation, and lightness (that is, luminance) as parameters, for example, HLS color information.
  • the sky determination unit 17 determines whether or not the variance value of brightness L of one image piece to be determined and the image pieces in the vicinity of the image piece is 10 or less (step S43).
  • the variance value of brightness L of one image piece to be judged and all eight neighboring pieces is 10 or less (step S43: YES)
  • the landscape included in one image piece to be judged Is determined to be “empty” (step S44). That is, it is determined that the image piece to be determined is an “empty” image piece.
  • the result determined as “empty” is stored in the work area of the storage device 21.
  • the sky determination unit 17 determines whether a series of operations from step S42 to step S44 has been performed for all image pieces to be determined (step S45). If all the image pieces to be judged are judged (step S45: NO), the operation from step S42 is performed again for the next image piece.
  • step S43: NO when the variance value of the lightness L of any one of the image pieces to be judged and the image pieces in the vicinity thereof is larger than 10 (step S43: NO), the sky judgment unit 17 makes the judgment It is determined whether or not a series of operations from step S42 to step S44 has been performed for all image pieces to be processed (step S45). For all the image fragments that should be judged! In some cases (step S45: NO), the operation from step S42 is performed again for the next image piece.
  • step S41 to step S44 whether the image piece that is determined to be a distant view by the distant view determination process among the image pieces included in the landscape image is an "empty" image piece. It is determined whether or not.
  • the sky determination unit 17 further performs sky pattern determination described below based on the image piece determined to be the “sky” image piece as part of the sky determination processing.
  • step S45 when all image pieces to be determined are determined (step S45: YES), the sky determination unit 17 performs a sky pattern determination process (from step S46 to step S48).
  • the sky pattern determination process is a process for determining the sky pattern of the landscape image.
  • the sky determination unit 17 first determines the hue H and lightness L of the image piece determined to be the “sky” image piece. Then, based on the average value of the saturation S, a sky pattern for each image piece is determined (step S46). That is, the sky determination unit 17 first reads out the average values of the hue H, lightness L, and saturation S of the image piece determined to be the “sky” image piece from the work area of the storage device 21. Subsequently, the sky pattern is determined based on whether or not the average value of hue H, lightness L, and saturation S of the image piece to be determined satisfies a predetermined determination condition.
  • “blue sky”, “white cloud”, “black cloud”, “sunset”, and “night” are set as the sky pattern of the image piece.
  • the determination conditions can be set as follows, for example.
  • the hue H, lightness L, and saturation S are expressed in the range of 0 to 255.
  • the determination condition for determining that the image fragment is “blue sky” is that the average value of hue H is 100 or more and less than 160, the average value of lightness L is 100 or more and less than 180, and the average of saturation S The value is 60 or more.
  • the determination condition for determining that the image piece is a "white cloud" is that the average value of the lightness L is 180 or more.
  • the determination conditions for determining that the image piece is a “black cloud” are an average value power S180 of lightness L and an average value of saturation S of less than 60.
  • the judgment condition for judging that an image fragment is "sunset" is that the average value of hue H is 0 or more and less than 50 or 220 or more and 250 or less, the average value of lightness L is less than 180, and The average value of degree S is 60 or more.
  • the determination condition for determining that an image piece is "night" is that the average value of lightness L is less than 100
  • the sky determination unit 17 continues to count the number of image pieces for each sky pattern (step S47). That is, the number of image fragments determined as “blue sky”, the number of image fragments determined as “white clouds”, the number of image fragments determined as “black clouds”, and the number of image fragments determined as “sunset”. The number and the number of image pieces determined to be “night” are counted. The number of empty image pieces is stored in the work area of the storage device 21. Subsequently, the sky determination unit 17 determines the sky pattern of the landscape image (step S48). That is, the largest number of sky patterns among the number of each sky pattern image piece is determined to be the sky pattern of the landscape image.
  • the number of image pieces determined to be “blue sky” is “white clouds”, “black clouds”, “ If the number of image pieces determined to be other sky patterns such as “burnt” or “night” is larger than the deviation, it is determined that the sky pattern of the landscape image is “blue sky”.
  • the image piece to be determined is fixed above the landscape image (typically the upper half), but the region of the image piece to be determined may be variable.
  • an image piece belonging to the upper side of the horizontal line (or horizon) in the landscape image may be determined as the determination target of the sky determination process.
  • the vanishing point of the road in the landscape image is detected, and the position of the horizontal line is specified based on the vanishing point.
  • the region of the image piece to be determined in this way for example, the position of the horizontal line of the landscape image taken by the mounting direction of the camera or the vertical movement of the moving body moves up and down.
  • the sky determination process can be performed with higher accuracy.
  • a horizontal line in a landscape image may be detected by using a G sensor (or an acceleration sensor) that detects the tilt of the camera, and an image piece that belongs to the upper side of the horizontal line may be set as a determination target for the sky determination process.
  • the sky determination process can be performed with higher accuracy.
  • the cloud shape may be determined based on the determination result of the sky pattern for each image piece by the above-described sky determination processing. That is, the boundary between the image piece determined as “blue sky” or “sunset” and the image piece determined as “white cloud” or “black cloud” is detected, and the shape of the cloud is determined. For example, if the boundary between adjacent “white cloud” image pieces and “blue sky” image pieces extends in the vertical direction in the landscape image, it is called “Thunder cloud (or long cloud)”. Can be determined. Or, for example, when the boundary between the image piece of “white cloud” and the image piece of “blue sky” is mottled or wavy in a landscape image, it is “scale cloud (or mottled cloud)”. It can be determined that there is.
  • the determination condition for determining that the image fragment is a “white cloud” The average value of lightness L may be 180 or more and less than 240, and the judgment condition for determining that an image piece is “out-of-white” may be that the average value of lightness L is 240 or more. In this case, it can be determined that the sky image has been blown out by the backlight, and the accuracy of the sky pattern determination process can be improved.
  • FIG. 11 is a flowchart showing the contents of the sea determination process.
  • the landscape analysis apparatus 1 performs a sea determination process following the sky determination process (step S32).
  • the sea determination process is a process of determining whether a part of the landscape corresponding to each image piece is the sea.
  • the sea determination process is performed by the sea determination unit 18.
  • the sea determination unit 18 mainly determines whether or not the image piece located below the “sky” image piece is “the sea”.
  • step S51 to step S58 are performed in the sea determination process.
  • the sea determination unit 18 reads the sky determination result of the sky determination process from the work area of the storage device 21 (step S51). At this time, one image piece is selected as an image piece to be processed in step S52. Subsequently, it is determined whether or not the target image piece is positioned below the “empty” image piece (step S52). When the target image piece is not positioned below the “empty” image piece (step S52: NO), the process returns to step S51 again, and the next image piece is selected.
  • step S52 When the target image piece is positioned below the “sky” image piece (step S52: YES), the sea determination unit 18 then selects the hue H of the pixels included in each image piece, An average value and a variance value of lightness L and saturation S are calculated (step S53). The calculated average value and variance value are stored in the work area of the storage device 21. Subsequently, the average value and the variance value for all the pixels of one image piece to be determined and its left and right image pieces are read from the work area of the storage device 21 (step S54). Subsequently, a series of operations from step S54 to step S57 is repeated for each image piece to be determined.
  • the sea determination unit 18 determines all colors of one image piece to be determined and its left and right image pieces. It is determined whether or not the average value of the phase H, the lightness L, and the saturation S satisfies a predetermined determination condition (referred to as “sea determination condition”) (step S55). Sea judgment conditions can be set as follows, for example. The hue H, lightness L, and saturation S are expressed in the range of 0 to 255.
  • the sea judgment condition is the lightness L of the image pieces whose hue H average value is “sky” within the range of the average value of the hue H of the image piece ⁇ 10 and the average value of the lightness L is “sky”.
  • the average value of saturation S is less than the minimum value, and the average value of saturation S is 60 or more.
  • step S55 When the sea determination condition as described above is satisfied (step S55: YES), it is determined that the image piece to be determined is the “sea” image piece (step S56).
  • the sea judgment condition is set based on the average value of hue H and lightness L of the “sky” image fragment! Therefore, the sea reflects the sky color and reflects the sky color. If the color is dark or colored, it is possible to accurately determine that a part of the landscape included in the image piece is “the sea” by the sea determination process, reflecting the feature. Furthermore, whether or not the force satisfies the sea determination condition is determined for the image pieces adjacent to the left and right in addition to the image pieces to be determined. Therefore, it is possible to more accurately determine that a part of the landscape included in the image piece is “the sea” by the sea determination process, reflecting the feature that the sea spreads left and right.
  • step S57 The result determined as “sea” is stored in the work area of the storage device 21. Subsequently, the sea determination unit 18 determines whether a series of operations from step S54 to step S56 has been performed for all image pieces to be determined (step S57). If all the image pieces to be judged are judged, sometimes (step S57: NO), the operation from step S54 is performed again for the next image piece.
  • step S55: N 0 the sea determination unit 18 determines whether a series of operations from step S54 to step S56 has been performed for all image pieces to be determined. If all the image pieces to be judged are judged (step S57: NO), the operation from step S54 is performed again for the next image piece V.
  • step S57 When all the image pieces to be determined have been determined (step S57: YES), the sea determination unit 18 counts the number of “sea” image pieces (step S58). At this time, When the number of image pieces is equal to or greater than a preset threshold value (for example, 1Z5 of the number of all image pieces), it is determined that the landscape image includes a landscape with a view of the sea.
  • a preset threshold value for example, 1Z5 of the number of all image pieces
  • FIG. 12 is an explanatory diagram for explaining the result of the mountain determination process performed on the image in FIG.
  • the landscape analysis apparatus 1 performs a mountain determination process following the sea determination process (step S33).
  • the mountain determination process is a process for determining whether or not a landscape corresponding to a landscape image includes a mountain.
  • the mountain determination process is performed by the mountain determination unit 19.
  • the mountain determination unit 17 determines whether or not a part of the landscape included in the image piece has a “ridgeline”. For example, if an image piece located above a landscape image has 70% or more pixels that can be determined as the sky color, the image piece is determined to be “sky” and 30% of the pixels can be determined as the sky color. If it is less, the image piece is determined to be “non-empty”. Furthermore, when the pixels that can be determined as the sky color are 30% or more and less than 70%, the upper image piece of the image piece is an “empty” image piece, and the lower image piece is “empty”. If it is an image piece other than, it is determined that a part of the landscape included in the image piece is a “ridgeline”.
  • the image piece is determined as an “ridge line” image piece.
  • the determination of whether or not the color strength of the sky is determined is whether or not the hue H, lightness L, and saturation S of the pixel are included in the range of the hue H, lightness L, and saturation S in the above-described sky determination means. It may be determined by the following.
  • the mountain determination unit 19 counts the number of image pieces of “ridgeline”. Subsequently, when the number of image pieces of the “ridge line” is equal to or larger than a preset threshold (for example, 10), it is determined that the landscape image includes a mountain or a landscape with a mountain range! /.
  • a preset threshold for example, 10
  • an image 56 shows the result of the mountain determination process performed on the image 52 in FIG.
  • the image 56 includes twelve “ridgeline” image pieces 57. Therefore, it is determined that the image 56 is a landscape in which a mountain or a mountain range can be seen.
  • the mountain determination result obtained by the mountain determination process is stored in the work area of the storage device 21.
  • the position of the mountains and the shape of the ridgeline in the landscape image The name of the mountain may be determined based on it.
  • ridge line undulations, mountain range distances, seasonal information such as snowy mountains and autumn leaves may be detected.
  • the position of the mountain range in the landscape image may be determined as the position of the uppermost image piece in the landscape image among the “ridge line” image pieces.
  • a plurality of “ridge line” image pieces on the upper side of the “ridge line” image piece in the left-right direction may be determined as the summit of the mountains.
  • the shape of the ridge line may be detected as a feature amount by following the image piece of "ridge line" in the left-right direction, and the name of the mountain may be determined.
  • the mountain corresponding to the landscape image can be determined to be “Mt. Fuji”.
  • the name of a mountain can be determined by preparing a mountain range that is characteristic of the shape of the ridgeline.
  • the undulation of the ridge line may be detected by following the image piece of the “ridge line” in the left-right direction and characterizing the vertical movement at that time.
  • the top of the ridgeline is determined by the above-described method in the position of the mountains in the landscape image, and the distance between the image pieces directly below the top is determined as the distance between mountains.
  • the top of the mountain range is determined by determining the position of the mountain range in the above-mentioned landscape image, and the color information of the image piece corresponding to directly below the top is detected. If it is a snowy mountain, red or orange, it may be determined as autumn leaves.
  • FIG. 13 is an explanatory diagram for explaining the result of the night scene determination processing performed on the image fragment.
  • the landscape analysis apparatus 1 performs night scene determination processing following the mountain determination processing (step S34).
  • the night scene determination process is a process for determining whether or not a night scene is included in the landscape corresponding to the landscape image.
  • the night scene determination process is performed by the night scene determination unit 20.
  • the night scene determination unit 20 determines whether or not the landscape included in the landscape image is a “night scene”. This In this case, the image piece determined to be “night” by the sky pattern determination process in the sky determination process is a constant.
  • the night scene determination unit 20 binarizes the lightness L for the image piece to be determined. That is, a threshold value L of lightness L is set in advance, and it is determined whether or not the lightness of each pixel belonging to the image piece is equal to or higher than the threshold value LO.
  • the image piece 58 is binarized with the threshold value LO for the lightness L, pixels above the threshold value LO are represented in white, and pixels less than the threshold value LO are represented by a diagonal line rising to the right. ing.
  • the night scene determination unit 20 counts the number of sets in which pixels equal to or greater than the threshold LO are adjacent to each other as the number of light particles.
  • a pixel having a threshold L0 or more surrounded by pixels having a threshold value less than LO may be added and counted as the number of light particles.
  • the image piece 58 includes a set of pixels adjacent to each other that are determined to be pixels equal to or higher than the threshold LO, that is, eleven light particles 59.
  • the night view determination unit 20 sets the number of light particles included in the image piece to a preset number.
  • determining whether or not (for example, 10) or more it is determined whether or not a part of the landscape included in the image fragment is a “night scene”. That is, it is determined that an image piece including a predetermined number (for example, 10) or more of light particles is an image piece of “night view”.
  • the image piece 58 includes eleven light particles 59, and thus is determined to be an “night view” image piece.
  • the night scene determination unit 20 sequentially determines whether or not the image piece of the "night scene” described above is power for all the image pieces to be determined included in the landscape image.
  • the night view determination unit 20 counts the number of “night view” image pieces, and determines whether or not the number of “night view” image pieces is equal to or greater than a preset number (for example, 10). By doing so, it is determined whether or not the power is landscape image power ⁇ night view. That is, it is determined that a landscape image including “night view” image pieces including a predetermined number (for example, 10) or more is a “night view” landscape image.
  • the night scene level may be determined according to the number of “night scene” image fragments included in the landscape image.
  • the night view determination result obtained by the night view determination process is stored in the work area of the storage device 21. It is.
  • the characteristics of the night scene may be determined based on the position of the “night scene” image piece in the landscape image.
  • the landscape analysis apparatus 1 performs an action process following the feature determination process (step S6).
  • the action process is a process of saving a landscape image in the storage area of the storage device based on the result of the feature determination process (that is, sky determination process, sea determination process, mountain determination process, and night scene determination process).
  • the action process is based on the result of the feature determination process, and a predetermined type of action (see various modifications described later). ) May be executed.
  • the landscape analysis apparatus 1 presets a landscape image based on the sky determination process result, the sea determination process result, the mountain determination process result, and the night view determination process result. Judgment is made on whether or not the force satisfies the specified action condition.
  • the action condition is a feature of the landscape included in the scenery image.
  • the landscape image satisfies a preset action condition
  • the landscape image is stored in the storage area of the storage device 21 as an action.
  • the landscape included in the landscape image satisfies the condition that “the sea is visible, there are mountains in the distance and the sky is clear” as an action condition
  • the landscape image is stored in the storage area of the storage device 21.
  • a photograph may be automatically taken using the camera 11 as a digital camera, for example, and stored in a storage area of the storage device 21. Therefore, by setting what kind of landscape image to be photographed or stored as the action condition, it is possible to automatically store the landscape image satisfying the action condition while driving. Furthermore, it is necessary to register in advance the location of a place with a landscape suitable for shooting. It is also possible to save the landscape image desired by the user according to changes in the landscape due to, for example, a sky pattern.
  • the sky pattern may be transmitted to the server by a communication device or a mobile phone, and the real-time sky pattern may be shared by the server and distributed to a plurality of receiving devices. An empty image may also be sent at the same time.
  • the camera mode may be switched according to the sky pattern.
  • the camera may be switched to a shooting mode when the weather is fine, and may be switched to a non-shooting mode when it is cloudy. Or you can switch to non-shooting mode in backlighting.
  • lightning may be determined based on a sudden change in the amount of light, and the moment of lightning may be photographed.
  • music may be switched based on the sky pattern determination result. For example, you can switch to a song with a rhythm effect in the case of “Blue Sky”, or a quiet song in the case of “Black, Cloud”.
  • the shape of a cloud may be determined, and in the case of an unusual cloud, the landscape may be photographed.
  • the camera may be directed to face upward. Alternatively, it may be automatically pointed upward by a movable camera and photographed by increasing the “sky” area of the landscape image.
  • the destination may be guided so that the direction force also escapes.
  • the following process may be performed as an action for the sea determination result by the sea determination process.
  • the direction in which the sea can be seen (for example, the left side, the right side, the left and right sides, the front side, etc. as viewed from the driver) is reflected in the map information.
  • the map information for example, the road on which the sea can be seen on the left side (or right side) of the vehicle can be selected, and the driver can drive while looking at the sea without being obstructed by oncoming vehicles.
  • a route guidance on the road where the sea can be seen on the left (or right) side it is possible to provide a route guidance on the road where the sea can be seen on the left (or right) side.
  • the image when it is continuously determined that the scenery includes the sea for a long time or over a long distance, the image may be taken as an image.
  • the movable camera may be rotated in the sea direction.
  • the music may be switched to music suitable for the sea (for example, Southern All Stars).
  • the following processing may be performed as an action for the mountain determination result by the mountain determination processing.
  • tourist information may be provided by reading the determined mountain name.
  • seasonal images of distant mountain ranges may be collected. For example, images of fresh green, autumn leaves, snowy mountains, etc. may be taken and the images taken at the same point may be displayed side by side on the monitor. Images may be collected by sending to the server together with time and location information. That is, an image taken by another person may be used.
  • the following processing may be performed as an action for the night view determination result by the night view determination processing.
  • a beautiful road with a night view may be determined and reflected in the map information.
  • fireworks may be determined and photographed using a determination method similar to that for night views.
  • an image of a spot with a beautiful night view may be collected on a server, and a night view image may be acquired from Sano and displayed when passing the spot in the daytime.
  • the following processing may be performed as an action for the result of combining at least two of the sky determination result (or sky pattern determination result), the sea determination result, the mountain determination result, and the night view determination result.
  • the weather may be predicted based on the shape of clouds over a mountain based on the sky pattern determination result and the mountain determination result.
  • the weather may be predicted by determining the shape of a cloud over Mt. Fuji from the sky pattern determination result and the mountain determination result.
  • the high resolution mode may be saved by switching to the high resolution mode. Or, for example, you can search for a place where you can stop once, such as an observation deck, or you can switch to music that you like.
  • Step S7 YES
  • step S7 NO
  • the landscape analysis apparatus 1 ends its operation.
  • the landscape analysis apparatus it is possible to analyze an image from, for example, an in-vehicle camera and determine the feature of the landscape included in the image. Furthermore, by setting conditions such as what kind of landscape image is desired to be captured or stored, it is possible to automatically capture or store a landscape image that satisfies the conditions while driving. Furthermore, it is possible to save the landscape image desired by the user according to changes in the landscape due to, for example, the sky pattern, because it is not necessary to register the location of a place with a landscape suitable for shooting in advance. Become.
  • the landscape analysis apparatus and method according to the present invention for example, a landscape analysis apparatus that determines the characteristics of a landscape included in an image by analyzing an image captured by a camera or the like mounted on an automobile. Is available. Further, the present invention can also be used in a landscape analysis apparatus that is mounted on or connectable to various computer equipment for consumer use or business use.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

　風景解析装置は、複数の風景画像を取得する風景画像取得手段と、複数の風景画像の各々を複数の画像片に分割する画像分割手段と、風景画像に対応する風景のうち、複数の画像片の各々に対応する風景の一部までの距離を算出する距離算出手段と、算出された距離に基づいて風景の一部が遠景であるか否かを判定する遠景判定手段とを備える。

Description

明 細 書
風景解析装置及び方法
技術分野
[0001] 本発明は、例えば自動車に搭載されたカメラ等で撮影された画像を解析することに より、画像中に含まれる風景の特徴を判定する風景解析装置及び方法、並びにこれ らの機能を実現するコンピュータプログラムの技術分野に関する。
背景技術
[0002] 自動車を運転中に海や山、夜景等の風景に遭遇した場合に、その風景を自動で 写真に撮ったり、その風景に応じた音楽に自動で切り換えたりすることができれば大 変便利である。例えば、特許文献 1では、情報センターに撮像お勧めポイントの位置 情報を予め登録しておき、車両が、その位置情報を、インターネットを介してダウン口 ードし、現在位置がお勧めポイントの位置と一致した場合に撮像を行う技術が提案さ れている。
[0003] 特許文献 1 :特開 2003— 198904号公報
発明の開示
発明が解決しょうとする課題
[0004] し力しながら、特許文献 1の技術によれば、撮影に相応しいお勧めポイントの位置 情報を予め登録しておく必要がある。しかも、走行前に予め登録しておくため、例え ば空模様などによって風景が変化しており、撮影に相応しくない場合であっても、お 勧めポイントとして撮影等が行われてしまう可能性がある。
[0005] 本発明は、例えば上述した問題点に鑑みなされたものであり、例えば車載カメラに よる画像を解析し、画像中に含まれる風景の特徴を判定する風景解析装置及び方 法、並びにこれらの機能を実現するコンピュータプログラムを提供することを課題とす る。
課題を解決するための手段
[0006] (風景解析装置）
上記課題を解決するために、本発明の風景解析装置は、複数の風景画像を取得 する風景画像取得手段と、前記複数の風景画像の各々を複数の画像片に分割する 画像分割手段と、前記風景画像に対応する風景の一部が遠景であるか否かを判定 する遠景判定手段とを備える。
[0007] 本発明の風景解析装置によれば、その動作時には、先ず、例えば移動体に搭載さ れ、移動方向に向けられたカメラ等を含む風景画像取得手段によって、例えば景観 、物体又は物体集合体等の風景を撮影することにより風景画像が取得される。風景 画像は、例えば単眼のカメラを用いる場合には、一定又は固定の時間を隔てて断続 的に、言い換えれば、時系列に撮影することにより複数取得される。また、例えば、複 眼のカメラ即ちステレオカメラ (言い換えれば、複数のカメラ）を用いる場合には、各々 のカメラによって同時に 1つずつ、合計複数取得される。風景画像は少なくとも 2つ取 得されればよい。即ち、本発明に係る風景画像取得手段が「複数の風景画像を取得 する」とは、位置が変化する一つの風景画像取得手段から見てその位置変化に応じ て時々刻々と変化する風景を順番に取得することで複数の風景画像を取得する場 合や、位置が固定された二つ以上の風景画像取得手段力 夫々見る方向が微妙に ずれた風景を被写体として、同時に又は相前後して複数の風景画像を取得する場 合を含む。
[0008] 次に、取得された複数の風景画像の各々は、各々は複数の画像片に分割され、複 数の画像片の各々に対応する画像片データは例えばノヽードディスク等の記憶媒体 に記憶される。例えば、風景画像のサイズが 1280 X 1024ピクセルである場合には、 画像片のサイズは 30 X 30ピクセル程度であることが望ましい。尚、画像片のサイズ は、特徴判定手段等の精度及び処理速度等を考慮して決めることが望ましい。また、 風景画像のサイズと画像片のサイズとの関係によっては、風景画像のすべてを均一 の画像片に分割できない場合がある。この場合には、風景画像の端部を画像分割手 段の対象力も除外してもよ!/、。
[0009] 次に、遠景判定手段によって、複数の画像片の各々に対応する風景の一部が遠 景であるか否かが判定される。ここに、本発明に係る「遠景」とは、風景を構成する任 意の被写体部分までの距離が、所定距離よりも遠くに位置する場合に、該任意の被 写体部分に対応する風景の一部を意味する。この際、所定距離としては、予め設定 された固定の距離であってもよいし、風景の種類や操作者の好み等に応じて可変に 設定可能な距離であってもよい。遠景判定手段は、例えば、各画像片に対応する風 景の一部と風景画像取得手段との相対的な距離 (即ち、各画像片に含まれる複数の 画素に対応する風景の一部と風景画像取得手段との相対的な距離の平均値)が所 定値よりも大きい場合には、その画像片に対応する風景の一部は、遠景 (即ち、例え ば、空、海、山等の遠い風景)であり、前述の相対的な距離が所定値よりも小さい場 合には、その画像片に対応する風景の一部は、近景 (即ち、例えば、走行中の道路 、先行車両等の近い風景)であると判定する。尚、遠景と近景との間に、一又は複数 の中間的な距離の風景を定義することも可能である。
[0010] 以上の結果、風景画像に対応する風景のうち、どの部分の遠景であり、どの部分が 近景であるかを判定することができる。
[0011] 本発明の風景解析装置の一の態様では、前記複数の画像片の各々に対応する前 記風景の一部までの距離を算出する距離算出手段を更に備え、前記遠景判定手段 は、前記算出された距離に基づいて前記風景の一部が遠景であるか否かを判定す る。
[0012] この態様によれば、距離算出手段によって、複数の画像片の各々に対応する風景 の一部までの距離が算出される。典型的には、複数の画像片の各々に対応する風 景の一部と風景画像取得手段 (より正確には、風景画像取得手段における基準位置 )との相対的な距離が算出される。或いは、風景画像取得手段に対して、所定の位 置関係を有する基準位置 (例えば、当該風景解析装置の特定箇所や、これが搭載さ れた車体の特定箇所など)から、複数の画像片の各々に対応する風景の一部までの 距離が算出される。例えば、単眼カメラを用いた場合には、先ず、時系列に相前後し て取得された 2つの風景画像間のオプティカルフローが算出される。算出されたォプ ティカルフローに基づ 、て、各画像片に含まれる複数の画素に対応する風景の一部 と風景画像取得手段との相対的な距離が算出される。次に、各画像片に含まれる複 数の画素に対応する風景の一部と風景画像取得手段との相対的な距離の平均値が 、各画像片に対応する風景の一部と風景画像取得手段との相対的な距離として算 出される。尚、風景の一部と風景画像取得手段との相対的な距離の算出において、 風景の一部が、例えば空に相当する場合など他の風景の一部に比較して非常に距 離が大きい場合には、無限大と算出してもよい。次に、遠景判定手段によって、算出 された相対的な距離に基づ 、て風景の一部が遠景である力否かが判定される。遠景 判定手段は、算出された相対的な距離が所定値よりも大きい場合には、その画像片 に対応する風景の一部は、遠景であり、算出された相対的な距離が所定値よりも小さ い場合には、その画像片に対応する風景の一部は、近景であると判定する。よって、 風景画像に対応する風景のうち、どの部分の遠景であり、どの部分が近景であるかを より確実に判定することができる。
[0013] 本発明の風景解析装置の他の態様では、前記遠景と判定された前記風景の一部 に対応する前記画像片について、前記風景の一部が空、海、山及び夜景のうち少な くとも一つに該当する力否かを判定する特徴判定手段を更に含む。
[0014] この態様によれば、遠景と判定された風景の一部に対応する画像片について、特 徴判定手段によって、その風景の一部が空、海、山及び夜景のうち少なくとも一つに 該当するか否かが判定される。好ましくは、その風景の一部が、空、海、山及び夜景 のうちいずれかであるかが判定される。よって、例えば、空、海、山及び夜景のうち少 なくとも 1つの風景を予め設定しておくことで、例えば車両の走行中に予め設定され た空、海、山及び夜景等の遠景に対応する風景画像を自動的に保存するようにする ことができる。或いは、例えば、車内の音楽や映像を、空、海、山又は夜景に応じた 音楽や映像に切り換えることができる。
[0015] 上述した特徴判定手段を含む態様では、前記特徴判定手段は、前記複数の画像 片のうち、前記風景画像の上方に位置する画像片について、該上方に位置する画 像片に含まれる複数の画素の明度の分散値から、前記風景の一部が空であるか否 かを判定する空判定手段を含むように構成してもよ ヽ。
[0016] このように構成すれば、空判定手段によって、複数の画像片のうち、風景画像の上 方、典型的には上半分に位置する画像片について、各画像片に含まれる複数の画 素の明度 (即ち輝度)の分散値が算出される。この際、画像片に対応する画像片デ ータの色情報が RGB系の色情報である場合、この色情報は、色相、彩度及び明度 をパラメータとする表色系の色情報、例えば HLS系の色情報に特徴判定手段によつ て変換される。
[0017] 次に、風景画像の上方の画像片について 1つの画像片毎に空であるか否かが判定 される。例えば、空判定手段は、判定対象となる 1つの画像片及びその周辺に位置 する 8つの画像片（即ち 8近傍の画像片）の全ての明度の分散値が所定値 (例えば 1 0)以下の場合には、その画像片に対応する風景の一部は空であると判定し、判定対 象となる 1つの画像片及びその周辺に位置する 8つの画像片（即ち 8近傍の画像片） のうちいずれかの明度の分散値が所定値 (例えば 10)よりも大きい場合には、その画 像片に対応する風景の一部は空ではないと判定する。従って、各画像片に対応する 風景の一部が空である力否かを確実に判定することができ、例えば、青空、白い雲、 黒い雲、夕焼け空、夜空等の空模様を判定することも可能となる。
[0018] 上述した空判定手段を含む態様では、前記特徴判定手段は、前記空と判定されな 力つた画像片につ 、て、前記空と判定された画像片に含まれる複数の画素の平均 色相及び平均彩度に基づ 、て、前記風景の一部が海であるか否かを判定する海判 定手段を含むように構成してもよ ヽ。
[0019] このように構成すれば、海判定手段によって、空と判定されな力つた画像片につい て、空と判定された画像片に含まれる複数の画素の平均色相及び平均彩度に基づ いて、風景の一部が海である力否かが判定される。例えば、海判定手段は、空と判 定されなかった画像片に含まれる複数の画素の平均色相（或いは色調）が、空と判 定された画像片に含まれる複数の画素の平均色相を含む所定範囲の値であり、且 つ、空と判定されなかった画像片に含まれる複数の画素の平均明度が、空と判定さ れた画像片に含まれる複数の画素の平均明度以下の場合には、その画像片を海で あると判定する。よって、海の色は空の色を反射して空の色に似た、濃い色となって V、る場合が多 、と 、う特性を反映して、風景の一部が海であるか否かを判定すること ができる。従って、風景の一部が海であるか否かを精度よく判定することが可能となる
[0020] 上述した空判定手段を含む態様では、前記特徴判定手段は、前記空と判定されな 力つた画像片のうち、前記空と判定された画像片に隣接する画像片の各々について 、色の性質を分析することにより空と空でない風景の境界を検出することで、前記風 景に山が含まれるか否かを判定する山判定手段を含むように構成してもよ!/ヽ。
[0021] このように構成すれば、山判定手段によって、先ず、空と判定されな力つた画像片 のうち、空と判定された画像片に隣接する画像片の各々について、色の性質が分析 される。色の性質の分析よつて、例えば、 1つの画像片において、空の色と判定され る画素が一定の割合以上であり、且つ、空の色と判定されない画素が一定の割合未 満である場合には、その画像片には稜線が含まれている可能性が高いと判断される 。ここで、「空の色と判定する」とは、画素の色相、明度及び彩度が、上述した空判定 手段における色相、明度及び彩度の範囲に含まれていると判定することをいう。次に 、稜線が含まれている可能性が高いと判断された画像片が、一定数以上あれば、風 景には山が含まれていると判定される。よって、本態様によれば、稜線を検出すること により、風景に山が含まれているカゝ否かを判定することができる。尚、画像片のサイズ を小さくすることにより、山或いは山並みの形状を判定することもできる。
[0022] 上述した特徴判定手段を含む態様では、前記特徴判定手段は、前記複数の画像 片の各々について、所定値の明度を基準として画素の 2値ィ匕を行うことにより区別さ れる複数の画素群のうち、前記基準よりも高い方に区別された前記画素群の数に基 づ ヽて、前記風景の一部が夜景であるか否かを判定する夜景判定手段を含むように 構成してちょい。
[0023] このように構成すれば、夜景判定手段によって、先ず、複数の画像片の各々につ いて、例えば、所定値の明度 (即ち輝度)を基準として、 2値化が行われる。これにより 、 1つの画像片に含まれる複数の画素から、所定値よりも明度が高い複数の画素が 隣接してなる画素群 (所定値以下の明度の画素と隣接する所定値よりも明度の高い 1つの画素も含む）が区別される。例えば黒色の背景に白色の粒子が多数存在する ように、 1つの画像片にお ヽて周囲よりも明度の高 、画素が散在して!/、るようになる。 次に、所定値よりも明度が高い複数の画素が隣接してなる画素群の数が算出される 。次に、所定値よりも明度が高い複数の画素が隣接してなる画素群の数が所定値（ 例えば 10)よりも多い場合には、その画像片には夜景が含まれている可能性が高い と判定される。ここで、「夜景」とは、夜の風景であって、例えばビル、住宅街、自動車 等の光が多く含まれているものを意味する。次に、夜景が含まれている可能性が高い と判定された画像片が、例えば一定数 (例えば 10)以上あれば、風景には夜景が含 まれていると判定される。よって、夜景は周辺よりも明度の高い光の点を多く含む場 合が多 、と 、う特性を反映して、風景の一部が夜景である力否かを判定することがで きる。従って、風景の一部が夜景である力否かを精度よく判定することが可能となる。
[0024] 尚、夜景が含まれて 、る可能性が高 、と判定された画像片の数によって、夜景のレ ベル或いは度合!/、を判定してもよ!/ヽ。
[0025] 更に尚、夜景判定手段の対象とする画像片は、上述した遠景判定手段により遠景 と判定された画像片だけに限ることで処理速度を向上させることができる。更に言え ば、上述した空判定手段により夜空と判定された画像片がー定数 (例えば 10)以上 ある場合、だけに限ってもよい。
[0026] 上述した特徴判定手段を含む態様では、前記特徴判定手段による特徴判定結果 に応じて、前記風景画像を保存する風景画像保存手段を更に備えてもょ ヽ。
[0027] このように構成すれば、風景画像保存手段によって、例えば、特徴判定手段による 特徴判定結果として、例えば海及び山を含む風景画像であると判定された場合に、 その風景画像を例えば記憶装置の保存領域に記憶する。よって、例えばユーザによ り或いは工場での初期設定により予め定められた条件を満たす風景画像を自動的に 保存することができる。
[0028] 上述した空判定手段を含む態様では、前記空判定手段は、空であると判定した前 記風景の一部の空模様を判定するように構成してもよ 、。
[0029] このように構成すれば、空判定手段は、例えば、空であると判定した画像片につ!、 て、色相、明度及び彩度の平均値に基づいて画像片毎の空模様を判定する。即ち、 空判定手段は、例えば、判定対象の画像片の色相、明度及び彩度の平均値が予め 定められた判定条件を満たすカゝ否かによって、空模様を判定する。画像片の空模様 としては例えば「青空」、「白い雲」、「黒い雲」、「夕焼け」及び「夜」等が設定される。 空判定手段は、画像片毎に空模様を判定した後に、例えば、各空模様の画像片の 数をカウントし、各空模様の画像片の数のうち最も多い数の空模様を、風景画像の空 模様であると判定する。例えば、「青空」と判定された画像片の数が、「白い雲」、「黒 い雲」、「夕焼け」、「夜」等の他の空模様と判定された画像片の数のいずれよりも多い 場合には、風景画像の空模様は「青空」であると判定する。よって、風景の一部の空 模様を精度よく判定することが可能となる。
[0030] (風景解析方法）
上記課題を解決するために、本発明の風景解析方法は、複数の風景画像を取得 する風景画像取得工程と、前記複数の風景画像の各々を複数の画像片に分割する 画像分割工程と、前記風景画像に対応する風景のうち、前記複数の画像片の各々 に対応する前記風景の一部が遠景であるか否かを判定する遠景判定工程とを備え る。
[0031] 本発明の風景解析方法によれば、上述した本発明の風景解析装置が有する各種 利益を享受することが可能となる。
[0032] 尚、上述した本発明の風景解析装置が有する各種態様に対応して、本発明の風景 解析方法も各種態様を採ることが可能である。
[0033] (コンピュータプログラム）
上記課題を解決するために、本発明のコンピュータプログラムは、上述した本発明 の風景解析装置としてコンピュータを機能させる。
[0034] 本発明のコンピュータプログラムによれば、当該コンピュータプログラムを格納する ROM, CD-ROM, DVD-ROM,ハードディスク等の情報記録媒体から、当該コ ンピュータプログラムをコンピュータに読み込んで実行させれば、或いは、当該コンビ ユータプログラムを、通信手段を介してコンピュータにダウンロードさせた後に実行さ せれば、上述した本発明の風景解析装置を比較的簡単に実現できる。
[0035] 尚、上述した本発明の風景解析装置における各種態様に対応して、本発明のコン ピュータプログラムも各種態様を採ることが可能である。
[0036] 上記課題を解決するために、コンピュータ読取可能な媒体内のコンピュータプログ ラム製品は、コンピュータにより実行可能なプログラム命令を明白に具現ィ匕し、該コン ピュータを、上述した本発明の風景解析装置 (但し、その各種態様を含む)として機 能させる。
[0037] 本発明のコンピュータプログラム製品によれば、当該コンピュータプログラム製品を 格納する ROM、 CD-ROM, DVD-ROM,ハードディスク等の記録媒体から、当 該コンピュータプログラム製品をコンピュータに読み込めば、或いは、例えば伝送波 である当該コンピュータプログラム製品を、通信手段を介してコンピュータにダウン口 ードすれば、上述した本発明の風景解析装置を比較的容易に実施可能となる。更に 具体的には、当該コンピュータプログラム製品は、上述した本発明の風景解析装置と して機能させるコンピュータ読取可能なコード (或いはコンピュータ読取可能な命令） 力 構成されてよい。
[0038] 本発明の作用及び他の利得は次に説明する実施例力 明らかにされる。
[0039] 以上説明したように本発明の風景解析装置は、風景画像取得手段、画像分割手段 、距離算出手段及び遠景判定手段を備えるので、風景画像に対応する風景のうち、 どの部分の遠景であり、どの部分が近景であるかを判定することができる。上述した 特徴判定手段を更に備えた態様によれば、その風景の一部が空、海、山及び夜景 のうち少なくとも一つに該当するか否かが判定することができ、例えば、空、海、山及 び夜景のうち少なくとも 1つの風景を予め設定しておくことで、例えば車両の走行中 に予め設定された空、海、山及び夜景等の遠景に対応する風景画像を自動的に保 存するようにすることができる。或いは、例えば、車内の音楽や映像を、空、海、山又 は夜景に応じた音楽や映像に切り換えることができる。本発明の風景解析方法は、 風景画像取得工程、画像分割工程、距離算出工程及び遠景判定工程を備えるので 、本発明の風景解析装置が有する各種利益を享受することが可能となる。本発明の コンピュータプログラムは、本発明の風景解析装置としてコンピュータを機能させるの で、当該コンピュータプログラムをコンピュータに読み込んで実行させれば、本発明 の風景解析装置を比較的簡単に実現できる。
図面の簡単な説明
[0040] [図 1]第 1実施例に係る風景解析装置の構造を示すブロック図である。
[図 2]第 1実施例に係る風景解析装置の動作を示すフローチャートである。
[図 3]風景画像取得処理の内容を示すフローチャートである。
[図 4]風景画像データに対応する風景画像を示めす説明図である。
[図 5]図 4中の画像を画像片に分割した状態を示す説明図である。
[図 6]距離算出処理の内容を示すフローチャートである。 [図 7]図 5中の画像に対して距離算出処理を行った結果を示す説明図である。
[図 8]図 7中の画像に対して遠景判定処理を行った結果を示す説明図である。
[図 9]特徴判定処理の内容を示すフローチャートである。
[図 10]空判定処理の内容を示すフローチャートである。
[図 11]海判定処理の内容を示すフローチャートである。
[図 12]図 5中の画像に対して山判定処理を行った結果を説明するための説明図であ る。
[図 13]画像片に対して夜景判定処理を行った結果を説明するための説明図である。 符号の説明
[0041] 1 風景解析装置
11 カメフ
12 入力部
13 障害物認識部
14 画像分割部
15 距離算出部
16 遠景判定部
17 空判定部
18 海判定部
19 山判定部
20 夜景判定部
21 記憶装置
22 制御部
23 情報入力部
24 情報表示部
発明を実施するための最良の形態
[0042] 以下、本発明を実施するための最良の形態について実施例毎に順に図面に基づ いて説明する。
<第 1実施例 > 図 1から図 13を参照して、本発明の第 1実施例に係る風景解析装置について説明 する。
[0043] (風景解析装置の構造）
先ず、図 1を参照して、第 1実施例に係る風景解析装置の構造について説明する。 ここに図 1は、第 1実施例に係る風景解析装置の構造を示すブロック図である。
[0044] 図 1において、風景解析装置 1は、カメラ 11、入力部 12、障害物認識部 13、画像 分割部 14、距離算出部 15、遠景判定部 16、空判定部 17、海判定部 18、山判定部 19、夜景判定部 20、記憶装置 21、制御部 22、情報入力部 23及び情報表示部 24 を備えている。ここで、カメラ 11、入力部 12及び障害物認識部 13は夫々、本発明に 係る「風景画像取得手段」の一部の一例であり、カメラ 11、入力部 12及び障害物認 識部 13は一体として「風景画像取得手段」の一部を構成する。
[0045] 風景解析装置 1は、移動体に搭載することが望ましい。例えば、風景解析装置 1を カーナビゲーシヨンシステムに組み込み、車両に搭載してもよい。或いは、風景解析 装置 1の構成要素のうちカメラだけを移動体に取り付け、それ以外の構成要素を備え た構造物を会社、研究所、観察所又は自宅の室内に備え付けてもよい。この場合に は、室内に備え付けた構造物とカメラとの間を無線通信によって接続する。
[0046] カメラ 11は、例えば移動体の進行方向前方に存在する例えば景観、物体又は物 体集合体等の風景を撮影する。カメラ 11は、移動体の進行方向前方を撮影すること ができるように、移動体の進行方向前部に取り付けることが望ましい。例えば、カメラ 1 1は、自動車のフロントパンパ近傍、フロントガラス近傍などに取り付けることが望まし い。カメラ 11は、デジタルカメラでもアナログカメラでもよい。また、カメラ 11は、写真（ 静止画)を撮るためのカメラでもよいし、映像 (動画)を撮るためのカメラ、つまりビデオ カメラでもよい。いずれの場合にも、カメラ 11は、連写可能な、或いは連続撮影が可 能なカメラである。更に、カメラ 11は、複眼のカメラ即ちステレオカメラ (言い換えれば 、複数のカメラ)であってもよい。
[0047] 入力部 12は、カメラ 11から出力される静止画データ又は動画データに基づいて画 像データを生成する。入力部 12は、例えば入力インターフェイス回路、画像処理用 の制御装置及び演算装置などにより構成されている。尚、入力部 12に外部入力端 子 25を設け、カメラ 11以外の画像入力装置を接続できるようにし、カメラ 11以外の画 像入力装置から出力される静止画データ又は動画データに基づいて画像データを 生成することができる構成としてもよい。また、カメラ 11がアナログカメラである場合に は、アナログの静止画信号又は動画信号をデジタルの静止画データ又は動画デー タに変換するための D/Aコンバータ（デジタルアナログコンバータ）を入力部 12に 設ける。
[0048] 障害物認識部 13は、カメラ 11に障害物が接近し、撮影の対象とする風景とカメラ 1 1との間が当該障害物によって遮られていることを認識する。
[0049] 画像分割部 14は、画像データに対応する画像を複数の画像片に分割する。
[0050] 距離算出部 15は、画像分割部 14により分割された各画像片に含まれる風景の一 部とカメラ 11 (より正確には、カメラ 11における基準点）との距離を算出する。ここで算 出される距離は、画像片に含まれる風景の一部同士の相対的な距離であって、風景 の一部とカメラ 11との絶対的な距離である必要はない。即ち、どの画像片に含まれる 風景の一部が相対的に遠く或いは近いかが分かればよい。尚、画像データに対応 する画像全体に写し出されているものを 1個の風景とすると、画像データに対応する 画像を分割した各画像片に写し出されて 、るものは風景の一部に当たる。「風景の 一部」とはこのような意味である。
[0051] 遠景判定部 16は、算出された距離に基づいて風景の一部が遠景である力否かを 判定する。
[0052] 空判定部 17は、風景画像に含まれる風景に空が含まれるか否かを判定する。
[0053] 海判定部 18は、風景画像に含まれる風景に海が含まれるカゝ否かを判定する。
[0054] 山判定部 19は、風景画像に含まれる風景に山が含まれる力否かを判定する。
[0055] 夜景判定部 20は、風景画像に含まれる風景に夜景が含まれるか否かを判定する。
[0056] 空判定部 17、海判定部 18、山判定部 19及び夜景判定部 20は夫々、本発明に係 る「特徴判定手段」の一部の一例である。
[0057] 障害物認識部 13、画像分割部 14、距離算出部 15、遠景判定部 16、空判定部 17 、海判定部 18、山判定部 19及び夜景判定部 20は、例えば中央演算処理装置、マ ルチプロセッサ又はマイクロコンピュータ等により構成されている。 [0058] 記憶装置 21は、風景解析装置 1の各構成要素による処理を行うための作業領域を 備えている。この作業領域は、例えば、入力部 12による画像データの抽出処理、障 害物認識部 13による障害物認識処理、画像分割部 14による画像の分割処理、距離 算出部 15による距離算出処理、遠景判定部 16による遠景判定処理、空判定部 17 による空判定処理、海判定部 18による海判定処理、山判定部 19による山判定処理 、夜景判定部 20による夜景判定処理等に用いられる。更に、記憶装置 21は、データ 保存領域を備えている。データ保存領域には、空判定部 17による空判定処理で用 V、るための空判定条件情報、海判定部 18による海判定処理で用いるための海判定 条件情報などが記憶されて ヽる。
[0059] 制御部 17は、風景解析装置 1の各構成要素の動作を制御する。
[0060] 情報入力部 18は、空判定部 17による空判定処理で用いるための空判定条件情報 などを外部から入力可能とする。
[0061] 情報表示部 19は、空判定部 17による空判定処理の結果などを表示する。
[0062] (風景解析装置の動作）
次に、図 2から図 13を参照して、第 1実施例に係る風景解析装置の動作について 説明する。ここに図 2は、第 1実施例に係る風景解析装置の動作を示すフローチヤ一 トである。
[0063] 図 2に示すように、風景解析装置 1では、ステップ S1からステップ S7までの一連の 動作が、以下に説明する如く行われる。
[0064] (風景画像取得処理）
先ず、風景画像取得処理について、図 2に加えて、主に図 3及び図 4を参照しなが ら説明する。ここに図 3は、風景画像取得処理の内容を示すフローチャートであり、図 4は、風景画像データに対応する風景画像を示めす説明図である。
[0065] 図 2において、風景解析装置 1は、先ず、風景画像取得処理を行う（ステップ Sl)。
風景画像取得処理は、主に、カメラ 11により風景 (即ち景観等)を撮影し、撮影対象 となる風景が含まれる風景画像を符号ィヒした風景画像データを記憶する処理である
[0066] 図 3に示すように、風景解析装置 1では、風景画像取得処理において、ステップ S1 1力 ステップ SI 3の一連の動作が行われる。
[0067] 風景解析装置 1は、先ず、カメラ 11により風景を撮影する (ステップ Sl l)。即ち、力 メラ 11は、移動体の進行方向前方に存在する風景を撮影し、この風景の画像を符号 化した静止画データ又は動画データを入力部 12に出力する。入力部 12は、カメラ 1 1から出力された静止画データ又は動画データを取得し、これに基づいて画像デー タを生成する。つまり、カメラ 11から出力されるデータが静止画データの場合には、 入力部 12は、その静止画データを取得し、これを風景画像データとして記憶装置 21 の作業領域に出力する。一方、カメラ 11から出力されるデータが動画データの場合 には、入力部 12は、その動画データを取得し、この動画データ中の 1フレーム分のデ ータを抽出し、これを風景画像データとして記憶装置 21の作業領域に出力する。
[0068] 尚、カメラ 11による風景の撮影は、原則として移動体の所定の移動距離 (例えば 50 m)又は所定の移動時間（例えば 5秒間）毎に行われる。例えばカメラ 11が写真を撮 るためのカメラである場合には、シャッターが所定間隔毎に切られる。一方、カメラ 11 力 Sビデオカメラである場合には、カメラ 11による撮影は移動体の移動中常時連続的 に実行される。そして、これにより得られた動画データ中から所定間隔ごとに 1フレー ム分のデータが入力部 12により抽出される。
[0069] 図 4中の画像 51は、風景画像データに対応する風景画像の一例を示している。
[0070] 再び図 3において、続いて、風景解析装置 1は、撮影によって得られた風景画像デ ータを記憶装置 21の作業領域に記憶する (ステップ S 12)。
[0071] 続いて、風景解析装置 1は、カメラ 11により風景が適切に撮影されたかどうか、即ち 、風景画像データに対応する風景画像中に風景の画像が適切に含まれているかどう かを判断する。この判断は障害物認識部 13により行われる。つまり、障害物認識部 1 3は、カメラ 11に障害物が接近し、撮影の対象である風景 (即ち景観等）とカメラ 11と の間が当該障害物によって遮られているかどうかを認識する (ステップ S13)。具体的 には、障害認識部 13は、風景画像データに対応する風景画像の色等を調べ、風景 画像中に含まれる物体を特定し、当該物体が風景画像中に占める割合を調べる。そ して、当該物体が風景画像中に占める割合が所定割合を超えるときには、障害物認 識部 13は、カメラ 11に障害物が接近し、撮影の対象である風景とカメラ 11との間が 当該障害物によって遮られていると認識する。例えば、カメラ 11を搭載した自動車が バスやトラックなどの直後を走行しているときには、自動車の進行方向前方の視界が バスやトラックの後部面によって遮られる。このような状況で撮影を行うと、風景画像 データに対応する風景画像には、バスやトラックの後部面が全面的に写る。このよう な場合、障害物認識部 13は、カメラ 11に障害物が接近し、撮影の対象である景観等 とカメラ 11との間が当該障害物によって遮られていると認識する。
[0072] 撮影の対象である風景とカメラ 11との間が当該障害物によって遮られて!/、るときに は (ステップ S13 :YES)、風景解析装置 1は、景観等の撮影を再び行い、この撮影 により得られた風景画像データを、前回の撮影で得られた風景画像データに代えて 、風景画像データとして記憶装置 21の作業領域に記憶する。
[0073] 撮影の対象である風景とカメラ 11との間が当該障害物によって遮られておらず、力 メラ 11により風景が適切に撮影されたときには (ステップ S 13： NO)、風景画像取得 処理は終了する。尚、カメラ 11の撮影位置を示す位置情報や撮影年月日及び撮影 時刻を示す時間情報等を風景画像データと対応づけて記憶してもよい。
[0074] (画像分割処理）
次に画像分割処理について、図 2に加えて、主に図 5を参照しながら説明する。ここ に図 5は、図 4中の画像を画像片に分割した状態を示す説明図である。
[0075] 再び図 2において、風景解析装置 1は、風景画像取得処理に続いて画像分割処理 を行う（ステップ S 2)。画像分割処理は、風景画像取得処理により取得された風景画 像データに対応する風景画像を複数の画像片に分割する処理である。画像分割処 理は、画像分割部 14により行われる。つまり、画像分割部 14は、記憶装置 21の作業 領域に記憶された風景画像データに対応する風景画像を複数の画像片に分割し、 各画像片に対応する画像片データを記憶装置 21の作業領域に記憶する。例えば、 風景画像データに対応する風景画像のサイズが 1280 X 1024ピクセルである場合 には、画像片のサイズは 30 X 30ピクセル程度であることが望ましい。尚、画像片の 大きさは、距離算出処理、空判定処理、海判定処理、山判定処理、夜景判定処理等 の精度及び処理速度等を考慮して決めることが望まし 、。
[0076] また、風景画像データに対応する風景画像のサイズと画像片のサイズとの関係によ つては、風景画像のすべてを均一の画像片に分割できない場合がある。この場合に は、風景画像データに対応する風景画像の端部を画像分割処理の対象から除外し てもよい。
[0077] 図 5中の画像 52は、画像分割処理により図 4中の画像 51を複数の画像片 53、 53、 • · -に分割した状態を示して 、る。
[0078] (距離算出処理）
次に距離算出処理について、図 2に加えて、主に図 6及び図 7を参照しながら説明 する。ここに図 6は、距離算出処理の内容を示すフローチャートであり、図 7は、図 5中 の画像に対して距離算出処理を行った結果を示す説明図である。
[0079] 再び図 2において、風景解析装置 1は、画像分割処理に続いて距離算出処理を行 う (ステップ S3)。距離算出処理は、画像分割処理により分割された各画像辺に対応 する風景の一部とカメラ 11との距離を算出する処理である。距離算出処理は、距離 算出部 15により行われる。
[0080] 図 6に示すように、風景解析装置 1では、距離算出処理において、ステップ S21力ら ステップ S23の一連の動作が行われる。
[0081] 距離算出部 15は、先ず、相前後して撮影された 2つの風景画像について、画像片 毎に特徴点を検出する (ステップ S21)。即ち、時系列に連続する 2つの風景画像に ついて、各画像片に含まれる風景の一部のうちから予め定められた所定の条件に適 合する点 (言い換えれば画素)を特徴点として検出する。尚、特徴点は画像片毎に複 数或いは 1つ検出される。
[0082] 続いて、検出された特徴点力もオプティカルフローを算出する (ステップ S22)。即ち 、相前後して撮影された 2つの風景画像について、画像片毎に検出された特徴点の 変化 (即ちベクトル)を求めることで、オプティカルフローを算出する。
[0083] 続いて、各画像片の平均距離を算出する (ステップ S23)。即ち、画像片毎に検出 された複数の特徴点に夫々対応する複数のベクトル (即ちオプティカルフロー）から カメラ 11と複数の特徴点との距離を夫々算出する。算出された距離を平均して、各 画像片の平均距離として算出する。尚、このように算出された各画像片の平均距離 は、画像片間の相対的な違いが認識できればよいので、本実施例では、例えば空は 無限遠として扱う。
[0084] 図 7において、画像 54は、図 5中の画像 52に対して距離算出処理を行った結果を 示している。各画像片の平均距離に対応して、各画像片が白、灰色、黒等の多段階 で表されており、明るい（即ち白に近い)程、平均距離が小さいことを示しており、暗 Vヽ (即ち黒に近 、)程、平均距離が大き 、ことを示して 、る。
[0085] 尚、カメラ 11として複眼のカメラを用いた場合には、異なる位置から同時に撮影され た 2つの風景画像についての視差のずれ力も各画像片の平均距離を算出してもよい
[0086] (遠景判定処理）
次に遠景判定処理について、図 2に加えて、主に図 8を参照しながら説明する。ここ に図 8は、図 7中の画像に対して遠景判定処理を行った結果を示す説明図である。
[0087] 再び図 2において、風景解析装置 1は、距離算出処理に続いて遠景判定処理を行 う (ステップ S4)。遠景判定処理は、距離算出処理により算出された各画像片の平均 距離に基づいて各画像片に含まれる風景の一部が遠景である力否かを判定する処 理である。遠景判定処理は、遠景判定部 16により行われる。
[0088] 遠景判定部 16は、距離算出処理により算出された各画像片の平均距離が予め設 定された閾値よりも大きい場合には、その画像片に対応する風景の一部は、遠景 (即 ち、例えば、空、海、山等の遠い風景)であり、各画像片の平均距離が予め設定され た閾値よりも小さい場合には、その画像片に対応する風景の一部は、近景 (即ち、例 えば、走行中の道路、先行車両等の近い風景)であると判定する。続いて、風景画像 中の複数の画像片のうち、遠景と判定された画像片の数をカウントする。
[0089] 遠景と判定された画像片の数が予め定められた一定数 (例えば全画像片数の半分 )未満のときは (ステップ S4 : NO)、再びステップ SIからの動作を行う。
[0090] 図 8において、画像 55は、図 7中の画像 54に対して遠景判定処理と行った結果を 示している。図 8では、遠景と判定された画像片のみが表示されており、灰色、黒等 の色で表されている。近景と判定された画像片は表示されていない部分 (即ち白色 の部分）に相当する。このように、遠景判定処理によって、風景画像に対応する風景 のうち、どの部分の遠景であり、どの部分が近景であるかを判定することができる。 (特徴判定処理）
次に特徴判定処理について、図 2に加えて、主に図 9から図 13を参照しながら説明 する。ここに図 9は、特徴判定処理の内容を示すフローチャートである。
[0091] 再び図 2において、遠景判定処理により遠景と判定された画像片の数が予め定め られた一定数以上のときには (ステップ S4 :YES)、続いて風景解析装置 1は、特徴 判定処理を行う（ステップ S 5)。尚、遠景と判定された画像片のみが特徴判定処理の 対象となる。
[0092] 図 9に示すように、風景解析装置 1では、特徴判定処理において、ステップ S31力ら ステップ S34までの一連の動作力 以下に説明する如く行われる。尚、ステップ 32か らステップ 34までの処理は、図 9に示した順番に限られず、どのような順番で行っても よい。
[0093] (空判定処理）
先ず空判定処理について、図 9に加えて、主に図 10を参照しながら説明する。ここ に図 10は、空判定処理の内容を示すフローチャートである。
[0094] 図 9において、風景解析装置 1は、先ず、空判定処理を行う（ステップ S31)。空判 定処理は、各画像片に対応する風景の一部が空であるか否かを判定する処理であ る。空判定処理は、空判定部 17により行われる。
[0095] 図 10に示すように、風景解析装置 1では、空判定処理において、ステップ S41から ステップ S48の一連の動作が行われる。
[0096] 空判定部 17は、先ず、各画像片に含まれる複数の画素の色相 H、明度 L及び彩度 Sの平均値及び分散値を算出する (ステップ S41)。算出された平均値及び分散値は 、記憶装置 21の作業領域に記憶される。続いて、判定対象となる 1つの画像片及び その 8近傍の画像片（即ち、判定対象となる 1つの画像片の周辺に位置する 8つの画 像片）の各々の全ての画素についての平均値及び分散値が、記憶装置 21の作業領 域力も読み出される (ステップ S42)。判定対象となる画像片は、例えば、風景画像に おける上方、典型的には上半分に位置する画像片である。判定対象となる画像片毎 にステップ S42からステップ S45の一連の動作が繰り返される。
[0097] 尚、画像片に対応する画像片データの色情報が RGB系の色情報である場合、この 色情報は、色相、彩度及び明度 (即ち輝度)をパラメータとする表色系の色情報、例 えば HLS系の色情報に変換される。
[0098] 続いて、空判定部 17は、判定対象となる 1つの画像片及びその 8近傍の画像片の 全ての明度 Lの分散値が 10以下か否かを判定する (ステップ S43)。判定対象となる 1つの画像片及びその 8近傍の画像片の全ての明度 Lの分散値が 10以下のときに は (ステップ S43： YES)、その判定対象となる 1つの画像片に含まれる風景の一部は 「空」であると判定する (ステップ S44)。即ち、判定対象の画像片は、「空」の画像片 であると判定する。「空」と判定された結果は、記憶装置 21の作業領域に記憶される 。続いて、空判定部 17は、判定対象とすべき全ての画像片についてステップ S42か らステップ S44の一連の動作を行つたかを判定する（ステップ S45)。判定対象とすべ き全ての画像片につ 、て判定して ヽな 、ときには (ステップ S45： NO)、次の画像片 につ 、て再びステップ S42からの動作を行う。
[0099] 一方、判定対象となる 1つの画像片及びその 8近傍の画像片のうちいずれかの明 度 Lの分散値が 10より大きいときには (ステップ S43 :NO)、空判定部 17は、判定対 象とすべき全ての画像片につ 、てステップ S42からステップ S44の一連の動作を行 つたかを判定する (ステップ S45)。判定対象とすべき全ての画像片につ!/ヽて判定し て！ヽな 、ときには（ステップ S45： NO)、次の画像片につ 、て再びステップ S42から の動作を行う。
[0100] このようにステップ S41からステップ S44までの一連の動作によって、風景画像に含 まれる画像片のうち遠景判定処理により遠景と判定された画像片について、「空」の 画像片であるか否かが判定される。本実施例では、更に、空判定部 17は、空判定処 理の一部として、「空」の画像片であると判定された画像片に基づいて、以下に説明 する空模様判定を行う。
[0101] (空模様判定処理）
図 10において、判定対象とすべき全ての画像片について判定したときには (ステツ プ S45 : YES)、続いて空判定部 17は、空模様判定処理を行う（ステップ S46からス テツプ S48)。空模様判定処理は、風景画像の空模様を判定する処理である。
[0102] 空判定部 17は、先ず、「空」の画像片であると判定された画像片の色相 H、明度 L 及び彩度 Sの平均値に基づ 、て画像片毎の空模様を判定する (ステップ S46)。即ち 、空判定部 17は、先ず、「空」の画像片であると判定された画像片の色相 H、明度 L 及び彩度 Sの平均値を記憶装置 21の作業領域から読み出す。続いて、判定対象の 画像片の色相 H、明度 L及び彩度 Sの平均値が予め定められた判定条件を満たす か否かによって、空模様を判定する。画像片の空模様としては例えば「青空」、「白い 雲」、「黒い雲」、「夕焼け」及び「夜」等が設定される。判定条件は、例えば以下のよう に設定することができる。尚、色相 H、明度 L及び彩度 Sは、 0から 255の範囲で表し てある。
[0103] 画像片が「青空」と判定されるための判定条件は、色相 Hの平均値が 100以上 160 未満、且つ、明度 Lの平均値が 100以上 180未満、且つ、彩度 Sの平均値が 60以上 である。
[0104] 画像片が「白い雲」と判定されるための判定条件は、明度 Lの平均値が 180以上で ある。
[0105] 画像片が「黒い雲」と判定されるための判定条件は、明度 Lの平均値力 S180未満、 且つ、彩度 Sの平均値が 60未満である。
[0106] 画像片が「夕焼け」と判定されるための判定条件は、色相 Hの平均値が 0以上 50未 満又は 220以上 250以下、且つ、明度 Lの平均値が 180未満、且つ、彩度 Sの平均 値が 60以上である。
[0107] 画像片が「夜」と判定されるための判定条件は、明度 Lの平均値が 100未満である
[0108] 以上のような判定条件に基づいて、画像片毎に空模様を判定した後に、空判定部 17は、続いて、各空模様の画像片の数をカウントする (ステップ S47)。即ち、「青空」 と判定された画像片の数、「白い雲」と判定された画像片の数、「黒い雲」と判定され た画像片の数、「夕焼け」と判定された画像片の数及び「夜」と判定された画像片の 数が夫々カウントされる。各空模様の画像片の数は、記憶装置 21の作業領域に記憶 される。続いて、空判定部 17は、風景画像の空模様を判定する (ステップ S48)。即 ち、各空模様の画像片の数のうち最も多い数の空模様を、風景画像の空模様である と判定する。例えば、「青空」と判定された画像片の数が、「白い雲」、「黒い雲」、「夕 焼け」、「夜」等の他の空模様と判定された画像片の数の 、ずれよりも多 、場合には、 風景画像の空模様は「青空」であると判定する。
[0109] (空判定処理の第 1変形例）
上述した空判定部 17では、判定対象とする画像片を風景画像における上方 (典型 的には上半分）に固定しているが、判定対象とする画像片の領域を可変にしてもよい
[0110] 例えば、風景画像に写っている水平線 (或いは地平線)より上側に属する画像片を 空判定処理の判定対象としてもよい。この場合には、例えば、風景画像中における 道路の消失点を検出し、この消失点に基づいて水平線の位置を特定する。この場合 、道路の両縁に沿って伸びる線 (例えば白線)の延長線の交点を検出し、これを消失 点として用いることができる。
[0111] このように判定対象とする画像片の領域を決定することで、例えば、カメラの取り付 け方向や移動体の上下動によって撮影された風景画像の水平線の位置が上下する 場合であっても、一層高 、精度で空判定処理を行うことができる。
[0112] 或いは、カメラの傾きを検知する Gセンサ（或いは、加速度センサ）を用いることで風 景画像内の水平線を検出し、水平線より上側に属する画像片を空判定処理の判定 対象としてもよい。この場合にも、一層高い精度で空判定処理を行うことができる。
[0113] (空判定処理の第 2変形例）
上述した空判定処理よる画像片毎の空模様の判定結果に基づ!/、て、雲の形状を 判定してもよい。即ち、「青空」又は「夕焼け」と判定された画像片と「白い雲」又は「黒 い雲」と判定された画像片とが相隣接する境界を検出し、雲の形状を判定する。例え ば、まとまった「白い雲」の画像片と「青空」の画像片とが相隣接する境界が、風景画 像における上下方向に伸びている場合には、「入道雲 (又は、長い雲）」であると判定 することができる。或いは、例えば、「白い雲」の画像片と「青空」の画像片とが相隣接 する境界が、風景画像においてまだら状或いは波状である場合には、「うろこ雲 (又 はまだら雲）」であると判定することができる。
[0114] (空判定処理の第 3変形例）
上述した空模様判定処理にお!ヽて、画像片が「白い雲」と判定されるための判定条 件を明度 Lの平均値が 180以上 240未満とし、画像片が「白飛び」と判定されるため の判定条件を明度 Lの平均値が 240以上であるとしてもよい。この場合には、逆光に よって、空の画像が白飛びしてしまっていることを判定することができ、空模様判定処 理の精度を高めることができる。
[0115] (海判定処理）
次に海判定処理について、図 9に加えて、主に図 11を参照しながら説明する。ここ に図 11は、海判定処理の内容を示すフローチャートである。
[0116] 図 9において、風景解析装置 1は、空判定処理に続いて海判定処理を行う（ステツ プ S32)。海判定処理は、各画像片に対応する風景の一部が海であるか否かを判定 する処理である。海判定処理は、海判定部 18により行われる。海判定部 18は、主と して「空」の画像片よりも下側に位置する画像片につ 、て「海」であるか否かを判定す る。
[0117] 図 11に示すように、風景解析装置 1では、海判定処理において、ステップ S51から ステップ S58の一連の動作が行われる。
[0118] 海判定部 18は、先ず、空判定処理による空判定結果を記憶装置 21の作業領域か ら読み出す (ステップ S51)。この際、 1つの画像片が続くステップ S52による処理の 対象となる画像片として選択される。続いて、対象とする画像片が「空」の画像片より も下側に位置するか否かが判定される (ステップ S52)。対象とする画像片が「空」の 画像片よりも下側に位置しないときには (ステップ S52 :NO)、再びステップ S51に戻 り、次の画像片が選択される。対象とする画像片が「空」の画像片よりも下側に位置す るときには (ステップ S52 : YES)、続いて、海判定部 18は、各画像片に含まれる複数 の画素の色相 H、明度 L及び彩度 Sの平均値及び分散値を算出する (ステップ S53) 。算出された平均値及び分散値は、記憶装置 21の作業領域に記憶される。続いて、 判定対象となる 1つの画像片及びその左右の画像片の各々の全ての画素について の平均値及び分散値が、記憶装置 21の作業領域から読み出される (ステップ S54) 。続いて、判定対象となる画像片毎にステップ S54からステップ S57の一連の動作が 繰り返される。
[0119] 海判定部 18は、判定対象となる 1つの画像片及びその左右の画像片の全ての色 相 H、明度 L及び彩度 Sの平均値が予め設定された判定条件（「海判定条件」と呼ぶ )を満たす力否かを判定する (ステップ S55)。海判定条件は例えば以下のように設定 することができる。尚、色相 H、明度 L及び彩度 Sは、 0から 255の範囲で表してある。
[0120] 海判定条件は、色相 Hの平均値が「空」の画像片の色相 Hの平均値の範囲 ± 10以 内、且つ、明度 Lの平均値が「空」の画像片の明度 Lの平均値の最小値以下、且つ、 彩度 Sの平均値が 60以上である。
[0121] 以上のような海判定条件を満たすときには (ステップ S55： YES)、判定対象の画像 片は「海」の画像片であると判定される (ステップ S56)。ここで特に、海判定条件は、「 空」の画像片の色相 H及び明度 Lの平均値に基づ 、て設定されて!、るので、海が空 の色を反射して空の色よりも濃 、色であると 、う特徴と反映して、海判定処理によつ て画像片に含まれる風景の一部が「海」であることを精度よく判定することができる。 更に、海判定条件を満たす力否かは、判定対象の画像片に加えて、その左右に相 隣接する画像片についても判定されている。よって、海は左右に広がっているという 特徴を反映して、海判定処理によって画像片に含まれる風景の一部が「海」であるこ とを一層精度よく判定することができる。
[0122] 「海」と判定された結果は、記憶装置 21の作業領域に記憶される。続、て、海判定 部 18は、判定対象とすべき全ての画像片についてステップ S54からステップ S56の 一連の動作を行つたかを判定する (ステップ S57)。判定対象とすべき全ての画像片 につ 、て判定して ヽな 、ときには（ステップ S57： NO)、次の画像片につ 、て再びス テツプ S54からの動作を行う。
[0123] 一方、判定対象となる 1つの画像片及びその左右の画像片のうちいずれかの色相 H、明度 L及び彩度 Sの平均値が海判定条件を満たさないときには (ステップ S55 :N 0)、海判定部 18は、判定対象とすべき全ての画像片についてステップ S54からステ ップ S56の一連の動作を行つたかを判定する (ステップ S57)。判定対象とすべき全 ての画像片につ 、て判定して ヽな 、ときには (ステップ S 57： NO)、次の画像片につ V、て再びステップ S 54からの動作を行う。
[0124] 判定対象とすべき全ての画像片について判定したときには (ステップ S57 : YES)続 いて、海判定部 18は、「海」の画像片の数をカウントする (ステップ S58)。この際、「海 」の画像片の数力 予め設定された閾値 (例えば全画像片の数の 1Z5)以上である ときには、風景画像には海の見える風景が含まれていると判定する。
[0125] (山判定処理）
次に山判定処理について、図 9に加えて、主に図 12を参照しながら説明する。ここ に図 12は、図 5中の画像に対して山判定処理を行った結果を説明するための説明 図である。
[0126] 再び図 9において、風景解析装置 1は、海判定処理に続いて山判定処理を行う（ス テツプ S33)。山判定処理は、風景画像に対応する風景に山が含まれている力否か を判定する処理である。山判定処理は、山判定部 19により行われる。
[0127] 山判定部 17は、先ず、画像片に含まれる風景の一部が「稜線」である力否かを判 定する。例えば、風景画像の上方に位置する画像片について、空の色と判定できる 画素が 70%以上の場合には、その画像片を「空」と判定し、空の色と判定できる画素 が 30%未満の場合には、その画像片を「空以外」と判定する。更に、空の色と判定で きる画素が 30%以上 70%未満の場合であって、その画像片の上側の画像片が「空」 の画像片であり、下側の画像片が「空」以外の画像片であるときには、その画像片に 含まれる風景の一部は「稜線」であると判定する。即ち、その画像片を「稜線」の画像 片と判定する。ここで、空の色力否かの判定は、画素の色相 H、明度 L及び彩度 Sが 、上述した空判定手段における色相 H、明度 L及び彩度 Sの範囲に含まれているか 否かにより判定すればよい。
[0128] 続いて、山判定部 19は、「稜線」の画像片の数をカウントする。続いて、「稜線」の画 像片の数が、予め設定された閾値 (例えば 10)以上であるときには、風景画像には山 或いは山並みの見える風景が含まれて!/、ると判定する。
[0129] 図 12において、画像 56は、図 5中の画像 52に対して山判定処理と行った結果を 示している。画像 56には、「稜線」の画像片 57が 12個含まれている。よって、画像 56 は、山或いは山並みの見える風景であると判定される。
[0130] 続いて、山判定処理による山判定結果は、記憶装置 21の作業領域に記憶される。
[0131] (山判定処理の変形例）
上述した山判定処理において、風景画像における山並みの位置や稜線の形状に 基づいて山の名前を判定してもよい。或いは、稜線の起伏、山並みの距離、雪山や 紅葉等の季節情報などを検出してもよい。
[0132] 例えば、風景画像における山並みの位置は、「稜線」の画像片のうち風景画像にお ける最も上側に位置する画像片の位置として判定してもよい。また、左右方向の「稜 線」の画像片より上側にある「稜線」の画像片を山並みの頂上として複数判定してもよ い。
[0133] 例えば、稜線の形状は、左右方向に「稜線」の画像片を追従して特徴量として検出 して、山の名前を判定してもよい。例えば、頂上付近が平らで左右になだらかに稜線 が下がる形状を検出した場合には、風景画像に対応する山は、「富士山」であると判 定することができる。同様に、稜線の形状に特徴のある山並みをあら力じめ用意する ことで山の名称を判定することができる。
[0134] 例えば、稜線の起伏は、「稜線」の画像片を左右方向に追従し、その際の上下方向 の動きを特徴ィ匕することにより検出してもよい。また、急激な山並みやなだらかな山並 みを判定してもよい。
[0135] 例えば、山並みの距離は、上述の風景画像における山並みの位置における方法 により稜線の頂上を判定し、頂上の真下の画像片の距離を山並みの距離と判定して ちょい。
[0136] 例えば、雪山や紅葉などの季節情報は、上述の風景画像における山並みの位置 の判定により山並みの頂上を判定し、頂上の真下に対応する画像片の色情報を検 出し、白ければ雪山、赤やオレンジ色であれば紅葉と判定してもよい。
[0137] (夜景判定処理）
次に夜景判定処理について、図 9に加えて、主に図 13を参照しながら説明する。こ こに図 13は、画像片に対して夜景判定処理を行った結果を説明するための説明図 である。
[0138] 再び図 9において、風景解析装置 1は、山判定処理に続いて夜景判定処理を行う ( ステップ S34)。夜景判定処理は、風景画像に対応する風景に夜景が含まれている か否かを判定する処理である。夜景判定処理は、夜景判定部 20により行われる。
[0139] 夜景判定部 20は、風景画像に含まれる風景が「夜景」であるか否かを判定する。こ の際、空判定処理における空模様判定処理により「夜」と判定された画像片がー定数
(例えば 10)以上ある場合、「空」と判定された画像片以外の画像片が判定対象の画 像片となる。夜景判定部 20は、判定対象となる画像片に対して明度 Lについての 2 値化を行う。即ち、明度 Lの閾値 LOを予め設定し、画像片に属する各画素の明度が 、閾値 LO以上か否かを判定する。
[0140] 図 13において、画像片 58は、明度 Lについて閾値 LOで 2値化されており、閾値 LO 以上の画素は白塗りで表され、閾値 LOに未満の画素は右上がり斜線で表されてい る。
[0141] 続いて、夜景判定部 20は、閾値 LO以上の画素が相隣接してなる集合の数を、光 の粒の数としてカウントする。尚、周囲を閾値 LO未満の画素に囲まれた 1つの閾値 L 0以上の画素も加えて光の粒の数としてカウントしてもよ 、。
[0142] 図 13において、画像片 58は、閾値 LO以上の画素と判定された画素が相隣接して なる集合、即ち、光の粒 59が 11個含まれている。
[0143] 続いて、夜景判定部 20は、画像片に含まれている光の粒の数が予め設定された数
(例えば 10個）以上であるか否かを判定することにより、画像片に含まれる風景の一 部が「夜景」である力否かを判定する。即ち、光の粒が予め設定された数 (例えば 10 個）以上含んで!/、る画像片を「夜景」の画像片であると判定する。
[0144] 図 13において、画像片 58は、光の粒 59を 11個含んでいるので、「夜景」の画像片 であると判定される。
[0145] 夜景判定部 20は、上述した「夜景」の画像片である力否かの判定を風景画像に含 まれる判定対象となる画像片の全てについて順番に行う。
[0146] 続、て、夜景判定部 20は、「夜景」の画像片の数をカウントし、「夜景」の画像片が 予め設定された個数 (例えば 10個）以上である力否かを判定することにより、風景画 像力 ^夜景」である力否かを判定する。即ち、「夜景」の画像片が予め設定された個数 (例えば 10個）以上含んで 、る風景画像を「夜景」の風景画像であると判定する。尚 、風景画像に含まれる「夜景」の画像片の個数に応じて、夜景のレベルを判定しても よい。
[0147] 続いて、夜景判定処理による夜景判定結果は、記憶装置 21の作業領域に記憶さ れる。
[0148] (夜景判定処理の変形例）
上述した夜景判定処理にぉ 、て、「夜景」の画像片の風景画像における位置に基 づ 、て夜景の特徴を判定してもよ 、。
[0149] 例えば、「夜景」の画像片が風景画像の下半分に多く位置する場合には、その風景 画像の夜景を「眼下に広がる夜景」と判定し、「夜景」の画像片が風景画像の上半分 に多く位置する場合には、その風景画像の夜景を「遠くの街並みの夜景」と判定して ちょい。
[0150] (アクション処理）
再び図 2において、風景解析装置 1は、特徴判定処理に続いてアクション処理を行 う（ステップ S6)。アクション処理は、特徴判定処理 (即ち、空判定処理、海判定処理 、山判定処理及び夜景判定処理)の処理結果に基づいて風景画像を記憶装置の保 存領域に保存する処理である。或いは、アクション処理は、このような特徴判定処理 の結果に基づく風景画像の保存に加えて又は代えて、特徴判定処理の結果に基づ V、て所定種類のアクション (後述の各種変形例を参照）を実行する処理であってもよ い。
[0151] 図 2において、特徴判定処理が終了した後、風景解析装置 1は、空判定処理結果 、海判定処理結果、山判定処理結果及び夜景判定処理結果に基づいて、風景画像 が予め設定されたアクション条件を満たす力否かを判定する。アクション条件は、風 景画像に含まれる風景の特徴である。風景画像が予め設定されたアクション条件を 満たすときには、アクションとして、その風景画像を記憶装置 21の保存領域に保存す る。例えば風景画像に含まれる風景が「海が見えて遠くに山並みがあり空模様が快 晴であること」をアクション条件として満たすときには、その風景画像を記憶装置 21の 保存領域に保存する。尚、アクション条件を満たす場合に、カメラ 11を例えばデジタ ルカメラとして利用して自動的に写真を撮影し、記憶装置 21の保存領域に保存して もよい。よって、アクション条件としてどのような風景画像を撮影或いは保存したいか を設定することにより、走行中に自動的にアクション条件を満たす風景画像を保存す ることができる。更に、撮影に相応しい風景のある場所の位置を予め登録しておく必 要がなぐし力も、例えば空模様などによる風景の変化に応じて、利用者の希望する 風景画像を保存することが可能となる。
[0152] (アクション処理の第 1変形例）
上述したアクション処理において、空判定処理 (或いは空模様判定処理）による空 判定結果 (或いは空模様判定結果）に対するアクションとして、以下の処理を行って ちょい。
[0153] 例えば、空模様を通信機又は携帯電話によりサーバに送信し、リアルタイムの空模 様をサーバにて共有し複数の受信装置に配信してもよい。また、空模様の画像も同 時に送信してもよい。
[0154] 例えば、空模様に応じてカメラのモードを切り替えてもよい。例えば、晴天の場合に はカメラを撮影モードに切り替え、曇りの場合には非撮影モードに切り替えてもよい。 或いは、逆光などでは非撮影モードに切り替えてもよ 、。
[0155] 例えば、急激に「黒い雲」が増えた場合には、豪雨や雨、雹が降る可能性が高いた め、利用者に警告してもよい。また、印象的なシーンになる可能性もあるため、映像と して保存してもよい。或いは、空模様カゝら雨が降りそうと判定された場合には、走行の 目的地として水族館や美術館などの屋内で楽しめる施設を案内してもよい。或いは、 降車時には空模様を判定し、雨が降りそうと判定された場合は傘を持っていくよう〖こ 案内してもよい。
[0156] 例えば、「黒い雲」と判定された場合に、急激な光量の変化により雷を判定し、雷の 瞬間を撮影してもよい。
[0157] 例えば、「空」の画像片が円弧状に抜けている場合に、虹と判定し、撮影してもよい
[0158] 例えば、「夕焼け」と逆光による「白飛び」とが判定された場合に、「夕日の沈むシー ン」と判定して撮影してもよ ヽ。
[0159] 例えば、空模様判定結果に基づいて音楽を切り替えてもよい。例えば、「青空」の 場合にリズムの効 、た曲に切り替え、「黒 、雲」の場合に静かな曲に切り替えてもよ ヽ
[0160] 例えば、雲の形状を判定し、珍しい雲の場合に、その風景を撮影してもよい。 [0161] 例えば、空模様判定力も天気が良い場合に、カメラの向きを上に向けるように指示 してもよい。或いは、可動カメラにより自動で上に向き、風景画像の「空」の領域を増 やして撮影してもよい。
[0162] 例えば、逆光による「白飛び」と判定された場合に、可動カメラを逆光による「白飛び
」の画像片を避けるように動力してもよ!、。
[0163] 例えば、ドライブ中に「黒い雲」が前方力も迫ってくることが判定された場合に、目的 地をその方向力も逃れるように案内してもよ 、。
[0164] (アクション処理の第 2変形例）
上述したアクション処理にぉ 、て、海判定処理による海判定結果に対するァクショ ンとして、以下の処理を行ってもよい。
[0165] 例えば、海沿 、で海が見える道として地図情報に反映してもよ!/、。
[0166] 例えば、「海」の画像片の風景画像における位置に基づいて、海が見える方向（例 えば運転者から見て左側、右側、左右両側、正面等)を地図情報に反映してもよい。 このような地図情報を利用して、例えば車両の左側（或いは右側）に海が見える道を 選択することができ、運転者は対向車などに妨げられることなく海を見ながら走行で きる。或いは、例えば、助手席の人にとって見晴らしの良い道として、左側（或いは右 側）に海が見える道を経路案内することもできる。
[0167] 例えば、長時間又は長距離に亘つて海を含む風景であると続けて判定された場合 に、映像として撮影してもよい。
[0168] 例えば、「海」と判定された場合に、海方向に可動カメラを回転させてもよい。
[0169] 例えば、「海」と判定された場合に、海に合う音楽 (例えばサザンオールスターズ等） に切り替えてもよい。
[0170] (アクション処理の第 3変形例）
上述したアクション処理にぉ 、て、山判定処理による山判定結果に対するァクショ ンとして、以下の処理を行ってもよい。
[0171] 例えば、富士山や有名な山が見える道を案内してもよい。或いは、山が正面に見え る道を優先して案内してもよ 、。
[0172] 例えば、判定された山の名称を読み上げて観光案内を行ってもよい。 [0173] 例えば、遠くの山並みの季節の画像を収集してもよい。例えば、新緑、紅葉、雪山 などの画像を撮影し、同じ地点で撮影した画像をモニタに並べて表示してもよい。時 刻や場所情報と共にサーバへ送信して画像を収集してもよい。即ち、他人の撮影し た画像を利用してもよい。
[0174] (アクション処理の第 4変形例）
上述したアクション処理にぉ 、て、夜景判定処理による夜景判定結果に対するァク シヨンとして、以下の処理を行ってもよい。
[0175] 例えば、田舎道を走行中、突然の夜景が広がった瞬間を撮影してもよい。
[0176] 例えば、夜景のきれいな道を判定して地図情報に反映してもよい。
[0177] 例えば、夜景と同様の判定方法で花火を判定して撮影してもよい。
[0178] 例えば、夜景のきれいな地点の画像をサーバに収集し、昼間にその地点を通過し た際にサーノから夜景画像を取得して表示してもよい。
[0179] (アクション処理の第 5変形例）
上述したアクション処理において、空判定結果 (或いは空模様判定結果）、海判定 結果、山判定結果及び夜景判定結果のうち少なくとも 2つを組合せた結果に対する アクションとして、以下の処理を行ってもよい。
[0180] 例えば、空模様判定結果及び山判定結果に基づいて、山にかかった雲の形状に より天気を予測してもよい。例えば富士山にかかる雲の形状を空模様判定結果及び 山判定結果から判定し、天気を予測してもよい。
[0181] 例えば、海が見えて遠くに山並みがあり空模様が快晴の場合に高解像度モードに 切り替えて高画質の画像を保存してもよい。或いは、例えば、展望台などの一端停車 できる場所を検索して案内してもよ 、し、気に入って 、る音楽に切り替えてもよ 、。
[0182] 例えば、海や山並みが見える見晴らしの良い道において空模様が悪い場合に、空 模様が良 、場合の画像を例えばサーノから取得してモニタに表示してもよ!/、。このよ うにすれば、霧など空模様が悪いため、視界が悪く見晴らしの良さを堪能できなかつ た場合にも、モニタの画像を見ることで空模様が良い場合の風景をイメージすること ができる。
[0183] 再び図 2において、風景解析装置 1は、アクション処理に続いて、動作を継続する か否かを判定する。継続するときには (ステップ S7 : YES)、ステップ 1からの動作を 行う。継続しないときには (ステップ S7 :NO)、風景解析装置 1は動作を終了する。
[0184] 以上説明したように本実施例に係る風景解析装置によれば、例えば車載カメラによ る画像を解析し、画像中に含まれる風景の特徴を判定することができる。更に、どの ような風景画像を撮影或いは保存したいか等の条件を設定することにより、走行中に 自動的に条件を満たす風景画像を撮影或いは保存することができる。更に、撮影に 相応しい風景のある場所の位置を予め登録しておく必要がなぐし力も、例えば空模 様等による風景の変化に応じて、利用者の希望する風景画像を保存することが可能 となる。
[0185] 本発明は、上述した実施例に限られるものではなぐ請求の範囲及び明細書全体 力 読み取れる発明の要旨或いは思想に反しない範囲で適宜変更可能であり、その ような変更を伴う風景解析装置及び方法、並びにこれらの機能を実現するコンビユー タプログラムもまた本発明の技術的範囲に含まれるものである。 産業上の利用可能性
[0186] 本発明に係る風景解析装置及び方法は、例えば自動車に搭載されたカメラ等で撮 影された画像を解析することにより、画像中に含まれる風景の特徴を判定する風景解 析装置等に利用可能である。また、例えば民生用或いは業務用の各種コンピュータ 機器に搭載される又は各種コンピュータ機器に接続可能な風景解析装置にも利用 可能である。

Claims

請求の範囲
[1] 複数の風景画像を取得する風景画像取得手段と、
前記複数の風景画像の各々を複数の画像片に分割する画像分割手段と、 前記風景画像に対応する風景のうち、前記複数の画像片の各々に対応する前記 風景の一部が遠景であるか否かを判定する遠景判定手段と
を備えることを特徴とする風景解析装置。
[2] 前記複数の画像片の各々に対応する前記風景の一部までの距離を算出する距離 算出手段を更に備え、
前記遠景判定手段は、前記算出された距離に基づいて前記風景の一部が遠景で ある力否かを判定することを特徴とする請求の範囲第 1項に記載の風景解析装置。
[3] 前記遠景と判定された前記風景の一部に対応する前記画像片について、前記風 景の一部が空、海、山及び夜景のうち少なくとも一つに該当する力否かを判定する 特徴判定手段を更に含むことを特徴とする請求の範囲第 1又は 2項に記載の風景解 析装置。
[4] 前記特徴判定手段は、前記複数の画像片のうち、前記風景画像の上方に位置す る画像片について、該上方に位置する画像片に含まれる複数の画素の明度の分散 値から、前記風景の一部が空であるか否かを判定する空判定手段を含むことを特徴 とする請求の範囲第 3項に記載の風景解析装置。
[5] 前記特徴判定手段は、前記空と判定されなかった画像片について、前記空と判定 された画像片に含まれる複数の画素の平均色相及び平均彩度に基づ 、て、前記風 景の一部が海である力否かを判定する海判定手段を含むことを特徴とする請求の範 囲第 4項に記載の風景解析装置。
[6] 前記特徴判定手段は、前記空と判定されなかった画像片のうち、前記空と判定され た画像片に隣接する画像片の各々について、色の性質を分析することにより空と空 でない風景の境界を検出することで、前記風景に山が含まれるか否かを判定する山 判定手段を含むことを特徴とする請求の範囲第 4項に記載の風景解析装置。
[7] 前記特徴判定手段は、前記複数の画像片の各々について、所定値の明度を基準 として画素の 2値ィ匕を行うことにより区別される複数の画素群のうち、前記基準よりも 高い方に区別された前記画素群の数に基づいて、前記風景の一部が夜景であるか 否かを判定する夜景判定手段を含むことを特徴とする請求の範囲第 3項に記載の風 景解析装置。
[8] 前記特徴判定手段による特徴判定結果に応じて、前記風景画像を保存する風景 画像保存手段を更に備えることを特徴とする請求の範囲第 3項に記載の風景解析装 置。
[9] 前記空判定手段は、空であると判定した前記風景の一部の空模様を判定すること を特徴とする請求の範囲第 4項に記載の風景解析装置。
[10] 複数の風景画像を取得する風景画像取得工程と、
前記複数の風景画像の各々を複数の画像片に分割する画像分割工程と、 前記風景画像に対応する風景のうち、前記複数の画像片の各々に対応する前記 風景の一部が遠景であるか否かを判定する遠景判定工程と
を備えることを特徴とする風景解析方法。
[11] 請求の範囲第 1項に記載の風景解析装置としてコンピュータを機能させることを特 徴とするコンピュータプログラム。
PCT/JP2006/316023 2005-09-07 2006-08-14 風景解析装置及び方法 WO2007029454A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP06796413A EP1939809A4 (en) 2005-09-07 2006-08-14 DEVICE AND METHOD FOR SCENE ANALYSIS
JP2007534295A JP4717073B2 (ja) 2005-09-07 2006-08-14 風景解析装置及び方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2005259130 2005-09-07
JP2005-259130 2005-09-07

Publications (1)

Publication Number Publication Date
WO2007029454A1 true WO2007029454A1 (ja) 2007-03-15

Family

ID=37835577

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2006/316023 WO2007029454A1 (ja) 2005-09-07 2006-08-14 風景解析装置及び方法

Country Status (3)

Country Link
EP (1) EP1939809A4 (ja)
JP (1) JP4717073B2 (ja)
WO (1) WO2007029454A1 (ja)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100104048A (ko) * 2009-03-16 2010-09-29 삼성전자주식회사 히스토그램 분석을 이용한 하늘 영상 분류 방법 및 장치
JP2011248508A (ja) * 2010-05-25 2011-12-08 Kyocera Corp 通信端末およびメール読み上げ方法
US8237792B2 (en) 2009-12-18 2012-08-07 Toyota Motor Engineering & Manufacturing North America, Inc. Method and system for describing and organizing image data
US8269616B2 (en) 2009-07-16 2012-09-18 Toyota Motor Engineering & Manufacturing North America, Inc. Method and system for detecting gaps between objects
JP2012217736A (ja) * 2011-04-13 2012-11-12 Sophia Co Ltd 遊技機
JP2013030183A (ja) * 2012-09-28 2013-02-07 Toyota Central R&D Labs Inc 環境認識装置及びプログラム
JP2013142929A (ja) * 2012-01-06 2013-07-22 Canon Inc 画像処理装置
CN111788573A (zh) * 2019-01-29 2020-10-16 深圳市大疆创新科技有限公司 移动平台的环境检测中的天空确定以及相关的系统和方法

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012170946A2 (en) 2011-06-10 2012-12-13 Flir Systems, Inc. Low power and small form factor infrared imaging
US10091439B2 (en) 2009-06-03 2018-10-02 Flir Systems, Inc. Imager with array of multiple infrared imaging modules
US9819880B2 (en) 2009-06-03 2017-11-14 Flir Systems, Inc. Systems and methods of suppressing sky regions in images
US9143703B2 (en) 2011-06-10 2015-09-22 Flir Systems, Inc. Infrared camera calibration techniques
KR101778353B1 (ko) 2011-06-10 2017-09-13 플리어 시스템즈, 인크. 적외선 이미징 장치용 불균일성 교정 기술
WO2014100741A2 (en) * 2012-12-21 2014-06-26 Flir Systems, Inc. Systems and methods of suppressing sky regions in images

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000123164A (ja) * 1998-10-19 2000-04-28 Canon Inc 画像処理装置及びその方法
JP2001202525A (ja) * 1999-11-29 2001-07-27 Eastman Kodak Co 青い空を含む画像の向きを決定する方法
JP2003006799A (ja) * 2001-06-27 2003-01-10 Kawasaki Heavy Ind Ltd 航空機運航管理支援システム
JP2003198904A (ja) 2001-12-25 2003-07-11 Mazda Motor Corp 撮像方法、撮像システム、撮像装置、撮像制御サーバ、並びに撮像プログラム
JP2004028811A (ja) * 2002-06-26 2004-01-29 Fuji Heavy Ind Ltd 監視システムの距離補正装置および距離補正方法
JP2004120589A (ja) * 2002-09-27 2004-04-15 Canon Inc 信号処理装置、撮像装置、信号処理方法、プログラム、及びコンピュータ読み取り可能な記憶媒体

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5864342A (en) * 1995-08-04 1999-01-26 Microsoft Corporation Method and system for rendering graphical objects to image chunks
WO1998044739A1 (en) * 1997-03-31 1998-10-08 Sharp Kabushiki Kaisha Mosaic generation and sprite-based image coding with automatic foreground and background separation
US6166744A (en) * 1997-11-26 2000-12-26 Pathfinder Systems, Inc. System for combining virtual images with real-world scenes
JP3782239B2 (ja) * 1998-07-02 2006-06-07 富士写真フイルム株式会社 画像部品化方法及び画像部品化プログラムを記録した記録媒体
US6611622B1 (en) * 1999-11-23 2003-08-26 Microsoft Corporation Object recognition system and process for identifying people and objects in an image of a scene
US7868912B2 (en) * 2000-10-24 2011-01-11 Objectvideo, Inc. Video surveillance system employing video primitives
US7194134B2 (en) * 2001-01-02 2007-03-20 Microsoft Corporation Hierarchical, probabilistic, localized, semantic image classifier
EP1545135B1 (en) * 2002-09-26 2013-04-03 Seiko Epson Corporation Adjusting output image of image data

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000123164A (ja) * 1998-10-19 2000-04-28 Canon Inc 画像処理装置及びその方法
JP2001202525A (ja) * 1999-11-29 2001-07-27 Eastman Kodak Co 青い空を含む画像の向きを決定する方法
JP2003006799A (ja) * 2001-06-27 2003-01-10 Kawasaki Heavy Ind Ltd 航空機運航管理支援システム
JP2003198904A (ja) 2001-12-25 2003-07-11 Mazda Motor Corp 撮像方法、撮像システム、撮像装置、撮像制御サーバ、並びに撮像プログラム
JP2004028811A (ja) * 2002-06-26 2004-01-29 Fuji Heavy Ind Ltd 監視システムの距離補正装置および距離補正方法
JP2004120589A (ja) * 2002-09-27 2004-04-15 Canon Inc 信号処理装置、撮像装置、信号処理方法、プログラム、及びコンピュータ読み取り可能な記憶媒体

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
FUJITA R.: "Shasai Camera Eizo ni yoru Fukei Tokucho Kaiseki Gijutsu", FIT2005 DAI 4 KAI FORUM ON INFORMATION TECHNOLOGY IPPAN KOEN RONBUNSHU, vol. 3, 22 August 2005 (2005-08-22), pages 137 - 138, XP003009543 *
See also references of EP1939809A4

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100104048A (ko) * 2009-03-16 2010-09-29 삼성전자주식회사 히스토그램 분석을 이용한 하늘 영상 분류 방법 및 장치
KR101599873B1 (ko) 2009-03-16 2016-03-04 삼성전자주식회사 히스토그램 분석을 이용한 하늘 영상 분류 방법 및 장치
US8269616B2 (en) 2009-07-16 2012-09-18 Toyota Motor Engineering & Manufacturing North America, Inc. Method and system for detecting gaps between objects
US8237792B2 (en) 2009-12-18 2012-08-07 Toyota Motor Engineering & Manufacturing North America, Inc. Method and system for describing and organizing image data
JP2011248508A (ja) * 2010-05-25 2011-12-08 Kyocera Corp 通信端末およびメール読み上げ方法
JP2012217736A (ja) * 2011-04-13 2012-11-12 Sophia Co Ltd 遊技機
JP2013142929A (ja) * 2012-01-06 2013-07-22 Canon Inc 画像処理装置
JP2013030183A (ja) * 2012-09-28 2013-02-07 Toyota Central R&D Labs Inc 環境認識装置及びプログラム
CN111788573A (zh) * 2019-01-29 2020-10-16 深圳市大疆创新科技有限公司 移动平台的环境检测中的天空确定以及相关的系统和方法

Also Published As

Publication number Publication date
JPWO2007029454A1 (ja) 2009-03-26
JP4717073B2 (ja) 2011-07-06
EP1939809A1 (en) 2008-07-02
EP1939809A4 (en) 2010-05-26

Similar Documents

Publication Publication Date Title
JP4717073B2 (ja) 風景解析装置及び方法
US8305431B2 (en) Device intended to support the driving of a motor vehicle comprising a system capable of capturing stereoscopic images
US9405980B2 (en) Arrow signal recognition device
JP4275378B2 (ja) ステレオ画像処理装置およびステレオ画像処理方法
JP5820843B2 (ja) 周囲環境判定装置
CN104097565B (zh) 一种汽车远近光灯控制方法和装置
US8233054B2 (en) Scenery imaging apparatus, scenery imaging method, scenery imaging program, and computer-readable recording medium
JP5501477B2 (ja) 環境推定装置及び車両制御装置
WO2007111220A1 (ja) 道路区画線検出装置
WO2007000999A1 (ja) 画像分析装置および画像分析方法
JP5921983B2 (ja) 車載撮像装置
JP2012033149A (ja) 物体識別装置
JP6750519B2 (ja) 撮像装置、撮像表示方法および撮像表示プログラム
JP2007147564A (ja) 画像認識装置及び方法、並びに自車位置認識装置及び方法
JP2008225822A (ja) 道路区画線検出装置
JP2019146012A (ja) 撮像装置
JP2014106740A (ja) 車載用駐車枠認識装置
JP2014106739A (ja) 車載画像処理装置
US20200118280A1 (en) Image Processing Device
KR101511586B1 (ko) 터널 인식에 의한 차량 제어장치 및 제어방법
JP2016166794A (ja) 画像作成装置、画像作成方法、画像作成装置用プログラム、および、画像作成システム
JPH07146137A (ja) 車間距離計測装置
KR20160069034A (ko) 헤드업 디스플레이 정보의 밝기 제어 장치 및 방법
JP4398216B2 (ja) 情報表示装置および情報表示方法
JP4818027B2 (ja) 車載画像処理装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application
DPE1 Request for preliminary examination filed after expiration of 19th month from priority date (pct application filed from 20040101)
ENP Entry into the national phase

Ref document number: 2007534295

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2006796413

Country of ref document: EP