WO2007029455A1 - 風景単調度演算装置及び方法 - Google Patents

風景単調度演算装置及び方法 Download PDF

Info

Publication number
WO2007029455A1
WO2007029455A1 PCT/JP2006/316024 JP2006316024W WO2007029455A1 WO 2007029455 A1 WO2007029455 A1 WO 2007029455A1 JP 2006316024 W JP2006316024 W JP 2006316024W WO 2007029455 A1 WO2007029455 A1 WO 2007029455A1
Authority
WO
WIPO (PCT)
Prior art keywords
landscape
image
monotonicity
classification
computing device
Prior art date
Application number
PCT/JP2006/316024
Other languages
English (en)
French (fr)
Inventor
Ryujiro Fujita
Original Assignee
Pioneer Corporation
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Pioneer Corporation filed Critical Pioneer Corporation
Priority to DE602006018338T priority Critical patent/DE602006018338D1/de
Priority to US12/066,118 priority patent/US20090231146A1/en
Priority to EP06796414A priority patent/EP1933277B1/en
Priority to JP2007534296A priority patent/JP4550116B2/ja
Publication of WO2007029455A1 publication Critical patent/WO2007029455A1/ja

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/40Analysis of texture
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/3453Special cost functions, i.e. other than distance or default speed limit of road segments
    • G01C21/3461Preferred or disfavoured areas, e.g. dangerous zones, toll or emission zones, intersections, manoeuvre types, segments such as motorways, toll roads, ferries
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3697Output of additional, non-guidance related information, e.g. low fuel level
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems

Definitions

  • the present invention relates to a landscape monotonicity calculation device and method for calculating the monotonicity of a landscape on a travel route of an automobile, for example, by analyzing a landscape image taken with a camera or the like mounted on the automobile, and to these
  • the present invention relates to a technical field of a computer program, a server, a recording medium, and a navigation device that realize the above functions.
  • Patent Document 1 discloses a technique for detecting a long-distance driving or long-distance driving as a monotonous driving and outputting a message for calling attention so as to wake you up.
  • Patent Document 1 Japanese Unexamined Patent Application Publication No. 2002-254955
  • the present invention has been made in view of the above-described problems, for example, a landscape monotonicity calculation device and method for calculating the monotonicity of a landscape of a travel route, and a computer program, a server, It is an object of the present invention to provide a recording medium and a navigation device.
  • the first landscape monotonicity calculation device includes an image acquisition unit that acquires an appearance image, and the appearance image acquired based on the appearance image acquired by the image acquisition unit.
  • Monotonicity calculating means for calculating the monotonicity of the corresponding landscape.
  • a landscape is mounted by a moving body, and when moving the moving body, for example, by a landscape acquisition camera including a camera or the like oriented in the moving direction.
  • An appearance image is acquired by photographing a landscape such as an object or an object aggregate.
  • the “appearance image” according to the present invention means an image representing the appearance or scenery of an object or a collection of objects, for example, the appearance of an artificial object such as a building or a vehicle, or a sea or mountain. Natural landscape images such as are included.
  • the image acquisition means may be a means for acquiring an external image stored in advance or generated by accessing an external server through a communication line in addition to photographing by a camera or the like.
  • the monotone degree of the landscape corresponding to the appearance image is calculated by the monotone degree calculation means based on the acquired appearance image.
  • “monotonicity” according to the present invention means a monotonic degree with respect to time or position. More specifically, “calculating the monotonicity based on the appearance image” according to the present invention means calculating the monotonicity according to the time change or the small position change of the appearance image. The smaller the change in time or position, the greater the monotonicity. Conversely, the greater the change in time or position, the smaller the monotonicity.
  • the "calculate" according to the present invention is not limited to a preset time change or position even when the monotonicity is calculated according to a function that uses a time change or position change as a parameter.
  • the monotonicity is calculated according to a table showing the relationship between the change and the monotonicity.
  • the monotonicity is calculated based on the result of classifying the acquired appearance image into, for example, “forest”, “cityscape”, “forest”, and “open road” for each landscape feature corresponding to the appearance image.
  • the features of the landscape corresponding to the appearance image change over time in this order, such as “forest”, “cityscape”, “forest”, and “open road”, the feature corresponding to the appearance image is “forest”.
  • Lower monotonicity is calculated than when time-series changes are made in this order, such as “”, “cityscape”, “forest”, and “forest”.
  • the monotonicity obtained by the monotonicity calculating means is obtained by, for example, providing a certain threshold. It is possible to determine whether or not the scenery corresponding to the displayed appearance image is monotonous, in other words, for example, whether or not the travel route of the moving object is monotonous. For example, when the monotonicity is expressed in the range of 0 to 100 and the monotonicity is 80 or more, it can be determined that the travel route of the moving body is monotonous. When it is determined that the travel route is monotonous, for example, an alarm is output, and the change of the environment is given to the driver, so that drowsiness can be removed. Alternatively, it is possible to prevent passengers from getting bored of being in the moving body by changing music, video, etc. in the moving body.
  • the second landscape monotony computing device of the present invention acquires landscape images in order with respect to time, or acquires landscape images in order of one end force of a route.
  • a landscape image acquisition unit including a camera or the like mounted on a moving body and oriented in the moving direction when the moving body moves, for example, a landscape
  • a landscape image is acquired by photographing a landscape such as an object or an object aggregate.
  • the landscape images are acquired in order with respect to time or in order from one end of the route.
  • “in order with respect to time” according to the present invention means periodically or irregularly, or intermittently at constant or fixed time intervals, in other words, in time series.
  • the one end force of the path is also in order” according to the present invention means intermittently apart from a fixed or fixed distance.
  • a landscape image is acquired, for example, every certain time (for example, 5 seconds) or every time the moving body moves by a certain distance (for example, 50 m).
  • the acquired landscape image is stored in a storage medium such as an external hard disk or an internal hard disk.
  • Each of the acquired landscape images is classified into any one of a plurality of preset landscape categories by the landscape image classification means.
  • a plurality of preset landscape classifications is an item set in advance, for example, by setting in a factory or by a user operation, for indicating features of a landscape corresponding to a landscape image.
  • the “multiple preset landscape classifications” are set to “forest”, “cityscape” and “open road”. It is.
  • others may be further set as “a plurality of preset landscape classifications”.
  • the classification result by the landscape image classification means is stored in a storage medium such as an external hard disk or an internal hard disk.
  • the monotonicity of the acquired landscape image is calculated by the monotonicity calculating means based on the temporal change or the positional change of the scenery classification thus classified. More specifically, “calculating monotonicity based on temporal change or positional change” according to the present invention means that monotonicity is calculated in accordance with the smallness of temporal change or positional change. Yes, the smaller the change in time or position, the greater the monotonicity. Conversely, the greater the change in time or position, the smaller the monotonicity.
  • the landscape classification changes in this order, such as “forest”, “cityscape”, “forest” and “open road”, the landscape classification is “forest”, “cityscape”, “ It is lower than the time-series changes in this order, such as “forest” and “forest”!
  • the monotonicity is calculated.
  • the monotonicity by the monotonicity calculating means for example, by setting a certain threshold value, whether or not the landscape corresponding to the landscape images acquired in order is monotonous, in other words, for example, the traveling of the moving object It can be determined whether the path is monotonous. For example, when the monotonicity is expressed in the range of 0 to 100 and the monotonicity is 80 or more, it can be determined that the traveling route of the moving body is monotonous. If it is determined that the travel route is monotonous, for example, an alarm is output and the driver is given an environmental change, so that sleepiness can be removed. Alternatively, it is possible to prevent passengers from getting bored of being in the moving body by changing music, video, etc. in the moving body.
  • the monotonousness computing means is configured to apply a predetermined number of landscape images acquired during or after a predetermined period. Counts the number of times the classified landscape classification has changed, counts the number of types of the classified landscape classification based on the predetermined number of landscape images, and counts the counted number and the number of types counted above. Based on the above, the monotonicity is calculated.
  • the classified wind is applied to a plurality of landscape images acquired in a predetermined period or a predetermined number of landscape images acquired in succession by the monotonicity calculating means.
  • the number of times the scene classification has changed is counted.
  • “the number of times the landscape classification has changed” means, for example, the number of times the scene classification changed from “forest” to a different landscape classification such as “cityscape”, for example, the landscape classification is “forest”, When changes occur in this order, such as “cityscape”, “forest”, and “open road”, “the number of times the landscape classification has changed” is “3”.
  • the counted number is stored in a storage medium such as a memory.
  • the number of types of classified landscape classifications (in other words, appearing as a result of classification) for a predetermined number of landscape images by the monotonicity calculation means
  • the total number of different landscape classifications is counted. For example, if the landscape classification changes in this order, such as “forest”, “cityscape”, and “forest”, the number of types of landscape classification is “forest” and “cityscape”. In this case, the “number of types of landscape classification” is “2”.
  • the counted number of types is stored in a storage medium such as a memory.
  • the monotone degree is calculated based on the counted number of times and the number of types counted by the monotone calculation means. For example, the larger the product of the number of times counted and the number of types counted, the smaller the monotonicity is. The number of times the product is counted and the value of the product of the number of types counted. Is done. That is, a monotone calculation formula by the monotone calculation means is, for example, as follows.
  • total number of landscape images means the number of landscape images for which monotonicity is to be calculated.
  • the “total number of types” means the number of a plurality of preset landscape classifications.
  • the plurality of preset landscape classifications are “forest”, “cityscape”, “open road” and “open road”. If it is “Other”, the total number of types is 4. “Others” may also be excluded from the total type power.
  • the number of times counted in equation (1) may be replaced with the number of times counted ⁇ 1 and the right side may be multiplied by 100.
  • the monotonicity is calculated by the monotonicity calculating means as described above, it is possible to calculate the monotonicity reflecting the monotone of the landscape corresponding to the landscape image. Therefore For example, by setting a certain threshold for the monotonicity, it is possible to determine whether the landscape corresponding to the landscape image is monotonous, in other words, for example, whether the travel route of the moving object is monotonous. .
  • the landscape image classification means sets the landscape images acquired in the order as a group of landscape images for each predetermined number of the order. Categorizing the landscape image group into any one of the preset plurality of landscape classifications based on the classified landscape classification of the landscape images included in the landscape image group, and The monotonicity calculating means counts the number of times the landscape classification into which the landscape image group is classified is changed for the predetermined number of landscape images acquired during or after the predetermined period, and the predetermined For a number of landscape images, the number of types of landscape classification into which the landscape image group is classified is counted, and the monotonicity is calculated based on the counted number of times and the counted number of types.
  • the landscape image classification means sets the acquired landscape images as a group of landscape images for every predetermined number of, for example, five in the order of acquisition. Furthermore, the landscape image group is classified into preset landscape classifications based on, for example, a landscape classification in which five landscape images included in one landscape image group are classified. For example, out of five landscape images included in one landscape image group, if four landscape classification powers ⁇ forest and one landscape classification are classified as "cityscape" by the landscape image classification means, the landscape The landscape classification of the image group is classified as “forest” by the landscape image classification means.
  • the monotonicity calculation means is configured to change the landscape classification in which the landscape image group is classified based on a predetermined number of landscape images acquired during or after the predetermined period. The number is counted. Further, for a predetermined number of landscape images, the number of types of scenery classification into which the landscape image group is classified is counted. Then, the monotonicity is calculated based on the counted number of times and the counted number of types.
  • the acquired landscape images are classified as a group of landscape images for every predetermined number. Change can be removed as noise. In other words, from a series of landscapes, for example, for the driver or passenger, it is actually felt that there is a change in the landscape. Such changes can be removed. Therefore, it is possible to calculate monotonicity with higher accuracy.
  • the landscape image acquisition means includes
  • photographing means for photographing a landscape corresponding to the landscape image.
  • an object, an object assembly, or a landscape such as a landscape is photographed by photographing means such as a camera or an in-vehicle camera. Therefore, it is possible to reliably acquire landscape images.
  • the photographing means may be a camera for taking a picture or a camera for taking a video (moving picture), that is, a video camera.
  • the landscape image acquisition means includes an object, an object assembly or a landscape corresponding to the landscape image in the landscape, and the photographing means.
  • An obstacle recognizing means for recognizing that the scenery is obstructed by an obstacle existing between them is provided.
  • the obstacle recognizing means causes the obstacle to approach the photographing means such as a camera or an in-vehicle camera, and the object corresponding to the landscape image, the object aggregate, or the scenery and the photographing means in the landscape. It is recognized that the scenery corresponding to the landscape image (that is, the object, the object aggregate, or the landscape) is obstructed by an obstacle existing between the scenes (that is, the scenery that does not correspond to the landscape image in the scenery).
  • the obstacle recognizing means examines the color of the photographed image, identifies the object included in the image, and examines the proportion of the object in the image.
  • the obstacle recognition means approaches the photographing means such as a camera or an in-vehicle camera, and the object is included in the scene to be photographed. It is recognized that an obstacle, an object assembly, or a landscape and an imaging means such as a power camera or an in-vehicle camera are obstructed. Therefore, whether or not the scenery to be photographed is properly captured by the obstacle recognizing means, for example, by the photographing means such as a camera or an in-vehicle camera, that is, the scenery that should correspond to the landscape image in the photographed image is appropriate. It can be determined whether it is included in. Recognizing that the scenery is blocked by obstacles in this way, for example, it is possible to remove local changes in the scenery classification that may occur due to obstacles as noise, It becomes possible to calculate monotonicity with higher accuracy.
  • the landscape image classification means applies a plurality of pieces of image pieces each obtained by dividing the landscape images acquired in order to each other.
  • Image segment classification means for classifying into any one of a plurality of landscape classifications, and a feature for judging the feature of the landscape included in the landscape image based on the image segment classification result by the image segment classification means
  • determining means for classifying the landscape images acquired in the order according to the determined characteristics.
  • each of the acquired landscape images is divided into a plurality of image pieces by the image piece classification means, and the image piece data corresponding to each of the plurality of image pieces is, for example, a node disk. Or the like.
  • the size of the landscape image is 1280 X 1024 pixels
  • the size of the image piece is desirably about 30 X 30 pixels.
  • the size of the image piece is desirably determined in consideration of the accuracy and processing speed of the feature judging means.
  • the edge portion of the landscape image may be excluded from the target cover of the image piece classification means.
  • each of the plurality of image pieces is classified into one of a plurality of landscape classifications by the image piece classification means.
  • the image piece classification result by the image piece classification means is stored in a storage medium such as a hard disk.
  • a feature determination process is performed by the feature determination unit to determine the feature of the landscape included in the landscape image based on the image segment classification result by the image segment classification unit.
  • Landscape features include, for example, naturalness and urbanity.
  • a feature judgment formula is used for the feature judgment processing.
  • the feature judgment formula is created in advance based on an experiment before product shipment and stored in a storage medium such as a hard disk. It should be noted that the feature judgment formula may be changed.
  • the feature determination formula is a formula for determining the feature of the landscape included in the landscape image.
  • a feature determination formula exists for each type of landscape feature included in a landscape image, for example, a natural degree or a city degree.
  • the feature judgment formula includes a naturalness judgment formula, a city degree judgment formula, etc. There are various formulas depending on the type of features, but these formulas have a common structure. In other words, there is a basic formula of the characteristic judgment formula, and a specific expression of this basic formula is, for example, a naturalness judgment formula, which is an urbanity judgment formula.
  • the basic formula of the feature judgment formula is as follows.
  • Feature of landscape (number of plus elements minus number of elements) Total number of Z judgment elements ...
  • the number of plus elements means that the feature of the landscape that is the target of feature judgment is strong. This is the number of image pieces having the image piece classification result that acts in the direction of cutting.
  • the number of negative elements is the number of image pieces having classification results that act in the direction of weakening the features of the landscape that is the target of feature determination.
  • the total number of judgment elements is the total number of image pieces having image piece classification results used for feature judgment.
  • the landscape images are classified into preset landscape classifications according to the characteristics determined by the feature determination means. For example, landscape images are classified according to the value of “landscape characteristics”.
  • the landscape image is set in advance according to the characteristics determined based on the classification result obtained by classifying each of the plurality of divided image pieces. Therefore, landscape images can be classified with high accuracy.
  • the image piece classification means includes a color analysis means for analyzing the color properties of each of the plurality of image pieces, and a fractal for each of the plurality of image pieces.
  • a fractal dimension analyzing means for performing a dimension analysis; and an artificial object amount recognizing means for recognizing the amount of the artificial object or artificial part included in each of the plurality of image pieces, and the color analysis result by the color analyzing means, Based on the result of fractal dimension analysis by the fractal dimension analysis means and the result of recognition of the quantity of the artifact or artificial part by the artifact quantity recognition means, each of the plurality of image pieces is included! / You may identify some types of landscapes and classify them based on the specified types.
  • the image piece classification means includes a color analysis means, a fractal dimension analysis means, and a human object amount recognition means, and each of the plurality of image pieces (that is, each image piece) includes: It is classified as follows.
  • the color properties are analyzed for each pixel in each image piece by the color analysis means.
  • the color information of the image piece data is RGB color information by the color analysis means.
  • the color information is converted by the color analysis means into color information of the color system using the hue, saturation and lightness as parameters, for example, HLS color information.
  • color analysis processing is still performed from the pixels included in the image piece, and one pixel that does not exist is selected by the color analysis means.
  • fractal dimension analysis is performed on the same image piece by the fractal dimension analysis means.
  • fractal dimension analysis fractal dimension values are obtained for each pixel piece.
  • the fractal dimension value is, for example, any value from 0.0 to 2.0.
  • the fractal dimension value is stored in a storage medium such as a node disk.
  • a well-known fractal dimension analysis method can be used for fractal dimension analysis.
  • the amount of the artificial object or the artificial part included in each image piece is recognized by the artificial object amount recognition means.
  • the edge component extending in the vertical direction in the image piece is extracted by the artifact amount recognition means.
  • the vertical edge component is an edge component extending in the direction perpendicular to the lower side of the image piece.
  • the extracted vertical edge component is binarized by the artifact amount recognition means.
  • the number of vertical edge components having a predetermined length or more that continuously extends is counted by the artifact amount recognition means. For example, the number of vertical edge components extending continuously from the lower end to the upper end of the image piece is counted.
  • a value indicating the number of vertical edge components having a predetermined length or longer continuously extending in the image piece is stored as, for example, an artifact amount count value in a storage medium such as a node disk.
  • the image piece classification means includes the image piece based on the color analysis result by the color analysis means, the fractal dimension analysis result by the fractal dimension analysis means, and the artifact amount recognition result by the artifact amount recognition means.
  • Some types of landscapes that have been identified Each image piece is classified based on the specified type. For example, “plants”, “sky”, “artifacts”, etc. are set as classification items for classifying the image pieces.
  • the classification result by the image piece classification means is stored in a storage medium such as a node disk. If the image fragment does not fit into any of the classification items, the image fragment is classified into the category “Other”.
  • the feature determination means determines the characteristics of the landscape included in the landscape image based on the image piece classification result by the image piece classification means. As an index that represents the characteristics of the landscape
  • the naturalness determination formula for determining the naturalness is, for example, as follows.
  • Naturalness (Number of plants and artifacts) Total number of Z judgment elements ... (3)
  • the total number of judgment elements the number of plants + the number of sky + the number of artifacts ... (4)
  • Equation (3) “the number of plants” is the number of image pieces whose classification result is “plants”, and “the number of artifacts” is the number of image pieces whose classification result is “artifacts”.
  • the classification results used for judging the natural level are “vegetables”, “sky”, and “artifact”, and the “total number of judgment elements” is the number of plants.
  • the naturalness value is any value between 1 and +1. It is 1 when the naturalness is the lowest, and +1 when the naturalness power is the highest.
  • a metropolitan degree determination formula for determining the urban degree is, for example, as follows.
  • Equation (5) the classification results used to determine the degree of time are “plants”, “sky”, and “artifacts”, so the total number of judgment elements is the number of plants, sky, and number of artifacts. And the total number.
  • the value of the metropolitan degree is any value between 1 and +1. It is -1 when the city is the lowest and +1 when the city is the highest.
  • the degree of opening may be determined.
  • the degree of openness generally indicates the degree to which the landscape around the road is opened by high trees and buildings around the road.
  • the formula for determining the degree of opening is as follows.
  • the value of the open path is any value between 1 and +1.
  • the open road force S is both low, sometimes 1 and the open road force S is the highest, sometimes +1.
  • the acquired landscape images are each classified by the landscape image classifying unit.
  • the predetermined landscape classification is “forest”, “cityscape”, “open road”, and “other”, for example, when the naturalness is equal to or greater than a predetermined value
  • the landscape image is “forest”.
  • the landscape image is classified as “townscape”, and when the degree of opening is equal to or greater than the predetermined value, for example, the landscape image is classified as “open road”.
  • the landscape image is obtained by dividing the color analysis result, the fractal dimension analysis result, and the amount of the artifact or the artificial part for each of the plurality of divided image pieces. According to the features determined based on the recognition result, the images are classified into preset landscape classifications, so that the landscape images can be classified with high accuracy.
  • the landscape monotonicity calculation method of the present invention acquires a landscape image in order with respect to time or a landscape image acquisition step in which the end force of a route is also acquired in order, and the acquisition in that order. Based on the landscape image classification process that classifies each of the landscape images into a V deviation of a plurality of preset landscape classifications, and the temporal or positional change of the classified landscape classifications! And a monotonicity calculating step of calculating the monotonicity of the landscape images acquired in the order.
  • the scenery monotonicity calculation method of the present invention can also adopt various aspects in response to the various aspects of the scenery monotonousness computing apparatus of the present invention described above.
  • a computer program of the present invention causes a computer to function as the above-described first or second landscape monotone degree computing device of the present invention.
  • the computer program of the present invention is stored. If the computer program is read from an information recording medium such as a ROM, CD-ROM, DVD-ROM, or hard disk and executed by the computer, or the computer program is downloaded to the computer via communication means. If executed later, the above-described first or second landscape monotonicity computing apparatus of the present invention can be realized relatively easily.
  • an information recording medium such as a ROM, CD-ROM, DVD-ROM, or hard disk
  • the computer program is downloaded to the computer via communication means. If executed later, the above-described first or second landscape monotonicity computing apparatus of the present invention can be realized relatively easily.
  • a computer program product in a computer-readable medium clearly embodies a computer-executable program instruction, and the computer is the above-described computer program according to the present invention. It functions as a 1 or 2 landscape monotonicity computing device (including various modes).
  • the computer program product of the present invention if the computer program product is read into a computer from a recording medium such as a ROM, CD-ROM, DVD-ROM, or hard disk storing the computer program product, or
  • the computer program product which is a transmission wave
  • the computer program product which is a transmission wave
  • the computer program product which is a transmission wave
  • the computer program product which is a transmission wave
  • the computer program product comprises a computer readable code (or computer readable instruction) that functions as the first or second landscape monotonicity computing device of the present invention described above.
  • the server of the present invention has map information reflecting the monotonicity calculated by the first or second landscape monotonicity computing device described above.
  • the map information reflecting the monotonicity calculated by the first or second landscape monotonicity computing device is accessed from the server or distributed from Sano, for example, a plurality of vehicles. Or it becomes available to the user and is very convenient.
  • the recording medium of the present invention has map information reflecting the monotonicity calculated by the first or second landscape monotonicity computing device described above.
  • map information reflecting the monotonicity calculated by the first or second landscape monotonicity computing device is accessed or distributed to the storage medium.
  • a plurality of vehicles or users can be used, which is very convenient.
  • the navigation device of the present invention is the first or the first described above.
  • Route guidance is performed based on the monotonicity calculated by the two landscape monotone computing devices.
  • route guidance according to the monotonicity of the route can be performed.
  • the monotonicity is displayed as color information.
  • the driver can visually confirm the monotonicity by the color information.
  • route guidance is performed based on the monotonicity and the driver's biological information.
  • the navigation device performs route guidance based on the driver's biological information in addition to monotonicity, route guidance suitable for the driver's health condition and the like is performed.
  • the “biological information of the driver” means information on the driver's body, such as the driver's heart rate, the driver's facial expression and surface temperature, or fatigue and sleepiness based on these.
  • the computer program of the present invention can also adopt various aspects in response to the various aspects of the first or second landscape monotone degree computing apparatus of the present invention described above.
  • the first landscape monotonicity computing apparatus of the present invention includes the image acquisition means and the monotonicity computation means, so that it is possible to compute the monotonicity of the landscape.
  • the second landscape monotonicity computing device of the present invention comprises landscape image acquisition means, landscape image classification means, and monotonicity computation means, it is possible to compute the monotonicity of the landscape, for example, It can be determined that the travel route is monotonous. For example, when it is determined that the travel route is monotonous, for example, an alarm is output and a change in the environment is given to the driver, so that a drowsy driving can be prevented. Alternatively, it is possible to prevent passengers from getting bored of being in the moving body by changing music, video, etc. in the moving body.
  • the landscape monotonicity calculation method of the present invention includes a landscape image acquisition step, a landscape Since the image classification step and the monotonicity calculation step are provided, it is possible to receive various benefits of the second landscape monotone degree calculation device of the present invention. Since the computer program of the present invention causes the computer to function as the first or second landscape monotonicity computing device of the present invention, if the computer program is read and executed by the computer, the first or second of the present invention will be described. The landscape monotonicity computing device can be realized relatively easily. Since the server of the present invention has map information reflecting monotonicity, it is very convenient that a plurality of users can use the map information, for example.
  • the storage medium of the present invention has map information that reflects monotonicity, it is very convenient because, for example, a plurality of users can use the map information. Since the navigation device of the present invention performs route guidance based on monotonicity, route guidance according to monotonicity is possible.
  • FIG. 1 is a block diagram showing a structure of a landscape monotone degree computing device according to a first embodiment.
  • FIG. 2 is a flowchart showing the operation of the landscape monotone computing device according to the first embodiment.
  • FIG. 3 is a flowchart showing details of landscape image acquisition processing.
  • FIG. 4 is an explanatory diagram showing a landscape image corresponding to the landscape image data.
  • FIG. 5 is a flowchart showing the contents of landscape image classification processing.
  • FIG. 6 is an explanatory diagram showing a state where the image in FIG. 4 is divided into image pieces.
  • FIG. 7 is a flowchart showing the contents of color analysis processing.
  • FIG. 8 is a flowchart showing the contents of artifact amount recognition processing.
  • FIG. 9 is an explanatory diagram showing a state where vertical edge components are extracted from an image fragment by the artifact amount recognition processing.
  • FIG. 10 is an explanatory diagram showing classification conditions used in image piece classification processing.
  • FIG. 11 is an explanatory diagram showing a result of image piece classification by image piece classification processing.
  • FIG. 12 is an explanatory diagram showing the relationship between a landscape image and a landscape image group.
  • FIG. 13 is a graph showing changes in landscape classification of landscape image groups.
  • FIG. 14 is a table showing the number of changes, number of types and monotonicity for each course in FIG.
  • FIGS. 1 to 14 a landscape monotonicity computing apparatus according to a first embodiment of the present invention will be described.
  • FIG. 1 is a block diagram showing the structure of the landscape monotonicity computing apparatus according to the first embodiment.
  • a landscape monotone calculation device 1 includes a camera 11, an input unit 12, an obstacle recognition unit 13 A landscape image classification unit 14, a monotonicity calculation unit 15, a storage device 16, a control unit 17, an information input unit 18, and an information display unit 19.
  • the camera 11 is an example of the “photographing means” according to the present invention.
  • the input unit 12 is an example of a part of the “landscape image acquisition unit” according to the present invention, and constitutes a part of the “landscape image acquisition unit” together with the camera 11.
  • the landscape monotonicity computing device 1 is desirably mounted on a moving object.
  • the landscape monotonicity computing device 1 may be incorporated in a car navigation device and installed in a vehicle.
  • only the camera of the components of the landscape monotonicity computing device 1 may be attached to the moving body, and a structure including the other components may be installed in a company, laboratory, observation station, or home room. In this case, the camera is connected to the structure provided in the room and the camera.
  • the camera 11 captures, for example, a landscape such as a landscape, an object, or an object aggregate that exists in front of the moving body in the traveling direction.
  • the camera 11 is preferably attached to the front of the moving body so that the front of the moving body can be photographed.
  • the camera 11 may be mounted near the front bumper or near the windshield of an automobile.
  • the camera 11 may be a digital camera or an analog camera.
  • the camera 11 may be a camera for taking a picture (still image) or a camera for taking a video (moving picture), that is, a video camera. In either case, the camera 11 is a camera capable of continuous shooting or continuous shooting.
  • the input unit 12 generates image data based on still image data or moving image data output from the camera 11.
  • the input unit 12 includes, for example, an input interface circuit, a control device for image processing, an arithmetic device, and the like.
  • An external input terminal 20 is provided in the input unit 12 so that an image input device other than the camera 11 can be connected, and image data based on still image data or moving image data output from the image input device other than the camera 11 is provided. It is good also as a structure which can produce
  • the camera 11 is an analog camera, an AZD converter (analog / digital converter) for converting an analog still image signal or moving image signal into digital still image data or moving image data is provided in the input unit 12.
  • an AZD converter analog / digital converter
  • the obstacle recognizing unit 13 approaches the camera 11 with the scenery to be photographed as the obstacle approaches the camera 11. Recognize that the obstacle is blocked by 1.
  • the landscape image classification unit 14 includes an image division unit 141, a color analysis unit 142, and a fractal dimension analysis unit 14.
  • Artifact amount recognition unit 144 image fragment classification unit 145, feature determination unit 146, and image determination unit 14
  • the landscape image classification unit 14 classifies each landscape image into one of a plurality of preset landscape classifications.
  • the image dividing unit 141 divides an image corresponding to image data into a plurality of image pieces.
  • the color analysis unit 142 analyzes the color properties of each image piece.
  • the fractal dimension analysis unit 143 performs fractal dimension analysis on each image piece.
  • the artifact amount recognition unit 144 recognizes the amount of artifacts or artificial parts included in each image piece.
  • the image fragment classification unit 145 is based on the color analysis result by the color analysis unit 142, the fractal dimension analysis result by the fractal dimension analysis unit 143, and the recognition result of the amount of the artifact or the artificial part by the artifact amount recognition unit 144. Then, a type of a part of the landscape included in each image piece is specified, and each image piece is classified based on this type. If the entire image corresponding to the image data is a single landscape, the image that is captured in each image fragment obtained by dividing the image corresponding to the image data is a part of the landscape. “Part of the landscape” has this meaning.
  • the feature determination unit 146 determines the overall features of the landscape included in the image corresponding to the image data based on the classification result by the image piece classification unit 145.
  • the image classification unit 147 classifies landscape images into landscape classifications based on the feature degrees by the feature determination unit 146.
  • the monotonicity calculation unit 15 includes a change count counting unit 151, a type count counting unit 152, and a calculation unit 153.
  • the monotonicity calculation unit 15 calculates the monotonicity in the time series of the landscape image based on the temporal change of the landscape classification classified by the landscape image classification unit 14.
  • the number-of-changes counting unit 151 counts the number of times the landscape classification has changed (that is, the number of changes).
  • the type count unit 152 counts the number of types of landscape classification.
  • the calculation unit 153 counts the number of changes and the number of types counted by the change count counting unit.
  • the monotonicity is calculated based on the number of types counted by the event unit 152.
  • the obstacle recognition unit 13, the landscape image classification unit 14, and the monotonicity calculation unit 15 are configured by, for example, a central processing unit, a multiprocessor, or a microcomputer.
  • the storage device 16 includes a work area for performing processing by each component of the landscape monotonicity computing device 1.
  • This work area includes, for example, image data extraction processing by the input unit 12, obstacle recognition processing by the obstacle recognition unit 13, image division processing by the image division unit 141, color analysis processing by the color analysis unit 142, and fractal Fractal dimension analysis processing by dimensional analysis unit 143, Artifact amount recognition processing by artifact amount recognition unit 144, Image piece classification unit 145 ⁇ Image piece classification processing, Feature judgment unit 146 Feature judgment processing, Change count counting unit 15 1 Is used for the number-of-changes counting process by the type, the number-of-types counting process by the number-of-types counting unit 152, the arithmetic processing by the computing unit 153, and the like.
  • the storage device 16 has a data storage area.
  • the data storage area stores classification condition information for use in image piece classification processing by the image piece classification unit 145, feature judgment formulas for use in feature judgment processing by the feature judgment unit 146, and the
  • the control unit 17 controls the operation of each component of the landscape monotone composition device 1.
  • the information input unit 18 allows an external force to be input for setting the scenery classification used in the scenery image classification process by the scenery image classification unit 14.
  • the information display unit 19 displays the result of the monotonicity calculation processing by the monotonicity calculation unit 15 and the like.
  • FIG. 2 is a flowchart showing the operation of the landscape monotonicity computing apparatus according to the first embodiment.
  • step S1 in the landscape monotonicity computing device 1, a series of operations from step S1 to step S9 is performed as described below.
  • FIG. 3 is a flowchart showing the contents of the landscape image acquisition process.
  • 4 is an explanatory view showing a landscape image corresponding to the landscape image data.
  • the landscape monotony computing device 1 performs a landscape image acquisition process (step Sl).
  • the landscape image acquisition process is mainly a process of taking a landscape (that is, a landscape or the like) with the camera 11 and storing landscape image data obtained by encoding a landscape image including the landscape to be photographed.
  • step S11 As shown in FIG. 3, in the landscape monotonicity computing device 1, a series of operations from step S11 to step S13 are performed in the landscape image acquisition process.
  • the landscape monotony computing device 1 first captures a landscape with the camera 11 (step Sl l).
  • the camera 11 captures a landscape existing ahead of the moving body in the traveling direction, and outputs still image data or moving image data obtained by encoding the landscape image to the input unit 12.
  • the input unit 12 acquires still image data or moving image data output from the camera 11, and generates image data based on the still image data or moving image data. That is, when the data output from the camera 11 is still image data, the input unit 12 acquires the still image data and outputs it as landscape image data to the work area of the storage device 16. On the other hand, when the data output from the camera 11 is moving image data, the input unit 12 acquires the moving image data, extracts one frame of data from the moving image data, and stores this as landscape image data. Output to the work area of device 16.
  • photographing of a landscape by the camera 11 is performed every predetermined moving distance (for example, 50 m) or predetermined moving time (for example, 5 seconds) of the moving body.
  • predetermined moving distance for example, 50 m
  • predetermined moving time for example, 5 seconds
  • the camera 11 is a camera for taking pictures
  • the shutter is cut at predetermined intervals.
  • shooting by the camera 11 is continuously performed while the moving body is moving.
  • one frame of data is extracted by the input unit 12 at predetermined intervals from the moving image data obtained in this way. That is, landscape image data is acquired in order with respect to time.
  • a landscape image 51 in FIG. 4 shows an example of a landscape image corresponding to the landscape image data.
  • the landscape monotonicity computing device 1 stores the landscape image data obtained by shooting in the work area of the storage device 16 (step S 12).
  • the landscape monotonicity calculation device 1 determines whether or not the landscape is properly captured by the camera 11, that is, whether the landscape image is properly included in the landscape image corresponding to the landscape image data. Judge whether. This determination is made by the obstacle recognition unit 13. In other words, the obstacle recognizing unit 13 recognizes whether or not an obstacle approaches the camera 11 and the scenery (i.e., landscape) to be photographed and the camera 11 are blocked by the obstacle (step S13).
  • the fault recognition unit 13 checks the color of the landscape image corresponding to the landscape image data, identifies an object included in the landscape image, and examines the ratio of the object in the landscape image.
  • the ratio of the object in the landscape image exceeds a predetermined ratio
  • the obstacle recognizing unit 13 approaches the camera 11 so that the obstacle is close to the camera 11 while the obstacle is approaching. Recognize that it is blocked by. For example, when a car equipped with the camera 11 is running immediately after a bus or truck, the front of the car in the direction of travel is blocked by the rear surface of the bus or truck. When shooting is performed in such a situation, the rear surface of the bus or the truck is entirely shown in the landscape image corresponding to the scenery image data. In such a case, the obstacle recognizing unit 13 recognizes that an obstacle approaches the camera 11 and that the scenery and the camera 11 to be photographed are blocked by the obstacle.
  • Step S13 the landscape monotonicity computing device 1 captures the landscape etc.
  • the scenery image data obtained by this photographing is stored in the work area of the storage device 16 as scenery image data in place of the scenery image data obtained in the previous photographing.
  • step S13 When the scenery to be photographed and the camera 11 are not obstructed by the obstacle and the scenery is properly photographed by the power camera 11 (step S13: NO), the scenery image acquisition processing is performed. Ends. Note that position information indicating the shooting position of the camera 11, time information indicating the shooting date and time, and the like may be stored in association with the landscape image data.
  • FIG. 5 is a flowchart showing the contents of the landscape image classification process
  • FIG. 6 is an explanatory diagram showing a state in which the image in FIG. 4 is divided into image pieces.
  • the landscape monotonicity calculation device 1 performs the landscape image acquisition processing following the landscape image acquisition processing.
  • Image classification processing is performed (step S2).
  • the landscape image classification process is a process of classifying a landscape image corresponding to the landscape image data acquired by the landscape image acquisition process into a predetermined landscape classification.
  • step S21 to step S28 are performed in the landscape image classification process.
  • the landscape monotonicity computing device 1 first performs image division processing (step 21).
  • the image division process is a process of dividing a landscape image corresponding to the landscape image data acquired by the landscape image acquisition process into a plurality of image pieces.
  • the image dividing process is performed by the image dividing unit 141. That is, the image dividing unit 141 divides the landscape image corresponding to the landscape image data stored in the work area of the storage device 16 into a plurality of image pieces, and the image piece data corresponding to each image piece is stored in the storage device 16. Store in the work area. For example, if the size of the landscape image corresponding to the landscape image data is 1280 X 1024 pixels, the size of the image fragment is preferably about 30 X 30 pixels.
  • the size of the image piece should be determined in consideration of the accuracy and processing speed of color analysis processing, fractal dimension analysis processing, artifact amount recognition processing, feature determination processing, and the like.
  • the image 52 in FIG. 6 is obtained by converting the image 51 in FIG. 4 into a plurality of image pieces 53, 53,
  • FIG. 7 is a flowchart showing the contents of the color analysis process.
  • the landscape monotonicity computing device 1 performs color analysis processing, fractal dimension analysis processing, and artifact amount recognition processing following the image segmentation processing (steps S22 to S24). Color analysis processing, fractal dimension analysis processing, and artifact amount recognition processing are performed for each image piece. The For example, color analysis processing, fractal dimension analysis processing, and artifact amount recognition processing are performed on one image piece, and then color analysis processing, fractal dimension analysis processing, and artifact amount recognition processing are performed on the next image piece. Such a process is repeated for all image pieces constituting the landscape image corresponding to the landscape image data. Note that the order of color analysis processing, fractal dimension analysis processing, and artifact amount recognition processing is not limited to the order shown in FIG.
  • the order of fractal dimension analysis processing, artifact amount recognition processing, and color analysis processing may be used.
  • color analysis processing is performed on all image pieces constituting the landscape image corresponding to the landscape image data
  • fractal dimension analysis processing is performed on all image pieces constituting the landscape image corresponding to the landscape image data.
  • the artifact amount recognition processing may be performed on all image pieces constituting the landscape image corresponding to the scenery image data.
  • the landscape monotony computing device 1 performs color analysis processing on one image piece.
  • the color analysis process is a process for analyzing the color properties of each image piece.
  • the color analysis process is performed by the color analysis unit 142.
  • the color analysis process is performed for each pixel in the image piece.
  • step S3 As shown in FIG. 7, in the landscape monotonicity computing device 1, a series of operations of step S3, power step S40 is performed in the color analysis processing.
  • the color analyzing unit 142 uses the color information of the color system using hue, saturation, and lightness as parameters. Color information, for example, HLS color information is converted (step S31).
  • the color analysis unit 142 performs color analysis processing from the pixels included in the image piece and selects one pixel that is not yet present (step S32).
  • the color analysis unit 142 determines whether the selected pixel has a power that satisfies the signboard criteria (signboard determination: step S33). That is, the color analyzing unit 142 determines that when the saturation of the color of the pixel exceeds a predetermined saturation reference value and the brightness of the color of the pixel exceeds a predetermined brightness reference value, Judge that it meets the signboard criteria. This determination is made based on the HLS color information of the pixel. When the pixel satisfies the signboard standard (step S33: YES), the color analysis unit 142 increases the signboard count value (step S34). After this, The color analysis unit 142 does not determine the green vision standard and the blue sky standard (steps S35 and 37), and moves the process to step S39.
  • signboard determination step S33. That is, the color analyzing unit 142 determines that when the saturation of the color of the pixel exceeds a predetermined saturation reference value and the brightness of the color of the pixel exceeds a predetermined brightness reference value, Judge that
  • step S35 determines whether or not the pixel satisfies the green vision standard. That is, when the hue of the pixel is in the green region, the color analysis unit 142 determines that the pixel satisfies the green vision standard. This determination is made based on the HLS color information of the pixel.
  • step S35 YES
  • the color analysis unit 142 increases the green vision count value (step S36). Thereafter, the color analysis unit 14 does not perform the determination of the blue sky reference (Step S37), and moves the process to Step S39.
  • step S35 When the pixel does not satisfy the green vision standard (step S35: NO), the color analysis unit 142 does not increase the green vision count value. Subsequently, the color analysis unit 142 determines whether or not the pixel satisfies the blue sky standard (blue sky determination: step S37). That is, the color analysis unit 142 determines that the pixel satisfies the blue sky criterion when the hue of the pixel is in the blue region. This determination is made based on the HLS color information of the pixel. When the pixel satisfies the blue sky standard (step S37: YES), the color analysis unit 142 increases the blue sky count value (step S38).
  • step S37 NO
  • the color analysis unit 142 does not increase the blue sky count value.
  • step S39 the color analysis unit 142 determines whether the signboard determination, green vision determination, and blue sky determination have been performed according to the flow of steps S33 to S38 for all the pixels in the image piece. Determine whether.
  • the color analysis unit 142 performs the process.
  • an unprocessed pixel for example, the next pixel
  • signage determination, green vision determination, and blue sky determination are performed for this pixel in accordance with the flow of steps S33 force and S38.
  • step S40 calculates the signage rate, the green vision rate, and the blue sky rate. That is, the color analyzing unit 142 calculates the signboard rate by dividing the signboard count value by the number of pixels of the image piece. In addition, the color analysis unit 142 calculates the green vision rate by dividing the green vision count value by the number of pixels of the image piece. Further, the color analysis unit 142 calculates the blue sky ratio by dividing the blue sky count value by the number of pixels of the image piece.
  • the calculated signage rate, green vision rate, and blue sky rate are stored in the work area of the storage device 16.
  • a counter for performing a billboard count, green vision count, and blue sky count is provided in the color analysis unit 142, for example. Further, the signboard count value, the green vision count value, and the blue sky count value are cleared immediately before the color analysis processing is executed for each image piece.
  • the landscape monotonicity computing device 1 performs the fractal dimension analysis process on the same image piece following the color analysis process (step S23).
  • the fractal dimension analysis process is a process for performing fractal dimension analysis on each image piece.
  • the fractal dimension analysis process is performed by the fractal dimension analysis unit 143.
  • a fractal dimension value is obtained for the image piece.
  • the fractal dimension value is, for example, any value from 0.0 to 2.0.
  • the fractal dimension value is stored in the work area of the storage device 16.
  • a well-known fractal dimension analysis method can be used for the fractal dimension analysis process.
  • FIG. 8 is a flowchart showing the contents of the artifact amount recognition processing
  • FIG. 9 is an explanatory diagram showing a state in which the vertical edge component is extracted from the image piece by the artifact amount recognition processing.
  • the landscape monotony computing device 1 performs an artifact amount recognition process for the same image piece (step S24).
  • the artifact amount recognition process is a process for recognizing the amount of artifacts or artificial parts included in each image piece.
  • the artifact quantity recognition process is performed by the artifact quantity recognition unit 144.
  • a series of operations from step S41 to step S43 are performed in the artifact amount recognition processing.
  • the artifact amount recognition unit 144 first extracts an edge component extending in the vertical direction in the image piece, that is, a vertical edge component (step S41). For example, when the lower side of the image piece coincides with the horizontal line in the photographed scene, the vertical edge component is an edge component extending in a direction perpendicular to the lower side of the image piece.
  • the artifact amount recognizing unit 144 binary-values the extracted vertical edge component (Step S1).
  • the artifact amount recognition unit 144 counts vertical edge components that are continuously extended and have a predetermined length or more (step S43). For example, the number of vertical edge components extending continuously from the lower end to the upper end of the image piece is counted.
  • FIG. 9 shows the vertical edge component in one image piece 54. In the image piece 54 shown in FIG. 9, there are three vertical edge components 54e in which the lower end force of the image piece continuously extends to the upper end!
  • a value indicating the number of vertical edge components having a predetermined length or longer continuously extending in the image piece is stored in the work area of the storage device 16 as an artifact amount count value.
  • the landscape monotonicity calculation device 1 displays the landscape image corresponding to the landscape image data. It is determined whether or not the color analysis process, the fractal dimension analysis process, and the artifact amount recognition process have been completed for all the image pieces constituting the image (step S25). All the image fragments that make up the landscape image corresponding to the landscape image data!
  • the landscape monotonicity calculation device 1 performs color analysis processing and fractal dimension analysis on the unprocessed image piece (next image piece). Processing and artifact amount recognition processing are performed.
  • FIG. 10 is an explanatory view showing the classification conditions used in the image piece classification process
  • FIG. 11 is an explanatory view showing the result of image piece classification by the image piece classification process.
  • image piece classification processing includes color analysis results (signboard rate, green vision rate, blue sky rate) obtained by color analysis means processing, fractal dimension analysis results (fractal dimension analysis values) obtained by fractal dimension analysis processing, and Based on the recognition result (artifact quantity count value) of the quantity of the artifact or artificial part obtained by the artifact quantity recognition process, the type of a part of the landscape included in each image piece is identified, and this type is specified.
  • Some types of landscape include, for example, vegetation, sky, and artifacts.
  • image fragment classification items such as “plants”, “sky”, “artifacts”, and “others” are included. Is set.
  • the image fragment classification process is performed by 145 pixels of the image fragment classification unit.
  • the classification condition information 55 is created in advance based on an experiment before product shipment and stored in the data storage area of the storage device 16.
  • the classification condition information 55 may be updated.
  • the image pieces included in one piece of image data are classified using the classification conditions described in the classification condition information 55 shown in FIG.
  • the image piece classification unit 145 reads the classification condition information 55 from the data storage area of the storage device 16. Subsequently, the image fragment classification unit 145 stores the signage rate, the green vision rate, the blue sky rate, the fractal dimension analysis value, and the artifact amount count value for one of the landscape image fragments included in the landscape image data in the storage device 16. The work area force is also read.
  • the image segment classification unit 145 combines the combination of the signboard rate, the green vision rate, the blue sky rate, the fractal dimension analysis value, and the artifact amount count value related to the image segment, and the classification condition described in the classification condition information 55. By comparison, it is determined whether or not the combination of the signage rate, the green vision rate, the blue sky rate, the fractal dimension analysis value, and the artifact amount count value relating to the image piece meets the classification condition. Subsequently, the image segment classification unit 145 determines the wind included in the image segment based on the determination result. A part of the scene type is specified, and the image piece is classified based on the type.
  • the green vision rate for the image fragment is high (eg, greater than 0.5), the blue sky rate is low (eg, 0.5 or less), the signage rate is low (eg, 0.5 or less), and the fractal dimension
  • the analysis value is high (for example, greater than 1.0) and the artifact amount count value is 0, some types of landscapes etc. included in the image fragment are identified as plants, and the image fragment is It is categorized into “Grass and Trees” and ⁇ ⁇ Image fragment category.
  • the green vision rate for the image fragment is low (eg 0.5 or less), the blue sky rate is high (eg greater than 0.5), the signage rate is low (eg 0.5 or less), and fractal dimension analysis
  • the value is low (for example, 1.0 or less) and the artifact count value power ⁇ , some types of landscapes etc. included in the image fragment are identified as empty, and the image fragment is Is classified into the image segment classification item.
  • the green vision rate for the image fragment is small (for example, 0.5 or less), the blue sky rate is small (for example, 0.5 or less), and the signage rate is large (for example, greater than 0.5),
  • Some types of scenery, etc. included in the image fragment are identified as artifacts, and the image fragment is classified into the image fragment classification item of artifacts.
  • the green vision rate for the image piece is low (eg 0.5 or less)
  • the blue sky rate is low (eg 0.5 or less)
  • the artifact amount count value is 1 or more.
  • Some types of landscapes, etc. are identified as artifacts, and the image fragments are classified as “artificial objects” and! / ⁇ ⁇ image fragment classification items.
  • the image piece classification result obtained by the image piece classification process is stored in the work area of the storage device 16. For example, if the image fragment classification result is “plant”, classification number 1; if it is “empty”, classification number 2; if “artifact” —classification number 3; , Image fragment
  • the classification result can be replaced with the classification number and stored.
  • the image chart 56 in Fig. 11 displays the image fragment classification result of each image fragment obtained by the image fragment classification process by changing the color for each image fragment classification result. This is because the image pieces 53 in the image 52 shown in FIG. 6 are classified using the classification condition information 55 shown in FIG. It is fruit. Comparing the image 52 in Fig. 6 with the image chart 56 in Fig. 11, the actual scenery shown in the image 52 and the image fragment classification result displayed in the image chart 56 are consistent. I understand that. For example, trees are shown on the left side of the image 52, and the image fragment classification result of “plants” is displayed on the left side of the image chart 56. In addition, the sky is shown above the image 52, and the image piece classification result of “sky” is displayed above the image chart 56.
  • a building is shown on the right side of the image 52, and the image fragment classification result of “artifact” is displayed on the right side of the image chart 56.
  • a road is shown below the image 52. Since it is judged that the road is not vegetation, sky, or man-made, the classification result of “Others” is displayed in the lower part of the image chart 56.
  • FIG. 5 the feature determination process will be described mainly with reference to FIGS. 5, 6, and 11.
  • FIG. 5 the feature determination process will be described mainly with reference to FIGS. 5, 6, and 11.
  • the landscape monotonicity computing device 1 subsequently performs the feature determination process (step S27).
  • the feature determination process is based on the image fragment classification result obtained by the image fragment classification process. This process determines the overall characteristics of the landscape included in the landscape image corresponding to the data.
  • the overall features of the landscape include, for example, naturalness, urbanism, and openness.
  • the feature determination process is performed by the feature determination unit 146.
  • a feature judgment formula is used for the feature judgment processing.
  • the feature judgment formula is created in advance based on an experiment before product shipment and stored in the data storage area of the storage device 16. It should be noted that the feature judgment formula can be changed.
  • the feature determination unit 146 first sums up the image piece classification results relating to the image pieces constituting the landscape image corresponding to one landscape image data. For example, among the image pieces constituting a landscape image corresponding to one landscape image data, the number of image pieces whose image piece classification result is “plant” (referred to as “the number of plants”), and the image piece classification result is “ The number of image pieces that are “empty” (referred to as “empty number”), the number of image pieces whose image piece classification result is “artifact” (called “number of people”), and the image piece classification result that is “ Count the number of image pieces that are “other”.
  • the feature determination unit 146 stores the total result of the image piece classification results in the work area of the storage device 16.
  • the feature judgment formula is a formula for judging the feature of the landscape included in the image.
  • a feature judgment formula exists for each type of landscape feature included in an image, that is, naturalness, urbanity, openness, etc.
  • the feature judgment formula for judging the natural degree is called the natural degree judgment formula
  • the feature judgment formula for judging the city degree is called the urban degree judgment formula
  • the feature judgment formula for judging the open degree It is called a way judgment formula that opened the formula.
  • the feature judgment formula includes various formulas such as a naturalness judgment formula, a city degree judgment formula, an openness judgment formula, etc., depending on the type of landscape feature included in the landscape image.
  • Each formula has a common structure.
  • a materiality judgment formula that embodies this basic formula is a city judgment formula, an openness judgment formula.
  • the basic formula of the judgment formula is as follows.
  • Feature of landscape (number of positive elements-number of negative elements) Total number of Z judgment elements ...
  • the number of positive elements is the feature of the scenery that is the target of feature judgment. This is the number of image pieces having image piece classification results that act in the direction of enhancement.
  • the number of minus elements is the number of image pieces having image piece classification results that act in the direction of weakening the features of the landscape that is the target of feature determination.
  • the total number of judgment elements is the total number of image pieces having image piece classification results used for feature judgment.
  • the number of plants is the number of positive elements
  • the number of artifacts is the number of negative elements.
  • the image segment classification results used for judging the naturalness are “vegetables”, “sky”, and “artifacts”. Therefore, the total number of judgment elements is the sum of the number of plants, the number of sky and the number of artifacts. is there.
  • the empty number is not the number of plus elements or the number of minus elements, but is included in the total number of judgment elements. That is, the naturalness determination formula is, for example, as follows.
  • the naturalness value can be any value between 1 and +1. It is 1 when the naturalness is the lowest, and +1 when the naturalness power S is the highest.
  • the image in Figure 11 When the naturalness of the image 52 in FIG. 6 is calculated based on the image piece classification result of each image piece shown in the G chart 56, it is as follows. In other words, in image chart 56, the number of plants is 30, the sky number is 28, and the number of artifacts is 20, so the naturalness is
  • the natural degree 0 is an intermediate value of the natural degree, if the natural degree is 0 and the evaluation is “moderate natural”, the natural degree 0.13 is evaluated as “moderate natural”, for example. be able to.
  • the number of artifacts becomes the number of positive elements
  • the number of plants becomes the number of negative elements
  • the empty number becomes the number of negative elements.
  • the image segmentation results used to determine the city level are “vegetables”, “sky”, and “artifacts”, so the total number of judgment elements is the sum of the number of plants, the number of sky and the number of artifacts. It is. That is, the metropolitan degree determination formula is, for example, as follows.
  • the metropolitan value is any value between 1 and +1.
  • the city level is the lowest, it is 1; when the city level is the highest, it is +1.
  • the naturalness of the image 52 in FIG. 6 is calculated based on the classification result of each image piece shown in the image chart 56 in FIG. 11, it is as follows. In other words, in Image Chart 56, the number of plants is 30, the number of sky is 28, the number of artifacts is 20,
  • the degree of openness generally indicates the degree to which the landscape around the road is open with high trees and buildings around the road.
  • image segment classification results used to determine the degree of openness are “vegetables”, “sky”, and “artifacts”, so the total number of judgment elements is the sum of the number of plants, the number of sky, and the number of artifacts. Is a number.
  • the number of artifacts is neither the number of positive elements nor the number of negative elements, but is included in the total number of judgment elements. That is, the judgment formula for the degree of opening is as follows: It is.
  • the value of the open path is any value between 1 and +1.
  • the open strength S is low, it is 1 and when the open strength S is the highest, it is +1.
  • the opening degree of the image 52 in FIG. 6 is calculated as follows. In other words, in Image Chart 56, the number of plants is 30, the sky number is 28, and the number of artifacts is 20.
  • the degree of openness is an intermediate value. If the degree of openness is 0, if the evaluation is that the scenery around the road is open moderately, the degree of openness is 0. 03 can be evaluated as, for example, “the scenery around the road is moderately open”.
  • the feature determination unit 146 reads the naturalness determination formula from the data storage area of the storage device 16 when determining the naturalness in the feature determination process, and determines the urbanity when determining the urbanity. When the judgment formula is read from the data storage area of the storage device 16 and the degree of opening is judged, the opened degree judgment formula is read out from the data storage area force of the storage device 16.
  • the feature determination unit 146 determines the number of image pieces having the image piece classification result necessary for performing the feature determination such as the naturalness determination, the urbanity determination, or the openness (aggregation result). ) Is read out from the working area force of the storage device 16.
  • the feature determination unit 146 converts the number of each image piece read from the work area of the storage device 16 into a feature determination formula (naturalness determination formula, urbanity determination formula, open degree determination formula, etc.). Fit and perform the operation.
  • the feature frequency indicating the feature of the landscape included in the landscape image corresponding to the single landscape image data to be determined is obtained. That is, the natural frequency indicating the naturalness of the landscape image corresponding to one landscape image data to be judged / scored, and the landscape image corresponding to one landscape image data to be judged
  • An opening degree indicating the degree of opening of the landscape image corresponding to one landscape image data subject to judgment or the degree of opening indicating the degree of downtown is obtained.
  • the natural frequency and city frequency of the image 52 in FIG. And the calculated path is 0.13, -0.49, and -0.03, respectively (see equations (4), (7), and (10)).
  • the feature frequency is a specific example of feature information.
  • the feature determination unit 146 stores the feature frequency, that is, the natural frequency, the city frequency, the opened route, and the like in the work area of the storage device 16. At this time, the feature determination unit 146 determines the feature frequency of the landscape included in the landscape image corresponding to the landscape image data to be determined, the position information indicating the shooting position of the landscape image, and the landscape. The image may be stored in association with time information indicating the shooting date / time of the image.
  • each image piece may be weighted according to the distance between a part of the landscape included in each image piece and the camera 11. In other words, the distance force between the camera 11 and a part of the landscape included in one image fragment.
  • the determination unit 146 may perform the feature determination process after making the weight for the image piece larger than the weight for the other image piece.
  • the landscape monotonicity computing device 1 subsequently performs image classification processing (step S28).
  • the image classification process is a process of classifying a landscape image corresponding to the scenery image data into a preset landscape classification based on the feature frequency obtained by the feature determination process.
  • the image classification process is performed by the image classification unit 147.
  • the landscape classification is an item for indicating the feature of the landscape corresponding to the landscape image, and is preset by, for example, setting at the factory or user operation, and is stored in the data storage area of the storage device 16. For example, “forest”, “cityscape”, and “open road” are set as landscape classifications. In order to classify scenery images that are not classified into these scenery classifications, “Other” may be further set.
  • the image classification unit 147 classifies the landscape image into the landscape classification according to the image classification condition based on the feature frequency regarding the scenery image corresponding to one landscape image data. For example, according to the image classification condition that the highest one of the feature frequencies (however, 0.5 or more) is classified into the landscape classification corresponding to that feature degree. Classify a scene image into a landscape classification. In other words, if the naturalness is the highest among a plurality of features related to the landscape image, it is classified as “forest”, and if the naturalness is the highest among the plurality of features related to the landscape image, it is classified as “cityscape”. If the degree of opening is the highest among a plurality of features related to the landscape image, it is classified as “open road”.
  • any of naturalness, urbanity, and openness is less than 0.5, it is classified as “Other”.
  • the scenery classification based on the feature frequency is as follows.
  • the natural frequency, the urban frequency and the open frequency of image 52 are 0.13, 1.049 and 0.03, respectively (see equations (4), (7) and (10)).
  • Image 52 is classified as “Other” because the degree, city degree, and open degree are all less than 0.5.
  • “along the sea”, “rice field”, “lined road”, etc. may be set.
  • the image classification unit 147 stores the image classification (namely, landscape classification) result by the image classification processing in the work area of the storage device 16.
  • the image classification results may be stored by replacing them with numbers, alphabets, symbols, etc.
  • FIG. 12 is an explanatory diagram showing the relationship between the landscape image and the landscape image group.
  • the landscape monotonicity calculation device 1 determines whether or not the number of landscape images necessary for the monotonicity calculation process described later is acquired and whether or not it is powerful (Ste S3).
  • step S3: NO the required number of landscape images has not been acquired
  • step S3: YES the necessary number of landscape images have been acquired
  • step S40 the landscape monotony computing device 1 performs preprocessing (step S40). In the preprocessing, the acquired landscape images are grouped into a group of landscape images every five, and the landscape image group is classified based on the landscape classification in which the landscape images included in one landscape image group are classified.
  • the most frequently classified landscape classification among the landscape classifications of the landscape images included in one landscape image group is set as the landscape classification of the landscape image group. That is, as shown in FIG. 12, the plurality of landscape images 58 to be processed are grouped as the Nth landscape image group in every five time series, and for example, the third landscape image group is the third landscape image group. Of the 5 landscape images 58 included in the landscape image group, 4 landscapes The category is “forest” (indicated by “a” in the figure), and one landscape classification is classified as “cityscape” (“b” in the figure) by the image classification process described above! The landscape classification of the three landscape images is classified as “forest”.
  • Such preprocessing can remove, for example, local changes in landscape classification that may occur when passing through an intersection in a forest (which can be classified as “cityscape”) as noise. That is to say, with a series of landscape powers, for example, it is possible to remove changes that are hardly felt for a driver or a passenger, for example, when there is actually a change in the landscape.
  • the landscape monotony computing device 1 performs the change count power count process and the type count process (step S5).
  • the number-of-changes counting process is a process for counting the number of times the scenery classification into which the scenery image group is classified is changed over a predetermined number of scenery images.
  • the change count counting process is performed by the change count counting section 151. For example, as shown in FIG. 12, when the landscape classification of the first landscape image group is “forest” and the landscape classification of the second landscape image group is “cityscape”, the change count counting unit 151 Count one. Note that a point in time when the landscape classification of the landscape image group changes in time series is called a landscape change point.
  • the number-of-types counting process is a process of counting the number of types of scenery classification into which a landscape image group is classified from a predetermined number of scenery images.
  • the kind count process is performed by the kind count unit 152.
  • the landscape classification of the first landscape image group is “forest”
  • the landscape classification of the second landscape image group is “cityscape”
  • the landscape classification of the third landscape image group is In the case of “forest”, the types from the first landscape image group power to the third landscape image group are counted as “2”.
  • Either the number-of-changes counting process or the number-of-types counting process may be performed first or may be performed simultaneously.
  • step S6 the landscape monotonicity computing device 1 performs monotonicity computing processing.
  • the monotonicity calculation process is a process of calculating the monotonicity based on the number of changes by the change count process and the number of types by the type count process.
  • the monotonicity calculation processing is performed by the calculation unit 153.
  • the monotonicity calculation process for example, the larger the product of the number of changes and the number of types, the smaller the monotonicity, and the smaller the value of the product of the number of changes and the number of types, the larger the monotonicity. That is, the monotonicity calculation formula by the monotonicity calculating means is, for example, as follows.
  • “Total number of landscape image groups” is calculated as monotonicity. This means the number of landscape image groups to be processed.
  • the “total number of types” means the number of a plurality of preset landscape classifications. For example, the plurality of preset landscape classifications are “forest”, “cityscape”, “open road”, In the case of “Other”, the total number of types is 4. “Other” may be excluded from the total number of types.
  • the monotonicity in the range from 0 to 100
  • the number of times counted in equation (11) may be replaced with the counted number—1 and the right side may be multiplied by 100.
  • FIG. 13 is a graph showing changes in the landscape classification of the landscape image group.
  • FIG. 14 is a table showing the number of changes, the number of types, and the monotonicity for each course in FIG.
  • the classification result 59 in FIG. 13 shows that landscape images are acquired by the landscape monotonicity calculation device 1 while the vehicle is running on four different courses (ie, course A, course B, course C, and course D).
  • the results of classification into landscape classification for each landscape image group are shown.
  • the horizontal axis is the landscape image group
  • the vertical axis is the landscape classification.
  • the landscape image group covers the first group landscape image group to the tenth group landscape image group, and the landscape classification is “forest”, “cityscape”, “open road” and “ “Other” is set.
  • course A is a course that continues to run in the forest, and all the landscape classifications of the first landscape image group to the tenth landscape image group are classified as "forest”.
  • Course B is a course that passes through the forest while traveling in the cityscape.
  • the landscape classification of the 3 landscape image groups and the 8th landscape image group to the 10th landscape image group is classified as “townscape”, and the landscape classification of the 4th landscape image group to the 7th landscape image group is classified as “forest”. ing.
  • Course C and Course D are courses that pass through forests, cityscapes, open roads, and so on. And “Other”.
  • FIG. 14 shows the number of changes, the number of types, and the monotonicity for the four courses in FIG.
  • the monotonicity of course A is calculated as follows from the above-described equation (11) (however, the left side is multiplied by 100 to express the monotonicity in the range of 0 to 100).
  • the monotonicity obtained by the monotonicity calculation process is stored in the work area of the storage device 16.
  • the landscape monotonicity computing device 1 determines whether or not the landscape image is monotonous (step S7). Whether the landscape image is monotonous or not is determined by monotonicity calculation processing. This is done by providing in advance a standard for monotonicity. For example, a certain threshold value is set in advance for the monotonicity, and if the threshold value is higher than the threshold value, it is determined that the series of landscape images is monotonous. For example, if the monotonicity threshold is set to 80, and the monotonicity is 80 or more, it is determined to be monotonous. That is, for example, in the course A to the course D described above with reference to FIG. 13 and FIG. 14, the course A and the course B are determined to be “monotonous” because the monotonicity is 80 or more. Course C and Course D are judged to be “not monotonous” because the monotonicity is less than 80.
  • step S9 When it is determined that the landscape image is not monotonous (step S7: NO), it is determined whether or not to continue the operation of the landscape monotone degree acquisition device (step S9). When continuing (Step S9: YES), start from Step 1. When the operation is not continued (step S9: NO), the landscape monotonicity computing device 1 ends its operation.
  • step S8 When it is determined that the landscape image is monotonous (step S7: YES), action processing is performed (step S8).
  • the action process is a process for preventing the driver from falling asleep due to high monotonicity, and is performed by the information display unit 19, for example.
  • the information display unit 19 displays warning information for the driver.
  • action processing for example, firing an alarm, changing the display method of the display device, guiding to other routes by car navigation, guiding where you can take a break, changing music, video, images, etc. Also good.
  • an action process that changes the environment of a driver or a passenger is desirable.
  • the action processing should be increased or decreased according to the monotonicity.
  • a car navigation device is a monotonous road when a route is set using car navigation or when the current position can be acquired in a free-running state without setting a route. If it is determined that the road will continue, information on the distance of the following monotonous route (for example, “Further monotonous road will continue for 5 km”, etc.), a rest area before traveling on the monotonous route, etc. Guidance, guidance to change the route that is currently running. In addition, guidance that includes changes in monotonicity on the route (for example, “There will be another 3km monotonous road, but after that it is not a monotonous road. Display ").
  • a route with low monotony may be planned, or a route with a landscape different from the currently traveling landscape may be guided. For example, when driving on a monotonous road followed by “forest”, the road is changed to a monotonous road followed by “cityscape”. This is effective because there is one change point. Further, after traveling for a certain time or after traveling a certain distance, the route may be guided in combination with information such as the driver's fatigue level.
  • a car navigation device or a computer to which a function thereof is applied performs route setting in consideration of monotonicity when performing route setting using map information reflecting monotonicity. For example, all monotonous routes among the routes to the destination are avoided. When traveling a certain distance on a monotonous route to the destination, try to avoid the monotonous route from the middle. Similarly, when driving on a monotonous route for a certain distance, guide the user to set a break point in the middle. In addition, when setting up a route using a toll road or expressway, if a monotonous road continues for a long time, the service area and parking area, etc., where you can take a break will be presented.
  • a car navigation device or a computer to which the function is applied selects a route search result to a destination from a plurality of candidates when setting a route using map information reflecting monotonicity.
  • it displays monotonicity in addition to time, distance, and toll road charges.
  • the total monotonicity on the route is calculated for each route and displayed so that it can be compared. Displaying the cumulative total monotonicity calculated for each section, or displaying the average value by dividing the sum of the monotonicities calculated for each section by the number of sections makes it easier to compare the monotonicity of each route.
  • “monotonous avoidance” may be displayed in the route search result to the destination. In the case of “monotonous avoidance”, it is possible to automatically set a resting point that avoids a monotonous route.
  • the car navigation device stores the past travel history of the moving body with reference to the position information, the route, the number of times of passage in a certain section, etc., and based on this travel history, the above monotonous
  • the value to be judged is variable. For example, for a route that travels for the first time, the value that is determined to be monotonous is 90, and for a route that has traveled several times, the value that is determined to be monotonous is 70.
  • the driver detected by the car navigation system using the camera's heart rate and camera If there is a means to measure biological information such as fatigue level and sleepiness based on facial expression and surface temperature, the car navigation system is already in a monotonous path when the fatigue level or sleepiness exceeds a certain threshold. When driving or when a monotonous road continues, it is judged that there is a high risk of dozing, and a route change or break point is guided.
  • the car navigation device may display the driver's fatigue level and sleepiness on the route with color information, icons, and the like while driving. This allows the driver to visually confirm that fatigue and drowsiness are increasing while driving on a monotonous route.
  • the car navigation device when the car navigation device has means for detecting a passenger, for example, a camera, a seat sensor, and a manual switch facing the inside of the vehicle, the car navigation device combines the detection result and the monotonicity calculation result. Action. For example, when a child's face is detected by a passenger, the child may be very bored with the outside scenery, so the value that is determined to be monotonous is set to 80-60.
  • the landscape monotonicity computing apparatus it is possible to compute the monotonicity reflecting the monotonousness of the landscape corresponding to the landscape image. Therefore, for example, by setting a certain threshold value for monotonicity, it is possible to determine whether the landscape corresponding to the landscape image is monotonous, in other words, for example, whether the travel route of the moving object is monotonous. .
  • the driver can be prevented from falling asleep by changing the environment according to the monotonicity.
  • monotonicity is also computed using only the landscape image acquired by the camera 11 or the like, but the monotonousness may be computed using information other than the image. That is, for example, information on the outside of the vehicle, the inside of the vehicle, or the vehicle may be acquired by an input sensor, and the monotonicity may be calculated using the acquired information. Also, multiple types of information acquired by the input sensor may be acquired simultaneously. Furthermore, the information acquired by the input sensor may be acquired simultaneously with the landscape image from the camera 11 or the like.
  • an image of the preceding vehicle is acquired in addition to the image of the image captured by the camera 11 or the like. Then, the monotonicity is calculated from the landscape image and the image of the preceding vehicle. In this case, for example, it is possible to determine that the scenery is almost invisible by the same preceding vehicle, in other words, that the scenery is almost invisible and only the same preceding vehicle is visible, so that the driving is monotonous.
  • an image of a road shape is acquired in addition to a landscape image to be captured from an image captured by the camera 11 or the like. Then, the monotonicity is calculated from the landscape image and the road shape image.
  • monotonicity is calculated only from a landscape image, even in a route where monotonicity is judged to be large, if the road shape has many curves, for example, it may be judged that monotonicity is small. it can.
  • an image of a road surface condition is acquired in addition to a landscape image to be captured from an image captured by the camera 11 or the like. Then, the monotonicity is calculated from the landscape image and the road surface condition image.
  • monotonicity in which only a landscape image is force-calculated, even on a route that is determined to have a large monotonicity, for example, the road surface is paved with a paved situation. If there are many changes in the situation, it can be determined that the monotonicity is small.
  • the monotonicity may be calculated using information such as the presence or absence of a building with existing map information power and road shape.
  • the above-mentioned landscape monotonicity computing device 1 may compute monotonicity using a landscape image stored in an external server in association with position information and time information.
  • GPS coordinates on the route for calculating the monotonicity are calculated from the map information.
  • a predetermined section such as a section connecting two intersections, a section of a certain distance on a national or prefectural road, or a section specified by a user is divided at a certain distance, and the position coordinates of each of the divided sections are set.
  • the most recent landscape image of a point is acquired from an external server. When multiple landscape images can be obtained, the data are read in the order of one end force of the section, and the monotonicity is calculated in the positional change.
  • the route can be set so as to avoid a monotonous road (that is, a route with a large monotonicity) when setting the route before traveling.
  • the landscape image is also associated with time information, for example, a monotonous degree according to the season in which the vehicle is traveling can be calculated before traveling. Since the monotonicity may change depending on the season, for example due to the autumn leaves and fallen leaves of an oak tree, the ability to calculate the monotonicity according to the season before driving is very effective in practice.
  • the monotonicity may be calculated using a landscape image stored in an external server in association with information on the direction taken on the route. In this case, it is possible to calculate monotonicity according to the landscape image in the traveling direction, and the accuracy of monotonicity is further improved.
  • the landscape monotonicity computing device 1 may collect landscape images taken by a plurality of moving objects and calculate the monotonicity using the so-called probe car principle.
  • the landscape monotonicity computing device 1 can obtain change information of monotonicity on the route by computing the monotonicity of each section on the route when traveling.
  • the landscape monotonicity computing device 1 may be incorporated in an external server, and the monotonicity may be computed by this server.
  • the section information specified by the user is transmitted to the server, the landscape image is read from the storage area by the server, the monotonicity is calculated, and only the monotonic calculation result is returned to the user.
  • the landscape monotonicity calculation device 1 when a landscape image is acquired by the camera 11 or the like, position information indicating the shooting position of the camera 11 and time information indicating the shooting date and time of the camera 11 are acquired.
  • the landscape image may be stored in the storage device 16 or an external server in association with the position information and time information. That is, the monotonicity calculated from the landscape image and the position information and time information may be stored in association with each other.
  • Such position information and time information can be acquired by using, for example, a GPS receiver.
  • information on the direction in which the landscape image was taken may also be associated and stored in the storage device 16 or an external server! /.
  • the landscape monotonicity computing device 1 may reflect the computed monotonicity on the map information and store this map information in an external server.
  • monotonicity in a range of 0 to: LOO is displayed as color information for each section on the map.
  • a section whose monotonicity is above a certain threshold for example, 80 or more
  • a color for example, red
  • a gradation based on a combination of the three primary colors R, G, and B may be used.
  • a section with low monotonicity is displayed as B
  • a section with intermediate monotonicity is represented as G
  • a section with high monotonicity is represented as R, using B-G and G-R gradations.
  • a monotonous route may be displayed in an easy-to-understand manner using characters, symbols, pictograms, or the like so as to call attention.
  • a route in which a section with a high degree of monotony continues continuously may be displayed with a change. For example, color information and text only on a route when a section with high monotony for 5 km or more continues. Character information or the like may be displayed.
  • the computed monotonicity is associated with time information, it can be used as time-series history information of monotonicity in the same Cf placement.
  • the map information may be recorded on a recording medium such as a disk or printed matter.
  • the monotonicity can be reflected in the map information output on a printed matter such as a commercially available map booklet, poster, or direction signboard.
  • the calculated monotonicity can be reflected in road signs such as "Following a monotonous road” as road information and road markings written on the road.
  • the above embodiments may be realized as a dedicated device configured integrally with hardware, or may be realized by causing a computer to read a program.
  • a program for operating the computer as a landscape image acquisition unit, a landscape image classification unit, and a monotonicity calculation unit is created.
  • the landscape monotonicity calculation apparatus and method according to the present invention analyze a landscape image taken by, for example, a camera mounted on an automobile, and thereby analyze the scenery on the travel route of the automobile.
  • the present invention can be used for a landscape monotone calculation device and method for calculating monotonicity, and a computer program, a server, a recording medium, and a navigation device that realize these functions. Further, the present invention can also be used for a landscape monotonicity calculation device that is mounted on or can be connected to various computer devices for consumer use or business use.

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Automation & Control Theory (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Navigation (AREA)
  • Image Analysis (AREA)
  • Instructional Devices (AREA)
  • Traffic Control Systems (AREA)

Abstract

 風景単調度演算装置は、外観画像を取得する画像取得手段と、画像取得手段により取得した外観画像に基づいて、外観画像に対応する風景の単調度を演算する単調度演算手段とを備える。

Description

明 細 書
風景単調度演算装置及び方法
技術分野
[0001] 本発明は、例えば自動車に搭載されたカメラ等で撮影された風景画像を分析する ことにより、自動車の走行経路における風景の単調度を演算する風景単調度演算装 置及び方法、並びにこれらの機能を実現するコンピュータプログラム、サーバ、記録 媒体及びナビゲーシヨン装置の技術分野に関する。
背景技術
[0002] 単調な経路を自動車で走行中に運転手が眠くなつたり、同乗者が飽きてしまったり することを防止するために、単調な経路を走行している際に警告を発する種々の技 術が提案されている。例えば特許文献 1では、長時間走行又は長距離走行を単調運 転として検出し、眠気を覚ますように注意を喚起するメッセージを出力する技術が開 示されている。
[0003] 特許文献 1:特開 2002— 254955号公報
発明の開示
発明が解決しょうとする課題
[0004] し力しながら、長時間走行や長距離走行であっても、例えば、変化に富んだ風景中 を走行する経路の場合、走行経路の単調度が高いとは言えない。つまり、長時間走 行や長距離走行は、運転者或いは同乗者の疲労度との関係は高いが、走行経路の 単調度との関係は低 、ため、高 、精度で単調度を演算することができな 、と 、う技術 的問題点がある。
[0005] 本発明は、例えば上述した問題点に鑑みなされたものであり、走行経路の風景の 単調度を演算する風景単調度演算装置及び方法、並びにこれらの機能を実現する コンピュータプログラム、サーバ、記録媒体及びナビゲーシヨン装置を提供することを 課題とする。
課題を解決するための手段
[0006] (風景単調度演算装置) 上記課題を解決するために、本発明の第 1の風景単調度演算装置は、外観画像を 取得する画像取得手段と、前記画像取得手段により取得した外観画像に基づ 、て、 前記外観画像に対応する風景の単調度を演算する単調度演算手段とを備える。
[0007] 本発明の第 1の風景単調度演算装置によれば、例えば移動体に搭載され、該移動 体の移動時に、移動方向に向けられたカメラ等を含む画像取得手段によって、例え ば景観、物体又は物体集合体等の風景を撮影することにより外観画像が取得される 。ここで本発明に係る「外観画像」とは、物体又は物体の集合体等の外観或いは風 景を表した画像を意味し、例えばビルや車両等の人工物の外観或!、は海や山等の 自然の風景の画像が含まれる。画像取得手段としては、カメラ等による撮影の他、外 部のサーバに通信回線を通じてアクセスし、予め蓄積或 、は生成された外観画像を 取得する手段であってもよ 、。
[0008] 次に、単調度演算手段によって、取得された外観画像に基づいて、外観画像に対 応する風景の単調度が演算される。
[0009] ここで本発明に係る「単調度」とは、時間又は位置に対する単調の度合と 、う意味 である。本発明に係る「外観画像に基づいて、単調度を演算する」とは、より具体的に は、外観画像の時間変化又は位置変化の小ささに応じて単調度を演算するという意 味であり、時間変化又は位置変化が小さい程、単調度は大きいことになり、逆に、時 間変化又は位置変化が大きい程、単調度は小さいことになる。
[0010] また、本発明に係る「演算する」は、予め設定された、時間変化又は位置変化をパ ラメータとする関数に従って、単調度を演算する場合も、予め設定された、時間変化 又は位置変化と単調度との関係を示すテーブルに従って、単調度を演算する場合も 含む。例えば、取得された外観画像を例えば外観画像に対応する風景の特徴毎に 例えば「森林」、「街並み」、「森林」及び「開けた道」に分類した結果に基づいて単調 度を演算する。外観画像に対応する風景の特徴が「森林」、「街並み」、「森林」及び「 開けた道」のようにこの順で時系列的に変化した場合は、外観画像に対応する特徴 が「森林」、「街並み」、「森林」及び「森林」のようにこの順で時系列的に変化した場合 よりも低い単調度が演算される。
[0011] 単調度演算手段による単調度に対して、例えば、ある閾値を設けることにより、取得 された外観画像に対応する風景が単調であるかどうか、言い換えれば、例えば移動 体の走行経路が単調であるがどうかを判定することができる。例えば、単調度を 0から 100の範囲で表し、単調度が 80以上である場合には、その移動体の走行経路は単 調であると判定することができる。走行経路が単調であると判定された場合には、例 えば、警報を出力し、運転者に対して環境の変化を与えることにより、眠気を追い払う ことができる。或いは、移動体内での音楽、映像等を変更することにより、移動体内に いることに同乗者が飽きてしまうことを防止することができる。
[0012] 上記課題を解決するために、本発明の第 2の風景単調度演算装置は、風景画像を 、時間に対して順番に取得する、又は経路の一端力 順番に取得する風景画像取 得手段と、該順番に取得された風景画像を夫々、予め設定された複数の風景分類 のうちのいずれかに分類する風景画像分類手段と、該分類された風景分類の時間 的変化又は位置的変化に基づ!、て、前記順番に取得された風景画像の単調度を演 算する単調度演算手段とを備える。
[0013] 本発明の第 2の風景単調度演算装置によれば、例えば移動体に搭載され、該移動 体の移動時に、移動方向に向けられたカメラ等を含む風景画像取得手段によって、 例えば景観、物体又は物体集合体等の風景を撮影することにより風景画像が取得さ れる。風景画像は、時間に対して順番に、又は経路の一端カゝら順番に取得される。こ こで本発明に係る「時間に対して順番に」とは、定期又は不定期に、或いは一定又は 固定の時間を隔てて断続的に、言い換えれば、時系列的にという意味である。また、 本発明に係る「経路の一端力も順番に」とは、一定又は固定の距離と隔てて断続的 にという意味である。即ち、風景画像は、例えば一定時間(例えば 5秒間)毎或いは 移動体が一定距離 (例えば 50m)だけ移動する毎に取得される。取得された風景画 像は、例えば外付け又は内蔵されたハードディスク等の記憶媒体に記憶される。
[0014] 取得された風景画像は夫々、風景画像分類手段によって、予め設定された複数の 風景分類のうちの ヽずれかに分類される。ここで本発明に係る「予め設定された複数 の風景分類」とは、風景画像に対応する風景の特徴を示すための、例えば工場での 設定或いはユーザ操作等によって予め定められた項目である。「予め設定された複 数の風景分類」としては、例えば「森林」、「街並み」及び「開けた道」の 3つが設定さ れる。この際、これらの風景分類に分類されない風景画像を分類するために、「予め 設定された複数の風景分類」として「その他」を更に設定してもよ ヽ。風景画像分類 手段による分類結果は、例えば外付け又は内蔵されたハードディスク等の記憶媒体 に さ 4 る。
[0015] 次に、単調度演算手段によって、このように分類された風景分類の時間的変化又 は位置的変化に基づいて、取得された風景画像の単調度が演算される。本発明に 係る「時間的変化又は位置的変化に基づいて、単調度を演算する」とは、より具体的 には、時間変化又は位置変化の小ささに応じて単調度を演算するという意味であり、 時間変化又は位置変化が小さい程、単調度は大きいことになり、逆に、時間変化又 は位置変化が大きい程、単調度は小さいことになる。例えば、風景分類が「森林」、「 街並み」、「森林」及び「開けた道」のようにこの順で時系列的に変化した場合は、風 景分類が「森林」、「街並み」、「森林」及び「森林」のようにこの順で時系列的に変化し た場合よりも低!、単調度が演算される。
[0016] 単調度演算手段による単調度に対して、例えば、ある閾値を設けることにより、順番 に取得された風景画像に対応する風景が単調であるかどうか、言い換えれば、例え ば移動体の走行経路が単調であるがどうかを判定することができる。例えば、単調度 を 0から 100の範囲で表し、単調度が 80以上である場合には、その移動体の走行経 路は単調であると判定することができる。走行経路が単調であると判定された場合に は、例えば、警報を出力し、運転者に対して環境の変化を与えることにより、眠気を 追い払うことができる。或いは、移動体内での音楽、映像等を変更することにより、移 動体内にいることに同乗者が飽きてしまうことを防止することができる。
[0017] 本発明の第 2の風景単調度演算装置の一の態様では、前記単調度演算手段は、 所定期間に取得された又は相前後して取得された所定数の風景画像について、前 記分類された風景分類が変化した回数をカウントし、前記所定数の風景画像にっ 、 て、前記分類された風景分類の種類数をカウントし、前記カウントされた回数及び前 記カウントされた種類数に基づ ヽて、前記単調度を演算する。
[0018] この態様によれば、先ず、単調度演算手段によって、所定期間に取得された複数 の風景画像又は相前後して取得された所定数の風景画像につ 、て、分類された風 景分類が変化した回数がカウントされる。ここで本発明に係る「風景分類が変化した 回数」は、例えば時系列に「森林」から「街並み」等の相異なる風景分類に変化した 回数を意味し、例えば、風景分類が「森林」、「街並み」、「森林」及び「開けた道」のよ うにこの順で時系列的に変化した場合には、「風景分類が変化した回数」は「3」とな る。カウントされた回数は、例えばメモリ等の記憶媒体に記憶される。
[0019] 風景分類が変化した回数のカウントと同時に或いは相前後して、単調度演算手段 によって、所定数の風景画像について、分類された風景分類の種類数 (言い換えれ ば、分類の結果として出現した相異なる風景分類の総数)がカウントされる。例えば 風景分類が「森林」、「街並み」及び「森林」のようにこの順で時系列的に変化した場 合には、風景分類の種類数は、「森林」及び「街並み」の 2つとしてカウントされる、即 ちこのとき「風景分類の種類数」は「2」となる。カウントされた種類数は、例えばメモリ 等の記憶媒体に記憶される。
[0020] 風景分類が変化した回数のカウント及び風景分類の種類数のカウントの後、単調 度演算手段によって、カウントされた回数及びカウントされた種類数に基づいて、単 調度が演算される。例えば、カウントされた回数及びカウントされた種類数の積の値 が大きいほど単調度は小さぐカウントされた回数及びカウントされた種類数の積の値 力 S小さいほど単調度は大きくなるように演算される。即ち、単調度演算手段による単 調度の演算式は、例えば次のとおりである。
[0021] 単調度 = 1 (カウントされた回数 Xカウントされた種類数) / (総風景画像数 X総 種類数)……(1)
式(1)において、「総風景画像数」は、単調度を演算する対象となる風景画像の数 を意味する。また、「総種類数」は、予め設定された複数の風景分類の数を意味し、 例えば、予め設定された複数の風景分類が、「森林」、「街並み」、「開けた道」及び「 その他」である場合には、総種類数は 4となる。尚、「その他」を総種類数力も除外し てもよい。更に、単調度を 0から 100の範囲で表すために式(1)において、カウントさ れた回数をカウントされた回数— 1に置き換えると共に、右辺に 100を乗じてもよい。
[0022] 本発明によれば、単調度演算手段によって、上述の如く単調度が演算されるので、 風景画像に対応した風景の単調さを反映した単調度を演算することができる。よって 、単調度に対して、例えば、ある閾値を設けることにより、風景画像に対応する風景が 単調であるかどうか、言い換えれば、例えば移動体の走行経路が単調であるがどうか を判定することができる。
[0023] 本発明の第 2の風景単調度演算装置の他の態様では、前記風景画像分類手段は 、前記順番に取得された風景画像を前記順番の所定数毎に一群の風景画像群とし て、該風景画像群に含まれる前記風景画像の前記分類された風景分類に基づ!/ヽて 、前記風景画像群を前記予め設定された複数の風景分類のうちのいずれかに分類 し、前記単調度演算手段は、所定期間に取得された又は相前後して取得された所定 数の風景画像につ ヽて、前記風景画像群が分類された風景分類が変化した回数を カウントし、前記所定数の風景画像について、前記風景画像群が分類された風景分 類の種類数をカウントし、前記カウントされた回数及び前記カウントされた種類数に基 づいて、前記単調度を演算する。
[0024] この態様によれば、風景画像分類手段によって、取得された風景画像を取得され た順番の例えば 5つ等の所定数毎に一群の風景画像群とされる。更に、 1つの風景 画像群に含まれる例えば 5つの風景画像が分類された風景分類に基づいて、風景 画像群は予め設定された風景分類に分類される。例えば、 1つの風景画像群に含ま れる 5つの風景画像のうち、 4つの風景分類力 ^森林」に、 1つの風景分類が「街並み 」に夫々、風景画像分類手段によって分類される場合に、風景画像群の風景分類は 「森林」に風景画像分類手段によって分類される。
[0025] 続いて、単調度演算手段によって、所定期間に取得された又は相前後して取得さ れた所定数の風景画像にっ ヽて、風景画像群が分類された風景分類が変化した回 数がカウントされる。更に、所定数の風景画像について、風景画像群が分類された風 景分類の種類数がカウントされる。そして、カウントされた回数及び前記カウントされ た種類数に基づいて、単調度が演算される。
[0026] 本発明によれば、取得された風景画像が所定数毎に一群の風景画像群として分類 されるので、例えば、森林中の交差点通過時等があることにより生じうる風景分類の 局所的な変化をノイズとして除去することができる。即ち、一連の風景からすると、例 えば運転者或いは同乗者にとっては、風景に変化があるとは実際には殆ど感じられ ないような変化を除去することができる。よって、一層精度の高い単調度を演算するこ とがでさる。
[0027] 本発明の第 2の風景単調度演算装置の他の態様では、前記風景画像取得手段は
、前記風景画像に対応する風景を撮影する撮影手段を含む。
[0028] この態様によれば、例えばカメラ、車載カメラ等の撮影手段によって、例えば物体、 物体集合体又は景観等の風景が撮影される。よって、風景画像を確実に取得するこ とがでさる。
[0029] 尚、撮影手段としては、写真を撮るためのカメラでもよいし、映像 (動画)を撮るため のカメラ、つまりビデオカメラでもよい。
[0030] 本発明の第 2の風景単調度演算装置の他の態様では、前記風景画像取得手段は 、前記風景のうち前記風景画像に対応する物体、物体集合体又は景観と前記撮影 手段との間に存在する障害物によって、前記風景が遮られていることを認識する障 害物認識手段を備える。
[0031] この態様によれば、障害物認識手段によって、例えばカメラ、車載カメラ等の撮影 手段に障害物が接近し、風景のうち風景画像に対応する物体、物体集合体又は景 観と撮影手段との間に存在する障害物 (即ち、風景のうち風景画像に対応しない風 景)によって、風景画像に対応する風景 (即ち、物体、物体集合体又は景観)が遮ら れていることが認識される。具体的には、障害物認識手段によって、撮影された画像 の色等が調べられ、画像中に含まれる物体が特定され、当該物体が画像中に占める 割合が調べられる。そして、当該物体が画像中に占める割合が所定割合を超えると きには、障害物認識手段によって、例えばカメラ、車載カメラ等の撮影手段に障害物 が接近し、撮影の対象である風景に含まれる物体、物体集合体又は景観と例えば力 メラ、車載カメラ等の撮影手段との間が当該障害物によって遮られていると認識され る。従って、障害物認識手段によって、例えばカメラ、車載カメラ等の撮影手段により 撮影対象となる風景が適切に撮影されたカゝどうか、即ち、撮影された画像中に風景 画像に対応すべき風景が適切に含まれているかどうかを判断することができる。この ように障害物によって風景が遮られていることを認識すれば、例えば、障害物がある ことにより生じうる風景分類の局所的な変化をノイズとして除去することも可能となり、 一層精度の高 、単調度を演算することが可能となる。
[0032] 本発明の第 2の風景単調度演算装置の他の態様では、前記風景画像分類手段は 、前記順番に取得された風景画像が夫々分割されてなる複数の画像片の各々を、前 記複数の風景分類のうちのいずれ力に分類する画像片分類手段と、前記画像片分 類手段による画像片分類結果に基づいて、前記風景画像に含まれている風景の特 徴を判断する特徴判断手段とを含み、該判断された特徴に応じて、前記順番に取得 された風景画像を夫々分類する。
[0033] この態様によれば、先ず、画像片分類手段によって、取得された風景画像の各々 は複数の画像片に分割され、複数の画像片の各々に対応する画像片データは例え ばノヽードディスク等の記憶媒体に記憶される。例えば、風景画像のサイズが 1280 X 1024ピクセルである場合には、画像片のサイズは 30 X 30ピクセル程度であることが 望ましい。尚、画像片のサイズは、特徴判断手段等の精度及び処理速度等を考慮し て決めることが望ましい。また、風景画像のサイズと画像片のサイズとの関係によって は、風景画像のすべてを均一の画像片に分割できない場合がある。この場合には、 風景画像の端部を画像片分類手段の対象カゝら除外してもよい。
[0034] 次に、画像片分類手段によって、複数の画像片の各々は、複数の風景分類のうち のいずれかに分類される。画像片分類手段による画像片分類結果は、例えばハード ディスク等の記憶媒体に記憶される。
[0035] 次に、特徴判断手段によって、画像片分類手段による画像片分類結果に基づいて 風景画像に含まれて 、る風景の特徴を判断する特徴判断処理が行われる。風景の 特徴には、例えば自然度、都市度等がある。特徴判断処理には、特徴判断式が用い られる。特徴判断式は、製品出荷以前の実験などに基づいて予め作成され、例えば ハードディスク等の記憶媒体に記憶されている。尚、特徴判断式を変更できるような 構成としてもよい。
[0036] 特徴判断式は、風景画像に含まれる風景の特徴を判断するための式である。特徴 判断式は、風景画像に含まれる風景の特徴の種類、例えば自然度、都市度等毎に 存在する。
[0037] 特徴判断式には、自然度判断式、都市度判断式等、風景画像に含まれる風景の 特徴の種類に応じて様々な式があるが、これらの式はそれぞれ共通の構造を有して いる。即ち、特徴判断式の基本式があり、この基本式を具体ィ匕したものが例えば自然 度判断式であり、都市度判断式である。特徴判断式の基本式は次のとおりである。
[0038] 風景の特徴 = (プラス要素数 マイナス要素数) Z判断要素全体数……(2) 式 (2)において、プラス要素数とは、特徴判断の対象となっている風景の特徴を強 める方向に作用する画像片分類結果を有する画像片の個数である。マイナス要素数 とは、特徴判断の対象となっている風景の特徴を弱める方向に作用する分類結果を 有する画像片の個数である。判断要素全体数とは、特徴判断に用いられる画像片分 類結果を有する画像片の総数である。
[0039] 風景画像分類手段では、このように特徴判断手段によって判断された特徴に応じ て、風景画像は予め設定された風景分類に分類される。例えば「風景の特徴」の値 に応じて、風景画像は分類される。
[0040] 以上のように、本態様によれば、風景画像は、分割されてなる複数の画像片の各々 が分類された分類結果に基づ ヽて判断された特徴に応じて、予め設定された風景分 類に分類されるので、風景画像を精度よく分類することができる。
[0041] 上述した画像片分類手段を含む態様では、前記画像片分類手段は、前記複数の 画像片の各々についての色の性質を分析する色分析手段と、前記複数の画像片の 各々についてフラクタル次元解析を行うフラクタル次元解析手段と、前記複数の画像 片の各々に含まれて 、る人工物又は人工部分の量を認識する人工物量認識手段と を含み、前記色分析手段による色分析結果、前記フラクタル次元解析手段によるフ ラタタル次元解析結果、及び前記人工物量認識手段による人工物又は人工部分の 量の認識結果に基づ 、て前記複数の画像片の各々に含まれて!/、る前記風景の一 部の種類を特定し、該特定された種類に基づ ヽて分類するようにしてもょ ヽ。
[0042] この場合には、画像片分類手段は、色分析手段、フラクタル次元解析手段及び人 ェ物量認識手段を含んでおり、複数の画像片の各々(即ち、各画像片)は、以下のよ うに分類される。
[0043] 先ず、色分析手段によって、各画像片中の画素毎に色の性質が分析される。
[0044] 色分析手段によって、先ず、画像片データの色情報が RGB系の色情報である場 合、この色情報は、色相、彩度及び明度をパラメータとする表色系の色情報、例えば HLS系の色情報に色分析手段によって変換される。続いて、画像片に含まれる画素 の中から、まだ色分析処理を行って 、ない 1個の画素が色分析手段によって選択さ れる。続いて、選択した画素について所定の基準を満たすかどうかが色分析手段に よって判断される。この判断は、当該画素の HLS系色情報に基づいて行われる。
[0045] 続いて、フラクタル次元解析手段によって、同一の画像片についてフラクタル次元 解析が行われる。フラクタル次元解析により、各画素片についてフラクタル次元値が 得られる。フラクタル次元値は例えば 0. 0から 2. 0までのいずれかの値である。フラク タル次元値は例えばノヽードディスク等の記憶媒体に記憶される。尚、フラクタル次元 解析には、周知のフラクタル次元解析法を用いることができる。
[0046] 続いて、人工物量認識手段によって、各画像片に含まれている人工物又は人工部 分の量が認識される。
[0047] 人工物量認識手段によって、先ず、画像片中において縦方向に伸びるエッジ成分 、即ち垂直エッジ成分が抽出される。例えば、画像片の下辺が、撮影された風景に おける水平線と一致している場合、垂直エッジ成分は、画像片の下辺と垂直に交わ る方向に伸びるエッジ成分である。続いて、人工物量認識手段によって、抽出した垂 直エッジ成分はニ値ィ匕される。続いて、人工物量認識手段によって、連続的に伸び る所定長さ以上の垂直エッジ成分の個数が数えられる。例えば、画像片の下端から 上端まで連続的に伸びる垂直エッジ成分の個数が数えられる。一般に、看板や建物 などの人工物は水平な地面力 垂直方向にまっすぐに伸びているのに対し、草木な どの自然物はそうでない場合が多い。このため、 1個の画像片中において連続的に 伸びる所定長さ以上の垂直エッジ成分を数えることにより、 1個の画像片に含まれる 人工物の量を知ることができる。画像片中において連続的に伸びる所定長さ以上の 垂直エッジ成分の個数を示す値は、例えば人工物量カウント値として例えばノヽード ディスク等の記憶媒体に記憶される。
[0048] 続いて、画像片分類手段によって、色分析手段による色分析結果、フラクタル次元 解析手段によるフラクタル次元解析結果、及び人工物量認識手段による人工物量認 識結果に基づいて各画像片に含まれている風景の一部の種類が特定され、この特 定された種類に基づ ヽて各画像片が分類される。画像片が分類される分類項目とし ては、例えば「草木」、「空」、「人工物」等が設定される。画像片分類手段による分類 結果は、例えばノヽードディスク等の記憶媒体に記憶される。画像片が分類項目のい ずれにも当てはまらないときには、該画像片は「その他」という分類項目に分類される
[0049] 続 ヽて、特徴判断手段によって、画像片分類手段による画像片分類結果に基づ!ヽ て風景画像に含まれて ヽる風景の特徴が判断される。風景の特徴を表す指標として
、例えば自然度、都市度等が用いられる。
[0050] 自然度を判断する自然度判断式は、例えば次のとおりである。
[0051] 自然度 = (草木数 人工物数) Z判断要素全体数……(3)
但し、判断要素全体数 =草木数 +空数 +人工物数…… (4)
式 (3)において、「草木数」は分類結果が「草木」である画像片の個数であり、「人工 物数」は、分類結果が「人工物」である画像片の個数である。また、自然度の判断に 用いる分類結果は「草木」、「空」、「人工物」であり、「判断要素全体数」は、草木数と
、分類結果力 ^空」である画像片の個数 (空数)と、人工物数とを合計した数である。
[0052] 自然度の値は 1から + 1までの間のいずれかの値になる。自然度がもっとも低い ときには一 1となり、自然度力 sもっとも高いときには + 1になる。
[0053] また、都巿度を判断する都巿度判断式は、例えば次のとおりである。
[0054] 都市度 = {人工物数 (草木数 +空数) }Z判断要素全体数……(5)
但し、判断要素全体数 =草木数 +空数 +人工物数……(6)
式(5)において、都巿度の判断に用いる分類結果は「草木」、「空」、「人工物」であ るので、判断要素全体数は、草木数と、空数と、人工物数とを合計した数である。
[0055] 都巿度の値は 1から + 1までの間のいずれかの値になる。都巿度がもっとも低い ときには— 1となり、都巿度カ sもっとも高いときには + 1になる。
[0056] 更に、開けた道度を判断してもよい。開けた道度とは、概ね、道路の周囲に高い木 や建物がなぐ道路周囲の景観が開けている程度を示す。開けた道度の判断式は、 次のとおりである。
[0057] 開けた道度 = (空数一草木数) Z判断要素全体数……(7) 但し、判断要素全体数 =草木数 +空数 +人工物数……(8)
開けた道度の値は— 1から + 1までの間のいずれかの値になる。開けた道度力 Sもつ とも低 、ときには一 1となり、開けた道度力 Sもっとも高 、ときには + 1になる。
[0058] 次に、特徴判断手段によって判断された特徴に応じて、取得された風景画像は夫 々、風景画像分類手段によって分類される。例えば、予め定められた風景分類が「森 林」、「街並み」、「開けた道」及び「その他」である場合において、例えば自然度が所 定値以上のときには、その風景画像は「森林」に分類され、例えば都市度が所定値 以上のときには、その風景画像は「街並み」に分類され、例えば開けた道度が所定値 以上のときには、その風景画像は「開けた道」に分類される。
[0059] 以上のように、本態様によれば、風景画像は、分割されてなる複数の画像片の各々 につ 1、ての色分析結果、フラクタル次元解析結果及び人工物又は人工部分の量の 認識結果に基づ!ヽて判断された特徴に応じて、予め設定された風景分類に分類さ れるので、風景画像を精度よく分類することができる。
[0060] (風景単調度演算方法)
上記課題を解決するために、本発明の風景単調度演算方法は、風景画像を、時間 に対して順番に取得する、又は経路の一端力も順番に取得する風景画像取得工程 と、該順番に取得された風景画像を夫々、予め設定された複数の風景分類のうちの Vヽずれかに分類する風景画像分類工程と、該分類された風景分類の時間的変化又 は位置的変化に基づ!/ヽて、前記順番に取得された風景画像の単調度を演算する単 調度演算工程とを備える。
[0061] 本発明の風景単調度演算方法によれば、上述した本発明の第 2の風景単調度演 算装置が有する各種利益を享受することが可能となる。
[0062] 尚、上述した本発明の風景単調度演算装置が有する各種態様に対応して、本発 明の風景単調度演算方法も各種態様を採ることが可能である。
[0063] (コンピュータプログラム)
上記課題を解決するために、本発明のコンピュータプログラムは、上述した本発明 の第 1又は第 2の風景単調度演算装置としてコンピュータを機能させる。
[0064] 本発明のコンピュータプログラムによれば、当該コンピュータプログラムを格納する ROM, CD-ROM, DVD-ROM,ハードディスク等の情報記録媒体から、当該コ ンピュータプログラムをコンピュータに読み込んで実行させれば、或いは、当該コンビ ユータプログラムを、通信手段を介してコンピュータにダウンロードさせた後に実行さ せれば、上述した本発明の第 1又は第 2の風景単調度演算装置を比較的簡単に実 現できる。
[0065] 上記課題を解決するために、コンピュータ読取可能な媒体内のコンピュータプログ ラム製品は、コンピュータにより実行可能なプログラム命令を明白に具現ィ匕し、該コン ピュータを、上述した本発明の第 1又は第 2の風景単調度演算装置 (但し、その各種 態様を含む)として機能させる。
[0066] 本発明のコンピュータプログラム製品によれば、当該コンピュータプログラム製品を 格納する ROM、 CD-ROM, DVD-ROM,ハードディスク等の記録媒体から、当 該コンピュータプログラム製品をコンピュータに読み込めば、或いは、例えば伝送波 である当該コンピュータプログラム製品を、通信手段を介してコンピュータにダウン口 ードすれば、上述した本発明の第 1又は第 2の風景単調度演算装置を比較的容易に 実施可能となる。更に具体的には、当該コンピュータプログラム製品は、上述した本 発明の第 1又は第 2の風景単調度演算装置として機能させるコンピュータ読取可能 なコード (或 、はコンピュータ読取可能な命令)力 構成されてよ 、。
[0067] (サーバ)
上記課題を解決するために、本発明のサーバは、上述した第 1又は第 2の風景単 調度演算装置が演算した単調度を反映した地図情報を有する。
[0068] 本発明のサーバによれば、第 1又は第 2の風景単調度演算装置によって演算され た単調度を反映した地図情報を、サーバにアクセス或いはサーノから配信すること で、例えば複数の車両或いは利用者が利用可能となり、大変便利である。
[0069] (記録媒体)
上記課題を解決するために、本発明の記録媒体は、上述した第 1又は第 2の風景 単調度演算装置が演算した単調度を反映した地図情報を有する。
[0070] 本発明の記憶媒体によれば、第 1又は第 2の風景単調度演算装置によって演算さ れた単調度を反映した地図情報を、記憶媒体にアクセス或 、は記憶媒体を配布する ことで、例えば複数の車両或いは利用者が利用可能となり、大変便利である。
[0071] (ナビゲーシヨン装置)
上記課題を解決するために、本発明のナビゲーシヨン装置は、上述した第 1又は第
2の風景単調度演算装置が演算した単調度に基づいて経路誘導を行う。
[0072] 本発明のナビゲーシヨン装置によれば、経路の単調度に応じた経路誘導を行うこと ができる。
[0073] 本発明のナビゲーシヨン装置の一態様では、前記単調度を色情報として表示する。
[0074] この態様によれば、運転者は、単調度を色情報によって視覚的に確認することがで きる。
[0075] 本発明のナビゲーシヨン装置の他の態様では、前記単調度と運転者の生体情報と に基づ!/、て経路誘導を行う。
[0076] この態様によれば、ナビゲーシヨン装置は、単調度に加えて運転者の生体情報に 基づ!/ヽて経路誘導を行うので、運転者の健康状態等に適した経路誘導を行うことが できる。ここで、本発明に係る「運転者の生体情報」とは、運転者の心拍数、運転者の 表情や表面温度或いはこれらに基づく疲労度や眠気等、運転者の体に関する情報 を意味する。
[0077] 尚、上述した本発明の第 1又は第 2の風景単調度演算装置における各種態様に対 応して、本発明のコンピュータプログラムも各種態様を採ることが可能である。
[0078] 本発明の作用及び他の利得は次に説明する実施例力 明らかにされる。
[0079] 以上詳細に説明したように本発明の第 1の風景単調度演算装置は、画像取得手段 及び単調度演算手段を備えるので、風景の単調度を演算することが可能である。 本発明の第 2の風景単調度演算装置は、風景画像取得手段、風景画像分類手段及 び単調度演算手段を備えるので、風景の単調度を演算することが可能であり、例え ば移動体の走行経路は単調であると判定することができる。例えば、走行経路が単 調であると判定された場合には、例えば、警報を出力し、運転者に対して環境の変 化を与えることにより、居眠り運転を防止することができる。或いは、移動体内での音 楽、映像等を変更することにより、移動体内にいることに同乗者が飽きてしまうことを 防止することができる。本発明の風景単調度演算方法は、風景画像取得工程、風景 画像分類工程、単調度演算工程を備えるので、本発明の第 2の風景単調度演算装 置が有する各種利益を享受することが可能となる。本発明のコンピュータプログラム は、本発明の第 1又は第 2の風景単調度演算装置としてコンピュータを機能させるの で、当該コンピュータプログラムをコンピュータに読み込んで実行させれば、本発明 の第 1又は第 2の風景単調度演算装置を比較的簡単に実現できる。本発明のサー バは、単調度を反映した地図情報を有するので、例えば複数のユーザが地図情報を 利用することができ大変便利である。本発明の記憶媒体は、単調度を反映した地図 情報を有するので、例えば複数のユーザが地図情報を利用することができ大変便利 である。本発明のナビゲーシヨン装置は、単調度に基づいて経路誘導を行うので、単 調度に応じた経路誘導が可能となる。
図面の簡単な説明
[図 1]第 1実施例に係る風景単調度演算装置の構造を示すブロック図である。
[図 2]第 1実施例に係る風景単調度演算装置の動作を示すフローチャートである。
[図 3]風景画像取得処理の内容を示すフローチャートである。
[図 4]風景画像データに対応する風景画像を示めす説明図である。
[図 5]風景画像分類処理の内容を示すフローチャートである。
[図 6]図 4中の画像を画像片に分割した状態を示す説明図である。
[図 7]色分析処理の内容を示すフローチャートである。
[図 8]人工物量認識処理の内容を示すフローチャートである。
[図 9]人工物量認識処理により、画像片カゝら垂直エッジ成分が抽出された状態を示す 説明図である。
[図 10]画像片分類処理において用いられる分類条件を示す説明図である。
[図 11]画像片分類処理による画像片分類結果を示す説明図である。
[図 12]風景画像と風景画像群の関係を示す説明図である。
[図 13]風景画像群の風景分類の変化を示すグラフである。
[図 14]図 13における各コースにつ 、ての変化回数、種類数及び単調度を示す表で ある。
符号の説明 [0081] 1 風景単調度演算装置
11 カメラ
12 入力部
13 障害物認識部
14 風景画像分類部
15 単調度演算部
16 記憶装置
141 画像分割部
142 色分析部
143 フラクタル次元解析部
144 人工物量認識部
145 画像片分類部
146 特徴判断部
147 画像分類部
151 変化回数カウント部
152 種類数カウント部
153 演算部
発明を実施するための最良の形態
[0082] 以下、本発明を実施するための最良の形態について実施例毎に順に図面に基づ いて説明する。
<第 1実施例 >
図 1から図 14を参照して、本発明の第 1実施例に係る風景単調度演算装置につい て説明する。
[0083] (風景単調度演算装置の構造)
先ず、図 1を参照して、第 1実施例に係る風景単調度演算装置の構造について説 明する。ここに図 1は、第 1実施例に係る風景単調度演算装置の構造を示すブロック 図である。
[0084] 図 1において、風景単調度演算装置 1は、カメラ 11、入力部 12、障害物認識部 13 、風景画像分類部 14、単調度演算部 15、記憶装置 16、制御部 17、情報入力部 18 、及び情報表示部 19を備えている。ここで、カメラ 11は、本発明に係る「撮影手段」 の一例である。入力部 12は、本発明に係る「風景画像取得手段」の一部の一例であ り、カメラ 11と共に「風景画像取得手段」の一部を構成する。
[0085] 風景単調度演算装置 1は、移動体に搭載することが望ましい。例えば、風景単調度 演算装置 1をカーナビゲーシヨン装置に組み込み、車両に搭載してもよい。或いは、 風景単調度演算装置 1の構成要素のうちカメラだけを移動体に取り付け、それ以外 の構成要素を備えた構造物を会社、研究所、観察所又は自宅の室内に備え付けて もよい。この場合には、室内に備え付けた構造物とカメラとの間を無線通信によって 接続する。
[0086] カメラ 11は、例えば移動体の進行方向前方に存在する例えば景観、物体又は物 体集合体等の風景を撮影する。カメラ 11は、移動体の進行方向前方を撮影すること ができるように、移動体の進行方向前部に取り付けることが望ましい。例えば、カメラ 1 1は、自動車のフロントパンパ近傍、フロントガラス近傍などに取り付けることが望まし い。カメラ 11は、デジタルカメラでもアナログカメラでもよい。また、カメラ 11は、写真( 静止画)を撮るためのカメラでもよいし、映像 (動画)を撮るためのカメラ、つまりビデオ カメラでもよい。いずれの場合にも、カメラ 11は、連写可能な、或いは連続撮影が可 能なカメラである。
[0087] 入力部 12は、カメラ 11から出力される静止画データ又は動画データに基づいて画 像データを生成する。入力部 12は、例えば入力インターフェイス回路、画像処理用 の制御装置及び演算装置などにより構成されている。尚、入力部 12に外部入力端 子 20を設け、カメラ 11以外の画像入力装置を接続できるようにし、カメラ 11以外の画 像入力装置から出力される静止画データ又は動画データに基づいて画像データを 生成することができる構成としてもよい。また、カメラ 11がアナログカメラである場合に は、アナログの静止画信号又は動画信号をデジタルの静止画データ又は動画デー タに変換するための AZDコンバータ(アナログデジタルコンバータ)を入力部 12に 設ける。
[0088] 障害物認識部 13は、カメラ 11に障害物が接近し、撮影の対象とする風景とカメラ 1 1との間が当該障害物によって遮られていることを認識する。
[0089] 風景画像分類部 14は、画像分割部 141、色分析部 142、フラクタル次元解析部 14
3、人工物量認識部 144、画像片分類部 145、特徴判断部 146及び画像判断部 14
7を備えている。風景画像分類部 14は、風景画像を夫々、予め設定された複数の風 景分類のうちのいずれかに分類する。
[0090] 画像分割部 141は、画像データに対応する画像を複数の画像片に分割する。
[0091] 色分析部 142は、各画像片について色の性質を分析する。
[0092] フラクタル次元解析部 143は、各画像片についてフラクタル次元解析を行う。
[0093] 人工物量認識部 144は、各画像片に含まれている人工物又は人工部分の量を認 識する。
[0094] 画像片分類部 145は、色分析部 142による色分析結果、フラクタル次元解析部 14 3によるフラクタル次元解析結果、人工物量認識部 144による人工物又は人工部分 の量の認識結果に基づいて、各画像片に含まれている風景の一部の種類を特定し 、この種類に基づいて各画像片を分類する。尚、画像データに対応する画像全体に 写し出されているものを 1個の風景とすると、画像データに対応する画像を分割した 各画像片に写し出されているものは風景の一部に当たる。「風景の一部」とはこのよう な意味である。
[0095] 特徴判断部 146は、画像片分類部 145による分類結果に基づいて画像データに 対応する画像に含まれている風景の全体の特徴を判断する。
[0096] 画像分類部 147は、特徴判断部 146による特徴度に基づいて風景画像を風景分 類に分類する。
[0097] 単調度演算部 15は、変化回数カウント部 151、種類数カウント部 152及び演算部 1 53を備える。単調度演算部 15は、風景画像分類部 14によって分類された風景分類 の時間変化に基づいて、風景画像の時系列における単調度を演算する。
[0098] 変化回数カウント部 151は、風景分類が変化した回数 (即ち変化回数)をカウントす る。
[0099] 種類数カウント部 152は、風景分類の種類数をカウントする。
[0100] 演算部 153は、変化回数カウント部によりカウントされた変化回数及び種類数カウ ント部 152によるカウントされた種類数に基づいて、単調度を演算する。
[0101] 障害物認識部 13、風景画像分類部 14及び単調度演算部 15は、例えば中央演算 処理装置、マルチプロセッサ又はマイクロコンピュータ等により構成されて 、る。
[0102] 記憶装置 16は、風景単調度演算装置 1の各構成要素による処理を行うための作業 領域を備えている。この作業領域は、例えば、入力部 12による画像データの抽出処 理、障害物認識部 13による障害物認識処理、画像分割部 141による画像の分割処 理、色分析部 142による色分析処理、フラクタル次元解析部 143によるフラクタル次 元解析処理、人工物量認識部 144による人工物量認識処理、画像片分類部 145〖こ よる画像片分類処理、特徴判断部 146による特徴判断処理、変化回数カウント部 15 1による変化回数カウント処理、種類数カウント部 152による種類数カウント処理、演 算部 153による演算処理等に用いられる。更に、記憶装置 16は、データ保存領域を 備えている。データ保存領域には、画像片分類部 145による画像片分類処理で用い るための分類条件情報、特徴判断部 146による特徴判断処理で用いるための特徴 判断式などが記憶されて 、る。
[0103] 制御部 17は、風景単調度構成装置 1の各構成要素の動作を制御する。
[0104] 情報入力部 18は、風景画像分類部 14による風景画像分類処理で用いるための風 景分類の設定などを外部力 入力可能とする。
[0105] 情報表示部 19は、単調度演算部 15による単調度演算処理の結果などを表示する
[0106] (風景単調度演算装置の動作)
次に、図 2から図 12を参照して、第 1実施例に係る風景単調度演算装置の動作に ついて説明する。ここに図 2は、第 1実施例に係る風景単調度演算装置の動作を示 すフローチャートである。
[0107] 図 2に示すように、風景単調度演算装置 1では、ステップ S1からステップ S9までの 一連の動作が、以下に説明する如く行われる。
[0108] (風景画像取得処理)
先ず、風景画像取得処理について、図 2に加えて、主に図 3及び図 4を参照しなが ら説明する。ここに図 3は、風景画像取得処理の内容を示すフローチャートであり、図 4は、風景画像データに対応する風景画像を示めす説明図である。
[0109] 図 2において、風景単調度演算装置 1は、風景画像取得処理を行う (ステップ Sl)。
風景画像取得処理は、主に、カメラ 11により風景 (即ち景観等)を撮影し、撮影対象 となる風景が含まれる風景画像を符号ィヒした風景画像データを記憶する処理である
[0110] 図 3に示すように、風景単調度演算装置 1では、風景画像取得処理において、ステ ップ S 11からステップ S 13の一連の動作が行われる。
[0111] 風景単調度演算装置 1は、先ず、カメラ 11により風景を撮影する (ステップ Sl l)。
即ち、カメラ 11は、移動体の進行方向前方に存在する風景を撮影し、この風景の画 像を符号ィ匕した静止画データ又は動画データを入力部 12に出力する。入力部 12は 、カメラ 11から出力された静止画データ又は動画データを取得し、これに基づいて画 像データを生成する。つまり、カメラ 11から出力されるデータが静止画データの場合 には、入力部 12は、その静止画データを取得し、これを風景画像データとして記憶 装置 16の作業領域に出力する。一方、カメラ 11から出力されるデータが動画データ の場合には、入力部 12は、その動画データを取得し、この動画データ中の 1フレーム 分のデータを抽出し、これを風景画像データとして記憶装置 16の作業領域に出力す る。
[0112] 尚、カメラ 11による風景の撮影は、原則として移動体の所定の移動距離 (例えば 50 m)又は所定の移動時間(例えば 5秒間)毎に行われる。例えばカメラ 11が写真を撮 るためのカメラである場合には、シャッターが所定間隔毎に切られる。一方、カメラ 11 力 Sビデオカメラである場合には、カメラ 11による撮影は移動体の移動中常時連続的 に実行される。そして、これにより得られた動画データ中から所定間隔ごとに 1フレー ム分のデータが入力部 12により抽出される。即ち、風景画像データは、時間に対し て順番に取得される。
[0113] 図 4中の風景画像 51は、風景画像データに対応する風景画像の一例を示している
[0114] 再び図 3において、続いて、風景単調度演算装置 1は、撮影によって得られた風景 画像データを記憶装置 16の作業領域に記憶する (ステップ S 12)。 [0115] 続いて、風景単調度演算装置 1は、カメラ 11により風景が適切に撮影されたかどう カゝ、即ち、風景画像データに対応する風景画像中に風景の画像が適切に含まれて いるかどうかを判断する。この判断は障害物認識部 13により行われる。つまり、障害 物認識部 13は、カメラ 11に障害物が接近し、撮影の対象である風景 (即ち景観等)と カメラ 11との間が当該障害物によって遮られているかどうかを認識する (ステップ S13 )。具体的には、障害認識部 13は、風景画像データに対応する風景画像の色等を調 ベ、風景画像中に含まれる物体を特定し、当該物体が風景画像中に占める割合を 調べる。そして、当該物体が風景画像中に占める割合が所定割合を超えるときには、 障害物認識部 13は、カメラ 11に障害物が接近し、撮影の対象である風景とカメラ 11 との間が当該障害物によって遮られていると認識する。例えば、カメラ 11を搭載した 自動車がバスやトラックなどの直後を走行しているときには、自動車の進行方向前方 の視界がバスやトラックの後部面によって遮られる。このような状況で撮影を行うと、風 景画像データに対応する風景画像には、バスやトラックの後部面が全面的に写る。こ のような場合、障害物認識部 13は、カメラ 11に障害物が接近し、撮影の対象である 景観等とカメラ 11との間が当該障害物によって遮られていると認識する。
[0116] 撮影の対象である風景とカメラ 11との間が当該障害物によって遮られて!/、るときに は (ステップ S13 :YES)、風景単調度演算装置 1は、景観等の撮影を再び行い、こ の撮影により得られた風景画像データを、前回の撮影で得られた風景画像データに 代えて、風景画像データとして記憶装置 16の作業領域に記憶する。
[0117] 撮影の対象である風景とカメラ 11との間が当該障害物によって遮られておらず、力 メラ 11により風景が適切に撮影されたときには (ステップ S 13: NO)、風景画像取得 処理は終了する。尚、カメラ 11の撮影位置を示す位置情報や撮影年月日及び撮影 時刻を示す時間情報等を風景画像データと対応づけて記憶してもよい。
[0118] (風景画像分類処理)
次に風景画像分類処理について、図 2に加えて、主に図 5及び図 6を参照しながら 説明する。ここに図 5は、風景画像分類処理の内容を示すフローチャートであり、図 6 は、図 4中の画像を画像片に分割した状態を示す説明図である。
[0119] 再び図 2において、風景単調度演算装置 1は、風景画像取得処理に続いて風景画 像分類処理を行う(ステップ S 2)。風景画像分類処理は、風景画像取得処理により取 得された風景画像データに対応する風景画像を予め定められた風景分類に分類す る処理である。
[0120] 図 5に示すように、風景単調度演算装置 1では、風景画像分類処理において、ステ ップ S21からステップ S28の一連の動作が行われる。
[0121] (画像分割処理)
図 5において、風景単調度演算装置 1は、先ず、画像分割処理を行う (ステップ 21) 。画像分割処理は、風景画像取得処理により取得された風景画像データに対応する 風景画像を複数の画像片に分割する処理である。画像分割処理は、画像分割部 14 1により行われる。つまり、画像分割部 141は、記憶装置 16の作業領域に記憶された 風景画像データに対応する風景画像を複数の画像片に分割し、各画像片に対応す る画像片データを記憶装置 16の作業領域に記憶する。例えば、風景画像データに 対応する風景画像のサイズが 1280 X 1024ピクセルである場合には、画像片のサイ ズは 30 X 30ピクセル程度であることが望ましい。尚、画像片の大きさは、色分析処理 、フラクタル次元解析処理、人工物量認識処理、特徴判断処理等の精度及び処理 速度等を考慮して決めることが望まし 、。
[0122] また、風景画像データに対応する風景画像のサイズと画像片のサイズとの関係によ つては、風景画像のすべてを均一の画像片に分割できない場合がある。この場合に は、風景画像データに対応する風景画像の端部を画像分割処理の対象から除外し てもよい。
[0123] 図 6中の画像 52は、画像分割処理により図 4中の画像 51を複数の画像片 53、 53、
• · -に分割した状態を示して 、る。
[0124] (色分析処理)
次に色分析処理について、図 5に加えて、主に図 7を参照しながら説明する。図 7 は、色分析処理の内容を示すフローチャートである。
[0125] 再び図 5において、風景単調度演算装置 1は、画像分割処理に続いて、色分析処 理、フラクタル次元解析処理及び人工物量認識処理を行う(ステップ S22から S24)。 色分析処理、フラクタル次元解析処理及び人工物量認識処理は画像片毎に行われ る。例えば、 1個の画像片について色分析処理、フラクタル次元解析処理及び人工 物量認識処理が行われ、その後、次の画像片について色分析処理、フラクタル次元 解析処理及び人工物量認識処理が行われる。そして、このような処理が風景画像デ ータに対応する風景画像を構成するすべての画像片について繰り返される。尚、色 分析処理、フラクタル次元解析処理、人工物量認識処理の順序は、図 5に示す順序 に限られない。例えば、フラクタル次元解析処理、人工物量認識処理、色分析処理と いった順序でもよい。また、風景画像データに対応する風景画像を構成するすべて の画像片について色分析処理を行い、続いて、風景画像データに対応する風景画 像を構成するすべての画像片についてフラクタル次元解析処理を行い、続いて、風 景画像データに対応する風景画像を構成するすべての画像片について人工物量認 識処理を行ってもよい。
[0126] 図 5に示すように、先ず、風景単調度演算装置 1は、 1個の画像片について色分析 処理を行う。色分析処理は、各画像片について色の性質を分析する処理である。色 分析処理は、色分析部 142により行われる。また、色分析処理は、画像片中の画素 毎に行われる。
[0127] 図 7に示すように、風景単調度演算装置 1では、色分析処理において、ステップ S3 1力 ステップ S40の一連の動作が行われる。
[0128] 図 7において、先ず、画像片データの色情報が RGB系の色情報である場合、色分 析部 142は、この色情報を色相、彩度及び明度をパラメータとする表色系の色情報、 例えば HLS系の色情報に変換する (ステップ S 31)。
[0129] 続いて、色分析部 142は、画像片に含まれる画素の中から、まだ色分析処理を行 つて 、ない 1個の画素を選択する(ステップ S32)。
[0130] 続いて、色分析部 142は、選択した画素について看板基準を満たす力どうか判断 する(看板判定:ステップ S33)。つまり、色分析部 142は、当該画素の色の彩度が所 定の彩度基準値を超えており、かつ当該画素の色の明度が所定の明度基準値を超 えているときには、当該画素が看板基準を満たすと判断する。この判断は、当該画素 の HLS系色情報に基づ 、て行われる。当該画素が看板基準を満たすときには (ステ ップ S33 : YES)、色分析部 142は看板カウント値を増やす (ステップ S34)。この後、 色分析部 142は、緑視基準の判断及び青空基準の判断 (ステップ S35及び 37)を行 わず、処理をステップ S39に移す。
[0131] 当該画素が看板基準を満たさないときには (ステップ S33 :NO)、色分析部 142は 看板カウント値を増やさない。続いて、色分析部 142は、当該画素について緑視基 準を満たすカゝどうか判断する(緑視判定:ステップ S35)。つまり、色分析部 142は、 当該画素の色相が緑領域であるときには、当該画素が緑視基準を満たすと判断する 。この判断は、当該画素の HLS系色情報に基づいて行われる。当該画素が緑視基 準を満たすときには (ステップ S35: YES)、色分析部 142は緑視カウント値を増やす (ステップ S36)。この後、色分析部 14は、青空基準の判断 (ステップ S37)を行わず 、処理をステップ S39に移す。
[0132] 当該画素が緑視基準を満たさないときには (ステップ S35 :NO)、色分析部 142は 緑視カウント値を増やさない。続いて、色分析部 142は、当該画素について青空基 準を満たす力どうか判断する(青空判定:ステップ S37)。つまり、色分析部 142は、 当該画素の色相が青領域であるときには、当該画素が青空基準を満たすと判断する 。この判断は、当該画素の HLS系色情報に基づいて行われる。当該画素が青空基 準を満たすときには (ステップ S37 : YES)、色分析部 142は青空カウント値を増やす (ステップ S38)。
[0133] 当該画素が青空基準を満たさないときには (ステップ S37 :NO)、色分析部 142は 青空カウント値を増やさな 、。
[0134] 続いて、ステップ S39において、色分析部 142は、画像片中のすベての画素につ いての看板判定、緑視判定、青空判定がステップ S33から S38の流れに従って行わ れたか否かを判断する。画像片中のすベての画素についての看板判定、緑視判定 、青空判定がステップ S33から S38の流れに従って行われていないときには(ステツ プ S39 :NO)、色分析部 142は、処理をステップ S32に戻し、未処理の画素(例えば 次の画素)を選択し、この画素について看板判定、緑視判定、青空判定をステップ S 33力ら S38の流れに従って行う。
[0135] 画像片中のすベての画素についての看板判定、緑視判定、青空判定がステップ S 33力 S38の流れに従って行われたときには(ステップ S39 : YES)、続いて、色分 析部 142は、看板率、緑視率及び青空率を算出する (ステップ S40)。つまり、色分析 部 142は、看板カウント値を画像片の画素数で割ることにより看板率を算出する。ま た、色分析部 142は、緑視カウント値を画像片の画素数で割ることにより緑視率を算 出する。また、色分析部 142は、青空カウント値を画像片の画素数で割ることにより青 空率を算出する。算出された看板率、緑視率及び青空率は、記憶装置 16の作業領 域に記憶される。
[0136] 尚、看板カウント、緑視カウント、青空カウントを行うためのカウンタは、例えば色分 析部 142に設けられている。また、看板カウント値、緑視カウント値及び青空カウント 値は、各画像片について色分析処理が実行される直前にクリアされる。
[0137] (フラクタル次元解析処理)
次にフラクタル次元解析処理について、主に図 5を参照しながら説明する。
[0138] 再び図 5において、風景単調度演算装置 1は、色分析処理に続き、同一の画像片 についてフラクタル次元解析処理を行う (ステップ S23)。フラクタル次元解析処理は 、各画像片についてフラクタル次元解析を行う処理である。フラクタル次元解析処理 は、フラクタル次元解析部 143により行われる。フラクタル次元解析処理により、当該 画像片についてフラクタル次元値が得られる。フラクタル次元値は例えば 0. 0から 2 . 0までいずれかの値である。フラクタル次元値は記憶装置 16の作業領域に記憶さ れる。尚、フラクタル次元解析処理には、周知のフラクタル次元解析法を用いることが できる。
[0139] (人工物量認識処理)
次に人工物認識処理について、図 5に加えて、主に図 8及び図 9を参照しながら説 明する。ここに図 8は、人工物量認識処理の内容を示すフローチャートであり、図 9は 、人工物量認識処理により、画像片から垂直エッジ成分が抽出された状態を示す説 明図である。
[0140] 図 5において、フラクタル次元解析処理に続き、風景単調度演算装置 1は、同一の 画像片について人工物量認識処理を行う(ステップ S24)。人工物量認識処理は、各 画像片に含まれている人工物又は人工部分の量を認識する処理である。人工物量 認識処理は人工物量認識部 144により行われる。 [0141] 図 8に示すように、風景単調度演算装置 1では、人工物量認識処理において、ステ ップ S41からステップ S43の一連の動作が行われる。
[0142] 人工物量認識部 144は、先ず、画像片中において縦方向に伸びるエッジ成分、即 ち垂直エッジ成分を抽出する (ステップ S41)。例えば、画像片の下辺が、撮影された 風景における水平線と一致している場合、垂直エッジ成分は、画像片の下辺と垂直 に交わる方向に伸びるエッジ成分である。
[0143] 続 、て、人工物量認識部 144は、抽出した垂直エッジ成分をニ値ィ匕する (ステップ
S42)。
[0144] 続いて、人工物量認識部 144は、連続的に伸びる所定長さ以上の垂直エッジ成分 を数える (ステップ S43)。例えば、画像片の下端から上端まで連続的に伸びる垂直 エッジ成分の個数を数える。図 9は 1個の画像片 54中の垂直エッジ成分を示して 、る 。図 9に示す画像片 54中には、画像片の下端力も上端まで連続的に伸びる垂直エツ ジ成分 54eが 3個存在して!/、る。
[0145] 一般に、看板や建物などの人工物は水平な地面力 垂直方向にまっすぐに伸びて いるのに対し、草木などの自然物はそうでない場合が多い。このため、 1個の画像片 中において連続的に伸びる所定長さ以上の垂直エッジ成分を数えることにより、 1個 の画像片に含まれる人工物の量を知ることができる。
[0146] 画像片中において連続的に伸びる所定長さ以上の垂直エッジ成分の個数を示す 値は、人工物量カウント値として記憶装置 16の作業領域に記憶される。
[0147] 再び図 5において、 1個の画像片にっき、色分析処理、フラクタル次元解析処理及 び人工物量認識処理が終了した後、風景単調度演算装置 1は、風景画像データに 対応する風景画像を構成するすべての画像片につ!ヽて色分析処理、フラクタル次元 解析処理及び人工物量認識処理が終了したか否かを判断する (ステップ S25)。風 景画像データに対応する風景画像を構成するすべての画像片につ!ヽて色分析処理 、フラクタル次元解析処理及び人工物量認識処理が終了していないときには、風景 単調度演算装置 1は、未処理の画像片 (次の画像片)について色分析処理、フラクタ ル次元解析処理及び人工物量認識処理を行う。
[0148] (画像片分類処理) 次に画像片分類処理について、図 5に加えて、主に図 10及び図 11を参照しながら 説明する。ここに図 10は、画像片分類処理において用いられる分類条件を示す説明 図であり、図 11は、画像片分類処理による画像片分類結果を示す説明図である。
[0149] 図 5において、風景画像データに対応する風景画像を構成するすべての画像片に つ!ヽて色分析処理、フラクタル次元解析処理及び人工物量認識処理が終了したとき には、風景単調度演算装置 1は画像片分類処理を行う (ステップ S26)。画像片分類 処理は、色分析手段処理により得られた色分析結果 (看板率、緑視率、青空率)、フ ラタタル次元解析処理により得られたフラクタル次元解析結果 (フラクタル次元解析 値)、及び人工物量認識処理により得られた人工物又は人工部分の量の認識結果( 人工物量カウント値)に基づいて、各画像片に含まれている風景の一部の種類を特 定し、この種類に基づいて各画像片を分類する処理である。風景の一部の種類には 、例えば草木、空、人工物などがあり、これに応じて、「草木」、「空」、「人工物」、「そ の他」等の画像片分類項目が設定される。画像片分類処理は画像片分類部 145〖こ より行われる。画像片分類処理には、例えば図 10に示すような分類条件情報 55に 記述された分類条件が用いられる。分類条件情報 55は、製品出荷以前の実験など に基づいて予め作成され、記憶装置 16のデータ保存領域に記憶されている。尚、分 類条件情報 55を更新できるような構成としてもよい。
[0150] 以下、画像片分類処理の具体例をあげる。この具体例では、図 10に示す分類条件 情報 55に記述された分類条件を用いて、 1個の画像データに含まれる各画像片を 分類する。先ず、画像片分類部 145は、分類条件情報 55を記憶装置 16のデータ保 存領域から読み出す。続いて、画像片分類部 145は、風景画像データに含まれる風 景画像片のうちの 1個に関する看板率、緑視率、青空率、フラクタル次元解析値及び 人工物量カウント値を記憶装置 16の作業領域力も読み出す。続いて、画像片分類 部 145は、当該画像片に関する看板率、緑視率、青空率、フラクタル次元解析値及 び人工物量カウント値の組み合わせと、分類条件情報 55に記述された分類条件とを 比較し、当該画像片に関する看板率、緑視率、青空率、フラクタル次元解析値及び 人工物量カウント値の組み合わせが、分類条件に当てはまる力否かを判断する。続 いて、画像片分類部 145は、この判断結果に基づいて当該画像片に含まれている風 景の一部の種類を特定し、この種類に基づいて当該画像片を分類する。
[0151] 例えば、当該画像片に関する緑視率が多く(例えば 0. 5より大きい)、青空率が少 なく(例えば 0. 5以下)、看板率が少なく(例えば 0. 5以下)、フラクタル次元解析値 が高く(例えば 1. 0より大きい)、かつ人工物量カウント値が 0のときには、当該画像片 に含まれている景観等の一部の種類は草木であると特定され、当該画像片は「草木」 と ヽぅ画像片分類項目に分類される。
[0152] また、当該画像片に関する緑視率が少なく(例えば 0. 5以下)、青空率が多く(例え ば 0. 5より大きい)、看板率が少な 例えば 0. 5以下)、フラクタル次元解析値が低く (例えば 1. 0以下)、かつ人工物量カウント値力^のときには、当該画像片に含まれて いる景観等の一部の種類は空であると特定され、当該画像片は「空」という画像片分 類項目に分類される。
[0153] また、当該画像片に関する緑視率が少なく(例えば 0. 5以下)、青空率が少なく(例 えば 0. 5以下)、かつ看板率が多い (例えば 0. 5より大きい)ときには、当該画像片に 含まれる景観等の一部の種類は人工物であると特定され、当該画像片は人工物とい う画像片分類項目に分類される。また、当該画像片に関する緑視率が少なく (例えば 0. 5以下)、青空率が少なく(例えば 0. 5以下)、かつ人工物量カウント値が 1以上の ときにも、当該画像片に含まれる景観等の一部の種類は人工物であると特定され、 当該画像片は「人工物」にと!/ヽぅ画像片分類項目に分類される。
[0154] また、当該画像片に関する緑視率、青空率、看板率、フラクタル次元解析値、人工 物量カウント値の組み合わせが分類条件情報の示す分類条件のいずれにも当ては まらないときには、当該画像片は「その他」という画像片分類項目に分類される。
[0155] 画像片分類処理による画像片分類結果は、記憶装置 16の作業領域に記憶される 。例えば、画像片分類結果が「草木」であれば分類番号 1、「空」であれば分類番号 2 、「人工物」であれば分類番号 3、「その他」であれば分類番号 4というように、画像片 分類結果を分類番号に置き換えて記憶してもよ ヽ。
[0156] 図 11中のイメージチャート 56は、画像片分類処理により得られた各画像片の画像 片分類結果を、画像片分類結果毎に色を変えて表示したものである。これは図 6に 示す画像 52中の各画像片 53を、図 10に示す分類条件情報 55を用いて分類した結 果である。図 6中の画像 52と図 11中のイメージチャート 56とを比較すると、画像 52中 に写し出されている実際の風景と、イメージチャート 56に表示されている画像片分類 結果とが整合していることがわかる。例えば、画像 52中の左側には木々が写っており 、イメージチャート 56中の左側には「草木」の画像片分類結果が表示されている。ま た、画像 52中の上側には空が写っており、イメージチャート 56の上側には「空」の画 像片分類結果が表示されている。また、画像 52中の右側には建物が写っており、ィ メージチャート 56中の右側には「人工物」の画像片分類結果が表示されている。また 、画像 52中の下側には道路が写っている。道路は草木でも、空でも、人工物でもな いと判断されるので、イメージチャート 56中の下側には「その他」の分類結果が表示 されている。
[0157] (特徴判断処理)
次に特徴判断処理について、主に図 5、図 6及び図 11を参照しながら説明する。
[0158] 再び図 5において、風景単調度演算装置 1は続いて特徴判断処理を行う(ステップ S27) 0特徴判断処理は、画像片分類処理により得られた画像片分類結果に基づい て、風景画像データに対応する風景画像に含まれている風景の全体の特徴を判断 する処理である。風景の全体の特徴には、例えば自然度、都巿度、開けた道度等が ある。特徴判断処理は、特徴判断部 146により行われる。また、特徴判断処理には、 特徴判断式が用いられる。特徴判断式は、製品出荷以前の実験などに基づいて予 め作成され、記憶装置 16のデータ保存領域に記憶されている。尚、特徴判断式を変 更できるような構成としてもょ 、。
[0159] 特徴判断処理において、特徴判断部 146は、先ず、 1個の風景画像データに対応 する風景画像を構成する画像片に関する画像片分類結果を集計する。例えば、 1個 の風景画像データに対応する風景画像を構成する画像片のうち、画像片分類結果 が「草木」である画像片の個数(「草木数」と呼ぶ)、画像片分類結果が「空」である画 像片の個数(「空数」と呼ぶ)、画像片分類結果が「人工物」である画像片の個数(「人 ェ物数」と呼ぶ)、画像片分類結果が「その他」である画像片の個数を数える。各画像 片に関する画像片分類結果が図 11中のイメージチャート 56に示す結果である場合 を例にあげると、草木数は 30である。空数は 28である。人工物数は 20である。画像 片分類結果が「その他」である画像片の個数は 39である。続いて、特徴判断部 146 は、画像片分類結果の集計結果を記憶装置 16の作業領域に記憶する。
[0160] 続いて、特徴判断部 146は、特徴判断式を記憶装置 16のデータ保存領域から読 み出す。特徴判断式は、画像に含まれる風景の特徴を判断するための式である。特 徴判断式は、画像に含まれる風景の特徴の種類、即ち自然度、都市度、開けた道度 などごとに存在する。ここでは、自然度を判断するための特徴判断式を自然度判断 式といい、都市度を判断するための特徴判断式を都市度判断式といい、開けた道度 を判断するための特徴判断式を開けた道度判断式という。
[0161] 特徴判断式には、自然度判断式、都市度判断式、開けた道度判断式等、風景画 像に含まれる風景の特徴の種類に応じて様々な式があるが、これらの式はそれぞれ 共通の構造を有している。即ち、特徴判断式の基本式があり、この基本式を具体化し たものが自然度判断式であり、都市度判断式であり、開けた道度判断式である。特徴 判断式の基本式は次のとおりである。
[0162] 風景の特徴 = (プラス要素数—マイナス要素数) Z判断要素全体数……(1) 式(1)において、プラス要素数とは、特徴判断の対象となっている風景の特徴を強め る方向に作用する画像片分類結果を有する画像片の個数である。マイナス要素数と は、特徴判断の対象となっている風景の特徴を弱める方向に作用する画像片分類 結果を有する画像片の個数である。判断要素全体数とは、特徴判断に用いられる画 像片分類結果を有する画像片の総数である。
[0163] 自然度を判断する場合、草木数がプラス要素数になり、人工物数がマイナス要素 数となる。また、自然度の判断に用いる画像片分類結果は「草木」、「空」、「人工物」 であり、よって判断要素全体数は、草木数と空数と人工物数とを合計した数である。 尚、空数はプラス要素数でもマイナス要素数でもないが、判断要素全体数に含める。 即ち、自然度判断式は、例えば次のとおりである。
[0164] 自然度 = (草木数 人工物数) Z判断要素全体数……(2)
但し、判断要素全体数 =草木数 +空数 +人工物数……(3)
自然度の値は 1から + 1までの間のいずれかの値になる。自然度がもっとも低い ときには一 1となり、自然度力 Sもっとも高いときには + 1になる。例えば図 11中のィメー ジチャート 56に示す各画像片の画像片分類結果に基づいて、図 6中の画像 52の自 然度を計算すると、次のようになる。つまり、イメージチャート 56において、草木数が 3 0で、空数が 28で、人工物数が 20なので、自然度は、
(30- 20) /78 = 0. 13…… (4)
である。自然度 0が自然度の中間値なので、自然度が 0の場合に「適度な自然がある 」という評価をするとすれば、自然度 0. 13は、例えば「適度な自然がある」と評価する ことができる。
[0165] また、都市度を判断する場合、人工物数がプラス要素数になり、草木数がマイナス 要素数となり、空数がマイナス要素数となる。また、都市度の判断に用いる画像片分 類結果は「草木」、「空」、「人工物」であるので、判断要素全体数は、草木数と空数と 人工物数とを合計した数である。即ち、都巿度判断式は、例えば次のとおりである。
[0166] 都市度 = {人工物数 (草木数 +空数) }Z判断要素全体数……(5)
但し、判断要素全体数 =草木数 +空数 +人工物数……(6)
都巿度の値は 1から + 1までの間のいずれかの値になる。都巿度カ Sもっとも低い ときには一 1となり、都巿度カ Sもっとも高いときには + 1になる。例えば図 11中のィメー ジチャート 56に示す各画像片の分類結果に基づいて、図 6中の画像 52の自然度を 計算すると、次のようになる。つまり、イメージチャート 56において、草木数が 30で、 空数が 28で、人工物数が 20なので、都巿度は、
{ 20- (30 + 28) }/78 = -0. 49…… (7)
である。都市度 0が都市度の中間値なので、都市度が 0の場合に「適度な都市化が すすんでいる」という評価をするとすれば、都巿度— 0. 49は、例えば「都市化があま り進んで!/、な!/、」と評価することができる。
[0167] 更に、開けた道度を判断する場合、空数がプラス要素数になり、草木数がマイナス 要素数となる。ここで、開けた道度とは、概ね、道路の周囲に高い木や建物がなぐ 道路周囲の景観が開けている程度を示す。また、開けた道度の判断に用いる画像片 分類結果は「草木」、「空」、「人工物」であり、よって判断要素全体数は、草木数と空 数と人工物数とを合計した数である。尚、人工物数はプラス要素数でもマイナス要素 数でもないが、判断要素全体数に含める。即ち、開けた道度の判断式は、次のとおり である。
[0168] 開けた道度 = (空数一草木数) Z判断要素全体数……(8)
但し、判断要素全体数 =草木数 +空数 +人工物数……(9)
開けた道度の値は— 1から + 1までの間のいずれかの値になる。開けた道度力 Sもつ とも低いときには一 1となり、開けた道度力 Sもっとも高いときには + 1になる。例えば図 11中のイメージチャート 56に示す各画像片の画像片分類結果に基づいて、図 6中 の画像 52の開けた道度を計算すると、次のようになる。つまり、イメージチャート 56に おいて、草木数が 30で、空数が 28で、人工物数が 20なので、開けた道度は、
(28 - 30) /78 = -0. 03…… (10)
である。開けた道度 0が開けた道度の中間値なので、開けた道度が 0の場合に「道路 周囲の景観が適度に開けている」という評価をするとすれば、開けた道度— 0. 03は 、例えば「道路周囲の景観が適度に開けている」と評価することができる。
[0169] 特徴判断部 146は、特徴判断処理にお!ヽて自然度を判断するときには、自然度判 断式を記憶装置 16のデータ保存領域から読み出し、都市度を判断するときには、都 巿度判断式を記憶装置 16のデータ保存領域から読み出し、開けた道度を判断する ときには、開けた道度判断式を記憶装置 16のデータ保存領域力 読み出す。
[0170] 続ヽて、特徴判断部 146は、自然度判断、都巿度判断又は開けた道度等の特徴 判断を行うのに必要な画像片分類結果を有する各画像片の個数 (集計結果)を記憶 装置 16の作業領域力 読み出す。
[0171] 続いて、特徴判断部 146は、記憶装置 16の作業領域から読み出した各画像片の 個数を特徴判断式(自然度判断式、都市度判断式、開けた道度判断式など)に当て はめ、演算を行う。これにより、判断の対象となっている 1個の風景画像データに対応 する風景画像に含まれる風景の特徴を示す特徴度数が得られる。即ち、判断の対象 となって!/ヽる 1個の風景画像データに対応する風景画像の自然度を示す自然度数、 判断の対象となっている 1個の風景画像データに対応する風景画像の都巿度を示す 都巿度数、又は判断の対象となっている 1個の風景画像データに対応する風景画像 の開けた道度を示す開けた道度数が得られる。例えば、図 11中のイメージチャート 5 6に示す各画像片の分類結果に基づいて、図 6中の画像 52の自然度数、都市度数 及び開けた道度を演算すると、それぞれ 0. 13、 -0. 49及び— 0. 03となる(式 (4) 、(7)及び(10)参照)。尚、特徴度数は特徴情報の具体例である。
[0172] 続いて、特徴判断部 146は、特徴度数、即ち自然度数、都市度数、開けた道度等 を記憶装置 16の作業領域に記憶する。尚、このとき、特徴判断部 146は、判断の対 象となった風景画像データに対応する風景画像に含まれる風景についての特徴度 数を、当該風景画像の撮影位置を示す位置情報及び当該風景画像の撮影年月日 · 時刻を示す時間情報と対応づけて記憶してもよい。
[0173] 尚、上述した特徴判断処理において、各画像片に含まれる風景の一部とカメラ 11と の間の距離に応じて各画像片に重み付けをしてもよい。つまり、ある画像片に含まれ ている風景の一部とカメラ 11との間の距離力 他の画像片に含まれている風景の一 部とカメラ 11との間の距離よりも長いときには、特徴判断部 146は、当該画像片につ いての重みを、他の画像片についての重みよりも大きくした上で特徴判断処理を行う ようにしてもよい。
[0174] (画像分類処理)
次に画像分類処理について、主に図 5及び図 6を参照しながら説明する。
[0175] 再び図 5において、風景単調度演算装置 1は、続いて画像分類処理を行う(ステツ プ S28)。画像分類処理は、特徴判断処理により得られた特徴度数に基づいて、風 景画像データに対応する風景画像を予め設定された風景分類に分類する処理であ る。画像分類処理は画像分類部 147により行われる。風景分類は、風景画像に対応 する風景の特徴を示すため項目であり、例えば工場での設定或いはユーザ操作等 によって予め設定され、記憶装置 16のデータ保存領域に記憶されている。風景分類 としては、例えば「森林」、「街並み」、「開けた道」の 3つが設定される。尚、これらの風 景分類に分類されな ヽ風景画像を分類するために、「その他」を更に設定してもよ 、
[0176] 画像分類処理において、画像分類部 147は、 1個の風景画像データに対応する風 景画像に関する特徴度数に基づき、画像分類条件に従って、風景画像を風景分類 に分類する。例えば、複数の特徴度数のうち最も度数の高いもの(但し、 0. 5以上の もの)をその特徴度に対応する風景分類に分類するという画像分類条件に従って風 景画像を風景分類に分類する。即ち、風景画像に関する複数の特徴度のうち自然 度が最も高い場合には、「森林」に分類し、風景画像に関する複数の特徴度のうち都 巿度が最も高い場合には、「街並み」に分類し、風景画像に関する複数の特徴度のう ち開けた道度が最も高い場合には、「開けた道」に分類する。但し、自然度、都市度 及び開けた道度のいずれも 0. 5未満である場合には、「その他」に分類する。図 6中 の画像 52について、特徴度数に基づく風景分類すると、以下のようになる。画像 52 の自然度数、都巿度数及び開けた道度数は、それぞれ 0. 13、 一 0. 49及び一 0. 0 3であり(式 (4)、 (7)及び(10)参照)、自然度、都市度及び開けた道度のいずれも 0 . 5未満であるので、画像 52は「その他」に分類される。尚、風景分類として、「海沿い 」、「田んぼ」、「並木道」等を設定してもよい。
[0177] 続いて、画像分類部 147は、画像分類処理による画像分類 (即ち風景分類)結果 を記憶装置 16の作業領域に記憶する。尚、画像分類結果は、数字、アルファベット、 記号等に置き換えて記憶してもよ ヽ。
[0178] (前処理)
次に前処理について、図 2に加えて、図 12を参照しながら説明する。ここに図 12は 、風景画像と風景画像群の関係を示す説明図である。
[0179] 再び図 2において、画像分類処理が終了した後、風景単調度演算装置 1は、後述 する単調度演算処理に必要な数の風景画像が取得されて 、る力否かを判断する (ス テツプ S3)。必要な数の風景画像が取得されていないときには (ステップ S3 : NO)、 必要な数の風景画像を取得するため、上述したステップ 1及びステップ 2の処理を行 う。必要な数の風景画像が取得されているときには (ステップ S3 : YES)、風景単調度 演算装置 1は、前処理を行う(ステップ S40)。前処理では、取得された風景画像は、 5つ毎に一群の風景画像群とされ、 1つの風景画像群に含まれる風景画像が分類さ れた風景分類に基づいて、風景画像群は風景分類に分類される。例えば、 1つの風 景画像群に含まれる風景画像の風景分類のうち最も多い風景分類を、その風景画 像群の風景分類とする。即ち、図 12に示すように対象となる複数の風景画像 58は時 系列に 5つ毎に第 1風景画像群力も第 N風景画像群とされ、例えば第 3風景画像群 について見ると、第 3風景画像群に含まれる 5つの風景画像 58のうち、 4つの風景分 類が「森林」(図中「a」で示す)に、 1つの風景分類が「街並み」(図中「b」)に夫々、上 述した画像分類処理により分類されて!、るので、第 3風景画像群の風景分類は「森 林」に分類される。このような前処理は、例えば、森林中の交差点(「街並み」と分類さ れ得る)を通過した場合に生じ得る風景分類の局所的な変化をノイズとして除去する ことができる。即ち、一連の風景力もすると、例えば運転者或いは同乗者にとっては、 風景に変化があるとは実際には殆ど感じられないような変化を除去することができる。
[0180] 続いて、前処理による風景画像群の風景分類結果は、記憶装置 16の作業領域に
SC fedれる。
[0181] (単調度演算処理)
次に単調度演算処理について、主に図 2及び図 12を参照しながら説明する。
[0182] 再び図 2において、前処理が終了した後、風景単調度演算装置 1は、変化回数力 ゥント処理及び種類数カウント処理を行う(ステップ S5)。
[0183] 変化回数カウント処理は、所定数の風景画像にっ ヽて、風景画像群が分類された 風景分類が変化した回数をカウントする処理である。変化回数カウント処理は、変化 回数カウント部 151により行われる。例えば、図 12に示すように第 1風景画像群の風 景分類が「森林」であり、第 2風景画像群の風景分類が「街並み」の場合には、変化 数カウント部 151は、変化回数を 1つカウントする。尚、このように風景画像群の風景 分類が時系列に変化する時点を風景変化点と呼ぶ。
[0184] 種類数カウント処理は、所定数の風景画像にっ ヽて、風景画像群が分類された風 景分類の種類数をカウントする処理である。種類数カウント処理は、種類数カウント部 152により行われる。図 12に示すように、例えば、第 1風景画像群の風景分類が「森 林」であり、第 2風景画像群の風景分類が「街並み」であり、第 3風景画像群の風景分 類が「森林」である場合には、第 1風景画像群力ゝら第 3風景画像群までの種類通は「2 」とカウントされる。
[0185] 変化回数カウント処理及び種類数カウント処理は、どちらが先に行われてもよいし、 或いは、同時に行うようにしてもよい。
[0186] 続 、て、変化回数カウント処理による変化回数及び種類数カウント処理による種類 数は、記憶装置 16の作業領域に記憶される。 [0187] 再び図 2において、変化回数カウント処理及び種類数カウント処理が終了した後、 風景単調度演算装置 1は、単調度演算処理を行う (ステップ S6)。
[0188] 単調度演算処理は、変化回数カウント処理による変化回数及び種類数カウント処 理による種類数に基づいて、単調度を演算する処理である。単調度演算処理は、演 算部 153により行われる。単調度演算処理では、例えば、変化回数及び種類数の積 の値が大きいほど単調度は小さぐ変化回数及び種類数の積の値が小さいほど単調 度は大きくなるように演算される。即ち、単調度演算手段による単調度の演算式は、 例えば次のとおりである。
[0189] 単調度 = 1 (変化回数 X種類数) / (総風景画像群数 X総種類数)……(11) 式(11)において、「総風景画像群数」は、単調度を演算する対象となる風景画像 群の数を意味する。また、「総種類数」は、予め設定された複数の風景分類の数を意 味し、例えば、予め設定された複数の風景分類が、「森林」、「街並み」、「開けた道」 、「その他」である場合には、総種類数は 4となる。尚、「その他」を総種類数から除外 してもよい。更に、単調度を 0から 100の範囲で表すために式(11)において、カウン トされた回数をカウントされた回数— 1に置き換えると共に、右辺に 100を乗じてもよ い。
[0190] ここで、図 13及び図 14を参照して、単調度演算処理の具体例について説明する。
ここに図 13は、風景画像群の風景分類の変化を示すグラフである。図 14は、図 13に おける各コースについての変化回数、種類数及び単調度を示す表である。
[0191] 図 13中の分類結果 59は、相異なる 4つのコース(即ち、コース A、コース B、コース C及びコース D)を車両で走行中に風景単調度演算装置 1によって風景画像が取得 され、風景画像群毎に風景分類に分類された結果を示している。分類結果 59は、横 軸が風景画像群、縦軸が風景分類である。尚、本具体例では、風景画像群は、第 1 群風景画像群から第 10群風景画像群を対象とし、風景分類として、「森林」、「街並 み」、「開けた道」及び「その他」の 4つが設定されて 、る。
[0192] 図 13に示すように、コース Aは、森林を走行し続けるコースであり、第 1風景画像群 から第 10風景画像群の風景分類は全て「森林」に分類されて 、る。
[0193] コース Bは、街並みを走行中に、森林を通過するコースであり、第 1風景画群から第 3風景画像群、及び第 8風景画群から第 10風景画像群の風景分類は「街並み」に分 類され、第 4風景画群から第 7風景画像群の風景分類は「森林」に分類されている。
[0194] コース C及びコース Dは、森林、街並み、開けた道等を通過するコースであり、夫々 、分類結果 59のように、風景画像群は、「森林」「街並み」「開けた道」及び「その他」 に分類されている。
[0195] 図 14は、図 13の 4つのコースについての変化回数、種類数及び単調度を示してい る。
[0196] 変化回数及び種類数は、上述したように変化回数カウント処理及び種類数カウント 処理によりカウントされる。図 14は、コース A、コース B、コース C及びコース Dの各々 について、変化回数が 0、 2、 5及び 9であり、種類数が 1、 2、 3及び 4であることを示し ている。
[0197] コース Aの単調度は、上述した式(11) (但し、単調度を 0から 100の範囲で表すた めに左辺に 100を乗じる。)より、以下のように演算される。
[0198] (1-(0X1)/(10X4)) X100=100…… (12)
同様に、コース Bの単調度は、以下のように演算される。
[0199] (1-(2X2)/(10X4)) X100 = 90…… (13)
同様に、コース Cの単調度は、以下のように演算される。
[0200] (1-(5X3)/(10X4)) X100 = 62. 5……(14)
同様に、コース Dの単調度は、以下のように演算される。
[0201] (1-(9X4)/(10X4)) X100=10…… (15)
このように演算された各コースの単調度を比較すると、コース Aの単調度が 100で 最も大きぐコース Dの単調度が 10で最も小さいことが判定できる。即ち、コース Aが 最も単調であり、コース Dが最も単調でない即ち最も変化に富んだコースであることが 判定できる。
[0202] 続いて、単調度演算処理による単調度は、記憶装置 16の作業領域に記憶される。
[0203] (アクション処理)
再び図 2において、風景単調度演算装置 1は、風景画像が単調であるか否かを判 断する (ステップ S7)。風景画像が単調である力否かの判断は、単調度演算処理によ る単調度についての基準を予め設けることで行われる。例えば、単調度に対してある 閾値を予め設定しておき、その閾値よりも高い場合には、その一連の風景画像は単 調であると判断する。例えば単調度の閾値を 80と設定し、単調度が 80以上の場合に は単調であると判断する。即ち、例えば、図 13及び図 14を参照して上述したコース Aからコース Dについて見れば、コース A及びコース Bは、単調度が 80以上であるの で、「単調である」と判断され、コース C及びコース Dは、単調度が 80未満であるので 、「単調でない」と判断される。
[0204] 風景画像が単調でないと判断されたときには (ステップ S7 :NO)、風景単調度取得 装置の動作を継続するか否かが判断される (ステップ S9)。継続するときには (ステツ プ S9 : YES)、ステップ 1からの動作を行う。継続しないときには(ステップ S9 :NO)、 風景単調度演算装置 1は動作を終了する。
[0205] 風景画像が単調であると判断されたときには (ステップ S7 : YES)、アクション処理 が行われる (ステップ S8)。アクション処理は、単調度が高いために生じ得る運転者の 居眠り等を防止するための処理であり、例えば情報表示部 19により行われる。情報 表示部 19は、運転者に対する警告情報を表示する。尚、アクション処理として、例え ば、警報の発砲、表示装置の表示方法の変更、カーナビゲーシヨンによる他の経路 への誘導、休憩できる地点の案内、音楽 ·映像 ·画像等の変更などを行ってもよい。 アクション処理としては、例えば運転者や同乗者に環境の変化を与えるものが望まし い。更に、アクション処理は、単調度の大きさに応じて、その頻度や度合いを増減さ せるようにしてちょい。
[0206] 風景単調度演算装置 1をカーナビゲーシヨン装置に組み込んだ場合の、具体的な アクション処理につ!、て説明する。
[0207] カーナビゲーシヨン装置は、カーナビゲーシヨンを利用して経路設定をしている場 合、又は経路設定をせずに自由走行の状態で現在位置を取得できている場合に、 単調な道が続くと判断すると、走行中に、先に続く単調な経路の距離の案内 (例えば 「この先、単調な道が 5km続きます」等の表示)、単調な経路を走行する前の休憩所 等の案内、現在走行中の経路を変更する案内を行う。また、経路上の単調度の変化 を含む案内(例えば「あと 3km単調な道が続きますが、その後は単調な道ではありま せん」等の表示)を行う。また、他の経路を再検索する場合、単調度の低い経路を案 内してもよいし、現在走行中の風景と異なる風景の経路へ案内してもよい。例えば、「 森林」の続く単調な道を走行している場合、「街並み」の続く単調な道へ変更する。こ れは、変化点が一つできるので効果がある。更に、一定時間走行後や一定距離走行 後、運転者の疲労度などの情報と組み合わせて、経路を案内するようにしてもよい。
[0208] また、カーナビゲーシヨン装置又はその機能を適用したコンピュータは、単調度を 反映させた地図情報を用いて経路設定をする際には、単調度を考慮して経路設定 を行う。例えば、目的地までの経路のうち、単調な経路は全て回避する。目的地まで の経路に、単調な経路を一定距離走行する場合に、途中から単調な経路を回避す るよう〖こする。同様に単調な経路を一定距離走行する場合に、途中の休憩地点をあ らかじめ設定するよう案内する。また、有料道路または高速道路を利用する経路設定 の場合、単調な道が長く続くのであれば、サービスエリアやパーキングエリアなどの 休憩できる地点をあら力じめ案内する。
[0209] また、カーナビゲーシヨン装置又はその機能を適用したコンピュータは、単調度を 反映させた地図情報を用いて経路設定をする際には、目的地までのルート探索結果 を複数の候補から選ぶことが出来る場合に、時間や距離、有料道路の料金に加えて 、単調度を表示する。例えば、経路上の単調度の累計をルート毎に演算し、比較が 出来るように表示する。区間毎に演算した単調度の累計を表示する、又は区間毎に 演算した単調度の和を区間数で割って平均値を表示すると、各ルートの単調度の比 較が容易になる。また、目的地までのルート探索結果の中に、「距離優先」、「時間優 先」、「有料回避」などに加えて「単調回避」と表示してもよい。「単調回避」の場合、単 調な経路を避けるだけでなぐ休憩地点などを自動で設定するようにしてもよい。
[0210] また、カーナビゲーシヨン装置は、位置情報、経路、一定区間の通過回数等を参照 して移動体の過去の走行履歴を記憶しており、この走行履歴に基づいて、上述の単 調と判断する値を可変する。例えば、初めて走行する経路については単調と判断す る値を 90とし、何度か走行したことのある経路については単調と判断する値を 70とす る。
[0211] また、カーナビゲーシヨン装置が運転者の心拍数、カメラを用いて検出した運転者 の表情や表面温度に基づく疲労度や眠気、等の生体情報を測定する手段を有する 場合、カーナビゲーシヨン装置は、疲労度や眠気がある閾値を越えた場合であって、 既に単調な経路を走行中、又はこのまま単調な道が続く場合に、居眠り運転の危険 性が高いと判定し、経路の変更や休憩地点を案内する。
[0212] また、カーナビゲーシヨン装置は、走行中に、運転者の疲労度や眠気を経路上に 色情報やアイコン等で表示してもよい。これにより、運転者は、単調な経路を走行中 で疲労度や眠気が高まっていることを視覚的に確認することが出来る。
[0213] また、カーナビゲーシヨン装置が同乗者を検出する手段、例えば車内に向けたカメ ラ、シートセンサー、手動スィッチを有する場合、カーナビゲーシヨン装置は、検出結 果と単調度演算結果と組み合わせてアクションを行う。例えば、同乗者に子供の顔を 検出した場合、子供は外風景に対して非常に飽きやすい可能性があるので、単調と 判断する値を 80から 60とする。
[0214] 以上説明したように、本実施例に係る風景単調度演算装置によれば、風景画像に 対応した風景の単調さを反映した単調度を演算することができる。よって、単調度に 対して、例えばある閾値を設けることにより、風景画像に対応する風景が単調である かどうか、言い換えれば、例えば移動体の走行経路が単調であるがどうかを判定する ことができる。更に、単調度に応じて運転者に対して環境の変化を与えることにより、 居眠り運転を防止することができる。或いは、移動体内での音楽、映像等を変更する ことにより、移動体内にいることに同乗者が飽きてしまうことを防止することができる。 <他の実施例 1 >
上述した風景単調度演算装置 1では、カメラ 11等により取得された風景画像のみ 力も単調度を演算しているが、画像以外の情報を用いて単調度を演算してもよい。即 ち、例えば車外や車内或いは車両の情報を入力センサにより取得し、取得された情 報を用いて単調度を演算してもよい。また、入力センサにより取得される情報は、複 数種類を同時に取得してもよい。更に、入力センサにより取得される情報は、カメラ 1 1等による風景画像と同時に取得してもよい。
[0215] 例えば、カメラ 11等による風景画像に加えて、入力センサとして集音マイクを用い て風景画像以外の情報として車外の音を取得する。そして、風景画像及び車外の音 から単調度を演算する。この場合には、例えばカメラ 11等による風景画像のみ力ゝら演 算された単調度では、単調度が大きいと判断された経路においても、集音マイクによ る車外の音に変化があれば、単調度を小さいと判断するようにできる。
[0216] 或いは、例えば、カメラ 11等による風景画像に加えて、風景画像以外の情報として ハンドル操作、アクセル操作等の自動車の運転情報を取得する。そして、風景画像 及び自動車の運転情報から単調度を演算する。この場合には、例えば、例えばカメ ラ 11等による風景画像のみから演算された単調度では、単調度が大きいと判断され た経路においても、例えばノヽンドル操作やアクセル操作が多ければ、単調度を小さ いと判断するようにできる。
<他の実施例 2 >
上述した風景単調度演算装置 1では、カメラ 11等により取得された風景画像のみ 力も単調度を演算しているが、これに加えて、先行車両の有無、道路形状、路面状 況等の画像を用いて単調度を演算してもよ 、。
[0217] 例えば、カメラ 11等により撮影された画像力も対象となる風景画像に加えて、先行 車両の画像を取得する。そして、風景画像及び先行車両の画像から単調度を演算 する。この場合には、例えば同じ先行車両により風景が殆ど見えない、言い換えれば 、風景が殆ど見えず同じ先行車両しか見えな 、ために単調な走行となって 、ることを 判断するようにできる。
[0218] 或いは、例えば、カメラ 11等により撮影された画像カゝら対象となる風景画像に加え て、道路形状の画像を取得する。そして、風景画像及び道路形状の画像から単調度 を演算する。この場合には、例えば風景画像のみから演算された単調度では、単調 度が大きいと判断された経路においても、道路形状に例えばカーブが多ければ、単 調度を小さいと判断するようにすることができる。
[0219] 或いは、例えば、カメラ 11等により撮影された画像カゝら対象となる風景画像に加え て、路面状況の画像を取得する。そして、風景画像及び路面状況の画像から単調度 を演算する。
この場合には、例えば風景画像のみ力 演算された単調度では、単調度が大きいと 判断された経路においても、路面状況に例えば舗装されている状況と舗装されてい な 、状況の変化が多ければ、単調度を小さ 、と判断するようにすることができる。
[0220] また、上述した風景単調度演算装置 1において、航空機や人工衛星などの上空か ら真下方向や斜め方向に撮影された画像から、道路周辺の色情報や建物の有無、 道路形状、路面状況等を判定して単調度を演算してもよい。
[0221] また、既存の地図情報力 の建物の有無、道路形状等の情報を用いて単調度を演 算してちよい。
<他の実施例 3 >
上述した風景単調度演算装置 1は、位置情報や時間情報に対応付けて外部のサ ーバに記憶されて ヽる風景画像を用いて単調度を演算してもよ ヽ。
[0222] この場合、まず、単調度を演算する経路上の GPS座標を地図情報から割り出す。
そして、 2つの交差点をつなぐ区間、ある国道や県道の一定距離の区間、ユーザが 指定した区間などの所定の区間を、一定の距離で分割し、その分割された夫々の地 点の位置座標に最も近 、地点の風景画像を外部のサーバから取得する。複数の風 景画像を取得することができた場合、その区間の一端力 順に読み込み、位置的変 化における単調度の演算を行う。
[0223] 位置情報や時間情報と対応づけられた風景画像 (即ち、これから演算される単調 度)を外部のサーバから取得することで、例えば車両の走行前にどの位置の単調度 が大きいかを判断できる。よって、走行前の経路設定時に単調な道 (即ち単調度の 大きい経路)を避けるように経路を設定することができる。更に、風景画像は時間情 報とも対応づけられて ヽるので、例えば車両を走行する季節に応じた単調度を走行 前に演算することができる。単調度は、例えば榭木の紅葉や落ち葉等のため、季節 によって変化する場合があるので、季節に応じた単調度を走行前に演算できることは 実践上大変有効である。
[0224] また、経路上の撮影された方向の情報も対応付けられて外部のサーバに記憶され ている風景画像を用いて単調度を演算してもよい。この場合、進行方向の風景画像 に合わせて単調度の演算が可能となり、より単調度の精度が向上する。
[0225] また、風景単調度演算装置 1は、いわゆるプローブカーの原理を用いて、複数の移 動体により撮影された風景画像を収集し、単調度を演算してもよ ヽ。 [0226] また、風景単調度演算装置 1は、走行時に、経路上の各区間の単調度を演算する ことで、経路上の単調度の変化情報を得ることが出来る。
[0227] また、この風景単調度演算装置 1が外部のサーバに組み込まれて、このサーバに て単調度を演算してもよい。この場合、ユーザが指定した区間情報をサーバに送信 し、サーバにて風景画像を記憶領域力 読み出して単調度を演算し、ユーザに単調 度の計算結果のみを返す。
<他の実施例 4 >
上述した風景単調度演算装置 1において、カメラ 11等により風景画像を取得する 際に、カメラ 11の撮影位置を示す位置情報やカメラ 11の撮影年月日及び撮影時刻 を示す時間情報を取得し、風景画像と位置情報や時間情報とを互いに対応づけて 記憶装置 16或いは外部のサーバに記憶してもよい。即ち、風景画像から演算される 単調度と位置情報や時間情報とを互いに対応づけて記憶してもよい。尚、このような 位置情報や時間情報は例えば GPS受信装置を用いることによって取得することがで きる。
[0228] また、位置情報や時間情報の他に、風景画像を撮影した方向の情報も対応付けて 記憶装置 16或 、は外部のサーバに記憶してもよ!/、。
[0229] また、風景単調度演算装置 1は、演算した単調度を地図情報に反映させて、この地 図情報を外部のサーバに記憶させてもよい。
[0230] この地図情報の表示形態としては、地図上の区間毎に、 0〜: LOOの範囲の単調度 を色情報として表示される。例えば、単調度がある閾値以上 (例えば 80以上)の区間 を単調な道として指定した色 (例えば赤)で表示され、その閾値より小さい区間を通常 の色で表示される。また、 R、 G、 Bの 3原色の組み合わせによるグラデーションを用い てもよい。例えば、単調度が低い区間を B、単調度が中間である区間を G、単調度が 高い区間を Rとして、 B—G、 G—Rのグラデーションを用いて表示される。
[0231] また、色情報の他に、単調な経路を、文字、記号や絵記号などを用いて分かりやす く表示したり、注意を喚起するように表示してもよい。
[0232] また、単調度が高い区間が継続的に続く経路に、変化を加えて表示するようにして もよい。例えば、 5km以上単調度が高い区間が続く場合の経路のみに、色情報や文 字情報等を表示してもよい。
更に、演算された単調度は、時間情報と互いに対応づけられているので、同 Cf立置 における単調度の時系列の履歴情報として活用することができる。
<他の実施例 5 >
上述した風景単調度演算装置 1において演算した単調度を地図情報に反映させて
、この地図情報をディスク等の記録媒体、印刷物に記録してもよい。
[0233] これにより、記録媒体を用いてナビゲーシヨン装置、コンピュータ、携帯電話機など の情報表示装置に表示される地図情報に、単調度を反映させることができる。
[0234] また、市販している地図冊子、ポスター、方面看板などの印刷物に出力された地図 情報に、単調度を反映させることができる。
[0235] また、道路周辺の情報として「この先単調な道が続きます」などの道路標識や、道路 上に記載された道路標示に、演算した単調度を反映させることができる。
<他の実施例 6 >
以上のような実施例は、専用の装置としてハードウェアと一体的に構成する形態で 実現してもよ 、し、コンピュータにプログラムを読み込ませることによって実現してもよ い。コンピュータにプログラムを読み込ませて実現する場合には、コンピュータを風景 画像取得手段、風景画像分類手段、単調度演算手段として動作させるためのプログ ラムを作成する。
[0236] 本発明は、上述した実施例に限られるものではなぐ請求の範囲及び明細書全体 力ら読
み取れる発明の要旨或いは思想に反しない範囲で適宜変更可能であり、そのような 変更を
伴う風景単調度演算装置及び方法、並びにこれらの機能を実現するコンピュータプ ログラム、サーバ、記憶媒体及びナビゲーシヨン装置もまた本発明の技術的範囲に 含まれるものである。
産業上の利用可能性
[0237] 本発明に係る風景単調度演算装置及び方法は、例えば自動車に搭載されたカメラ 等で撮影された風景画像を分析することにより、自動車の走行経路における風景の 単調度を演算する風景単調度演算装置及び方法、並びにこれらの機能を実現する コンピュータプログラム、サーバ、記録媒体及びナビゲーシヨン装置に利用可能であ る。また、例えば民生用或いは業務用の各種コンピュータ機器に搭載される又は各 種コンピュータ機器に接続可能な風景単調度演算装置等にも利用可能である。

Claims

請求の範囲
[1] 外観画像を取得する画像取得手段と、
前記画像取得手段により取得した外観画像に基づ ヽて、前記外観画像に対応する 風景の単調度を演算する単調度演算手段と
を備えることを特徴とする風景単調度演算装置。
[2] 風景画像を、時間に対して順番に取得する、又は経路の一端力 順番に取得する 風景画像取得手段と、
該順番に取得された風景画像を夫々、予め設定された複数の風景分類のうちのい ずれかに分類する風景画像分類手段と、
該分類された風景分類の時間的変化又は位置的変化に基づ 、て、前記順番に取 得された風景画像の単調度を演算する単調度演算手段と
を備えることを特徴とする風景単調度演算装置。
[3] 前記単調度演算手段は、
所定期間に取得された又は相前後して取得された所定数の風景画像について、 前記分類された風景分類が変化した回数をカウントし、
前記所定数の風景画像にっ ヽて、前記分類された風景分類の種類数をカウントし 前記カウントされた回数及び前記カウントされた種類数に基づ!ヽて、前記単調度を 演算することを特徴とする請求の範囲第 2項に記載の風景単調度演算装置。
[4] 前記風景画像分類手段は、前記順番に取得された風景画像を前記順番の所定数 毎に一群の風景画像群として、該風景画像群に含まれる前記風景画像の前記分類 された風景分類に基づ ヽて、前記風景画像群を前記予め設定された複数の風景分 類のうちの 、ずれかに分類し、
前記単調度演算手段は、
所定期間に取得された又は相前後して取得された所定数の風景画像について、 前記風景画像群が分類された風景分類が変化した回数をカウントし、
前記所定数の風景画像につ!ヽて、前記風景画像群が分類された風景分類の種類 数をカウントし、 前記カウントされた回数及び前記カウントされた種類数に基づ!ヽて、前記単調度を 演算することを特徴とする請求の範囲第 2項に記載の風景単調度演算装置。
[5] 前記風景画像取得手段は、前記風景画像に対応する風景を撮影する撮影手段を 含むことを特徴とする請求の範囲第 2項に記載の風景単調度演算装置。
[6] 前記風景画像取得手段は、前記風景のうち前記風景画像に対応する物体、物体 集合体又は景観と前記撮影手段との間に存在する障害物によって、前記風景が遮ら れていることを認識する障害物認識手段を備えることを特徴とする請求の範囲第 5項 に記載の風景単調度演算装置。
[7] 前記風景画像分類手段は、
前記順番に取得された風景画像が夫々分割されてなる複数の画像片の各々を、前 記複数の風景分類のうちのいずれ力に分類する画像片分類手段と、
前記画像片分類手段による画像片分類結果に基づ!ヽて、前記風景画像に含まれ て!ヽる風景の特徴を判断する特徴判断手段と
を含み、
該判断された特徴に応じて、前記順番に取得された風景画像を夫々分類すること を特徴とする請求の範囲第 2項に記載の風景単調度演算装置。
[8] 前記画像片分類手段は、
前記複数の画像片の各々につ 、ての色の性質を分析する色分析手段と、 前記複数の画像片の各々につ ヽてフラクタル次元解析を行うフラクタル次元解析 手段と、
前記複数の画像片の各々に含まれて!/、る人工物又は人工部分の量を認識する人 ェ物量認識手段と
を含み、
前記色分析手段による色分析結果、前記フラクタル次元解析手段によるフラクタル 次元解析結果、及び前記人工物量認識手段による人工物又は人工部分の量の認 識結果に基づ 、て前記複数の画像片の各々に含まれて 、る前記風景の一部の種 類を特定し、該特定された種類に基づ!、て分類することを特徴とする請求の範囲第 7 項に記載の風景単調度演算装置。
[9] 風景画像を、時間に対して順番に取得する、又は経路の一端力 順番に取得する 風景画像取得工程と、
該順番に取得された風景画像を夫々、予め設定された複数の風景分類のうちのい ずれかに分類する風景画像分類工程と、
該分類された風景分類の時間的変化又は位置的変化に基づ 、て、前記順番に取 得された風景画像の単調度を演算する単調度演算工程と
を備えることを特徴とする風景単調度演算方法。
[10] 請求の範囲第 1項に記載の風景単調度演算装置としてコンピュータを機能させるこ とを特徴とするコンピュータプログラム。
[11] 請求の範囲第 2項に記載の風景単調度演算装置としてコンピュータを機能させるこ とを特徴とするコンピュータプログラム。
[12] 請求の範囲第 1項に記載の風景単調度演算装置が演算した単調度を反映した地 図情報を有することを特徴とするサーバ。
[13] 請求の範囲第 2項に記載の風景単調度演算装置が演算した単調度を反映した地 図情報を有することを特徴とするサーバ。
[14] 請求の範囲第 1項に記載の風景単調度演算装置が演算した単調度を反映した地 図情報を有することを特徴とする記録媒体。
[15] 請求の範囲第 2項に記載の風景単調度演算装置が演算した単調度を反映した地 図情報を有することを特徴とする記録媒体。
[16] 請求の範囲第 1項に記載の風景単調度演算装置が演算した単調度に基づいて経 路誘導を行うことを特徴とするナビゲーシヨン装置。
[17] 請求の範囲第 2項に記載の風景単調度演算装置が演算した単調度に基づいて経 路誘導を行うことを特徴とするナビゲーシヨン装置。
[18] 前記単調度を色情報として表示することを特徴とする請求の範囲第 16項に記載の ナビゲーシヨン装置。
[19] 前記単調度を色情報として表示することを特徴とする請求の範囲第 17項に記載の ナビゲーシヨン装置。
[20] 前記単調度と運転者の生体情報とに基づいて経路誘導を行うことを特徴とする請 求の範囲第 16項に記載のナビゲーシヨン装置。
前記単調度と運転者の生体情報とに基づいて経路誘導を行うことを特徴とする請 求の範囲第 17項に記載のナビゲーシヨン装置。
PCT/JP2006/316024 2005-09-07 2006-08-14 風景単調度演算装置及び方法 WO2007029455A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
DE602006018338T DE602006018338D1 (de) 2005-09-07 2006-08-14 Anordnung und verfahren zur berechnung der monotonie einer szene
US12/066,118 US20090231146A1 (en) 2005-09-07 2006-08-14 Scene monotonousness calculation device and method
EP06796414A EP1933277B1 (en) 2005-09-07 2006-08-14 Scene monotonousness calculation device and method
JP2007534296A JP4550116B2 (ja) 2005-09-07 2006-08-14 風景単調度演算装置及び方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2005-259133 2005-09-07
JP2005259133 2005-09-07

Publications (1)

Publication Number Publication Date
WO2007029455A1 true WO2007029455A1 (ja) 2007-03-15

Family

ID=37835578

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2006/316024 WO2007029455A1 (ja) 2005-09-07 2006-08-14 風景単調度演算装置及び方法

Country Status (5)

Country Link
US (1) US20090231146A1 (ja)
EP (1) EP1933277B1 (ja)
JP (1) JP4550116B2 (ja)
DE (1) DE602006018338D1 (ja)
WO (1) WO2007029455A1 (ja)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009230506A (ja) * 2008-03-24 2009-10-08 Pioneer Electronic Corp 警告装置、警告システム及び警告方法
JP2013164837A (ja) * 2011-03-24 2013-08-22 Toyota Infotechnology Center Co Ltd シーン判定方法およびシーン判定システム
WO2017134876A1 (ja) * 2016-02-05 2017-08-10 日立マクセル株式会社 ヘッドアップディスプレイ装置及びその表示制御方法
WO2018180884A1 (ja) * 2017-03-27 2018-10-04 株式会社デンソー 覚醒維持装置
WO2022208810A1 (ja) * 2021-03-31 2022-10-06 パイオニア株式会社 情報処理装置、情報処理方法、情報処理プログラム及び記憶媒体
WO2023089678A1 (ja) * 2021-11-17 2023-05-25 日本電気株式会社 分類装置、分類方法及びプログラム
WO2023127649A1 (ja) * 2021-12-28 2023-07-06 株式会社ジオクリエイツ 情報処理装置、情報処理方法及びプログラム
JP7487728B2 (ja) 2021-12-10 2024-05-21 トヨタ自動車株式会社 監視装置、監視用コンピュータプログラム及び監視方法

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007000999A1 (ja) * 2005-06-27 2007-01-04 Pioneer Corporation 画像分析装置および画像分析方法
EP2214121B1 (en) * 2009-01-30 2012-05-02 Autoliv Development AB Safety system for a motor vehicle
JP2012049709A (ja) * 2010-08-25 2012-03-08 Ricoh Co Ltd 撮像装置、空領域判定方法、プログラム
JP6011756B2 (ja) * 2011-09-01 2016-10-19 セイコーエプソン株式会社 ナビゲーションシステム、プログラム、記録媒体及びナビゲーション方法
JP5754470B2 (ja) * 2012-12-20 2015-07-29 株式会社デンソー 路面形状推定装置
KR20160001178A (ko) * 2014-06-26 2016-01-06 엘지전자 주식회사 글래스 타입 단말기 및 이의 제어방법
KR102300034B1 (ko) 2014-07-04 2021-09-08 엘지전자 주식회사 디지털 이미지 처리 장치 및 제어 방법
EP3002557B1 (en) * 2014-10-03 2019-09-25 Volvo Car Corporation Method and system for identifying a situation with a potentially inalert driver
US10467486B2 (en) * 2017-12-29 2019-11-05 Automotive Research & Testing Center Method for evaluating credibility of obstacle detection

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002254955A (ja) 2001-02-28 2002-09-11 Matsushita Electric Ind Co Ltd 走行警告案内装置
JP2004048761A (ja) * 2003-07-14 2004-02-12 Sharp Corp 映像処理装置
JP2004056763A (ja) * 2002-05-09 2004-02-19 Matsushita Electric Ind Co Ltd 監視装置、監視方法および監視用プログラム
JP2005006966A (ja) * 2003-06-19 2005-01-13 Mazda Motor Corp 支援装置
JP2005063307A (ja) * 2003-08-19 2005-03-10 Fuji Photo Film Co Ltd 画像識別方法および装置、オブジェクト識別方法および装置ならびにプログラム
JP2005078233A (ja) * 2003-08-29 2005-03-24 Toudai Tlo Ltd 領域抽出法および領域抽出装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5642093A (en) * 1995-01-27 1997-06-24 Fuji Jukogyo Kabushiki Kaisha Warning system for vehicle
JP3717045B2 (ja) * 2000-01-19 2005-11-16 松下電器産業株式会社 ナビゲーション装置
CN100370818C (zh) * 2000-05-23 2008-02-20 皇家菲利浦电子有限公司 广告间歇检测装置
US7272657B2 (en) * 2001-07-30 2007-09-18 Digeo, Inc. System and method for displaying video streams ranked by user-specified criteria

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002254955A (ja) 2001-02-28 2002-09-11 Matsushita Electric Ind Co Ltd 走行警告案内装置
JP2004056763A (ja) * 2002-05-09 2004-02-19 Matsushita Electric Ind Co Ltd 監視装置、監視方法および監視用プログラム
JP2005006966A (ja) * 2003-06-19 2005-01-13 Mazda Motor Corp 支援装置
JP2004048761A (ja) * 2003-07-14 2004-02-12 Sharp Corp 映像処理装置
JP2005063307A (ja) * 2003-08-19 2005-03-10 Fuji Photo Film Co Ltd 画像識別方法および装置、オブジェクト識別方法および装置ならびにプログラム
JP2005078233A (ja) * 2003-08-29 2005-03-24 Toudai Tlo Ltd 領域抽出法および領域抽出装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
FLETCHER L. ET AL.: "Road Scene Monotony Detection in a Fatigue Management Driver Assistance System", IEEE PROC. INTELLIGENT VEHICLES SYMPOSIUM, 2005, pages 484 - 489, XP010833842, DOI: doi:10.1109/IVS.2005.1505150
OLIVA A. ET AL.: "Int. J. Computer Vision", vol. 42, 2001, KLUWER ACADEMIC PUBL., article "Modeling the Shape of the Scene: A Holistic Representation of the Spatial Envelope", pages: 145 - 175
See also references of EP1933277A4

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009230506A (ja) * 2008-03-24 2009-10-08 Pioneer Electronic Corp 警告装置、警告システム及び警告方法
JP2013164837A (ja) * 2011-03-24 2013-08-22 Toyota Infotechnology Center Co Ltd シーン判定方法およびシーン判定システム
WO2017134876A1 (ja) * 2016-02-05 2017-08-10 日立マクセル株式会社 ヘッドアップディスプレイ装置及びその表示制御方法
WO2018180884A1 (ja) * 2017-03-27 2018-10-04 株式会社デンソー 覚醒維持装置
WO2022208810A1 (ja) * 2021-03-31 2022-10-06 パイオニア株式会社 情報処理装置、情報処理方法、情報処理プログラム及び記憶媒体
JPWO2022208810A1 (ja) * 2021-03-31 2022-10-06
WO2023089678A1 (ja) * 2021-11-17 2023-05-25 日本電気株式会社 分類装置、分類方法及びプログラム
JP7487728B2 (ja) 2021-12-10 2024-05-21 トヨタ自動車株式会社 監視装置、監視用コンピュータプログラム及び監視方法
WO2023127649A1 (ja) * 2021-12-28 2023-07-06 株式会社ジオクリエイツ 情報処理装置、情報処理方法及びプログラム

Also Published As

Publication number Publication date
JPWO2007029455A1 (ja) 2009-03-26
JP4550116B2 (ja) 2010-09-22
US20090231146A1 (en) 2009-09-17
EP1933277A1 (en) 2008-06-18
EP1933277A4 (en) 2010-01-06
DE602006018338D1 (de) 2010-12-30
EP1933277B1 (en) 2010-11-17

Similar Documents

Publication Publication Date Title
JP4550116B2 (ja) 風景単調度演算装置及び方法
US20210357670A1 (en) Driver Attention Detection Method
CN105144261B (zh) 行驶环境评价系统、行驶环境评价方法、驾驶支援装置以及行驶环境的显示装置
US11735037B2 (en) Method and system for determining traffic-related characteristics
US9707971B2 (en) Driving characteristics diagnosis device, driving characteristics diagnosis system, driving characteristics diagnosis method, information output device, and information output method
JP4493050B2 (ja) 画像分析装置および画像分析方法
CN111353471A (zh) 安全驾驶监测方法、装置、设备和可读存储介质
JP4231884B2 (ja) 注視対象物検出装置および注視対象物検出方法
US8085140B2 (en) Travel information providing device
JP4845876B2 (ja) 道路景観地図作成装置、方法及びプログラム
CN107449440A (zh) 行车提示信息的显示方法及显示装置
CN110533909B (zh) 一种基于交通环境的驾驶行为分析方法及系统
KR20150087985A (ko) 안전운행정보 표출 장치 및 그 방법
CN113781781A (zh) 道路交通风险指数的计算方法和道路交通风险预警方法
CN112109645A (zh) 向车辆用户提供辅助的方法和系统
JP2010257234A (ja) 車両用情報提示装置
US20240253624A1 (en) Implementing contextual speed limits in isa system having both positioning and situational-aware subsystems
JP2024142245A (ja) 移動支援装置
JP2024142213A (ja) 移動支援装置
JP2024142234A (ja) 移動支援装置
JP2024142241A (ja) 移動支援装置
JP2024142238A (ja) 移動支援装置
JP2024142239A (ja) 移動支援装置
JP2024140301A (ja) 興味関心度推定装置
CN115457522A (zh) 一种面向城市道路的驾驶行为安全评估方法及系统

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application
DPE1 Request for preliminary examination filed after expiration of 19th month from priority date (pct application filed from 20040101)
WWE Wipo information: entry into national phase

Ref document number: 2007534296

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2006796414

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 12066118

Country of ref document: US