WO2008050374A1 - Dispositif, procédé, programme de formation d'images de décor et support d'enregistrement pouvant être lu par ordinateur - Google Patents

Dispositif, procédé, programme de formation d'images de décor et support d'enregistrement pouvant être lu par ordinateur Download PDF

Info

Publication number
WO2008050374A1
WO2008050374A1 PCT/JP2006/318980 JP2006318980W WO2008050374A1 WO 2008050374 A1 WO2008050374 A1 WO 2008050374A1 JP 2006318980 W JP2006318980 W JP 2006318980W WO 2008050374 A1 WO2008050374 A1 WO 2008050374A1
Authority
WO
WIPO (PCT)
Prior art keywords
landscape
image
imaging
cell
determined
Prior art date
Application number
PCT/JP2006/318980
Other languages
English (en)
French (fr)
Inventor
Ryujiro Fujita
Kohei Ito
Original Assignee
Pioneer Corporation
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Pioneer Corporation filed Critical Pioneer Corporation
Priority to PCT/JP2006/318980 priority Critical patent/WO2008050374A1/ja
Priority to JP2008540796A priority patent/JP4870776B2/ja
Priority to US12/442,643 priority patent/US8233054B2/en
Publication of WO2008050374A1 publication Critical patent/WO2008050374A1/ja

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior

Definitions

  • the present invention relates to a landscape imaging apparatus that captures a landscape, a landscape imaging method, a landscape imaging program, and a computer-readable recording medium.
  • a landscape imaging apparatus that captures a landscape, a landscape imaging method, a landscape imaging program, and a computer-readable recording medium.
  • the use of the present invention is not limited to the above-described landscape imaging apparatus, landscape imaging method, landscape imaging program, and computer-readable recording medium.
  • Patent Document 1 Japanese Unexamined Patent Publication No. 2003-198904
  • a landscape imaging apparatus includes an imaging unit that captures a landscape image in an arbitrary direction, and an arbitrary image captured by the imaging unit.
  • a dividing unit that divides a landscape image in the direction (hereinafter referred to as “initial landscape image”) into a plurality of cells, and corresponds to each cell divided by the dividing unit among the initial landscapes corresponding to the initial landscape image.
  • calculating means for calculating a distance to a part of the initial landscape, and determining means for determining an imaging direction using the distance calculated by the calculating means.
  • a landscape imaging method includes an imaging step of capturing a landscape image in an arbitrary direction, and a landscape image of the arbitrary direction captured by the imaging step (hereinafter referred to as "initial landscape"). And a distance to a part of the initial scenery corresponding to each cell divided by the division process among the initial scenery corresponding to the initial scenery image. And a determination step of determining an imaging direction using the distance calculated by the calculation step.
  • a landscape imaging program according to an invention of claim 11 causes a computer to execute the landscape imaging method according to claim 10.
  • a computer-readable recording medium according to the invention of claim 12 records the landscape imaging program according to claim 11.
  • FIG. 1 is a block diagram showing an example of a functional configuration of a landscape imaging apparatus that is useful in the present embodiment.
  • FIG. 2 is a flowchart showing the contents of processing of the landscape imaging apparatus according to the present embodiment.
  • FIG. 3 is a block diagram showing an example of a hardware configuration of an in-vehicle device that works on the embodiment.
  • FIG. 3 is a block diagram showing an example of a hardware configuration of an in-vehicle device that works on the embodiment.
  • FIG. 4 is an explanatory view showing an example of a landscape image used in the present embodiment.
  • FIG. 5 is an explanatory view showing an example of the division of a landscape image which is related to the present embodiment.
  • Fig. 6 is an explanatory diagram showing an example of calculating the distance of each cell and determining a distant view in a landscape image related to the present embodiment.
  • Fig. 7 is an explanatory view showing determination of the driving angle of the camera which is effective in the present embodiment.
  • FIG. 8 is an explanatory view showing a view index calculation which is useful in the present embodiment.
  • FIG. 9 is a flowchart showing the contents of the processing of the in-vehicle device that works on the present embodiment.
  • FIG. 10 is a flowchart showing the contents of drive direction determination processing (step S 905 in FIG. 9) in the in-vehicle device that is relevant to the present embodiment.
  • FIG. 11 is a flowchart showing the contents of the sight index calculation process (step S908 in FIG. 9) in the in-vehicle device that is effective in the present embodiment.
  • FIG. 12 shows an empty determination process (step S in FIG.
  • FIG. 13 shows a sea determination process (step S in FIG.
  • FIG. 1 is a block diagram showing an example of a functional configuration of the landscape imaging apparatus according to the present embodiment.
  • the landscape imaging apparatus 100 is also configured with an imaging unit 101, a dividing unit 102, a calculating unit 103, a determining unit 104, a determining unit 105, a storage unit 106, and a force.
  • the imaging unit 101 captures a landscape image in an arbitrary direction.
  • the imaging unit 101 may take an image of the front of the moving body using a movable in-vehicle camera mounted on the moving body.
  • the imaging unit 101 may capture a landscape image in the imaging direction determined by the determination unit 104 described later, for example.
  • a driving unit (not shown) is driven so that the in-vehicle camera is directed in the imaging direction determined by the determination unit 104. Let's do it.
  • the dividing unit 102 divides a landscape image in an arbitrary direction imaged by the imaging unit 101 (hereinafter referred to as “initial landscape image”) into a plurality of cells. Further, the dividing unit 102 may divide the captured landscape image captured by the imaging unit 101 into a plurality of cells.
  • the cell is an image piece of a predetermined size in an image such as an initial landscape image or a captured landscape image.
  • the predetermined size is about 30 X 30 pixels, which is desirable for the accuracy and processing speed of the calculation unit 103 and the determination unit 105 described later. It may be set accordingly. If the entire image cannot be divided into uniform cells due to the relationship between the size of the image to be divided and the cell size, the edge of the image may be excluded from the division target.
  • the calculation unit 103 calculates a distance to a part of the initial scenery corresponding to each cell divided by the dividing unit 102 among the initial scenery corresponding to the initial scenery image.
  • the distance to a part of the initial landscape is, for example, calculated by the calculation unit 103 that is a relative distance between a part of the initial landscape and a reference position such as the imaging unit 101 or the landscape imaging device 100. Therefore, the distance to the part of the landscape corresponding to each of the plurality of cells is calculated.
  • the distance is calculated by calculating an optical flow between two initial landscape images captured in chronological order and included in each cell based on the calculated optical flow.
  • a distance to a part of the initial landscape corresponding to the plurality of pixels is calculated.
  • the average value of the distance to a part of the initial scenery corresponding to the plurality of pixels included in each cell is calculated as the distance to the part of the initial scenery corresponding to each cell.
  • the calculated distance may be calculated as infinite if the distance is very large compared to other parts of the scenery, for example, when a part of the initial scenery corresponds to the sky. Good.
  • the determining unit 104 determines the imaging direction using the distance calculated by the calculating unit 103, for example. Specifically, for example, the determination unit 104 calculates an angle, a distance, and the like for driving a driving unit (not shown) to direct the imaging unit 101 so that a landscape image in the determined imaging direction can be captured. It is good.
  • the determination unit 104 is based on the number of cells in which a part of the initial landscape is determined to be a distant view by the determination unit 105 described later in an image region having one or more cell forces in the initial landscape image.
  • the imaging direction may be determined. More specifically, for example, the determination of the imaging direction may be performed by determining the imaging direction as a direction in which a cell determined to be a distant view out of the cells in the image region has a good view of the image region.
  • the determination unit 105 determines whether a part of the initial landscape corresponding to each cell is a distant view.
  • the distant view means, for example, a part of the initial landscape corresponding to the arbitrary subject portion when the distance to the arbitrary subject portion constituting the initial landscape is located farther than a predetermined distance.
  • This predetermined distance may be, for example, a predetermined distance set in advance, or a distance that can be variably set according to the type of scenery or the preference of the operator.
  • the determination unit 105 determines that a part of the initial landscape corresponding to the cell is a distant view (for example, if it is less than the specified value, the part of the landscape corresponding to the cell is a close-up view (for example, a nearby road, a preceding vehicle, etc.). It may be determined that it is a landscape. You can also define one or more intermediate distances between the distant view and the close view! /.
  • the determination unit 105 determines that a part of the captured scenery corresponding to each cell divided by the dividing unit 102 among the captured scenery corresponding to the captured landscape image is a sky, sea, mountain, and night view. It is determined whether or not the force falls within at least one of these.
  • a determination for example, by setting at least one of the sky, the sea, the mountains, and the night view, the sky, which is set in advance while the vehicle is running, Landscape images corresponding to distant views such as the sea, mountains, and night views can be automatically stored by the storage unit 106 described later. Or, for example, the music and video in the car can be switched to music and video according to the sky, sea, mountains or night view.
  • the determination unit 105 determines the captured scene from the variance value of the brightness of the pixels included in the cell positioned above. It is also possible to determine whether or not a part of the power is empty.
  • the determination unit 105 is color information of the color information corresponding to the cell
  • the color information includes hue, brightness, and saturation as parameters.
  • color information for example, HLS color information
  • the determination unit 105 determines that the brightness variance values of all of the cells to be determined and eight cells located in the vicinity thereof (that is, cells in the vicinity of 8) have a predetermined value (for example, 10) In the following cases, it is determined that a part of the imaging scene corresponding to the cell is empty. In addition, the determination unit 105 has a lightness variance value of one of the cells to be determined and eight cells located in the vicinity thereof (that is, cells in the vicinity of eight) larger than a predetermined value (for example, 10). In this case, it is determined that a part of the imaging scenery corresponding to the cell is not empty.
  • a predetermined value for example, 10
  • the determination unit 105 determines, for example, that a cell that has not been determined to be empty is empty. Based on the average hue and average saturation of a plurality of pixels included in the cell, it may be determined whether or not the power of the part of the captured scene is the sea.
  • the determination unit 105 determines the average hue (or color tone) power of a plurality of pixels included in a cell that is determined not to be empty as a plurality of pixels included in the cell determined as empty.
  • the average brightness of a plurality of pixels included in a cell that is within a predetermined range including the average hue of the pixel and is determined not to be empty is the average brightness of the plurality of pixels included in the cell determined to be empty. If it is less than 1 degree, the cell may be determined to be the sea.
  • the color of the sea reflects the color of the sky and is similar to the color of the sky. It is possible to determine whether or not a part of the captured landscape is the sea, and it is possible to accurately determine whether or not a part of the captured landscape is the sea.
  • the determination unit 105 analyzes the color property of each cell adjacent to the cell determined to be empty among the cells not determined to be empty to determine the boundary between the sky and the non-sky landscape. By detecting, it may be determined whether or not the captured scenery includes a mountain.
  • the determination unit 105 determines that, in one cell, the pixels that are determined to be the sky color are equal to or higher than a certain ratio, and the pixels that are not determined to be the sky color are a certain ratio. If it is less than that, it is judged that there is a high possibility that the cell contains a ridgeline.
  • “determining the color of the sky” means determining that the hue, lightness, and saturation of the pixel are included in the range of the hue, lightness, and saturation in the above-described determination of the sky. . Then, the determination unit 105 determines that the landscape includes a mountain if there is a certain number or more of cells that are determined to have a high possibility of including a ridgeline.
  • the determination unit 105 determines, for each of the plurality of cells, the higher one of the plurality of pixel groups that are distinguished from each other by performing the binary value of the pixel on the basis of the lightness of the predetermined value. Based on the number of pixel groups thus distinguished, it may be determined whether or not a part of the imaged landscape is a night scene. [0038] More specifically, for example, the determination unit 105 uses a binary value to determine a pixel in which a plurality of pixels having brightness higher than a predetermined value are adjacent to each other from a plurality of pixels included in one cell. A group (including pixels with a brightness below a certain value and one adjacent pixel that is lighter than a certain value), and so that there are many white particles on a black background than in the surroundings in one cell High brightness, pixels are scattered.
  • the determination unit 105 calculates the number of pixel groups in which a plurality of pixels having a lightness higher than a predetermined value are adjacent, and a pixel group in which a plurality of pixels having a lightness higher than the predetermined value are adjacent to each other. If there are more than the specified value (for example, 10), it is determined that there is a high possibility that the cell contains a night view.
  • the night view refers to a night landscape that includes a lot of light such as a building, a residential area, and an automobile.
  • the determination unit 105 may include a night view. If the cell power determined to be high is greater than a certain number (for example, 10), it will be determined that the landscape includes night scenes! /.
  • the night view often includes many points of light with higher brightness than the surroundings, and this reflects the characteristic that a part of the imaged landscape is a night view. Therefore, it is possible to accurately determine whether or not a part of the imaged landscape is a night view.
  • the level or degree of the night view may be determined according to the number of cells determined that the night view is included and is likely to be included.
  • the processing speed can be improved by limiting the cells that are subject to night view judgment to only those that are judged to be distant views. Furthermore, it may be limited to the case where there are a certain number (for example, 10) or more of cells that are determined to be night sky by the above-described determination regarding the sky.
  • the determination unit 105 makes a determination regarding the distant view of the initial landscape, and the determination of the captured landscape regarding the sky, the sea, the mountains, and the night view. There is nothing. Specifically, for example, the determination unit 105 may make a determination regarding a distant view of the photographed landscape, or may determine a sky, sea, mountain, night view, or the like for the initial landscape.
  • the storage unit 106 stores the captured scenery image according to the determination result determined by the determination unit 105. Specifically, for example, when it is determined that the captured scene image includes the sea and mountains as a determination result, the storage unit 106 does not illustrate the captured landscape image. It may be configured to save in the storage area of the device. More specifically, for example, it may be configured to automatically save a captured landscape image that satisfies a predetermined condition by a user or factory default settings.
  • the storage unit 106 may store the captured landscape image and the positional information of the captured landscape image in association with each other.
  • FIG. 2 is a flowchart showing the contents of the processing of the landscape imaging apparatus that works on the present embodiment.
  • the imaging unit 101 determines whether or not a landscape image has been captured (step S 201).
  • the landscape image may be captured continuously with the movement of the user or the landscape imaging apparatus 100, or a start input may be received by the user.
  • step S201 when a landscape image is waited to be captured and captured (step S201: Yes), the landscape image captured in step S201 by the dividing unit 102 (hereinafter referred to as "initial stage").
  • the landscape image is divided into a plurality of cells (step S202).
  • the calculation unit 103 calculates a distance to a part of the initial scenery corresponding to each cell divided in step S202 among the initial scenery corresponding to the initial scenery image (step S203).
  • the determination unit 105 determines a distant view using the distance calculated in step S203 (step S204).
  • the determination of the distant view is, for example, a configuration for determining whether or not a part of the initial landscape corresponding to each cell is a distant view.
  • step S204 based on the number of cells in which a part of the initial landscape determined in step S204 is determined to be a distant view by the determination unit 104 in the image area having one or more cell forces in the initial landscape image.
  • the imaging direction is determined (step S205).
  • the imaging unit 101 captures an imaged landscape image in the imaging direction determined in step S205 (step S206).
  • the captured landscape image is captured, for example, by driving an unillustrated drive unit so that the in-vehicle camera is directed in the image capturing direction determined in step S205.
  • the dividing unit 102 divides the captured landscape image captured in step S206 into a plurality of cells (step S207).
  • the determination unit 105 determines a captured landscape corresponding to the captured landscape image captured in step S206 (step S208).
  • the determination of the captured landscape is, for example, that at least one of the captured landscape corresponding to each cell divided in step S207 is at least one of the sky, the sea, the mountain, and the night view among the captured landscape corresponding to the captured landscape image. Determine if one of them applies.
  • the storage unit 106 stores the captured landscape image according to the determination result determined in step S208 (step S209), and the series of processing ends.
  • the landscape imaging device, the landscape imaging method, the landscape imaging program, and the computer readable recording medium of the present invention realize the function by the landscape imaging device 100 shown in FIG.
  • the apparatus is not limited to the landscape imaging apparatus 100, and a plurality of apparatuses may be used as long as the functional unit shown in FIG.
  • the connection between the devices may be established by performing communication by Bluetooth (registered trademark) or the like, regardless of wired or wireless.
  • a distant view is determined from the captured initial landscape image. Since the shooting direction is determined and the shooting landscape image is picked up, it is possible to pick up a landscape with a good view without having to register it.
  • the captured landscape image is stored by determining the landscape based on the captured landscape image, the conditions are determined in advance by the user or by the factory default settings. Accordingly, the captured landscape image can be appropriately stored. In other words, a captured landscape image obtained by capturing a landscape according to a user's preference can be efficiently stored, and the storage area can be effectively used.
  • the user can operate the landscape imaging device or Even if you do not register, you can automatically capture a landscape with a good view and save an appropriate captured landscape image.
  • the driver can check the scenery after driving, it is not necessary to pay attention to the scenery during driving, and safe driving can be achieved.
  • FIG. 3 is a block diagram showing an example of the hardware configuration of the in-vehicle device that works on the present embodiment.
  • an in-vehicle device 300 is mounted on a moving body such as a vehicle, and includes a CPU 301, a ROM 302, a RAM 303, a magnetic disk drive 304, a magnetic disk 305, an optical disk drive 306, Optical disk 307, audio I / F (interface) 308, speaker 309, human power device 310, video I / F 311, display 312, camera 313, communication IZF 314, GPS unit 315, and various sensors 316 And.
  • Each component 301 to 316 is connected by a bus 320.
  • the CPU 301 governs overall control of the in-vehicle device 300.
  • the ROM 302 records various programs such as a boot program, an imaging program, an image determination program, and an image storage program.
  • the RAM 303 is used as a work area for the CPU 301.
  • the imaging program causes, for example, a landscape image in front of the vehicle to be captured by a camera 313 described later.
  • the imaging program determines a driving angle for driving the driving unit of the camera 313 and drives the driving unit in order to capture an imaging direction toward a point of good view determined by the determination program described later.
  • a landscape image in the imaging direction may be captured.
  • the image determination program makes a determination regarding a landscape of a landscape image captured by a camera 313, which will be described later. The details will be described with reference to FIGS. 4 to 8. However, the image determination program, for example, shows a landscape corresponding to a cell constituting a part of a landscape image. Or whether the landscape corresponding to the cells constituting a part of the landscape image corresponds to any one of the sky, the sea, the mountains, and the night view.
  • the image determination program determines a direction with a good view of a landscape corresponding to a landscape image from the number of distant cells in an image region having a plurality of cell forces, It is a good idea to determine whether the scenery is a good view by calculating the view index according to the type of scenery corresponding to the cells that make up the part.
  • the image storage program controls, for example, a magnetic disk drive 304 and an optical disk drive 306 described later, and stores a landscape image on a recording medium such as the magnetic disk 305 and the optical disk 307.
  • the data to be stored is a landscape image determined as a landscape with a good view by the determination program. In this way, by storing a landscape with a good view, the user can acquire a landscape image in which the left and right landscapes are not noticed while the vehicle is running.
  • the magnetic disk drive 304 controls reading and writing of data to the magnetic disk 305 according to the control of the CPU 301.
  • the magnetic disk 305 records data written under the control of the magnetic disk drive 304.
  • the magnetic disk 305 for example, HD (node disk) or FD (flexible disk) can be used.
  • An example of information recorded on the magnetic disk 305 is a landscape image. It should be noted that the power for recording landscape images on the magnetic disk 305 may be recorded on the optical disk 307 described later.
  • the landscape image may be provided outside the in-vehicle device 300, not limited to the one that is provided integrally with the hardware of the in-vehicle device 300.
  • the in-vehicle device 300 outputs a landscape image via the network through the communication IZF 314, for example.
  • the optical disk drive 306 controls data reading / writing to the optical disk 307 according to the control of the CPU 301.
  • the optical disk 307 is a detachable recording medium from which data is read according to the control of the optical disk drive 306.
  • a writable recording medium can be used as the optical disk 307.
  • this removable recording medium The body may be a power MO of the optical disk 307, a memory card, or the like.
  • the audio IZF 308 is connected to an audio output speaker 309, and audio is output from the speaker 309.
  • Examples of the input device 310 include a remote controller, a keyboard, a mouse, and a touch panel that are provided with a plurality of keys for inputting characters, numerical values, various instructions, and the like.
  • the video I / F 311 is connected to the display 312 and the camera 313.
  • the video I / F 311 includes, for example, a graphic controller that controls the entire display 312, a buffer memory such as VRAM (Video RAM) that temporarily records image information that can be displayed immediately, and a graphic Based on the image data output from the controller, it is configured by a control IC that controls the display 312 display.
  • VRAM Video RAM
  • the display 312 displays icons, cursors, menus, windows, or various data such as characters and images.
  • a CRT for example, a CRT, a TFT liquid crystal display, a plasma display, or the like can be adopted.
  • a plurality of displays 312 may be provided in the vehicle, for example, for the driver and for a passenger seated in the rear seat.
  • the camera 313 is installed on the dashboard or ceiling of the vehicle and captures a landscape image outside the vehicle.
  • the landscape image can be either a still image or a moving image.
  • a landscape image in the front and determined imaging direction is captured by the camera 313, and the captured landscape image is determined based on the determination result determined by the image determination program.
  • the data may be output to a recording medium such as the magnetic disk 305 or the optical disk 307 by a storage program.
  • the camera 313 may be a movable camera 313 that can image the determined imaging direction by driving a driving unit.
  • the communication I / F 314 is connected to a network via radio and functions as an interface between the in-vehicle device 300 and the CPU 301.
  • the communication I / F 314 is further connected to a communication network such as the Internet via wireless, and also functions as an interface between the communication network and the CPU 301.
  • Communication networks include LANs, WANs, public line networks, mobile phone networks, and the like.
  • the communication IZF314 is, for example, an FM tuner, VICS (Vehicle Information and Communication System) Consists of Z-Beacon Resino, wireless navigation device, and other navigation devices, and acquires road traffic information such as traffic jams and traffic regulations that are distributed by the VICS Center.
  • VICS Vehicle Information and Communication System
  • the GPS unit 315 receives radio waves from GPS satellites and outputs information indicating the current location of the vehicle.
  • the output information of the GPS unit 315 is used when the CPU 301 calculates the current location of the vehicle together with output values of various sensors 316 described later.
  • the information that indicates the current location is information that identifies one point on the map information, such as latitude and longitude, and altitude. For example, the location of the landscape image with a good view can be confirmed by associating it with the saved landscape image. Moh.
  • the various sensors 316 include a vehicle speed sensor, an acceleration sensor, an angular velocity sensor, and the like.
  • the output values of the various sensors 316 are used by the CPU 301 to calculate the current position of the vehicle and to measure the amount of change in speed and direction. .
  • the image capturing unit 101, the dividing unit 102, the calculating unit 103, the determining unit 104, the determining unit 105, and the storage unit 106 included in the landscape imaging apparatus 100 illustrated in FIG. 1 are the ROM 302 in the in-vehicle device 300 illustrated in FIG.
  • the CPU 301 executes a predetermined program using programs and data recorded in the RAM 303, the magnetic disk 305, the optical disk 307, etc., and controls each part in the in-vehicle apparatus 300 to realize the function.
  • the in-vehicle device 300 executes the various programs recorded in the ROM 302 as a recording medium in the in-vehicle device 300, so that the landscape imaging device 100 illustrated in FIG. Can be executed according to the procedure shown in FIG.
  • the in-vehicle device 300 that is useful in the present embodiment installs a movable camera 313 around the dashboard of the vehicle, takes a landscape image in front of the vehicle, and makes various determinations (analysis).
  • the reason why the front landscape image is used is that, as a point with a good view, the front or the diagonally forward of the left and right is a distant landscape (distant view).
  • the landscape image in front of the vehicle is analyzed to determine whether or not there is a distant landscape in the landscape image. If there is a distant landscape, the camera 313 is set to indicate the direction in which the distant landscape exists. 31 3 Drive as driving direction. Then, the landscape image after driving is picked up, and the view index is calculated. Details will be described with reference to FIG. 8, but the view index may be expressed by dividing the landscape image into a plurality of cells and representing the number of cells determined to be distant scenery, for example. When the view index is high, the passenger is notified and the position information of the landscape image and the landscape image is stored in association with each other.
  • FIG. 4 is an explanatory diagram showing an example of a landscape image that is helpful in the present embodiment.
  • a landscape image 400 is a landscape in front of the vehicle, captured by a camera 313 installed in the vehicle.
  • the landscape image 400 may be captured continuously, for example, when the vehicle is running, or may be configured to capture one frame at a predetermined interval.
  • the captured landscape image 400 is output to, for example, a buffer area of the video IZF 311 or a work area of other recording media.
  • the captured landscape image 400 may be configured to determine whether or not the CPU 301 has properly captured the image. Specifically, for example, it may be determined whether or not an obstacle is included in a landscape image by image recognition. And if the landscape is captured properly V, if not, discard the landscape image 400.
  • FIG. 5 is an explanatory diagram showing an example of landscape image division that is useful in the present embodiment.
  • a landscape image 500 is composed of cells 501, 501,... Divided into a plurality of the landscape image 400 shown in FIG.
  • the CPU 301 divides the landscape image 400 recorded in the buffer area of the video IZF 311 and the work area of the other recording medium into a plurality of cells 501.
  • the size of each cell 501 is preferably about 30 X 30 pixels. Note that the size of the cell 501 is determined in consideration of accuracy and processing speed such as distance calculation and landscape determination described later.
  • the landscape image 400 Exclude the target power of splitting the edge.
  • FIG. 6 shows the calculation of the distance of each cell and the determination of the distant view in the landscape image that is useful in this embodiment. It is explanatory drawing which shows a fixed example.
  • an image 600 shows a result of calculating a distance and determining a distant view for each cell 501 constituting the landscape image 500 shown in FIG.
  • feature points are detected for each cell in two landscape images taken in succession.
  • it is characterized by the fact that two scene images that are continuous in time series meet a predetermined condition (in other words, a pixel) that is determined from among a part of the landscape included in each cell.
  • a predetermined condition in other words, a pixel
  • Detect as a point for example, one or more feature points may be detected for each cell.
  • the detected feature point force also calculates an optical flow.
  • the optical flow is calculated by obtaining the change (motion vector) of the feature points detected for each cell for two landscape images taken after one another. Then, the average distance of each cell is calculated.
  • the distance between the camera 313 and the plurality of feature points is calculated using a plurality of vectors (optical flow) respectively corresponding to the plurality of feature points detected for each cell, and the calculated distances are averaged. Then, the average distance of each cell is calculated. It should be noted that the average distance of each cell calculated in this way is only required to recognize a relative difference between the cells, so in this embodiment, for example, the sky is treated as infinity.
  • a part of the landscape included in each cell is a distant view based on the average distance of each cell calculated by the above-described distance calculation. This is a process for determining whether or not.
  • a distant view if the calculated average distance of each cell is larger than a preset threshold value, one of the scenery corresponding to the cell is determined. Is a distant view (for example, a distant view of the sky, sea, mountains, etc.), and if the average distance of each cell is less than the preset threshold, the view of the landscape corresponding to that cell A part is determined to be a close-up view (for example, a close-up view of a road, a preceding vehicle, or the like).
  • a close-up view for example, a close-up view of a road, a preceding vehicle, or the like.
  • each cell is represented in multiple stages such as white, gray, black, etc., the brighter (i.e., closer to white), the closer the background (the smaller the average distance), the darker (i.e., the smaller the average distance) The closer it is to black, the farther the view is (the longer the average distance is).
  • FIG. 7 is an explanatory diagram showing determination of the driving angle of the camera that is useful in this embodiment.
  • an image 700 is composed of cells 701, 702, 7003, 704, and 705 based on multi-stage distant view determination shown in FIG.
  • the multi-stage distant view is determined by determining the distant view of five stages, and the color is classified from dark to bright in order from the black cell 701 which is the farthest. It is shown in white.
  • the left region 710 and the right region 720 are set in the image 700, and a plurality of Senore 701 (702, 703, 704) forces are set.
  • the left region 710 and The driving angle of the camera 313 is determined based on the quantity of the farthest cell 701 included in the right area 720.
  • the driving angle is determined by driving the driving angle so that the left region 710 and the right region 720 are driven at a constant angle in the direction where the number of the farthest cells 701 is larger.
  • the configuration may be determined.
  • the camera 313 is driven to the left by a certain angle. .
  • the camera 313 may be directed in the direction of the region including the farthest cell 701 more than a predetermined number. Specifically, for example, if the number of cells 701 in the farthest view is 30 or more, the driving angle may be determined as a landscape direction with a good view. In this way, it is possible to accurately determine the direction in which the view is good just by comparing the left and right regions 710 and 720.
  • the angle may be calculated according to the difference between the left and right regions 710 and 720. Specifically, for example, a large angle may be used if the difference is large, and a small angle may be used if the difference is small. It is also possible to count the points by scoring 5 distant views. Specifically, for example, cell 701 has one point, cell 702 has two points, cell 703 has three points, cell 704 has four points, and cell 705 has five points. But you can. [0100]
  • the size of the region is not limited to the image 700, but may be three or more by providing a region in the middle.
  • the road vanishing point may be detected in the vertical direction, and the driving angle may be determined for the region above the road vanishing point. In this way, by adjusting the region to be determined, the processing speed can be reduced and the load can be reduced.
  • FIG. 8 is an explanatory diagram showing the view index calculation that is useful in this embodiment.
  • a landscape image 800 is a landscape imaged by driving the driving angle component 313 of the camera 313 determined based on the number of cells 701 in the farthest view shown in FIG. .
  • the captured landscape image 800 is output, for example, to the buffer area of the video IZF311 or the work area of other recording media.
  • the view index is calculated by image analysis. Specifically, for example, the view index can be calculated by dividing the landscape image 800 into a plurality of cells, and the number of cells in the sea and in the sky can be calculated. It may be calculated by counting. The determination of sea and sky will be described with reference to FIGS. Here, the cell division is almost the same as in FIG.
  • the calculated view index is equal to or greater than a certain value, it is determined that the landscape image 800 is a landscape with a good view, and the passenger is notified and the position information of the landscape image and the landscape image is associated with each other. And save. You can also use the display 312 to show the direction of the vantage point, or show the scenery of the vantage point and direction.
  • FIG. 9 is a flow chart showing the contents of the processing of the in-vehicle device that works on the present embodiment.
  • the start of imaging may be started when the vehicle travels or an input of start by the user may be accepted.
  • step S901 the camera 301 is initialized by the CPU 301 (step S901: Yes) after waiting for the start of taking a landscape image (step S901: Yes).
  • the initialization may be, for example, directing the movable camera 313 to the front of the vehicle.
  • a landscape image in front of the vehicle is captured by the camera 313 (step S 903).
  • the landscape image 400 shown in FIG. 4 is captured and output to the buffer memory of the video IZF 311 or the work area of another recording medium.
  • the CPU 301 performs image division of the landscape image captured in step S903 (step S904). Specifically, for example, in the image division, the landscape image 400 is divided into a plurality of cells 501 as shown in FIG.
  • step S905 the CPU 301 performs drive direction determination processing for driving the camera 313 using the landscape image divided in step S904 (step S905).
  • the details of the driving direction determination process which may be performed by, for example, a configuration in which the cell divided in step S904 is performed based on the determination regarding the distant view, will be described later with reference to FIG.
  • the CPU 301 drives the drive unit of the camera 313 by the drive angle determined in the drive direction determination process of step S905 (step S906).
  • the camera 313 captures a landscape image in the direction driven in step S906 (step S907).
  • the CPU 301 performs a view index calculation process on the landscape image captured in step S907 (step S908).
  • the view index calculation process may be configured to calculate the ratio of the sea and the sky in the landscape image 800 shown in FIG. 8. Details of the view index calculation process will be described later with reference to FIG.
  • the CPU 301 determines whether or not the view index calculated in the view index calculation process in step S908 is greater than or equal to a certain value (step S909).
  • This fixed value for judging the sighting index can be set by the user or automatically changed according to the weather.
  • step S909 if the view index is greater than or equal to a certain level (step S909: Yes), the view is good depending on the recording medium such as magnetic disk 305 or optical disk 307.
  • the landscape image captured in step S907 is saved as a landscape (step S910).
  • the scenery image may be stored in association with the position information of the scenery image and the scenery image, or may be notified to the passenger.
  • the display 312 can be used to notify the passenger of the direction of the vantage point or the vantage point.
  • V or display the landscape in the direction.
  • step S909 when the view index is less than a certain value (step S9
  • step S911 moves to step S911 and performs processing.
  • the CPU 301 determines whether or not to continue taking landscape images (step S911).
  • the decision to continue can be made, for example, if the vehicle is running.
  • step S911 when continuing (step S911: Yes), the process returns to step S902 to repeat the process, and when not continuing (step S911: No), the series of processes is terminated as it is.
  • the car navigation device can provide a good view. By registering the location, the passenger can use it as a recommended stop location. In addition, if the vehicle can be stopped, the passenger can stop the vehicle and take a walk around a point with a good view. In addition, a configuration may be adopted in which a location where parking is possible, such as a parking lot or a park, is searched and guided by a surrounding search using a car navigation device.
  • FIG. 10 is a flowchart showing the contents of the drive direction determination process (step S905 in FIG. 9) in the in-vehicle device according to the present embodiment.
  • the CPU 301 detects feature points for each cell divided in step S904 (step S1001).
  • the CPU 301 also calculates the optical flow of the feature point force detected in step S1001 (step S1002), and uses the optical flow to calculate the level of each cell.
  • the average distance is calculated (step S1003).
  • step S1003 instead of calculating the average distance using an optical flow, when using a compound-eye camera 313, each of the two scene images taken simultaneously from different positions is analyzed based on the disparity in disparity. The average cell distance may be calculated.
  • the CPU 301 determines whether or not the processing has been completed for all cells (step S 1004).
  • step S1004 If all cells have not been processed in step S1004 (step S1004: No), return to step S1001 and repeat the processing, and all cells have been processed.
  • the CPU 301 counts distant view cells in each area (Step S1005).
  • each area may count the quantity of the farthest cell 7001 for each of the left area 710 and the right area 720 shown in FIG.
  • step S1006 determines a driving angle for driving the camera 313 based on the number of distant view cells counted in step S1005 (step S1006). Then, the driving direction determination process in step S905 in FIG. 9 is terminated, and the process proceeds to step S906.
  • FIG. 11 is a flowchart showing the contents of the view index calculation process (step S908 in FIG. 9) in the in-vehicle device according to the present embodiment.
  • the CPU 301 performs sky determination processing on the landscape image captured in step S907 (step S1101).
  • sky determination process for example, for a cell positioned above a landscape image, it is determined whether or not a part of the landscape is empty based on the brightness dispersion values of a plurality of pixels included in the cell positioned above. The details of the sky determination process that can be performed will be described later in FIG.
  • the CPU 301 performs sea determination processing on the landscape image captured in step S907 (step S1102).
  • sea determination process for example, a cell that is not determined to be empty in step S1101 is included in the cells determined to be empty.
  • the details of the sea determination process which may be based on the average hue and average saturation of a number of pixels and determining whether or not a part of the landscape is a sea, will be described later in FIG.
  • the CPU 301 performs mountain determination processing on the landscape image captured in step S907 (step S1103).
  • the mountain determination processing is performed by analyzing the color characteristics of each of the cells adjacent to the cell determined to be empty among the cells determined not to be empty in step S1101. By detecting the boundary, it is possible to determine whether or not the landscape includes a mountain.
  • step S1104 the CPU 301 performs night scene determination processing on the landscape image captured in step S907 (step S1104).
  • night scene determination processing is performed by distinguishing a plurality of pixels that are higher than the reference out of a plurality of pixel groups that are differentiated by performing binary pixel values based on a predetermined value of brightness. Based on the number of pixel groups, it is possible to determine whether or not a part of the landscape is a night view!
  • the CPU 301 counts predetermined feature cells based on the scenery determined in steps S1101 to S1104 (step S1105). Then, the view index calculation process in step S908 in FIG. 9 is terminated, and the process proceeds to step S909.
  • the count of the predetermined feature cell may be set, for example, by setting the content of the feature cell by the user, which may be a view index by counting the number of sea and sky cells shown in FIG. But! /
  • the view index is used as a feature of the landscape.
  • a city degree, a natural degree, a foliage degree, or the like may be used.
  • the degree of autumn leaves is analyzed for fractal dimensions for landscape images divided into multiple cells, and for each cell, green leaves (green), autumn leaves (red and yellow) and fallen leaves ( (Brown). Then, the number of feature cells is accumulated, and the ratio of the feature cells to all the cells of the landscape image is defined as the green leaf rate, the autumn leaf rate, and the leaf fall rate.
  • the autumnal leaf degree may be expressed by the following equation (1).
  • Foliage Degree (Autumn Leave Rate, Deciduous Rate) Z (Green Leaf Rate + Autumn Leave Rate + Deciduous Rate) (1)
  • FIG. 12 is a flow chart showing the contents of the empty determination process (step S 1101 in FIG. 11) in the in-vehicle device that is relevant to the present embodiment.
  • the CPU 301 calculates the average value and the variance value of the HLS in the cell from the hue H, lightness L, and saturation S of a plurality of pixels included in each cell (step S1201). For example, the calculated average value and variance value are recorded in the buffer area of the video IZF 311 and the work area of other recording media.
  • the CPU 301 reads out the average value and the variance value for all the pixels of the determination target cell and its eight neighboring cells with respect to the average value and the variance value calculated in step S1201 (step S1202). That is, the determination is made by reading out the average value and the variance value for each pixel of each of the eight cells located in the periphery of the one cell to be determined and the one cell.
  • the cell to be determined may be, for example, a cell located above the landscape image, typically in the upper half. Then, a series of operations from step S1203 to step S1205 are repeated for each cell to be determined.
  • RGB color information When the color information corresponding to the cell is RGB color information, this color information is color system color information using hue, brightness (that is, luminance), and saturation as parameters, for example, HLS system.
  • the color information may be converted into color information.
  • the CPU 301 determines whether or not the variance value of all the lightness L of one cell to be determined read in step S1202 and its eight neighboring cells is 10 or less (step S 1203 ).
  • step S1203 when the variance value of lightness L of all the cells to be judged and its neighboring cells is 10 or less (step S1203: Yes), CPU 301 Thus, a part of the landscape included in one cell to be determined is determined to be “sky” (step S 1204). That is, the determination target cell is determined to be an “empty” cell, and the result determined to be “empty” is recorded in, for example, the buffer area of the video IZF 311 or the work area of another recording medium. Become.
  • CPU 301 determines whether or not the series of operations from step S 1202 to step S 1204 has been performed for all the cells to be determined (step S 12 05).
  • step S1203 when the variance value of lightness L of one of the cells to be determined and the cells in the vicinity thereof is greater than 10 (step S1203: No), the process proceeds to step S1205. Then, it is determined whether or not the series of operations from step S 1202 to step S 1204 has been performed for all the cells to be determined (step S 12 05).
  • Step S 1205! /, Step S 1202 and Step S 1204 are performed for all cells to be judged (Step S 1205: Yes ) Ends the empty determination process of step S1101 in FIG. 11 as it is, and proceeds to step S1102.
  • step S 1205 perform the series of operations from step S 1202 and step S 1204 to all the cells to be judged! If so (step S 1205: No), the process returns to step S 1202 and the process is repeated.
  • step S1204 it is determined whether or not a cell included in the landscape image is an "empty" cell.
  • the description is omitted in FIG. 12, it is also possible to determine whether or not a cell determined to be a distant view among the cells included in the landscape image is an “empty” cell! /.
  • the sky pattern is determined as follows. ⁇
  • the hue H, lightness L, and saturation of the cell to be determined are determined from the average value of hue H, lightness L, and saturation of the cell to be determined.
  • the sky pattern is judged by whether or not the average value of degree S satisfies the criteria that are determined in advance. For example, “Blue Sky”, “White Cloud”, “Black Cloud”, “Sunset” and “Night” can be set as the cell sky pattern.
  • the determination condition can be set as follows, for example. Hue H, lightness, and saturation S are shown in the range of 0-255.
  • the judgment condition for a cell to be judged as “blue sky” is that the average value of hue H is 100 or more and less than 160, the average value of lightness L is 100 or more and less than 180, and the average of saturation S The value is 60 or more.
  • the determination condition for a cell to be determined as a “white cloud” is an average value of brightness L of 180 or more.
  • the determination conditions for a cell to be determined as a “black cloud” are an average value of lightness L of less than 180 and an average value of saturation S of less than 60.
  • the determination condition for a cell to be determined to be “sunset” is that the average value of hue H is 0 or more and less than 50 or 220 or more and 250 or less, the average value of lightness L is less than 180, and saturation S The average value of is over 60.
  • the determination condition for a cell to be determined to be “night” is an average value of lightness L of less than 100.
  • the number of cells of each sky pattern is counted. That is, the number of cells determined as “blue sky”, the number of cells determined as “white cloud”, the number of cells determined as “black, cloud”, the number of cells determined as “sunset” and “ The number of cells determined as “night” will be counted.
  • the sky pattern of the landscape image is determined based on the count number.
  • the determination of the sky pattern may be performed by determining that the largest number of sky patterns among the number of cells of each sky pattern is the sky pattern of the landscape image. More specifically, for example, the number of cells determined to be “blue sky” is the number of cells determined to be other sky patterns such as “white cloud”, “black cloud”, “sunset”, “night”, etc. If there are more than the gaps, the sky in the landscape image will be “ It will be determined that it is “blue sky”.
  • the cell to be determined is fixed to the upper part (typically the upper half) in the landscape image, but the area of the cell to be determined is variable. Please do it.
  • cells belonging to the upper side of the horizontal line (or horizon) in the landscape image may be determined as the determination target of the sky determination process.
  • the vanishing point of the road in the landscape image is detected, and the position of the horizontal line is specified based on the vanishing point.
  • the cloud shape may be determined based on the determination result of the sky pattern for each cell by the sky determination processing shown in FIG. That is, the boundary between the cell judged as “blue sky” or “sunset” and the cell judged as “white V cloud” or “black, cloud” is detected, and the shape of the cloud is determined. For example, if the boundary where a group of “white clouds” and “blue sky” cells are adjacent to each other extends in the vertical direction in the landscape image, it is determined to be an “incoming cloud (or long cloud)”. can do. Or, for example, if the boundary between the “white cloud” cell and the “blue sky” cell is mottled or wavy in the landscape image, it is “scale cloud (or mottled cloud)”. Can be determined.
  • the determination condition for determining a cell as a “white cloud” is an average value of lightness L of 180 to less than 240, and the cell is “out-of-white”.
  • the average value of lightness L may be 240 or more. In this case, it can be determined that the sky image has been blown out by backlighting, and the sky pattern determination Processing accuracy can be increased.
  • FIG. 13 is a flowchart showing the contents of the sea determination process (step S1102 in FIG. 11) in the in-vehicle device that is useful in this embodiment.
  • the CPU 301 reads out the empty determination result by the empty determination process shown in FIG. 12 (step S1301). At this time, one cell is selected as a cell to be processed in the subsequent step S1302.
  • Step S1302 based on the empty determination result read out in step S1301 by the CPU 301, it is determined whether or not the target cell is positioned below the “empty” cell.
  • step S1302 No If the target cell is not located below the “empty” cell in step S1302 (step S1302: No), the process returns to step S1301 and the process is repeated.
  • step S1302 the target cell is located below the "empty" cell
  • Step S1302 Yes
  • the CPU 301 calculates an average value and a variance value of the hue H, lightness L, and saturation S of a plurality of pixels included in each cell (Step S1303).
  • the calculated average value and variance value are recorded in, for example, the buffer area of the video IZF 311 and the work area of other recording media.
  • the CPU 301 reads out the average value and the variance value for all pixels of the determination target cell and its left and right cells (step S 1304). .
  • an average value and a variance value are read for each pixel of one cell to be determined and its left and right cells.
  • a series of operations from step S 1304 to step S 1307 are repeated for each cell to be determined.
  • a sea determination in which the average value of the hue H, lightness L, and saturation S of one cell to be determined and its left and right cells is a predetermined determination condition, is performed. It is determined whether or not the force satisfies the condition (step S 1305).
  • the sea determination condition can be set as follows, for example.
  • Hue H, lightness L, and saturation S are expressed in the range of 0 to 255.
  • the sea judgment condition is an average value of brightness L of cells whose average value of Hue H is "Sky” and within the range of average value of Hue H of ⁇ 10 and whose average value of Brightness L is "Sky”
  • the average value of saturation S is 60 or more.
  • step S1305 determines that the determination target cell is a cell of "sea”. Determination is made (step S 1306).
  • the result determined as “sea” is recorded in, for example, the buffer area of the video IZF 311 or the work area of the other recording medium.
  • CPU 301 determines whether or not a series of operations from step S 1304 to step S 1306 has been performed for all the cells to be determined (step S 13 07).
  • step S1305 If the sea judgment condition is not satisfied in step S1305 (step S1305: No), the process proceeds to step S1307, and the series of operations in step S1304 is also subject to judgment. It is determined whether or not the test has been performed for all the cells to be set (step S 1307).
  • step S1307 if the series of operations from step S1304 to step S1306 is performed for all the cells to be judged (step S1307: Yes), the figure remains unchanged.
  • the sea determination process in step S1102 in 11 is terminated, and the process proceeds to step S1103.
  • step S1307 perform the series of operations from step S1304 to step S1306 for all the cells to be judged! : No) returns to Step SI 304 and repeats the process.
  • the power omitted in FIG. 13 is counted for all the cells, and the number of “sea” cells is counted. When the number is 1Z 5) or more, it may be determined that the landscape image includes a landscape with a view of the sea.
  • the user automatically captures a landscape with a good view without having to operate the camera or register the shooting location, Scenery images can be saved.
  • the driver can check the scenery after driving, it is not necessary to pay attention to the scenery during driving, and safe driving can be achieved.
  • a landscape when a landscape is captured by driving a movable camera, a plurality of landscape images are acquired in accordance with the driving to obtain a panoramic landscape image. It may be configured. Specifically, for example, when a wild rama landscape image is determined as a point with a good view, a movable camera is driven to the side of the front force of the vehicle and is taken at every driving interval of a certain angle. Then, a plurality of captured landscape images may be translated and matched to obtain a traveling no-rama landscape image.
  • panoramic landscape images when a point with a good view continues along the road, instead of taking a movable camera at every driving interval of a certain angle, move the movable camera in a direction with a good view.
  • a plurality of landscape images may be taken at a fixed mileage interval while facing.
  • the vehicle is mounted on a vehicle and images a landscape. It is good also as a structure which is not listed. Specifically, for example, it is possible to capture a landscape with a fixed point camera or the like and collect landscape images with a good view. If it is a fixed-point camera, there is no need to take measures against vibrations when it is mounted on the vehicle, so an inexpensive system can be provided.
  • the object to be imaged is a landscape, but is not limited to a landscape.
  • an image of a building or the like may be captured to collect beautiful building images. By doing so, it is possible to collect images of subjects desired by a wide range of users.
  • the landscape imaging method described in the present embodiment can be realized by executing a program prepared in advance on a computer such as a personal computer or a workstation.
  • This program is recorded on a computer-readable recording medium such as a hard disk, a flexible disk, a CD-ROM, an MO, and a DVD, and is executed when the recording medium force is also read by the computer.
  • the program may be a transmission medium that can be distributed through a network such as the Internet.

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Traffic Control Systems (AREA)
  • Image Processing (AREA)

Description

明 細 書
風景撮像装置、風景撮像方法、風景撮像プログラムおよびコンピュータ に読み取り可能な記録媒体
技術分野
[0001] この発明は、風景を撮像する風景撮像装置、風景撮像方法、風景撮像プログラム およびコンピュータに読み取り可能な記録媒体に関する。ただし、この発明の利用は 、上述した風景撮像装置、風景撮像方法、風景撮像プログラムおよびコンピュータに 読み取り可能な記録媒体には限られな 、。
背景技術
[0002] 自動車を運転中に海や山、夜景などの風景に遭遇した場合に、その風景の写真を 自動的に撮影したり、その風景に応じた音楽に自動的に切り換えたりすることができ れば大変便利である。近年では、情報センターに撮像お勧めポイントの位置情報を あら力じめ登録しておき、車両が、その位置情報を、インターネットを介してダウン口 ードし、現在位置がお勧めポイントの位置と一致した場合に撮像をおこなう技術が提 案されている（たとえば、下記特許文献 1参照。 ) o
[0003] 特許文献 1 :特開 2003— 198904号公報
発明の開示
発明が解決しょうとする課題
[0004] し力しながら、上述した従来技術では、撮影に相応しいお勧めポイントの位置情報 をあら力じめ登録しておく必要があるため、利用者に、お勧めポイントに関する選定 や登録をおこなう手間が力かってしまうという問題が一例として挙げられる。
[0005] くわえて、あら力じめ走行前にお勧めポイントの登録をおこなう構成であるため、走 行する時点の空模様などによって風景が変化してしまい、撮影に相応しくない場合 であっても、お勧めポイントとして撮影されてしまうという問題が一例として挙げられる
[0006] さらに、走行中に車両の左（右）方向に見晴らしの良い風景が広がった場合であつ ても、お勧めポイントとして登録されていなければ撮影できない。したがって、運転者 は、運転中に風景を注視できないばかりか、後に写真で風景を確認することもできな くなつてしまうという問題が一例として挙げられる。また、走行中の見晴らしの良い風 景を写真に残そうと、搭乗者力カメラの準備をしても、通り過ぎてしまい、結局撮影で さないことちある。
課題を解決するための手段
[0007] 上述した課題を解決し、目的を達成するため、請求項 1の発明にかかる風景撮像 装置は、任意の方向の風景画像を撮像する撮像手段と、前記撮像手段によって撮 像された任意の方向の風景画像 (以下、「初期風景画像」という）を複数のセルに分 割する分割手段と、前記初期風景画像に対応する初期風景のうち、前記分割手段 によって分割された各セルに対応する前記初期風景の一部までの距離を算出する 算出手段と、前記算出手段によって算出された距離を用いて撮像方向を決定する決 定手段と、を備えることを特徴とする。
[0008] また、請求項 10の発明に力かる風景撮像方法は、任意の方向の風景画像を撮像 する撮像工程と、前記撮像工程によって撮像された任意の方向の風景画像 (以下、「 初期風景画像」と 、う）を複数のセルに分割する分割工程と、前記初期風景画像に 対応する初期風景のうち、前記分割工程によって分割された各セルに対応する前記 初期風景の一部までの距離を算出する算出工程と、前記算出工程によって算出され た距離を用いて撮像方向を決定する決定工程と、を含むことを特徴とする。
[0009] また、請求項 11の発明にかかる風景撮像プログラムは、請求項 10に記載の風景撮 像方法をコンピュータに実行させることを特徴とする。
[0010] また、請求項 12の発明にかかるコンピュータに読み取り可能な記録媒体は、請求 項 11に記載の風景撮像プログラムを記録したことを特徴とする。
図面の簡単な説明
[0011] [図 1]図 1は、本実施の形態に力かる風景撮像装置の機能的構成の一例を示すプロ ック図である。
[図 2]図 2は、本実施の形態にかかる風景撮像装置の処理の内容を示すフローチヤ ートである。
[図 3]図 3は、本実施例に力かる車載装置のハードウェア構成の一例を示すブロック 図である。
[図 4]図 4は、本実施例にカゝかる風景画像の一例を示す説明図である。
[図 5]図 5は、本実施例にカゝかる風景画像の分割の一例を示す説明図である。
[図 6]図 6は、本実施例にカゝかる風景画像における各セルの距離の算出および遠景 の判定の一例を示す説明図である。
[図 7]図 7は、本実施例に力かるカメラの駆動角度の決定について示す説明図である
[図 8]図 8は、本実施例に力かる見晴らし指数算出について示す説明図である。
[図 9]図 9は、本実施例に力かる車載装置の処理の内容を示すフローチャートである
[図 10]図 10は、本実施例に力かる車載装置における駆動方向決定処理（図 9のステ ップ S905)の内容について示すフローチャートである。
[図 11]図 11は、本実施例に力かる車載装置における見晴らし指数算出処理（図 9の ステップ S908)の内容について示すフローチャートである。
[図 12]図 12は、本実施例に力かる車載装置における空判定処理（図 11のステップ S
1101)の内容につ!、て示すフローチャートである。
[図 13]図 13は、本実施例に力かる車載装置における海判定処理（図 11のステップ S
1102)の内容につ!、て示すフローチャートである。
符号の説明
[0012] 100 風景撮像装置
101 撮像部
102 分割部
103 算出部
104 決定部
105 判定部
106 保存部
発明を実施するための最良の形態
[0013] 以下に添付図面を参照して、この発明にかかる風景撮像装置、風景撮像方法、風 景撮像プログラムおよびコンピュータに読み取り可能な記録媒体の好適な実施の形 態を詳細に説明する。
[0014] (実施の形態）
(風景撮像装置の機能的構成）
図 1を用いて、本実施の形態にかかる風景撮像装置の機能的構成について説明 する。図 1は、本実施の形態にかかる風景撮像装置の機能的構成の一例を示すプロ ック図である。
[0015] 図 1において、風景撮像装置 100は、撮像部 101と、分割部 102と、算出部 103と、 決定部 104と、判定部 105と、保存部 106と、力も構成されている。
[0016] 撮像部 101は、任意の方向の風景画像を撮像する。具体的には、たとえば、撮像 部 101は、移動体などに搭載された可動式の車載カメラでもよぐ移動体の前方を撮 像することとしてもよい。
[0017] また、撮像部 101は、たとえば、後述する決定部 104によって決定された撮像方向 の風景画像を撮像することとしてもよい。具体的には、たとえば、撮像方向の風景画 像 (以下、「撮像風景画像」という）の撮像は、決定部 104によって決定された撮像方 向に車載カメラを向けるよう、図示しない駆動部を駆動させておこなう。
[0018] 分割部 102は、撮像部 101によって撮像された任意の方向の風景画像 (以下、「初 期風景画像」という）を複数のセルに分割する。また、分割部 102は、撮像部 101によ つて撮像された撮像風景画像を複数のセルに分割することとしてもよい。
[0019] ここで、セルは、たとえば、初期風景画像や撮像風景画像などの画像における所定 のサイズの画像片である。所定のサイズは、たとえば、分割対象となった画像が 128 0 X 1024ピクセルであった場合は、 30 X 30ピクセル程度が望ましぐ後述する算出 部 103や判定部 105の精度や処理速度などに応じて設定することとしてもよい。分割 対象となった画像のサイズとセルのサイズとの関係によって、画像のすべてを均一の セルに分割できない場合には、画像の端部を分割の対象カゝら除外することとしてもよ い。
[0020] 算出部 103は、初期風景画像に対応する初期風景のうち、分割部 102によって分 割された各セルに対応する初期風景の一部までの距離を算出する。各セルに対応 する初期風景の一部までの距離は、たとえば、初期風景の一部と、撮像部 101や当 該風景撮像装置 100などの基準位置との相対的な距離でもよぐ算出部 103は、こ れら基準位置力 複数のセルの各々に対応する風景の一部までの距離を算出する こととなる。
[0021] 具体的には、たとえば、距離の算出は、時系列に相前後して撮像された 2つの初期 風景画像間のオプティカルフローを算出し、算出したオプティカルフローに基づいて 、各セルに含まれる複数の画素に対応する初期風景の一部までの距離を算出する。 そして、各セルに含まれる複数の画素に対応する初期風景の一部までの距離の平 均値を、各セルに対応する初期風景の一部までの距離として算出することとなる。な お、算出する距離は、たとえば、初期風景の一部が、空に相当する場合など他の風 景の一部と比較して非常に距離が大きい場合には、無限大と算出してもよい。
[0022] 決定部 104は、たとえば、算出部 103によって算出された距離を用いて撮像方向を 決定する。具体的には、たとえば、決定部 104は、決定された撮像方向の風景画像 が撮像可能となるように撮像部 101を向けるための、図示しない駆動部を駆動させる 角度や距離などを算出することとしてもよい。
[0023] また、決定部 104は、初期風景画像における一以上のセル力 なる画像領域にお ける、後述する判定部 105によって初期風景の一部が遠景と判定されたセルの数量 に基づいて、撮像方向を決定することとしてもよい。より具体的には、たとえば、撮像 方向の決定は、画像領域にあるセルのうち、遠景であると判定されたセルが画像領 域を見晴らしの良い方向として撮像方向を決定することとしてもよい。
[0024] 判定部 105は、算出部 103によって算出された距離を用いて、各セルに対応する 初期風景の一部が遠景であるか否かを判定する。ここで、遠景とは、たとえば、初期 風景を構成する任意の被写体部分までの距離が、所定距離よりも遠くに位置する場 合に、任意の被写体部分に対応する初期風景の一部を意味する。この所定距離は、 たとえば、あらかじめ設定された所定の距離でもよいし、風景の種類や操作者の好み などに応じて可変に設定可能な距離であってもよい。
[0025] より具体的には、たとえば、判定部 105は、算出部 103によって算出された距離が 所定値よりも大きい場合には、そのセルに対応する初期風景の一部は、遠景 (たとえ ば、空、海、山などの遠い風景)であり、所定値よりも小さい場合には、そのセルに対 応する風景の一部は、近景 (たとえば、走行中の道路、先行車両などの近い風景)で あると判定することとしてもよい。なお、遠景と近景との間に、一または複数の中間的 な距離の風景を定義してもよ!/、。
[0026] また、判定部 105は、撮像風景画像に対応する撮像風景のうち、分割部 102によつ て分割された各セルに対応する撮像風景の一部が、空、海、山および夜景のうち少 なくともいずれか一つに該当する力否かを判定する。このように判定することで、たと えば、空、海、山および夜景のうち少なくとも 1つの風景をあら力じめ設定しておくこと で、車両の走行中にあら力じめ設定された空、海、山および夜景などの遠景に対応 する風景画像を後述する保存部 106によって自動的に保存することができる。あるい は、たとえば、車内の音楽や映像を、空、海、山または夜景に応じた音楽や映像に切 り換えることができる。
[0027] 具体的には、たとえば、判定部 105は、撮像風景画像の上方に位置するセルにつ いて、当該上方に位置するセルに含まれる複数の画素の明度の分散値から、撮像風 景の一部が空である力否かを判定することとしてもよい。
[0028] より具体的には、たとえば、判定部 105は、セルに対応するデータの色情報カ¾^^ 系の色情報である場合、この色情報は、色相、明度および彩度をパラメータとする表 色系の色情報 (たとえば、 HLS系の色情報）に変換する。
[0029] そして、判定部 105は、判定対象となる 1つのセルおよびその周辺に位置する 8つ のセル (すなわち、 8近傍のセル)のすベての明度の分散値が所定値 (たとえば、 10) 以下の場合には、そのセルに対応する撮像風景の一部は空であると判定する。また 、判定部 105は、判定対象となる 1つのセルおよびその周辺に位置する 8つのセル（ すなわち 8近傍のセル)のうちいずれかの明度の分散値が所定値 (たとえば、 10)より も大きい場合には、そのセルに対応する撮像風景の一部は空ではないと判定する。
[0030] このような構成とすれば、各セルに対応する撮像風景の一部が空である力否かを確 実に判定することができ、たとえば、青空、白い雲、黒い雲、夕焼け空、夜空などの空 模様を判定することも可能となる。
[0031] また、判定部 105は、たとえば、空と判定されな力つたセルについて、空と判定され たセルに含まれる複数の画素の平均色相および平均彩度に基づ!/、て、撮像風景の 一部が海である力否かを判定することとしてもよい。
[0032] より具体的には、たとえば、判定部 105は、空と判定されな力つたセルに含まれる複 数の画素の平均色相（あるいは色調）力 空と判定されたセルに含まれる複数の画素 の平均色相を含む所定範囲の値であり、かつ、空と判定されな力つたセルに含まれ る複数の画素の平均明度が、空と判定されたセルに含まれる複数の画素の平均明 度以下の場合には、そのセルを海であると判定する構成でもよ ヽ。
[0033] このような構成とすれば、海の色は空の色を反射して空の色に似た、濃、色となつ て 、る場合が多 、と 、う特性を反映して、撮像風景の一部が海であるか否かを判定 することができ、撮像風景の一部が海である力否かを精度よく判定することが可能と なる。
[0034] また、判定部 105は、空と判定されなかったセルのうち、空と判定されたセルに隣接 するセルの各々について、色の性質を分析することにより空と空でない風景の境界を 検出することで、撮像風景に山が含まれるカゝ否かを判定することとしてもよい。
[0035] より具体的には、たとえば、判定部 105は、 1つのセルにおいて、空の色と判定され る画素が一定の割合以上であり、かつ、空の色と判定されない画素が一定の割合未 満である場合には、そのセルには稜線が含まれている可能性が高いと判断される。こ こで、「空の色と判定する」とは、画素の色相、明度および彩度が、上述した空の判定 における色相、明度および彩度の範囲に含まれていると判定することをいう。そして、 判定部 105は、稜線が含まれている可能性が高いと判断されたセルが、一定数以上 あれば、風景には山が含まれていると判定する。
[0036] このような構成とすれば、稜線を検出することにより、風景に山が含まれている力否 かを判定することができ、セルのサイズを小さくすることにより、山あるいは山並みの 形状を判定することもできる。
[0037] また、判定部 105は、複数のセルの各々について、所定値の明度を基準として画 素の 2値ィ匕をおこなうことにより区別される複数の画素群のうち、基準よりも高い方に 区別された画素群の数に基づ!、て、撮像風景の一部が夜景であるか否かを判定す ることとしてちよい。 [0038] より具体的には、たとえば、判定部 105は、 2値ィ匕により、 1つのセルに含まれる複 数の画素から、所定値よりも明度が高い複数の画素が隣接してなる画素群 (所定値 以下の明度の画素と隣接する所定値よりも明度の高い 1つの画素も含む）が区別し、 黒色の背景に白色の粒子が多数存在するように、 1つのセルにおいて周囲よりも明 度の高 、画素が散在して 、るようになる。
[0039] そして、判定部 105は、所定値よりも明度が高い複数の画素が隣接してなる画素群 の数を算出し、所定値よりも明度が高い複数の画素が隣接してなる画素群の数が所 定値 (たとえば、 10)よりも多い場合には、そのセルには夜景が含まれている可能性 が高いと判定する。ここで、夜景とは、夜の風景であって、たとえばビル、住宅街、自 動車などの光が多く含まれているものを意味し、判定部 105は、夜景が含まれている 可能性が高いと判定されたセル力 一定数 (たとえば、 10)以上あれば、風景には夜 景が含まれて!/、ると判定することとなる。
[0040] このような構成とすれば、夜景は周辺よりも明度の高い光の点を多く含む場合が多 V、と 、う特性を反映して、撮像風景の一部が夜景である力否かを判定することができ 、撮像風景の一部が夜景であるか否かを精度よく判定することが可能となる。なお、 夜景が含まれて 、る可能性が高 、と判定されたセルの数によって、夜景のレベルあ るいは度合いを判定してもよい。また、夜景の判定の対象とするセルは、遠景と判定 されたセルだけに限ることで処理速度を向上させることができる。さらに、上述した空 に関する判定により夜空と判定されたセルが一定数 (たとえば、 10)以上ある場合だ けに限ってもよい。
[0041] なお、図 1の説明では、判定部 105によって初期風景について遠景に関する判定 をおこなって、撮像風景について、空、海、山および夜景などに関する判定をおこな うこととした力 これに限ることはない。具体的には、たとえば、判定部 105によって撮 像風景について遠景に関する判定をおこなってもよいし、初期風景について、空、海 、山および夜景などに関する判定をおこなってもよい。
[0042] 保存部 106は、判定部 105によって判定された判定結果に応じて、撮像風景画像 を保存する。具体的には、たとえば、保存部 106は、判定結果として、海および山を 含む撮像風景画像であると判定された場合に、撮像風景画像を図示しな ヽ記憶装 置の保存領域に保存する構成でもよい。より具体的には、たとえば、利用者によりあ るいは工場での初期設定によりあらかじめ定められた条件を満たす撮像風景画像を 自動的に保存する構成としてもょ 、。
[0043] また、保存部 106は、撮像風景画像と、撮像風景画像の位置情報とを関連づけて 保存することとしてもよい。
[0044] (風景撮像装置 100の処理の内容）
つぎに、図 2を用いて、本実施の形態にかかる風景撮像装置 100の処理の内容に ついて説明する。図 2は、本実施の形態に力かる風景撮像装置の処理の内容を示す フローチャートである。図 2のフローチャートにおいて、まず、撮像部 101によって、風 景画像を撮像したか否かを判断する (ステップ S 201)。風景画像の撮像は、たとえば 、利用者や風景撮像装置 100の移動とともに連続的におこなう構成でもよいし、利用 者によって開始の入力を受け付けることとしてもよい。
[0045] ステップ S201にお ヽて、風景画像を撮像するのを待って、撮像した場合 (ステップ S201： Yes)は、分割部 102によって、ステップ S 201において撮像された風景画像（ 以下、「初期風景画像」という）を複数のセルに分割する (ステップ S 202)。
[0046] つぎに、算出部 103によって、初期風景画像に対応する初期風景のうち、ステップ S202において分割された各セルに対応する初期風景の一部までの距離を算出する (ステップ S203)。
[0047] つづいて、判定部 105によって、ステップ S203において算出された距離を用いて 、遠景を判定する (ステップ S 204)。遠景の判定は、たとえば、各セルに対応する初 期風景の一部が遠景である力否かを判定する構成である。
[0048] そして、決定部 104によって、初期風景画像における一以上のセル力もなる画像領 域における、ステップ S204において判定された初期風景の一部が遠景と判定され たセルの数量に基づ 、て撮像方向を決定する (ステップ S 205)。
[0049] つぎに、撮像部 101によって、ステップ S205において決定された撮像方向の撮像 風景画像を撮像する (ステップ S206)。撮像風景画像の撮像は、たとえば、ステップ S 205にお ヽて決定された撮像方向に車載カメラを向けるよう、図示しな!ヽ駆動部を 駆動させておこなう。 [0050] そして、分割部 102によって、ステップ S206において撮像された撮像風景画像を 複数のセルに分割する (ステップ S207)。
[0051] つぎに、判定部 105によって、ステップ S206において撮像された撮像風景画像に 対応する撮像風景を判定する (ステップ S208)。撮像風景の判定は、たとえば、撮像 風景画像に対応する撮像風景のうち、ステップ S 207において分割された各セルに 対応する撮像風景の一部が、空、海、山および夜景のうち少なくともいずれ力 1つに 該当するか否かを判定する。
[0052] そして、保存部 106によって、ステップ S208において判定された判定結果に応じ て、撮像風景画像を保存して (ステップ S209)、一連の処理を終了する。
[0053] なお、図 2のフローチャートでは説明を省略した力 ステップ S206において撮像さ れた撮像風景画像を、ステップ S201における初期風景画像に置き換えて以降の処 理をおこなうことで、再度、撮像方向を調整できる構成としてもよい。
[0054] なお、本発明の風景撮像装置、風景撮像方法、風景撮像プログラムおよびコンビュ ータに読み取り可能な記録媒体は、図 1に示した風景撮像装置 100によって、その 機能を実現することとしたが、風景撮像装置 100に限ることはなぐ図 1に示す機能部 を備える構成とすれば、複数の装置であってもよい。各機能部を異なる装置として接 続する場合、装置間の接続は、たとえば、有線、無線を問わず、 Bluetooth (登録商 標）などによって通信をおこなって接続することとしてもよい。
[0055] 以上説明したように、本実施の形態にかかる風景撮像装置、風景撮像方法、風景 撮像プログラムおよびコンピュータに読み取り可能な記録媒体によれば、撮像された 初期風景画像から、遠景を判定して撮像方向を決定して撮像風景画像を撮像する ため、あら力じめ登録しなくても見晴らしの良い風景を撮像することができる。
[0056] また、撮像風景画像にっ ヽて風景を判定することによって、撮像した撮像風景画像 を保存する構成であるため、利用者によりあるいは工場での初期設定によりあらかじ め定められた条件に応じて、撮像風景画像を適切に保存することができる。換言す れば、利用者の好みに応じた風景を撮像した撮像風景画像を効率的に保存すること ができ、かつ、保存領域の有効利用を図ることができる。
[0057] すなわち、本実施の形態によれば、利用者は、風景撮像装置の操作や撮像地点の 登録をしなくても、見晴らしの良い風景を自動的に撮像し、適切な撮像風景画像を保 存することができる。特に、運転者は、運転後に風景を確認することができるため、運 転中に風景に注意を向ける必要がなくなり、安全運転を図ることができる。
実施例
[0058] 以下に、本発明の実施例について説明する。本実施例では、たとえば、車両（四輪 車、二輪車を含む)などの移動体に搭載される車載装置によって、本発明の風景撮 像装置を実施した場合の一例について説明する。
[0059] (車載装置のハードウェア構成）
図 3を用いて、本実施例に力かる車載装置のハードウェア構成について説明する。 図 3は、本実施例に力かる車載装置のハードウェア構成の一例を示すブロック図であ る。
[0060] 図 3において、車載装置 300は、車両などの移動体に搭載されており、 CPU301と 、 ROM302と、 RAM303と、磁気ディスクドライブ 304と、磁気ディスク 305と、光デ イスクドライブ 306と、光ディスク 307と、音声 I/F (インターフェース） 308と、スピーカ 309と、人力デノイス 310と、映像 I/F311と、ディスプレイ 312と、カメラ 313と、通 信 IZF314と、 GPSユニット 315と、各種センサ 316と、を備えている。また、各構成 部 301〜316はバス 320によってそれぞれ接続されている。
[0061] まず、 CPU301は、車載装置 300の全体の制御を司る。 ROM302は、ブートプロ グラム、撮像プログラム、画像判定プログラム、画像保存プログラムなどの各種プログ ラムを記録している。また、 RAM303は、 CPU301のワークエリアとして使用される。
[0062] 撮像プログラムは、たとえば、車両前方の風景画像を後述するカメラ 313によって 撮像させる。また、撮像プログラムは、後述する判定プログラムによって判定された見 晴らしの良い地点に向けた撮像方向を撮像するために、カメラ 313の駆動部を駆動 させる駆動角度を決定させるとともに駆動部を駆動させて、撮像方向の風景画像を 撮像させることとしてもよい。
[0063] 画像判定プログラムは、たとえば、後述するカメラ 313によって撮像された風景画像 の風景に関する判定をおこなわせる。詳細は図 4〜図 8を用いて説明するが、画像判 定プログラムは、たとえば、風景画像の一部を構成するセルに対応する風景が遠景 か否かを判定させたり、風景画像の一部を構成するセルに対応する風景が空、海、 山および夜景のいずれかに該当するか否かを判定させたりする。
[0064] また、画像判定プログラムは、たとえば、複数のセル力もなる画像領域における遠 景のセルの数量から、風景画像に対応する風景について、見晴らしの良い方向を判 定させたり、風景画像の一部を構成するセルに対応する風景の種別に応じて見晴ら し指数を算出させることによって、見晴らしの良い風景か否かを判定させることとして ちょい。
[0065] 画像保存プログラムは、たとえば、後述する磁気ディスクドライブ 304や光ディスクド ライブ 306を制御して、磁気ディスク 305や光ディスク 307などの記録媒体に風景画 像を保存させる。具体的には、たとえば、保存させるデータは、判定プログラムによつ て見晴らしの良い風景と判定された風景画像などである。このように、見晴らしの良い 風景を保存させることで、利用者は、車両の走行中に左右の風景に気をとられること なぐ風景画像を取得することができる。
[0066] 磁気ディスクドライブ 304は、 CPU301の制御にしたがって磁気ディスク 305に対 するデータの読み取り Z書き込みを制御する。磁気ディスク 305は、磁気ディスクドラ イブ 304の制御で書き込まれたデータを記録する。磁気ディスク 305としては、たとえ ば、 HD (ノヽードディスク）や FD (フレキシブルディスク）を用いることができる。
[0067] 磁気ディスク 305に記録される情報の一例として、風景画像などが挙げられる。な お、風景画像を磁気ディスク 305に記録するようにした力 後述する光ディスク 307に 記録するようにしてもよ ヽ。
[0068] また、風景画像は、車載装置 300のハードウェアと一体に設けられているものに限 つて記録されるものではなぐ車載装置 300の外部に設けられていてもよい。その場 合、車載装置 300は、たとえば、通信 IZF314を通じて、ネットワークを介して風景画 像を出力したりする。
[0069] 光ディスクドライブ 306は、 CPU301の制御にしたがって光ディスク 307に対するデ ータの読み取り Z書き込みを制御する。光ディスク 307は、光ディスクドライブ 306の 制御にしたがってデータの読み出される着脱自在な記録媒体である。光ディスク 307 は、書き込み可能な記録媒体を利用することもできる。また、この着脱自在な記録媒 体として、光ディスク 307のほ力 MO、メモリカードなどであってもよい。
[0070] 音声 IZF308は、音声出力用のスピーカ 309に接続され、スピーカ 309からは音 声が出力される。
[0071] 入力デバイス 310は、文字、数値、各種指示などの入力のための複数のキーを備 えたリモコン、キーボード、マウス、タツチパネルなどが挙げられる。
[0072] また、映像 I/F311は、ディスプレイ 312およびカメラ 313と接続される。映像 I/F 311は、具体的には、たとえば、ディスプレイ 312全体の制御をおこなうグラフィックコ ントローラと、即時表示可能な画像情報を一時的に記録する VRAM (Video RAM )などのバッファメモリと、グラフィックコントローラから出力される画像データに基づい て、ディスプレイ 312を表示制御する制御 ICなどによって構成される。
[0073] ディスプレイ 312には、アイコン、カーソル、メニュー、ウィンドウ、あるいは文字や画 像などの各種データが表示される。このディスプレイ 312は、たとえば、 CRT、 TFT 液晶ディスプレイ、プラズマディスプレイなどを採用することができる。また、ディスプレ ィ 312は、車両に複数備えられていてもよぐたとえば、運転者に対するものと後部座 席に着座する搭乗者に対するものなどである。
[0074] カメラ 313は、車両のダッシュボードや天井などに設置され、車両外部の風景画像 を撮像する。風景画像は静止画あるいは動画のどちらでもよぐたとえば、カメラ 313 によって前方および決定された撮像方向の風景画像を撮像し、撮像した風景画像を 画像判定プログラムによって判定された判定結果に基づ 、て、保存プログラムによつ て磁気ディスク 305や光ディスク 307などの記録媒体に出力することとしてもよい。ま た、カメラ 313は、駆動部を駆動させることによって、決定された撮像方向を撮像でき る可動式のカメラ 313であってもよい。
[0075] 通信 I/F314は、無線を介してネットワークに接続され、車載装置 300と CPU301 とのインターフェースとして機能する。通信 I/F314は、さらに、無線を介してインタ 一ネットなどの通信網に接続され、この通信網と CPU301とのインターフェースとして も機能する。
[0076] 通信網には、 LAN, WAN,公衆回線網や携帯電話網などがある。具体的には、 通信 IZF314は、たとえば、 FMチューナー、 VICS (Vehicle Information and Communication System) Zビーコンレシーノ 、無線ナビゲーシヨン装置、および その他のナビゲーシヨン装置によって構成され、 VICSセンター力も配信される渋滞 や交通規制などの道路交通情報を取得する。なお、 VICSは登録商標である。
[0077] GPSユニット 315は、 GPS衛星からの電波を受信し、車両の現在地点を示す情報 を出力する。 GPSユニット 315の出力情報は、後述する各種センサ 316の出力値とと もに、 CPU301による車両の現在地点の算出に際して利用される。現在地点を示す 情報は、たとえば緯度'経度、高度などの、地図情報上の 1点を特定する情報であり 、保存する風景画像に対応付けることによって、見晴らしの良い風景画像の地点を 確認できる構成としてもょ ヽ。
[0078] 各種センサ 316は、車速センサや加速度センサ、角速度センサなどを含み、各種 センサ 316の出力値は、 CPU301による車両の現在地点の算出や、速度や方位の 変化量の測定などに用いられる。
[0079] 図 1に示した風景撮像装置 100が備える撮像部 101、分割部 102、算出部 103、 決定部 104、判定部 105、保存部 106は、図 3に示した車載装置 300における ROM 302、 RAM303、磁気ディスク 305、光ディスク 307などに記録されたプログラムや データを用いて、 CPU301が所定のプログラムを実行し、車載装置 300における各 部を制御することによってその機能を実現する。
[0080] すなわち、本実施例の車載装置 300は、車載装置 300おける記録媒体としての R OM302に記録されている各種プログラムを実行することにより、図 1に示した風景撮 像装置 100が備える機能を、図 2に示した手順で実行することができる。
[0081] (車載装置 300の処理の概要）
ここで、図 4〜図 8を用いて、本実施例に力かる車載装置 300の処理の概要につい て説明する。本実施例に力かる車載装置 300は、たとえば、可動式のカメラ 313を車 両のダッシュボード周辺に設置し、車両の前方の風景画像を撮像して各種判定 (解 析)をおこなう。ここで、前方の風景画像としたのは、通常、見晴らしの良い地点として 、前方または左右の斜め前方などが遠方の風景 (遠景)であるからである。
[0082] そして、車両の前方の風景画像を解析して、風景画像に遠方の風景があるか否か を判定し、遠方の風景がある場合に、カメラ 313を遠方の風景がある方向をカメラ 31 3駆動方向として駆動させる。そして、駆動後の風景画像を撮像して、見晴らし指数 を算出する。詳細は図 8を用いて説明するが、見晴らし指数は、たとえば、風景画像 を複数のセルに分割して、遠方の風景と判定されたセルの数で表すこととしてもょ ヽ 。この見晴らし指数が高い場合に、搭乗者へ報知するとともに、風景画像と風景画像 の位置情報を対応付けて保存する。
[0083] 図 4は、本実施例に力かる風景画像の一例を示す説明図である。図 4において、風 景画像 400は、車両に設置されたカメラ 313によって撮像された、車両の前方の風 景である。風景画像 400の撮像は、たとえば、車両が走行中である場合に連続的に おこなうこととしてもよく、所定間隔毎に 1フレームずつ撮像される構成でもよい。また 、撮像された風景画像 400は、たとえば、映像 IZF311のバッファ領域や、その他記 録媒体の作業領域に出力される。
[0084] また、撮像された風景画像 400は、 CPU301によって適切に撮像されたカゝ否かを 判断する構成でもよい。具体的には、たとえば、画像認識によって風景画像中に障 害物が含まれるカゝ否かを判断することとしてもよい。そして、適切に風景が撮像されて V、なければ、風景画像 400を破棄することとしてもょ 、。
[0085] 図 5は、本実施例に力かる風景画像の分割の一例を示す説明図である。図 5にお いて、風景画像 500は、図 4に示した風景画像 400について複数に分割されたセル 501, 501,…によって構成されている。
[0086] 具体的には、たとえば、セル 501の分割は、 CPU301によって、映像 IZF311のバ ッファ領域や、その他記録媒体の作業領域に記録された風景画像 400を複数のセ ル 501に分割する。各セル 501のサイズは、たとえば、風景画像 400のサイズが 128 0 X 1024ピクセルである場合には、 30 X 30ピクセル程度であることが望ましい。なお 、セル 501のサイズは、後述する距離の算出や風景の判定などの精度や処理速度な どを考慮して決めることとしてもょ 、。
[0087] また、分割対象となった風景画像 400のサイズとセル 501のサイズとの関係によつ て、風景画像 400のすベてを均一のセルに分割できない場合には、風景画像 400の 端部を分割の対象力 除外することとしてもょ 、。
[0088] 図 6は、本実施例に力かる風景画像における各セルの距離の算出および遠景の判 定の一例を示す説明図である。図 6において、画像 600は、図 5に示した風景画像 5 00を構成する各セル 501について、距離を算出し、遠景の判定をおこなった結果を 示している。
[0089] 具体的には、たとえば、距離の算出は、まず、相前後して撮像された 2つの風景画 像について、セル毎に特徴点を検出する。換言すれば、時系列に連続する 2つの風 景画像について、各セルに含まれる風景の一部のうちからあら力じめ定められた所 定の条件に適合する点 (言い換えれば画素）を特徴点として検出する。特徴点は、た とえば、セル毎に 1つ以上検出する構成でもよい。
[0090] つづいて、検出された特徴点力もオプティカルフローを算出する。すなわち、相前 後して撮影された 2つの風景画像について、セル毎に検出された特徴点の変化 (動 きベクトル）を求めることで、オプティカルフローを算出する。そして、各セルの平均距 離を算出する。換言すれば、セル毎に検出された複数の特徴点にそれぞれ対応す る複数のベクトル (オプティカルフロー）を用いて、カメラ 313と複数の特徴点との距離 を算出し、算出された距離を平均して、各セルの平均距離として算出する。なお、こ のように算出された各セルの平均距離は、セル間の相対的な違 、が認識できればよ いので、本実施例では、たとえば空は無限遠として扱うこととする。
[0091] また、カメラ 313として複眼のカメラ 313を用いた場合には、異なる位置から同時に 撮像された 2つの風景画像についての視差のずれ力 各セルの平均距離を算出し てもよい。
[0092] また、具体的には、たとえば、遠景の判定は、前述した距離の算出により算出され た各セルの平均距離に基づ 、て、各セルに含まれる風景の一部が遠景であるか否 かを判定する処理である。
[0093] より具体的には、たとえば、遠景の判定は、算出された各セルの平均距離があらか じめ設定されたしきい値よりも大きい場合には、そのセルに対応する風景の一部は、 遠景 (たとえば、空、海、山などの遠い風景)であり、各セルの平均距離があら力じめ 設定されたしきい値よりも小さい場合には、そのセルに対応する風景の一部は、近景 (たとえば、走行中の道路、先行車両などの近い風景)であると判定する。
[0094] あら力じめ設定されるしきい値は複数であってもよぐ画像 600は、複数の距離に応 じた遠景の判定結果を示している。具体的には、たとえば、各セルについて白、灰色 、黒などの多段階で表されており、明るい (すなわち白に近い)程、近景 (平均距離が 小さいこと)を示しており、暗い (すなわち黒に近い)程、遠景 (平均距離が大きい)こと を示している。
[0095] 図 7は、本実施例に力かるカメラの駆動角度の決定について示す説明図である。図 7において、画像 700は、図 6に示した多段階の遠景の判定によるセル 701, 702, 7 03, 704, 705から構成されている。なお、図 7の説明では、多段階の遠景の判定と して、 5段階の遠景を判定し、最も遠景の黒いセル 701から順に、暗から明に色分け されており、最も近景のセル 705は白く示している。
[0096] また、画像 700に ίま、複数のセノレ 701 (702, 703, 704)力らなる、左領域 710およ び右領域 720が設定されており、本実施例では、左領域 710および右領域 720に含 まれる最も遠景のセル 701の数量に基づ 、て、カメラ 313の駆動角度を決定する構 成である。
[0097] より具体的には、たとえば、駆動角度の決定は、左領域 710と、右領域 720と、にお ける最も遠景のセル 701の数量が多い方に一定角度駆動させるように駆動角度を決 定する構成でもよい。画像 700においては、左領域 710の最も遠景のセル 701の数 量が 39、右領域 720の最も遠景のセル 701の数量が 21であるため、カメラ 313を左 方向に一定角度駆動させることとなる。
[0098] また、所定の数量以上の最も遠景のセル 701を含む領域の方向にカメラ 313が向 くようにしてもよい。具体的には、たとえば、最も遠景のセル 701の数量が 30以上で あれば見晴らしの良い風景の方向として、駆動角度を決定してもよい。このようにす れば、左右領域 710, 720の比較だけでなぐ見晴らしが良い方向を的確に判定す ることがでさる。
[0099] また、左右領域 710, 720の差に応じて角度を算出する構成としてもよい。具体的 には、たとえば、差が大きければ大きな角度とし、小さければ小さな角度としてもよい 。また、 5段階の遠景を点数ィ匕して、点数をカウントすることとしてもよい。具体的には 、たとえば、セル 701を 1点、セル 702を 2点、セル 703を 3点、セル 704を 4点、セル 705を 5点として、合計点数が小さいほど見晴らしが良い方向とする構成でもよい。 [0100] なお、領域は、その大きさは画像 700に限ることはなぐ左右領域 710, 720にくわ えて、真ん中に領域を設けたりして 3つ以上であってもよい。あるいは、上下方向につ いて道路消失点を検出して、道路消失点より上側の領域について駆動角度を決定 することとしてもよい。このように、判定対象となる領域を調整することにより処理の迅 速ィ匕ゃ負荷軽減を図ることができる。
[0101] 図 8は、本実施例に力かる見晴らし指数算出について示す説明図である。図 8にお いて、風景画像 800は、図 7に示した最も遠景のセル 701の数量に基づいて決定さ れたカメラ 313の駆動角度分力メラ 313を駆動させて力 撮像された風景である。撮 像された風景画像 800は、たとえば、映像 IZF311のバッファ領域や、その他記録 媒体の作業領域に出力される。
[0102] そして、風景画像 800は、画像解析によって見晴らし指数が算出される。具体的に は、たとえば、見晴らし指数の算出は、海と空の割合力 算出する構成でもよぐ風景 画像 800を複数のセルに分割し、分割したセルのうち、海と空のセルの数量をカウン トすることによって算出することとしてもよい。なお、海と空の判定については、図 12 および図 13を用いて説明する。ここで、セルの分割については、図 5とほぼ同様であ るため説明を省略する。
[0103] そして、算出された見晴らし指数が一定以上であれば、風景画像 800が見晴らしの 良い風景であると判定して、搭乗者へ報知するとともに、風景画像と風景画像の位置 情報を対応付けて保存する。また、ディスプレイ 312などによって、見晴らしの良い方 向を示したり、見晴らしの良 、方向の風景を表示したりしてもょ 、。
[0104] (車載装置 300の処理の内容）
つぎに、図 9〜図 13を用いて、本実施例に力かる車載装置 300の処理の内容につ いて説明する。図 9は、本実施例に力かる車載装置の処理の内容を示すフローチヤ ートである。図 9のフローチャートにおいて、まず、カメラ 313によって風景画像の撮 像を開始する力否かを判断する (ステップ S901)。撮像の開始は、たとえば、車両が 走行したら開始することとしたり、利用者による開始の入力を受け付けたりしてもよい。
[0105] ステップ S901において、風景画像の撮像を開始するのを待って、開始する場合（ ステップ S901： Yes)は、 CPU301によって、カメラ 313の初期化をおこなう（ステップ S902)。初期化は、たとえば、可動式のカメラ 313を車両の前方に向けることとしても よい。
[0106] つぎに、カメラ 313によって、車両の前方の風景画像を撮像する (ステップ S 903)。
具体的には、たとえば、図 4に示した風景画像 400などを撮像し、映像 IZF311のバ ッファメモリやその他記録媒体の作業領域に出力する。
[0107] そして、 CPU301によって、ステップ S903において撮像された風景画像の画像分 割をおこなう（ステップ S904)。具体的には、たとえば、画像分割は、図 5に示したよう に風景画像 400を複数のセル 501に分割し、複数のセル 501からなる風景画像 500 とする。
[0108] そして、 CPU301によって、ステップ S904において画像分割された風景画像を用 いてカメラ 313を駆動する駆動方向決定処理をおこなう（ステップ S 905)。駆動方向 決定処理は、たとえば、ステップ S904において分割されたセルについて遠景に関す る判定に基づいておこなう構成でもよぐ駆動方向決定処理の詳細は、図 10に後述 する。
[0109] つぎに、 CPU301によって、ステップ S905の駆動方向決定処理において決定され た駆動角度分だけカメラ 313の駆動部を駆動させる (ステップ S906)。
[0110] その後、カメラ 313によって、ステップ S906において駆動された方向の風景画像を 撮像する (ステップ S 907)。
[0111] つぎに、 CPU301によって、ステップ S907において撮像された風景画像について 、見晴らし指数算出処理をおこなう (ステップ S908)。見晴らし指数算出処理は、たと えば、図 8に示した風景画像 800における海と空の割合力 算出する構成でもよぐ 見晴らし指数算出処理の詳細は、図 11に後述する。
[0112] そして、 CPU301によって、ステップ S908の見晴らし指数算出処理において算出 された見晴らし指数は一定以上か否かを判断する (ステップ S909)。この見晴らし指 数を判断する一定の値は、利用者により設定できる構成でもよぐ天気などに応じて 自動的に変更する構成でもよ 、。
[0113] ステップ S909において、見晴らし指数が一定以上であった場合 (ステップ S909 :Y es)は、磁気ディスク 305や光ディスク 307などの記録媒体によって、見晴らしの良い 風景としてステップ S907にお ヽて撮像された風景画像を保存する (ステップ S910) 。風景画像の保存は、たとえば、風景画像と風景画像の位置情報を対応付けて保存 してもよいし、その旨を搭乗者に報知することとしてもよい。搭乗者への報知は、たと えば、ディスプレイ 312などによって、見晴らしの良い方向を示したり、見晴らしの良
V、方向の風景を表示したりしてもょ 、。
[0114] また、ステップ S909において、見晴らし指数が一定未満であった場合 (ステップ S9
09 : No)は、ステップ S911へ移行して処理をおこなう。
[0115] その後、 CPU301によって、風景画像の撮像を続行するか否かを判断する (ステツ プ S911)。続行の判断は、たとえば、車両が走行中であれば続行することとしてもよ
V、し、利用者によって続行の指示を受け付ける構成でもよ!/、。
[0116] ステップ S911において、続行する場合 (ステップ S911 : Yes)は、ステップ S902に 戻って処理を繰り返し、続行しない場合 (ステップ S911 :No)は、そのまま一連の処 理を終了する。
[0117] また、図 9のフローチャートででは説明を省略した力 搭乗者への報知は、たとえば 、車両に搭載されたカーナビゲーシヨン装置などに出力する構成とすれば、カーナビ ゲーシヨン装置により見晴らしの良い地点を登録することによって、搭乗者は、車両 停止お勧め地点として利用することができる。また、車両の停車が可能であれば、搭 乗者は、車両を停車させて、見晴らしの良い地点を散策することもできる。また、カー ナビゲーシヨン装置による周辺検索によって、駐車場や公園など駐車できる地点を検 索して、案内する構成としてもよい。
[0118] つづいて、図 10を用いて、本実施例に力かる車載装置 300における駆動方向決定 処理（図 9のステップ S905)の内容について説明する。図 10は、本実施例にかかる 車載装置における駆動方向決定処理（図 9のステップ S905)の内容について示すフ ローチャートである。図 10のフローチャートにおいて、まず、 CPU301によって、ステ ップ S904において分割された各セルについて特徴点を検出する（ステップ S1001)
[0119] つぎに、 CPU301によって、ステップ S1001において検出された特徴点力もォプ ティカルフローを算出し (ステップ S1002)、オプティカルフローを用いて各セルの平 均距離を算出する（ステップ S1003)。なお、ステップ S1003では、オプティカルフロ 一を用いて平均距離を算出する代わりに、複眼のカメラ 313を用いた場合には、異な る位置から同時に撮像された 2つの風景画像についての視差のずれから各セルの平 均距離を算出してもよい。
[0120] そして、 CPU301によって、すべてのセルにっ 、て処理が終了したか否かを判断 する（ステップ S 1004)。
[0121] ステップ S1004において、すべてのセルについて処理が終了していない場合 (ステ ップ S1004 :No)は、ステップ S 1001へ戻って処理を繰り返し、すべてのセルについ て処理が終了している場合 (ステップ S1004 :Yes)は、 CPU301によって、各領域 内の遠景のセルをカウントする（ステップ S1005)。ここで、各領域は、たとえば、図 7 に示した左領域 710および右領域 720でもよぐそれぞれについて最も遠景のセル 7 01の数量をカウントすることとしてもよい。
[0122] そして、 CPU301によって、ステップ S1005においてカウントされた遠景のセルの 数量に基づいて、カメラ 313を駆動させる駆動角度を決定する (ステップ S 1006)。そ して、図 9におけるステップ S905の駆動方向決定処理を終了して、ステップ S906へ 移行する。
[0123] つぎに、図 11を用いて、本実施例に力かる車載装置 300における見晴らし指数算 出処理（図 9のステップ S908)の内容について説明する。図 11は、本実施例にかか る車載装置における見晴らし指数算出処理（図 9のステップ S908)の内容について 示すフローチャートである。図 11のフローチャートにおいて、まず、 CPU301によつ て、ステップ S907において撮像された風景画像について空判定処理をおこなう（ス テツプ S1101)。空判定処理は、たとえば、風景画像の上方に位置するセルについ て、当該上方に位置するセルに含まれる複数の画素の明度の分散値から、風景の一 部が空である力否かを判定することとしてもよぐ空判定処理の詳細は、図 12に後述 する。
[0124] つづいて、 CPU301によって、ステップ S907において撮像された風景画像につい て海判定処理をおこなう（ステップ S1102)。海判定処理は、たとえば、ステップ S11 01において空と判定されなかったセルについて、空と判定されたセルに含まれる複 数の画素の平均色相および平均彩度に基づいて、風景の一部が海である力否かを 判定することとしてもよぐ海判定処理の詳細は、図 13に後述する。
[0125] つぎに、 CPU301によって、ステップ S907において撮像された風景画像について 山判定処理をおこなう（ステップ S1103)。山判定処理は、たとえば、ステップ S1101 において空と判定されな力つたセルのうち、空と判定されたセルに隣接するセルの各 々について、色の性質を分析することにより空と空でない風景の境界を検出すること で、風景に山が含まれる力否かを判定することとしてもょ 、。
[0126] そして、 CPU301によって、ステップ S907において撮像された風景画像について 夜景判定処理をおこなう（ステップ S1104)。夜景判定処理は、たとえば、複数のセ ルの各々について、所定値の明度を基準として画素の 2値ィ匕をおこなうことにより区 別される複数の画素群のうち、基準よりも高い方に区別された画素群の数に基づい て、風景の一部が夜景である力否かを判定することとしてもよ!、。
[0127] その後、 CPU301によって、ステップ S1101〜ステップ S1104において判定され た風景に基づいて、所定の特徴セルをカウントする (ステップ S 1105)。そして、図 9 におけるステップ S908の見晴らし指数算出処理を終了して、ステップ S909へ移行 する。ここで、所定の特徴セルのカウントは、たとえば、図 8に示した海と空のセルの 数量をカウントすることによって見晴らし指数とする構成でもよぐ利用者によって特 徴セルの内容を設定する構成でもよ!/、。
[0128] なお、本実施例では、風景の特徴として見晴らし指数を用いる構成としたが、見晴 らし指数の代わりに、都市度、自然度、紅葉度などを用いることとしてもよい。具体的 には、たとえば、紅葉度は、複数のセルに分割された風景画像に対してフラクタル次 元を解析し、各セルにっ 、て緑葉 (緑色)や紅葉 (赤色や黄色)や落葉 (茶色)を判定 する。そして、それぞれの特徴セル数を累計して、風景画像のすべてのセルに対し て各特徴セルの占める割合を緑葉率や紅葉率や落葉率とする。
[0129] そして、これら緑葉率、紅葉率および落葉率を用いて、紅葉度を以下の式（1)によ つて示すこととしてもよい。
[0130] 紅葉度 = (紅葉率 落葉率） Z (緑葉率 +紅葉率 +落葉率） （1)
[0131] このように示された紅葉度は、たとえば、 1. 0〜0. 5であった場合に紅葉最盛期、 0 . 5未満〜 0. 0より大きい場合に色づきはじめ（落葉率 =0)や紅葉終わりかけ (落葉 率 >0)、 0. 0であった場合に常緑広葉樹や針葉樹や紅葉開始前 (落葉率 =0)や紅 葉終わり（落葉率〉 0)、0. 0未満〜—1. 0であった場合に落葉とそれぞれ判定する こととしてちよい。
[0132] つぎに、図 12を用いて、本実施例にかかる車載装置 300における空判定処理（図 11のステップ S1101)の内容について説明する。図 12は、本実施例に力かる車載 装置における空判定処理（図 11のステップ S 1101)の内容につ!、て示すフローチヤ ートである。図 12のフローチャートにおいて、まず、 CPU301によって、各セルに含 まれる複数の画素の色相 H、明度 Lおよび彩度 Sから、セルにおける HLSの平均値 および分散値を算出する (ステップ S1201)。算出された平均値および分散値は、た とえば、映像 IZF311のバッファ領域や、その他記録媒体の作業領域に記録される こととなる。
[0133] つづいて、 CPU301によって、ステップ S1201において算出された平均値および 分散値について、判定対象のセルおよびその 8近傍のセルのすべての画素につい て平均値および分散値を読み出す (ステップ S1202)。すなわち、判定対象となる 1 つのセルおよびその 1つのセルの周辺に位置する 8つのセルの各々のすベての画素 についての平均値および分散値を読み出すことにより判定をおこなう構成である。こ こで、判定対象となるセルは、たとえば、風景画像における上方、典型的には上半分 に位置するセルでもよい。そして、判定対象となるセル毎に以降のステップ S1203か らステップ S 1205の一連の動作が繰り返されることとなる。
[0134] なお、セルに対応の色情報が RGB系の色情報である場合、この色情報は、色相、 明度 (すなわち輝度)および彩度をパラメータとする表色系の色情報、たとえば HLS 系の色情報に変換される構成でもよい。
[0135] つぎに、 CPU301によって、ステップ S1202において読み出された判定対象となる 1つのセルおよびその 8近傍のセルのすべての明度 Lの分散値が 10以下か否かを 判断する (ステップ S 1203)。
[0136] ステップ S1203において、判定対象となる 1つのセルおよびその 8近傍のセルのす ベての明度 Lの分散値が 10以下の場合 (ステップ S1203 :Yes)は、 CPU301によつ て、その判定対象となる 1つのセルに含まれる風景の一部は「空」と判定する (ステツ プ S 1204)。すなわち、判定対象のセルは、「空」のセルであると判定し、「空」と判定 された結果は、たとえば、映像 IZF311のバッファ領域や、その他記録媒体の作業 領域に記録されることとなる。
[0137] そして、 CPU301によって、ステップ S 1202力らステップ S 1204の一連の動作を、 判定対象とすべきすベてのセルについておこなつたか否かを判断する（ステップ S 12 05)。
[0138] また、ステップ S1203において、判定対象となる 1つのセルおよびその 8近傍のセ ルのうちいずれかの明度 Lの分散値が 10より大きい場合 (ステップ S1203 :No)は、 ステップ S 1205に移行して、ステップ S 1202力らステップ S 1204の一連の動作を、 判定対象とすべきすベてのセルについておこなつたか否かを判断する（ステップ S 12 05)。
[0139] ステップ S 1205にお!/、て、ステップ S 1202力らステップ S 1204の一連の動作を、 判定対象とすべきすベてのセルにっ 、ておこなった場合 (ステップ S 1205 : Yes)は 、そのまま、図 11におけるステップ S1101の空判定処理を終了して、ステップ S110 2へ移行する。
[0140] また、ステップ S 1205にお!/、て、ステップ S 1202力らステップ S 1204の一連の動作 を、判定対象とすべきすベてのセルにっ 、ておこなって!/ヽな 、場合 (ステップ S 1205 ： No)は、ステップ S 1202へ戻って処理を繰り返す。
[0141] このようにステップ S1201からステップ S1204までの一連の動作によって、風景画 像に含まれるセルにっ 、て「空」のセルであるか否かが判定されることとなる。また、 図 12では説明を省略したが、風景画像に含まれるセルのうち遠景と判定されたセル につ 、て、「空」のセルであるか否かを判定することとしてもよ！/、。
[0142] さらに、図 12では説明を省略した力 空判定処理の一部として、「空」のセルである と判定されたセルに基づ 、て、以下のように空模様の判定をおこなうこととしてもょ ヽ
[0143] 空模様の判定は、たとえば、図 12において、判定対象とすべきすベてのセルにつ いて判定し、「空」のセルであると判定されたセルの色相 H、明度 Lおよび彩度 Sの平 均値に基づいてセル毎の空模様を判定する構成である。
[0144] より具体的には、たとえば、「空」のセルであると判定されたセルの色相 H、明度 お よび彩度 Sの平均値から、判定対象のセルの色相 H、明度 Lおよび彩度 Sの平均値 があらカゝじめ定められた判定条件を満たすカゝ否かによって、空模様を判定する。セル の空模様としては、たとえば「青空」、「白い雲」、「黒い雲」、「夕焼け」および「夜」など 力 S設定されることとしてちよ!、。
[0145] 判定条件は、たとえば、以下のように設定することができる。なお、色相 H、明度 お よび彩度 Sは、 0から 255の範囲で表してある。
[0146] セルが「青空」と判定されるための判定条件は、色相 Hの平均値が 100以上 160未 満、かつ、明度 Lの平均値が 100以上 180未満、かつ、彩度 Sの平均値が 60以上で ある。
[0147] セルが「白い雲」と判定されるための判定条件は、明度 Lの平均値が 180以上であ る。
[0148] セルが「黒い雲」と判定されるための判定条件は、明度 Lの平均値が 180未満、 つ、彩度 Sの平均値が 60未満である。
[0149] セルが「夕焼け」と判定されるための判定条件は、色相 Hの平均値が 0以上 50未満 または 220以上 250以下、かつ、明度 Lの平均値が 180未満、かつ、彩度 Sの平均 値が 60以上である。
[0150] セルが「夜」と判定されるための判定条件は、明度 Lの平均値が 100未満である。
[0151] そして、以上のような判定条件に基づいて、セル毎に空模様を判定した後に、各空 模様のセルの数量をカウントする。すなわち、「青空」と判定されたセルの数、「白い 雲」と判定されたセルの数、「黒 、雲」と判定されたセルの数、「夕焼け」と判定された セルの数および「夜」と判定されたセルの数がそれぞれカウントされることとなる。
[0152] その後、カウント数に基づいて、風景画像の空模様を判定する構成である。具体的 には、たとえば、空模様の判定は、各空模様のセルの数のうち最も多い数の空模様 を、風景画像の空模様であると判定することとしてもよい。より具体的には、たとえば、 「青空」と判定されたセルの数が、「白い雲」、「黒い雲」、「夕焼け」、「夜」などの他の 空模様と判定されたセルの数の ヽずれよりも多 ヽ場合には、風景画像の空模様は「 青空」であると判定することとなる。
[0153] なお、図 12に示した空判定処理では、判定対象とするセルを風景画像における上 方 (典型的には上半分）に固定しているが、判定対象とするセルの領域を可変にして ちょい。
[0154] 具体的には、たとえば、風景画像に写っている水平線 (あるいは地平線)より上側に 属するセルを空判定処理の判定対象としてもよい。この場合には、たとえば、風景画 像中における道路の消失点を検出し、この消失点に基づいて水平線の位置を特定 する。この場合、道路の両縁に沿って伸びる線 (たとえば白線)の延長線の交点を検 出し、これを消失点として用いることができる。
[0155] このように判定対象とするセルの領域を決定することで、カメラ 313の取り付け方向 や移動体の上下動によって撮影された風景画像の水平線の位置が上下する場合で あっても、一層高い精度で空判定処理をおこなうことができる。
[0156] あるいは、カメラ 313の傾きを検知する Gセンサ（あるいは、加速度センサ）を用いる ことで風景画像内の水平線を検出し、水平線より上側に属するセルを空判定処理の 判定対象としてもよい。この場合にも、一層高い精度で空判定処理をおこなうことが できる。
[0157] また、図 12に示した空判定処理によるセル毎の空模様の判定結果に基づいて、雲 の形状を判定してもよい。すなわち、「青空」または「夕焼け」と判定されたセルと「白 Vヽ雲」または「黒 、雲」と判定されたセルとが相隣接する境界を検出し、雲の形状を判 定する。たとえば、まとまった「白い雲」のセルと「青空」のセルとが相隣接する境界が 、風景画像における上下方向に伸びている場合には、「入道雲 (または、長い雲）」で あると判定することができる。あるいは、たとえば、「白い雲」のセルと「青空」のセルと が相隣接する境界が、風景画像においてまだら状あるいは波状である場合には、「う ろこ雲 (またはまだら雲）」であると判定することができる。
[0158] また、前述した空模様判定処理にお!、て、セルが「白い雲」と判定されるための判 定条件を明度 Lの平均値が 180以上 240未満とし、セルが「白飛び」と判定されるた めの判定条件を明度 Lの平均値が 240以上であるとしてもよい。この場合には、逆光 によって、空の画像が白飛びしてしまっていることを判定することができ、空模様判定 処理の精度を高めることができる。
[0159] つぎに、図 13を用いて、本実施例に力かる車載装置 300における海判定処理（図 11のステップ S1102)の内容について説明する。図 13は、本実施例に力かる車載 装置における海判定処理（図 11のステップ S1102)の内容につ!、て示すフローチヤ ートである。図 13のフローチャートにおいて、まず、 CPU301によって、図 12に示し た空判定処理による空判定結果を読み出す (ステップ S1301)。この際、 1つのセル が以降のステップ S1302による処理の対象となるセルとして選択されることとなる。
[0160] つづいて、 CPU301によって、ステップ S1301において読み出された空判定結果 に基づ!/、て、対象とするセルが「空」のセルよりも下側に位置するカゝ否かを判断する（ ステップ S 1302)。
[0161] ステップ S1302において、対象とするセルが「空」のセルよりも下側に位置しない場 合 (ステップ S 1302 : No)は、ステップ S 1301に戻って処理を繰り返す。
[0162] ステップ S1302において、対象とするセルが「空」のセルよりも下側に位置する場合
(ステップ S 1302 : Yes)は、 CPU301によって、各セルに含まれる複数の画素の色 相 H、明度 Lおよび彩度 Sの平均値および分散値を算出する (ステップ S1303)。算 出された平均値および分散値は、たとえば、映像 IZF311のバッファ領域や、その他 記録媒体の作業領域に記録されることとなる。
[0163] つぎに、 CPU301によって、ステップ S 1303において算出された平均値および分 散値について、判定対象のセルおよびその左右のセルのすべての画素について平 均値および分散値を読み出す (ステップ S1304)。すなわち、判定対象となる 1つの セルおよびその左右のセルの各々のすベての画素についての平均値および分散値 を読み出すこととなる。そして、判定対象となるセル毎にステップ S 1304からステップ S1307の一連の動作が繰り返されることとなる。
[0164] つぎに、 CPU301によって、判定対象となる 1つのセルおよびその左右のセルのす ベての色相 H、明度 Lおよび彩度 Sの平均値があらかじめ設定された判定条件であ る海判定条件を満たす力否かを判断する (ステップ S 1305)。
[0165] ここで、海判定条件は、たとえば以下のように設定することができる。なお、色相 H、 明度 Lおよび彩度 Sは、 0から 255の範囲で表してある。 [0166] 海判定条件は、色相 Hの平均値が「空」のセルの色相 Hの平均値の範囲 ± 10以内 、かつ、明度 Lの平均値が「空」のセルの明度 Lの平均値の最小値以下、かつ、彩度 Sの平均値が 60以上である。
[0167] そして、以上のような海判定条件に基づいて、ステップ S1305において、海判定条 件を満たす場合 (ステップ S 1305 : Yes)は、 CPU301によって、判定対象のセルは「 海」のセルと判定する (ステップ S 1306)。そして、「海」と判定された結果は、たとえば 、映像 IZF311のバッファ領域や、その他記録媒体の作業領域に記録されることとな る。
[0168] このような海判定条件によれば、「空」のセルの色相 Hおよび明度 Lの平均値に基 づ 、て設定されて 、るので、海が空の色を反射して空の色よりも濃 、色であると!/、う 特徴と反映して、海判定処理によってセルに含まれる風景の一部が「海」であることを 精度よく判定することができる。さらに、海判定条件を満たす力否かは、判定対象の セルにくわえて、その左右に相隣接するセルについても判定されている。よって、海 は左右に広がっているという特徴を反映して、海判定処理によってセルに含まれる風 景の一部が「海」であることを一層精度よく判定することができる。
[0169] そして、 CPU301によって、ステップ S 1304力らステップ S 1306の一連の動作を、 判定対象とすべきすベてのセルについておこなつたか否かを判断する（ステップ S 13 07)。
[0170] また、ステップ S1305において、海判定条件を満たさない場合 (ステップ S 1305 : N o)は、ステップ S 1307へ移行して、ステップ S 1304力もステップ S 1306の一連の動 作を、判定対象とすべきすベてのセルについておこなつたか否かを判断する (ステツ プ S 1307)。
[0171] ステップ S1307において、ステップ S 1304力らステップ S 1306の一連の動作を、 判定対象とすべきすベてのセルにっ 、ておこなった場合 (ステップ S 1307 : Yes)は 、そのまま、図 11におけるステップ S1102の海判定処理を終了して、ステップ S110 3へ移行する。
[0172] また、ステップ S1307において、ステップ S1304力らステップ S1306の一連の動作 を、判定対象とすべきすベてのセルにっ 、ておこなって!/ヽな 、場合 (ステップ S 1307 ： No)は、ステップ SI 304へ戻って処理を繰り返す。
[0173] なお、図 13では説明を省略した力 すべてのセルについて「海」のセルの数をカウ ントし、「海」のセルの数力 あらかめ設定されたしきい値（たとえば全セルの数の 1Z 5)以上であるときには、風景画像には海の見える風景が含まれていると判定すること としてちよい。
[0174] 以上説明したように、本実施例によれば、撮像した風景画像から遠景を判定して、 見晴らしの良い方向へカメラを駆動させることができるため、あら力じめ登録しなくても 、見晴らしの良い風景にカメラを向けて撮影することができる。
[0175] また、撮影した見晴らしの良い方向の風景の風景画像について、空、海、山および 夜景などの景色を判定することができる。したがって、利用者や初期設定によって定 められた見晴らし指数などの条件により、最適な風景画像を判定して保存することが できる。すなわち、無駄な風景画像を保存せずに適切な風景画像だけを効率的に収 集することができる。
[0176] これらよりも明らかなように、本実施例によれば、利用者は、カメラの操作や撮影地 点の登録をしなくても、見晴らしの良い風景を自動的に撮像し、適切な風景画像を保 存することができる。特に、運転者は、運転後に風景を確認することができるため、運 転中に風景に注意を向ける必要がなくなり、安全運転を図ることができる。
[0177] また、本実施例では説明を省略したが、可動式のカメラを駆動させて風景を撮像す る際、駆動にあわせて複数枚の風景画像を取得することで、パノラマ風景画像とする 構成でもよい。具体的には、たとえば、ノ Vラマ風景画像は、見晴らしの良い地点と 判定された場合に、車両の前方力 側方まで可動式のカメラを駆動させて一定角度 の駆動間隔ごとに撮像する。そして、撮像した複数枚の風景画像を平行移動してマ ツチングすることによって、走行中のノ Vラマ風景画像とすることとしてもよい。
[0178] また、パノラマ風景画像は、見晴らしの良い地点が道路沿いに続く場合は、可動式 のカメラについて、一定角度の駆動間隔ごとに撮像する代わりに、可動式のカメラを 見晴らしの良い方向へ向けたまま、一定の走行距離間隔で複数枚の風景画像を撮 像することとしてもよい。
[0179] また、上述した説明では、車両に搭載して風景を撮像する構成としたが、車両に搭 載しない構成としてもよい。具体的には、たとえば、定点カメラなどによって、風景を 撮像し、見晴らしの良い方向の風景画像を収集することとしてもよい。定点カメラであ れば、車載する際に振動対策などを施す必要がないため、安価なシステムを提供す ることがでさる。
[0180] また、本発明では、撮像する対象を風景としたが、風景に限ることはない。たとえば 、建造物などを撮像して、美しい建造物の画像を収集することとしてもよい。このよう にすることで、幅広く利用者の所望する被写体の画像を収集することができる。
[0181] なお、本実施の形態で説明した風景撮像方法は、あらかじめ用意されたプログラム をパーソナル 'コンピュータやワークステーションなどのコンピュータで実行することに より実現することができる。このプログラムは、ハードディスク、フレキシブルディスク、 CD-ROM, MO、 DVDなどのコンピュータで読み取り可能な記録媒体に記録され 、コンピュータによって記録媒体力も読み出されることによって実行される。またこの プログラムは、インターネットなどのネットワークを介して配布することが可能な伝送媒 体であってもよい。

Claims

請求の範囲
[1] 任意の方向の風景画像を撮像する撮像手段と、
前記撮像手段によって撮像された任意の方向の風景画像 (以下、「初期風景画像」 t ヽぅ）を複数のセルに分割する分割手段と、
前記初期風景画像に対応する初期風景のうち、前記分割手段によって分割された 各セルに対応する前記初期風景の一部までの距離を算出する算出手段と、
前記算出手段によって算出された距離を用いて撮像方向を決定する決定手段と、 を備えることを特徴とする風景撮像装置。
[2] 前記算出手段によって算出された距離を用いて、各セルに対応する前記初期風景 の一部が遠景であるか否かを判定する判定手段を備え、
前記決定手段は、
前記初期風景画像における一以上のセルからなる画像領域における、前記判定手 段によって前記初期風景の一部が遠景と判定されたセルの数量に基づいて、前記 撮像方向を決定することを特徴とする請求項 1に記載の風景撮像装置。
[3] 前記撮像手段は、
前記決定手段によって決定された撮像方向の風景画像を撮像し、
前記分割手段は、
前記撮像手段によって撮像された撮像方向の風景画像 (以下、「撮像風景画像」と V、う）を複数のセルに分割し、
前記判定手段は、
前記撮像風景画像に対応する撮像風景のうち、前記分割手段によって分割された 各セルに対応する前記撮像風景の一部が、空、海、山および夜景のうち少なくともい ずれか一つに該当する力否かを判定することを特徴とする請求項 1または 2に記載の 風景撮像装置。
[4] 前記判定手段は、
前記撮像風景画像の上方に位置するセルにつ!、て、当該上方に位置するセルに 含まれる複数の画素の明度の分散値から、前記撮像風景の一部が空であるか否か を判定することを特徴とする請求項 3に記載の風景撮像装置。
[5] 前記判定手段は、
前記空と判定されなかったセルにっ 、て、当該空と判定されたセルに含まれる複数 の画素の平均色相および平均彩度に基づ 、て、前記撮像風景の一部が海であるか 否かを判定することを特徴とする請求項 3に記載の風景撮像装置。
[6] 前記判定手段は、
前記空と判定されな力つたセルのうち、当該空と判定されたセルに隣接するセルの 各々について、色の性質を分析することにより空と空でない風景の境界を検出するこ とで、前記撮像風景に山が含まれるか否かを判定することを特徴とする請求項 3に記 載の風景撮像装置。
[7] 前記判定手段は、
前記複数のセルの各々について、所定値の明度を基準として画素の 2値ィ匕をおこ なうことにより区別される複数の画素群のうち、前記基準よりも高い方に区別された前 記画素群の数に基づ ヽて、前記撮像風景の一部が夜景であるか否かを判定すること を特徴とする請求項 3に記載の風景撮像装置。
[8] 前記判定手段によって判定された判定結果に応じて、前記撮像風景画像を保存す る保存手段を備えることを特徴とする請求項 3に記載の風景撮像装置。
[9] 前記保存手段は、
前記撮像風景画像と、当該撮像風景画像の位置情報とを関連づけて保存すること を特徴とする請求項 8に記載の風景撮像装置。
[10] 任意の方向の風景画像を撮像する撮像工程と、
前記撮像工程によって撮像された任意の方向の風景画像 (以下、「初期風景画像」 ヽぅ）を複数のセルに分割する分割工程と、
前記初期風景画像に対応する初期風景のうち、前記分割工程によって分割された 各セルに対応する前記初期風景の一部までの距離を算出する算出工程と、
前記算出工程によって算出された距離を用いて撮像方向を決定する決定工程と、 を含むことを特徴とする風景撮像方法。
[11] 請求項 10に記載の風景撮像方法をコンピュータに実行させることを特徴とする風 景撮像プログラム。 [12] 請求項 11に記載の風景撮像プログラムを記録したことを特徴とするコンピュータに 読み取り可能な記録媒体。
PCT/JP2006/318980 2006-09-25 2006-09-25 Dispositif, procédé, programme de formation d'images de décor et support d'enregistrement pouvant être lu par ordinateur WO2008050374A1 (fr)

Priority Applications (3)

Application Number Priority Date Filing Date Title
PCT/JP2006/318980 WO2008050374A1 (fr) 2006-09-25 2006-09-25 Dispositif, procédé, programme de formation d'images de décor et support d'enregistrement pouvant être lu par ordinateur
JP2008540796A JP4870776B2 (ja) 2006-09-25 2006-09-25 風景撮像装置、風景撮像方法、風景撮像プログラムおよびコンピュータに読み取り可能な記録媒体
US12/442,643 US8233054B2 (en) 2006-09-25 2006-09-25 Scenery imaging apparatus, scenery imaging method, scenery imaging program, and computer-readable recording medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2006/318980 WO2008050374A1 (fr) 2006-09-25 2006-09-25 Dispositif, procédé, programme de formation d'images de décor et support d'enregistrement pouvant être lu par ordinateur

Publications (1)

Publication Number Publication Date
WO2008050374A1 true WO2008050374A1 (fr) 2008-05-02

Family

ID=39324190

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2006/318980 WO2008050374A1 (fr) 2006-09-25 2006-09-25 Dispositif, procédé, programme de formation d'images de décor et support d'enregistrement pouvant être lu par ordinateur

Country Status (3)

Country Link
US (1) US8233054B2 (ja)
JP (1) JP4870776B2 (ja)
WO (1) WO2008050374A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011003180A (ja) * 2009-06-19 2011-01-06 Ricoh Co Ltd 画像収集装置に用いる天空検出装置及び方法
JP2011215974A (ja) * 2010-03-31 2011-10-27 Aisin Aw Co Ltd 画像処理システム

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4915859B2 (ja) * 2007-03-26 2012-04-11 船井電機株式会社 物体の距離導出装置
FR2948483B1 (fr) * 2009-07-23 2012-02-03 Airbus Operations Sas Procede pour afficher une image sur un ecran d'un aeronef
ITVI20120303A1 (it) * 2012-11-09 2014-05-10 St Microelectronics Srl Metodo per rilevare una linea retta in un'immagine digitale
US10421412B2 (en) * 2014-04-17 2019-09-24 The Hertz Corporation Rotatable camera
US20170195579A1 (en) * 2016-01-05 2017-07-06 360fly, Inc. Dynamic adjustment of exposure in panoramic video content
CN108399629B (zh) * 2018-02-05 2020-06-02 西南交通大学 一种人工复眼相机的图像阵列光流估计方法
US10775174B2 (en) * 2018-08-30 2020-09-15 Mapbox, Inc. Map feature extraction system for computer map visualizations

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000244800A (ja) * 1999-02-22 2000-09-08 Victor Co Of Japan Ltd 撮像装置
JP2001257920A (ja) * 2000-03-13 2001-09-21 Fuji Photo Film Co Ltd カメラシステム
JP2005045398A (ja) * 2003-07-24 2005-02-17 Canon Inc 撮影支援方法、撮影支援装置及び撮影装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7106376B1 (en) * 1998-10-22 2006-09-12 Flashpoint Technology, Inc. Method and system for improving image quality of portrait images using a focus zone shift
US7262798B2 (en) * 2001-09-17 2007-08-28 Hewlett-Packard Development Company, L.P. System and method for simulating fill flash in photography
JP2003198904A (ja) 2001-12-25 2003-07-11 Mazda Motor Corp 撮像方法、撮像システム、撮像装置、撮像制御サーバ、並びに撮像プログラム
US7215828B2 (en) * 2002-02-13 2007-05-08 Eastman Kodak Company Method and system for determining image orientation
US7620246B2 (en) * 2002-07-30 2009-11-17 Fujifilm Corporation Method and apparatus for image processing
US20050212950A1 (en) * 2004-03-26 2005-09-29 Chinon Kabushiki Kaisha Focal length detecting method, focusing device, image capturing method and image capturing apparatus
US7804980B2 (en) * 2005-08-24 2010-09-28 Denso Corporation Environment recognition device

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000244800A (ja) * 1999-02-22 2000-09-08 Victor Co Of Japan Ltd 撮像装置
JP2001257920A (ja) * 2000-03-13 2001-09-21 Fuji Photo Film Co Ltd カメラシステム
JP2005045398A (ja) * 2003-07-24 2005-02-17 Canon Inc 撮影支援方法、撮影支援装置及び撮影装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011003180A (ja) * 2009-06-19 2011-01-06 Ricoh Co Ltd 画像収集装置に用いる天空検出装置及び方法
JP2011215974A (ja) * 2010-03-31 2011-10-27 Aisin Aw Co Ltd 画像処理システム

Also Published As

Publication number Publication date
JP4870776B2 (ja) 2012-02-08
US8233054B2 (en) 2012-07-31
US20100085440A1 (en) 2010-04-08
JPWO2008050374A1 (ja) 2010-02-25

Similar Documents

Publication Publication Date Title
JP4870776B2 (ja) 風景撮像装置、風景撮像方法、風景撮像プログラムおよびコンピュータに読み取り可能な記録媒体
JP4717073B2 (ja) 風景解析装置及び方法
KR101648339B1 (ko) 휴대용 단말기에서 영상인식 및 센서를 이용한 서비스 제공 방법 및 장치
US9536325B2 (en) Night mode
JP6549898B2 (ja) 物体検出システム、物体検出方法、ｐｏｉ情報作成システム、警告システム、及び誘導システム
US7653485B2 (en) Route guidance system and method
JP6426433B2 (ja) 画像処理装置、画像処理方法、ｐｏｉ情報作成システム、警告システム、及び誘導システム
US20140297185A1 (en) Method, Device and System for Presenting Navigational Information
CN111126182A (zh) 车道线检测方法、装置、电子设备及存储介质
EP2672230A1 (en) Providing navigation instructions while device is in locked mode
JP6274177B2 (ja) 車両制御システム
KR20130033446A (ko) 고 다이나믹 레인지 이미지를 캡처하도록 장치를 동작시키는 방법
WO2007000999A1 (ja) 画像分析装置および画像分析方法
KR20130107697A (ko) 내비게이션 단말기의 배경 화면 표시 장치 및 방법
CN113711268A (zh) 一种将散景效果应用于图像的电子装置及其控制方法
CN111192341A (zh) 生成高精地图的方法、装置、自动驾驶设备及存储介质
CA2743941C (en) Method, device and system for presenting navigational information
US10282819B2 (en) Image display control to grasp information about image
WO2017058449A1 (en) Navigation application with novel declutter mode
CN108335507A (zh) 利用摄像头的拍摄影像的驾驶引导提供方法及装置
CN113225550A (zh) 偏移检测方法、装置、摄像头模组、终端设备及存储介质
JP2014146989A (ja) 撮像装置、撮像方法および撮像プログラム
CN110163862B (zh) 图像语义分割方法、装置及计算机设备
CN110971889A (zh) 一种获取深度图像的方法、摄像装置以及终端
CN113492756A (zh) 一种车外信息展示方法、装置、设备及存储介质

Legal Events

Date Code Title Description
DPE2 Request for preliminary examination filed before expiration of 19th month from priority date (pct application filed from 20040101)
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 06798306

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2008540796

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 12442643

Country of ref document: US

122 Ep: pct application non-entry in european phase

Ref document number: 06798306

Country of ref document: EP

Kind code of ref document: A1