WO2011048718A1 - 標識認識装置及び標識認識方法 - Google Patents

標識認識装置及び標識認識方法 Download PDF

Info

Publication number
WO2011048718A1
WO2011048718A1 PCT/JP2010/001605 JP2010001605W WO2011048718A1 WO 2011048718 A1 WO2011048718 A1 WO 2011048718A1 JP 2010001605 W JP2010001605 W JP 2010001605W WO 2011048718 A1 WO2011048718 A1 WO 2011048718A1
Authority
WO
WIPO (PCT)
Prior art keywords
sign
recognition
area
unit
recognition area
Prior art date
Application number
PCT/JP2010/001605
Other languages
English (en)
French (fr)
Inventor
森岡幹夫
Original Assignee
パナソニック株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニック株式会社 filed Critical パナソニック株式会社
Publication of WO2011048718A1 publication Critical patent/WO2011048718A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/165—Anti-collision systems for passive traffic, e.g. including static obstacles, trees
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/582—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs

Definitions

  • the present invention relates to a sign recognition device that is mounted on a moving body such as a vehicle and recognizes a sign.
  • a recognition device that recognizes an object from continuous images obtained by an in-vehicle camera.
  • an image captured by the in-vehicle camera changes every moment as the vehicle travels. Therefore, the higher the frame rate of the image, the greater the burden of recognition processing in the recognition device.
  • the larger the number of pixels of the in-vehicle camera the greater the burden of recognition processing in the recognition device.
  • the processing load increases as the recognition level increases. Therefore, it is desired for the recognition device to efficiently recognize an object from an image. For this reason, when recognizing an object from an image obtained by an in-vehicle camera, the object recognition is not performed by recognizing the object only for a specific part, instead of recognizing the object for the entire image. It has been proposed to improve the efficiency.
  • the recognition process is made efficient by thinning out a part of a moving image frame obtained by photographing with a video camera to recognize an object, and a sign is photographed. Restricts the recognition region to a partial region in the image and prevents the image from being thinned out (see, for example, Patent Document 1).
  • a band-like region at the upper part of an image where a marker as an object is photographed with high accuracy is used as a recognition region. That is, for a sign passing over the head like a sign on an expressway, the sign is most clearly photographed in this belt-like area, and this area is set as a limited recognition area.
  • the second conventional recognition device cuts out an image portion that is estimated to include an object to be recognized in an image captured by the in-vehicle camera based on the position information and the direction information of the vehicle, and the cut out range.
  • An object included in the image is recognized (for example, see Patent Document 2).
  • the region to be recognized is limited based on the detection result of the radar device (see, for example, Patent Document 3).
  • the first conventional recognition device is premised on recognizing a sign that passes overhead as the vehicle travels, the region to be recognized is fixed to the belt-like region at the top of the image.
  • the processing load becomes heavy.
  • the second conventional recognition device only predicts the image cutout range based on the current information, and when the vehicle position or orientation information changes, an effective image cutout range cannot be obtained. There is a problem that it is difficult to accurately recognize an object. In addition, the second conventional recognition device has a problem that the processing load becomes heavy because an object recognition process is always performed on an image to be recognized.
  • the third conventional recognition device requires a detection means such as a radar device in addition to the camera, and there is a problem that the device becomes complicated and the cost increases.
  • the present invention has been made to solve the above-described conventional problems, and an object of the present invention is to provide a sign recognition device capable of efficiently performing sign recognition processing.
  • One aspect of the present invention is a sign recognition device that recognizes a sign from an image obtained by imaging the front of a moving object.
  • the sign recognition device includes a first recognition area in a first recognition area in an image.
  • a first recognition unit that recognizes a sign at a recognition level and a second recognition area that is different from the first recognition area in the image, the sign is recognized at a second recognition level that is higher than the first recognition level.
  • a second sign recognition unit is a sign recognition unit.
  • the sign recognition device includes a photographing unit that photographs the front of the moving body and acquires an image, and a photographing unit.
  • a recognition area setting unit that dynamically changes and sets the recognition area in the obtained image, and a sign recognition unit that recognizes a sign in the set recognition area are provided.
  • Another aspect of the present invention is a sign recognition method for recognizing a sign from an image obtained by imaging the front of a moving object.
  • the sign recognition method includes a first recognition area in a first recognition area in an image. In a first sign recognition step for recognizing a sign at a recognition level and a second recognition area different from the first recognition area in the image, the sign is recognized at a second recognition level higher than the first recognition level. A second sign recognition step.
  • the present invention can provide a sign recognition apparatus having an effect that the sign recognition process can be efficiently performed because the signs are recognized at different recognition levels for a plurality of recognition areas.
  • FIG. 1 is a block diagram showing a configuration of a sign recognition apparatus according to a first embodiment of the present invention.
  • FIG. 2 is a diagram showing a marker presence recognition area and a marker content recognition area set in an image according to the first embodiment of the present invention.
  • FIG. 3 is a diagram showing a plurality of search areas in the first embodiment of the present invention.
  • FIG. 4 is a flowchart showing the operation of the sign recognition apparatus according to the first embodiment of this invention.
  • FIG. 5 is a perspective view of a vehicle equipped with the sign recognition device according to the first embodiment of the present invention.
  • FIG. 6 is a flowchart showing the operation of the sign recognition apparatus according to the second embodiment of the present invention.
  • FIG. 1 is a block diagram showing a configuration of a sign recognition apparatus according to a first embodiment of the present invention.
  • FIG. 2 is a diagram showing a marker presence recognition area and a marker content recognition area set in an image according to the first embodiment of the present invention.
  • FIG. 3 is
  • FIG. 7 is a flowchart showing the operation of the sign recognition apparatus according to the third embodiment of the present invention.
  • FIG. 8 is a block diagram showing the configuration of the sign recognition apparatus according to the fourth embodiment of the present invention.
  • 9A is a diagram showing the area data of the sign presence recognition area and the sign content recognition area when going straight.
  • FIG. 9B is a diagram showing the area data of the knowledge presence recognition area and the sign content recognition area when turning right.
  • FIG. 9C is a diagram showing the area data of the sign presence recognition area and the sign content recognition area when traveling straight ahead at a faster speed than in the case of FIG.
  • FIG. 10 is a block diagram showing a configuration of a sign recognition device according to a modification of the fourth embodiment of the present invention.
  • FIG. 10 is a block diagram showing a configuration of a sign recognition device according to a modification of the fourth embodiment of the present invention.
  • FIG. 11 is a diagram for explaining a method for estimating the time and position at which a sign appears in the sign content recognition area in the fifth embodiment of the present invention.
  • FIG. 12 is a flowchart showing an operation of estimating the time and position at which a sign appears in the sign content recognition area in the fifth embodiment of the present invention.
  • FIG. 13 is a block diagram showing the configuration of the sign recognition apparatus according to the sixth embodiment of the present invention.
  • a sign recognition device is a sign recognition apparatus that recognizes a sign from an image obtained by imaging the front of a moving object, and has a first recognition level in a first recognition area in the image. In the second recognition area different from the first recognition area in the first recognition area in the image, the second sign recognition unit recognizes the sign at a second recognition level higher than the first recognition level. And a sign recognition unit.
  • This configuration recognizes the signs at different recognition levels for multiple recognition areas. By reducing the recognition level of the parts that do not require a high recognition level in the image, the overall efficiency of the sign recognition process is improved. it can.
  • the first recognition area is a sign presence recognition area for recognizing the presence of the sign
  • the second recognition area is a sign for recognizing the contents of the sign. It is a content recognition area
  • the first sign recognition unit recognizes the presence of the sign in the sign presence recognition area
  • the second sign recognition unit recognizes the content of the sign in the sign content recognition area.
  • the recognition level is lowered and only the presence of the sign is recognized. Since the contents are also recognized, it is possible to eliminate the processing burden caused by recognizing the sign at a high recognition level in an area where the contents of the sign cannot be recognized.
  • the sign recognition apparatus further includes a search area designating unit that designates a search area in the second recognition area by using a recognition result by the first sign recognition unit, and the second sign The recognition unit recognizes the sign in the search area.
  • the search area designating unit designates the search area based on the recognition result by the first sign recognition unit and the traveling state of the moving object.
  • the search area is specified not only based on the recognition result by the first sign recognition unit but also based on the traveling state of the moving body, so that the search area can be specified more appropriately.
  • the sign recognition apparatus further includes a timing estimation unit that estimates the timing at which the sign recognized by the first sign recognition unit appears in the second recognition area, and the second sign recognition unit Starts recognition of the sign at the timing estimated by the timing estimation unit.
  • the sign content recognition process with a high recognition level is performed only when recognition with a high recognition level is effective, it is possible to eliminate the processing burden caused by recognizing the sign contents when the contents of the sign cannot be recognized.
  • the timing at which recognition with a high recognition level is started is determined based on the recognition result of the first sign recognition unit (the sign presence recognition unit), the timing can be set without a separate detection device such as a radar device. Can be estimated.
  • the sign recognition apparatus further includes a recognition area setting unit that dynamically sets at least one of the first recognition area and the second recognition area.
  • the recognition area setting unit changes at least one of the first recognition area and the second recognition area based on the traveling state of the moving body.
  • the area where the sign is present in the image varies depending on the traveling state of the moving body, but according to this configuration, an appropriate area can be set as the recognition area based on the traveling state of the moving body.
  • the recognition area setting unit changes at least one of the first recognition area and the second recognition area according to the traveling speed of the moving body.
  • the recognition area setting unit sets an appropriate recognition area according to the traveling speed, so that the presence of a sign can be reliably recognized, and the process of recognizing the presence of a useless sign is omitted. The burden can be reduced.
  • the recognition area setting unit changes at least one of the first recognition area and the second recognition area according to the steering angle of the moving body.
  • the sign When the rudder angle of the moving object is in the forward direction, the sign is enlarged as the moving object travels and moves sideways from the center of the screen. Further, when the rudder angle of the moving body is directed in the right traveling direction, the sign appears from the right end of the screen as the moving body travels, and is enlarged as it moves to the left side. Thus, since the movement of the sign in the image depends on the rudder angle, the presence and content of the sign can be reliably recognized by changing the recognition area according to the rudder angle of the moving body as described above.
  • the recognition area setting unit changes at least one of the first recognition area and the second recognition area based on the environment around the moving body.
  • the recognition area can be appropriately set according to the surrounding environment, such as setting the recognition area large.
  • a sign recognition device is a sign recognition apparatus that is mounted on a moving body and recognizes a sign.
  • the sign recognition apparatus captures an image of the front of the moving body and acquires an image, and a photographing section.
  • a recognition area setting unit that dynamically changes and sets the recognition area in the obtained image, and a sign recognition unit that recognizes a sign in the set recognition area are provided.
  • the recognition area is dynamically changed by the recognition area setting unit, it is possible to eliminate the waste of processing by performing marker recognition for areas that do not require recognition, and to improve the efficiency of marker recognition processing. .
  • a sign recognition method is a sign recognition method for recognizing a sign from an image obtained by imaging the front of a moving object, and a first recognition level in a first recognition area in the image.
  • a sign recognition step is a sign recognition method for recognizing a sign from an image obtained by imaging the front of a moving object, and a first recognition level in a first recognition area in the image.
  • a first sign recognition step for recognizing a sign in a second recognition area higher than the first recognition level in a second recognition area different from the first recognition area in the image.
  • a sign recognition step is a sign recognition method for recognizing a sign from an image obtained by imaging the front of a moving object, and a first recognition level in a first recognition area in the image.
  • This configuration recognizes the signs at different recognition levels for multiple recognition areas. By reducing the recognition level of the parts that do not require a high recognition level in the image, the overall efficiency of the sign recognition process is improved. it can.
  • FIG. 1 is a block diagram of a sign recognition apparatus according to a first embodiment of this invention.
  • the sign recognition apparatus 1 includes a camera 10, a CAN (Controller Area Network) 20, a sign recognition unit 30, and an output unit 40.
  • CAN Controller Area Network
  • the camera 10 captures a front image of the vehicle and acquires a captured image.
  • a fisheye lens with a field angle of 180 degrees is adopted as the lens of the camera 10, and a CCD is adopted as the imaging device.
  • the camera 10 is connected to the sign presence recognizing unit 31 and the sign content recognizing unit 33, and sends an image acquired by capturing to these recognizing units for recognition processing.
  • the CAN 20 collects information on each sensor installed in the vehicle.
  • the CAN 20 according to the present embodiment collects information on the steering angle and the traveling speed from at least a steering angle sensor that detects the steering angle of the vehicle and a speed sensor that detects the traveling speed of the vehicle.
  • the sign recognition unit 30 recognizes the sign from the image obtained by the camera 10 and outputs the result to the output unit 40.
  • the sign recognition unit 30 sets a sign presence recognition area EA for recognizing only the presence of the sign and a sign content recognition area CA for recognizing the contents of the sign in the image obtained by the camera 10, and the sign presence recognition area EA. Then, the presence (presence / absence) of the sign is detected, and the contents of the sign are determined in the sign content recognition area CA. That is, the sign recognition unit 30 performs recognition with a low recognition level in the sign presence recognition area EA, and performs recognition with a high recognition level in the sign content recognition area CA.
  • FIG. 2 is a diagram showing a sign presence recognition area EA and a sign content recognition area CA set in the image.
  • the sign presence recognition area EA is an area surrounded by an ellipse centered on the center point C of the image.
  • the sign content recognition area CA includes an ellipse of the sign presence recognition area EA, an ellipse larger than the ellipse of the sign presence recognition area EA and centered on the center point C of the image (concentric with the ellipse of the sign presence recognition area EA). It is a flat donut-shaped region sandwiched between.
  • the subject shown in the center of the image exists at a distance from the vehicle, and the subject shown around the center of the image is the vehicle. It will exist at a close distance. Therefore, the sign placed on the side of the road or the sign placed above the road is caught small at the center of the image when it is far away from the vehicle, and its resolution becomes low, When the distance is short, the image is captured largely around the center of the image, and the resolution increases.
  • a fisheye lens is adopted as the lens of the camera 10 as described above. Since the fish-eye lens captures a wide-angle range as compared with a normal lens, an object at a long distance has a higher degree of image compression. Therefore, as described above, the tendency that a subject at a long distance becomes smaller in the central portion of the image and a subject at a short distance becomes larger around the central portion becomes stronger.
  • the recognition level is lowered to recognize only the presence of the sign, and the recognition level is set in the surrounding donut-shaped sign content recognition area CA. Increase the height to recognize the specific contents of the sign. In other words, even if the content of the sign is recognized at the center of the screen, the sign is too small to achieve the necessary resolution for content recognition, and effective content recognition cannot be performed. The processing with a high recognition level and high processing load is not performed. Furthermore, it is assumed that the recognition process is not performed for an area (in FIG. 2, outside the sign content recognition area CA) where it is not necessary to recognize the presence of the sign and the content.
  • the sign recognition unit 30 includes a sign presence recognition unit 31, a sign position estimation unit 32, and a sign content recognition unit 33.
  • Each component of the sign recognition unit 30 is realized by a computer program being executed by a device having a hardware configuration such as an arithmetic processing device, a memory, and a storage device.
  • the sign presence recognition unit 31 inputs a camera image from the camera 10 and recognizes the presence of the sign.
  • the sign presence recognition unit 31 stores the shape of the sign presence recognition area EA in advance, and performs sign presence recognition processing for detecting the presence of the sign for the sign presence recognition area EA in the image.
  • the sign presence recognizing unit 31 stores various sign shape templates in advance, and in the sign presence recognition processing, the presence of the sign is detected by performing matching using the shape template in the sign presence recognition area EA. .
  • the sign presence recognition unit 31 outputs the detection result and the detected time to the sign position estimation unit 32.
  • the sign position estimation unit 32 inputs the detection result and detection time information of the sign from the sign presence recognition unit 31.
  • the sign position estimation unit 32 is connected to the CAN 20 and acquires CAN information from the CAN 20 when a sign detection result is input from the sign presence recognition unit 31.
  • the sign position estimation unit 32 uses information such as a sign detection result, detection time, CAN information, and camera 10 characteristic information, and the time and sign that the detected sign appears in the sign content recognition area CA.
  • a position in the sign content recognition area CA is estimated.
  • this time is referred to as an estimated time
  • this position is referred to as an estimated position.
  • the sign position estimating unit 32 first determines the sign of the vehicle from the position of the sign in the image, the size of the sign in the image, and camera characteristic information (mounting position, mounting angle, lens characteristics, etc.). Find the relative position.
  • the sign position estimation unit 32 obtains the time and position at which the sign enters the sign content recognition area CA when the vehicle travels straight from the relative position and the traveling speed of the vehicle, and calculates the estimated time and the estimated position.
  • the function of the sign position estimating unit 32 for obtaining the estimated time is an example of a timing estimating unit.
  • Another example of the timing estimation unit estimates the time required until the sign enters the sign content recognition area CA, not the time when the sign enters the sign content recognition area CA, and notifies the sign content recognition unit 33 of the estimated time.
  • the sign position estimation unit 32 designates a partial area including the estimated position in the sign content recognition area CA as a search area SA for recognizing the sign content, and sends the information to the sign content recognition unit 33 together with the estimated time information. Output.
  • FIG. 3 is a diagram illustrating a plurality of search areas. As shown in FIG. 3, a plurality of search areas SA1 to SA8 are set in the sign position estimation unit 32 as partial areas of the sign content recognition area CA in advance.
  • the sign position estimation unit 32 selects and designates a search area to which the estimated position belongs from among the plurality of search areas. When the estimated position is near the boundary between the search areas, two adjacent search areas may be designated.
  • the function of the sign position estimation unit 32 that designates the search area is an example of the search area designation unit.
  • a plurality of search areas SA1 to SA8 are set by dividing the sign content recognition area CA into a plurality of small areas, but the plurality of search areas may be set to overlap each other. Good.
  • a search area that includes the estimated position at the center is selected.
  • the search area may be set by dynamically changing its shape. When the search area is dynamically set, an area for 10 pixels around the estimated position may be set as the search area.
  • the sign content recognition unit 33 acquires the estimated time and the information of the selected search area SA from the sign position estimation unit 32, and performs the recognition process of the sign content in the search area SA when the estimated time comes.
  • the sign content recognition unit 33 outputs information on the sign content to the output unit 40 as a recognition result.
  • the output unit 40 is a car navigation system, for example, and includes a display device and an audio output device.
  • the output unit 40 performs display and audio output according to the content. For example, if the content of the sign is “to rare”, “to rare” is displayed on the display device, and a voice guide such as “please stop” is played. If the content of the sign is “prohibit entry”, the display device displays “prohibit entry” and plays a voice guide such as “prohibit entry”.
  • FIG. 4 is a flowchart showing the operation of the sign recognition unit 30.
  • the sign presence recognition unit 31 starts a process of detecting the presence of a sign (a sign presence recognition process) in the sign presence recognition area EA, and detects the presence of the sign.
  • the sign presence recognizing unit 31 outputs the detection result and the detection time to the sign position estimating unit 32, and when the sign position estimating unit 32 inputs the detection result and the detection time from the sign presence recognizing unit 31, the current position from the CAN 20 is Information on travel status (CAN information) is acquired (step S42).
  • CAN information Information on travel status
  • the sign position estimation unit 32 estimates the time and position at which the detected sign appears in the sign content recognition area CA (step S43). In this estimation process, as described above, the relative position of the sign with respect to the vehicle is obtained from the position and size of the sign in the image, and the estimated time and the estimated position are obtained.
  • the sign position estimation unit 32 designates the search area SA in the sign content recognition area CA based on the estimated position, and notifies the sign content recognition unit 33 of the search area SA together with the estimated time (step S44).
  • the marker content recognizing unit 33 performs processing for recognizing the marker content in the search area SA (step S45). Thereafter, the sign content recognition unit 33 outputs the recognition result to the output unit 40 (step S46).
  • the output unit 40 outputs the recognition result by display and voice as described above.
  • the operation of the sign recognition device 1 according to the present embodiment has been described above.
  • FIG. 5 is a perspective view of a vehicle equipped with the sign recognition apparatus 1 according to the embodiment of the present invention.
  • the camera 10 is attached to the back side of the vehicle rearview mirror, that is, the front side of the vehicle.
  • the camera 10 photographs the front of the vehicle.
  • the display device of the navigation system that is the output unit 40 is mounted on the dashboard.
  • the sign recognition unit 30 is attached in the dashboard.
  • the CAN 20 is configured such that sensors are provided at necessary locations to detect the traveling speed of the vehicle and the steering angle of the vehicle, and each sensor is connected to a control device.
  • the camera 10 may be attached to a front bumper or the like to photograph the front of the vehicle.
  • the display device may be fitted into the dashboard.
  • the sign recognition apparatus of the first embodiment of the present invention for a low-resolution location (mark presence recognition area EA) in the image, recognition with a low recognition level of presence detection of the sign is performed, Since recognition with a high recognition level called label content determination is performed at a high-resolution location (label content recognition area CA), the burden of recognition processing of the label content can be reduced compared with the case where the content of the label is determined in the entire image. .
  • the recognition process of the marker content is further performed by limiting a part of the high-resolution part as the search area SA, so that the processing burden can be further reduced.
  • the time at which the sign appears in the sign content recognition area CA in the image as the vehicle travels is estimated, and the sign content recognition process is started in accordance with the estimated time.
  • the processing load can be reduced as compared with the case where the recognition processing of the sign content is performed.
  • the sign recognition apparatus Next, the sign recognition apparatus according to the second embodiment of the present invention will be described.
  • the configuration of the sign recognition device of the second embodiment is the same as that of the first embodiment.
  • the operation of the sign recognition unit is different from that of the first embodiment.
  • the sign position estimation unit 32 estimates the time and position at which the sign appears in the sign content recognition area CA in the image, and the search area SA based on the estimated position is displayed together with the estimated time. It output to the recognition part 33.
  • the sign content recognition unit 33 waits until the estimated time output from the sign position estimation unit 32 and performs content recognition processing in the search area SA.
  • Such an operation of the sign recognition unit is effective when the traveling state does not change much, such as when traveling on an expressway.
  • the sign may not appear in the sign content recognition area CA as estimated.
  • the sign may not appear in the sign content recognition area CA even when the estimated time comes.
  • the handle is cut after first detecting the presence of the sign, the sign may not appear in the sign content recognition area CA at the estimated position. Therefore, in the present embodiment, even when the traveling state changes, the sign content recognition process can be performed in the area where the sign appears at the timing when the sign appears in the sign content recognition area CA.
  • the sign position estimation unit 32 tracks the sign in the sign detection area EA until the sign in the image appears in the sign content recognition area CA, and appears in the sign content recognition area CA.
  • the marker content recognition unit 33 is notified of the search area SA corresponding to the estimated position at that time.
  • the marker content recognition unit 33 immediately starts the marker content recognition process in the search area SA.
  • FIG. 6 is a flowchart showing the operation of the sign recognition unit of the second embodiment.
  • the sign presence recognition unit 31 starts a process of detecting the presence of a sign (a sign presence recognition process) in the sign presence recognition area EA, and detects the presence of the sign.
  • the sign presence recognizing unit 31 outputs the detection result and the detection time to the sign position estimating unit 32, and when the sign position estimating unit 32 inputs the detection result and the detection time from the sign presence recognizing unit 31, the current position from the CAN 20 is Information on travel status (CAN information) is acquired (step S62).
  • CAN information Information on travel status
  • the sign position estimation unit 32 estimates the time and position at which the detected sign appears in the sign content recognition area CA (step S63). Subsequently, the sign position estimating unit 32 determines whether or not the current time is immediately before the estimated time (step S64). Here, if the time from the current time to the estimated time is within one second, it is determined to be immediately before. If the current time is not immediately before the estimated time (NO in step S64), the process returns to step S61 to perform the marker presence recognition process again. If the current time is immediately before the estimated time (YES in step S64), the marker position estimating unit 32 designates the search area SA corresponding to the position estimated by the estimation process in the immediately preceding step S63 and recognizes the marker contents. This is notified to the unit 33 (step S65).
  • the knowledge content recognition unit 33 Upon receiving the notification of the search area SA from the sign position estimation unit 32, the knowledge content recognition unit 33 performs processing for recognizing the contents of the sign in the search area SA (step S66). Thereafter, the sign content recognition unit 33 outputs the recognition result to the output unit 40 (step S67).
  • the sign position estimation unit 32 determines that it is immediately before if the time from the current time to the estimated time is within one second.
  • the position estimation unit 32 may be variable based on the travel speed information acquired from the CAN 20. In this case, if the traveling speed is fast, it is determined as “immediately before”, and if the traveling speed is slow, it is not determined that “immediately before” until the estimated time.
  • an area in which a sign appears at the timing when the sign appears in the sign content recognition area CA even when the driving situation changes frequently such as when driving in a city.
  • the sign content recognition process can be performed at.
  • unnecessary sign content recognition processing is not performed, reducing the processing burden. it can.
  • a sign recognition apparatus according to a third embodiment of the present invention.
  • the configuration of the sign recognition apparatus of the third embodiment is the same as that of the first embodiment.
  • the operation of the sign recognition unit is different from that of the first embodiment.
  • the third embodiment also makes it possible to appropriately estimate the time and position at which a sign appears in the sign content recognition area CA even when the traveling state changes frequently.
  • the sign content recognition process can be performed in the area where the sign appears at the timing when the sign appears in the sign content recognition area CA even when the traveling state changes. Since the marker presence recognition process and the estimation process are repeated until just before the time of appearance in the content recognition area, the amount of processing increases. In the third embodiment, an increase in the processing amount is suppressed.
  • FIG. 7 is a flowchart showing the operation of the sign recognition apparatus of the third embodiment.
  • the sign presence recognition unit 31 detects the presence of the sign in the sign presence recognition area EA (sign presence recognition process). And the presence of the sign is detected (step S71).
  • the sign presence recognizing unit 31 outputs the detection result and the detection time to the sign position estimating unit 32, and when the sign position estimating unit 32 inputs the detection result and the detection time from the sign presence recognizing unit 31, the current position from the CAN 20 is Information on travel status (CAN information) is acquired (step S72).
  • the sign position estimation unit 32 estimates the time and position at which the detected sign appears in the sign content recognition area CA (step S73). The processing so far is the same as in the first and second embodiments.
  • the sign position estimating unit 32 determines whether or not the current time is immediately before the estimated time (step S74). Here, if the current time is within one second of the estimated time, it is determined to be immediately before. If the current time is not immediately before the estimated time (NO in step S74), the sign position estimating unit 32 acquires the traveling state and determines whether the traveling state has changed (step S75). If there is no change in the traveling state (NO in step S75), the time and position estimated in the immediately preceding step S73 are still valid, and the process returns to step S74. This loop is repeated until the estimated time is reached or a change occurs in the driving situation. If a change occurs in the traveling state (YES in step S75), the process returns to step S71 to redo the sign presence recognition process and the appearance time and position estimation process.
  • the marker position estimating unit 32 is estimated by the estimation process in the immediately preceding step S73, as in the second embodiment.
  • the search area SA corresponding to the selected position is designated and notified to the sign content recognition unit 33 (step S76).
  • the knowledge content recognition unit 33 performs processing for recognizing the content of the sign in the search area SA (step S77), and outputs the recognition result to the output unit 40. (Step S78).
  • the sign recognition device of the present embodiment when there is a change in the driving situation, the sign presence recognition process and the appearance time and position estimation process are performed again. It is possible to respond appropriately when the driving situation changes, and at the same time, it is possible to reduce the processing load when the driving situation does not change much, such as when driving on an expressway.
  • the operation of the sign recognition apparatus of the third embodiment can be said to be a compromise between the first embodiment and the second embodiment, but the sign recognition apparatus of another form is different from the first embodiment. And the mode of the second embodiment, and both modes may be switched manually or automatically.
  • the sign presence recognition area EA and the sign content recognition area CA are fixed.
  • the sign presence recognition area EA and the sign content recognition area CA in the image are dynamically changed based on the CAN information.
  • FIG. 8 is a block diagram of the sign recognition apparatus according to the fourth embodiment.
  • a recognition area setting unit 34 is added as compared with the first embodiment.
  • the recognition area setting unit 34 is connected to the CAN 20, the sign presence recognition unit 31, and the sign position estimation unit 32, and dynamically determines the sign presence recognition area EA and the sign content recognition area CA in the image based on the CAN information. Change.
  • the recognition area setting unit 34 acquires CAN information from the CAN 20, sets a sign presence recognition area EA based on the CAN information, outputs area data of the sign presence recognition area EA to the sign presence recognition unit 31, and A sign content recognition area CA is set based on the CAN information, and the area data of the sign content recognition area CA is output to the sign position estimation unit 32.
  • the recognition area setting unit 34 acquires information on the steering angle of the vehicle and the vehicle traveling speed among the CAN information, and the sign presence recognition area EA and the sign content recognition area based on these information.
  • Set CA
  • FIG. 9 is a diagram showing the area data of the sign presence recognition area EA and the sign content recognition area CA output from the recognition area setting unit 34, and FIG. 9A shows the area data when traveling straight, and FIG. FIG. 9B shows the area data when turning right, and FIG. 9C shows the area data when the vehicle goes straight at a higher speed than the case of FIG. 9A.
  • the area data of the sign presence recognition area EA is generally expressed by the equation (1) with the center of the image as the origin (0, 0).
  • the sign presence recognition area EA is centered on the point (p 0 , q 0 ) and has a diameter (major axis) in the x-axis direction of 2a 0 and a diameter (minor axis) in the y-axis direction of 2b 0. Is represented as the interior of an ellipse.
  • the area data of the sign content recognition area CA is generally expressed by equations (2) and (3) with the center of the image as the origin (0, 0).
  • the sign content recognition area CA is centered on the point (p 0 , q 0 ), the diameter (major axis) in the x-axis direction is 2a 0 , and the diameter (minor axis) in the y-axis direction is 2b 0.
  • the length of the diameter (major axis) in the x-axis direction is 2a 1 around the point (p 1 , q 1 ), and the diameter (minor axis) in the y-axis direction is centered on the point (p 1 , q 1 ) Is expressed as the interior of an ellipse with 2b 1 .
  • the recognition area setting unit 34 stores the above equations (1) to (3), and based on the CAN information acquired from the CAN 20, parameters a 0 , b 0 , p 0 , q 0 , a 1 , b 1 , p 1 , q 1 are determined, the expression (1) is output to the sign presence recognition unit 31 as the area data of the sign presence recognition area EA, and the expressions (2) and (3) are the contents of the sign It outputs to the marker position estimation part 32 as area data of the recognition area CA.
  • the parameter determination method will be described.
  • the vehicle when traveling straight, that is, when the rudder angle is small, it is considered that the road normally extends straight ahead as described above. Therefore, the distance to the subject is long at the center portion in the image and the resolution is low, and the distance to the subject is short near the center portion in the image and the resolution is high.
  • the subject in the image gradually moves from the center of the image toward the periphery of the image as the vehicle travels. Therefore, the sign presence recognition area EA with a low recognition level is set in the center part of the image with a low resolution, and the sign content recognition area CA with a high recognition level is set around the center part in the image with a high resolution.
  • the centers of the two ellipses that define the marker presence recognition area EA and the marker content recognition area CA are set as the central portion of the image.
  • the parameters (p 0 , q 0 ), (p 1 , q 1 ) in the above formulas (1) to (3) as shown in FIG. 9A. Is close to the origin (0,0).
  • the ratio 2a 0 : 2b 0 , 2a 1 : 2b 1 between the major axis and the minor axis may be set to be approximately the same as the aspect ratio of the image acquired by the camera 10, for example, 1: 0.65 to 1 : About 0.75.
  • the dynamic setting of the sign presence recognition area EA and the sign content recognition area CA according to the steering angle will be described.
  • the sign presence recognition area EA is moved to the right and the sign content recognition area CA is also moved to the right.
  • the values of the parameters p 0 and p 1 are increased.
  • the shape of the ellipse is also deformed to be vertically long. That is, the values of a 0 and a 1 in the equations (1) to (3) are decreased, and the values of b 0 and b 1 are increased to be larger than the values of a 0 and a 1 , respectively.
  • the parameters p 0 , p 1 , a 0 , a 1 may be set in a range in which the generated ellipse does not hit the edge of the screen, or the ellipse may protrude from the edge of the screen. It may be set. In the former case, when the x-coordinate values of the edge of the screen and x max, Equation (4), is set within a range satisfying (5).
  • the sign presence recognition area EA and the sign content recognition area CA are set to the left. The specific method is the same as that for turning right.
  • the dynamic setting of the sign presence recognition area EA and the sign content recognition area CA according to the traveling speed will be described.
  • the traveling speed of the vehicle increases, it becomes difficult to recognize the presence of the sign. Therefore, as the traveling speed increases, the ellipse of the sign presence recognition area EA is enlarged as shown in FIG. Accordingly, the ellipse of the sign content recognition area CA is also enlarged.
  • the values of the parameters a 0 and b 0 in the equations (1) and (2) are increased, and the values of the parameters a 1 and b 1 in the equation (3) are also increased.
  • FIG. 10 is a block diagram showing the configuration of the sign recognition apparatus when each parameter is changed stepwise.
  • the sign recognition unit 30 of the sign recognition device 3 includes a recognition area database 35.
  • the traveling speed is divided every 30 km / h
  • the steering angle is divided every 2 degrees
  • the recognition area setting unit 34 includes parameters a 0 , b 0 , p 0 , q 0 , a 1 , b 1 corresponding to combinations of the classification to which the traveling speed acquired from the CAN 20 belongs and the classification to which the steering angle acquired from the CAN 20 belongs. , P 1 , q 1 are selected from the recognition area database 35, and a marker presence recognition area EA and a marker content recognition area CA are set.
  • the sign presence recognition area EA and the sign content recognition area CA are dynamically changed according to the steering angle and the traveling speed, so that an appropriate recognition area setting according to various traveling conditions can be set. It becomes possible. As a result, it is possible to reduce the processing burden by avoiding the recognition of the contents of the sign in the entire image, and it is possible to reliably recognize the contents of the sign even when the driving situation changes. Note that when the gear is in reverse, the positions of the presence recognition area and the content recognition area may be switched, contrary to the case of forward movement.
  • the sign recognition apparatus of the fifth embodiment is the same as that of the first embodiment.
  • the method for estimating the time and position at which a sign appears in the sign content recognition area CA is different from the first embodiment.
  • the sign position estimation unit 32 obtains the relative position of the sign with respect to the vehicle based on the position and size of the detected sign in the image, and further detects the relative position and the traveling speed.
  • the time and position at which the sign appears in the sign content recognition area CA was estimated.
  • it is predicted how the marker will move in the image in the future, and the time and position at which the marker appears in the marker content recognition area CA is estimated. .
  • FIG. 11 is a diagram illustrating a method for estimating the time and position at which a sign appears in the sign content recognition area CA in the present embodiment.
  • the sign presence recognition unit 31 When the presence of the sign is detected in the sign presence recognition area EA at time t 1 , the sign presence recognition unit 31 outputs the position of the sign in the image to the sign position estimation unit 32. Detects the presence of a re-label the next time t 2, the outputs of the position in the same way the label image. Also it outputs the position in the image of label detected in the same manner at the next time t 3.
  • the sign position estimation unit 32 acquires the position of the sign at each of the three times, the sign is estimated in the image based on the time t 1 , t 2 , t 3 and the position of the sign in the image at each time.
  • the time t x that appears in the sign content recognition area CA and its position are estimated.
  • FIG. 12 is a flowchart showing an operation of estimating the time and position at which a sign appears in the sign content recognition area CA in the present embodiment.
  • the flowchart in FIG. 12 corresponds to steps S41 to S43 in the flowchart of the first embodiment.
  • the sign presence recognition unit 31 When the presence of the sign is detected in the sign presence recognition area EA (step S121), the sign presence recognition unit 31 outputs the time and the position of the sign in the image to the sign position estimation unit 32 (step S122). . After that, the sign presence recognizing unit 31 determines whether or not the sign is detected three times within a predetermined time (step S123). If the sign has already been detected three times (YES in step S123), detection for three times is performed.
  • step S124 labeled estimates the time t x and its location appearing in labeling content recognizing areas CA in the image. If it has not been detected three times (NO in step S123), the process returns to step S121 to detect the presence of the sign in the sign presence recognition area EA.
  • the sign recognition device of the present embodiment since the time and position at which the sign appears in the sign content recognition area CA can be estimated from only the image information and the time information without using the CAN information, the CAN is provided. There is an advantage that it can be applied even to a vehicle without it. Note that the flow of FIG. 12 can also be applied to steps S71 to S73 in the flowchart of the second embodiment.
  • the appearance time and the appearance position of the sign in the sign content recognition area CA are estimated using the detection result of the sign for three times.
  • the appearance time and the appearance position may be estimated using the presence detection result.
  • FIG. 13 is a block diagram illustrating a configuration of the sign recognition apparatus according to the sixth embodiment.
  • the sign recognition device 4 of this embodiment includes an estimation database 36.
  • Other configurations are the same as those of the sign recognition apparatus 1 of the first embodiment.
  • the sign position estimation unit 32 is connected to the CAN 20, the sign presence recognition unit 31, and the estimation database 36.
  • the sign presence recognizing unit 31 detects the presence of the sign in the sign presence recognizing area EA
  • the sign position estimating unit 32 acquires the position of the sign detected from the sign presence recognizing unit 31 in the image, and obtains CAN information from the CAN 20. (Here, traveling speed and rudder angle) are acquired.
  • the estimation database 36 stores the time and position at which the sign appears in the sign content recognition area CA, corresponding to the combination of the position and size of the sign in the image and the CAN information. This database can be created in advance by experiments or the like.
  • the sign position estimation unit 32 refers to the estimation database 36 and acquires the appearance time and the appearance position corresponding to the combination of the position of the sign acquired from the recognition area setting unit 34 and the CAN information.
  • the sign position estimation unit 32 specifies the search area SA based on the appearance position acquired from the estimation database 36.
  • the sign recognition apparatus of the present embodiment it is possible to obtain information on the time and position at which the sign appears in the sign recognition area CA only by referring to the estimation database 36, so that the burden of calculation processing is reduced.
  • the marker presence recognition unit 31 detects the presence of the marker in the marker presence recognition area EA by mapping using the shape template, but the method of detecting the presence of the marker is not limited to this.
  • the image obtained by the camera 10 may be subjected to Hough transform to extract straight lines and circles, and then matching using a shape template may be performed to detect the presence of a sign. Further, the presence of the sign may be detected by extracting the sign using the color information in the image.
  • the sign content recognition unit 33 recognizes the sign contents by mapping using the sign template, but the method for recognizing the sign contents is not limited to this.
  • the content of the sign may be recognized by classifying the sign by clustering using a self-organizing map.
  • two recognition areas having different recognition levels that is, the sign presence recognition area EA and the sign content recognition area CA are set in the image, and the area in which the sign is not recognized (outside the sign content recognition area CA).
  • the area setting method is not limited to this. For example, you may set three recognition areas from which the recognition level differs, the area which extracts a presence candidate, the area which confirms presence, and the area which recognizes the content.
  • the resolution is extremely low in an area very close to the center of the image, and even the presence of a sign cannot be detected. Therefore, an area where recognition is not performed may be provided in the center of the sign presence recognition area EA, and the sign presence recognition area EA may be a donut-shaped area.
  • the sign presence recognition area EA and the sign content recognition area CA are continuous, but there may be an area in which no sign is recognized between the two areas.
  • the sign content recognition area CA is provided outside the sign presence recognition area EA.
  • the sign presence recognition area EA and the sign content recognition area CA may overlap.
  • the recognition area is elliptical, but the shape of the recognition area is not limited to this.
  • the recognition area may be a region surrounded by a circle, a polygon such as a triangle or a rectangle, or a closed curve.
  • the crescent-shaped sign content recognition area CA may be set to the left and right of the sign presence recognition area EA at the center of the screen.
  • the recognition area is elliptical.
  • the image obtained as a camera image is a circular image obtained by a fisheye camera, it is preferable to use an ellipse as the area shape as shown in the embodiment. Because. When a normal camera is used, the recognition area is preferably a quadrangle.
  • the area shape may be set according to the characteristics of the camera, the mounting position, and the angle. For example, when it is known that an obstacle (such as a bonnet or a sticker) is reflected in the angle of view of the camera, the area may be set so as not to include the corresponding portion.
  • an obstacle such as a bonnet or a sticker
  • the search area SA in the sign content recognition area CA is designated and the sign contents are recognized in the search area SA.
  • the designation of the search area SA is omitted and the sign content recognition area CA as a whole.
  • the contents of the sign may be recognized.
  • the processing load is increased as compared with the case of recognizing the sign contents only for the search area SA, but the processing load is lighter than the case of recognizing the sign contents on the entire screen.
  • the time when the sign appears in the sign content recognition area CA in the image is estimated, and the content of the sign is recognized in the search area SA at this time.
  • the sign content is always recognized. May be.
  • the shape of the recognition area is dynamically set based on the driving situation.
  • the recognition area may be changed in consideration of camera characteristics (for example, distortion, resolution, etc.), camera recognition characteristics, camera mounting position, and the like.
  • the recognition area may be changed according to the environment around the vehicle, such as the brightness around the vehicle. In this case, for example, when the vicinity of the vehicle is dark, the sign presence recognition area EA and the sign content recognition area CA are enlarged.
  • you may change a recognition area based on the road condition acquired from the map database etc. according to the position of the own vehicle.
  • the sign presence recognition area EA may be moved upward in the screen.
  • q 0 and q 1 in the above formulas (1) to (3) are increased.
  • both the sign presence recognition area EA and the sign content recognition area CA are dynamically changed. However, only one of the recognition areas may be changed and the other recognition area may be fixed. .
  • the output unit 40 is a navigation system and includes a display device and an audio output device.
  • the output unit 40 may be a brake control device, for example, and may automatically apply a brake when a “Tare” sign is recognized.
  • the sign recognition device may have a drive recorder function of recording an operation history together with video and CAN information.
  • information on the sign recognized by the sign recognition device may be recorded as part of the driving history.
  • the sign recognition device of the present invention has been described as a sign recognition device in the case of running or driving by being mounted on a vehicle.
  • the sign recognition device of the present invention is not a vehicle, but a train, a motorcycle. Alternatively, it can be applied to other mobile objects such as a mobile robot.
  • the sign recognition apparatus has an effect of improving the efficiency of sign recognition processing, and is useful as a sign recognition apparatus or the like that is mounted on a moving body and recognizes a sign.

Abstract

　車両に搭載されて標識を認識する標識認識装置（１）は、車両の前方を撮影して画像を取得するカメラ（１０）と、カメラ（１０）にて得られた画像内の標識存在認識エリア（ＥＡ）において、標識存在認識（第１の認識レベルでの標識認識）を行う標識存在認識部（３１）と、カメラ（１０）にて得られた画像内の標識存在認識エリア（ＥＡ）とは異なる標識内容認識エリア（ＣＡ）において、標識内容認識（第１の認識レベルより高い第２の認識レベルでの標識認識）を行う標識内容認識部（３３）を備える。これにより、複数の認識エリア（ＥＡ，ＣＡ）について、それぞれ異なる認識レベルで標識を認識するので、画像内で高い認識レベルが必要とされない部分の認識レベルを落とすことで、全体として標識認識の効率を向上できる。

Description

標識認識装置及び標識認識方法 関連する出願
　本出願では、２００９年１０月２０日に日本国に出願された特許出願番号２００９－２４１４７１の利益を主張し、当該出願の内容は引用することによりここに組み込まれているものとする。
　本発明は、車両等の移動体に搭載されて標識を認識する標識認識装置に関するものである。
　従来より、車載カメラによって得られた連続的な画像から対象物を認識する認識装置が知られている。かかる認識装置において、車載カメラが撮影する画像は車両の走行とともに時々刻々と変化する。従って、画像のフレームレートが高くなるほど、認識装置における認識処理の負担が増加する。また、車載カメラの画素数が大きくなるほど、認識装置における認識処理の負担が増加する。さらに、認識装置において、認識のレベルを高くするほど処理負担が増加する。よって、認識装置については、画像から対象物を効率よく認識することが望まれている。このために、車載カメラによって得られた画像から対象物を認識する際に、画像全体について対象物の認識をするのではなく、特定の部分のみについて対象物の認識をすることで、対象物認識の効率化を図ることが提案されている。
　第１の従来の認識装置は、ビデオカメラで撮影して得られた動画フレームの一部を間引いて対象物の認識を行うことで認識処理の効率化を図るとともに、標識が撮影されている場合は、認識領域を画像内の一部の領域に限定した上で、当該画像を間引かないようにしている（例えば特許文献１参照）。この装置では、対象物である標識が高精度に撮影される画像上部の帯状領域を認識領域としている。即ち、高速道路の標識のように、頭上を通過する標識については、この帯状領域にて標識が最も鮮明に撮影されることから、この領域を限定的な認識領域としている。
　また、第２の従来の認識装置は、車両の位置情報と方位情報に基づいて、車載カメラで撮像された画像において認識対象の物体が含まれると推定される画像部分を切り出して、切り出した範囲内に含まれる物体を画像認識している（例えば特許文献２参照）。また、第３の従来の認識装置では、認識すべき領域をレーダ装置の検知結果に基づいて限定している（例えば特許文献３参照）。
特許第３６６９２１８号公報 特許第２８７０３７２号公報 特開２００５－３３９１７５号公報
　しかしながら、上記第１の従来の認識装置では、走行に伴って頭上を通過するような標識を認識することが前提となっているため、認識対象とする領域が画像上部の帯状領域に固定されており、車両の横を通過する道路標識を認識する場合のように、任意の範囲での高精度な認識は困難であるという問題があった。また、帯状の認識領域の全体を常に画像認識する必要があるため、処理負担が重くなるという問題があった。
　上記第２の従来の認識装置は、現在の情報に基づいて画像切出し範囲を予測しているだけであり、車両の位置や方位情報が変化した場合には有効な画像切出し範囲が得られず、正確に物体を認識することが困難になるという問題があった。また、上記第２の従来の認識装置は、認識の対象となる画像について、常に物体の認識処理を行っているため、処理負担が重くなるという問題があった。上記第３の従来の認識装置は、カメラとは別にレーダ装置などの検知手段が必要になり、装置が複雑化してコストも高くなるという問題があった。
　本発明は、上記従来の問題を解決するためになされたもので、標識認識の処理を効率的に行うことができる標識認識装置を提供することを目的とする。
　本発明の一の態様は、移動体の前方を撮像して得た画像から標識を認識する標識認識装置であって、この標識認識装置は、画像内の第１の認識エリアにおいて、第１の認識レベルで標識を認識する第１の標識認識部と、画像内の第１の認識エリアとは異なる第２の認識エリアにおいて、第１の認識レベルより高い第２の認識レベルで標識を認識する第２の標識認識部とを備えている。
　本発明の別の態様は、移動体に搭載されて標識を認識する標識認識装置であって、この標識認識装置は、移動体の前方を撮影して画像を取得する撮影部と、撮影部にて得られた画像内に、認識エリアを動的に変化させて設定する認識エリア設定部と、設定された認識エリアにおいて、標識を認識する標識認識部とを備えている。
　本発明の別の態様は、移動体の前方を撮像して得た画像から標識を認識する標識認識方法であって、この標識認識方法は、画像内の第１の認識エリアにおいて、第１の認識レベルで標識を認識する第１の標識認識ステップと、画像内の第１の認識エリアとは異なる第２の認識エリアにおいて、第１の認識レベルより高い第２の認識レベルで標識を認識する第２の標識認識ステップとを含む。
　本発明は、複数の認識エリアについて、それぞれ異なる認識レベルで標識を認識するので、標識認識の処理を効率的に行うことができるという効果を有する標識認識装置を提供できる。
　以下に説明するように、本発明には他の態様が存在する。したがって、この発明の開示は、本発明の一部の提供を意図しており、ここで記述され請求される発明の範囲を制限することは意図していない。
図１は、本発明の第１の実施の形態の標識認識装置の構成を示すブロック図 図２は、本発明の第１の実施の形態における画像内に設定される標識存在認識エリア及び標識内容認識エリアを示す図 図３は、本発明の第１の実施の形態における複数の探索エリアを示す図 図４は、本発明の第１の実施の形態の標識認識装置の動作を示すフロー図 図５は、本発明の第１の実施の形態の標識認識装置を搭載した車両の斜視図 図６は、本発明の第２の実施の形態の標識認識装置の動作を示すフロー図 図７は、本発明の第３の実施の形態の標識認識装置の動作を示すフロー図 図８は、本発明の第４の実施の形態の標識認識装置の構成を示すブロック図 図９（ａ）は、直進時の標識存在認識エリア及び標識内容認識エリアのエリアデータを示す図　図９（ｂ）は、右折時の識存在認識エリア及び標識内容認識エリアのエリアデータを示す図　図９（ｃ）は、図９（ａ）の場合よりも速い速度で直進する場合の標識存在認識エリア及び標識内容認識エリアのエリアデータを示す図 図１０は、本発明の第４の実施の形態の変形例の標識認識装置の構成を示すブロック図 図１１は、本発明の第５の実施の形態において標識が標識内容認識エリアに出現する時刻と位置を推定する方法を説明する図 図１２は、本発明の第５の実施の形態において標識が標識内容認識エリアに出現する時刻と位置を推定する動作を示すフロー図 図１３は、本発明の第６の実施の形態の標識認識装置の構成を示すブロック図
　以下、本発明の実施の形態の標識認識装置について説明する。以下に説明する実施の形態は本発明の単なる例であり、本発明は様々な態様に変形することができる。以下に開示する特定の構成および機能は、請求の範囲を限定するものではない。
　本発明の実施の形態の標識認識装置は、移動体の前方を撮像して得た画像から標識を認識する標識認識装置であって、画像内の第１の認識エリアにおいて、第１の認識レベルで標識を認識する第１の標識認識部と、画像内の第１の認識エリアとは異なる第２の認識エリアにおいて、第１の認識レベルより高い第２の認識レベルで標識を認識する第２の標識認識部とを備えた構成を有している。
　この構成により、複数の認識エリアについて、それぞれ異なる認識レベルで標識を認識するので、画像内で高い認識レベルが必要とされない部分の認識レベルを落とすことで、全体として標識認識の処理の効率を向上できる。
　本発明の実施の形態の標識認識装置において、第１の認識エリアは、標識の存在を認識するための標識存在認識エリアであり、第２の認識エリアは、標識の内容を認識するための標識内容認識エリアであり、第１の標識認識部は、標識存在認識エリアにおいて標識の存在を認識し、第２の標識認識部は、標識内容認識エリアにおいて標識の内容を認識する。
　この構成により、画像内で標識の存在が認識できればよいエリアについては、認識レベルを低くして標識の存在のみを認識し、画像内で標識の内容が確認できるエリアについて、高い認識レベルで標識の内容までも認識するので、標識の内容が認識できないエリアについて高い認識レベルで標識を認識することによる処理負担をなくすことができる。
　本発明の実施の形態の標識認識装置は、第１の標識認識部による認識結果を利用して、第２の認識エリア内の探索エリアを指定する探索エリア指定部をさらに備え、第２の標識認識部は、探索エリアにおいて標識を認識する。
　この構成により、第２の認識エリア（標識内容認識エリア）内の一部エリア（探索エリア）について、認識レベルの高い内容認識を行うので、標識が存在しないエリアで内容認識を行うことによる処理負担の増大を回避できる。また、探索エリアは、標識存在認識の結果に基づいて決定するので、探索エリアを指定するのにレーダ装置等の検出装置を別途備える必要がない。
　本発明の実施の形態の標識認識装置において、探索エリア指定部は、第１の標識認識部による認識結果及び移動体の走行状況に基づいて探索エリアを指定する。
　この構成により、第１の標識認識部による認識結果のみではなく、移動体の走行状況にも基づいて探索エリアが指定されるので、探索エリアをより適切に指定できる。
　本発明の実施の形態の標識認識装置は、第１の標識認識部にて認識された標識が第２の認識エリアに出現するタイミングを推定するタイミング推定部をさらに備え、第２の標識認識部は、タイミング推定部が推定したタイミングで標識の認識を開始する。
　この構成により、認識レベルの高い認識が有効な場合のみ認識レベルの高い標識内容認識処理を行うので、標識の内容が認識できないときに標識内容を認識することによる処理負担をなくすことができる。また、認識レベルの高い認識を開始するタイミングは、第１の標識認識部（標識存在認識部）の認識結果に基づいて決定するので、レーダ装置等の検出装置を別途備えなくてもそのタイミングを推定できる。
　本発明の実施の形態の標識認識装置は、第１の認識エリア及び第２の認識エリアの少なくとも一方を動的に設定する認識エリア設定部をさらに備える。
　この構成により、認識エリアを固定することによる無駄なエリアでの認識処理を回避できる。
　本発明の実施の形態の標識認識装置において、認識エリア設定部は、移動体の走行状況に基づいて第１の認識エリア及び第２の認識エリアの少なくとも一方を変化させる。
　画像内で標識が存在するエリアは移動体の走行状況によって変化するが、この構成によれば、移動体の走行状況に基づいて、適切なエリアを認識エリアとして設定できる。
　本発明の実施の形態の標識認識装置において、認識エリア設定部は、移動体の走行速度に応じて第１の認識エリア及び第２の認識エリアの少なくとも一方を変化させる。
　走行速度が速ければ標識は画像の中を速く移動して画像の外に出てしまうため、標識存在認識エリアを大きく設定する必要があり、逆に走行速度が遅い場合には、標識存在認識エリアを小さく設定しても十分に標識の存在の認識ができる。よって、上記の構成により、認識エリア設定部が走行速度に応じて適切な認識エリアを設定することで、確実な標識の存在の認識ができるとともに、無駄な標識の存在の認識処理を省いて処理負担を軽減できる。
　本発明の実施の形態の標識認識装置において、認識エリア設定部は、移動体の舵角に応じて第１の認識エリア及び第２の認識エリアの少なくとも一方を変化させる。
　移動体の舵角が前進方向に向いている場合は、標識は移動体の走行に伴って拡大されていくとともに画面の中央から側方に移動する。また、移動体の舵角が右進行方向に向いていると、標識は移動体の走行に伴って画面の右端から現われて、左側に移動するに従って拡大されていく。このように、標識の画像内での移動は舵角によるため、上記の構成のように移動体の舵角に応じて認識エリアを変化させることで、標識の存在及び内容を確実に認識できる。
　本発明の実施の形態の標識認識装置において、認識エリア設定部は、移動体周辺の環境に基づいて第１の認識エリア及び第２の認識エリアの少なくとも一方を変化させる。
　この構成によれば、例えば、移動体の周囲が暗い場合には、標識の存在が確認しにくくなるため、認識エリアを大きく設定する等、周辺環境に応じて認識エリアを適切に設定できる。
　また、本発明の実施の形態の標識認識装置は、移動体に搭載されて標識を認識する標識認識装置であって、移動体の前方を撮影して画像を取得する撮影部と、撮影部にて得られた画像内に、認識エリアを動的に変化させて設定する認識エリア設定部と、設定された認識エリアにおいて、標識を認識する標識認識部とを備えている。
　この構成により、認識エリア設定部にて認識エリアを動的に変化させるので、認識が不要なエリアについて標識認識を行うことによる処理の無駄を省くことができ、標識認識の処理の効率を向上できる。
　本発明の実施の形態の標識認識方法は、移動体の前方を撮像して得た画像から標識を認識する標識認識方法であって、画像内の第１の認識エリアにおいて、第１の認識レベルで標識を認識する第１の標識認識ステップと、画像内の第１の認識エリアとは異なる第２の認識エリアにおいて、第１の認識レベルより高い第２の認識レベルで標識を認識する第２の標識認識ステップとを含む。
　この構成により、複数の認識エリアについて、それぞれ異なる認識レベルで標識を認識するので、画像内で高い認識レベルが必要とされない部分の認識レベルを落とすことで、全体として標識認識の処理の効率を向上できる。
　以下、図面を参照して、具体的な実施の形態を説明する。
（第１の実施の形態）
　図１は、本発明の第１の実施の形態の標識認識装置のブロック図である。標識認識装置１は、カメラ１０、ＣＡＮ（Controller　　Area　　Network）２０、標識認識部３０、及び出力部４０を備えている。
　カメラ１０は、車両の前方を撮影して撮影画像を取得する。カメラ１０のレンズには画角１８０度の魚眼レンズを採用し、撮像素子にはＣＣＤを採用する。カメラ１０は、標識存在認識部３１及び標識内容認識部３３に接続されており、認識処理のために、撮影して取得した画像をこれらの認識部に送る。ＣＡＮ２０は、車内に設置された各センサの情報を収集する。本実施の形態のＣＡＮ２０は、少なくとも車両の舵角を検知する舵角センサ及び車両の走行速度を検知する速度センサから、舵角及び走行速度の情報を集める。標識認識部３０は、カメラ１０で得られた画像から標識を認識してその結果を出力部４０に出力する。
　標識認識部３０は、カメラ１０で得られた画像内に、標識の存在のみを認識する標識存在認識エリアＥＡ及び標識の内容を認識する標識内容認識エリアＣＡを設定して、標識存在認識エリアＥＡでは標識の存在（有無）を検知し、標識内容認識エリアＣＡでは標識の内容を判別する。即ち、標識認識部３０は、標識存在認識エリアＥＡでは、認識レベルの低い認識を行い、標識内容認識エリアＣＡでは、認識レベルの高い認識を行う。
　図２は、画像内に設定される標識存在認識エリアＥＡ及び標識内容認識エリアＣＡを示す図である。図２に示すように、標識存在認識エリアＥＡは、画像の中心点Ｃを中心とする楕円で囲まれた領域である。標識内容認識エリアＣＡは、標識存在認識エリアＥＡの楕円と、標識存在認識エリアＥＡの楕円より大きく、かつ画像の中心点Ｃを中心とする（標識存在認識エリアＥＡの楕円と同心の）楕円とで挟まれた扁平ドーナツ状の領域である。
　一般的に車両が直線状の道路を直進している場合には、画像の中央に写されている被写体は車両から遠い距離に存在し、画像の中央部分の周辺に写されている被写体は車両から近い距離に存在することになる。よって、道路の脇に設置されている標識や、道路の上方に設置されている標識は、車両から遠距離にあるときは画像の中央部分で小さく捕えられ、その解像度は低くなり、車両からの距離が近くなると画像の中央部分の周辺で大きく捕えられ、その解像度が高くなる。
　本実施の形態では、上述のようにカメラ１０のレンズに魚眼レンズを採用している。魚眼レンズは通常レンズに比べて広角範囲を撮像するので、遠距離にある物体は画像の圧縮度合いが強くなる。よって、上記のように遠距離の被写体が画像の中央部分で小さくなり、近距離の被写体が中央部分の周辺で大きくなるという傾向がより強くなる。
　そこで、本実施の形態では、画面の中央部分の標識存在認識エリアＥＡでは、認識レベルを低くして、標識の存在のみを認識し、その周辺のドーナツ状の標識内容認識エリアＣＡでは認識レベルを高くして、標識の具体的な内容を認識する。換言すれば、画面の中央部分で標識の内容認識をしたとしても、標識が小さすぎて内容認識に必要な解像度になっておらず、有効な内容認識ができないため、画像の中央部分では内容認識という認識レベルが高く処理負担の大きい処理は行わないこととしている。さらに、標識の存在認識も内容認識もする必要がない領域（図２では、標識内容認識エリアＣＡの外側）については、認識処理を行わないこととしている。
　再び図１を参照して、標識認識部３０は、標識存在認識部３１、標識位置推定部３２、及び標識内容認識部３３を備えている。標識認識部３０の各構成要素は、演算処理装置、メモリ、記憶装置等のハードウェア構成を備えた装置にてコンピュータプログラムが実行されることで実現される。標識存在認識部３１は、カメラ１０からカメラ画像を入力し、標識の存在認識を行う。標識存在認識部３１は、予め標識存在認識エリアＥＡの形状を記憶しており、画像内の標識存在認識エリアＥＡに対して、標識の存在を検知する標識存在認識処理を行う。標識存在認識部３１は、予め各種の標識の形状テンプレートを記憶しており、標識存在認識処理では、標識存在認識エリアＥＡにおいてこの形状テンプレートを用いたマッチングを行うことで、標識の存在を検知する。標識存在認識部３１は、標識存在認識エリアＥＡに対する認識処理の結果、標識を検知したときは、検知結果及び検知した時刻を標識位置推定部３２に出力する。
　標識位置推定部３２は、標識存在認識部３１から標識の検知結果及び検知時刻の情報を入力する。また、標識位置推定部３２は、ＣＡＮ２０に接続されており、標識存在認識部３１から標識の検知結果を入力すると、ＣＡＮ２０からＣＡＮ情報を取得する。標識位置推定部３２は、標識の検知結果、検知時刻、ＣＡＮ情報、カメラ１０の特性情報等の情報を用いて、検知された標識が標識内容認識エリアＣＡ内に出現する時刻と標識が出現する標識内容認識エリアＣＡ内の位置を推定する。以下、この時刻を推定時刻といい、この位置を推定位置という。
　具体的には、標識位置推定部３２は、まず、画像内の標識の位置、画像内の標識の大きさ、カメラの特性情報（取付け位置、取付角度、レンズ特性等）から、車両に対する標識の相対位置を求める。そして、標識位置推定部３２は、その相対位置と車両の走行速度から、そのままの速度で直進した場合に標識が標識内容認識エリアＣＡ内に入る時刻と位置を求め、これらを推定時刻及び推定位置とする。なお、この推定時刻を求める標識位置推定部３２の機能は、タイミング推定部の一例である。タイミング推定部の他の例は、標識が標識内容認識エリアＣＡに入る時刻ではなく、標識が標識内容認識エリアＣＡに入るまでの所要時間を推定して標識内容認識部３３に通知する。
　標識位置推定部３２は、標識内容認識エリアＣＡのうちの推定位置を含む一部領域を、標識内容の認識を行う探索エリアＳＡとして指定して、推定時刻の情報とともに、標識内容認識部３３に出力する。図３は、複数の探索エリアを示す図である。標識位置推定部３２には、図３に示すように、標識内容認識エリアＣＡの部分領域として、予め複数の探索エリアＳＡ１～ＳＡ８が設定されている。標識位置推定部３２は、これらの複数の探索エリアの中から、推定位置が属する探索エリアを選択して指定する。推定位置が各探索エリアの境界付近にある場合には、隣り合う２つの探索エリアを指定してもよい。なお、この探索エリアを指定する標識位置推定部３２の機能は、探索エリア指定部の一例である。
　なお、図３の例では、標識内容認識エリアＣＡを複数の小領域に分割することで、複数の探索エリアＳＡ１～ＳＡ８が設定されたが、複数の探索エリアは互いに重なり合うように設定されてもよい。複数の探索エリアが重なり合っている場合は、推定位置をより中心に含む探索エリアが選択される。さらに、隣り合う探索エリアの間に隙間があってもよい。また、例えばカメラの取付け位置により、画像の下部に車両のボンネットが写る場合には、画像の下部には探索エリアを設定しないようにしてもよい。また、探索エリアはその形状を動的に変化させて設定してもよい。探索エリアを動的に設定する場合に、推定位置の周囲１０ピクセル分の領域を探索エリアとして設定してよい。
　標識内容認識部３３は、標識位置推定部３２から推定時刻及び選択された探索エリアＳＡの情報を取得し、当該推定時刻になると当該探索エリアＳＡにて標識内容の認識処理を行う。標識内容認識部３３は、認識結果として、標識内容の情報を出力部４０に出力する。
　出力部４０は、例えばカーナビゲーションシステムであり、表示装置と音声出力装置を備えている。出力部４０は、標識内容認識部３３から標識の内容を取得すると、その内容に応じた表示及び音声出力を行う。例えば、標識の内容が「とまれ」であれば、表示装置に「とまれ」と表示するとともに、「一旦停止をしてください」等の音声ガイドを流す。また、標識の内容が「進入禁止」であれば、表示装置に「進入禁止」と表示するとともに、「この先、進入禁止です」等の音声ガイドを流す。
　以上のように構成された標識認識装置１について、その動作を説明する。図４は、標識認識部３０の動作を示すフロー図である。車両が走行を始めて、標識認識部３０が起動すると、標識存在認識部３１は、標識存在認識エリアＥＡにおいて標識の存在を検知する処理（標識存在認識処理）を開始し、標識の存在を検知する（ステップＳ４１）。標識存在認識部３１は、検知結果及び検知時刻を標識位置推定部３２に出力し、標識位置推定部３２は、標識存在認識部３１から検知結果及び検知時刻を入力すると、ＣＡＮ２０からその時点での走行状況の情報（ＣＡＮ情報）を取得する（ステップＳ４２）。
　標識位置推定部３２は、検知された標識が標識内容認識エリアＣＡに出現する時刻と位置を推定する（ステップＳ４３）。この推定処理では、上記のように画像内での標識の位置と大きさから車両に対する標識の相対位置を求めて、推定時刻と推定位置を求める。標識位置推定部３２は、推定された位置に基づいて、標識内容認識エリアＣＡ中の探索エリアＳＡを指定し、当該探索エリアＳＡを推定時刻とともに標識内容認識部３３に通知する（ステップＳ４４）。標識内容認識部３３は、標識位置推定部３２から取得した推定時刻になると、探索エリアＳＡにて標識の内容を認識する処理を行う（ステップＳ４５）。その後、標識内容認識部３３は、認識結果を出力部４０に出力する（ステップＳ４６）。出力部４０は、上記で説明したように表示及び音声によって認識結果を出力する。以上、本実施の形態の標識認識装置１の動作を説明した。
　図５は、本発明の実施の形態の標識認識装置１を搭載した車両の斜視図である。図５に示すように、カメラ１０は、車両のバックミラーの裏側、即ち車両前方側に取り付けられている。カメラ１０は車両の前方を撮影する。出力部４０であるナビゲーションシステムの表示装置は、ダッシュボードの上に取り付けられる。標識認識部３０は、ダッシュボードの中に取り付けられる。ＣＡＮ２０は図示しないが、車両の走行速度や車両の舵角を検知すべく、必要な箇所にセンサが設けられ、各センサが制御装置に接続されて構成される。なお、カメラ１０はフロントバンパー等に取り付けて車両の前方を撮影するようにしてもよい。また、表示装置はダッシュボードに嵌め込まれてもよい。
　このような本発明の第１の実施の形態の標識認識装置によれば、画像内の低解像度の箇所（標識存在認識エリアＥＡ）については、標識の存在検知という認識レベルの低い認識を行い、高解像度の箇所（標識内容認識エリアＣＡ）において標識の内容判別という認識レベルの高い認識を行うので、画像全体で標識の内容判別をする場合と比較して、標識内容の認識処理負担を軽減できる。本実施の形態では、さらに、高解像度の箇所のうちの一部領域を探索エリアＳＡとして限定して標識内容の認識処理を行うので、処理負担をより軽減できる。また、本実施の形態では、車両の走行に伴って画像内で標識が標識内容認識エリアＣＡに出現する時刻を推定して、当該推定時刻に合わせて標識内容の認識処理を開始するので、常に標識内容の認識処理をする場合と比較して、処理負担を軽減できる。
（第２の実施の形態）
　次に、本発明の第２の実施の形態の標識認識装置について説明する。第２の実施の形態の標識認識装置の構成は、第１の実施の形態と同じである。第２の実施の形態では、標識認識部の動作が第１の実施の形態と相違する。第１の実施の形態では、標識位置推定部３２が、標識が画像内で標識内容認識エリアＣＡに出現する時刻と位置を推定して、その推定位置に基づく探索エリアＳＡを推定時刻と共に標識内容認識部３３に出力した。そして、標識内容認識部３３は、標識位置推定部３２から出力された推定時刻まで待って、探索エリアＳＡで内容認識処理を行った。このような標識認識部の動作は、高速道路を走行している場合など、走行状況があまり変化しない場合に有効である。
　しかしながら、街中での走行をしている場合など、走行状況が頻繁に変化する場合には、標識が推定どおりに標識内容認識エリアＣＡに出現しないこともありうる。例えば、最初に標識の存在を検知した後に、ブレーキを掛けたために、推定時刻になっても標識が標識内容認識エリアＣＡに出現しないことがある。また、最初に標識の存在を検知した後に、ハンドルを切ったために、推定位置にて標識が標識内容認識エリアＣＡに出現しないことがある。そこで、本実施の形態では、走行状況が変化する場合にも、標識内容認識エリアＣＡに標識が出現するタイミングで、標識が出現するエリアにて標識内容の認識処理ができるようにする。このために、本実施の形態では、標識位置推定部３２は、画像内の標識が標識内容認識エリアＣＡに出現する直前まで標識検出エリアＥＡ内の標識を追跡し、標識内容認識エリアＣＡに出現する直前に、そのときの推定位置に対応する探索エリアＳＡを標識内容認識部３３に通知する。標識内容認識部３３は、標識位置推定部３２から探索エリアＳＡが通知されると、直ちにその探索エリアＳＡで標識内容認識処理を開始する。
　図６は、第２の実施の形態の標識認識部の動作を示すフロー図である。車両が走行を始めて、標識認識部３０が起動すると、標識存在認識部３１は、標識存在認識エリアＥＡにおいて標識の存在を検知する処理（標識存在認識処理）を開始し、標識の存在を検知する（ステップＳ６１）。標識存在認識部３１は、検知結果及び検知時刻を標識位置推定部３２に出力し、標識位置推定部３２は、標識存在認識部３１から検知結果及び検知時刻を入力すると、ＣＡＮ２０からその時点での走行状況の情報（ＣＡＮ情報）を取得する（ステップＳ６２）。
　標識位置推定部３２は、検知された標識が標識内容認識エリアＣＡに出現する時刻と位置を推定する（ステップＳ６３）。続いて、標識位置推定部３２は、現在時刻が推定時刻の直前であるか否かを判断する（ステップＳ６４）。ここでは、現在時刻から推定時刻までの時間が１秒以内であれば直前であると判断する。現在時刻が推定時刻の直前でなければ（ステップＳ６４でＮＯ）、ステップＳ６１に戻って、再度標識存在認識処理を行う。現在時刻が推定時刻の直前であれば（ステップＳ６４でＹＥＳ）、標識位置推定部３２は、直前のステップＳ６３での推定処理によって推定された位置に対応する探索エリアＳＡを指定して標識内容認識部３３に通知する（ステップＳ６５）。
　識内容認識部３３は、標識位置推定部３２から探索エリアＳＡの通知を受けると、当該探索エリアＳＡにて標識の内容を認識する処理を行う（ステップＳ６６）。その後、標識内容認識部３３は、認識結果を出力部４０に出力する（ステップＳ６７）。
　なお、上記の実施の形態では、標識位置推定部３２は、現在時刻から推定時刻までの時間が１秒以内であれば直前であると判断したが、直前であるか否かの判断は、標識位置推定部３２がＣＡＮ２０から取得した走行速度の情報に基づいて可変としてもよい。この場合、走行速度が速ければ早めに「直前である」と判断し、走行速度が遅ければ推定時刻のぎりぎりまで「直前である」と判断しないようにする。
　本実施の形態の標識認識装置によれば、街中での走行時のように、走行状況が頻繁に変化する場合にも、標識内容認識エリアＣＡに標識が出現するタイミングで、標識が出現するエリアにて標識内容認識処理を行える。また、一旦は標識存在認識エリアＥＡで標識の存在を検知したものの、その後の走行状況の変化により標識が画像内から外れた場合には、不要な標識内容認識処理は行われず、処理負担を軽減できる。
（第３の実施の形態）
　次に、本発明の第３の実施の形態の標識認識装置について説明する。第３の実施の形態の標識認識装置の構成は、第１の実施の形態と同じである。第３の実施の形態では、標識認識部の動作が第１の実施の形態と相違する。第３の実施の形態も、第２の実施の形態と同様に、走行状況が頻繁に変化する場合にも標識内容認識エリアＣＡに標識が出現する時刻及び位置を好適に推定できるようにする。
　上述の第２の実施の形態では、走行状況が変化する場合にも、標識内容認識エリアＣＡに標識が出現するタイミングで、標識が出現するエリアにて標識内容認識処理できる一方で、標識が標識内容認識エリアに出現する時刻の直前になるまで標識存在認識処理と推定処理を繰り返し行うため、処理量が増加する。第３の実施の形態では、処理量の増加を抑えるようにする。
　図７は、第３の実施の形態の標識認識装置の動作を示すフロー図である。本実施の形態の標識認識部は、車両が走行を始めて、標識認識部３０が起動すると、標識存在認識部３１は、標識存在認識エリアＥＡにおいて標識の存在を検知する処理（標識存在認識処理）を開始し、標識の存在を検知する（ステップＳ７１）。標識存在認識部３１は、検知結果及び検知時刻を標識位置推定部３２に出力し、標識位置推定部３２は、標識存在認識部３１から検知結果及び検知時刻を入力すると、ＣＡＮ２０からその時点での走行状況の情報（ＣＡＮ情報）を取得する（ステップＳ７２）。標識位置推定部３２は、検知された標識が標識内容認識エリアＣＡに出現する時刻と位置を推定する（ステップＳ７３）。ここまでの処理は第１及び第２の実施の形態と同じである。
　続いて、標識位置推定部３２は、現在時刻が推定時刻の直前であるか否かを判断する（ステップＳ７４）。ここでは、現在時刻が推定時刻の１秒以内であれば直前であると判断する。標識位置推定部３２は、現在時刻がまだ推定時刻の直前でなければ（ステップＳ７４でＮＯ）、走行状況を取得し、走行状況に変化がなかったかを判断する（ステップＳ７５）。走行状況に変化がない場合には（ステップＳ７５でＮＯ）、直前のステップＳ７３で推定された時刻及び位置が依然として有効であるため、ステップＳ７４に戻る。このループを、推定時刻になるか走行状況に変化が発生するまで繰り返す。走行状況に変化が発生すると（ステップＳ７５でＹＥＳ）、再度標識の存在認識処理及び出現時刻及び位置の推定処理をやり直すべく、ステップＳ７１に戻る。
　このようにして、推定時刻の直前になった場合には（ステップＳ７４でＹＥＳ）、標識位置推定部３２は、第２の実施の形態と同様に、直前のステップＳ７３での推定処理によって推定された位置に対応する探索エリアＳＡを指定して標識内容認識部３３に通知する（ステップＳ７６）。識内容認識部３３は、標識位置推定部３２から探索エリアＳＡの通知を受けると、当該探索エリアＳＡにて標識の内容を認識する処理を行い（ステップＳ７７）、認識結果を出力部４０に出力する（ステップＳ７８）。
　本実施の形態の標識認識装置によれば、走行状況に変化があった場合には標識の存在認識処理及び出現時刻及び位置の推定処理をし直すので、街中を走行している場合など、頻繁に走行状況が変化する場合に適切に対応できると同時に、高速道路を走行している場合など走行状況があまり変化しない場合の処理負担を軽減できる。
　なお、第３の実施の形態の標識認識装置の動作は、第１の実施の形態と第２の実施形態の折衷案といえるが、別の形態の標識認識装置は、第１の実施の形態のモードと第２の実施の形態のモードを有し、手動又は自動で両モードを切り替えるようにしてもよい。
（第４の実施の形態）
　次に、本発明の第４の実施の形態の標識認識装置について説明する。上記の実施の形態では、標識存在認識エリアＥＡ及び標識内容認識エリアＣＡは固定されていた。本実施の形態では、ＣＡＮ情報に基づいて、画像内の標識存在認識エリアＥＡと標識内容認識エリアＣＡを動的に変化させる。
　図８は、第４の実施の形態の標識認識装置のブロック図である。本実施の形態の標識認識装置２では、第１の実施の形態と比較して、認識エリア設定部３４が追加されている。認識エリア設定部３４は、ＣＡＮ２０、標識存在認識部３１及び標識位置推定部３２に接続されており、ＣＡＮ情報に基づいて、画像内の標識存在認識エリアＥＡと標識内容認識エリアＣＡを動的に変化させる。
　認識エリア設定部３４は、ＣＡＮ２０からＣＡＮ情報を取得して、ＣＡＮ情報に基づいて標識存在認識エリアＥＡを設定して、標識存在認識部３１に標識存在認識エリアＥＡのエリアデータを出力すると共に、ＣＡＮ情報に基づいて標識内容認識エリアＣＡを設定して、標識位置推定部３２に標識内容認識エリアＣＡのエリアデータを出力する。本実施の形態では、認識エリア設定部３４は、特にＣＡＮ情報のうちの車両の舵角及び車両走行速度の情報を取得して、これらの情報に基づいて標識存在認識エリアＥＡ及び標識内容認識エリアＣＡを設定する。
　図９は、認識エリア設定部３４から出力される標識存在認識エリアＥＡ及び標識内容認識エリアＣＡのエリアデータを示す図であり、図９（ａ）は、直進時のエリアデータを示し、図９（ｂ）は、右折時のエリアデータを示し、図９（ｃ）は、図９（ａ）の場合よりも速い速度で直進する場合のエリアデータを示している。
　標識存在認識エリアＥＡのエリアデータは、画像の中心を原点（０，０）として、一般的に式（１）で表わされる。
Figure JPOXMLDOC01-appb-M000001
 　標識存在認識エリアＥＡは、点（ｐ０，ｑ０）を中心として、ｘ軸方向の径（長径）の長さが２ａ０で、ｙ軸方向の径（短径）の長さが２ｂ０である楕円の内部として表現される。
　標識内容認識エリアＣＡのエリアデータは、画像の中心を原点（０，０）として、一般的に式（２）及び（３）で表わされる。
Figure JPOXMLDOC01-appb-M000002
Figure JPOXMLDOC01-appb-M000003
 　標識内容認識エリアＣＡは、点（ｐ０，ｑ０）を中心として、ｘ軸方向の径（長径）の長さが２ａ０で、ｙ軸方向の径（短径）の長さが２ｂ０である楕円の外部であって、かつ点（ｐ１，ｑ１）を中心として、ｘ軸方向の径（長径）の長さが２ａ１で、ｙ軸方向の径（短径）の長さが２ｂ１である楕円の内部として表現される。
　認識エリア設定部３４は、上記の式（１）～（３）を記憶しており、ＣＡＮ２０から取得したＣＡＮ情報に基づいて、それらの式のパラメータａ０，ｂ０，ｐ０，ｑ０，ａ１，ｂ１，ｐ１，ｑ１を決定して、式（１）を標識存在認識エリアＥＡのエリアデータとして標識存在認識部３１に出力し、式（２）及び（３）を標識内容認識エリアＣＡのエリアデータとして標識位置推定部３２に出力する。以下、パラメータの決定方法について説明する。
　まず、車両が直進している場合、すなわち、舵角が小さい場合は、既に説明したとおり、通常は道路が直線状に前方に伸びていることが考えられる。従って、画像内の中央部分では被写体までの距離が遠く、解像度が低くなり、画像内の中央部分の周辺では被写体までの距離が近く、解像度が高くなる。画像内の被写体は、車両の走行に伴って画像の中央から徐々に画像の周辺に向けて移動することになる。よって、解像度の低い画像の中央部分に認識レベルの低い標識存在認識エリアＥＡを設定し、解像度の高い画像内の中央部周辺に認識レベルの高い標識内容認識エリアＣＡを設定する。即ち、直進をしている場合、即ち舵角が小さい場合には、標識存在認識エリアＥＡ及び標識内容認識エリアＣＡを画定する二つの楕円の中心を画像の中央部分にする。具体的には、舵角が小さい場合には、図９（ａ）に示すように、上記の式（１）～（３）におけるパラメータ（ｐ０，ｑ０），（ｐ１，ｑ１）を原点（０，０）に近くする。この場合、長軸と短軸の比２ａ０：２ｂ０，２ａ１：２ｂ１は、カメラ１０で取得される画像の縦横比と同程度にすればよく、例えば、１：０．６５～１：０．７５程度にする。
　次に、舵角に応じた標識存在認識エリアＥＡ及び標識内容認識エリアＣＡの動的な設定について説明する。例えばハンドルが右に切られて舵角が大きくなると、車両の右折走行に伴って、画像の右端から新たな被写体が出現し、画像の左端に移動していくことになる。よって、この場合は、図９（ｂ）に示すように、標識存在認識エリアＥＡを右に寄せて、標識内容認識エリアＣＡも右に寄せる。具体的には、ハンドルが右に切られて舵角が大きくなると、パラメータｐ０，ｐ１の値を大きくする。また、これと同時に、楕円の形状も縦長になるように変形させる。即ち、式（１）～（３）のａ０，ａ１の値を小さくすると共に、ｂ０，ｂ１の値を大きくして、それぞれａ０，ａ１の値より大きくする。
　なお、このとき、パラメータｐ０，ｐ１，ａ０，ａ１は、生成される楕円が画面の縁に掛からないような範囲で設定されてもよいし、楕円が画面の縁からはみ出るように設定されてもよい。前者の場合は、画面の縁のｘ座標値をｘｍａｘとすると、式（４）、（５）を満たす範囲内で設定される。
Figure JPOXMLDOC01-appb-M000004
Figure JPOXMLDOC01-appb-M000005
 　なお、ハンドルが左に切られた場合は、標識存在認識エリアＥＡ及び標識内容認識エリアＣＡを左のほうに設定する。具体的な方法は右折の場合と同様である。
　次に、走行速度に応じた標識存在認識エリアＥＡ及び標識内容認識エリアＣＡの動的な設定について説明する。車両の走行速度が速くなると、標識の存在認識が困難になる。そこで、走行速度が上がるに従って、図９（ｃ）に示すように、標識存在認識エリアＥＡの楕円を大きくする。これに応じて、標識内容認識エリアＣＡの楕円も大きくする。具体的には、上記式（１）及び式（２）におけるパラメータａ０，ｂ０の値を大きくするとともに、上記式（３）のパラメータａ１，ｂ１の値も大きくする。
　上記では、各パラメータを舵角や走行速度に対応させて連続的に変化させる例を説明したが、各パラメータを段階的に変化させてもよい。図１０は、各パラメータを段階的に変化させる場合の標識認識装置の構成を示すブロック図である。標識認識装置３の標識認識部３０は、認識エリアデータベース３５を備えている。この認識エリアデータベースには、走行速度が３０ｋｍ／ｈごとに区分され、舵角が２度ごとに区分され、走行速度及び舵角の各区分の組合せごとにパラメータａ０，ｂ０，ｐ０，ｑ０，ａ１，ｂ１，ｐ１，ｑ１の組が記憶されている。
　認識エリア設定部３４は、ＣＡＮ２０から取得した走行速度が属する区分とＣＡＮ２０から取得した舵角が属する区分との組合せに対応するパラメータａ０，ｂ０，ｐ０，ｑ０，ａ１，ｂ１，ｐ１，ｑ１の組を認識エリアデータベース３５から選択して、標識存在認識エリアＥＡ及び標識内容認識エリアＣＡを設定する。
　本実施の形態の標識認識装置では、標識存在認識エリアＥＡ及び標識内容認識エリアＣＡを舵角及び走行速度に応じて動的に変化させるので、各種の走行状況に応じた適切な認識エリア設定が可能になる。これより、画像全体で標識内容の認識を行うことを回避して処理負担を軽減できるとともに、走行状況が変化した場合にも標識内容の認識を確実に行うことができる。なお、ギアが後退に入っている場合は、前進の場合とは逆に、存在認識エリアと内容認識エリアの位置を入れ替えてもよい。
（第５の実施の形態）
　次に、本発明の第５の実施の形態の標識認識装置について説明する。第５の実施の形態の標識認識装置の構成は、第１の実施の形態と同じである。第５の実施の形態では、標識内容認識エリアＣＡに標識が出現する時刻及び位置を推定する方法が、第１の実施の形態と相違する。第１の実施の形態では、標識位置推定部３２は、検知された標識の画像内での位置と大きさに基づいて、車両に対する当該標識の相対位置を求めて、さらにこの相対位置と走行速度に基づいて、標識が標識内容認識エリアＣＡに出現する時刻及び位置を推定した。本実施の形態では、画像内の標識位置の履歴に基づいて、標識が将来どのように画像内を移動するかを予測して、標識が標識内容認識エリアＣＡに出現する時刻及び位置を推定する。
　図１１は、本実施の形態において、標識が標識内容認識エリアＣＡに出現する時刻と位置を推定する方法を説明する図である。標識存在認識部３１は、時刻ｔ１に標識存在認識エリアＥＡにて標識の存在を検知すると、その標識の画像内での位置を標識位置推定部３２に出力する。次の時刻ｔ２に再度標識の存在を検知して、同様にその標識の画像内での位置を出力する。次の時刻ｔ３においても同様に検知した標識の画像内での位置を出力する。標識位置推定部３２は、３つの時刻でそれぞれ標識の位置を取得すると、時刻ｔ１，ｔ２，ｔ３及びそれぞれの時刻における画像内での標識の位置に基づいて、この標識が画像内で標識内容認識エリアＣＡに出現する時刻ｔｘ及びその位置を推定する。
　図１２は、本実施の形態において、標識が標識内容認識エリアＣＡに出現する時刻と位置を推定する動作を示すフロー図である。図１２のフロー図は、第１の実施の形態のフロー図のステップＳ４１～ステップＳ４３に相当する。標識存在認識部３１は、標識存在認識エリアＥＡにて標識の存在を検知すると（ステップＳ１２１）、そのときの時刻及び標識の画像内での位置を標識位置推定部３２に出力する（ステップＳ１２２）。その後、標識存在認識部３１は、所定の時間内に標識を３回検知しているかを判断し（ステップＳ１２３）、すでに３回検知しているときは（ステップＳ１２３でＹＥＳ）、３回分の検知結果に基づいて、標識が画像内で標識内容認識エリアＣＡに出現する時刻ｔｘ及びその位置を推定する（ステップＳ１２４）。まだ３回検知していないときは（ステップＳ１２３でＮＯ）、ステップＳ１２１に戻って標識存在認識エリアＥＡで標識の存在を検知する。
　本実施の形態の標識認識装置によれば、ＣＡＮ情報によらずに、画像情報と時刻の情報のみで、標識が標識内容認識エリアＣＡに出現する時刻及び位置を推定できるので、ＣＡＮを備えていない車両にも適用できるという利点がある。なお、図１２のフローは、第２の実施の形態のフロー図のステップＳ７１～ステップＳ７３にも適用できる。
　なお、上記の実施の形態では、３回分の標識の検知結果を利用して、その標識の標識内容認識エリアＣＡでの出現時刻及び出現位置を推定したが、２回分又は４回分以上の標識の存在の検知結果を利用して出現時刻及び出現位置を推定してもよい。
（第６の実施の形態）
　次に、本発明の第６の実施の形態の標識認識装置について説明する。第６の実施の形態では、標識内容認識エリアＣＡに標識が出現する時刻及び位置を推定する方法が、第１の実施の形態及び第５の実施の形態と相違する。図１３は、第６の実施の形態の標識認識装置の構成を示すブロック図である。本実施の形態の標識認識装置４は、推定データベース３６を備えている。その他の構成は、第１の実施の形態の標識認識装置１と同様である。
　標識位置推定部３２は、ＣＡＮ２０、標識存在認識部３１及び推定データベース３６に接続されている。標識位置推定部３２は、標識存在認識部３１が標識存在認識エリアＥＡで標識の存在を検知すると、標識存在認識部３１から検知された標識の画像内での位置を取得し、ＣＡＮ２０からＣＡＮ情報（ここでは、走行速度及び舵角）を取得する。推定データベース３６には、標識の画像内での位置と大きさ及びＣＡＮ情報の組み合わせに対応して、標識が標識内容認識エリアＣＡに出現する時刻及び位置が記憶されている。このデータベースは、実験などであらかじめ作成しておくことができる。
　標識位置推定部３２は、推定データベース３６を参照して、認識エリア設定部３４から取得した標識の画像内での位置及びＣＡＮ情報の組み合わせに対応する出現時刻及び出現位置を取得する。標識位置推定部３２は、推定データベース３６から取得した出現位置に基づいて、探索エリアＳＡを指定する。
　本実施の形態の標識認識装置によれば、推定データベース３６を参照するだけで、標識が標識認識エリアＣＡに出現する時刻及び位置の情報を得ることができるので、演算処理の負担が軽くなる。
（変形例）
　上記の実施の形態では、標識存在認識部３１が、形状テンプレートを用いたマッピングにより標識存在認識エリアＥＡにおいて標識の存在を検知したが、標識の存在を検知する方法はこれに限られない。例えば、カメラ１０が撮影して得られた画像に対してＨｏｕｇｈ変換を行って、直線や円を抽出した後に、形状テンプレートによるマッチングを行って標識の存在を検知してもよい。また、画像内の色情報を用いて標識を抽出することで、標識の存在を検知してもよい。
　上記の実施の形態では、標識内容認識部３３は、標識テンプレートを用いたマッピングによって、標識内容を認識したが、標識内容を認識する方法はこれに限られない。例えば、自己組織化マップを利用してクラスタリングを行って標識を分類することで、標識の内容を認識してもよい。
　上記の実施の形態では、画像に標識存在認識エリアＥＡ及び標識内容認識エリアＣＡという認識レベルの異なる２つの認識エリアを設定して、かつ標識の認識をしないエリア（標識内容認識エリアＣＡの外側のエリア）を設けたが、エリアの設定方法はこれに限られない。例えば、存在候補を抽出するエリア、存在を確認するエリア、及び内容を認識するエリアという認識レベルの異なる３つの認識エリアを設定してもよい。また、直進時には画像の中央にきわめて近い領域は解像度が極めて低くなり、標識の存在すら検知できないことも考えられる。よって、標識存在認識エリアＥＡの中央部に認識をしないエリアを設けて、標識存在認識エリアＥＡをドーナツ状のエリアとしてもよい。さらに、上記の実施の形態では、標識存在認識エリアＥＡと標識内容認識エリアＣＡとが連続していたが、両エリアの間に標識の認識をしないエリアがあってもよい。また、上記の実施の形態では、標識存在認識エリアＥＡの外側に標識内容認識エリアＣＡを設けたが、標識存在認識エリアＥＡと標識内容認識エリアＣＡとが重なっていてもよい。
　上記の実施の形態では、認識エリアを楕円形状としたが、認識エリアの形状はこれに限られない。認識エリアは、円、三角形や四角形などの多角形、閉曲線で囲まれる領域であってよい。また、道路の脇に設置されている標識のみ認識する場合には、三日月状の標識内容認識エリアＣＡを画面中央部の標識存在認識エリアＥＡの左右に設定してもよい。なお、実施の形態で認識エリアを楕円形状としたのは、カメラ画像として得られる画像が魚眼カメラによる円形画像の場合には実施の形態で示したようにエリア形状として楕円を用いるのが好適であるからである。通常のカメラを用いる場合には、認識エリアは四角形が好適である。また、カメラの特性や取り付け位置や角度に応じてエリア形状を設定してよい。例えば、カメラの画角内に障害物（ボンネットやシールなど）が写りこんでいることが分かっている場合には、該当箇所を含まないようエリアを設定してよい。
　上記の実施の形態では、標識内容認識エリアＣＡ内の探索エリアＳＡを指定して、探索エリアＳＡにて標識内容を認識したが、探索エリアＳＡの指定を省略して標識内容認識エリアＣＡ全体で標識内容を認識してもよい。この場合は、探索エリアＳＡのみについて標識内容を認識する場合と比較すると処理負担が増えることになるが、画面全体で標識内容を認識する場合よりも処理負担は軽くなる。
　上記の実施の形態では、標識が画像内で標識内容認識エリアＣＡに出現する時刻を推定して、この時刻に探索エリアＳＡで標識の内容を認識するようにしたが、常に標識内容を認識してもよい。
　上記の実施の形態では、走行状況に基づいて認識エリアの形状を動的に設定したが、認識エリアを動的に設定する際に考慮される事項は、走行状況には限られない。例えば、カメラの特性（例えば歪み、解像度等）、カメラの認識特性、カメラの取付け位置等を考慮して認識エリアを変更してもよい。また、例えば、車両周辺の明度等、車両周辺の環境に応じて認識エリアを変更してもよい。この場合、例えば車両周辺が暗いときには標識存在認識エリアＥＡ及び標識内容認識エリアＣＡを大きくする。さらに、自車両の位置に応じて地図データベースなどから取得した道路状況に基づいて認識エリアを変更してもよい。例えば、車両が下り坂を走行しており、その先に上り坂がある場合には、標識存在認識エリアＥＡを画面内の上方に移動してよい。この場合、具体的には、上記式（１）～（３）のｑ０，ｑ１を増加させる。また、上記の実施の形態では、標識存在認識エリアＥＡ及び標識内容認識エリアＣＡをいずれも動的に変更したが、いずれか一方の認識エリアのみを変更し、他方の認識エリアは固定としてもよい。
　上記の実施の形態では、出力部４０は、ナビゲーションシステムであり、表示装置と音声出力装置を備えていたが、出力部４０の形態はこれに限られない。出力部４０は、例えばブレーキ制御装置であって、「とまれ」の標識を認識した場合に、自動的にブレーキをかけるようにしてもよい。
　本発明の実施の形態の標識認識装置は、運転履歴を映像及びＣＡＮ情報とともに記録するドライブレコーダの機能を有していてもよい。この場合に、標識認識装置によって認識した標識の情報を運転履歴の一部として記録してもよい。
　また、上記の実施の形態では、本発明の標識認識装置を車両に搭載されて走行または運転する場合の標識認識装置として説明したが、本発明の標識認識装置は、車両ではなく、電車、オートバイまたは移動型ロボットなどその他の移動体にも適用可能である。
　以上、本発明の実施の形態を例示により説明したが、本発明の範囲はこれらに限定されるものではなく、請求項に記載された範囲内において目的に応じて変更・変形することが可能である。
　以上のように、本発明にかかる標識認識装置は、標識認識の処理の効率を向上できるという効果を有し、移動体に搭載されて標識を認識する標識認識装置等として有用である。
　１、２、３、４　標識認識装置
　１０　カメラ
　２０　ＣＡＮ
　３０　標識認識部
　３１　標識存在認識部
　３２　標識位置推定部
　３３　標識内容認識部
　３４　認識エリア設定部
　３５　認識エリアデータベース
　３６　推定データベース
　４０　出力部

Claims (12)

  1. 　移動体の前方を撮像して得た画像から標識を認識する標識認識装置であって、
    　前記画像内の第１の認識エリアにおいて、第１の認識レベルで標識を認識する第１の標識認識部と、
    　前記画像内の前記第１の認識エリアとは異なる第２の認識エリアにおいて、前記第１の認識レベルより高い第２の認識レベルで標識を認識する第２の標識認識部と、
    　を備えたことを特徴とする標識認識装置。　
  2. 　前記第１の認識エリアは、標識の存在を認識するための標識存在認識エリアであり、
    　前記第２の認識エリアは、標識の内容を認識するための標識内容認識エリアであり、
    　前記第１の標識認識部は、前記標識存在認識エリアにおいて標識の存在を認識し、
    　前記第２の標識認識部は、前記標識内容認識エリアにおいて標識の内容を認識することを特徴とする請求項１記載の標識認識装置。
  3. 　前記第１の標識認識部による認識結果を利用して、前記第２の認識エリア内の探索エリアを指定する探索エリア指定部をさらに備え、
    　前記第２の標識認識部は、前記探索エリアにおいて標識を認識することを特徴とする請求項１または２に記載の標識認識装置。
  4. 　前記探索エリア指定部は、前記第１の標識認識部による認識結果及び移動体の走行状況に基づいて前記探索エリアを指定することを特徴とする請求項３記載の標識認識装置。
  5. 　前記第１の標識認識部にて認識された標識が前記第２の認識エリアに出現するタイミングを推定するタイミング推定部をさらに備え、
    　前記第２の標識認識部は、前記タイミング推定部が推定したタイミングで標識の認識を開始することを特徴とする請求項１ないし請求項４のいずれかに記載の標識認識装置。
  6. 　前記第１の認識エリア及び前記第２の認識エリアの少なくとも一方を動的に設定する認識エリア設定部をさらに備えたことを特徴とする請求項１ないし請求項５のいずれかに記載の標識認識装置。
  7. 　前記認識エリア設定部は、移動体の走行状況に基づいて前記第１の認識エリア及び前記第２の認識エリアの少なくとも一方を変化させることを特徴とする請求項６記載の標識認識装置。
  8. 　前記認識エリア設定部は、移動体の走行速度に応じて前記第１の認識エリア及び前記第２の認識エリアの少なくとも一方を変化させることを特徴とする請求項７記載の標識認識装置。
  9. 　前記認識エリア設定部は、移動体の舵角に応じて前記第１の認識エリア及び前記第２の認識エリアの少なくとも一方を変化させることを特徴とする請求項７記載の標識認識装置。
  10. 　前記認識エリア設定部は、移動体周辺の環境に基づいて前記第１の認識エリア及び前記第２の認識エリアの少なくとも一方を変化させることを特徴とする請求項６記載の標識認識装置。
  11. 　移動体に搭載されて標識を認識する標識認識装置であって、
    　移動体の前方を撮影して画像を取得する撮影部と、
    　前記撮影部にて得られた画像内に、認識エリアを動的に変化させて設定する認識エリア設定部と、
    　設定された前記認識エリアにおいて、標識を認識する標識認識部と、
    　を備えたことを特徴とする標識認識装置。
  12. 　移動体の前方を撮像して得た画像から標識を認識する標識認識方法であって、
    　前記画像内の第１の認識エリアにおいて、第１の認識レベルで標識を認識する第１の標識認識ステップと、
    　前記画像内の前記第１の認識エリアとは異なる第２の認識エリアにおいて、前記第１の認識レベルより高い第２の認識レベルで標識を認識する第２の標識認識ステップと、
    　を含むことを特徴とする標識認識方法。
PCT/JP2010/001605 2009-10-20 2010-03-08 標識認識装置及び標識認識方法 WO2011048718A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2009-241471 2009-10-20
JP2009241471A JP2013008070A (ja) 2009-10-20 2009-10-20 標識認識装置及び標識認識方法

Publications (1)

Publication Number Publication Date
WO2011048718A1 true WO2011048718A1 (ja) 2011-04-28

Family

ID=43899963

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2010/001605 WO2011048718A1 (ja) 2009-10-20 2010-03-08 標識認識装置及び標識認識方法

Country Status (2)

Country Link
JP (1) JP2013008070A (ja)
WO (1) WO2011048718A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014115319A1 (ja) * 2013-01-25 2014-07-31 トヨタ自動車株式会社 道路環境認識システム
JPWO2016208067A1 (ja) * 2015-06-26 2018-06-07 日産自動車株式会社 車両位置判定装置及び車両位置判定方法
CN115408487A (zh) * 2022-11-02 2022-11-29 湖南君瀚信息技术有限公司 一种基于fpga的无人车实时周视全景自主识别系统

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6106495B2 (ja) * 2013-04-01 2017-03-29 パイオニア株式会社 検出装置、制御方法、プログラム及び記憶媒体
JP6331402B2 (ja) * 2014-01-14 2018-05-30 株式会社デンソー 移動体検出装置および移動体検出方法
KR101566106B1 (ko) 2014-04-08 2015-11-04 한양대학교 산학협력단 교통 표지판을 인식하기 위한 데이터베이스 구축 방법 및 이를 이용한 차량용 영상 인식 장치
JP6562648B2 (ja) * 2015-02-16 2019-08-21 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
DE102016208025B4 (de) * 2016-05-10 2019-06-27 Continental Automotive Gmbh Verfahren zur Erfassung von Verkehrszeichen
JP7124472B2 (ja) * 2018-06-08 2022-08-24 スズキ株式会社 車両用運転支援装置
JP7226986B2 (ja) * 2018-12-14 2023-02-21 株式会社デンソーテン 画像処理装置および画像処理方法
JP7446756B2 (ja) 2019-10-02 2024-03-11 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
JP7340484B2 (ja) * 2020-03-19 2023-09-07 エヌ・ティ・ティ・コムウェア株式会社 画像判定装置、画像判定方法、および、プログラム
JP7356383B2 (ja) * 2020-03-19 2023-10-04 エヌ・ティ・ティ・コムウェア株式会社 画像判定装置、画像判定方法、および、プログラム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0973545A (ja) * 1995-09-07 1997-03-18 Fujitsu Ten Ltd 白線認識装置
JP2000293670A (ja) * 1999-04-08 2000-10-20 Asia Air Survey Co Ltd ビデオ画像の道路標識自動認識方法及び道路標識自動認識装置並びに道路標識自動認識のプログラムを記憶した記憶媒体
JP2006003994A (ja) * 2004-06-15 2006-01-05 Calsonic Kansei Corp 道路標識認識装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0973545A (ja) * 1995-09-07 1997-03-18 Fujitsu Ten Ltd 白線認識装置
JP2000293670A (ja) * 1999-04-08 2000-10-20 Asia Air Survey Co Ltd ビデオ画像の道路標識自動認識方法及び道路標識自動認識装置並びに道路標識自動認識のプログラムを記憶した記憶媒体
JP2006003994A (ja) * 2004-06-15 2006-01-05 Calsonic Kansei Corp 道路標識認識装置

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014115319A1 (ja) * 2013-01-25 2014-07-31 トヨタ自動車株式会社 道路環境認識システム
CN104937648A (zh) * 2013-01-25 2015-09-23 丰田自动车株式会社 道路环境识别系统
JP5949955B2 (ja) * 2013-01-25 2016-07-13 トヨタ自動車株式会社 道路環境認識システム
JPWO2014115319A1 (ja) * 2013-01-25 2017-01-26 トヨタ自動車株式会社 道路環境認識システム
JPWO2016208067A1 (ja) * 2015-06-26 2018-06-07 日産自動車株式会社 車両位置判定装置及び車両位置判定方法
US10145692B2 (en) 2015-06-26 2018-12-04 Nissan Motor Co., Ltd. Vehicle position determination apparatus and vehicle position determination method
CN115408487A (zh) * 2022-11-02 2022-11-29 湖南君瀚信息技术有限公司 一种基于fpga的无人车实时周视全景自主识别系统

Also Published As

Publication number Publication date
JP2013008070A (ja) 2013-01-10

Similar Documents

Publication Publication Date Title
WO2011048718A1 (ja) 標識認識装置及び標識認識方法
JP5690688B2 (ja) 外界認識方法，装置，および車両システム
JP5023872B2 (ja) 画像表示制御装置及び画像表示制御システム
JP6649738B2 (ja) 駐車区画認識装置、駐車区画認識方法
JP5012718B2 (ja) 画像処理装置
JP4107605B2 (ja) 移動体周辺監視装置、移動体周辺監視方法、制御プログラムおよび可読記録媒体
US7250593B2 (en) Mobile body surrounding surveillance apparatus, mobile body surrounding surveillance method, control program, and readable recording medium
JP2006018751A (ja) 車両用画像処理装置
JP5401257B2 (ja) 遠赤外線歩行者検知装置
JP2007164671A (ja) 障害物接近判断装置および障害物衝突警告システム
JP3849505B2 (ja) 障害物監視装置及びプログラム
JP5937832B2 (ja) 車載カメラ用露出制御装置
JP2009252198A (ja) 走行環境推測装置、方法及びプログラム並びに車線逸脱警報装置及び操舵アシスト装置
JP6152261B2 (ja) 車載用駐車枠認識装置
US20120189161A1 (en) Visual attention apparatus and control method based on mind awareness and display apparatus using the visual attention apparatus
JP2012252501A (ja) 走行路認識装置及び走行路認識用プログラム
KR101374653B1 (ko) 차량의 움직임을 검출하는 장치 및 방법
JP2006003994A (ja) 道路標識認識装置
US7406182B2 (en) Image capturing apparatus, image capturing method, and machine readable medium storing thereon image capturing program
JP5125214B2 (ja) 障害物検出方法および障害物検出装置
JPH07302325A (ja) 車載用画像認識装置
JP2004252550A (ja) 運転支援装置
JP4432730B2 (ja) 車両用道路標示検出装置
CN115088248A (zh) 摄像装置、摄像系统和摄像方法
JP6582891B2 (ja) 空車枠特定システム、方法およびプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 10824574

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 10824574

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP