WO2008075407A1 - 情報処理装置並びにその制御方法、制御プログラム及び記録媒体 - Google Patents

情報処理装置並びにその制御方法、制御プログラム及び記録媒体 Download PDF

Info

Publication number
WO2008075407A1
WO2008075407A1 PCT/JP2006/325262 JP2006325262W WO2008075407A1 WO 2008075407 A1 WO2008075407 A1 WO 2008075407A1 JP 2006325262 W JP2006325262 W JP 2006325262W WO 2008075407 A1 WO2008075407 A1 WO 2008075407A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
obstacle
image
image information
information processing
Prior art date
Application number
PCT/JP2006/325262
Other languages
English (en)
French (fr)
Inventor
Hiroshi Kobayashi
Original Assignee
Pioneer Corporation
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Pioneer Corporation filed Critical Pioneer Corporation
Priority to PCT/JP2006/325262 priority Critical patent/WO2008075407A1/ja
Priority to JP2008550001A priority patent/JP4745403B2/ja
Publication of WO2008075407A1 publication Critical patent/WO2008075407A1/ja

Links

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages

Definitions

  • the present application relates to a technical field of an information processing apparatus, particularly an information processing apparatus mounted on a moving body.
  • an alarm indicating the danger of a collision is displayed on a display device while a user is driving a vehicle or the like.
  • Patent Document 1 external sounds such as engine sounds of other vehicles are collected by a plurality of acoustic microphones, and a sound image is localized in the direction of the sound source based on the collected sound signals.
  • a vehicle warning device is disclosed. According to this, even when the user is in a range where other vehicles cannot be visually observed, the user can be made aware of the presence of the other vehicles.
  • Patent Document 1 Japanese Patent Laid-Open No. 05-85288.
  • the type of the obstacle is determined (for example, the obstacle is a human, a bicycle, a motorcycle, a small vehicle, or a large vehicle (dump truck). Etc.), and the alarm level was not changed based on the determination result. For this reason, the user is not necessarily aware of whether or not the user has to respond urgently, and the user is not always appropriate. There are cases where it is difficult to make serious judgments and it is difficult to quickly avoid dangers such as collisions.
  • an example of the subject of the present application is an alarm that informs the user according to the type of obstacle and the moving state (including the positional relationship) in the information processing device, particularly the information processing device mounted on the moving body.
  • Information processing apparatus, information processing apparatus control method, control program, and information recording medium on which the control program is recorded can be provided by which the risk of collision with an obstacle can be quickly avoided It is in.
  • An information processing device is provided in a mobile body and performs information processing for notifying a user of alarm information.
  • Image information of the above obstacles storage means for storing the type information indicating the type of the obstacle, image information imaging means for imaging image information outside the moving body, and image information imaging means.
  • a comparison means for comparing the image information and the image information of the obstacle stored in the storage means, and a result of the comparison by the comparison means that the obstacle is present in the imaged image information.
  • computing means for computing direction information indicating a direction in which the obstacle is located with respect to the moving body, the direction information to the computed obstacle, and the obstacle information Based on type information There are, characterized in that it comprises a sound image localization means for localizing the alarm information as sound.
  • a method for controlling an information processing device is a method for controlling an information processing device that is provided in a moving body and performs information processing for notifying a user of alarm information.
  • a control program according to claim 8 of the present invention is provided with a computer that performs information processing for notifying a user of alarm information provided in a moving body in advance.
  • Storage means for storing the image information and type information indicating the type of the obstacle, image information imaging means for imaging image information outside the mobile body, image information captured by the image information imaging means, A comparison means for comparing the image information of the obstacle stored in the storage means, and as a result of the comparison by the comparison means, when it is determined that the obstacle is present in the imaged image information, Based on the calculation means for calculating the direction information indicating the direction in which the obstacle is located with respect to the moving body, the direction information to the calculated obstacle, and the type information of the obstacle, Characterized in that the functioning of the serial alarm information as sound image localization means for localizing a sound image
  • FIG. 1 is a block diagram illustrating a schematic configuration example of an information processing apparatus according to an embodiment.
  • FIG. 2 is a plan view showing a positional relationship between a sound image localization position, a vehicle, and a driver in the present embodiment.
  • FIG. 3 is a diagram showing an imaging range of each camera in the present embodiment.
  • FIG. 4 (a) is a diagram showing a state in which an angle range overlapping with an imaging range of each camera in the present embodiment is stored in a storage unit. (B) is an explanatory diagram of an angle range overlapping with the imaging range of each camera in the present embodiment.
  • FIG. 5 is a diagram showing a relationship between a vehicle blind spot and an imaging angle in the present embodiment.
  • FIG. 6 is a flowchart showing an example of the operation of the information processing apparatus according to the present embodiment.
  • FIG. 1 is a block diagram showing an example of the information processing apparatus S in the present embodiment.
  • the information processing apparatus S in the present embodiment is an apparatus that performs information processing for notifying a user of alarm information, and is a camera la as an example of image information imaging means for imaging image information outside the vehicle. , Lb, lc, and ld, image information picked up by cameras la, lb, lc, and Id, or image information processing device 2 that switches image information, image information of obstacles, etc.
  • a storage device 3 as an example of storage means
  • an image recognition device 4 as an example of comparison means and a calculation means
  • an alarm generator 5 as an example of sound image localization means for performing information processing to localize alarm information as a sound image 5
  • a speaker 6 for example, an audio speaker provided in a vehicle that emits sound information for localizing the sound image.
  • the information processing device S may be incorporated in, for example, an in-vehicle navigation device, an AV (Audio Visual) device, or the like, or may be incorporated independently. .
  • the cameras la, lb, lc, and Id are used as a digital camera force S using an image sensor such as a CCD (Charge Coupled Device) or a CM ⁇ S (Complementary Metal Oxide Semiconductor).
  • an image sensor such as a CCD (Charge Coupled Device) or a CM ⁇ S (Complementary Metal Oxide Semiconductor).
  • the image information processing apparatus 2 uses the image information captured by the cameras la, lb, lc, and Id. The information is combined and image processing is performed so that there is no overlap or lack in 360-degree image information around the vehicle. In addition, in order to process the image of a specific object outside the vehicle, the images captured by one to three cameras are used without combining the images of the four cameras, and the object outside the vehicle is used. Sometimes images are processed (when 360 ° image processing around the vehicle is not required).
  • image information of mobile objects such as large vehicles (large vehicles), such as types (for example, humans (children or children are distinguished from adults), animals, bicycles, motorcycles, small vehicles, medium-sized vehicles)
  • Type information indicating the type of vehicle, large vehicle, etc. (in other words, attribute)) is associated and stored in advance.
  • the storage device 3 is also an example of own vehicle information (an example of own vehicle information) that indicates whether the own vehicle is a medium-sized vehicle or a large vehicle and the type of the own vehicle (in other words, an attribute). ) Is also remembered.
  • the vehicle information is displayed by displaying a plurality of vehicle candidates (small vehicle, medium vehicle, large vehicle, etc.) on the display unit (not shown), and the user operating the operation unit (not shown). The selection is stored in the storage device 3.
  • the storage device 3 includes a sign for a pedestrian crossing drawn on the road, a sign for drawing on the road, a sign indicating that there is a pedestrian crossing nearby, a sign for drawing on the road, Information signs (such as road junction warnings, highway exits, parking lots, main line indications, emergency parking zones, service areas and warnings), warning signs (road intersections) Yes, right (or left) bend or refraction, school, kindergarten, nursery school, etc., traffic lights, traffic signs, traffic signs, animals may jump out, etc.), regulatory signs (no entry, one-way, specific vehicles) (Including pedestrians, bicycles, and so on), closed roads for specific vehicles, slow roads, stop signs, etc.), instruction signs (pedestrian crossings, bicycle crossings, safety zones, regulatory predictions, beginning of specific sections) And end, stop line, center line, parking, stop Labels such as soluble), supplemental label (type of vehicle, school routes, overtaking prohibition, crossing care, animal care, so as to store the indicator information of the label) or the like of
  • the image recognition device 4 stores the image information processed by the image information processing device 2 and the storage device 3. It compares the image information of the obstacles that are stored and determines whether there is a matching image. If this judgment result (comparison result) has a matching image, that is, if the captured image information includes (includes) an obstacle, the obstacle is recognized, and then the image recognition device 4 predicts and calculates the recognized obstacle and the moving state of the host vehicle, and determines the possibility that the recognized obstacle will contact or collide with the host vehicle.
  • an obstacle when an obstacle is recognized outside the vehicle, it is obtained from the relative relationship between the obstacle and the host vehicle, and a plurality of continuous image information input via the image information processing device 2. It is possible to infer using the movement vector of the obstacle to be obtained.
  • the image recognition device 4 indicates the direction in which the obstacle is located with reference to the host vehicle.
  • the information is calculated, and alarm information including the calculated direction information to the obstacle and the type information of the obstacle (for example, a person or a medium-sized vehicle) is generated, and this is generated in the alarm generator 5.
  • alarm information including the calculated direction information to the obstacle and the type information of the obstacle (for example, a person or a medium-sized vehicle) is generated, and this is generated in the alarm generator 5.
  • the alarm generation device 5 determines sound information (for example, collision sound, siren sound, etc.) emitted from the speaker 6 based on the alarm information input from the image recognition device 4 and the above-mentioned own vehicle information, Furthermore, the sound information (that is, warning information) is localized as a sound image in the direction of the position (existence) of the obstacle around the center of the host vehicle or the seat position of the driver (driver). Sound field information is calculated by a DSP (Digital Signal Processor) (not shown), etc., and the calculated sound field information is distributed as appropriate level and phase warning signals (warning signals) to the individual speakers constituting the speaker force 6. .
  • DSP Digital Signal Processor
  • the speaker 6 emits an alarm signal input from the alarm generator 5.
  • the speaker 6 can be shared with the in-vehicle audio speaker without providing the speaker 6 alone.
  • the warning signal having a loud sound and a collision sound is output regardless of the type (attribute) of the own vehicle. It is generated by localizing in the direction of. This is because a person or a bicycle is likely to cause a fatal accident if they come into contact with the vehicle, and it is desirable for the driver to fully recognize the danger and start a reaction instantaneously.
  • the obstacle is a person
  • the person is further an infant or a child.
  • an alarm signal with a further increased volume is generated. This is because it is expected that it will be more difficult for an infant or child to properly determine and act on avoiding contact or collision with a vehicle.
  • the image recognizing device 4 determines that the obstacle is the next most dangerous when the obstacle is a person, and generates a warning signal including a siren sound or the like in the direction of the obstacle.
  • the obstacle is a medium-sized vehicle similar to the own vehicle
  • the target is considered to be less dangerous than a large vehicle, and a warning signal such as a beep is localized in the direction of the obstacle.
  • the image recognition device 4 determines whether or not the sign information stored in advance in the storage device 3 matches the image information input via the camera 1 image information processing device 2. By taste, alarm information may be generated.
  • the image information in the traveling direction of the host vehicle recognizes whether there is sign information relating to a pedestrian crossing, for example.
  • the image recognition device 4 is stored in the storage device 3, and is input from the image information processing device 2 and the pedestrian crossing information in the sign information such as guidance signs, warning signs, regulation signs, instruction signs, auxiliary signs, etc. If the image information input from the image information processing device 2 is recognized as having pedestrian crossing information as a result of comparison with the image information to be imaged, the image recognition device 4 will move the person to the crosswalk. Whether or not it is determined from a plurality of pieces of image information input via the image information processing apparatus 2.
  • the estimation method can be processed in various ways.
  • the image recognizing device 4 calculates the moving direction and moving speed of a person from image information that changes in time. In this case, when there is a pedestrian crossing in the moving direction of the person, the image recognition device 4 calculates the time for the person to reach the pedestrian crossing from the moving speed of the person. Then, as in the case of a person, the image recognition device 4 calculates the time for the host vehicle to reach the crosswalk from the moving direction and the moving speed of the host vehicle calculated from the image information. [0038] As a result, if the time to reach the pedestrian crossing is the same value between the vehicle and the person or a value that is quite close (for example, within 3 seconds), the person and the vehicle may contact or collide. It may be configured to output alarm information corresponding to the alarm generator 5 based on the assumption that there is a possibility.
  • the camera la is attached to the upper left in FIG. 2 of the vehicle 7 (left front of the vehicle 7), and the camera lb is attached to the lower left of the vehicle 7 in FIG. 2 (left rear of the vehicle 7).
  • the camera lc is attached to the lower right in FIG. 2 in FIG. 2 (right rear of the vehicle 7), and the camera Id is attached to the upper right in FIG. Obstacles in the direction of 360 degrees around the vehicle 7 (from the vehicle center position C1 to the circle C2) by the image information captured by these cameras la, lb, lc, and Id provided in the four directions of the vehicle
  • the orientation and viewing angle of each camera is set so that image information of an object (for example, person 10) can be obtained.
  • the person 10 on the left rear side of the vehicle 7 is captured by the camera lb or the camera la, and is identified by the image recognition device 4 as a person.
  • the information processing apparatus S may localize the sound image of the alarm information at a point B1 on a circumference C4 that is separated from the center C3 of the body of the driver 8 by a radius rl.
  • the point B1 where the sound image of the alarm information is localized is determined by the information processing apparatus S so that the radial direction D2 of the circumference C2 and the radial direction D3 of the circumference C4 are parallel to each other.
  • Driver 8 recognizes that person 10 as an obstacle is in the direction of point B1 where the sound image is localized.
  • the information processing apparatus S localizes the sound image of the alarm information at the point B1.
  • the error in the direction of the person 10 recognized by the driver 8 increases (the angle ⁇ 1 formed from the radial direction D1 and the radial direction D2). Because the distance between the end point D11 (on the extension line of the position where the person 10 does not exist) and the end point D21 (on the extension line of the position where the person 10 exists) increases as the radius r2 increases, the driver 8 recognizes Error of the direction of the person 10 (from the driver C3 via the point B2 to the end point D11 on the radius D1 extension line and the position near the center of the driver 8 body C3 to the radius D3 via the point B1 on the extension line D3 ) And increase.
  • the driver 8 can extend the person 10 with the radius rl regardless of the position of the person 10 on the extension line of the radius r2. Since it can be recognized that it exists in the radial direction D3 on the line, the position recognition in the direction in which the person 10 exists does not deviate from C1 near the center of the vehicle 7. For this reason, it is desirable for the information processing apparatus S to position the sound image of the alarm information on the circumference C4 centered on the driver 8.
  • FIG. 3 is a plan view of the vehicle 7.
  • the camera la is mounted on the upper left in FIG. 3 of the vehicle 7 (the front left of the vehicle 7), and on the lower left in FIG. 3 of the vehicle 7 (the rear left of the vehicle 7).
  • a camera lb is attached
  • a camera lc is attached to the lower right in FIG. 3 of vehicle 7 (right rear of vehicle 7)
  • a camera is attached to the upper right in FIG. 3 of vehicle 7 (right front of vehicle 7). Id is installed.
  • the imaging range of the camera la illustrates a range of approximately 120 degrees indicated by the viewing angle ⁇ a.
  • One side of the viewing angle ⁇ a is the left side surface 7a of the vehicle 7 (the left side of the vehicle 7 in FIG. 3), and the other side is the side 7FL diagonally forward left of the vehicle 7.
  • the direction of the center of the imaging range of camera la is indicated by direction Da.
  • the imaging range of the camera lb shows a range of approximately 120 degrees indicated by the viewing angle ⁇ b.
  • One side of the viewing angle 6b is the rear surface 7b of the vehicle 7 (the vehicle 7 in FIG.
  • the other side is the side 7BL diagonally to the left of the rear side of the vehicle 7.
  • the central direction of the imaging range of the camera lb is indicated by the direction Db.
  • the angle ⁇ ab is an overlapping range in the imaging range of the camera la and the camera lb.
  • the reason for overlapping the imaging range between the two cameras is to prevent blind spots (portions that cannot be captured around the vehicle 7) from appearing in the range captured by camera la and camera lb.
  • the imaging range of the camera lc shows a range of approximately 120 degrees indicated by the viewing angle ⁇ c.
  • One side of the viewing angle ⁇ c is the right side surface 7c of the vehicle 7 (the right side of the vehicle 7 in FIG. 3), and the other side is the side 7BR in the diagonally right rear direction of the vehicle 7.
  • the center direction of the imaging range of the camera lc is indicated by a direction Dc.
  • the angle ⁇ be is an overlapping range in the imaging range of the camera lb and the camera lc.
  • the reason for overlapping the imaging range between the two cameras is to prevent blind spots (the part that cannot be imaged around the vehicle 7) from appearing in the range captured by the camera lb and the camera lc.
  • the imaging range of the camera Id shows a range of approximately 120 degrees indicated by the viewing angle ⁇ d.
  • One side of the viewing angle ⁇ d is the front surface 7d of the vehicle 7 (the upper side of the vehicle 7 in FIG. 3), and the other side is a side 7FR in the diagonally forward right direction of the vehicle 7.
  • the direction of the center of the imaging range of camera Id is indicated by direction Dd.
  • the angle ⁇ cd is an overlapping range in the imaging range of the camera lc and the camera Id.
  • the reason for overlapping the imaging range between the two cameras is to prevent blind spots (the part that cannot be imaged around the vehicle 7) from appearing in the range captured by the camera lc and the camera Id.
  • the angle ⁇ da is an overlapping range in the imaging range of the camera Id and the camera la.
  • the reason for overlapping the imaging range between the two cameras is to prevent blind spots (the part that cannot be captured around the vehicle 7) from occurring in the range captured by the camera Id and the camera la.
  • ⁇ a, ⁇ b, ⁇ c, and ⁇ d are not limited to approximately 120 degrees, but can be any value greater than 90 degrees It is.
  • FIG. 4 (a) schematically shows image information of ranges captured by the cameras la, lb, lc, and Id, and image information ranges captured redundantly by the cameras. Yes.
  • the image information captured by the camera la is the area indicated by the viewing angle ⁇ a
  • the image information captured by the camera lb is the area indicated by the viewing angle ⁇ b
  • the image information obtained is the area indicated by the viewing angle ⁇ c
  • the image information captured by the camera Id is the area indicated by the viewing angle ⁇ d.
  • the viewing angles ⁇ a, ⁇ b, ⁇ c, and ⁇ d in Figs. 4 (a) and (b) are the viewing angles ⁇ a, imaged by the cameras la, lb, lc, and Id in Fig. 3. They correspond to ⁇ b, ⁇ c, and ⁇ d, respectively.
  • the image area corresponding to ⁇ aa of the camera la is A1
  • the image area corresponding to ⁇ ab of the camera lb is B2.
  • the image area corresponding to ⁇ bb of camera lb is B1
  • the image area corresponding to ⁇ be of camera lc is C2
  • the image area corresponding to ⁇ cc of camera lc is C1
  • camera Id The image area corresponding to ⁇ cd of is D2.
  • image information in a common angle range for example, image information corresponding to ⁇ aa of camera la (image information area A1) and image information corresponding to ⁇ ab of camera lb (image information area Both are stored in the storage unit of the image information processing apparatus 2.
  • the person 10d located in is stored in the form included in the images of the corresponding cameras.
  • the overlapping portion with the cameras la and lb is stored as an overlapping image as it is with the cameras la and lb.
  • the spatial area AD in FIG. 5 is a spatial area corresponding to the angle ⁇ aa imaged by the camera la in FIG.
  • the image information corresponding to the image information area A1 has an overlap with the image information area B2, but there is an area AD that is included only in the image information area A1. Therefore, it is assumed that the image information corresponding to the image information area A1 is the image If the information processing device 2 does not store, the image information corresponding to the space area AD is lost. That is, the information processing apparatus S becomes unable to recognize an obstacle located in the space area AD (a blind spot for the vehicle 7).
  • the image information processing apparatus 2 is configured to store a part of image information in an overlapping manner so as to eliminate the blind spots caused by the arrangement of the cameras in contact with P.
  • past accident information is further stored in the storage device 3, and this information is also used for risk determination.
  • past accident information statistical multi-stage risk information related to points where accidents frequently occur based on the number of accidents in the past can be stored and used as accident information.
  • step S1 shown in FIG. 6 the image information captured by the four cameras (cameras la, lb, 1c, and Id) installed in the vehicle 7 is synthesized, as described in FIG.
  • the image information processing apparatus 2 is expanded in the storage unit without blind spots.
  • step S2 the image recognition device 4 uses the image information stored in the storage unit of the image information processing device 2 and the image information (template information) of the obstacle stored in advance in the storage device 3. Compare and recognize the presence and type of obstacles around the vehicle 7.
  • step S3 the image recognition device 4 determines whether there is a danger such as collision or contact with the obstacle force vehicle 7 recognized in step S2, from the camera images that are continuously input. To do. In this case, if the sign information is used, it is possible to make a more accurate determination that the person is moving toward the intersection. If the image recognition device 4 determines that there is no risk (step S3: NO), it returns to step SI, and if it determines that there is a risk (step S3: YES), it proceeds to step S4.
  • step S4 the image recognition device 4 determines in which direction the dangerous obstacle is from the vehicle 7 based on the image information output from the image information processing device 2. (Calculation) To do.
  • step S5 the image recognition device 4 outputs alarm information including the type information of the obstacle and direction information indicating the direction in which the obstacle is located with reference to the vehicle 7 to the alarm generation device 5. To do.
  • step S6 the alarm generation device 5 receives the alarm information output from the image recognition device 4, and selects the type and level of the alarm signal in consideration of the vehicle information.
  • the localization is controlled by determining the level and phase of the warning signal using the internal DSP based on the direction information of the obstacle included in the warning information (angle information from the vehicle 7 to the direction in which the obstacle is located). Yes (in other words, determine the sound image position of the alarm sound and output the alarm).
  • the direction of the obstacle obtained by the image recognition as described above is converted (converted) so that it becomes a direction based on the driver's seat (for example, calculating the radial direction D3 in FIG. 2). It is possible to provide alarm signals that are more realistic.
  • the alarm generation device 5 drives each speaker according to the condition calculated by the DSP and localizes the sound image.
  • the localization of music or the like may be changed in the same manner, or the localization of only the alarm signal superimposed on the music or the like may be changed.
  • step S7 determines whether there is an obstacle. If there is an obstacle (step S9: NO), the process returns to step S1, and if there is no obstacle (step S9: YES), the information processing apparatus S is configured to end the process.
  • step S8 As an example of further using past accident information, it is conceivable to add step S8 and step S9.
  • step S8 the image recognition device 4 compares past accident information stored in advance in the storage device 3 with the current position of the vehicle 7 (own vehicle), and the vehicle 7 causes an accident. Determine the risk. For example, when it is determined that there are many accidents based on past accident information, it is possible to control the alarm signal level to be higher than normal.
  • the level can be changed by selecting the level of the alarm signal by judging the driving state of the host vehicle. For example, it is easy to detect whether you are driving for a long time or driving at night. Therefore, it is possible to control the alarm signal level to be higher than normal.
  • FIG. 6 Note that the flowchart of FIG. 6 is recorded in advance on a recording medium such as an optical disk, or recorded in advance via a network such as the Internet, and this is read out by a general-purpose microcomputer or the like. By executing this, it is possible to cause the general-purpose microcomputer or the like to function as the CPU according to the embodiment.
  • the information processing apparatus S has a risk of any direction of 360 degrees centered on the center of the own vehicle or the driver's seat.
  • the image recognition device 4 determines whether the alarm sound is transmitted to the alarm generation device 5, and the alarm generation device 5 controls the alarm sound to localize the sound image. Can be notified to the driver. Therefore, the driver can quickly confirm the actual condition with the naked eye, so that the danger avoidance operation such as a collision can be performed quickly.
  • the information processing device S can change the alarm information (change the sound image to be localized) according to the type information of the obstacle, in the case of an obstacle with a high degree of danger, While it is possible to quickly determine that the situation is an obstacle, in the case of an obstacle with a low risk, it is possible to prompt the driver to perform an appropriate driving operation based on an appropriate alarm sound, and the driving operation safety is also improved. Can be secured.
  • the information processing apparatus S changes (localizes) the alarm information based on the obstacle type information and the own vehicle information (that is, according to the combination of the obstacle type and the own vehicle type).
  • the sound image can be changed), so that appropriate driving operation can be further promoted, and the safety of driving operation can be further improved.
  • the information processing apparatus S can estimate the moving state (including the positional relationship) between the obstacle and the vehicle, it determines in advance the possibility of collision or contact between the obstacle and the vehicle. can do. As a result, the driver can perform a driving operation to avoid a collision or contact with an obstacle with a sufficient margin.
  • the information processing apparatus S can recognize the signs around the vehicle, the information processing apparatus S determines the risk based on the relationship between the signs and the obstacles, and localizes the sound image, thereby determining the driver. It is possible to allow driving operation to avoid collision or contact with obstacles by giving the driver time to spare.
  • the risk degree can be predicted in consideration of the situation around the vehicle and past accident information. It is possible to allow the driver to have a spare time with a good probability and to perform driving operations to avoid collision or contact with obstacles.
  • the information processing apparatus S processes the image information so as not to generate a blind spot when recognizing the situation around the vehicle, the information processing apparatus S reliably recognizes an obstacle around the driver and Driving operation for avoiding contact can be performed.
  • the information processing apparatus S determines that the risk of collision or contact is low when the vehicle goes straight, and the route of the vehicle is If a left turn is planned, it is possible to generate a warning information by judging that the risk of collision or contact is very high, and more appropriately avoid collision or contact with the obstacle to the driver. Driving operation can be performed.
  • the information processing apparatus S recognizes the display of the speed limit as the sign information, and the vehicle is moving at a speed higher than the limited speed, the information processing apparatus S It is also possible to generate alarm information by judging that the vehicle is very high, so that the driver can more appropriately drive the vehicle to avoid collision or contact with an obstacle.
  • the obstacle recognizes the sign information.
  • the information processing apparatus S recognizes the display of the parking lot, emergency parking lot, service area, or the notice information thereof as the sign information
  • the obstacle recognizes the sign information.
  • the information processing apparatus S is the same when it recognizes the display of school, kindergarten, nursery school, traffic light, or their notice information as sign information. Basically, when a child approaching the vehicle is recognized, it is judged that the risk is high and can generate alarm information.
  • the present invention can be applied to an aircraft, a ship, or a device that can be operated by a user as a moving body.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Traffic Control Systems (AREA)

Abstract

　障害物の種類や位置関係に応じてユーザへ報知する警報を変化させ、障害物との衝突等の危険を迅速に回避することを可能とする情報処理装置、情報処理装置の制御方法、制御プログラムおよび当該制御プログラムを記録した情報記録媒体を提供する。移動体に設けられ、ユーザに対して警報情報を報知するための情報処理を行う情報処理装置は、予め一つ以上の障害物の画像情報と、当該障害物の種別を示す種類情報を記憶する記憶装置と、前記移動体の外部の画像情報を撮像するカメラと、前記撮像された画像情報と前記記憶された前記障害物の画像情報とを比較した結果、障害物が存在すると判断された場合に、前記移動体を基準として当該障害物が位置する方向を示す方向情報とを演算する画像認識装置４と、前記演算された障害物への前記方向情報と、当該障害物の前記種類情報とに基づいて、前記警報情報を音像として定位させる警報発生装置５と、を備える。

Description

明 細 書
情報処理装置及びその制御方法等
技術分野
[0001] 本願は、情報処理装置、特に移動体に搭載した情報処理装置の技術分野に関す る。
背景技術
[0002] 近年、移動体の外部にある障害物の存在を認識させ、衝突の危険性がある場合に は、その旨を表示にて告知する情報処理装置が提供されるようになってきている。
[0003] 一例として、ナビゲーシヨン装置においては、ユーザが車両等を運転中に、衝突の 危険性を示す警報が表示装置に表示されるようになっている。
[0004] また、障害物の方向をユーザが容易に認知可能なように、当該障害物の存在する 方向に音像を定位させて警報する装置が提案されている。これによれば、ユーザが 表示装置を視認せずとも、当該ユーザに対して危険を直ちに認知させることができる
[0005] また、例えば、特許文献 1には、複数の音響マイクロホンによって他の車両のェンジ ン音等の外来音を採取し、採取した音信号に基づいて音源がある方向に音像を定 位させる車両警報装置が開示されている。これによれば、ユーザにより他の車両が視 覚的に見渡せない範囲にある場合にも、当該ユーザに対して他の車両の存在を認 知させることができる。
特許文献 1 :特開平 05— 85288号公報。
発明の開示
発明が解決しょうとする課題
[0006] し力 ながら、上述した従来の障害物に関して警報を発する装置においては、例え ば、障害物の種類を判別 (例えば障害物が人間、 自転車、 自動二輪車、小型自動車 、または大型自動車 (ダンプカー等）であることを判別）して、その判別結果に基づい て、警報レベルを変更することは行なわれていなかった。そのため、緊急にユーザが 対応しなければいけない状態か否かがユーザに認識されずに、必ずしもユーザが適 切な判断をできず、衝突等の危険を迅速に回避することが困難な場合が想定される
[0007] そこで、本願の課題の一例は、情報処理装置、特に移動体に搭載した情報処理装 置において、障害物の種類や移動状態 (位置関係を含む）に応じてユーザへ報知す る警報を変化させ、障害物との衝突等の危険を迅速に回避することを可能とする情 報処理装置、情報処理装置の制御方法、制御プログラムおよび当該制御プログラム を記録した情報記録媒体を提供することにある。
課題を解決するための手段
[0008] 本発明の請求項 1に記載の情報処理装置は、移動体に設けられ、ユーザに対して 警報情報を報知するための情報処理を行う情報処理装置において、予め、少なくと も一つ以上の障害物の画像情報と、当該障害物の種別を示す種類情報を記憶する 記憶手段と、前記移動体の外部の画像情報を撮像する画像情報撮像手段と、前記 画像情報撮像手段によって撮像された画像情報と、前記記憶手段に記憶された前 記障害物の画像情報とを比較する比較手段と、前記比較手段の比較による結果、前 記撮像された画像情報に、前記障害物が存在すると判断された場合には、前記移動 体を基準として当該障害物が位置する方向を示す方向情報とを演算する演算手段と 、前記演算された障害物への前記方向情報と、当該障害物の前記種類情報とに基 づいて、前記警報情報を音像として定位させる音像定位手段と、を備えることを特徴 とする。
[0009] 本発明の請求項 7に記載の情報処理装置の制御方法は、移動体に設けられ、ユー ザに対して警報情報を報知するための情報処理を行う情報処理装置の制御方法に おいて、予め、少なくとも一つ以上の障害物の画像情報と、当該障害物の種別を示 す種類情報を記憶する記憶工程と、前記移動体の外部の画像情報を撮像する画像 情報撮像工程と、前記画像情報撮像工程において撮像された画像情報と、前記記 憶工程において記憶された前記障害物の画像情報とを比較する比較工程と、前記 比較工程における比較による結果、前記撮像された画像情報に、前記障害物が存 在すると判断された場合には、前記移動体を基準として当該障害物が位置する方向 を示す方向情報とを演算する演算工程と、前記演算された障害物への前記方向情 報と、当該障害物の前記種類情報とに基づいて、前記警報情報を音像として定位さ せる音像定位工程と、を備えることを特徴とする。
[0010] 本発明の請求項 8に記載の制御プログラムは、移動体に設けられ、ユーザに対して 警報情報を報知するための情報処理を行うコンピュータを、予め、少なくとも一つ以 上の障害物の画像情報と、当該障害物の種別を示す種類情報を記憶する記憶手段 、前記移動体の外部の画像情報を撮像する画像情報撮像手段、前記画像情報撮像 手段によって撮像された画像情報と、前記記憶手段に記憶された前記障害物の画 像情報とを比較する比較手段、前記比較手段の比較による結果、前記撮像された画 像情報に、前記障害物が存在すると判断された場合には、前記移動体を基準として 当該障害物が位置する方向を示す方向情報とを演算する演算手段、及び前記演算 された障害物への前記方向情報と、当該障害物の前記種類情報とに基づいて、前 記警報情報を音像として定位させる音像定位手段として機能させることを特徴とする
図面の簡単な説明
[0011] [図 1]本実施形態における情報処理装置の概要構成例を示すブロック図である。
[図 2]本実施形態における音像定位位置、車両、およびドライバーとの位置関係を示 す平面図である。
[図 3]本実施形態における各カメラの撮像範囲を示した図である。
[図 4] (a)は本実施形態における各カメラの撮像範囲と重複した角度範囲を記憶部に 記憶する様子を示した図である。 （b)は本実施形態における各カメラの撮像範囲と重 複した角度範囲についての説明図である。
[図 5]本実施形態における車両の死角と撮像角度との関係を示した図である。
[図 6]本実施形態に係わる情報処理装置の動作の一例をあらわしたフローチャートで ある。
符号の説明
[0012] la、 lb、 lc、 Id…カメラ
2…画像情報処理装置
3…記憶装置 4…画像認識装置
5…警報発生装置
6…スピーカ
S…情報処理装置
発明を実施するための最良の形態
[0013] 次に、本発明に最適な実施の形態について、図面に基づいて説明する。
[0014] なお、本実施形態では、一例として、移動体を車両とし、当該車両に設けられた (搭 載された)情報処理装置について説明する。
[0015] 図 1は本実施形態における情報処理装置 Sの例を示すブロック図である。
[0016] 本実施形態における情報処理装置 Sは、ユーザに対して警報情報を報知するため の情報処理を行う装置であり、車両外部の画像情報を撮像する画像情報撮像手段 の一例としてのカメラ la、 lb、 lc、および ld、カメラ la、 lb、 lc、および Idによって 撮像された画像情報を合成、または画像情報を切り替える画像情報処理装置 2、障 害物等の画像情報等を予め記憶しておく記憶手段の一例としての記憶装置 3、比較 手段及び演算手段の一例としての画像認識装置 4、警報情報を音像として定位させ るための情報処理をする音像定位手段の一例としての警報発生装置 5および音像を 定位させるための音情報を放音するスピーカ 6 (例えば車両に設けられるオーディオ 用のスピーカ）を備えている。
[0017] なお、情報処理装置 Sは、例えば、車載用ナビゲーシヨン装置や AV (Audio Visual )装置等に組み込まれるものであってもよいし、独立して搭載されるものであってもよ い。
[0018] 次に、各構成要素について説明する。
[0019] カメラ la、 lb、 l c、および Idは CCD (Charge Coupled Device)または、 CM〇S(Co mplementary Metal Oxide Semiconductor)等の撮像素子を用いたデジタルカメラ力 S 使用される。
[0020] 複数のカメラを使用することによって車両搭載時に車両外部 360度の画像情報を 死角なく撮像できるようになつている（詳細は図 3および図 4において説明する）。
[0021] 画像情報処理装置 2は、カメラ la、 lb、 lc、および Idにおいて撮像された画像情 報を合成して車両の周囲 360度の画像情報に重複や不足部分が発生しなレ、ように 画像処理をする。また、車両の外部にある特定の物体の画像を処理するために、 4台 のカメラの画像を合成せずに、 1乃至 3台のカメラで撮像した画像を用レ、、車両外部 の物体の画像を処理する場合もある（車両の周囲 360度の画像処理を必要としない 場合)。
[0022] 記憶装置 3には、車両の外部に存在し、後述の処理において障害物として認識さ れるべき、人物、動物、 自転車、 自動二輪車、小型車両（小型自動車）、中型車両（ 中型自動車）、および大型車両（大型自動車)等の移動体の画像情報が、それらの 種別（例えば、人物（幼児または子供と、大人とが区別されている）、動物、 自転車、 自動二輪車、小型車両、中型車両、大型車両等の種別（言い換えれば、属性)）を示 す種類情報が対応付けられて予め記憶されている。
[0023] また、記憶装置 3は、 自車両が中型車両であるのか大型車両であるのかといつた自 車の種別（言レヽ換えれば、属性）を示す自車情報（自移動体情報の一例)も記憶して いる。力かる自車情報は、例えば、表示部（図示せず）に複数の車両候補 (小型車両 、中型車両、及び大型車両等）を表示させ、ユーザが操作部（図示せず）を操作して 選択することにより記憶装置 3に記憶される。
[0024] さらに、記憶装置 3は、道路上に描かれている横断歩道の標識、道路上に描かれ てレ、る横断歩道が近くにあることを示す標識、道路上に描かれてレ、る制限速度の表 示等の、案内標識 (道路の分岐点の予告、高速道路の出口、駐車場、本線表示、非 常駐車帯、サービスエリアおよびその予告等の標識）、警戒標識 (道路交差点あり、 右 (又は左)方屈曲または屈折あり、学校 ·幼稚園 ·保育所等あり、信号機あり、合流 交通あり、動物が飛び出すおそれあり等の標識）、規制標識 (進入禁止、一方通行、 特定車両 (歩行者、 自転車を含む、以下同様）の通行止め、特定車両専用道路、徐 行、一時停止等の標識)、指示標識 (横断歩道、 自転車横断帯、安全地帯、規制予 告、特定区間の始まりおよび終わり、停止線、中央線、駐車可、停車可等の標識）、 補助標識 (車両の種類、通学路、追越し禁止、踏切注意、動物注意、特定区域等の 標識)等の標識情報を記憶するようになっている。
[0025] 画像認識装置 4は、画像情報処理装置 2で処理された画像情報と、記憶装置 3に 記憶されてレ、る障害物の画像情報とを比較し、一致する画像が有るか否かを判断す る。この判断結果 (比較結果）、一致する画像が有る場合、つまり、撮像された画像情 報に、障害物が存在する (含まれる）場合には、当該障害物を認識し、次いで、画像 認識装置 4は、認識された障害物および自車両の移動状態を予測演算し、認識され た障害物が自車両と接触または衝突する可能性を判断する。
[0026] これは、例えば、車両外部に障害物を認識した場合に、その障害物および自車両 との相対関係、画像情報処理装置 2を介して入力された連続する複数の画像情報か ら得られる障害物の移動ベクトル等を用いて推測することが可能となる。
[0027] この推測の結果、上記障害物と自車両とが接触または衝突する可能性がある場合 には、画像認識装置 4は、自車両を基準として上記障害物が位置する方向を示す方 向情報を演算し、当該演算された障害物への方向情報と、当該障害物の種類情報（ 例えば、人物、若しくは中型車両等）とを含む警報情報を生成し、これを警報発生装 置 5に出力する。
[0028] 警報発生装置 5は、画像認識装置 4から入力された警報情報と、前述の自車情報と に基づいてスピーカ 6より発する音情報 (例えば、衝突音、サイレン音等）を確定し、さ らに、 自車両の中心付近またはドライバー（運転者）の座席位置を中心に、上記障害 物の位置 (存在)する方向に上記音情報 (すなわち、警報情報)を音像として定位さ せるための音場情報を図示しない DSP (Digital Signal Processor)等により算出し、ス ピー力 6を構成する個々のスピーカへ上記算出された音場情報を適切なレベル及び 位相の警報信号 (警告信号)として振り分ける。
[0029] スピーカ 6は、警報発生装置 5から入力される警報信号を放音する。車載用の場合 、スピーカ 6を単独で設けず、車載オーディオ用のスピーカと共用することができる。
[0030] このように構成することによって、例えば、障害物が人物または自転車などの場合 には、 自車両の種別（属性）に関わらず、衝突音でかつ音量の大きい警報信号を当 該障害物の方向へ定位させて発生させる。なぜならば人物又は自転車は、 自車両と 接触すると死亡事故につながる可能性が高いからであり、ドライバーが危険性を十分 に認識し、瞬間的に反応を開始することが望ましいからである。
[0031] また、障害物が人物である場合において、その人物がさらに幼児または子供である 場合には、さらに音量を大きくした警報信号を発生させる。なぜならば、車両と接触ま たは衝突を回避することを幼児または子供が適切に判断し行動することがより困難で あることが予想されるからである。
[0032] また、障害物が大型車両の場合であって、 自車両が中型車両である場合には、大 型車両と衝突した場合、中型車両が大型車両に押しつぶされてしまうことが考えられ る。この場合には、画像認識装置 4は、障害物が人物の場合に次いで危険であると 判断し、サイレン音等からなる警報信号を障害物の方向へ定位させて発生させる。
[0033] 他方、障害物も自車両と同じような中型車両の場合には、対象が大型車両よりは危 険度は小さいと考え、ピー音等の警報信号を障害物の方向へ定位させて発生させる
[0034] さらに、画像認識装置 4は、予め記憶装置 3に記憶されている標識情報と、カメラ 1 力 画像情報処理装置 2を介して入力される画像情報とがー致しているか否かをカロ 味して、警報情報を生成してもよい。
[0035] 例えば、 自車両の進行方向にある障害物が人物である場合には、次いで自車両の 進行方向の画像情報に例えば横断歩道に関する標識情報があるか否かを認識する
[0036] 画像認識装置 4が、記憶装置 3に記憶されてレ、る案内標識、警戒標識、規制標識、 指示標識、補助標識等の標識情報における横断歩道情報と、画像情報処理装置 2 から入力される画像情報とを比較した結果、画像情報処理装置 2から入力される画 像情報に横断歩道情報があると認識される場合には、画像認識装置 4は、人物が横 断歩道に向かおうとしているか否かを、画像情報処理装置 2を介して入力される複数 の画像情報から推測する。
[0037] 推測方法は様々な方法で処理することが可能である。一例として、画像認識装置 4 は、時間的に前後する画像情報から人物の移動方向および移動速さを演算する。こ の場合、画像認識装置 4は、人物の移動方向に横断歩道が存在する場合には、人 物の移動速さから人物が横断歩道に到達する時間を演算する。そして、画像認識装 置 4は、人物の場合と同様に、画像情報から演算された自車両の移動方向および移 動速さから自車両が横断歩道に到達する時間を演算する。 [0038] その結果、横断歩道に到達する時間が自車両と人物とで一致するか又はかなり接 近した値 (例えば 3秒以内）である場合には、人物と自車両が接触または衝突する可 能性があると推測し警報発生装置 5へ対応する警報情報を出力するように構成する とよレ、。
[0039] 次に、本実施形態に係るカメラ la、 lb、 lc、および Idの車両への取り付け位置、障 害物としての人、および警報情報としての警報音の音像定位位置との関係を、図 2の 平面図を用いて説明する。
[0040] 車両 7において、ドライバー 8が座席 9aに座り、ハンドル 10を操作して車両 7の運転 をする。 9bは助手席であり、 9cは後部座席である。
[0041] 車両 7の図 2における左上方（車両 7の左前方）にはカメラ laが取り付けられ、車両 7の図 2における左下方（車両 7の左後方）にはカメラ lbが取り付けられ、車両 7の図 2 における右下方（車両 7の右後方）にはカメラ lcが取り付けられ、車両 7の図 2におけ る右上方（車両 7の右前方）にはカメラ Idが取り付けられている。車両の 4方向に設け られたこれらのカメラ la、 lb、 lc、および Idによって撮像された画像情報によって車 両 7の周囲 360度（車両中心位置 C1から円 C2の円周）方向に存在する障害物（例 えば、人物 10)の画像情報が得られるように各カメラの向き、視野角は設定されてい る。
[0042] 図 2の場合、車両 7の左後方にいる人物 10は、カメラ lbまたはカメラ laによって撮 像され、画像認識装置 4によって人物であることが特定される。
[0043] 仮に、特定された人物 10が、車両 7の中心付近 C1を中心とした半径 r2の円周 C2 付近であって、半径方向 D2の線上にいると仮定する。
[0044] ここで、情報処理装置 Sは、ドライバー 8の体の中心付近 C3から半径 rl離れた円周 C4上の点 B1に警報情報の音像を定位させてもよい。警報情報の音像が定位される 点 B1は、円周 C2の半径方向 D2と円周 C4の半径方向 D3とが互いに平行となるよう に、情報処理装置 Sによって決定される。ドライバー 8は、音像が定位された点 B1方 向に障害物としての人物 10がいることを、聴覚で認識する。
[0045] もし、警報情報の音像が定位される点を、人物 10の存在する半径方向 D2と円周 C 4とが交差する点 B2にすると、ドライバー 8の体の中心付近 C3から点 B2の延長線上 方向 Dlに人物がいると誤認識される可能性がある。したがって、この誤認識を防ぐた めに、情報処理装置 Sが警報情報の音像を点 B1に定位させるのである。
[0046] 例えば、人物 10が存在する円周 C2の半径 r2が大きくなるほど、ドライバー 8が認識 する人物 10の方向の誤差が大きくなる（半径方向 D1と半径方向 D2とから形成され る角度 θ 1の端点 D11 (人物 10が存在しない位置の延長線上）と端点 D21 (人物 10 が存在する位置の延長線上）との距離は、半径 r2が大きくなるほど離れていく）ことか ら、ドライバー 8が認識する人物 10の方向の誤差（ドライバー C3から点 B2を介して端 点 D11の半径 D1方向延長線上の位置と、ドライバー 8の体の中心付近 C3から点 B1 を介して半径 D3方向延長線上の位置）とが大きくなることがわかる。
[0047] しかし、半径方向 D2と半径方向 D3とが平行であれば、人物 10が半径 r2の延長線 上のどの位置に存在している場合にも、ドライバー 8は人物 10が半径 rlの延長線上 の半径方向 D3に存在することを認識できるので、車両 7の中心付近 C1から人物 10 が存在する方向の位置認識がずれていくことにはならない。このこと力ら、情報処理 装置 Sは、警報情報の音像を定位させる位置をドライバー 8を中心とした円周 C4上に することが望ましいのである。
[0048] 次に、カメラ la、 lb、 lcおよび Idの各カメラの撮像範囲と重複する撮像範囲を車 両 7の平面図である図 3を用いて説明する。
[0049] 図 2と同様に、車両 7の図 3における左上方（車両 7の左前方）にはカメラ laが取り 付けられ、車両 7の図 3における左下方（車両 7の左後方）にはカメラ lbが取り付けら れ、車両 7の図 3における右下方（車両 7の右後方）にはカメラ lcが取り付けられ、お よび車両 7の図 3における右上方（車両 7の右前方）にはカメラ Idが取り付けられてい る。
[0050] カメラ laの撮像範囲は、一例として、視野角 Θ aで示されるおおよそ 120度の範囲 を図示している。視野角 Θ aの一方の辺は車両 7の左側面 7a (図 3において車両 7の 左辺）であり、他の辺は車両 7の前方斜め左方向の辺 7FLとなる。そして、カメラ laの 撮像範囲の中心方向を方向 Daで示している。
[0051] また、カメラ lbの撮像範囲は、一例として、視野角 Θ bで示されるおおよそ 120度の 範囲を図示している。視野角 6 bの一方の辺は車両 7の背面 7b (図 3において車両 7 の低辺）であり、他の辺は車両 7の後方斜め左方向の辺 7BLとなる。そして、カメラ lb の撮像範囲の中心方向を方向 Dbで示している。
[0052] また、角度 Θ abはカメラ laとカメラ lbとの撮像範囲で重複する範囲である。撮像範 囲を 2台のカメラで重複させるのは、カメラ laとカメラ lbとで撮像した範囲に死角（車 両 7の周囲で撮像できない部分）が発生することを防ぐためである。詳細については
、図 4を用いて説明する。
[0053] カメラ lcの撮像範囲は、一例として、視野角 Θ cで示されるおおよそ 120度の範囲 を図示している。視野角 Θ cの一方の辺は車両 7の右側面 7c (図 3において車両 7の 右辺）であり、他の辺は車両 7の後方斜め右方向の辺 7BRとなる。そして、カメラ lcの 撮像範囲の中心方向を方向 Dcで示している。
[0054] また、角度 Θ beはカメラ lbとカメラ lcとの撮像範囲で重複する範囲である。撮像範 囲を 2台のカメラで重複させるのは、カメラ lbとカメラ lcとで撮像した範囲に死角（車 両 7の周囲で撮像できなレ、部分）が発生することを防ぐためである。
[0055] カメラ Idの撮像範囲は、一例として、視野角 Θ dで示されるおおよそ 120度の範囲 を図示している。視野角 Θ dの一方の辺は車両 7の正面 7d (図 3において車両 7の上 辺）であり、他の辺は車両 7の前方斜め右方向の辺 7FRとなる。そして、カメラ Idの撮 像範囲の中心方向を方向 Ddで示している。
[0056] また、角度 Θ cdはカメラ lcとカメラ Idとの撮像範囲で重複する範囲である。撮像範 囲を 2台のカメラで重複させるのは、カメラ lcとカメラ Idとで撮像した範囲に死角（車 両 7の周囲で撮像できなレ、部分）が発生することを防ぐためである。
[0057] 同様に、角度 Θ daはカメラ Idとカメラ laとの撮像範囲で重複する範囲である。撮像 範囲を 2台のカメラで重複させるのは、カメラ Idとカメラ laとで撮像した範囲に死角（ 車両 7の周囲で撮像できなレ、部分）が発生することを防ぐためである。
[0058] カメラ 1の撮像範囲を示す視野角 Θ a、 Θ b、 Θ c、および Θ dの値は、おおよそ 120 度に限定されるわけではなく 90度以上の任意の値とすることが可能である。
[0059] 次に、図 4を用いて、カメラ la、 lb、 lcおよび Idの各カメラの撮像範囲と画像情報 処理装置 2内に設けられている記憶部（図示せず）への画像の記憶処理について説 明する。 [0060] 図 4 (a)は、カメラ la、 lb、 lcおよび Idの各カメラで撮像された範囲の画像情報と、 各カメラで重複して撮像された画像情報範囲とを模式的に示している。
[0061] カメラ laで撮像された画像情報は視野角 Θ aで示された領域であり、カメラ lbで撮 像された画像情報は視野角 Θ bで示された領域であり、カメラ lcで撮像された画像情 報は視野角 Θ cで示された領域であり、カメラ Idで撮像された画像情報は視野角 Θ d で示された領域である。
[0062] ここで、図 4 (a)， （b)における視野角 Θ a、 Θ b、 Θ c、 Θ dは図 3におけるカメラ la、 lb、 lc、 Idで撮像される視野角 Θ a、 Θ b、 Θ c、 Θ dと各々対応している。
[0063] また、図 4 (b)に示すように、カメラ laの Θ aaに対応する画像領域が A1であり、カメ ラ lbの Θ abに対応する画像領域が B2である。同様に、カメラ lbの Θ bbに対応する 画像領域が B1であり、カメラ lcの Θ beに対応する画像領域が C2であり、カメラ lcの Θ ccに対応する画像領域が C1であり、カメラ Idの Θ cdに対応する画像領域が D2で ある。
[0064] 図 4中、共通な角度範囲の画像情報、例えば、カメラ laの Θ aaに対応する画像情 報（画像情報領域 A1)と、カメラ lbの Θ abに対応する画像情報（画像情報領域 B2) とは、ともに画像情報処理装置 2の記憶部に記憶される。
[0065] したがって、図 3における 0度方向に位置する人物 10a、図 3における 90度方向に 位置する人物 10b、図 3における 180度方向に位置する人物 10c、および図 3におけ る 270度方向に位置する人物 10dは、それぞれ対応する複数のカメラの画像に含ま れた形で記憶される。例えば、 90度方向に位置する人物画像中、カメラ laおよび lb との重複部分は、そのままカメラ laおよび lbの画像として重複して記憶される。
[0066] 次に、図 5を用いて、画像情報領域 Al、画像情報領域 Bl、画像情報領域 Cl、お よび画像情報領域 D1を画像情報処理装置 2が記憶する必要がある理由にっレ、て説 明する。
[0067] 例えば、図 5における空間領域 ADは、図 3のカメラ laが撮像する角度 Θ aaに対応 する空間領域である。画像情報領域 A1に対応する画像情報には、図 4 (b)で示すよ うに、画像情報領域 B2との重複部分がある反面、画像情報領域 A1にしか含まれな い領域 ADがある。したがって、仮に、画像情報領域 A1に対応する画像情報を画像 情報処理装置 2が記憶しない場合には、空間領域 ADに対応する画像情報が欠落し てしまう。すなわち、空間領域 ADに位置する障害物を情報処理装置 Sが認識できな くなつてしまう（車両 7にとつて死角となる）ためである。
[0068] また、画像情報領域 B1についても同様のことがいえ、空間領域 BDに対応する画 像情報が死角となるので、カメラ lbの画像情報を記憶する必要がある。カメラ lcにつ いての空間領域 CD、カメラ Idについての空間領域 DDも同様である。
[0069] 前述のように、画像情報処理装置 2は、 P 接する各カメラの配置に起因する死角を なくすようにする為に一部の画像情報を重複して記憶するように構成している。
[0070] 次に、図 6を用いて、情報処理装置 Sにおける動作例についてフローチャートを用 いて説明する。
[0071] 本動作例においては、前述の説明に加え、過去の事故情報を記憶装置 3にさらに 記憶しており、この情報も危険度の判別に利用している。過去の事故情報としては、 過去に事故の起きた回数に基づいて事故が多発する地点に対して関連付けられた 統計的な多段階の危険度情報を事故情報として記憶し利用することができる。
[0072] 図 6に示すステップ S1において、車両 7に設置された 4台のカメラ（カメラ la、 lb、 1 c、および Id)で撮像された画像情報を合成し、図 5で説明したように死角なく画像情 報処理装置 2の記憶部に展開する。
[0073] ステップ S2において、画像認識装置 4は、画像情報処理装置 2の記憶部に記憶さ れた画像情報と、記憶装置 3に予め記憶されている障害物の画像情報 (テンプレート 情報）とを比較し、車両 7の周囲に存在する障害物の有無および種類を認識する。
[0074] ステップ S3において、ステップ S2において認識された障害物力 車両 7と衝突し、 または接触するなどの危険性があるか否かを、画像認識装置 4が連続的に入力され るカメラ画像から判断する。この際、標識情報を利用すると人物が交差点に向かって レ、るといった、より正確な判断が可能となる。画像認識装置 4が、危険性が無いと判 断した場合 (ステップ S3 : N〇）にはステップ SIに戻り、危険性が有ると判断した場合 (ステップ S3 : YES)にはステップ S4に進む。
[0075] ステップ S4におレ、て、画像認識装置 4は、危険性の有る障害物が車両 7からどの方 向にあるかを、画像情報処理装置 2から出力された画像情報に基づいて判別（演算） する。
[0076] ステップ S5において、画像認識装置 4は、上記障害物の種類情報と、車両 7を基準 として当該障害物が位置する方向を示す方向情報を含む警報情報を、警報発生装 置 5へ出力する。
[0077] ステップ S6において、警報発生装置 5は、画像認識装置 4から出力された警報情 報を受け、自車情報を考慮し警報信号の種類とレベルを選択する。次いで、警報情 報に含まれる障害物の方向情報 (車両 7から障害物の位置する方向への角度情報） より、内部の DSPを用いて警報信号のレベル及び位相を決定することで定位を制御 する (言い換えれば、警報音の音像位置を決めて警報を出力する)。この際、前述の ように画像認識により得られた障害物の方向を、運転席を基準とした方向になるよう に、方向換算（変換)する（例えば、図 2における半径方向 D3を演算することに該当 する)ことでより実体に沿った警報信号を提供することができる。そして、警報発生装 置 5は、 DSPで演算された条件に沿って各スピーカを駆動し、音像を定位させる。
[0078] なお、カーステレオ等の音響機器のスピーカと共用する場合には、音楽等も同様に 定位を変更したり、音楽等に重畳する警報信号のみの定位を変更してもよい。
[0079] 前述の一連の処理は、ステップ S7において、障害物がないと判断されるまで継続 する。障害物が有る場合 (ステップ S9 : NO)には、ステップ S 1に戻り、障害物が無い 場合 (ステップ S9 : YES)には、情報処理装置 Sは処理を終了するように構成してい る。
[0080] また、過去の事故情報をさらに利用する際の例としては、ステップ S8およびステツ プ S9を追加することが考えられる。
[0081] ステップ S8において、画像認識装置 4は、記憶装置 3に予め記憶されている過去の 事故情報と、現在の車両 7 (自車両）の位置とを比較し、当該車両 7が事故を起こす 危険度を判断する。例えば、過去の事故情報より事故多発の地点と判断される場合 には警報信号のレベルを通常より大きくするという制御が可能となる。
[0082] さらにステップ S9においては、自車両の運転状態を判断することで警報信号のレ ベルを選択することにより、該レベルを変更可能にしている。例えば、長時間運転、 夜間運転中であるか否かは容易に検出できるので、この情報を利用して反応が鈍く なっていると判断し、警報信号のレベルを通常より大きくしたりする制御を可能として いる。
[0083] なお、図 6のフローチャートを、光ディスク等の記録媒体に予め記録しておき、或い はインターネット等のネットワークを介して予め記録しておき、これを汎用のマイクロコ ンピュータ等により読み出して実行することにより、当該汎用のマイクロコンピュータ等 を実施形態に係わる CPUとして機能させることも可能である。
[0084] 以上説明したように、上記実施形態によれば、情報処理装置 Sは、カメラ画像認識 処理をした結果、 自車両の中心又は運転席を中心とした 360度のどの方向に危険が 生じたかを画像認識装置 4で判断し、警報情報を警報発生装置 5に伝え、警報発生 装置 5が警報音を制御して音像を定位させ、警報音の聞こえる方向によってどの方 向に危険が生じたかをドライバーに知らせることができる。したがって、ドライバ一はい ち早く肉眼で実態を確認できるので、衝突等の危険回避操作を迅速にすることがで きる。
[0085] また、情報処理装置 Sは、障害物の種類情報に応じて警報情報を変化（定位させる 音像を変化）させることができるので、危険度の高い障害物の場合には、ドライバー に緊急事態であることを迅速に判断させることができる一方、危険度の低い障害物の 場合には、ドライバーに適度な警報音に基づいて適切な運転操作を促すことができ 、運転操作の安全性も確保することができる。
[0086] また、情報処理装置 Sは、障害物の種類情報と自車情報に基づいて (つまり、障害 物の種別と、自車両の種別との組合せに応じて)警報情報を変化（定位させる音像を 変化）させることができるので、より一層、適切な運転操作を促すことができ、運転操 作の安全性を一層向上させることができる。
[0087] また、情報処理装置 Sは、障害物と車両との移動状態 (位置関係を含む）を推測す ることができるので、事前に障害物と車両との衝突または接触の可能性を判断するこ とができる。その結果、ドライバーが十分な余裕時間をもって、障害物との衝突または 接触を回避するための運転操作をすることができる。
[0088] また、情報処理装置 Sは、車両の周囲にある標識を認識することができるので、標 識と障害物との関係に基づいて危険度を判断し、音像を定位することによって、ドラ ィバーに余裕時間をもたせて、障害物との衝突または接触を回避するための運転操 作をさせること力 Sできる。
[0089] また、情報処理装置 Sは、過去の事故パターン等の事故情報を記憶する構成によ れば、車両の周囲の状況と過去の事故情報とを考慮した危険度の予測ができるので 、確率よくドライバーに余裕時間をもたせて、障害物との衝突または接触を回避する ための運転操作をさせることができる。
[0090] また、情報処理装置 Sは、車両の周囲の状況を認識する場合に死角が発生しない ように画像情報を処理するので、確実にドライバーの周辺にある障害物を認識して衝 突または接触を回避するための運転操作をさせることができる。
[0091] また、情報処理装置 Sは、障害物として人物が認識された場合において、車両が直 進してレ、る場合には衝突または接触する危険度が低いと判断し、車両の経路が左折 を予定している場合には衝突または接触する危険度が非常に高いと判断して警報情 報を生成することも可能であり、より適切にドライバーに障害物との衝突または接触を 回避するための運転操作をさせることができる。
[0092] また、情報処理装置 Sは、標識情報として速度制限の表示を認識した場合に、車両 が制限された速度以上で移動している場合に、障害物を認識した場合には、危険度 が非常に高いと判断して警報情報を生成することも可能なので、より適切にドライバ 一に障害物との衝突または接触を回避するための運転操作をさせることができる。
[0093] また、情報処理装置 Sは、標識情報として駐車場、非常駐車場、サービスエリア、ま たはそれらの予告情報の表示を認識した場合に、障害物がそれらの標識情報を認 識した付近から接近してくる場合には、危険度が高いと判断して警報情報を生成す ることも可能であり、より適切にドライバーに障害物との衝突または接触を回避するた めの運転操作をさせることができる。
[0094] また、情報処理装置 Sは、標識情報として学校、幼稚園、保育園、信号機、または それらの予告情報の表示を認識した場合にも同様である。基本的には車両の周囲に 接近してくる子供を認識した場合には、危険度が高いと判断して警報情報を生成す ること力 S望ましレ、。
[0095] また、上記実施形態については、移動体として車両を例にとって説明したが、これ に限定されるものではなぐ移動体として航空機、船舶、或いはユーザにより運転可 能な機器に対しても適用可能である。

Claims

請求の範囲
[1] 移動体に設けられ、ユーザに対して警報情報を報知するための情報処理を行う情 報処理装置において、
予め、少なくとも一つ以上の障害物の画像情報と、当該障害物の種別を示す種類 情報を記憶する記憶手段と、
前記移動体の外部の画像情報を撮像する画像情報撮像手段と、
前記画像情報撮像手段によって撮像された画像情報と、前記記憶手段に記憶され た前記障害物の画像情報とを比較する比較手段と、
前記比較手段の比較による結果、前記撮像された画像情報に、前記障害物が存 在すると判断された場合には、前記移動体を基準として当該障害物が位置する方向 を示す方向情報とを演算する演算手段と、
前記演算された障害物への前記方向情報と、当該障害物の前記種類情報とに基 づレ、て、前記警報情報を音像として定位させる音像定位手段と、
を備えることを特徴とする情報処理装置。
[2] 請求項 1に記載の情報処理装置において、
前記演算手段は、少なくとも 2つ以上の前記撮像された画像情報に基づいて前記 障害物および前記移動体の移動状態を予測演算し、前記障害物と前記移動体とが 接触する可能性がある場合に、前記音像定位手段は前記警報情報を音像として定 位させることを特徴とする情報処理装置。
[3] 請求項 1または 2に記載の情報処理装置において、
前記音像定位手段は、前記障害物の前記種類情報に応じて前記警報情報を変化 させることを特徴とする情報処理装置。
[4] 請求項 3に記載の情報処理装置において、
前記記憶手段は、自移動体の種別を示す自移動体情報を更に記憶しており、 前記音像定位手段は、前記障害物の前記種類情報と前記自移動体情報に基づい て前記警報情報を変化させることを特徴とする情報処理装置。
[5] 請求項 1乃至 4の何れか一項に記載の情報処理装置において、
前記方向情報に示される方向を、前記移動体の運転席を基準とした方向へ変換す る変換手段を有することを特徴とする情報処理装置。
[6] 請求項 1乃至 5の何れか一項に記載の情報処理装置において、
前記画像情報撮像手段が複数ある場合には、隣接する前記画像情報撮像手段は お互いに隣接する一部の角度範囲を重複して撮像することを特徴とする情報処理装 置。
[7] 移動体に設けられ、ユーザに対して警報情報を報知するための情報処理を行う情 報処理装置の制御方法にぉレヽて、
予め、少なくとも一つ以上の障害物の画像情報と、当該障害物の種別を示す種類 情報を記憶する記憶工程と、
前記移動体の外部の画像情報を撮像する画像情報撮像工程と、
前記画像情報撮像工程にぉレ、て撮像された画像情報と、前記記憶工程にぉレ、て 記憶された前記障害物の画像情報とを比較する比較工程と、
前記比較工程における比較による結果、前記撮像された画像情報に、前記障害物 が存在すると判断された場合には、前記移動体を基準として当該障害物が位置する 方向を示す方向情報とを演算する演算工程と、
前記演算された障害物への前記方向情報と、当該障害物の前記種類情報とに基 づレ、て、前記警報情報を音像として定位させる音像定位工程と、
を備えることを特徴とする情報処理装置の制御方法。
[8] 移動体に設けられ、ユーザに対して警報情報を報知するための情報処理を行うコ ンピュータを、
予め、少なくとも一つ以上の障害物の画像情報と、当該障害物の種別を示す種類 情報を記憶する記憶手段、
前記移動体の外部の画像情報を撮像する画像情報撮像手段、
前記画像情報撮像手段によって撮像された画像情報と、前記記憶手段に記憶され た前記障害物の画像情報とを比較する比較手段、
前記比較手段の比較による結果、前記撮像された画像情報に、前記障害物が存 在すると判断された場合には、前記移動体を基準として当該障害物が位置する方向 を示す方向情報とを演算する演算手段、及び 前記演算された障害物への前記方向情報と、当該障害物の前記種類情報とに基 づレ、て、前記警報情報を音像として定位させる音像定位手段として機能させることを 特徴とする制御プログラム。
請求項 8に記載の制御プログラムを記録した、コンピュータに読み取り可能な情報 記録媒体。
PCT/JP2006/325262 2006-12-19 2006-12-19 情報処理装置並びにその制御方法、制御プログラム及び記録媒体 WO2008075407A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
PCT/JP2006/325262 WO2008075407A1 (ja) 2006-12-19 2006-12-19 情報処理装置並びにその制御方法、制御プログラム及び記録媒体
JP2008550001A JP4745403B2 (ja) 2006-12-19 2006-12-19 情報処理装置及びその制御方法等

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2006/325262 WO2008075407A1 (ja) 2006-12-19 2006-12-19 情報処理装置並びにその制御方法、制御プログラム及び記録媒体

Publications (1)

Publication Number Publication Date
WO2008075407A1 true WO2008075407A1 (ja) 2008-06-26

Family

ID=39536046

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2006/325262 WO2008075407A1 (ja) 2006-12-19 2006-12-19 情報処理装置並びにその制御方法、制御プログラム及び記録媒体

Country Status (2)

Country Link
JP (1) JP4745403B2 (ja)
WO (1) WO2008075407A1 (ja)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010122997A (ja) * 2008-11-20 2010-06-03 Toyota Motor Corp 運転支援装置
WO2010092621A1 (ja) * 2009-02-13 2010-08-19 パイオニア株式会社 車線逸脱警告装置、車線逸脱警告装置の制御方法およびそのプログラム
JP2010204785A (ja) * 2009-03-02 2010-09-16 Omron Corp 安全監視装置および方法、並びに、プログラム
JP2010224787A (ja) * 2009-03-23 2010-10-07 Toyota Central R&D Labs Inc 対象物識別装置及びプログラム
JP2011525005A (ja) * 2008-05-21 2011-09-08 アーデーツエー・オートモテイブ・デイスタンス・コントロール・システムズ・ゲゼルシヤフト・ミツト・ベシユレンクテル・ハフツング 車両と歩行者との衝突を回避するための運転者援助システム
JP2012251943A (ja) * 2011-06-06 2012-12-20 Sumitomo Electric Ind Ltd 歩行者端末装置、コンピュータプログラム、及び、歩行経路の検索方法
WO2014024247A1 (ja) * 2012-08-06 2014-02-13 三菱電機株式会社 車両接近報知装置
US8674819B2 (en) 2010-12-23 2014-03-18 Denso Corporation Vehicular obstacle notification apparatus
CN104463145A (zh) * 2014-12-23 2015-03-25 上海斐讯数据通信技术有限公司 一种电子设备及障碍提醒方法
JP2015082844A (ja) * 2013-10-21 2015-04-27 ハーマン インターナショナル インダストリーズ， インコーポレイテッド 危険、又はその他の関心対象の事象があることを示すようにするオーディオパノラマの修正
WO2018180523A1 (ja) 2017-03-29 2018-10-04 ソニー株式会社 情報処理装置、情報処理方法、プログラム、及び、移動体
WO2019193830A1 (ja) * 2018-04-03 2019-10-10 株式会社Ｊｖｃケンウッド 警告処理装置、警告処理方法およびプログラム
JP2021157595A (ja) * 2020-03-27 2021-10-07 本田技研工業株式会社 走行支援システム、走行支援方法およびプログラム
WO2023189084A1 (ja) * 2022-03-30 2023-10-05 パナソニックＩｐマネジメント株式会社 情報提示方法、情報提示装置、車両制御方法及び車両制御装置

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014134503A (ja) * 2013-01-11 2014-07-24 Denso Corp 疲労軽減サポート装置
KR102303239B1 (ko) * 2015-01-20 2021-09-23 한국전자통신연구원 차량 충돌 방지 장치 및 차량 충돌 방지 방법
CN105160941A (zh) * 2015-09-30 2015-12-16 宇龙计算机通信科技(深圳)有限公司 信息提醒方法、信息提醒装置和移动终端
CN106200910A (zh) * 2016-06-29 2016-12-07 北京小米移动软件有限公司 障碍提醒方法及装置

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0585288A (ja) * 1991-09-27 1993-04-06 Nissan Motor Co Ltd 車両警報装置
JP2001001851A (ja) * 1999-06-16 2001-01-09 Honda Motor Co Ltd 車両用警報装置
JP2003081039A (ja) * 2001-09-12 2003-03-19 Toyota Central Res & Dev Lab Inc 環境危険度演算装置
JP2003157482A (ja) * 2001-11-19 2003-05-30 Mazda Motor Corp 車両用自動通報装置
JP2004030361A (ja) * 2002-06-27 2004-01-29 Koyo Seiko Co Ltd 車両用操舵装置
JP2004257924A (ja) * 2003-02-27 2004-09-16 Nissan Motor Co Ltd 対象物検出装置
JP2005008020A (ja) * 2003-06-18 2005-01-13 Denso Corp 車両用走行情報報知装置
JP2005125953A (ja) * 2003-10-24 2005-05-19 Alpine Electronics Inc 車載用物体認識システムおよびこれを用いた運転支援システム
JP2005524900A (ja) * 2002-05-07 2005-08-18 ローベルト　ボツシユ　ゲゼルシヤフト　ミツト　ベシユレンクテル　ハフツング 第１の対象物の事故の危険性を少なくとも１つの第２の対象物により判定する方法
JP2006019908A (ja) * 2004-06-30 2006-01-19 Denso Corp 車両用報知音出力装置及びプログラム
JP2006107148A (ja) * 2004-10-06 2006-04-20 Hitachi Ltd 音声情報提供装置

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0585288A (ja) * 1991-09-27 1993-04-06 Nissan Motor Co Ltd 車両警報装置
JP2001001851A (ja) * 1999-06-16 2001-01-09 Honda Motor Co Ltd 車両用警報装置
JP2003081039A (ja) * 2001-09-12 2003-03-19 Toyota Central Res & Dev Lab Inc 環境危険度演算装置
JP2003157482A (ja) * 2001-11-19 2003-05-30 Mazda Motor Corp 車両用自動通報装置
JP2005524900A (ja) * 2002-05-07 2005-08-18 ローベルト　ボツシユ　ゲゼルシヤフト　ミツト　ベシユレンクテル　ハフツング 第１の対象物の事故の危険性を少なくとも１つの第２の対象物により判定する方法
JP2004030361A (ja) * 2002-06-27 2004-01-29 Koyo Seiko Co Ltd 車両用操舵装置
JP2004257924A (ja) * 2003-02-27 2004-09-16 Nissan Motor Co Ltd 対象物検出装置
JP2005008020A (ja) * 2003-06-18 2005-01-13 Denso Corp 車両用走行情報報知装置
JP2005125953A (ja) * 2003-10-24 2005-05-19 Alpine Electronics Inc 車載用物体認識システムおよびこれを用いた運転支援システム
JP2006019908A (ja) * 2004-06-30 2006-01-19 Denso Corp 車両用報知音出力装置及びプログラム
JP2006107148A (ja) * 2004-10-06 2006-04-20 Hitachi Ltd 音声情報提供装置

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011525005A (ja) * 2008-05-21 2011-09-08 アーデーツエー・オートモテイブ・デイスタンス・コントロール・システムズ・ゲゼルシヤフト・ミツト・ベシユレンクテル・ハフツング 車両と歩行者との衝突を回避するための運転者援助システム
US9239380B2 (en) 2008-05-21 2016-01-19 Adc Automotive Distance Control Systems Gmbh Driver assistance system for avoiding collisions of a vehicle with pedestrians
JP2010122997A (ja) * 2008-11-20 2010-06-03 Toyota Motor Corp 運転支援装置
WO2010092621A1 (ja) * 2009-02-13 2010-08-19 パイオニア株式会社 車線逸脱警告装置、車線逸脱警告装置の制御方法およびそのプログラム
JP2010204785A (ja) * 2009-03-02 2010-09-16 Omron Corp 安全監視装置および方法、並びに、プログラム
JP2010224787A (ja) * 2009-03-23 2010-10-07 Toyota Central R&D Labs Inc 対象物識別装置及びプログラム
US8674819B2 (en) 2010-12-23 2014-03-18 Denso Corporation Vehicular obstacle notification apparatus
JP2012251943A (ja) * 2011-06-06 2012-12-20 Sumitomo Electric Ind Ltd 歩行者端末装置、コンピュータプログラム、及び、歩行経路の検索方法
WO2014024247A1 (ja) * 2012-08-06 2014-02-13 三菱電機株式会社 車両接近報知装置
JP2015082844A (ja) * 2013-10-21 2015-04-27 ハーマン インターナショナル インダストリーズ， インコーポレイテッド 危険、又はその他の関心対象の事象があることを示すようにするオーディオパノラマの修正
US10279739B2 (en) 2013-10-21 2019-05-07 Harman International Industries, Incorporated Modifying an audio panorama to indicate the presence of danger or other events of interest
CN104463145A (zh) * 2014-12-23 2015-03-25 上海斐讯数据通信技术有限公司 一种电子设备及障碍提醒方法
WO2018180523A1 (ja) 2017-03-29 2018-10-04 ソニー株式会社 情報処理装置、情報処理方法、プログラム、及び、移動体
JPWO2018180523A1 (ja) * 2017-03-29 2020-02-06 ソニー株式会社 情報処理装置、情報処理方法、プログラム、及び、移動体
US11317205B2 (en) 2017-03-29 2022-04-26 Sony Corporation Information processing apparatus, information processing method, program, and mobile object
JP7091311B2 (ja) 2017-03-29 2022-06-27 ソニーグループ株式会社 情報処理装置、情報処理方法、プログラム、及び、移動体
WO2019193830A1 (ja) * 2018-04-03 2019-10-10 株式会社Ｊｖｃケンウッド 警告処理装置、警告処理方法およびプログラム
JP2021157595A (ja) * 2020-03-27 2021-10-07 本田技研工業株式会社 走行支援システム、走行支援方法およびプログラム
US11893889B2 (en) 2020-03-27 2024-02-06 Honda Motor Co., Ltd. Travel assistance system, travel assistance method, and non-transitory computer-readable storage medium that stores program
WO2023189084A1 (ja) * 2022-03-30 2023-10-05 パナソニックＩｐマネジメント株式会社 情報提示方法、情報提示装置、車両制御方法及び車両制御装置

Also Published As

Publication number Publication date
JP4745403B2 (ja) 2011-08-10
JPWO2008075407A1 (ja) 2010-04-02

Similar Documents

Publication Publication Date Title
JP4745403B2 (ja) 情報処理装置及びその制御方法等
JP6677822B2 (ja) 車両制御装置
JP6515814B2 (ja) 運転支援装置
JP6564576B2 (ja) 自動車における近接体警報知装置
JP5004865B2 (ja) 自動車用障害物検知装置
JP5316698B2 (ja) 運転支援装置
JP4846426B2 (ja) 車両周囲監視装置
JP4687160B2 (ja) 周辺監視装置
US10976748B2 (en) Detecting and responding to sounds for autonomous vehicles
JP4371153B2 (ja) 自律移動装置
JP7115270B2 (ja) 自動運転システム
JP5024255B2 (ja) 運転支援装置
WO2015060354A1 (ja) 自動駐車制御装置および駐車支援装置
JP4051623B2 (ja) 車両危険度に応じた警報信号を出力する警報装置
JP4992227B2 (ja) 運転支援システムおよびプログラム
CN112292718B (zh) 用于转向辅助功能的信息、警告和制动请求生成
GB2538572A (en) Safety system for a vehicle to detect and warn of a potential collision
JP2005056372A (ja) 車両制御装置、車両制御方法および車両制御プログラム
JP2006309445A (ja) 運転支援装置
JP6690612B2 (ja) 車外報知装置
JP4055070B2 (ja) 車両用警報装置
KR20210127267A (ko) 차량 및 그 제어방법
US10347126B2 (en) Driving assistance device
JP4873255B2 (ja) 車両用報知システム
JP2018074286A (ja) 運転支援装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 06842866

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2008550001

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 06842866

Country of ref document: EP

Kind code of ref document: A1