JPH0757199A - Body recognition device - Google Patents
Body recognition deviceInfo
- Publication number
- JPH0757199A JPH0757199A JP5161886A JP16188693A JPH0757199A JP H0757199 A JPH0757199 A JP H0757199A JP 5161886 A JP5161886 A JP 5161886A JP 16188693 A JP16188693 A JP 16188693A JP H0757199 A JPH0757199 A JP H0757199A
- Authority
- JP
- Japan
- Prior art keywords
- information
- recognition
- image
- sound
- target object
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 claims description 12
- 238000010586 diagram Methods 0.000 description 3
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 241000981595 Zoysia japonica Species 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Landscapes
- Traffic Control Systems (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
Description
【０００１】[0001]
【産業上の利用分野】本発明は、車両等に用いて好適な
物体認識装置に関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an object recognition device suitable for use in vehicles and the like.
【０００２】[0002]
【従来の技術】近年、車両の周辺の物体に関する情報を
運転者に提供して、運転者の視界の補助を行なうことを
目的として、種々の物体認識装置が提案されている。た
とえば、運転者は、運転している車両の周囲で自車両に
近接してくる車両等について把握したいが、肉眼では見
にくかったり死角のため見えなかったりして、すべての
情報を把握することは困難である。そこで、ドライバの
見にくい遠方の物体やドライバの死角となる視界領域に
存在する物体の情報を画像情報により検出してドライバ
に伝達するようにした物体認識装置の提案がされてい
る。2. Description of the Related Art In recent years, various object recognition devices have been proposed for the purpose of providing a driver with information about objects around a vehicle to assist the driver's visual field. For example, a driver wants to know about a vehicle that is approaching his / her own vehicle around the driving vehicle, but it is difficult to see all the information because it is difficult to see with the naked eye or cannot be seen due to a blind spot. Is. Therefore, an object recognition device has been proposed in which information about a distant object that is difficult for the driver to see or an object that exists in the field of view that is a blind spot of the driver is detected by image information and transmitted to the driver.
【０００３】[0003]
【発明が解決しようとする課題】ところで、このような
従来の物体認識装置では、例えば前方視界が霧の場合
や、夜間において前照灯の照射力が足らない場合等に
は、十分な画像情報が得られず、物体の認識を十分に行
なえない。本発明は、上述の課題に鑑み創案されたもの
で、十分な画像情報が得られなくても物体の認識情報を
得ることができるようにした、物体認識装置を提供する
ことを目的とする。By the way, in such a conventional object recognizing device, sufficient image information can be obtained, for example, when the forward field of view is fog or when the irradiation power of the headlight is insufficient at night. Cannot be obtained and the object cannot be fully recognized. The present invention has been made in view of the above problems, and an object of the present invention is to provide an object recognition device capable of obtaining recognition information of an object even when sufficient image information cannot be obtained.
【０００４】[0004]
【課題を解決するための手段】このため、本発明の請求
項１記載の物体認識装置は、対象物体の画像を撮影する
撮影手段と、該対象物体の発する音を検出する音検出手
段と、該撮影手段と該音検出手段とを一体にそなえて該
撮影手段と該音検出手段とを該対象物体の方向に向ける
ことができる方向変更手段とをそなえるとともに、該撮
影手段からの画像情報を予め登録されている画像パター
ンと比較して該対象物体を画像認識する画像認識手段
と、該音検出手段からの音情報を予め登録されている音
色パターンと比較して物体を音色認識する音色認識手段
と、該画像認識手段からの画像認識情報と該音色認識手
段からの音色認識情報との両情報に基づいて該対象物体
を認識する物体認識手段と、該物体認識手段で認識され
た対象物体を模式的に表示する表示手段とをそなえてい
ることを特徴としている。Therefore, an object recognition apparatus according to claim 1 of the present invention comprises a photographing means for photographing an image of a target object, and a sound detecting means for detecting a sound emitted by the target object. The image pickup means and the sound detection means are integrally provided, and the image pickup means and the sound detection means are provided with a direction changing means capable of directing the direction toward the target object, and the image information from the image pickup means is provided. Image recognition means for recognizing an image of the target object by comparing it with a pre-registered image pattern, and timbre recognition for recognizing an object by comparing the sound information from the sound detecting means with a pre-registered timbre pattern. Means, an object recognition means for recognizing the target object based on both image recognition information from the image recognition means and timbre recognition information from the timbre recognition means, and a target object recognized by the object recognition means The schematic It is characterized in that it includes a display means for displaying.
【０００５】また、請求項２記載の本発明では、請求項
１記載の本発明において、該音検出手段が、高指向性の
マイクロフォンであることを特徴としている。また、請
求項３記載の本発明では、請求項１記載の本発明におい
て、該方向変更手段が、該撮影手段と該音検出手段とを
自動的に対象物体の方向に向けるように構成されている
ことを特徴としている。The present invention according to claim 2 is characterized in that, in the present invention according to claim 1, the sound detecting means is a microphone having high directivity. Further, in the invention according to claim 3, in the invention according to claim 1, the direction changing means is configured to automatically orient the photographing means and the sound detecting means toward a target object. It is characterized by being.
【０００６】[0006]
【作用】上述の本発明の請求項１記載の物体認識装置で
は、方向変更手段によって対象物体の方向に向けられた
撮影手段及び音検出手段により、対象物体の画像が撮影
されつつ、対象物体の発する音が検出される。そして、
この撮影手段からの画像情報については、画像認識手段
に送られて予め登録されている画像パターンと比較する
ことで、該対象物体を画像認識する。また、音検出手段
からの音情報は音色認識手段に送られて、予め登録され
ている音色パターンと比較することで物体を音色認識す
る。In the object recognition apparatus according to claim 1 of the present invention described above, while the image of the target object is captured by the image capturing means and the sound detecting means which are directed toward the target object by the direction changing means, Emitted sound is detected. And
The image information from the photographing means is sent to the image recognition means and compared with an image pattern registered in advance, whereby the target object is image-recognized. Further, the sound information from the sound detecting means is sent to the timbre recognition means, and the timbre of the object is recognized by comparing it with the timbre pattern registered in advance.
【０００７】その後、物体認識手段で、画像認識手段か
らの画像認識情報と音色認識手段からの音色認識情報と
の両情報に基づいて該対象物体を認識し、表示手段にお
いて、この物体認識手段で認識された該対象物体の情報
が模式的に表示される。また、請求項２記載の本発明で
は、該音検出手段による該対象物体の発する音の検出
は、高指向性のマイクロフォンにより行なわれている。Thereafter, the object recognition means recognizes the target object based on both the image recognition information from the image recognition means and the timbre recognition information from the timbre recognition means, and the display means recognizes the target object. Information of the recognized target object is schematically displayed. Further, in the present invention according to claim 2, the detection of the sound emitted by the target object by the sound detection means is performed by a microphone having high directivity.
【０００８】また、請求項３記載の本発明では、方向変
更手段により、該撮影手段と該音検出手段とが自動的に
対象物体の方向に向けられる。According to the present invention, the direction changing means automatically directs the photographing means and the sound detecting means toward the target object.
【０００９】[0009]
【実施例】以下、図面により、本発明の一実施例として
の物体認識装置について説明すると、図１はその構成を
模式的に示すブロック図、図２はその車両９への搭載例
を示す図、図３はその撮影手段及び音検出手段の方向変
更手段への搭載状態を示す分解斜視図であり、図４はそ
の動作を説明するためのフローチャートである。DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS An object recognition apparatus according to an embodiment of the present invention will be described below with reference to the drawings. FIG. 1 is a block diagram schematically showing the structure thereof, and FIG. 2 is a view showing an example of mounting it on a vehicle 9. 3 is an exploded perspective view showing the mounting state of the photographing means and the sound detecting means on the direction changing means, and FIG. 4 is a flow chart for explaining the operation thereof.
【００１０】さて、本実施例にかかる物体認識装置は、
図２に示すように、車両９のルーフ部に搭載された、撮
影手段としてのカメラ１と、音検出手段としての鋭
（高）指向性マイク２と、方向変更手段としての回転台
３とをそなえて構成されている。この物体認識装置の全
体は、図１に示すように構成されている。なお、撮影手
段１は対象物体の画像を撮影するいわゆるカメラであ
り、音検出手段２は、上述のように対象物体の発する音
を検出するいわゆる鋭指向性マイクであって、特に対象
物体の音のみを感度良く検出するために、指向性の強い
特性を有している。Now, the object recognition apparatus according to this embodiment is
As shown in FIG. 2, a camera 1 as a photographing means, a sharp (high) directional microphone 2 as a sound detecting means, and a turntable 3 as a direction changing means, which are mounted on a roof portion of a vehicle 9, are provided. It is made up of: The entire object recognition device is configured as shown in FIG. The image pickup means 1 is a so-called camera that takes an image of the target object, and the sound detection means 2 is a so-called sharp directional microphone that detects the sound emitted by the target object as described above. It has a strong directivity in order to detect only the high sensitivity.
【００１１】方向変更手段３は、アクチュエータをそな
えた回転台により構成され、この回転台３は、ここで
は、例えば図３に示すように、カメラ１を搭載される回
転台３ａと、カメラ１上に設置されて鋭指向性マイク２
を搭載される回転台３ｂとにより上下に分割されて構成
されている。これは、カメラ１よりも鋭指向性マイク２
の方が方向精度を要求されるので、回転台３ａをアクチ
ュエータ８ａにより回転させてカメラ１により対象物体
の画像を撮影できるような方向に設定し、この上で、回
転台３ｂをアクチュエータ８ｂにより微小に回転させて
鋭指向性マイク２を精度良く対象物体の方向へ向けて、
鋭指向性マイク２にて検出すべき対象物体からの音を的
確に検出できるようになっている。The direction changing means 3 is composed of a turntable equipped with an actuator. The turntable 3 is a turntable 3a on which the camera 1 is mounted, and a top of the camera 1 as shown in FIG. 3, for example. Installed in a sharp directional microphone 2
Is divided into upper and lower parts by a turntable 3b on which is mounted. This is a directional microphone 2 that is sharper than the camera 1.
Since the direction accuracy is required, the rotary table 3a is rotated by the actuator 8a so that the camera 1 can capture an image of the target object, and then the rotary table 3b is finely moved by the actuator 8b. By rotating the sharp directional microphone 2 toward the target object with high accuracy.
The sound from the target object to be detected by the sharp directional microphone 2 can be accurately detected.
【００１２】また、４は画像認識手段であり、この画像
認識手段４はカメラ１からの画像情報を予め登録されて
いる画像パターンと比較して対象物体を画像で認識し、
この画像認識情報（対象物体に関する方向情報及び種別
情報）を物体認識手段６に出力するものである。５は音
色認識手段であり、この音色認識手段５は、鋭指向性マ
イク２からの音情報を予め登録されている音色パターン
と比較して対象物体を音色で認識し、この音色認識情報
（対象物体に関する方向情報及び種別情報）を物体認識
手段６に出力するものである。Further, 4 is an image recognition means, which compares the image information from the camera 1 with a pre-registered image pattern to recognize the target object as an image,
This image recognition information (direction information and type information regarding the target object) is output to the object recognition means 6. Reference numeral 5 denotes a timbre recognition means. This timbre recognition means 5 compares the timbre information from the sharp directional microphone 2 with a timbre pattern registered in advance and recognizes the target object with a timbre. The directional information and the type information regarding the object) are output to the object recognizing means 6.
【００１３】なお、上記の画像認識手段４あるいは音色
認識手段５で認識する対象物体の種別情報によれば、具
体的には、乗用車，トラック，自動２輪及び自転車等を
区別できるようになっている。また、物体認識手段６
は、画像認識手段４からの画像認識情報と音色認識手段
５からの音色認識情報との両情報に基づいて、その対象
物体を認識するものである。Incidentally, according to the type information of the target object recognized by the image recognition means 4 or the tone color recognition means 5, specifically, it is possible to distinguish a passenger car, a truck, a motorcycle, a bicycle and the like. There is. Also, the object recognition means 6
Is for recognizing the target object based on both the image recognition information from the image recognition means 4 and the tone color recognition information from the tone color recognition means 5.
【００１４】具体的には、画像認識情報のみによって種
別情報まで特定できるような明確な物体認識の可能な対
象物体については、前述の方向情報及び種別情報を表示
手段７に出力する一方で、画像認識情報のみでは種別情
報まで特定できない対象物体の場合においては、当該対
象物体についての音色認識情報を入力し、対象物体の方
向情報及び種別情報を特定することにより物体を認識
し、これらの情報は表示手段７に出力されるようになっ
ている。Specifically, for a target object for which clear object recognition is possible such that only the image recognition information can identify the type information, the direction information and the type information described above are output to the display means 7, while the image is displayed. In the case of a target object for which the classification information cannot be specified only by the recognition information, the timbre recognition information about the target object is input, and the object is recognized by specifying the direction information and the classification information of the target object. It is adapted to be output to the display means 7.
【００１５】表示手段７は、物体認識手段６で認識され
た対象物体を、前述の物体認識手段６で認識した位置情
報や種別情報を含めて、例えばモニタにより模式的に表
示するものである。具体的には、モニタに映し出される
物体の形により、対象物体の種別情報を表したり、モニ
タに映し出される物体の位置により、対象物体の位置情
報を表すようになっている。The display means 7 schematically displays the target object recognized by the object recognition means 6, including the position information and type information recognized by the object recognition means 6 described above, for example, on a monitor. Specifically, the shape of the object displayed on the monitor represents the type information of the target object, and the position of the object displayed on the monitor represents the position information of the target object.
【００１６】本発明の一実施例としての物体認識装置
は、上述のように構成されているので、図４に示すフロ
ーチャートに従って動作する。つまり、ステップＡ１
で、回転台３ａの位置を設定する。即ち、アクチュエー
タ８ａが動作して、回転台３ａの位置を、カメラ１が画
像を撮影すべき方向に向くように設定する。Since the object recognition apparatus as one embodiment of the present invention is configured as described above, it operates according to the flowchart shown in FIG. That is, step A1
Then, the position of the turntable 3a is set. That is, the actuator 8a operates to set the position of the turntable 3a so that the camera 1 faces the direction in which an image should be taken.
【００１７】ステップＡ１で、回転台３ａの位置が設定
されると、ステップＡ２で、カメラ１が画像を撮影す
る。そして、ステップＡ３で、画像認識手段４がカメラ
１から入力した画像情報を、ここに格納されている画像
パターンとを比較して対象物体の種別を認識する。すな
わち、画像認識手段４では、カメラ１からの画像情報と
回転台３ａの位置情報のみで認識できる対象物体につい
ては、対象物体の方向情報と種別情報とを含む画像認識
情報として物体認識手段６に出力する。When the position of the turntable 3a is set in step A1, the camera 1 captures an image in step A2. Then, in step A3, the image recognition unit 4 compares the image information input from the camera 1 with the image pattern stored therein to recognize the type of the target object. That is, in the image recognition means 4, for the target object that can be recognized only by the image information from the camera 1 and the position information of the turntable 3a, the object recognition means 6 outputs the image recognition information including the direction information and the type information of the target object to the object recognition means 6. Output.
【００１８】そして、上記の画像情報のみでは、種別情
報まで特定できるような物体認識を行なうことができな
い物体については、ステップＡ４で、回転台３ｂを当該
物体の発する音が鋭指向性マイク２によって検出される
方向に設定する。なお、カメラ１よりも鋭指向性マイク
２の方が方向精度を要求されるので、回転台３ｂの位置
は、回転台３ａの設定される位置から、アクチュエータ
８ｂの動作に基づいて微小に回転させて、鋭指向性マイ
ク２を精度良く対象物体の方向に向くように設定され
る。Then, for an object for which it is not possible to recognize the object such that the type information can be specified only by the above image information, in step A4, the sound emitted by the object on the rotary table 3b is generated by the sharp directional microphone 2. Set the direction of detection. Since the sharp directional microphone 2 is required to have higher directional accuracy than the camera 1, the position of the turntable 3b is slightly rotated based on the operation of the actuator 8b from the position where the turntable 3a is set. The sharp directional microphone 2 is set so as to accurately face the target object.
【００１９】ステップＡ４で、回転台３ｂの位置が設定
されると、ステップＡ５で、鋭指向性マイク２が対象物
体の発する音を検出する。そして、ステップＡ６で、上
記の音情報を音色認識手段５が入力し、予め登録されて
いる音色パターンと比較することにより、対象物体を音
色で認識する。そして、ステップＡ７で、物体認識手段
６によって、画像認識手段４より入力する画像認識情報
と音色認識手段５より入力する音色認識情報とに基づい
て、対象物体の位置情報及び種別情報を特定して物体を
認識する。When the position of the turntable 3b is set in step A4, the sharp directional microphone 2 detects the sound emitted by the target object in step A5. Then, in step A6, the timbre recognition means 5 inputs the above timbre information and compares it with a timbre pattern registered in advance to recognize the target object by timbre. Then, in step A7, the object recognizing unit 6 specifies the position information and the type information of the target object based on the image recognition information input from the image recognizing unit 4 and the timbre recognition information input from the timbre recognition unit 5. Recognize an object.
【００２０】ステップＡ７で、対象物体の位置情報及び
種別情報を特定して物体が認識されると、この物体の方
向情報と種別情報を含む物体認識情報は表示手段７に出
力される。この物体認識情報は、たとえば、当該車両の
死角にある物体情報は画像認識情報を含むことができな
いが、音色識別情報のみとすることができる。従って、
この場合は音色識別情報のみで確定した物体認識情報と
することができ、逆に音色識別情報として出力すること
ができないが、画像識別情報として出力することができ
る物体情報についても、同様に画像識別情報のみで確定
した物体認識情報とすることができる。When the object is recognized by specifying the position information and the type information of the target object in step A7, the object recognition information including the direction information and the type information of the object is output to the display means 7. This object recognition information can be only timbre identification information, for example, although the object information at the blind spot of the vehicle cannot include image recognition information. Therefore,
In this case, the object recognition information can be determined only by the tone color identification information, and conversely cannot be output as the tone color identification information, but the object information that can be output as the image identification information is also similarly identified by the image identification information. The object recognition information can be determined only by the information.
【００２１】そして、ステップＡ８では、入力した物体
認識情報に基づいて、ドライバに対する表示が行なわれ
る。具体的には、モニタに映し出される物体の形によ
り、対象物体の種別情報を表す一方、モニタに映し出さ
れる物体の位置により、対象物体の位置情報を表すよう
に表示する。Then, in step A8, the display for the driver is performed based on the input object recognition information. Specifically, the type information of the target object is displayed by the shape of the object displayed on the monitor, while the position information of the target object is displayed by the position of the object displayed on the monitor.
【００２２】上述のような動作は、本実施例にかかる物
体認識装置では、当該車両が運行中においては、継続的
に行なわれている。したがって、物体に関する情報（走
行中の車両等に関する情報）を画像情報と音情報により
総合的に認識することにより、画像情報のみの場合より
も高い認識精度で、ドライバに伝達することができる利
点がある。The above-described operation is continuously performed in the object recognition apparatus according to this embodiment while the vehicle is in operation. Therefore, by comprehensively recognizing the information about the object (information about the running vehicle, etc.) with the image information and the sound information, there is an advantage that it can be transmitted to the driver with higher recognition accuracy than the case of only the image information. is there.
【００２３】さらに、例えば見通しの不良な交差点等で
画像情報では死角に存在する物体に対しても、音情報を
含んで認識することにより、当該死角に存在する物体の
接近等の認識を行なうことができる利点がある。なお、
本実施例にかかる物体認識装置において、回転台３ｂの
系（つまり鋭指向性マイク２）を回転台３ａの系（つま
りカメラ１）の上に、これに従属するように設定してい
るが、本発明の物体認識装置においては、回転台３ｂ
を、回転台３ａとは独立して設置し、回転台３ａの位置
とともに回転台３ｂの位置を調整するように構成でき
る。この時、特に回転台３ｂについては、カメラ１の情
報を得ながら、アクチュエータ８ａとアクチュエータ８
ｂとを同時に作動させて、鋭指向性マイク２にて検出す
べき位置に精度よく位置調整するように構成してもよ
い。Further, by recognizing an object existing in a blind spot in image information at an intersection with poor visibility, including sound information, it is possible to recognize the approach of the object existing in the blind spot. There is an advantage that can be. In addition,
In the object recognition apparatus according to the present embodiment, the system of the turntable 3b (that is, the sharp directional microphone 2) is set on the system of the turntable 3a (that is, the camera 1) so as to be subordinate thereto. In the object recognition device of the present invention, the turntable 3b
Can be installed independently of the turntable 3a, and the position of the turntable 3a can be adjusted together with the position of the turntable 3a. At this time, especially for the turntable 3b, while obtaining the information of the camera 1, the actuator 8a and the actuator 8
b and b may be operated at the same time to accurately adjust the position to the position to be detected by the sharp directional microphone 2.
【００２４】この場合にも、本実施例の場合と同様の効
果が得られる。Also in this case, the same effect as that of the present embodiment can be obtained.
【００２５】[0025]
【発明の効果】以上詳述したように、本発明の物体認識
装置によれば、対象物体の画像を撮影する撮影手段と、
対象物体の発する音を検出する音検出手段と、撮影手段
と音検出手段とを一体にそなえて撮影手段と音検出手段
とを対象物体の方向に向けることができる方向変更手段
とをそなえるとともに、撮影手段からの画像情報を予め
登録されている画像パターンと比較して対象物体を画像
認識する画像認識手段と、音検出手段からの音情報を予
め登録されている音色パターンと比較して物体を音色認
識する音色認識手段と、画像認識手段からの画像認識情
報と音色認識手段からの音色認識情報との両情報に基づ
いて対象物体を認識する物体認識手段と、物体認識手段
で認識された対象物体を模式的に表示する表示手段とを
そなえたことにより、物体に関する情報（走行中の車両
等に関する情報）を画像情報と音情報により総合的に認
識することにより、画像情報のみの場合よりも高い認識
精度で、ドライバに伝達することができる利点がある。As described above in detail, according to the object recognition apparatus of the present invention, the photographing means for photographing the image of the target object,
With a sound detecting means for detecting the sound emitted by the target object, and a direction changing means capable of directing the shooting means and the sound detecting means to the direction of the target object by integrally providing the shooting means and the sound detecting means, An image recognition means for recognizing the target object by comparing the image information from the photographing means with a pre-registered image pattern, and an object for comparing the sound information from the sound detection means with a pre-registered timbre pattern. A timbre recognition means for recognizing a timbre, an object recognition means for recognizing a target object based on both image recognition information from the image recognition means and timbre recognition information from the timbre recognition means, and an object recognized by the object recognition means By providing the display means for displaying the object schematically, by comprehensively recognizing the information about the object (information about the running vehicle etc.) from the image information and the sound information. With high recognition accuracy than the case of the image information only, there is the advantage that can be transmitted to the driver.
【００２６】また、音検出手段が、高指向性のマイクロ
フォンであることにより、より当該物体の発する音情報
をより正確に検出することができる利点がある。また、
方向変更手段が、撮影手段と音検出手段とを自動的に対
象物体の方向に向けるように構成されていることによ
り、ドライバの動作を必要とすることなく、物体認識情
報を提供できる利点がある。Further, since the sound detecting means is a microphone having high directivity, there is an advantage that the sound information emitted from the object can be detected more accurately. Also,
Since the direction changing unit is configured to automatically direct the image capturing unit and the sound detecting unit to the direction of the target object, there is an advantage that the object recognition information can be provided without requiring the operation of the driver. .
【図１】本発明の一実施例としての物体認識装置の構成
を模式的に示すブロック図である。FIG. 1 is a block diagram schematically showing a configuration of an object recognition device as an embodiment of the present invention.
【図２】本発明の一実施例としての物体認識装置の車両
への搭載例を示す図である。FIG. 2 is a diagram showing an example of mounting an object recognition device as an embodiment of the present invention on a vehicle.
【図３】本発明の一実施例としての物体認識装置におけ
る撮影手段と音検出手段との方向変更手段への搭載例を
示す分解斜視図である。FIG. 3 is an exploded perspective view showing an example of mounting the photographing means and the sound detection means on the direction changing means in the object recognition device as one embodiment of the present invention.
【図４】本発明の一実施例としての物体認識装置の動作
を説明するためのフローチャートである。FIG. 4 is a flowchart for explaining the operation of the object recognition device as one embodiment of the present invention.
１ カメラ（撮影手段） ２ 鋭指向性マイク（音検出手段） ３，３ａ，３ｂ 回転台（方向変更手段） ４ 画像認識手段 ５ 音色認識手段 ６ 物体認識手段 ７ 表示手段 ８ａ，８ｂ アクチュエータ ９ 車両 DESCRIPTION OF SYMBOLS 1 Camera (imaging means) 2 Sharp directional microphone (sound detection means) 3, 3a, 3b Rotating table (direction changing means) 4 Image recognition means 5 Sound color recognition means 6 Object recognition means 7 Display means 8a, 8b Actuator 9 Vehicle
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.6 識別記号 庁内整理番号 ＦＩ 技術表示箇所 Ｇ０６Ｔ 1/00 Ｈ０４Ｎ 7/18 Ｊ (72)発明者 見市 善紀 東京都港区芝五丁目33番８号 三菱自動車 工業株式会社内 (72)発明者 田中 忠夫 東京都港区芝五丁目33番８号 三菱自動車 工業株式会社内─────────────────────────────────────────────────── ─── Continuation of the front page (51) Int.Cl. 6 Identification number Office reference number FI Technical indication location G06T 1/00 H04N 7/18 J (72) Inventor Yoshinori Yoshiki Shiba 5-chome 33 Minato-ku, Tokyo No. 8 Mitsubishi Motors Industry Co., Ltd. (72) Inventor Tadao Tanaka 5-3 33-5 Shiba, Minato-ku, Tokyo Inside Mitsubishi Motors Co., Ltd.
Claims (3)
該対象物体の発する音を検出する音検出手段と、該撮影
手段と該音検出手段とを一体にそなえて該撮影手段と該
音検出手段とを該対象物体の方向に向けることができる
方向変更手段とをそなえるとともに、 該撮影手段からの画像情報を予め登録されている画像パ
ターンと比較して該対象物体を画像認識する画像認識手
段と、該音検出手段からの音情報を予め登録されている
音色パターンと比較して物体を音色認識する音色認識手
段と、該画像認識手段からの画像認識情報と該音色認識
手段からの音色認識情報との両情報に基づいて該対象物
体を認識する物体認識手段と、該物体認識手段で認識さ
れた対象物体を模式的に表示する表示手段とをそなえて
いることを特徴とする、物体認識装置。1. A photographing means for photographing an image of a target object,
A sound detection unit that detects a sound emitted from the target object, and a direction change capable of directing the shooting unit and the sound detection unit in the direction of the target object by integrally including the shooting unit and the sound detection unit. Means for recognizing the target object by comparing the image information from the photographing means with an image pattern registered in advance, and the sound information from the sound detecting means in advance. A tone color recognition means for recognizing an object in comparison with a tone color pattern existing therein, and an object for recognizing the target object based on both the image recognition information from the image recognition means and the tone color recognition information from the tone color recognition means An object recognition device, comprising: a recognition means and a display means for schematically displaying a target object recognized by the object recognition means.
ォンであることを特徴とする、請求項１記載の物体認識
装置。2. The object recognition device according to claim 1, wherein the sound detecting means is a microphone having high directivity.
出手段とを自動的に対象物体の方向に向けるように構成
されていることを特徴とする、請求項１又は２記載の物
体認識装置。3. The object according to claim 1, wherein the direction changing means is configured to automatically orient the photographing means and the sound detecting means toward a target object. Recognition device.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP5161886A JPH0757199A (en) | 1993-06-30 | 1993-06-30 | Body recognition device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP5161886A JPH0757199A (en) | 1993-06-30 | 1993-06-30 | Body recognition device |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH0757199A true JPH0757199A (en) | 1995-03-03 |
Family
ID=15743867
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP5161886A Pending JPH0757199A (en) | 1993-06-30 | 1993-06-30 | Body recognition device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH0757199A (en) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2018206210A (en) * | 2017-06-07 | 2018-12-27 | 富士通株式会社 | Collision accident suppression system and collision accident suppression method |
| WO2019039280A1 (en) * | 2017-08-22 | 2019-02-28 | ソニー株式会社 | Information processing apparatus, information processing method, program, and vehicle |
| WO2021235126A1 (en) * | 2020-05-19 | 2021-11-25 | ソニーグループ株式会社 | Information processing device and information processing method |
-
1993
- 1993-06-30 JP JP5161886A patent/JPH0757199A/en active Pending
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2018206210A (en) * | 2017-06-07 | 2018-12-27 | 富士通株式会社 | Collision accident suppression system and collision accident suppression method |
| WO2019039280A1 (en) * | 2017-08-22 | 2019-02-28 | ソニー株式会社 | Information processing apparatus, information processing method, program, and vehicle |
| US20200189506A1 (en) * | 2017-08-22 | 2020-06-18 | Sony Corporation | Information processing device, information processing method, program, and vehicle |
| JPWO2019039280A1 (en) * | 2017-08-22 | 2020-11-05 | ソニー株式会社 | Information processing equipment, information processing methods, programs, and vehicles |
| US11135987B2 (en) | 2017-08-22 | 2021-10-05 | Sony Corporation | Information processing device, information processing method, and vehicle |
| WO2021235126A1 (en) * | 2020-05-19 | 2021-11-25 | ソニーグループ株式会社 | Information processing device and information processing method |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7183944B2 (en) | Vehicle tracking and identification of emergency/law enforcement vehicles | |
| US7557691B2 (en) | Obstacle detector for vehicle | |
| US9445011B2 (en) | Dynamic rearview mirror adaptive dimming overlay through scene brightness estimation | |
| JP3102250B2 (en) | Ambient information display device for vehicles | |
| JP3560447B2 (en) | Image processing device | |
| JP4687411B2 (en) | Vehicle peripheral image processing apparatus and program | |
| CN102211547B (en) | Driving visual blind area detection system and method | |
| JP2005182306A (en) | Vehicle display device | |
| JP2004026144A (en) | Method for monitoring inside and outside of vehicle and vehicle provided with monitoring camera | |
| CN103609101A (en) | Vehicle periphery monitoring device | |
| JPWO2011043006A1 (en) | Control device and vehicle surrounding monitoring device | |
| JPH11296785A (en) | Vehicle number recognition system | |
| JP2004194071A (en) | Drive support image generator | |
| JP2006341713A (en) | System and method for changing irradiation direction of head lamp | |
| JPH1062162A (en) | Detector for obstacle | |
| JPH05297141A (en) | On-vehicle object detecting device | |
| JP3988551B2 (en) | Vehicle perimeter monitoring device | |
| JPH0757199A (en) | Body recognition device | |
| JPH11306489A (en) | Camera system | |
| KR20180094717A (en) | Driving assistance apparatus using avm | |
| JPH0541087Y2 (en) | ||
| JP3774448B2 (en) | In-vehicle image processing device | |
| WO2021182190A1 (en) | Imaging device, imaging system, and imaging method | |
| JPH0858470A (en) | Rear view confirmation device | |
| JP2003127772A (en) | On-vehicle dead angle image display apparatus |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 19991207 |