JP4847420B2 - Legged mobile robot - Google Patents

Legged mobile robot Download PDF

Info

Publication number
JP4847420B2
JP4847420B2 JP2007224754A JP2007224754A JP4847420B2 JP 4847420 B2 JP4847420 B2 JP 4847420B2 JP 2007224754 A JP2007224754 A JP 2007224754A JP 2007224754 A JP2007224754 A JP 2007224754A JP 4847420 B2 JP4847420 B2 JP 4847420B2
Authority
JP
Japan
Prior art keywords
axis
value
brightness
high
filter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2007224754A
Other languages
Japanese (ja)
Other versions
JP2009056528A (en
Inventor
貴通 嶋田
信男 檜垣
Original Assignee
本田技研工業株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 本田技研工業株式会社 filed Critical 本田技研工業株式会社
Priority to JP2007224754A priority Critical patent/JP4847420B2/en
Priority claimed from US12/230,129 external-priority patent/US8026955B2/en
Publication of JP2009056528A publication Critical patent/JP2009056528A/en
Application granted granted Critical
Publication of JP4847420B2 publication Critical patent/JP4847420B2/en
Application status is Active legal-status Critical
Anticipated expiration legal-status Critical

Links

Images

Description

この発明は脚式移動ロボットに関し、より具体的には視覚センサとしてのCCDカメラ(撮像素子)を備えると共に、それに太陽光などの光源が写り込まれるときも撮影対象を適切な輝度値で撮影するようにした脚式移動ロボットに関する。 This invention relates to a legged mobile robot, together with a more specifically comprises a CCD camera (image pickup device) as a visual sensor, it is also taken imaging object with appropriate luminance values ​​when incorporated-through light source such as sunlight on the legged mobile robot to.

従来、例えば下記の特許文献1において、太陽光などの高輝度の光源がカメラの画角内に写り込まれるとき、撮像素子面上に内部反射で発生するゴーストの位置、形状などを予測し、撮影画像のどの部分がゴーストか判定し、判定されたゴースト部分を撮影者の指定により、あるいは自動的に補正(低減処理)する技術が提案されている。 Conventionally, for example in the following Patent Document 1, when a high-intensity light sources such as sunlight is incorporated-through in the angle of view of the camera, the position of the ghost generated by internal reflection to the image pickup element on the surface, the shape and the like is predicted, which part of the captured image is determined whether the ghost, by designating the photographer the determined ghost portion, or is automatically corrected (reduction processing) technology has been proposed.
特開2006−129084号公報 JP 2006-129084 JP

特許文献1記載の技術はいわゆるデジタルカメラやビデオカメラであり、ユーザが人などの撮影対象に向けて操作して撮影するカメラについての技術であるが、その種のカメラを脚式移動ロボットに搭載して視覚センサとして使用することがある。 The technology described in Patent Document 1 is a so-called digital camera or a video camera, the user is a technique for camera for capturing photographed by operating toward the subject, such as a human, equipped with the type of camera the legged mobile robot it may be used as a visual sensor by.

そのような場合、図18に示す如く、太陽光やスポットライトなどの高輝度の光源がカメラの画角内に写り込まれるとき、光源の影響で暗部にいる本来撮影したい人などの撮影対象の輝度値が潰れてしまい、撮影対象の適切な輝度値で撮影できないことがある。 In such a case, as shown in FIG. 18, when the high-intensity light sources such as sunlight or spotlights are incorporated-through in the angle of view of the camera, the imaging target such as a person to be originally photographed who is in a dark portion due to the influence of the light source It will collapse the luminance value may not be taken at the appropriate luminance value of the photographic subject. 図18で実際には人は画面に右側に存在する。 In fact, people in Figure 18 is present on the right side of the screen.

従ってこの発明の目的は上記した課題を解決し、搭載するカメラ(撮像素子)に太陽光などの高輝度の光源が写り込まれるときも撮影対象を適切な輝度値で撮影するようにした脚式移動ロボットを提供することにある。 Legged therefore the object of the invention is as above-mentioned problems to resolve, but also taking a photographic subject with appropriate brightness value when the high brightness of the light source is incorporated-through, such as sunlight in a camera (imaging device) to be mounted and to provide a mobile robot.

上記した課題を解決するために、請求項1にあっては、基体と、前記基体に連結される頭部と、前記頭部に搭載されて撮影対象を含む外界からの入射光によって画像を撮像する撮像素子とを少なくとも備えた脚式移動ロボットにおいて、前記入射光の軸線上の位置と軸線外の位置の間で移動自在なフィルタと、 撮影対象の位置の輝度値の平均値から撮影状況が逆光であるか否か判断し、逆光であると判断されたときは、高輝度撮像部位を除去する必要があると判断する高輝度撮像部位除去要否判定手段と、前記高輝度撮像部位を除去する必要があると判断されたときは、画像の所定ブロックごとの輝度値の平均値から高輝度のブロック群を抽出し、前記高輝度のブロック群の分散値を算出することで高輝度撮像部位を抽出する高輝度撮像部位 To solve the problems described above, in the claim 1, imaging a substrate and a head coupled to the substrate, an image by the incident light from the outside, including a shooting target is mounted on the head in legged mobile robot having at least an image pickup device which includes a movable filter between the position outside the position and the axis of the axis of the incident light, the taking situation from the average value of the luminance value of the position of the imaging target it is determined whether a backlit, removed when it is determined to be a backlit includes a high-brightness imaging region removal necessity determining means determines that it is necessary to remove the high-brightness imaging region, the high-brightness imaging region when it is determined that it is necessary to extracts the blocks of high brightness from the average value of the luminance value of each predetermined block of the image, high-brightness imaging region by calculating the variance of the block group of the high intensity high-brightness imaging region to extract 出手段と、前記高輝度撮像部位が抽出されたとき 、前記フィルタを前記軸線上の位置に移動させて前記高輝度撮像部位の輝度を低減するフィルタ移動手段とを備える如く構成した。 Means out, when the high-brightness imaging region is extracted, and as configured and a filter moving means for the filter is moved to the position of the axis to reduce brightness of the high-brightness imaging region.

請求項2に係る脚式移動ロボットにあっては、前記フィルタが駆動機構を介して前記頭部の前面の前記軸線上の位置と前記頭部の上部の前記軸線外の位置の間で移動自在なバイザからなると共に、前記フィルタ移動手段は前記駆動機構を作動させて前記バイザを前記軸線上に移動させる如く構成した。 In the legged mobile robot according to claim 2, movable between said axis position outside of the upper position and the head of the axis of the front surface of the head said filter via a drive mechanism together consist of a visor, said filter moving means configured as to move the visor is operated said drive mechanism to said axis.

請求項3に係る脚式移動ロボットにあっては、前記駆動機構が、前記バイザに取り付けられたラックと、前記ラックに噛合するギヤと前記ギヤを駆動する電動モータから少なくともなる如く構成した。 In the legged mobile robot according to claim 3, wherein the drive mechanism comprises a rack attached to the visor, and configured as at least consists of an electric motor for driving the gear and the gear which meshes with the rack.

上記で「高輝度の入射光」とは光源などの輝度が比較的高い入射光を、「高輝度撮像部位」とは高輝度の入射光によって画像に撮像される部位を意味する。 The relatively high incident light intensity, such as a "high-brightness incident light of" a light source in the above, the "high-brightness imaging region" refers to a site to be imaged in the image by the high-brightness incident light.

請求項1に係る脚式移動ロボットにおいて、撮影対象を含む外界からの入射光の軸線上の位置と軸線外の位置の間で移動自在なフィルタと、 撮影対象の位置の輝度値の平均値から撮影状況が逆光であるか否か判断し、逆光であると判断されたときは、高輝度撮像部位を除去する必要があると判断する高輝度撮像部位除去要否判定手段と、高輝度撮像部位を除去する必要があると判断されたときは、画像の所定ブロックごとの輝度値の平均値から高輝度のブロック群を抽出し、高輝度のブロック群の分散値を算出することで高輝度撮像部位を抽出する高輝度撮像部位抽出手段と、高輝度撮像部位が抽出されたとき 、フィルタを軸線上の位置に移動させて高輝度撮像部位の輝度を低減するフィルタ移動手段とを備える如く構成したので、搭載する In the legged mobile robot according to claim 1, a filter which is movable between the position and the axis position outside of the axis of the incident light from the outside world, including a shooting target, from the average value of the luminance value of the position of the imaging target taking situation is judged whether or not the backlight, when it is determined to be a backlit includes a high-brightness imaging region removal necessity determining means determines that it is necessary to remove the high-brightness imaging region, high-brightness imaging region when it is determined that it is necessary to remove extracts the blocks of high brightness from the average value of the luminance value of each predetermined block of the image, high-brightness imaging by calculating the variance of the block group of the high luminance the high-brightness imaging region extraction means for extracting a portion, when the high-brightness imaging region is extracted, and as configured and a filter moving means for moving the on-axis position to reduce brightness of the high-brightness imaging region by the filter because, to mount 像素子に太陽光などの高輝度の光源が写り込まれるときも、フィルタを光軸上に位置させることで撮影対象を適切な輝度値で撮影することができる。 Even when a high intensity light source is incorporated-through, such as sunlight in the image element, it is possible to shoot the shooting target in the appropriate luminance value by positioning the filter on the optical axis. また、撮影状況が逆光であるか、順光であるかを判定し、逆光の場合には、高輝度ブロック群の輝度の高い部分の広がりを算出でき、これにより高輝度撮像部位を適確に抽出することができる。 Also, if taking situation is a backlight, it is determined whether a forward light, in the case of backlit can calculate the spread of high luminance portion of the high luminance block group, thereby to accurately high-brightness imaging region it can be extracted.

請求項2に係る脚式移動ロボットにあっては、フィルタが駆動機構を介して頭部の前面の軸線上の位置と頭部の上部の軸線外の位置の間で移動自在なバイザからなると共に、フィルタ移動手段は駆動機構を作動させてバイザを軸線上に移動させる如く構成したので、上記した効果に加え、バイザからなるフィルタを確実に光軸上に位置させることができる。 In the legged mobile robot according to claim 2, together with the filter consists of movable visor between positions outside the axis of the upper position and the head of the axis of the front surface of the head through a drive mechanism since the filter moving means is constituted as to move the visor by actuating the drive mechanism on the axis, in addition to the effects mentioned above, it can be located on ensuring that the optical axis of the filter composed of the visor.

請求項3に係る脚式移動ロボットにあっては、駆動機構が、バイザに取り付けられたラックと、ラックに噛合するギヤとギヤを駆動する電動モータから少なくともなる如く構成したので、上記した効果に加え、簡易な機構でありながら、バイザからなるフィルタを一層確実に軸線上に位置させることができる。 In the legged mobile robot according to claim 3, the drive mechanism, a rack attached to the visor, since at least comprising as constituting an electric motor for driving the gear and the gear meshing with the rack, to the effects mentioned above in addition, with a simple mechanism, it can be positioned on a filter composed of visor more reliably axis.

以下、添付図面に即してこの発明に係る脚式移動ロボットを実施するための最良の形態について説明する。 Hereinafter, the best mode for carrying out the legged mobile robot according to the invention will now be explained with reference to the attached drawings.

図1はこの実施例に係る脚式移動ロボットの正面図、図2は図1に示すロボットの側面図である。 Figure 1 is a front view of a legged mobile robot according to this embodiment, FIG. 2 is a side view of the robot shown in FIG.

図1に示すように、脚式移動ロボット(以下単に「ロボット」という)10は、左右2本の脚部12L,12R(左側をL、右側をRとする。以下同じ)を備える。 As shown in FIG. 1, the legged mobile robot (hereinafter simply referred to as "robot") 10 is provided with left and right legs 12L, 12R (the left side L, and the right and R. Hereinafter the same). 脚部12L,12Rは、基体14の下部に連結される。 Legs 12L, 12R is connected to the lower portion of the base 14. 基体14の上部には頭部16が連結されると共に、側方には左右2本の腕部20L,20Rが連結される。 With the upper portion of the base body 14 is connected a head 16, on the side left and right arm portions 20L, 20R are connected. 左右の腕部20L,20Rの先端には、それぞれハンド(エンドエフェクタ)22L,22Rが連結される。 Left and right arms 20L, the tip of the 20R, respectively Hands (end effectors) 22L, 22R are connected. この実施例にあっては、脚式移動ロボットとして、2本の脚部と2本の腕部を備えた、1.3m程度の身長を有するヒューマノイド型のロボットを例にとる。 In the this embodiment, as legged mobile robots, with two legs and two arms, taken as an example humanoid robot having a height of about 1.3 m.

図2に示すように、基体14の背部には格納部24が設けられ、その内部には電子制御ユニット(以下「ECU」と呼ぶ)26およびバッテリ(図示せず)などが収容される。 As shown in FIG. 2, the back of the body 14 storage unit 24 is provided, on its inside (hereinafter referred to as "ECU") electronic control unit 26 and a battery (not shown) and the like are accommodated.

図3は、図1に示すロボット10をスケルトンで表す説明図である。 Figure 3 is a diagram of the robot 10 shown in FIG. 1 with the skeleton. 以下、図3を参照し、ロボット10の内部構造について関節を中心に説明する。 Hereinafter, with reference to FIG. 3 will be described focusing on joint internal structure of the robot 10. 尚、図示のロボット10は左右対称であるので、以降L,Rの付記を省略する。 Incidentally, it omitted because the robot 10 illustrated is symmetric, since L, and Appendix of R.

左右の脚部12は、それぞれ大腿リンク30と下腿リンク32と足部34とを備える。 Left and right legs 12 are each provided with a thigh link 30 and the shank link 32 and the foot 34. 大腿リンク30は、股関節を介して基体14に連結される。 Thigh link 30 is connected to the body 14 via a hip joint. 図3では、基体14を基体リンク36として簡略的に示すが、基体リンク36は、関節38を介して上半部36aと下半部36bとが相対変位自在に構成される。 In Figure 3, but schematically illustrating a substrate 14 as a body link 36, base link 36, and the upper half 36a and lower half 36b is displaced relative freely configured via a joint 38.

大腿リンク30と下腿リンク32は膝関節を介して連結されると共に、下腿リンク32と足部34は足関節を介して連結される。 With thigh links 30 and shank link 32 are connected through a knee joint, lower leg link 32 and the foot unit 34 are connected via the ankle joint. 股関節は、Z軸(ヨー軸)回りの回転軸40と、Y軸(ピッチ軸)回りの回転軸42と、X軸(ロール軸)回りの回転軸44とから構成される。 Hip is comprised of a Z-axis (yaw axis) of the rotary shaft 40, Y-axis (pitch axis) and around a rotation axis 42, X axis (roll axis) of the rotary shaft 44. 即ち、股関節は3自由度を備える。 In other words, the hip joint is provided with a three-degree-of-freedom.

膝関節はY軸回りの回転軸46から構成され、1自由度を備える。 The knee joint consists Y axis of the rotary shaft 46, provided with one degree of freedom. 足関節はY軸回りの回転軸48とX軸回りの回転軸50とから構成され、2自由度を備える。 Ankle consists Y axis of the rotary shaft 48 and the X axis of the rotary shaft 50. comprises two degrees of freedom. このように、左右の脚部12のそれぞれには3個の関節を構成する6個の回転軸(自由度)が与えられ、脚部全体としては合計12個の回転軸が与えられる。 Thus, the left and right six rotating shaft constituting the three joints in each leg portion 12 (degrees of freedom) is given, a total of 12 of the rotary shaft is provided as a whole leg.

脚部12は、アクチュエータ(図示せず)によって駆動される。 Legs 12 are driven by an actuator (not shown). 脚部12を駆動する脚部アクチュエータは基体14と脚部12の適宜位置に配置された12個の電動モータからなり、上記した12個の回転軸を個別に駆動する。 Leg actuator for driving the legs 12 consists of 12 electric motor disposed at an appropriate position of the substrate 14 and the leg 12, individually drive the 12 rotary shafts as described above.

また、左右の腕部20は、それぞれ上腕リンク52と下腕リンク54を備える。 Further, it left and right arms 20 are each provided with an upper arm link 52 and the forearm link 54. 上腕リンク52は、肩関節を介して基体14に連結される。 Upper arm link 52 is connected to the body 14 through a shoulder joint. 上腕リンク52と下腕リンク54は、肘関節を介して連結されると共に、下腕リンク54とハンド22は手首関節を介して連結される。 Upper arm link 52 and the forearm link 54, while being connected through the elbow joint, the forearm link 54 and hand 22 are connected through a wrist joint.

肩関節はY軸回りの回転軸56とX軸回りの回転軸58とZ軸回りの回転軸60とから構成され、3自由度を備える。 Shoulder joint consists Y axis of the rotary shaft 56 and the X axis of the rotary shaft 58 and the Z-axis of the rotary shaft 60. comprises three degrees of freedom. 肘関節はY軸回りの回転軸62から構成され、1自由度を備える。 Elbow joint is composed of Y-axis of the rotary shaft 62, provided with one degree of freedom. 手首関節はZ軸回りの回転軸64とY軸回りの回転軸66とX軸回りの回転軸68とから構成され、3自由度を備える。 Wrist joint consists Z axis of the rotary shaft 64 and the Y-axis of the rotary shaft 66 and the X axis of the rotary shaft 68. comprises three degrees of freedom. このように、左右の腕部20のそれぞれには3個の関節を構成する7個の回転軸(自由度)が与えられ、腕部全体として合計14個の回転軸が与えられる。 Thus, seven rotary axes each of the left and right arms 20 constituting the three joints (DOF) is given, a total of 14 of the rotary shaft is provided as a whole arm portion.

腕部20も、脚部12と同様に図示しないアクチュエータによって駆動される。 Arms 20 are also driven by actuators (not shown) similarly to the legs 12. 腕部20を駆動する腕部アクチュエータは基体14と腕部20の適宜位置に配置された14個の電動モータからなり、上記した14個の回転軸を個別に駆動する。 Arm actuators for driving the arms 20 is made of 14 pieces of the electric motor disposed at an appropriate position of the substrate 14 and the arms 20, individually drive the 14 rotary shafts as described above. ロボット10は脚部アクチュエータあるいは腕部アクチュエータの動作が制御されて各回転軸が適宜な角度で駆動されることにより、脚部12あるいは腕部20に所望の動きが与えられる。 The robot 10 by the rotary shaft is controlled operation of the leg actuators or arm actuators are driven to appropriate angles, the desired motion is given to the legs 12 or the arms 20.

ハンド22には、5本の指部70が設けられる。 The hand 22, five fingers 70 are provided. 指部70は図示しないハンドアクチュエータによって動作自在とされ、腕部20の動きに連動して物を把持する、あるいは適宜な方向を指差すなどの動作が実行可能とされる。 Fingers 70 are freely operated by hand actuator (not shown), operations such as grasping an object in conjunction with the movement of the arm portion 20, or the appropriate direction Pointing can be performed.

頭部16は、基体14に首関節を介して連結される。 Head 16 is connected via a neck joint to the substrate 14. 首関節はZ軸回りの回転軸72とY軸回りの回転軸74とから構成され、2自由度を備える。 Neck joint consists Z axis of the rotary shaft 72 and the Y-axis of the rotary shaft 74. comprises two degrees of freedom. 回転軸72,74も、図示しない頭部アクチュエータによって個別に駆動される。 Rotary shaft 72 and 74 are also individually driven by a head actuator (not shown). 頭部アクチュエータの動作を制御して回転軸72,74を適宜な角度で駆動することにより、頭部16を所望の方向に向けることができる。 By controlling the operation of the head actuator for driving the rotary shaft 72 and 74 to appropriate angles, it is possible to direct the head 16 in a desired direction. 基体リンク36も関節38に配置されたアクチュエータ(図示せず)を駆動することで、上半部36aと下半部36bが相対回転させられる。 Body link 36 by driving the actuator disposed in the joint 38 (not shown), the upper half portion 36a and a lower half portion 36b is rotated relative.

左右の脚部12には、それぞれ力センサ(6軸力センサ)76が取り付けられ、床面から脚部12に作用する床反力の3方向成分Fx,Fy,Fzとモーメントの3方向成分Mx,My,Mzを示す信号を出力する。 The left and right legs 12 is respectively force sensor (six-axis force sensor) 76 mounted, three direction components of a floor reaction force acting on the leg portion 12 from the floor Fx, Fy, three directional components Mx of Fz and moments , and it outputs a signal indicative My, a Mz. 左右の腕部20にも同種の力センサ78がハンド22と手首関節の間で取り付けられ、腕部20に作用する外力の3方向成分Fx,Fy,Fzとモーメントの3方向成分Mx,My,Mzを示す信号を出力する。 Left and right in the arm portion 20 the force sensor 78 of the same type are mounted between the hand 22 and wrist joint, three directional components Fx of the external force acting on the arms 20, Fy, three directional components of Fz and moment Mx, My, and it outputs a signal indicating a Mz.

基体14には傾斜センサ80が設置され、鉛直軸に対する基体14の傾斜角度とその角速度などの状態量を示す信号を出力する。 The base body 14 inclination sensor 80 is installed, and outputs a signal indicating the state quantities such as the tilt angle and its angular velocity of the substrate 14 relative to the vertical axis. 頭部16には、人などの撮影対象を含む外界からの入射光によって撮像する2個(左右)のCCDカメラ(以下「カメラ」という)82が設置され。 The head 16, CCD camera (hereinafter referred to as "camera") of two for imaging by the incident light from the outside, including a shooting target, such as a human (left and right) 82 is installed. また、頭部16には、マイクロフォン84aとスピーカ84bからなる音声入出力装置84が設けられる。 Further, the head 16, audio input and output device 84 comprising a microphone 84a and a speaker 84b is provided.

図4は頭部16の部分断面図、図5はその正面図である。 Figure 4 is a partial sectional view of the head 16, FIG. 5 is a front view thereof.

図示の如く、頭部16は中央から後部にかけてヘルメット16aで被覆されると共に、前面はフェース16bで被覆される。 As illustrated, the head 16 is coated with a helmet 16a toward the rear from the center, the front is covered by the face 16b. ヘルメット16aは不透明で薄い硬質プラスチック材からなり、フェース16bは透明で薄い硬質プラスチック材からなる。 Helmet 16a is made from opaque thin hard plastic material, the face 16b is made of a transparent thin hard plastic material.

フェース16bの内側には、バイザ(フィルタ)16cが配置される。 Inside of the face 16b, visor (filter) 16c is disposed. バイザ16cも薄いプラスチック材で、カメラのND(Neutral Density)フィルタと同様、各波長の光を吸収、即ち、光量を減少させる特性を備えるプラスチック材からなる。 Visor 16c in thin plastic material, similar to the camera ND (Neutral Density) filter, absorbing light of each wavelength, i.e., made of a plastic material having the property of reducing the amount of light. 図4と図5に示す如く、バイザ16cは側面視においてフェース16bと同様、半円形状を呈すると共に、正面視において大略矩形状を呈する。 As shown in FIGS. 4 and 5, as with the face 16b in the visor 16c is a side view, with exhibits a semi-circular shape, it presents a generally rectangular shape in a front view.

バイザ16cには駆動機構16dが接続される。 The visor 16c drive mechanism 16d is connected.

図6は駆動機構16dの詳細を模式的に示す説明図である。 6 is an explanatory view showing details of the drive mechanism 16d schematically. 図示の如く、駆動機構16dは、バイザ16cの内側に両端付近において取り付けられて頭部の上下方向に延びる2本のラック16d1と、ラック16d1の上端付近に配置される1個の電動モータ16d2と、電動モータ16d2にユニバーサルジョイント16d3を介して接続されてラック16d1と噛合するピニオンギヤ16d4と、ラック16d1の両端に固定されたガイド16d5と、ガイド16d5を案内するガイドレール16d6(図5で図示省略)からなる。 As illustrated, the drive mechanism 16d is, two rack 16d1 and the attached extending in the vertical direction of the head in the vicinity of both ends on the inside of the visor 16c, 1 single electric motor 16d2 disposed near the upper end of the rack 16d1 and , a pinion gear 16d4 which is connected via a universal joint 16d3 to the electric motor 16d2 and rack 16d1 engaged, and by a guide 16d5 fixed to both ends of the rack 16d1, (not shown in FIG. 5) guide rails 16d6 for guiding a guide 16d5 consisting of.

かかる構成により、電動モータ16d2が駆動されて例えば正転方向に回転させられると、その回転力はユニバーサルジョイント16d3を介してピニオンギヤ16d4に伝えられ、ラック16d1を下方に駆動され、その下端が下部ストッパ16d11に当接する位置で止まる。 With this configuration, when the electric motor 16d2 is rotated being driven for instance in the forward direction, the rotational force is transmitted to the pinion gear 16d4 via a universal joint 16D3, driven rack 16d1 downwards, its lower end the lower stopper it stops at a position where it comes into contact with 16D11. 他方、電動モータ16d2が逆転方向に回転させられると、ラック16d1を上方に駆動され、その下端が上部ストッパ16d12に当接する位置で止まる。 On the other hand, when the electric motor 16d2 is rotated in the reverse direction, the driving rack 16d1 upward and stops at a position where its lower end abuts against the upper stopper 16D12.

ラック16d1はバイザ16cに固定されていることから、ラック16d1が下方に駆動されると、バイザ16cは下方に下ろされ、図4と図5に示す如く、フェース16bの内側でカメラ82のレンズ82aの前方位置、換言すれば人などの撮影対象を含む外界からの入射光の軸線82b上の位置に移動し、カメラ82にとってNDフィルタとして機能する。 Rack 16d1 is because it is fixed to the visor 16c, the rack 16d1 is driven downward, the visor 16c is lowered downward, as shown in FIGS. 4 and 5, the lens 82a of the camera 82 inside the face 16b front of, moved to a position on the axis 82b of the incident light from the outside, including a shooting target, such as a human in other words, to function as the ND filter taking the camera 82.

他方、電動モータ16d2が逆転させられてラック16d1が上方に駆動されると、バイザ16cはヘルメット10aの内部の待避位置(軸線外の位置。想像線16c1で示す)に後退させられ、そこに収容される。 On the other hand, when it electric motor 16d2 is reversed rack 16d1 is driven upward, the visor 16c is retracted inside the retracted position of the helmet 10a (the axis outside position. Shown in phantom 16c1), contained therein It is.

上記したセンサなどの出力は、ECU26(図2に示す)に入力される。 The output of such sensors described above are input to the ECU 26 (shown in FIG. 2). ECU26はマイクロコンピュータからなり、図示しないCPUや入出力回路、ROM、RAMなどを備える。 ECU26 is a microcomputer, includes a CPU and input and output circuits (not shown), ROM, RAM and the like.

図7は、ロボット10の構成をECU26の入出力関係を中心に示すブロック図である。 Figure 7 is a block diagram showing the configuration of the robot 10 mainly input-output relationship of the ECU 26.

図示の如く、ロボット10は、上記したセンサなどに加え、回転軸40などのそれぞれに配置されたロータリエンコーダ群86と、ジャイロセンサ88と、GPS受信器90と、人(撮影対象)が携行するICタグ92に無線系で接続されてICタグ92から発信されるICタグ情報を受信するICタグ信号受信器(リーダ)94を備える。 As illustrated, the robot 10 is added like the sensors described above, the rotary encoders 86 which are disposed in each of such the rotary shaft 40, a gyro sensor 88, a GPS receiver 90, a person (imaging object) is carried comprising an IC tag signal receiver (reader) 94 for receiving an IC tag information transmitted from the IC tag 92 is wirelessly connected based on the IC tag 92.

ロータリエンコーダ群86はそれぞれ、回転軸40などの回転角度、即ち、関節角度に応じた信号を出力する。 Each rotary encoders 86, the rotation angle of such rotation shaft 40, i.e., to output a signal corresponding to the joint angle. ジャイロセンサ88は、ロボット10の移動方向と距離に応じた信号を出力する。 The gyro sensor 88 outputs a signal corresponding to the moving direction and distance of the robot 10. GPS受信器90は衛星から発信された電波を受信し、ロボット10の位置情報(緯度と経度)を取得してECU26に出力する。 GPS receiver 90 receives a radio wave transmitted from a satellite, and outputs the ECU26 obtains the position information of the robot 10 (latitude and longitude). ICタグ信号受信器94は、ICタグ92に記憶されると共に、それから発信される識別情報(RFID(Radio Frequency ID)、具体的にはICタグ92の携行者である人を識別する識別情報)を無線系で受信してECU26に出力する。 IC tag signal receiver 94, the identification information while being stored in the IC tag 92, then it is transmitted (RFID (Radio Frequency ID), identification information for identifying the person who is the individual carrying the IC tag 92 in particular) and outputs to receive and ECU26 wirelessly system.

ECU26は、力センサ76、傾斜センサ80およびロータリエンコーダ群86の出力に基づいて歩容を生成して歩行制御を行う。 ECU26, the force sensor 76, and generates a gait performing walking control based on the output of the inclination sensor 80 and the rotary encoders 86. 具体的には、前記した脚部アクチュエータ(符号100で示す)の動作を制御して脚部12を駆動してロボット10を移動(歩行)させる。 Specifically, let the the leg actuators to control the operation of the (indicated by reference numeral 100) to drive the legs 12 move the robot 10 (walking). 歩容生成および歩行制御については本出願人が提案した特許第3726081号に記載されているので、詳細な説明は省略する。 Because it is described in Japanese Patent No. 3726081 proposed by the present applicant for gait generation and walking control, the detailed description thereof is omitted.

また、ECU26は、歩行制御などに付随して腕部アクチュエータ(符号102で示す)とハンドアクチュエータ(符号104で示す)の動作を制御して腕部20とハンド22を駆動すると共に、頭部アクチュエータ(符号106で示す)の動作を制御して頭部16の向きを調整する。 Further, ECU 26 is adapted to drive the arms 20 and the hand 22 by controlling the operation of the arm actuators in association with such walking control (indicated by reference numeral 102) and the hand actuator (shown at 104), the head actuator by controlling the operation of the (indicated by reference numeral 106) for adjusting the orientation of the head 16.

さらに、ECU26は、カメラ82の露出制御装置として動作、即ち、カメラ82の露出制御を実行すると共に、電動モータ16d2を介してバイザ16cの上下動を制御するフィルタ移動手段としても機能する。 Further, ECU 26 is operating as an exposure control device for a camera 82, i.e., with performing exposure control of the camera 82, also functions as a filter moving means for controlling the vertical movement of the visor 16c through the electric motor 16d2.

図8は、ECU26がカメラ82の露出制御装置およびフィルタ移動手段として動作するときの構成を機能的に示すブロック図である。 Figure 8 is a block diagram functionally showing the configuration when the ECU26 is operating as an exposure control device and filter moving means of the camera 82.

図示の如く、そのときのECU26の動作を機能別に見ると、ECU26は、ステレオ処理部26aと、ヒストグラム生成部26bと、露出パラメータ設定部26cと、高輝度撮像部位除去要否判定部26dと、高輝度撮像部位抽出部26eと、画像処理部26fと、行動生成部26gとからなる。 As shown, when viewed separately functional operation of the ECU 26 at that time, ECU 26 includes a stereo processor 26a, a histogram generation unit 26b, and the exposure parameter setting unit 26c, and the high-brightness imaging region removal necessity determining unit 26 d, the high-brightness imaging region extraction unit 26e, an image processing section 26f, consisting of a behavior generation unit 26 g.

ステレオ処理部26aは、移動体(ロボット)10に搭載され、撮影対象、具体的には人を含む外界からの入射光によって画像を撮像する、少なくとも2個のカメラ(撮像素子)82の出力を入力し、ステレオ処理によって入力した画像の視差から画素ごとの距離情報を算出する。 Stereo processor 26a is mounted on a mobile body (a robot) 10, the imaging object, and specifically for capturing an image by the incident light from the outside, including a human, the output of the at least two cameras (image pickup device) 82 type calculates the distance information for each pixel from the parallax image input by the stereo processing. カメラ82の画素の数は320×240とする。 The number of pixels of the camera 82 is set to 320 × 240. ステレオ処理部26aは、濃淡画像データから3次元(3D)データを算出して出力する。 Stereo processor 26a is 3-dimensional (3D) data calculated by the output from the gray-scale image data.

ヒストグラム生成部26bは撮影された画像の輝度値ヒストグラムを作成すると共に、距離ごとに、あるいは距離に応じて重み付けを行う。 With histogram generator 26b creates a luminance histogram of the photographed image, it performs weighting according to each distance or distances.

露出パラメータ設定部26cは、撮像したい距離の輝度値から露出パラメータ(より具体的にはシャッタ速度)を設定する。 Exposure parameter setting unit 26c (more specifically shutter speed) exposure parameters from the luminance value of the distance to be imaged to set the. カメラ82はロボット10に搭載されて視覚センサとして機能する関係上、自ら撮影対象を捜索して撮影することはなく、撮影画像から撮影対象を抽出しなければならない。 The camera 82 on the related functions as a visual sensor mounted on the robot 10 is not be taken by searching its own shooting target, it must be extracted shooting target from a captured image. そのため、カメラ82の絞りは最小に固定され、近距離、具体的には0.5mから2.5m程度で焦点が合うように調整される。 Therefore, the aperture of the camera 82 is fixed to a minimum, a short distance, in particular is adjusted to focus at 2.5m order of 0.5 m. 従って、露出パラメータとしてはシャッタ速度のみが調整自在とされる。 Therefore, only the shutter speed is freely adjusted as exposure parameters.

高輝度撮像部位除去要否判定部26dは、撮影対象を撮影するのに適正な露出を得るため、画像内に光源などの高輝度の入射光によって撮像された高輝度撮像部位を画像内から除去する必要があるか否か判定する。 High-brightness imaging region removal necessity determining unit 26d, in order to obtain a proper exposure for photographing a photographic subject, remove the high luminance high-brightness imaging region captured by the incident light such as the light source in the image from the image It determines whether it is necessary to.

高輝度撮像部位抽出部26eは、高輝度撮像部位を画像内から除去する必要があると判定された場合、高輝度撮像部位を抽出し、カメラ82のカメラパラメータに基づいてステージ座標系、即ち、画面の1点を原点とし、床面をx,y平面とする直交座標系での高輝度撮像部位の位置と角度を算出する。 High-brightness imaging region extraction unit 26e, when it is determined that it is necessary to remove the high-brightness imaging region from the image, a high brightness extracting imaging region, the stage coordinate system based on the camera parameters of the camera 82, i.e., a point of the screen as an origin, to calculate the floor x, the position and angle of the high-brightness imaging region in an orthogonal coordinate system with the y plane. 高輝度撮像部位の抽出は、輝度値の平均値がしきい値より大きい領域を高輝度撮像部位の領域と判定するか、あるいは画像の所定ブロックごとの輝度値の平均値を算出し、その値の最も大きいブロックを高輝度撮像部位の中心と判定することで行う。 High-brightness imaging region extraction calculates the average value of the luminance values ​​or to determine the region greater than the threshold as high-brightness imaging region areas, or the average value of the luminance value of each predetermined block of the image, the value the largest block carried out by determining a center of high-brightness imaging region.

画像処理部26fは、ロボット10が移動するとき、視覚センサとしての画像処理を行う。 The image processing section 26f, when the robot 10 moves and performs image processing as a visual sensor.

行動生成部26gは、高輝度撮像部位の輝度を低減するように頭部16のバイザ16cを上下動させる、即ち、フィルタ移動手段に相当する。 Behavior generation unit 26g is vertically moving the visor 16c of the head 16 so as to reduce the brightness of the high-brightness imaging region, i.e., corresponding to the filter moving means.

次いで、上記したECU26の動作をさらに詳細に説明する。 Then, further detailed description of the operation of the ECU26 described above.

図9は、図8と同様、ECU26がカメラ82の露出制御装置およびフィルタ移動手段として動作するときの処理を示すフロー・チャートである。 Figure 9 is similar to FIG. 8 is a flow chart showing the processing when the ECU26 is operating as an exposure control device and filter moving means of the camera 82. 図示のプログラムは所定時刻、例えば1msecから300msecの間の任意の時刻ごとに実行される。 The illustrated program is executed every given time during a predetermined time, for example from 1msec to 300 msec.

以下説明すると、S10において撮影対象、即ち、人がいるか否か判断する。 Explaining, shooting target in S10, i.e., determines whether there is a person. これは撮影対象が携行するICタグ92から発信される識別情報を受信するICタグ信号受信器94の出力から判断する。 This determines the output of the IC tag signal receiver 94 for receiving the identification information transmitted from the IC tag 92 of the imaging object is carried.

S10で肯定されるときはS12に進み、カメラ82で撮影対象を撮影して得た画像、即ち、画面の中の撮影対象の輝度値を算出し、S14に進み、撮影対象を含む画面全体の最大輝度値を算出する。 When the result in S10 is YES, the process proceeds to S12, the image obtained by photographing a photographing target by the camera 82, i.e., calculates the luminance value of the photographic subject in the screen, the process proceeds to S14, the whole screen including the imaging target It calculates the maximum luminance value. 尚、S10で否定されるときはS12の処理をスキップする。 Incidentally, it skips the processing of S12 when the determination is negative in S10.

次いでS16に進み、算出された輝度値同士を比較し、最大輝度値の方が大きいときはS18に進んで最大輝度値を高輝度撮像部位と判定すると共に、撮影対象の輝度値の方が大きいときはS20に進んでそれを高輝度撮像部位と判定する。 The program then proceeds to S16, and compares the calculated brightness value between the maximum luminance value when towards the maximum luminance value is large proceeds to S18 while determining the high-brightness imaging region, the larger the luminance value of the imaging target when determines that the high-brightness imaging region proceeds to S20. S10からS20までの処理は図5のステレオ処理部26aによって実行される。 Processes S10 to to S20 is performed by the stereo processor 26a of FIG. 次いでS22に進んで露出パラメータ設定処理を実行する。 Then performing exposure parameter setting processing proceeds to S22.

図10はその処理を示すサブ・ルーチン・フロー・チャートであり、前記したヒストグラム生成部26bと露出パラメータ設定部26cによって実行される。 Figure 10 is a subroutine flowchart showing the processing executed with the histogram generator 26b described above by exposure parameter setting unit 26c.

以下説明すると、S100において対象画素を抽出する。 Explaining, it extracts the target pixel in S100. ここで「対象画素」は、露出を合わせたい距離情報を持つ画素を意味する。 Where "pixel" means a pixel having the distance information to set the exposure. この対象画素の抽出は、撮影対象を撮影して得た画像の輝度値ヒストグラムを生成することに相当する。 Extraction of the target pixel is equivalent to generating a luminance value histogram of the image obtained by photographing a photographing target.

次いでS102に進み、抽出した画素の数が適宜設定されるしきい値Aを超えるか否か判断する。 Next, in S102, the number of the extracted pixels to determine whether more than a threshold value A that is set appropriately. 尚、しきい値Aは、露出を合わせたい距離での撮影対象の画面全体に占めるべき面積を算出して予め設定される値である。 The threshold A is the value that is set in advance by calculating the area to occupy the whole screen to be imaged at a distance to tune the exposure.

S102で肯定されるときはS104に進み、輝度値の平均値を以下の式1に従って算出する。 S102 in the flow proceeds to S104. When the result is affirmative, calculated according to Equation 1 below the average value of the luminance values.
輝度値の平均値=前フレーム平均値×(1−抽出画素数×係数/領域画素数) The average value of the luminance value = the previous frame average value × (1-extracting number of pixels × coefficient / region number of pixels)
+現フレーム平均値(距離考慮)×抽出画素数/領域画素数 + The current frame average (distance considered) × extracted pixels / area number of pixels
・・・式1 Equation 1

次いでS106に進み、カウンタ(アップカウンタ)の値をリセットする。 The program then proceeds to S106, resets the value of the counter (up-counter). 他方、S102で否定されるときはS108に進み、カウンタの値が適宜設定されるしきい値B未満か否か判断し、肯定されるときはS110に進み、輝度値の平均値を以下の式2に従って算出し、S112に進んでカウンタの値を更新(アップ)する。 On the other hand, the process proceeds to S108 if negative in S102, the value of the counter is determined whether less than a threshold value B that is appropriately set, the process proceeds to S110 when the result is affirmative, the following equation the average value of luminance values calculated according 2 to proceed to S112 updates the value of the counter (up).
輝度値の平均値=前フレーム平均値×(1−係数)+現フレーム平均値×係数 The average value of the luminance value = the previous frame average value × (1-factor) + the current frame average value × factor
・・・式2 Equation 2

またS108で否定されるときはS114に進み、輝度値の平均値を以下の式3に従って算出し、次いでS112に進む。 The process proceeds to S114 if negative in S108, is calculated according to Equation 3 below the mean value of luminance values, then the routine proceeds to S112.
輝度値の平均値=現フレーム平均値 ・・・式3 The average value of the luminance value = the current frame average value Equation 3

上の式1などで、「前フレーム平均値」は200msecごとに撮影されている画像(フレーム)の過去の数フレームの全(即ち、画面全体の)画素の輝度値を平均して得た値、「抽出画素数」はS100で抽出された画素の数、「領域画素数」は抽出画素を含む、全(即ち、画面全体の)画素の数、「係数」は経験で求められる補正係数、「現フレーム平均値」は今回撮影された全(即ち、画面全体の)画素の輝度値を平均して得た値である。 1 like the above equation, "previous frame average" past all (i.e., the entire screen) several frames of values ​​obtained by averaging the luminance values ​​of the pixels of the image (frame) is taken every 200msec "extraction pixel count" is the number of pixels extracted in S100, "region number of pixels" includes extraction pixel, the total (i.e., the entire screen) number of pixels, "factor" correction coefficient obtained by the experience, "current frame average value" is the total (i.e., the entire screen) was taken this time is a value obtained by averaging the luminance values ​​of the pixels. 前記したように画素は全て距離情報を持つことから、画素の輝度値を平均するときも距離を勘案して行う。 From having all pixel distance information as described above, performed by considering a distance greater when the average luminance value of the pixel.

次いでS116に進み、S104などで算出された輝度値の平均値が適宜設定されるしきい値C未満か、あるいはしきい値Dを超えるか否か判断する。 Next, in S116, the calculated average luminance value in such S104 is less than or threshold C is appropriately set, or it is determined whether more than a threshold D. しきい値C,Dは画像処理が可能な値を経験的に選択して設定される。 Threshold C, D are set by selecting a possible image processing values ​​empirically.

S116で肯定されるときはS118に進み、露出パラメータの一つであるシャッタ速度のシフト量(変更量)を以下の式4に従って算出(換言すれば、露出パラメータを設定)する。 S116 in the flow proceeds to S118. When the result is affirmative, (in other words, setting the exposure parameters) calculated shift amount of the shutter speed is one of the exposure parameters (change amount) in accordance with Equation 4 below to.
シフト量=(輝度値の平均値−しきい値C,D/2)×現シャッタ速度×係数1 Shift amount = (average value of the luminance value - threshold C, D / 2) × current shutter speed × coefficient 1
・・・式4 Equation 4

即ち、S118においては、輝度値の平均値がしきい値Cとしきい値Dの中央となるようにシャッタ速度のシフト量を算出する。 That is, in S118, the average value of the luminance values ​​to calculate the shift amount of the shutter speed so that the center of the threshold C and threshold D. 尚、係数1は経験から設定される補正係数である。 The coefficient 1 is a correction coefficient which is set from experience. 前記したようにカメラ82の絞りは最小に固定され、露出パラメータとしてはシャッタ速度のみが調整自在とされる。 Aperture of the camera 82 as described above is fixed minimized, only the shutter speed is freely adjusted as exposure parameters.

他方、S116で否定されるときはS120に進み、基準値を以下の式5に従って算出し、S122に進み、算出された基準値などを用いてシャッタ速度のシフト量(変更量)を以下の式6に従って算出(換言すれば、露出パラメータを設定)する。 On the other hand, the process proceeds to S120 if negative in S116, the reference value is calculated according to equation 5 below, the process proceeds to S122, the following equation shift amount of the shutter speed (change amount) by using a calculated reference value (in other words, setting the exposure parameters) calculated according to 6. 式5,6において係数2,3も経験から設定される補正係数である。 A correction coefficient which is set from the coefficient 2,3 and experience in Formula 5,6.
基準値=輝度値の平均値−(有効輝度しきい値を超える画素数―有効輝度しきい値未満の画素数)/係数2 ・・・式5 The average value of the reference value = brightness value - (the number of pixels greater than the effective brightness threshold - the number of pixels less than the effective luminance threshold) / factor 2 Equation 5
シフト量=(輝度値の平均値−基準値)×現シャッタ速度×係数3 Shift amount = (average value of the luminance value - reference value) × current shutter speed × factor 3
・・・式6 Equation 6

図10の処理を説明すると、この実施例においては、例えば図11に示すように太陽光などの外光が採光窓から入射して画面に写り込まれるような状況において撮影対象を適切な輝度値で撮影することを課題とする。 To describe the process in FIG. 10, in this embodiment, for example, a suitable luminance value imaging target in a situation where the external light such as sunlight is incorporated-through to the screen by entering from the lighting window as shown in FIG. 11 in it is an object of the present invention to shoot.

図11に示す撮影状況において、図12に示すような通常の輝度値ヒストグラムを算出すると、白潰れ(飽和)している画素が黒詰まり(感度不足)している画素を大きく上回っているため、それに基づいて露出調整すると、撮影対象が黒詰まりを起こしてしまう。 In shooting situation shown in FIG. 11, when calculating the normal luminance value histogram as shown in FIG. 12, since the white crushed (sat.) To which pixels are far above the pixel that is black jam (insufficient sensitivity), When the exposure is adjusted based thereon, photographic subject would cause black clogging. また、図11では撮影対象が画面中央付近から若干左に位置しているため、画面中央付近の輝度情報に基づいて露出調整しても同様の結果となる。 Further, since the imaging target in FIG. 11 is positioned to the left slightly from the vicinity of the center of the screen, resulting same even when exposure adjustment based on the luminance information of the vicinity of the center of the screen.

そこで、図13に示すような視差画像を求め、図14に示すような距離によって重み付けを行った輝度値ヒストグラムを算出する。 Therefore, it obtains a parallax image as shown in FIG. 13, calculates the luminance value histogram by weighting the distance as shown in FIG. 14. 図14に示すヒストグラムでは、カメラ82に近い画素の値を重視した場合、白潰れと黒詰まりの頻度が同程度となり、露出調整が最適となる。 In the histogram shown in FIG. 14, when emphasizing the values ​​of pixels close to the camera 82, the frequency of white crushing and black clogging becomes comparable, exposure adjustment is optimal. 図11は、そのような距離による重み付けを行った輝度値ヒストグラムに基づいて露出調整した場合を示す。 Figure 11 shows a case where the exposure adjustment based on the luminance value histogram by weighting according to such distance.

さらに、図10の処理において、図11に示すように撮影対象が画面内に一旦存在した後、経時的に移動して画面から消える事態も生じる。 Further, in the processing of FIG. 10, it is once present in the photographic subject within the screen as shown in FIG. 11, also arise a situation disappear from time to move to the screen. そこで、S102で肯定されて撮影対象が画面内に存在するか、あるいはS102で否定されてもS108でカウンタの値がしきい値B(例えば数フレーム)未満と判断されるとき、輝度値の平均値は現フレームの輝度値の平均値と前フレームのそれとの加重平均を算出するようにした(S104あるいはS110)。 Therefore, when the affirmative is photographed subject in S102 or present in the screen, or the value of the counter at S108 be negative in S102 is judged to be less than the threshold value B (for example, several frames), the average luminance value values ​​were calculate the weighted average of that of the average value and the previous frame of the luminance values ​​of the current frame (S104 or S110). 尚、S108で否定されてしきい値を超えるときは過去の撮影データと切り離し、画面全体の画素の平均値を輝度値の平均値をする(S114)。 Note that when is negative in S108 to exceed the threshold value separately from the past imaging data, the average value of the entire screen pixel the average value of the luminance value (S114).

さらに、図10の処理においては撮影対象の存在が否定され、画面の最大輝度値が高輝度撮像部位と判定される場合も含まれる。 Furthermore, the presence of the imaging target in the processing of FIG. 10 is negative, but also the case where the maximum luminance value of the screen is determined that the high-brightness imaging region. そのような場合もS108で否定されてカウンタの値がしきい値Bに達した時点でS114に進み、画面全体の画素の平均値が輝度値の平均値とされる(S114)。 The value of such a case is also negative in S108 the counter advances to the S114 when the threshold is reached B, the average value of the entire screen pixel is the average value of the luminance value (S114).

シャッタ速度のシフト量について説明すると、輝度値の平均値がしきい値Cとしきい値Dの間にあるときは、平均値が2つのしきい値の中央に入るように式4に従ってシフト量が算出される(S118)。 Referring to the shift amount of the shutter speed, when the average value of the brightness values ​​is between the threshold C and threshold D, the shift amount in accordance with Equation 4 so that the average value falls in the middle of the two thresholds It is calculated (S118).

他方、然らざる場合、式5に従って最初に基準値を算出する。 On the other hand, if natural Lazar, it calculates a first reference value according to Equation 5. 図14を参照して式5を説明すると、「有効輝度しきい値を超える画素数」は例えば輝度値25を超える画素数であり、「有効輝度しきい値未満の画素数」は例えば輝度値225未満の画素数である。 Describing the formula 5 with reference to FIG. 14, the "effective luminance pixel count exceeding the threshold" is the number of pixels exceeding the luminance value 25 for example, "the number of pixels less than the effective brightness threshold" for example luminance value is the number of pixels less than 225. 即ち、例えば輝度値25を超えて225未満の画素の平均値を輝度平均値から減算して得た差を基準値とし、しきい値C,Dの1/2に代え、その基準値を輝度平均値から除算することでシャット速度の変更量を算出する。 That is, for example, an average value of 225 less than the pixel exceeds the luminance value 25 and a reference value difference obtained by subtracting from the luminance average value, the threshold value C, instead of 1/2 and D, the luminance and the reference value calculating a change amount of the shut velocity by dividing the average value.

図9フロー・チャートの説明に戻ると、次いでS24に進み、図10フロー・チャートのS118あるいはS122で算出されたシャッタ速度のシフト量(換言すれば設定された露出パラメータ)が所定範囲内にあるか否か判断し、肯定されるときは算出されたシフト量に従って図示しないルーチンでシャッタ速度を変更して撮影することで適正な輝度値で撮影できることから、以降の処理をスキップする。 Returning to the explanation of FIG. 9 flowchart, the program proceeds to S24, the shift amount of the shutter speed calculated in S118 or S122 of FIG. 10 flowchart (exposure parameter set in other words) is within a predetermined range it is determined whether or not, when the result is affirmative from the routine (not shown) in accordance with a shift amount calculated can be taken at an appropriate luminance values ​​by photographing by changing the shutter speed, the remaining steps are skipped.

他方、S24で否定されるときはS26に進み、高輝度撮像部位除去要否判定処理を実行する。 On the other hand, when the result is negative in S24 the process proceeds to S26, to perform the high-brightness imaging region removal necessity determination process.

図15はその処理を示すサブ・ルーチン・フロー・チャートであり、前記した高輝度撮像部位除去要否判定部26dによって実行される。 Figure 15 is a subroutine flowchart showing the process executed by the high-brightness imaging region removal necessity determining unit 26d described above.

以下説明すると、S200において撮影対象の位置情報があるか否か判断する。 Explaining, it determines whether there is position information of the imaging target in S200. これは図9フロー・チャートのS12あるいは図10フロー・チャートの処理で得られた情報から判断する。 This determines from the information obtained in the process in S12 or 10 flow chart of FIG. 9 flowchart.

S200で肯定されるときはS202に進み、撮影対象の位置の輝度値の平均値を算出する一方、否定されるときはS204に進み、画面の中の比較的近距離、例えば数m以内の画素の輝度値の平均値を算出する。 S200 in the flow proceeds to S202. When the result is affirmative, while calculating the average of the intensity values ​​of the position of the imaging target, the process proceeds to S204 when the result is negative, a relatively short distance, the pixels within a few m for example in the screen to the calculated average value of luminance values. S200からS204の処理は、図9フロー・チャートのS10からS14の処理に類似する。 Processing from S200 S204 is similar to the processing in S14 from S10 in Fig. 9 flowchart.

次いでS206に進み、算出された輝度値の平均値がしきい値E未満か否か判断する。 Next, in S206, the calculated average luminance value is determined whether less than a threshold value E. S206の判断は撮影状況が逆光であるか、あるいは順光であるかを判定するためであることから、しきい値Eはそれを判定するに足る値が適宜設定される。 Since S206 the determination is to determine whether taking situation is backlit, or a frontlighting, threshold E is a value sufficient to determine it is set appropriately.

S206で肯定されるときは逆光であって撮影対象などが黒詰まりして輝度値が低く、従って撮影対象を撮影するのに適正な露出を得られないと判断されることからS208に進み、高輝度撮像部位を除去する必要があると判定する。 Such as the imaging target A backlit when the result is affirmative low luminance value and a black jam in S206, hence the process proceeds to S208 because it is determined that does not give the correct exposure for shooting the shooting target, high It determines that it is necessary to remove brightness imaging region. 他方、S206で否定されるときは、そのような不都合が見られないことからS210に進み、高輝度撮像部位を除去する必要がないと判定する。 On the other hand, if negative in S206, the process proceeds to S210 resulted in no such disadvantage, it is determined that it is not necessary to remove the high-brightness imaging region.

図9フロー・チャートの説明に戻ると、次いでS28に進み、高輝度撮像部位を除去する必要がないと判定されたか否か判断し、肯定されるときは以降の処理をスキップすると共に、否定されるときはS30に進み、高輝度撮像部位抽出処理を実行する。 Returning to the explanation of FIG. 9 flowchart, the program proceeds to S28, together with the high brightness is judged whether or not it is determined that there is no need to remove the imaging region, the remaining steps are skipped and when the result is affirmative, a negative Rutoki proceeds to S30, to perform the high-brightness imaging region extraction processing.

図16はその処理を示すサブ・ルーチン・フロー・チャートであり、前記した高輝度撮像部位抽出部26eによって実行される。 Figure 16 is a subroutine flowchart showing the process executed by the high-brightness imaging region extraction unit 26e described above.

以下説明すると、S300において画面のブロックごとの輝度値の平均値を算出する。 Explaining, calculates the average value of the luminance value of each block of the screen in S300. ここで「ブロック」とは例えば10×10の画素を意味する。 Here, the "block" refers to pixels, for example 10 × 10. カメラ82は320×240の画素数を備えることから、それらについて上記した単位面積ごとに輝度値の平均値を算出する。 The camera 82 because it comprises a number of 320 × 240 pixels, they will be calculating the average of the intensity values ​​for each unit area as described above.

次いでS302に進み、輝度が高い、より具体的には適宜設定されるしきい値を超える高輝度のブロック群を抽出し、S304に進み、それらの分散値を算出、より具体的には輝度が高い部分の広がりを算出する。 Next, in S302, the brightness is high, to extract a higher luminance blocks of specifically exceeds the threshold to be set as appropriate, the process proceeds to S304, calculates their variance, and more specifically to the luminance to calculate the spread of the high part.

次いでS306に進み、算出された分散値が適宜設定されるしきい値Fを超えるか否か判断する。 Next, in S306, the calculated variance value is determined whether more than a threshold F which is set appropriately. S306で肯定されるときは図8の右側に示すように明るい領域が広く広がっていると判断されることからS308に進み、カメラ82から入力されるカメラパラメータに基づいて高輝度ブロック群の中央位置を算出する。 If positive in S306 proceeds to step S308 since the bright area, as shown on the right side of FIG. 8 is judged to be widely spread, the center position of the high-luminance blocks based on the camera parameters input from the camera 82 It is calculated.

次いでS310に進み、高輝度撮像部位の中心角度、即ち、算出された中央位置に対する角度を算出し、S312に進み、高輝度撮像部位のサイズが大と判定し、その判定結果とS310で算出された高輝度撮像部位の中心角度を出力する。 The program then proceeds to S310, the central angle of the high-brightness imaging region, i.e., calculates the angle with respect to the calculated center position, the flow proceeds to S312, the size of the high-brightness imaging region is determined to a large, calculated in the determination result and S310 and it outputs the center angle of the high-brightness imaging region. このように、輝度値の平均値がしきい値Fより大きいとき、その領域を高輝度撮像部位の領域と判定し、ステージ座標系での高輝度撮像部位の位置と角度を算出する。 Thus, when the average value of the luminance value is greater than the threshold value F, the area is determined as the high-brightness imaging region area, it calculates the position and angle of the high-brightness imaging region of the stage coordinate system.

他方、S306で否定されるときはS314に進み、高輝度ブロック群の中で平均値が最大となるブロックを抽出し、S316に進み、高輝度撮像部位の中心角度、即ち、抽出された平均値が最大となるブロックに対する角度をカメラパラメータに基づいて算出し、S318に進み、高輝度撮像部位のサイズが小さいと判定し、その判定結果とS316で算出された高輝度撮像部位の中心角度を出力する。 On the other hand, the process proceeds to S314 if negative in S306, extracts the block average value is maximized in the high-luminance blocks, the process proceeds to S316, the central angle of the high-brightness imaging region, i.e., the extracted average value There is calculated based on an angle with respect to the block having the maximum in the camera parameter, the process proceeds to S318, determines that the size of the high-brightness imaging region is small, outputs a center angle of the determination result and the high-brightness imaging region calculated in S316 to.

即ち、輝度値の平均値がしきい値より大きくない場合、画像の所定ブロックごとの輝度値の平均値の最も大きいブロックを高輝度撮像部位の中心と判定し、ステージ座標系での高輝度撮像部位の位置と角度を算出する。 That is, when the average value of the brightness values ​​is not greater than the threshold value, the largest block of the average value of the luminance value of each predetermined block of the image to determine the center of the high-brightness imaging region, high-brightness imaging in the stage coordinate system It calculates the position and angle of the site.

図9フロー・チャートの説明に戻ると、次いでS32に進み、行動生成処理を実行する。 Returning to the explanation of FIG. 9 flowchart, the program proceeds to S32, to perform the action generation process.

図17はその処理を示すサブ・ルーチン・フロー・チャートであり、前記した行動生成部26gによって実行される。 Figure 17 is a subroutine flowchart showing the processing executed by the above-mentioned behavior generation unit 26 g.

以下説明すると、S400において電動モータ16d2を駆動してバイザ16cを下げる。 Explaining lowers the visor 16c by driving the electric motor 16d2 in S400. 即ち、S30の処理で高輝度撮像部位が抽出されたことから、バイザ(フィルタ)16cを入射光の軸線上の位置に移動させる。 That is, since the high-brightness imaging region is extracted in the processing of S30, moving visor (filter) 16c to the position of the axis of the incident light. バイザ16cは各波長の光を吸収、即ち、光量を減少させる特性を備えることから、それによって輝度撮像部位の輝度を低減することができ、よって人などの撮影対象を適切な輝度値で撮影することができる。 Visor 16c is absorb light of each wavelength, i.e., since it includes the property of reducing the amount of light, thereby it is possible to reduce the brightness of the brightness imaging region, thus taking a photographic subject such as a human in a suitable luminance value be able to.

この実施例は上記の如く、基体14と、前記基体14に連結される頭部16と、前記頭部16に搭載されて撮影対象を含む外界からの入射光によって画像を撮像するCCDカメラ82(撮像素子)とを少なくとも備えた脚式移動ロボット10において、前記入射光の軸線82b上の位置と軸線外の位置16c1の間で移動自在なフィルタ(バイザ)16cと、 撮影対象の位置の輝度値の平均値から撮影状況が逆光であるか否か判断し、逆光であると判断されたときは、高輝度撮像部位を除去する必要があると判断する高輝度撮像部位除去要否判定手段(高輝度撮像部位除去要否判定部26d,S206,S208)と、前記高輝度撮像部位を除去する必要があると判断されたときは、画像の所定ブロックごとの輝度値の平均値から高輝度のブ This embodiment as described above, the substrate 14, a head 16 connected to the substrate 14, CCD camera 82 for capturing an image by the incident light from the outside, including a shooting target is mounted on the head 16 ( in the legged mobile robot 10 having at least an image pickup device), the movable filter between the position and the axis outside position on the axis 82b of the incident light 16c1 and (visor) 16c, the luminance value of the position of the imaging target it is determined whether the recording conditions from the average value of a backlit, when it is determined to be a backlit, the high-brightness imaging region removal necessity determining means determines that it is necessary to remove the high-brightness imaging region (high brightness imaging region removal necessity determining unit 26 d, S206, S208 and), the high when the luminance is determined that the imaging site needs to be removed from the average value of the luminance values of every predetermined block of a high-brightness image blanking ック群を抽出し、前記高輝度のブロック群の分散値を算出することで高輝度撮像部位を抽出する高輝度撮像部位抽出手段(高輝度撮像部位抽出部26e、S300からS318)と、前記高輝度撮像部位が抽出されたとき 、前記フィルタ(バイザ)16cを前記軸線上の位置に移動させて前記高輝度撮像部位の輝度を低減するフィルタ移動手段(ECU26,行動生成部26g,S32,S400)とを備える如く構成したので、搭載するCCDカメラ82に太陽光などの高輝度の光源が写り込まれるときも、フィルタ(バイザ)16cを光軸上に位置させることで、人などの撮影対象を適切な輝度値で撮影することができる。 Tsu extracts click group, high-brightness imaging region extraction means for extracting a high-brightness imaging region by calculating the variance of the block group of the high intensity and (S318 from the high-brightness imaging region extraction unit 26e, S300), the when a high-brightness imaging region is extracted, the filter (visor) filter moving means 16c to move the position of the axis to reduce brightness of the high-brightness imaging region (ECU 26, the behavior generation unit 26 g, S32, S400 ) and Owing to this arrangement comprises, even when a high intensity light sources such as sunlight CCD camera 82 to be mounted is incorporated-through, by positioning the filter (visor) 16c on the optical axis, the imaging object such as a human can be captured with appropriate brightness values. また、撮影状況が逆光であるか、順光であるかを判定し、逆光の場合には、高輝度ブロック群の輝度の高い部分の広がりを算出でき、これにより高輝度撮像部位を適確に抽出することができる。 Also, if taking situation is a backlight, it is determined whether a forward light, in the case of backlit can calculate the spread of high luminance portion of the high luminance block group, thereby to accurately high-brightness imaging region it can be extracted.

また、前記フィルタ(バイザ)16cが駆動機構16dを介して前記頭部16の前面の前記軸線82b上の位置と前記頭部16の上部の前記軸線外の位置16c1の間で移動自在なバイザ16cからなると共に、前記フィルタ移動手段は前記駆動機構16dを作動させて前記バイザ16cを前記軸線上に移動させる如く構成したので、上記した効果に加え、バイザからなるフィルタ16cを確実に光軸上に位置させることができる。 Further, the filter (visor) 16c is movable visor 16c between through a driving mechanism 16d of the upper part of the axis position outside of 16c1 position and the head 16 on the front face of the axis 82b of the head 16 together consist of, since the filter moving means configured as to move the visor 16c by operating the drive mechanism 16d to the axis, in addition to the effects mentioned above, to ensure the filter 16c consisting visor on the optical axis it can be positioned.

また、前記駆動機構16dが、前記バイザ16cに取り付けられたラック16d1と、前記ラックに噛合するギヤ(ピニオンギヤ)16c4と前記ギヤを駆動する電動モータ16d2から少なくともなる如く構成したので、簡易な機構でありながら、バイザからなるフィルタ16cを一層確実に軸線82b上に位置させることができる。 The driving mechanism 16d is, racks 16d1 and attached to the visor 16c, since it is configured as at least consists of an electric motor 16d2 that drives a gear (pinion) 16c4 meshing with the rack the gear, with a simple mechanism There will, a filter 16c consisting visor more reliably can be positioned on the axis 82b.

尚、上記において、撮影対象として人を予定したが、それ以外にロボット10の作業で予定される道具やワークなどの物体であっても良い。 In the above, it has been scheduled to human as an imaging target, otherwise the may be objects such as tools or work to be scheduled in the work of the robot 10.

また上記において、撮影対象の有無を撮影対象が携行するICタグ92から発信される識別情報を受信するICタグ信号受信器94の出力から判断するようにしたが、カメラ82の出力から判断しても良い。 In the above, has been adapted to determine from the output of the IC tag signal receiver 94 for receiving the identification information transmitted whether a photographing target from the IC tag 92 of the imaging object is carried, it is determined from the output of the camera 82 it may be. さらには外部からコマンドを入力して教示しても良い。 In addition it may be taught by entering the command from the outside.

また上記において、脚式移動ロボット、具体的には2足歩行ロボットを例示したが、それに限られるものではなく、自律移動自在であればどのようなものであっても良い。 In the above, the legged mobile robot, but specifically illustrated biped walking robot, it is not limited thereto and may be any as long freely autonomous mobile.

この発明の実施例に係る脚式移動ロボットの正面図である。 It is a front view of a legged mobile robot according to an embodiment of the present invention. 図1に示すロボットの側面図である。 It is a side view of the robot shown in FIG. 図1に示すロボットをスケルトンで示す説明図である。 It is an explanatory view showing a robot skeleton shown in FIG. 図1に示すロボットの頭部の部分断面図である。 It is a partial cross-sectional view of the head of the robot shown in FIG. 図4に示すロボットの頭部の正面図である。 It is a front view of the head of the robot shown in FIG. 図5に示す駆動機構の詳細を模式的示す説明図である。 Is an explanatory view showing schematically a detail of the driving mechanism shown in FIG. 図1に示すロボットの構成を電子制御ユニット(ECU)の入出力関係を中心に示すブロック図である。 The configuration of the robot shown in FIG. 1 is a block diagram mainly showing the input-output relationship of the electronic control unit (ECU). 図4に示す電子制御ユニットがカメラの露出制御装置として動作するときの構成を機能的に示すブロック図である。 An electronic control unit shown in FIG. 4 is a block diagram functionally showing the configuration when operating as an exposure control device for a camera. 図8と同様、電子制御ユニットがカメラの露出制御装置として動作するときの処理を示すフロー・チャートである。 Similar to FIG. 8 is a flow chart showing a process when the electronic control unit operates as an exposure control device for a camera. 図9の露出パラメータ設定処理を示すサブ・ルーチン・フロー・チャートである。 It is a subroutine flowchart showing the exposure parameter setting processing of FIG. 図10の処理を示す画面の一例である。 It is an example of a screen showing the processing of FIG. 10. 図11の画面の通常の(距離を考慮しない)輝度値ヒストグラムである。 (Without considering the distance) normal of the screen of FIG. 11 is a luminance value histogram. 図11の画面の視差画像である。 A parallax image of the screen of FIG. 11. 図11の画面の距離を考慮した輝度値ヒストグラムである。 It is a luminance value histogram in consideration of the distance of the screen of FIG. 11. 図9の高輝度撮像部位除去要否判定処理を示すサブ・ルーチン・フロー・チャートである。 Is a subroutine flowchart showing the high-brightness imaging region removal necessity determining process of FIG. 図9の高輝度撮像部位抽出処理を示すサブ・ルーチン・フロー・チャートである。 Is a subroutine flowchart showing the high-brightness imaging region extraction processing of FIG. 図9の行動生成処理を示すサブ・ルーチン・フロー・チャートである。 Is a subroutine flowchart showing the behavior generation process of FIG. この実施例に係る脚式移動ロボットに搭載されるカメラで撮影を予定する場面の一例である。 It is an example of a scene to schedule photographed by the camera mounted on a legged mobile robot according to this embodiment.

符号の説明 DESCRIPTION OF SYMBOLS

10:脚式移動ロボット(ロボット)、12:脚部、14:基体、16 頭部、16c バイザ(フィルタ)、16d 駆動機構、16d1 ラック、16d2 電動モータ、16d3 ユニバーサルジョイント、16d4 ピニオンギヤ(ギヤ)、16d5 ガイド、16d6 ガイドレール、20:腕部、26:ECU(電子制御ユニット)、26a:ステレオ処理部、26b:ヒストグラム生成部、26c:露出パラメータ設定部、26d:高輝度撮像部位除去要否判定部、26e:高輝度撮像部位抽出部、26f:画像処理部、26g:行動生成部、82:CCDカメラ(撮像素子。カメラ)、82a レンズ、82b 入射光の軸線、92:ICタグ、94:ICタグ信号受信器 10: legged mobile robot (robot) 12: leg, 14: substrate, 16 head, 16c visor (filter), 16d drive mechanism, 16d1 rack, 16d2 electric motor, 16D3 universal joint, 16D4 pinion (gear), 16d5 guide, 16D6 guide rail, 20: arm portion, 26: ECU (electronic control unit), 26a: stereo processor, 26b: histogram generation unit, 26c: exposure parameter setting unit, 26 d: high-brightness imaging region removal necessity determination part, 26e: high-brightness imaging region extraction unit, 26f: image processing unit, 26 g: behavior generation unit, 82: CCD camera (. imaging device camera), 82a lens, 82b incident light axis, 92: IC tag 94: IC tag signal receiver

Claims (3)

  1. 基体と、前記基体に連結される頭部と、前記頭部に搭載されて撮影対象を含む外界からの入射光によって画像を撮像する撮像素子とを少なくとも備えた脚式移動ロボットにおいて、前記入射光の軸線上の位置と軸線外の位置の間で移動自在なフィルタと、 撮影対象の位置の輝度値の平均値から撮影状況が逆光であるか否か判断し、逆光であると判断されたときは、高輝度撮像部位を除去する必要があると判断する高輝度撮像部位除去要否判定手段と、前記高輝度撮像部位を除去する必要があると判断されたときは、画像の所定ブロックごとの輝度値の平均値から高輝度のブロック群を抽出し、前記高輝度のブロック群の分散値を算出することで高輝度撮像部位を抽出する高輝度撮像部位抽出手段と、前記高輝度撮像部位が抽出されたとき 、前 A substrate and a head coupled to the base, in a legged mobile robot having at least an image pickup device for capturing an image by the incident light from the outside, including a shooting target is mounted on the head, the incident light a filter which is movable between a position of the off-axis line of the axis of the, when taking situation from the average value of the luminance values of the position of the imaging target is determined whether a backlit, it is determined to be a backlit the high brightness and high-brightness imaging region removal necessity determining means determines that it is necessary to remove the imaging region, the high when the luminance is determined that imaging region it is necessary to remove the per predetermined block of the image extract the blocks of high brightness from the average value of the luminance values, the high-brightness imaging region extraction means for extracting a high-brightness imaging region by calculating the variance of the block group of the high brightness, the high-brightness imaging region is when it is extracted, before フィルタを前記軸線上の位置に移動させて前記高輝度撮像部位の輝度を低減するフィルタ移動手段とを備えたことを特徴とする脚式移動ロボット。 Legged mobile robot of the filter is moved to the position of the axis, characterized in that a filter moving means for reducing the brightness of the high-brightness imaging region.
  2. 前記フィルタが駆動機構を介して前記頭部の前面の前記軸線上の位置と前記頭部の上部の前記軸線外の位置の間で移動自在なバイザからなると共に、前記フィルタ移動手段は前記駆動機構を作動させて前記バイザを前記軸線上に移動させることを特徴とする請求項1記載の脚式移動ロボット。 Together with the filter is made of movable visor between the axis position outside of the top of the head and the position of the axis of the front surface of the head through a drive mechanism, said filter moving means said drive mechanism legged mobile robot according to claim 1, wherein the moving the axis of said visor by actuating the.
  3. 前記駆動機構が、前記バイザに取り付けられたラックと、前記ラックに噛合するギヤと前記ギヤを駆動する電動モータから少なくともなることを特徴とする請求項2記載の脚式移動ロボット。 Wherein the drive mechanism comprises a rack attached to the visor, the legged mobile robot according to claim 2, wherein the at least comprising an electric motor for driving the gear and the gear which meshes with the rack.
JP2007224754A 2007-08-30 2007-08-30 Legged mobile robot Active JP4847420B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2007224754A JP4847420B2 (en) 2007-08-30 2007-08-30 Legged mobile robot

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2007224754A JP4847420B2 (en) 2007-08-30 2007-08-30 Legged mobile robot
US12/230,129 US8026955B2 (en) 2007-08-30 2008-08-25 Camera exposure controller including imaging devices for capturing an image using stereo-imaging
EP08015061.8A EP2031441B1 (en) 2007-08-30 2008-08-26 Camera exposure controller

Publications (2)

Publication Number Publication Date
JP2009056528A JP2009056528A (en) 2009-03-19
JP4847420B2 true JP4847420B2 (en) 2011-12-28

Family

ID=40552755

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007224754A Active JP4847420B2 (en) 2007-08-30 2007-08-30 Legged mobile robot

Country Status (1)

Country Link
JP (1) JP4847420B2 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8244402B2 (en) * 2009-09-22 2012-08-14 GM Global Technology Operations LLC Visual perception system and method for a humanoid robot

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1042665A (en) * 1996-08-07 1998-02-17 Iseki & Co Ltd Image pick up device of robot for agricultural use
JP4401558B2 (en) * 2000-11-17 2010-01-20 本田技研工業株式会社 Humanoid robot
JP2002205290A (en) * 2001-01-05 2002-07-23 Sony Corp Device and method for controlling leg type mobile robot
JP2003078982A (en) * 2001-08-31 2003-03-14 Mikli Japon Kk Headphone with eyeglasses
JP3875659B2 (en) * 2003-07-25 2007-01-31 株式会社東芝 The camera device and the robotic device
JP4192852B2 (en) * 2004-06-23 2008-12-10 株式会社デンソー Vehicle communication terminal
JP4594663B2 (en) * 2004-06-30 2010-12-08 本田技研工業株式会社 Security robot
JP2006301287A (en) * 2005-04-20 2006-11-02 Noba Denko Kk Attachment type sunglasses
JP2006347276A (en) * 2005-06-14 2006-12-28 Asmo Co Ltd Sun visor device for vehicle
JP2007038994A (en) * 2005-08-01 2007-02-15 Emi Miyamoto Sun visor for automobile
JP2007160434A (en) * 2005-12-12 2007-06-28 Honda Motor Co Ltd Head of humanoid robot

Also Published As

Publication number Publication date
JP2009056528A (en) 2009-03-19

Similar Documents

Publication Publication Date Title
US7414648B2 (en) Camera and camera system capable of changing gain value and exposure time
US5684531A (en) Ranging apparatus and method implementing stereo vision system
US6459446B1 (en) Eye tracking apparatus
EP0578508B1 (en) Video camera with colour-based target tracking system
JP4218670B2 (en) Forward imaging apparatus
US20060146046A1 (en) Eye tracking system and method
EP1686792A2 (en) Image pickup apparatus, camera main body thereof and interchangeable lens
CN100541313C (en) Camera
US5335035A (en) Visual line direction detecting device for the camera
CN1316814C (en) System and method to increase effective dynamic range of image sensors
US20050094019A1 (en) Camera control
JP4537255B2 (en) An imaging apparatus and an imaging method
JP4634752B2 (en) Camera provided with an image blur correction function
US7324134B2 (en) Apparatus for correction based upon detecting a camera shaking
KR100921316B1 (en) Camera apparatus, recording medium in which camera apparatus control program is recorded, and method for controlling camera apparatus
US6078751A (en) Image-shake correcting device
US6614998B1 (en) Automatic focusing camera and shooting method
US20050168587A1 (en) Apparatus and system for correction based upon detecting a camera shaking
US7430366B2 (en) Image capture device
JP4154917B2 (en) Iris imaging apparatus
JP2007304280A (en) Imaging apparatus, its control method, program and storage medium
US8384767B2 (en) Stereoscopic image pickup apparatus and method of adjusting optical axis
JP2008205650A (en) Image processor, image processing method, imaging apparatus, and computer program
JP2002074339A (en) On-vehicle image pickup unit
JP2001004909A (en) Camera having automatic focusing device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20091126

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110324

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110412

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110608

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110927

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20111013

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20141021

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150