WO2012066867A1 - 車両周辺撮影装置 - Google Patents

車両周辺撮影装置 Download PDF

Info

Publication number
WO2012066867A1
WO2012066867A1 PCT/JP2011/073237 JP2011073237W WO2012066867A1 WO 2012066867 A1 WO2012066867 A1 WO 2012066867A1 JP 2011073237 W JP2011073237 W JP 2011073237W WO 2012066867 A1 WO2012066867 A1 WO 2012066867A1
Authority
WO
WIPO (PCT)
Prior art keywords
camera
vehicle
image
imaging device
state
Prior art date
Application number
PCT/JP2011/073237
Other languages
English (en)
French (fr)
Inventor
三好英彦
山本欣司
久保山剛
武田聖子
Original Assignee
アイシン精機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by アイシン精機株式会社 filed Critical アイシン精機株式会社
Priority to JP2012544150A priority Critical patent/JP5445881B2/ja
Publication of WO2012066867A1 publication Critical patent/WO2012066867A1/ja

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/168—Driving aids for parking, e.g. acoustic or visual feedback on parking space
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R2011/0042—Arrangements for holding or mounting articles, not otherwise provided for characterised by mounting means
    • B60R2011/008—Adjustable or movable supports
    • B60R2011/0082—Adjustable or movable supports collapsible, e.g. for storing after use
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/802—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views

Definitions

  • the present invention relates to a vehicle periphery imaging device mounted on a vehicle and capable of imaging the periphery of the vehicle, in particular, the vertical lower side of the peripheral portion of the vehicle body.
  • the vehicle be equipped with an imaging device for imaging the vehicle periphery.
  • an imaging device for imaging the vehicle periphery for example, a camera for photographing the periphery of the vehicle is installed at the corner portion of the vehicle such that the photographing direction is the traveling direction of the vehicle.
  • the shooting range of the camera is set so that the image is displayed (see Patent Document 1).
  • the camera of Patent Document 1 since the lower front in the traveling direction of the vehicle is photographed, an image without a sense of discomfort can be photographed.
  • Patent Document 2 There is also a camera in which a camera is installed on a pole provided in an expandable manner at a vehicle corner portion, and an image captured by the camera is converted into a bird's-eye view to be presented to a driver (see Patent Document 2).
  • the overhead image is generated based on the image captured by the camera, so the driver can confirm the situation around the vehicle.
  • the driver can confirm the position of a certain distance from the vehicle based on the image obtained by photographing the surroundings of the vehicle, but can not image the latest position of the vehicle.
  • the present invention has been made in view of the above problems, and an object of the present invention is to provide a vehicle peripheral imaging device capable of imaging a lower portion of the periphery of the vehicle.
  • the vehicle peripheral imaging device of the present invention is provided at the peripheral portion of the vehicle, and in a state of projecting in the peripheral direction of the vehicle, the edge in plan view of the peripheral portion of the vehicle and vertically below the edge And a drive mechanism for switching between the state in which the camera is projected and the state in which the camera is retracted to the vehicle side.
  • an edge and a region vertically below the edge in a plan view of the peripheral portion of the vehicle are photographed in a state where a camera provided so as to project or move backward in the peripheral direction of the vehicle is projected to the peripheral portion of the vehicle.
  • the edge in plan view of the peripheral portion of the vehicle means an outer peripheral line of a portion of the peripheral portion of the vehicle included in the imaging range of the camera, which protrudes in the most peripheral direction in plan view.
  • the camera is provided near a corner of the vehicle, and the camera does not protrude beyond the entire length and width of the vehicle when the camera protrudes. Is configured.
  • the camera does not protrude beyond the full length and width of the vehicle even when the camera protrudes, that is, the full length and width of the vehicle without the camera and the full length and width of the vehicle when the camera protrudes are the same. It is. Therefore, even when the camera is in a projecting state, the possibility that the camera contacts an obstacle or the like around the vehicle can be reduced.
  • the edge is photographed vertically downward while the camera is in the protruded state.
  • the camera is stored in the vehicle body of the vehicle in the retracted state.
  • the camera is stored in the vehicle body in a retracted state, that is, in a state where the camera is not used. Therefore, dirt and the like can be prevented.
  • a plate-like swinging member is provided at the peripheral portion of the vehicle, and the swinging member is a swinging shaft on the upper end side of the swinging member.
  • the camera is configured to be able to swing open and close in the vertical direction centering on the center, and the camera is installed on the inner side surface of the vehicle of the swing member.
  • the rocking member can be used as a cover of the camera.
  • the camera is installed such that the optical axis of the camera is directed substantially vertically downward when the rocking member is open.
  • One of the preferred embodiments of the vehicle peripheral imaging device includes an obstacle detection unit that detects an obstacle, and the drive mechanism is configured to detect the obstacle when the obstacle detection unit detects the obstacle.
  • the camera is switched to the projecting state.
  • the camera is provided in a bumper which is the peripheral portion, and a side camera for photographing the side periphery of the vehicle, and an image photographed by the camera And an image combining unit configured to combine the image captured by the side camera and the outer peripheral line of the bumper included in each of the images.
  • the image including the bumper captured by the camera and the image captured by the side camera are combined such that the outer peripheral lines of the bumper are continuous, ie, smoothly connected. Therefore, the discomfort of the combined image can be reduced.
  • the vehicle periphery imaging device of the present invention it is possible to image below the periphery of the vehicle.
  • FIG. 1 is an external view of a vehicle equipped with a vehicle periphery imaging device of the present invention. It is a functional block diagram of the vehicle periphery imaging device of this invention. It is an example of the image image
  • FIG. 1 and 2 are a side view of a front bumper B of a vehicle V equipped with a vehicle peripheral imaging device according to the present invention viewed from the right side of the vehicle V and a plan view of the front of the vehicle V.
  • FIG. FIG. 3 is an external view of the vehicle V. As shown in FIG.
  • the vehicle V is provided on the lower surface of the camera FC installed near the left and right ends (corners) of the bumper B which is the peripheral portion of the vehicle V and the side mirrors SM on the left and right sides
  • a camera SC and a back camera BC provided at the rear of the vehicle V to capture an oblique rear of the vehicle V are provided. Therefore, in the present embodiment, five cameras C are mounted on the vehicle V. In the following description, when it is not necessary to distinguish them, they are referred to as a camera C.
  • the camera C is configured by a color digital camera capable of shooting a moving image, but may be a monochrome camera or a still camera. Also, the camera C may be an analog camera, but in that case, it is necessary to include a functional unit that digitizes an analog image captured by the camera C.
  • the camera FC is configured to be switchable by the drive mechanism D between a state of projecting in the peripheral direction of the vehicle V (hereinafter referred to as a projecting attitude) and a state of retracting to the vehicle V side (hereinafter referred to as a backward attitude)
  • a projecting attitude a state of projecting in the peripheral direction of the vehicle V
  • a backward attitude a state of retracting to the vehicle V side
  • the drive mechanism D can be configured by an actuator or the like.
  • the drive mechanism D in a vehicle V provided with a wiper in the headlight, can also be configured by an actuator that drives the wiper.
  • an opening Ba is formed in a bumper B (an example of a peripheral portion) of a vehicle V, and a camera FC in a projecting posture protrudes from the opening Ba.
  • the camera FC in the projecting posture shoots a substantially vertically lower part in a state of projecting substantially horizontally in the peripheral direction of the vehicle V from the opening Ba of the bumper B.
  • the imaging range of the camera FC is represented as a symbol A in FIGS. 1 and 2.
  • the photographing range A is an outer peripheral line (hereinafter referred to as an edge E) defined by a portion of the outer peripheral surface of the bumper B located below the camera FC that protrudes most in the peripheral direction of the vehicle V. And the region vertically below edge E).
  • the camera FC is provided in the vicinity of the end of the bumper B (the corner of the vehicle V) in the width direction of the vehicle V so as to project diagonally forward of the vehicle V There is. That is, the camera FC is configured to protrude outward beyond the outer peripheral line of the vehicle V in plan view from above the vehicle V. However, the camera FC is configured not to protrude further in the peripheral direction than the foremost part and the outermost part of the vehicle V in the protruded state. That is, the camera FC is configured not to protrude outside the circumscribed rectangle of the outer peripheral line of the vehicle V in a plan view from above the vehicle V. Therefore, even when the camera FC is in the projecting attitude, the possibility that the camera FC contacts an obstacle or the like around the vehicle V can be reduced.
  • the camera FC includes a cover member Fa.
  • the camera FC is stored inside the bumper B, and the outer surface of the cover member Fa (the outer surface of the vehicle V) and the outer peripheral surface of the bumper B Constitute substantially the same plane or substantially the same curved surface.
  • a monitor M that performs various displays is provided in the vehicle V.
  • the monitor M doubles as the monitor device of the navigation system. Therefore, the monitor M includes the display unit Ma and the touch panel Mb formed on the display unit Ma.
  • the display unit Ma can be configured by a liquid crystal display
  • the touch panel Mb is formed by a pressure-sensitive or electrostatic instruction input device that can be formed together with the display unit Ma and can output a contact position by a finger or the like as location data. can do.
  • FIG. 4 is a functional block diagram of the vehicle periphery imaging device.
  • the vehicle periphery imaging device of the present embodiment includes a control unit 11 for controlling the entire vehicle periphery imaging device in addition to the above-described camera FC, side camera SC, back camera BC, and drive mechanism D.
  • the image acquisition unit 12 acquires an image (video) captured by the image capturing apparatus, and the image combining unit 13 combines the images acquired by the image acquisition unit 12.
  • control unit 11, the image acquisition unit 12, and the image combining unit 13 are configured by an ECU (Electronic Control Unit) configured with a memory and other peripheral circuits centering on a CPU (Central Processing Unit) and software and software. ing.
  • ECU Electronic Control Unit
  • CPU Central Processing Unit
  • software and software e.g., software and software.
  • another logical operation processor such as a DSP (Digital Signal Processor) or the like or a logic circuit may be core.
  • DSP Digital Signal Processor
  • the control unit 11 controls the entire vehicle periphery imaging device including control of the drive mechanism D, display of the monitor M on the display unit Ma, and processing of input from the touch panel Mb.
  • the image acquisition unit 12 acquires an image captured by the camera C, and divides the image into frames (hereinafter referred to as captured images) at a predetermined frame rate.
  • captured images frames
  • the image acquiring unit 12 may have a function of converting an analog image into a digital image.
  • the image combining unit 13 performs viewpoint conversion on the captured images of the side camera SC and the back camera BC, and generates a composite image in which the captured image subjected to viewpoint conversion and the captured image of the camera FC are combined.
  • the generated composite image is displayed by the control unit 11 on the display unit Ma.
  • the camera FC is in the backward position when there is no explicit instruction from the driver, and when the explicit instruction is given from the driver, the camera FC is in the projecting attitude. It may be configured to switch to the projecting posture based on the surrounding situation.
  • an explicit instruction from the driver is issued via the touch panel Mb. Therefore, the control unit 11 displays a button for switching the camera FC to the projection attitude on the display unit Ma, and when the driver wants to switch the camera FC to the projection attitude, the finger on the touch panel Mb corresponding to the position of the button Touch with.
  • the touch on the touch panel Mb is detected by the control unit 11, and the control unit 11 controls the drive mechanism D so that the camera FC is in the projecting posture. Thereby, the camera FC is switched from the backward position to the projecting position.
  • the camera FC in the projecting posture is in the position where the edge E and the region vertically below the edge E can be photographed.
  • a position where the optical axis of the camera FC passes a point on the edge E vertically downward is preferable.
  • the camera FC can shoot while looking down the edge E from directly above, and clearly grasps the positional relationship between the outer peripheral surface of the vehicle V forming the edge E and an obstacle or the like. can do.
  • the synthesized image generated by the image synthesis unit 13 is displayed on the display unit Ma.
  • the captured image is generated from the signal input from each camera C in the image acquisition unit 12
  • the respective signals are synchronized so that the captured time of each captured image becomes the same time.
  • the photographed image acquired in this manner is stored in the memory, and that effect is notified to the image combining unit 13.
  • the image combining unit 13 that has received the notification combines the captured images and generates a combined image.
  • the composite image can be generated based on the captured image of the camera FC and the side camera SC.
  • a composite image is generated from images taken by the camera FC and the side camera SC on the side where steering is steered by an input from a steering sensor (not shown), only the area desired to be gazed is displayed. It becomes easy to attract For example, when steering is steered to the left, a composite image is generated from images taken by the camera FC on the left and the side camera on the left.
  • the method of selecting the camera FC and the side camera SC for capturing an image for generating a composite image is not limited to the one based on the steering direction of the steering.
  • the camera FC and the side camera SC on the selected side are selected, and a composite image is generated from the image captured by them. It does not matter.
  • a composite image may be generated from an image captured by the left camera FC and the side camera SC, and the right camera FC and the side camera SC.
  • the method of selecting the camera C for capturing an image for generating a composite image can be appropriately changed as long as the object of the present invention is achieved.
  • the image composition unit 13 performs viewpoint conversion of the captured image of the camera FC and the captured image of the side camera SC prior to image composition.
  • the camera FC takes an image when it is brought into the projecting posture by the drive mechanism D, but there is a possibility that the projection position of the camera FC may not be constant due to the drive error of the drive mechanism D. Therefore, in the present embodiment, the captured image captured by the camera FC is corrected. Specifically, viewpoint conversion is performed so that the edge E in the captured image passes through the image center.
  • viewpoint conversion in this manner it is possible to obtain an image in which the edge E is viewed from directly above from above, and based on such an image, the outer peripheral surface of the vehicle V that constitutes the edge E (in the present embodiment, The positional relationship between the outer peripheral surface of the bumper B and an obstacle or the like can be clearly grasped.
  • a conversion table in which conversion parameters corresponding to the position of edge E in the image are recorded is provided, and conversion parameters corresponding to the position of edge E detected from the captured image are converted. If configured to be acquired from the table, calculation of conversion parameters becomes unnecessary, which is preferable.
  • viewpoint conversion is also performed on the image captured by the side camera SC.
  • the imaging of the side camera SC is performed so that the edge E in the captured image of the camera FC after viewpoint conversion and the edge E in the captured image of the side camera SC after viewpoint conversion are continuous (connected smoothly).
  • the image combining unit 13 combines the photographed image thus viewpoint-converted.
  • the pixels of the photographed image of the camera FC are preferentially used, and the area of the camera FC that can not be photographed uses the pixels of the photographed image of the side camera SC .
  • FIG. 5 is an example of a composite image generated in this manner. As apparent from the figure, according to this composite image, it is possible to clearly grasp the positional relationship between the bumper B and the white line or another vehicle or the like in the vicinity of the vehicle V. In this example, the marker 30 is synthesized in the vicinity of the outer peripheral line of the bumper B so that the position of the bumper B is clear.
  • a composite image can be generated from images captured by the camera FC, the side camera SC, and the back camera BC.
  • the viewpoint conversion described above is performed on the images captured by the camera FC and the side camera SC.
  • the back camera BC photographs the diagonally rear of the vehicle V
  • viewpoint conversion is performed so that the photographed image of the back camera BC becomes an image viewed from above the vehicle V.
  • a synthesized image shown in FIG. 6 is obtained.
  • the vehicle V is contained in the synthetic
  • the marker 30 is synthesized.
  • the composite image generated in this manner is displayed on the display unit Ma, and is used to confirm the driver's surroundings.
  • the control unit 11 controls the drive mechanism D such that the camera FC is in the backward position.
  • the camera FC is stored inside the bumper B, the opening Ba is closed by the cover member Fa, and the camera FC is prevented from being soiled or the like.
  • the positional relationship between the outer peripheral surface of the vehicle V and the obstacle or the road edge around the vehicle V can be clearly grasped based on the actual image.
  • camera FC was installed in bumper B, but camera FC may be installed in other places, as long as the object of the present invention is achieved.
  • the back camera BC is a fixed camera, but the back camera BC may also be configured to be switchable between the projecting attitude and the backward attitude.
  • switching from the backward posture to the projecting posture may be performed by an explicit instruction from the driver, it is provided with an obstacle detection unit that detects an obstacle behind the vehicle, and when the obstacle detection unit detects an obstacle It can also be configured to switch to the protruding posture.
  • the obstacle detection unit can be configured by a known technique such as an image recognition device or a radar.
  • the back camera BC may be installed near the left and right ends of the rear bumper in the same manner as the camera FC.
  • the camera FC is stored inside the vehicle V when it is in the reverse position, but it may be protruded from the peripheral portion of the vehicle V even when the camera FC is in the reverse position I do not care.
  • the camera FC protrudes substantially horizontally from the backward position in the peripheral direction of the vehicle V, but the protruding position is not limited to this.
  • the cover member Fa is configured to swing around a swing axis near its upper end, and the camera FC is attached to the back side of the cover member Fa (inside of the vehicle V) You can also At this time, the optical axis of the camera FC is set to be substantially vertically downward in a state where the cover member Fa is swung (opened).
  • the camera FC is in the projecting posture.
  • another configuration may be used as a configuration for switching the camera FC between the backward position and the projecting position.
  • the present invention can be applied to an imaging device that is mounted on a vehicle and that images the periphery of the vehicle.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)

Abstract

　カメラは、車両のバンパーのような周縁部に備えられ、車両の周辺方向に突出した状態で当該車両の周縁部の平面視におけるエッジおよびエッジの鉛直下方を含む領域を撮影する。また、カメラを突出した状態および車両側に後退した状態を切り替える駆動機構を備えている。

Description

車両周辺撮影装置
　本発明は、車両に搭載され、当該車両の周辺、特に車体の周縁部の鉛直下方を撮影することができる車両周辺撮影装置に関する。
　近年、運転者の車両周辺の確認を補助するために、車両に車両周辺を撮影する撮影装置を搭載することが提案されている。特に、車両のコーナー部を撮影するための撮影装置として、例えば、車両のコーナー部に車両周辺を撮影するカメラをその撮影方向が車両の進行方向となるように設置し、カメラの撮影画像に水平線が映るようにカメラの撮影範囲を設定したものがある（特許文献１参照）。この特許文献１のカメラでは、車両の進行方向前方下方が撮影されるため、違和感のない画像を撮影することができる。
　また、車両コーナー部に伸縮自在に設けられたポールにカメラを設置し、そのカメラにより撮影された画像を俯瞰画像に視点変換して運転者に提示するものがある（特許文献２参照）。この特許文献２の装置では、カメラにより撮影された画像に基づいて俯瞰画像が生成されるため、運転者は車両周囲の状況を確認することができる。
特開２００７－６９７２０号公報 特開２００４－１２２８４４号公報
　バンパー直近やバンパーの下方は運転者からの死角となっており、運転者は目視できない。そのため、カメラ等により撮影された画像でその死角の確認を行いたいという要望がある。しかし、上述の特許文献の技術では、車両の周囲を撮影した画像に基づいて、運転者は車両から一定距離の位置を確認することができるが、車両の直近は撮影することができない。
　本発明は上記課題に鑑みてなされたものであり、その目的は、車両の周縁部下方を撮影することができる車両周辺撮影装置を提供することである。
　上記課題を解決するため、本発明の車両周辺撮影装置は、車両の周縁部に備えられ、当該車両の周辺方向に突出した状態で当該車両の周縁部の平面視におけるエッジおよび当該エッジの鉛直下方を含む領域を撮影するカメラと、前記カメラを前記突出した状態および前記車両側に後退した状態を切り替える駆動機構と、を備えている。
　この構成では、車両の周縁部に車両の周辺方向に突出または後退移動可能に備えられたカメラが突出した状態で車両の周縁部の平面視におけるエッジおよびエッジの鉛直下方の領域を撮影している。ここで、車両の周縁部の平面視におけるエッジとは、カメラの撮影範囲に含まれる車両の周縁部のうち、平面視で最も周辺方向に突出する部分の外周線を意味する。上記構成では、カメラにより撮影された画像にはこのエッジの鉛直下方の領域が含まれているため、この画像によれば運転者から死角となりやすい車両の直近部分を確認することができる。また、カメラにより撮影された画像には車両の周縁部（エッジ）も撮影されているため、車両の周縁部と障害物等との位置関係の把握が容易となる。
　本発明の車両周辺撮影装置の好適な実施形態の一つでは、前記カメラは、前記車両のコーナー近傍に備えられ、前記カメラが前記突出した状態で、前記車両の全長および全幅よりも突出しないように構成されている。
　この構成では、カメラが突出した状態でも、車両の全長および全幅よりも突出しない、すなわち、カメラがない状態における車両の全長および全幅と、カメラが突出した状態における車両の全長および全幅と、は同じである。そのため、カメラが突出した状態であっても、カメラが車両周辺の障害物等に接触する可能性を低減することができる。
　本発明の車両周辺撮影装置の好適な実施形態の一つでは、前記カメラが前記突出した状態で、前記エッジを鉛直下向きに撮影する。
　この構成では、車両の周縁部を真上から見下ろした状態の画像が撮影されるため、この画像によれば車両を障害物の直近まで移動させる際の確認が容易になる。
　本発明の車両周辺撮影装置の好適な実施形態の一つでは、前記カメラが前記後退した状態で前記車両の車体に格納される。
　この構成では、カメラが後退した状態、すなわち、カメラを使用しない状態では車体に格納される。そのため、汚れ等を防止することができる。
　本発明の車両周辺撮影装置の好適な実施形態の一つでは、前記車両の周縁部に、板状の揺動部材を備え、前記揺動部材は、当該揺動部材の上端側の揺動軸を中心として上下方向に揺動開閉可能に構成され、前記カメラは、前記揺動部材の前記車両の内側面に設置されている。
　この構成では、揺動部材を揺動開閉するだけでカメラを突出した状態と後退した状態とに切り換えることができる。また、カメラは揺動部材の車両の内側の面に設置されているため、揺動部材をカメラのカバーとして利用することができる。
　本発明の車両周辺撮影装置の好適な実施形態の一つでは、前記カメラは、前記揺動部材が開いた状態で当該カメラの光軸が略鉛直下向きとなるように設置されている。
　この構成では、揺動部材を開くだけで、カメラを鉛直下方を撮影可能な姿勢とすることができるため、追加的な位置決め部材等が不要となる。
　本発明の車両周辺撮影装置の好適な実施形態の一つでは、障害物を検知する障害物検知部を備え、前記駆動機構は、前記障害物検知部により前記障害物が検知された際に前記カメラを前記突出した状態に切り換える。
　この構成では、障害物が検知された際に、カメラが突出した状態に切り換えられ、車両の周縁部の下方が撮影される。すなわち、この構成では、車両周囲の確認が必要になった際に、自動的にカメラが突出した状態に切り換えられる。そのため、運転者の負担を低減することができる。
　本発明の車両周辺撮影装置の好適な実施形態の一つでは、前記カメラは前記周縁部であるバンパーに備えられ、前記車両の側方周辺を撮影するサイドカメラと、前記カメラにより撮影された画像と前記サイドカメラにより撮影された画像とを、それぞれの当該画像に含まれる前記バンパーの外周線が連続するように合成する画像合成部と、を備えている。
　この構成では、カメラにより撮影されたバンパーを含む画像と、サイドカメラにより撮影された画像とが、バンパーの外周線が連続する、すなわち、滑らかに接続するように合成される。そのため、合成された画像の違和感を低減することができる。
　本発明の車両周辺撮影装置によれば、車両の周縁部下方を撮影することができる。
本発明の車両周辺撮影装置が搭載された車両のバンパー付近の側面図である。 本発明の車両周辺撮影装置が搭載された車両のバンパー付近の平面図である。 本発明の車両周辺撮影装置が搭載された車両の外観図である。 本発明の車両周辺撮影装置の機能ブロック図である。 本発明の車両周辺撮影装置により撮影され、表示される画像の例である。 本発明の車両周辺撮影装置により撮影され、表示される画像の例である。 別実施形態における車両周辺撮影装置が搭載された車両のバンパー付近の側面図である。
　以下に、図面を用いて本発明の車両周辺撮影装置の実施例を説明する。図１および図２は本発明の車両周辺撮影装置を搭載した車両Ｖの前方のバンパーＢを車両Ｖの右側から見た側面図および車両Ｖの前方の平面図である。また、図３は車両Ｖの外観図である。
　本実施形態では、車両Ｖは車両Ｖの周縁部であるバンパーＢの左右の端部（コーナー）付近に設置されたカメラＦＣ、左右のサイドミラーＳＭの下面に備えられ略鉛直下方を撮影するサイドカメラＳＣ、車両Ｖの後方に備えられ車両Ｖの斜め後方を撮影するバックカメラＢＣを備えている。したがって、本実施形態では車両Ｖには５台のカメラＣが搭載されている。なお、以下の説明においてこれらを区別する必要がない場合には、これらをカメラＣと表記する。
　本実施形態では、カメラＣは動画撮影が可能なカラーデジタルカメラにより構成しているが、モノクロカメラであっても構わないし、スチルカメラであっても構わない。また、カメラＣはアナログカメラであっても構わないが、その場合には、カメラＣにより撮影されたアナログ画像をデジタル化する機能部を備える必要がある。
　カメラＦＣは、駆動機構Ｄにより、車両Ｖの周辺方向に突出した状態（以下、突出姿勢と称する）と車両Ｖ側に後退した状態（以下、後退姿勢と称する）とに切り替え可能に構成されている。なお、図１および２は突出姿勢のカメラＦＣを表している。
　駆動機構Ｄはアクチュエータ等により構成することができる。例えば、ヘッドライトにワイパーを備えている車両Ｖでは、このワイパーを駆動するアクチュエータにより駆動機構Ｄを構成することもできる。
　図１に示すように、車両ＶのバンパーＢ（周縁部の例）は開口部Ｂａが形成されており、突出姿勢のカメラＦＣはその開口部Ｂａから突出している。突出姿勢のカメラＦＣは、バンパーＢの開口部Ｂａから車両Ｖの周辺方向に略水平に突出した状態で略鉛直下方を撮影する。このカメラＦＣの撮影範囲は図１および図２中において符号Ａとして表している。これらの図から明らかなように、撮影範囲Ａは、カメラＦＣより下方にあるバンパーＢの外周面のうち最も車両Ｖの周辺方向に突出している部分により規定される外周線（以下、エッジＥと称する）およびエッジＥの鉛直下方の領域を含んでいる。
　また、図２に示すように、本実施形態では、カメラＦＣは車両Ｖの幅方向におけるバンパーＢの端部（車両Ｖのコーナー）付近に、車両Ｖの斜め前方に突出するように備えられている。すなわち、カメラＦＣは、車両Ｖの上方からの平面視における車両Ｖの外周線よりも外方側に突出するように構成されている。ただし、カメラＦＣは突出した状態で、車両Ｖの最前部および最側部よりも周辺方向に突出しないように構成されている。すなわち、カメラＦＣは、車両Ｖの上方からの平面視における車両Ｖの外周線の外接矩形の外側には突出しないように構成されている。そのため、カメラＦＣが突出姿勢であっても、カメラＦＣが車両Ｖの周辺にある障害物等に接触する可能性を低減することができる。
　また、図１に示すように、カメラＦＣはカバー部材Ｆａを備えている。カメラＦＣが後退姿勢（カメラＦＣを使用しない状態）にあるときは、カメラＦＣはバンパーＢの内部に格納され、カバー部材Ｆａの外面（車両Ｖの外部側の面）とバンパーＢの外周面とが略同一平面または略同一曲面を構成する。これにより、カメラＦＣが後退姿勢にある場合にカメラＦＣの汚れを防止することができ、車両Ｖの外観の違和感を低減することができる。
　また、図３に示すように、車両Ｖの車内には各種表示を行うモニタＭが備えられている。本実施例では、モニタＭはナビゲーションシステムのモニタ装置を兼用している。そのため、モニタＭは表示部Ｍａおよび表示部Ｍａ上に形成されたタッチパネルＭｂを有している。表示部Ｍａは液晶ディスプレイによって構成することができ、タッチパネルＭｂは、表示部Ｍａと共に形成され、指などによる接触位置をロケーションデータとして出力することができる感圧式や静電式の指示入力装置により構成することができる。
　図４は、車両周辺撮影装置の機能ブロック図である。図に示すように、本実施形態の車両周辺撮影装置は、上述のカメラＦＣ、サイドカメラＳＣ、バックカメラＢＣ、駆動機構Ｄの他に、車両周辺撮影装置全体を制御する制御部１１、カメラＣにより撮影された画像（映像）を取得する画像取得部１２、画像取得部１２により取得された画像を合成する画像合成部１３を備えている。
　本実施形態では、制御部１１、画像取得部１２および画像合成部１３は、ＣＰＵ（Central Processing Unit）を中核としてメモリ、その他の周辺回路と共に構成されたＥＣＵ１０（Electronic Control Unit）およびソフトウェアにより構成されている。当然ながら、ＣＰＵに代えて、ＤＳＰ（Digital Signal Processor）など、他の論理演算プロセッサや論理回路を中核として構成しても構わない。
　制御部１１は、駆動機構Ｄの制御、モニタＭの表示部Ｍａへの表示およびタッチパネルＭｂからの入力の処理をはじめとして、車両周辺撮影装置全体の制御を司っている。
　画像取得部１２は、カメラＣにより撮影された画像を取得し、所定のフレームレートで各フレーム（以下、撮影画像と称する）に分割する。なお、上述したように、カメラＣをアナログカメラにより構成した場合には、画像取得部１２にアナログ画像をデジタル画像に変換する機能を備えればよい。
　画像合成部１３は、サイドカメラＳＣおよびバックカメラＢＣの撮影画像を視点変換するとともに、視点変換した撮影画像とカメラＦＣの撮影画像とを合成した合成画像を生成する。生成された合成画像は、制御部１１により表示部Ｍａに表示される。
　本実施形態では、カメラＦＣは運転者からの明示の指示がない状態では後退姿勢となっており、運転者からの明示の指示があると突出姿勢となるが、車両Ｖの状況や車両Ｖの周辺の状況に基づいて突出姿勢に切り替える構成としても構わない。
　本実施形態では、運転者からの明示の指示はタッチパネルＭｂを介して行われる。そのため、制御部１１は表示部ＭａにカメラＦＣを突出姿勢に切り替えるためのボタンを表示し、運転者はカメラＦＣを突出姿勢に切り換えたいときに、そのボタンの位置に対応するタッチパネルＭｂ上を指でタッチする。タッチパネルＭｂがタッチされたことは制御部１１により検知され、制御部１１はカメラＦＣが突出姿勢となるように駆動機構Ｄを制御する。これにより、カメラＦＣは後退姿勢から突出姿勢へと切り替えられる。
　上述したように、突出姿勢にあるカメラＦＣはエッジＥおよびエッジＥの鉛直下方の領域が撮影可能な位置にある。特に、カメラＦＣの光軸が鉛直下向きにエッジＥ上の点を通る位置が好ましい。カメラＦＣをこの位置とすれば、カメラＦＣはエッジＥを真上から見下ろした状態で撮影することができ、エッジＥを構成する車両Ｖの外周面と障害物等との位置関係を明確に把握することができる。
　このようにしてカメラＦＣにより撮影された撮影画像を表示部Ｍａに表示させることもできるが、本実施形態では画像合成部１３により生成された合成画像を表示部Ｍａに表示させる。具体的には、画像取得部１２において各カメラＣから入力される信号から撮影画像を生成する際に、各信号の同期をとり、各撮影画像の撮影時刻が同時刻となるようにする。このようにして取得された撮影画像は、メモリに記憶され、その旨が画像合成部１３に通知される。
　通知を受けた画像合成部１３は、撮影画像を合成し、合成画像を生成する。合成画像は、カメラＦＣおよびサイドカメラＳＣの撮影画像に基づいて生成することができる。このとき、図示しないステアリングセンサからの入力により、ステアリングが操舵されている側のカメラＦＣおよびサイドカメラＳＣの撮影画像から合成画像を生成すると、注視したい領域のみが表示されるため、運転者の注意を惹きつけやすくなる。例えば、ステアリングを左に操舵している場合には、左側のカメラＦＣおよび左側のサイドカメラの撮影画像から合成画像を生成する。なお、合成画像を生成する画像を撮影するカメラＦＣおよびサイドカメラＳＣの選択方法は、ステアリングの操舵方向に基づくものに限定されるものではない。例えば、タッチパネルＭｂに表示されたボタンや機械的なスイッチ等を運転者が操作することにより、選択された側のカメラＦＣおよびサイドカメラＳＣを選択し、それらにより撮影された画像から合成画像を生成しても構わない。また、ステアリングの操舵方向に関わらず、左側のカメラＦＣおよびサイドカメラＳＣと右側のカメラＦＣおよびサイドカメラＳＣにより撮影された画像から合成画像を生成しても構わない。さらに、合成画像を生成するための画像を撮影するカメラＣの選択方法は、本発明の目的を達する限りにおいて、適宜変更可能である。
　画像合成部１３は、画像合成に先立ち、カメラＦＣの撮影画像およびサイドカメラＳＣの撮影画像の視点変換を行う。カメラＦＣは駆動機構Ｄにより突出姿勢にされた際に画像を撮影するが、駆動機構Ｄの駆動誤差によりカメラＦＣの突出位置が一定にならないおそれがある。そのため、本実施形態ではカメラＦＣにより撮影された撮影画像の補正を行う。具体的には、撮影画像中のエッジＥが画像中心を通るように視点変換を行う。このように視点変換することにより、エッジＥを真上から見下ろした状態の画像を得ることができ、このような画像に基づけば、エッジＥを構成する車両Ｖの外周面（本実施形態では、バンパーＢの外周面）と障害物等の位置関係を明確に把握することができる。なお、このように視点変換する際に、画像中のエッジＥの位置に対応する変換パラメータが記録された変換テーブルを備えておき、撮影画像から検出したエッジＥの位置に対応する変換パラメータを変換テーブルから取得するように構成すると、変換パラメータの算出が不要となり、好適である。
　一方、サイドカメラＳＣの撮影画像に対しても視点変換が行われる。このとき、視点変換後のカメラＦＣの撮影画像中のエッジＥと、視点変換後のサイドカメラＳＣの撮影画像中のエッジＥとが連続する（滑らかに接続する）ように、サイドカメラＳＣの撮影画像の視点変換パラメータを設定し、視点変換を行う。上述のようにカメラＦＣの撮影画像の視点変換が行われ、サイドカメラＳＣとバンパーＢとの位置関係は不変である。したがって、サイドカメラＳＣの撮影画像の視点変換パラメータは、一定となる。
　画像合成部１３は、このようにして視点変換された撮影画像を合成する。カメラＦＣの撮影画像とサイドカメラＳＣの撮影画像を合成する際には、カメラＦＣの撮影画像の画素を優先的に使用し、カメラＦＣにより撮影できない領域はサイドカメラＳＣの撮影画像の画素を用いる。
　図５は、このようにして生成された合成画像の例である。図から明らかなように、この合成画像によれば、バンパーＢと白線や車両Ｖの近傍にある他の車両等との位置関係を明確に把握することができる。なお、この例ではバンパーＢの位置が明確となるように、バンパーＢの外周線付近にマーカ３０を合成している。
　また、カメラＦＣ，サイドカメラＳＣおよびバックカメラＢＣの撮影画像から合成画像を生成することもできる。この場合でも、カメラＦＣおよびサイドカメラＳＣの撮影画像は上述した視点変換が行われる。また、バックカメラＢＣは車両Ｖの斜め後方を撮影しているため、バックカメラＢＣの撮影画像は車両Ｖの上方から見下ろした画像となるように視点変換が施される。視点変換されたこれらの撮影画像を合成すると、図６に示す合成画像が得られる。なお、図６の合成画像には車両Ｖが含まれているが、車両ＶだけはＣＧ合成を行っている。また、この例でもマーカ３０を合成している。
　このようにして生成された合成画像は、表示部Ｍａに表示され、運転者の周辺確認に用いられる。
　運転者から明示の指示があった場合、イグニッションスイッチがオフにされた場合等には、制御部１１はカメラＦＣが後退姿勢となるように、駆動機構Ｄを制御する。これにより、カメラＦＣはバンパーＢの内部に格納され、カバー部材Ｆａにより開口部Ｂａが塞がれ、カメラＦＣの汚れ等を防止する。
　このように、本発明の車両周辺撮影装置によれば、実際の画像に基づいて車両Ｖの外周面と車両Ｖの周囲の障害物や道路端との位置関係を明確に把握することができる。
〔別実施形態〕
（１）上述の実施形態では、カメラＦＣをバンパーＢに設置したが、カメラＦＣは本発明の目的を達成する限りにおいて、他の場所に設置しても構わない。
（２）上述の実施形態では、バックカメラＢＣは固定カメラとしたが、バックカメラＢＣも突出姿勢と後退姿勢とに切り換え自在の構成としても構わない。後退姿勢から突出姿勢への切り換えは、運転者からの明示的な指示によっても構わないが、後方の障害物を検知する障害物検知部を備え、障害物検知部により障害物が検知された際に突出姿勢に切り替える構成とすることもできる。なお、障害物検知部は画像認識装置やレーダー等の公知の技術により構成することができる。また、バックカメラＢＣをカメラＦＣと同様に後部バンパーの左右両端部付近に設置しても構わない。
（３）上述の実施形態では、カメラＦＣが後退姿勢にあるときには車両Ｖの内部に格納される構成としたが、カメラＦＣが後退姿勢にあるときにも車両Ｖの周縁部から突出していても構わない。
（４）上述の実施形態では、カメラＦＣは後退姿勢から略水平に車両Ｖの周辺方向に突出したが、突出姿勢はこれに限定されるものではない。例えば、図７のように、カバー部材Ｆａがその上端部付近の揺動軸を中心として揺動するように構成され、カメラＦＣをカバー部材Ｆａの裏側（車両Ｖの内部側）に取り付ける構成とすることもできる。このとき、カバー部材Ｆａが揺動した（開いた）状態で、カメラＦＣの光軸が略鉛直下向きとなるようにしておく。これにより、カバー部材Ｆａが開くと、カメラＦＣは突出姿勢となる。当然ながら、カメラＦＣを後退姿勢と突出姿勢とに切り替える構成として、他の構成を用いても構わない。
　なお、上述したそれぞれの別実施形態の構成は、適宜組み合わせても構わない。
　本発明は、車両に搭載され、その車両の周囲を撮影する撮影装置に適用することができる。
Ａ：撮影範囲
Ｂ：バンパー（周縁部）
Ｄ：駆動機構
Ｅ：エッジ
ＦＣ：カメラ
ＳＣ：サイドカメラ
Ｖ：車両
１１：制御部
１２：画像取得部
１３：画像合成部

Claims (8)

  1. 　車両の周縁部に備えられ、当該車両の周辺方向に突出した状態で当該車両の周縁部の平面視におけるエッジおよび当該エッジの鉛直下方を含む領域を撮影するカメラと、
    　前記カメラを前記突出した状態および前記車両側に後退した状態を切り替える駆動機構と、を備えた車両周辺撮影装置。
  2. 　前記カメラは、前記車両のコーナー近傍に備えられ、
    　前記カメラが前記突出した状態で、前記車両の全長および全幅よりも突出しないように構成されている請求項１記載の車両周辺撮影装置。
  3. 　前記カメラが前記突出した状態で、前記エッジを鉛直下向きに撮影する請求項１または２記載の車両周辺撮影装置。
  4. 　前記カメラが前記後退した状態で前記車両の車体に格納される請求項１から３のいずれか一項に記載の車両周辺撮影装置。
  5. 　前記車両の周縁部に、板状の揺動部材を備え、
    　前記揺動部材は、当該揺動部材の上端側の揺動軸を中心として上下方向に揺動開閉可能に構成され、
    　前記カメラは、前記揺動部材の前記車両の内側面に設置されている請求項１記載の車両周辺撮影装置。
  6. 　前記カメラは、前記揺動部材が開いた状態で当該カメラの光軸が略鉛直下向きとなるように設置されている請求項５記載の車両周辺撮影装置。
  7. 　障害物を検知する障害物検知部を備え、
    　前記駆動機構は、前記障害物検知部により前記障害物が検知された際に前記カメラを前記突出した状態に切り換える請求項１から６のいずれか一項に記載の車両周辺撮影装置。
  8. 　前記カメラは前記周縁部であるバンパーに備えられ、
    　前記車両の側方下方を撮影するサイドカメラと、
    　前記カメラにより撮影された画像と前記サイドカメラにより撮影された画像とを、それぞれの当該画像に含まれる前記バンパーの外周線が連続するように合成する画像合成部と、を備えた請求項１から７のいずれか一項に記載の車両周辺撮影装置。
PCT/JP2011/073237 2010-11-17 2011-10-07 車両周辺撮影装置 WO2012066867A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012544150A JP5445881B2 (ja) 2010-11-17 2011-10-07 車両周辺撮影装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2010-257062 2010-11-17
JP2010257062 2010-11-17

Publications (1)

Publication Number Publication Date
WO2012066867A1 true WO2012066867A1 (ja) 2012-05-24

Family

ID=46083808

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2011/073237 WO2012066867A1 (ja) 2010-11-17 2011-10-07 車両周辺撮影装置

Country Status (2)

Country Link
JP (1) JP5445881B2 (ja)
WO (1) WO2012066867A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103538533A (zh) * 2013-10-09 2014-01-29 安徽省龙佳交通设备有限公司 半挂车倒车左右盲点监视报警系统
WO2014162510A1 (ja) * 2013-04-02 2014-10-09 パイオニア株式会社 運転操作支援装置、制御装置及び運転操作支援方法
JP2017162015A (ja) * 2016-03-07 2017-09-14 マツダ株式会社 車両周辺画像表示装置
WO2019210963A1 (en) * 2018-05-03 2019-11-07 Volvo Truck Corporation Vehicle comprising a driver cab and a monitoring device for monitoring a front dead angle area and monitoring device for such vehicle

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004299510A (ja) * 2003-03-31 2004-10-28 Sharp Corp 車両用監視装置
JP2006168683A (ja) * 2004-12-20 2006-06-29 Nissan Motor Co Ltd 車載カメラ装置
JP2007104373A (ja) * 2005-10-05 2007-04-19 Alpine Electronics Inc 車両用画像表示装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004299510A (ja) * 2003-03-31 2004-10-28 Sharp Corp 車両用監視装置
JP2006168683A (ja) * 2004-12-20 2006-06-29 Nissan Motor Co Ltd 車載カメラ装置
JP2007104373A (ja) * 2005-10-05 2007-04-19 Alpine Electronics Inc 車両用画像表示装置

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014162510A1 (ja) * 2013-04-02 2014-10-09 パイオニア株式会社 運転操作支援装置、制御装置及び運転操作支援方法
JP5967784B2 (ja) * 2013-04-02 2016-08-10 パイオニア株式会社 運転操作支援装置、制御装置及び運転操作支援方法
CN103538533A (zh) * 2013-10-09 2014-01-29 安徽省龙佳交通设备有限公司 半挂车倒车左右盲点监视报警系统
JP2017162015A (ja) * 2016-03-07 2017-09-14 マツダ株式会社 車両周辺画像表示装置
WO2019210963A1 (en) * 2018-05-03 2019-11-07 Volvo Truck Corporation Vehicle comprising a driver cab and a monitoring device for monitoring a front dead angle area and monitoring device for such vehicle
CN112041198A (zh) * 2018-05-03 2020-12-04 沃尔沃卡车集团 包括驾驶室和用于监控前死角区域的监控装置的车辆以及用于这种车辆的监控装置
US11772574B2 (en) 2018-05-03 2023-10-03 Volvo Truck Corporation Vehicle comprising a driver cab and a monitoring device for monitoring a front dead angle area and monitoring device for such vehicle

Also Published As

Publication number Publication date
JP5445881B2 (ja) 2014-03-19
JPWO2012066867A1 (ja) 2014-05-12

Similar Documents

Publication Publication Date Title
US8294563B2 (en) Vehicle-surrounding image display apparatus and vehicle-surrounding image display method
JP3916958B2 (ja) 車両後方モニタシステムおよびモニタ装置
JPH11338074A (ja) 車両用周囲モニタ装置
JP2003054316A (ja) 車両用撮像装置、車両用監視装置及びドアミラー
JP2005191962A (ja) 移動体周囲監視装置および移動体
JP2005110207A (ja) カメラ装置及び車両周辺監視装置
JP3832455B2 (ja) 車輌周囲表示装置
JP5036891B2 (ja) 車両に搭載されるカメラ装置及び車両周辺監視装置
JP2006131213A (ja) 自動二輪車の後方視認装置
WO2018159017A1 (ja) 車両用表示制御装置、車両用表示システム、車両用表示制御方法およびプログラム
JP2007237964A (ja) 車両運転支援装置
WO2012066867A1 (ja) 車両周辺撮影装置
JP2009006974A (ja) サイドミラー装置およびサイドミラーシステム
JP2010033108A (ja) 画像処理システム、撮像装置、画像処理方法及びコンピュータプログラム
JP2006044596A (ja) 車両用表示装置
JP2004194071A (ja) 運転支援画像生成装置
JP2011189775A (ja) 車両の後側方確認装置
JP2008148114A (ja) 運転支援装置
JP2004026012A (ja) 車輌周辺視認装置
JP2004182121A (ja) 運転支援装置
JP2005236493A (ja) 運転支援装置
JP2001097116A (ja) 撮像装置の取付構造
JP2007096496A (ja) 車両周囲表示システム
JP2006303985A (ja) 予測進路表示装置および予測進路表示方法
JP4678586B2 (ja) 撮像装置付きドアミラー

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11840842

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2012544150

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 11840842

Country of ref document: EP

Kind code of ref document: A1