KR101971317B1 - 삼차원 물체 인식 장치, 삼차원 물체 인식 방법 및, 이동체 - Google Patents

삼차원 물체 인식 장치, 삼차원 물체 인식 방법 및, 이동체 Download PDF

Info

Publication number
KR101971317B1
KR101971317B1 KR1020157030923A KR20157030923A KR101971317B1 KR 101971317 B1 KR101971317 B1 KR 101971317B1 KR 1020157030923 A KR1020157030923 A KR 1020157030923A KR 20157030923 A KR20157030923 A KR 20157030923A KR 101971317 B1 KR101971317 B1 KR 101971317B1
Authority
KR
South Korea
Prior art keywords
dimensional
dimensional shape
obstacle
shape
measurement
Prior art date
Application number
KR1020157030923A
Other languages
English (en)
Other versions
KR20150135505A (ko
Inventor
가즈히토 다나카
Original Assignee
도요타지도샤가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 도요타지도샤가부시키가이샤 filed Critical 도요타지도샤가부시키가이샤
Publication of KR20150135505A publication Critical patent/KR20150135505A/ko
Application granted granted Critical
Publication of KR101971317B1 publication Critical patent/KR101971317B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06K9/00201—
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S1/00—Beacons or beacon systems transmitting signals having a characteristic or characteristics capable of being detected by non-directional receivers and defining directions, positions, or position lines fixed relatively to the beacon transmitters; Receivers co-operating therewith
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G06K9/00805—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Electromagnetism (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)

Abstract

본 발명에 관한 삼차원 물체 인식 장치는, 전방위에 대하여 주변의 물체를 측정하고, 측정 결과로서 물체의 위치를 특정할 수 있는 위치 정보를 생성하는 전방위 센서와, 주변의 물체 중, 일정한 측정 범위 내의 물체를 측정하고, 측정 결과로서 물체의 삼차원 형상을 특정할 수 있는 삼차원 형상 정보를 생성하는 삼차원 측정 장치와, 물체가 삼차원 측정 장치의 측정 범위 내에 있는 경우, 삼차원 측정 장치가 생성한 삼차원 형상 정보에 기초하여, 물체의 삼차원 형상으로서 인식하는 형상을 갱신하는 제어부를 구비한다. 제어부는, 물체가 삼차원 측정 장치의 측정 범위 외로 나온 경우에도, 전방위 센서가 생성한 위치 정보에 기초하여 물체를 추적한다.

Description

삼차원 물체 인식 장치, 삼차원 물체 인식 방법 및, 이동체{THREE-DIMENSIONAL OBJECT RECOGNITION DEVICE, THREE-DIMENSIONAL OBJECT RECOGNITION METHOD, AND MOBILE BODY}
본 발명은, 삼차원 물체 인식 장치, 삼차원 물체 인식 방법 및, 이동체에 관한 것이다.
특허문헌 1에는, 카메라의 촬영 화상 중의 자차 전방의 일정 범위 내의 보행자를 고정밀도로 신속하게 인식하는 것을 목적으로 한 화상 인식 장치가 탑재된 차량이 개시되어 있다. 이 화상 인식 장치는, 레이저 레이더의 탐사에 의해 자차 전방의 소정의 보행자 검출 가능 영역 이원(以遠)에 검출되는 물표에 식별 정보 ID를 부여한다. 이에 의해, 차량이나 노측물인 전봇대 등과 같이, 보행자가 아닌, 레이저광의 흡수가 적은 물표에 식별 정보 ID를 부여하도록 하고 있다. 그리고, 이 화상 인식 장치는, 카메라의 보행자 검출 가능 영역의 식별 정보 ID가 부여되어 있지 않은 물표에 대해서만 패턴 매칭의 화상 인식 처리를 실시하여 보행자를 인식하도록 하고 있다. 이에 의해, 화상 인식 처리의 부하가 적어져, 고정밀도로 신속하게 보행자 검출 가능 영역 내의 보행자를 인식할 수 있다고 설명되어 있다.
일본 특허 공개 제2009-237898호 공보
본원 출원인은, 상술한 바와 같이 주변의 물체를 인식하는 기술에 있어서, 이하에 설명하는 과제를 알아내었다. 이하, 그 과제에 대하여 설명한다. 또한, 이하에 설명하는 내용은, 본원 출원인이 새로이 검토한 내용이며, 종래 기술을 설명하는 것이 아니다. 여기에서는, 센서에 의해 주변의 장해물(물체)을 인식하면서 자율 이동하는 이동체에 대하여 생각한다.
먼저, 이동체가 장해물을 피하여 자율 이동하는 수법으로서, 단순하게는, 주변 장해물의 삼차원 형상은 고려하지 않고, 장해물의 유무 및 위치만을 고려하여, 장해물을 피해서 이동 경로를 계획하는 수법을 생각할 수 있다. 그러나, 이 수법으로는, 장해물의 위치를 추적하여 인식할 수 있어도, 이동체가 오버행 장해물 등에 접촉해 버릴 가능성이 있다. 통상, 장해물은, 그 종류에 따라 삼차원적 특징이 상이하고, 예를 들어 의자 다리와 같이 특정부가 돌출되어 있는 것도 있기 때문이다.
따라서, 이동체가 장해물에 접촉되지 않게 자율 이동하기 위해서는, 장해물의 삼차원 형상을 인식하면서, 장해물의 삼차원 형상을 고려하여, 이동체가 장해물과 접촉되지 않도록 이동 경로를 계획하여 이동할 필요가 있다.
이러한 요건을 충족시키는 수법으로서, 주변 장해물의 삼차원 형상을 계측하는 센서를 이동체에 탑재하고, 그 센서에 의해 장해물의 삼차원 형상을 계측하는 수법을 생각할 수 있다. 그러나, 삼차원 형상을 계측하는 센서의 대부분은, 그 계측 범위가 한정되어 있다. 그로 인해, 센서의 사각(死角)에 들어가버린 장해물은 계측할 수 없게 되어 버린다.
이 문제에 대한 대책으로서, 장해물이 센서의 사각에 들어간 위치를 기억하도록 했다고 하더라도, 그 위치를 참고로 이동 경로를 계획할 수는 있지만, 그 후, 장해물이 이동했는지 여부는 측정할 수 없다. 그로 인해, 그 위치의 근처를 이동 경로로서 계획해 버렸을 경우에는, 그 위치로부터 이동한 장해물과 접촉되어 버릴 가능성이 있다. 그것에 대하여, 그 위치를 크게 우회하도록 이동 경로를 계획하도록 해 버리면, 실제로는 이동하지 않게 된 장해물을 크게 우회하는듯한 이동 경로를 계획해 버려, 이동의 효율을 크게 손상시켜 버릴 가능성이 있다.
또한, 다른 대책으로서, 계측 범위가 제한되지 않고, 전방위에 대하여 주변 장해물의 삼차원 형상을 계측할 수 있는 센서를 탑재하는 것도 생각할 수 있다. 그러나, 센서의 정밀도·계측 범위와 비용·탑재성은 상반된 관계에 있다. 즉, 전방위에 대하여 주변 장해물의 삼차원 형상을 계측할 수 있도록 하기 위해서는, 그러한 기능을 갖는 고가의 센서를 탑재하거나, 또는, 일정한 계측 범위에서 삼차원 형상을 계측하는 센서를 전방위를 계측 가능하게 되도록 다수 탑재할 필요가 있어, 매우 고비용이 되어 버린다는 문제가 있다.
본 발명은, 상술한 지견에 기초하여 이루어진 것으로, 비용을 억제하면서, 주변 물체의 삼차원 형상을 광범위로 파악할 수 있는 삼차원 물체 인식 장치, 삼차원 물체 인식 방법 및 이동체를 제공하는 것을 목적으로 한다.
본 발명의 제1 양태에 관한 삼차원 물체 인식 장치는, 전방위에 대하여 주변의 물체를 측정하고, 측정 결과로서 상기 물체의 위치를 특정할 수 있는 위치 정보를 생성하는 전방위 센서와, 상기 주변의 물체 중, 일정한 측정 범위 내의 물체를 측정하고, 측정 결과로서 상기 물체의 삼차원 형상을 특정할 수 있는 삼차원 형상 정보를 생성하는 삼차원 측정 장치와, 상기 물체가 상기 삼차원 측정 장치의 측정 범위 내에 있는 경우, 상기 삼차원 측정 장치가 생성한 삼차원 형상 정보에 기초하여, 상기 물체의 삼차원 형상으로서 인식하는 형상을 갱신하는 제어부를 구비하고, 상기 제어부는, 상기 물체가 상기 삼차원 측정 장치의 측정 범위 외로 나온 경우에도, 상기 전방위 센서가 생성한 위치 정보에 기초하여 상기 물체를 추적하는 것이다.
본 발명의 제2 양태에 관한 삼차원 물체 인식 방법은, 삼차원 측정 장치에 의해, 주변의 물체 중, 상기 삼차원 측정 장치의 일정한 측정 범위 내에 있어서의 물체에 대하여 삼차원 형상을 측정하고, 측정 결과에 기초하여 상기 삼차원 측정 장치의 측정 범위 내에 있는 물체의 삼차원 형상으로서 인식하는 형상을 갱신하는 스텝과, 전방위 센서에 의해, 전방위에 대하여 주변 물체의 위치를 측정하고, 측정 결과에 기초하여 상기 삼차원 측정 장치의 측정 범위 외로 나온 물체를 추적하는 스텝을 구비한 것이다.
본 발명의 제3 양태에 관한 이동체는, 전방위에 대하여 주변의 물체를 측정하고, 측정 결과로서 상기 물체의 위치를 특정할 수 있는 위치 정보를 생성하는 전방위 센서와, 상기 주변의 물체 중, 일정한 측정 범위 내의 물체를 측정하고, 측정 결과로서 상기 물체의 삼차원 형상을 특정할 수 있는 삼차원 형상 정보를 생성하는 삼차원 측정 장치와, 상기 물체가 상기 삼차원 측정 장치의 측정 범위 내에 있는 경우, 상기 삼차원 측정 장치가 생성한 삼차원 형상 정보에 기초하여, 상기 물체의 삼차원 형상으로서 인식하는 형상을 갱신함과 함께, 상기 인식하고 있는 물체의 삼차원 형상에 기초하여, 상기 물체와 접촉하지 않도록 이동 경로를 계획하고, 계획한 이동 경로를 이동하도록 제어하는 제어부를 구비하고, 상기 제어부는, 상기 물체가 상기 삼차원 측정 장치의 측정 범위 외로 나온 경우에도, 상기 전방위 센서가 생성한 위치 정보에 기초하여 상기 물체를 추적하는 것이다.
상술한 본 발명의 각 양태에 의하면, 비용을 억제하면서, 주변 물체의 삼차원 형상을 광범위로 파악할 수 있는 삼차원 물체 인식 장치, 삼차원 물체 인식 방법 및, 이동체를 제공할 수 있다.
도 1은 실시 형태에 따른 자율 이동체의 외부 구성도이다.
도 2는 실시 형태에 따른 자율 이동체에 의한 물체의 측정 상황의 일례를 도시하는 도면이다.
도 3은 실시 형태에 따른 자율 이동체의 내부 구성도이다.
도 4는 실시 형태에 따른 자율 이동체의 처리를 나타내는 흐름도이다.
도 5는 도 4의 스텝 S13의 삼차원 형상 정보 부여 처리를 나타내는 흐름도이다.
도 6은 실시 형태에 관한 자율 이동체가 취급하는 데이터의 흐름을 도시하는 도면이다.
도 7은 장해물 위치와 삼차원 형상의 대응짓기의 일례를 도시하는 도면이다.
도 8은 삼차원 거리 센서의 계측 범위 내에 있어서의 장해물의 삼차원 형상을 축적하는 일례를 도시하는 도면이다.
도 9는 삼차원 거리 센서의 계측 범위 외에 있어서의 장해물의 삼차원 형상을 생성하는 일례를 도시하는 도면이다.
도 10은 실시 형태의 효과를 설명하기 위한 도면이다.
도 11은 실시 형태의 효과를 설명하기 위한 도면이다.
이하에 도면을 참조하면서, 본 발명의 적합한 실시 형태에 대해서 설명한다. 이하의 실시 형태에 나타내는 구체적인 수치 등은, 발명의 이해를 용이하게 하기 위한 예시에 지나지 않고, 특별히 언급하는 경우를 제외하고, 그것에 한정되는 것은 아니다. 또한, 이하의 기재 및 도면에서는, 설명의 명확화를 위해, 당업자에게 있어 자명한 사항 등에 대해서는, 적절히 생략 및 간략화가 이루어져 있다.
<발명의 실시 형태>
먼저, 본 실시 형태에 따른 자율 이동체(1)에 대하여 설명한다. 도 1 및 도 2를 참조하여, 본 실시 형태에 따른 자율 이동체(1)의 외부 구성에 대하여 설명한다. 도 1은 본 실시 형태에 따른 자율 이동체(1)의 외부 구성도이다. 도 2는 실시 형태에 따른 자율 이동체(1)에 의한 물체의 측정 상황의 일례를 도시하는 도면이다.
자율 이동체(1)는, 삼차원 거리 센서(2), 전방위 센서(3), 본체(4), 차륜(5a, 5b)을 갖고 있다. 자율 이동체(1)는, 그 주변의 장해물(물체)을 인식하고, 장해물을 피하면서 자율적으로 이동한다.
삼차원 거리 센서(2)는, 도 2에 도시하는 바와 같이, 자율 이동체(1)의 주변 장해물 중, 일정한 측정 범위 내의 장해물을 측정하고, 측정 결과로서 그것들의 장해물의 측정면(삼차원 거리 센서(2)에 대향하는 면)에 있어서의 삼차원 형상을 특정할 수 있는 삼차원 형상 정보를 생성한다. 삼차원 거리 센서(2)는, 자율 이동체(1)의 전방 장해물을 계측할 수 있도록, 본체(4)의 전방부에 배치되어 있다.
보다 구체적으로는, 삼차원 거리 센서(2)는, 예를 들어 그 계측 범위 내에 있어서의 각 방위마다 장해물까지의 거리를 측정하는 센서이다. 즉, 삼차원 거리 센서(2)는, 삼차원 형상 정보로서, 그 계측 범위 내의 장해물의 측정면에 있어서의 각 점까지의 거리를 나타내는 거리 정보를 생성하는 센서이다. 또한, 삼차원 거리 센서는, 광학식, 초음파식 및, 레이저 광선식 등의 각종 방식 중, 임의의 방식인 것을 사용하도록 해도 된다.
이와 같이, 삼차원 거리 센서(2)는, 일정한 측정 범위 내의 장해물만의 삼차원 형상밖에 계측할 수 없지만, 전방위에 대하여 장해물의 삼차원 형상까지도 계측 가능하게 하는 센서와 비교하여 저렴하다.
여기서, 장해물을 측정하고, 장해물의 삼차원 형상을 특정할 수 있는 삼차원 형상 정보를 생성하는 장치(삼차원 측정 장치)는, 삼차원 거리 센서(2)에 한정되지 않는다. 예를 들어, 삼차원 측정 장치로서, 삼차원 거리 센서(2) 대신에 카메라(촬상 장치)를 구비하도록 해도 된다. 그리고, 카메라에 의해, 일정한 범위의 장해물을 촬상하고, 촬상한 범위의 화상을 나타내는 화상 정보를 삼차원 형상 정보로서 생성하도록 해도 된다. 즉, 그 내용으로부터 계측 범위에 있어서의 장해물의 삼차원 형상을 특정할 수 있는 정보가 얻어지는 것이라면, 삼차원 형상 정보의 형식 및 삼차원 형상 정보를 생성하는 장치는, 임의의 것을 채용할 수 있다. 즉, 삼차원 형상 정보는, 거리 정보와 같이, 거리로서 장해물의 삼차원 형상을 나타내는 정보여도 되고, 화상 정보와 같이, 그 내용을 해석함으로써 장해물의 삼차원 형상을 도출할 수 있는 정보여도 된다.
전방위 센서(3)는, 도 2에 도시하는 바와 같이, 전방위에 대하여 자율 이동체(1) 주변의 장해물을 측정하고, 측정 결과로서 그들 장해물의 위치를 특정할 수 있는 장해물 위치 정보를 생성하는 센서이다. 전방위 센서(3)는, 자율 이동체(1)의 전방위를 계측할 수 있도록, 본체(4)의 상부에 배치되어 있다.
전방위 센서(3)는, 예를 들어 전방위에 대하여 자율 이동체(1) 주변의 장해물까지의 거리를 계측하고, 전방위에 대하여 각 장해물까지의 거리를 나타내는 거리 정보를 장해물 위치 정보로서 생성하는 센서로 해도 된다. 이 경우, 전방위 센서(3)는, 전방위에 대하여 장해물까지의 거리를 측정할 수 있지만, 삼차원 형상까지는 측정할 수 없는 저렴한 거리 센서로 한다. 또한, 전방위 센서(3)는, 전방위에 대하여 자율 이동체(1) 주변의 장해물을 촬상하고, 촬상한 전방위의 화상을 나타내는 화상 정보를 장해물 위치 정보로서 생성하는 센서여도 된다. 즉, 그 내용으로부터 전방위에 있어서의 장해물의 각각의 위치를 특정할 수 있는 정보가 얻어지는 것이라면, 장해물 위치 정보의 형식 및 전방위 센서는, 임의의 것을 채용할 수 있다. 즉, 장해물 위치 정보는, 거리 정보와 같이, 장해물까지의 거리를 나타내는 정보여도 되고, 화상 정보와 같이, 그 내용을 해석함으로써 장해물까지의 거리를 도출할 수 있는 정보여도 된다.
이와 같이, 전방위 센서(3)는, 저렴하고 주변 장해물의 삼차원 형상까지는 계측할 수는 없지만, 광범위에 있어서의 장해물의 위치를 계측하는 것이 가능하다. 또한, 이와 같이, 전방위 센서(3)는, 장해물의 삼차원 형상까지는 계측할 수는 없지만, 수평 방향에 있어서의 측정 범위는, 삼차원 거리 센서(2)보다도 광범위가 된다.
본체(4)는, 그 하부에 차륜(5a, 5b)이 설치되어 있다. 자율 이동체(1)는 차륜(5a, 5b)을 구동함으로써 이동한다.
상술한 구성에 의해, 자율 이동체(1)는, 삼차원 거리 센서(2) 및 전방위 센서(3)의 측정 결과를 이용하여, 자율 이동체(1) 주변의 장해물을 피하여 자율적으로 이동한다. 또한, 본 실시 형태에 따른 자율 이동체(1)는, 삼차원 거리 센서(2)와 전방위 센서(3)를 조합함으로써, 삼차원 형상을 계측하는 삼차원 거리 센서(2)의 계측 범위가 한정되어 있었다고 하더라도, 주변 장해물의 삼차원 형상을 광범위로 파악하는 것을 가능하게 한다.
계속해서, 도 3을 참조하여, 본 실시 형태에 따른 자율 이동체(1)의 내부 구성에 대하여 설명한다. 도 3은 본 실시 형태에 따른 자율 이동체(1)의 내부 구성도이다.
자율 이동체(1)는, 제어부(10) 및 액추에이터(14a, 14b)를 갖는다.
제어부(10)는, 자율 이동체(1)를 통괄적으로 제어한다. 제어부(10)는, CPU(Central Processing Unit) 및 기억부를 갖고 있고(도시하지 않음), 그 CPU가 기억부에 저장된 프로그램을 실행함으로써, 제어부(10)로서의 각종 처리를 실현한다. 즉, 이 프로그램은, 제어부(10)가 갖는 CPU에 제어부(10)로서의 각종 처리를 실행시키기 위한 코드를 포함하고 있다. 여기서, 기억부는, 상기 프로그램이나, 기타 제어부(10)가 사용하는 각종 정보가 저장된다. 기억부는, 상기 프로그램이나 각종 정보를 저장 가능한 기억 장치 중 적어도 하나를 포함한다. 기억 장치로서, 예를 들어 메모리 및 하드 디스크 등 중 적어도 하나를 임의로 사용해도 된다. 제어부(10)는, 삼차원 장해물 위치 보존부(11), 경로 계획부(12) 및, 이동체 구동 제어부(13)로서 기능한다.
삼차원 장해물 위치 보존부(11)는, 전방위 센서(3)로부터 출력된 장해물 위치 정보에 기초하여, 자율 이동체(1) 주변의 장해물 및 그 위치를 인식하고, 인식한 장해물 각각에 대하여 식별 정보를 부여한다. 여기서, 식별 정보는, 장해물 각각을 한가지로 특정할 수 있는 정보이다. 예를 들어, 식별 정보로서, 한가지 정수를 할당하도록 해도 된다. 또한, 삼차원 장해물 위치 보존부(11)는, 장해물 위치 정보에 의해 특정되는 장해물의 각각의 위치에 기초하여, 인식한 장해물의 각각의 현재 위치를 추적한다. 이에 의해, 장해물이 삼차원 거리 센서(2)의 계측 범위 내에 있는지 여부에 관계없이, 장해물의 현재 위치를 추적하는 것이 가능하게 되어 있다.
또한, 삼차원 장해물 위치 보존부(11)는, 전방위 센서(3)로부터 출력된 장해물 위치 정보에 기초하여 특정한 장해물의 위치가 삼차원 거리 센서(2)의 계측 범위 내인 경우, 그 장해물의 위치를 나타내는 장해물 위치 정보와, 삼차원 거리 센서(2)로부터 출력된 삼차원 형상 정보에 기초하여 특정한 그 장해물의 삼차원 형상을 나타내는 삼차원 형상 정보를 대응지어서 기억부에 보존한다. 즉, 장해물마다, 장해물 위치 정보와 삼차원 형상 정보가 대응지어져서 기억부에 보존된다. 이 때, 전방위 센서(3)로부터 출력된 장해물 위치 정보의 형식과, 기억부에 보존되는 장해물 위치 정보의 형식은, 동일해도 되고 상이해도 된다. 삼차원 거리 센서(2)로부터 출력된 삼차원 형상 정보의 형식과, 기억부에 보존되는 정보의 형식에 대해서도 마찬가지이다. 즉, 삼차원 거리 센서(2) 및 전방위 센서(3)로부터 출력된 장해물 위치 정보 및 삼차원 형상 정보로부터, 장해물마다의 정보를 잘라낼 때에는, 잘라낸 정보가 그대로 보존되도록 해도 되고, 화상 정보로부터 위치나 삼차원 형상을 특정하는 경우와 같이 정보의 형식이 변환되어 보존되도록 해도 된다.
이후에도, 삼차원 장해물 위치 보존부(11)는, 장해물의 위치가 삼차원 거리 센서(2)의 계측 범위 내에 있는 동안에는, 그 장해물의 삼차원 형상 정보를, 삼차원 거리 센서(2)로부터 출력된 삼차원 형상 정보에 기초하여 특정한 최신 삼차원 형상을 나타내도록 치환함으로써 갱신해 간다.
또한, 삼차원 장해물 위치 보존부(11)는, 장해물마다, 상기 최신 삼차원 형상을 나타내는 삼차원 형상 정보와는 별도로, 그때까지 인식한 삼차원 형상 전부를 축적한 삼차원 형상을 나타내는 삼차원 형상 축적 정보도 기억부에 보존한다. 삼차원 장해물 위치 보존부(11)는, 장해물의 삼차원 형상을 장해물 위치를 기준으로 하여 축적해 간다. 이에 의해, 장해물이 인간과 같이 동작하는 것이며, 장해물의 형상이 변화되고 있는 경우에, 장해물이 움직일 수 있는 범위를, 그 삼차원 형상으로서 차례로 보완해 갈 수 있다.
또한, 삼차원 장해물 위치 보존부(11)는, 장해물의 위치가 삼차원 거리 센서(2)의 계측 범위 외로 나왔을 경우, 기억부에 보존되어 있었던 그 장해물의 삼차원 형상 축적 정보가 나타내는 축적된 삼차원 형상에 기초하여, 그 장해물이 움직일 수 있는 범위라고 추정되는 삼차원 형상을, 소정의 산출 방법에 따라서 산출한다. 산출 방법에 대해서는, 이하에 상세하게 설명한다. 그리고, 삼차원 장해물 위치 보존부(11)는, 산출한 삼차원 형상을 나타내는 삼차원 형상 정보를, 그 장해물의 최신 삼차원 형상을 나타내는 삼차원 형상 정보로서 보존한다. 이와 같이, 장해물이 삼차원 거리 센서(2)의 계측 범위 외로 나와 버렸을 경우에는, 그 장해물의 삼차원 형상으로서, 그 장해물이 움직일 수 있는 범위라고 추정되는 삼차원 형상까지 확대한 형상을 인식함으로써 자율 이동체(1)와 장해물이 접촉하지 않도록 한다.
또한, 삼차원 장해물 위치 보존부(11)는, 다시 장해물의 위치가 삼차원 거리 센서(2)의 계측 범위 내로 되돌아 온 경우에는, 삼차원 거리 센서(2)로부터 출력된 삼차원 형상 정보에 기초한 그 장해물의 최신 삼차원 형상을 나타내는 삼차원 형상 정보의 갱신을 재개한다.
이와 같이, 장해물이 삼차원 거리 센서(2)의 계측 범위 외로 나와 버린 경우에도, 전방위 센서(3)의 계측 결과에 기초하여 그 장해물을 추적하고, 그 장해물의 삼차원 형상을 계속적으로 파악하는 것을 가능하게 하고 있다.
경로 계획부(12)는, 기억부에 저장된 장해물 위치 정보 및 삼차원 형상 정보에 기초하여, 자율 이동체(1)가 장해물과 접촉하지 않도록 자율 이동체(1)가 이동하는 경로를 계획한다. 이동체 구동 제어부(13)는, 경로 계획부(12)가 계획한 경로를 자율 이동체(1)가 이동하도록 액추에이터(14a, 14b)로의 구동 지령값을 계산한다. 그리고, 이동체 구동 제어부(13)는, 계산한 구동 지령값을 액추에이터(14a, 14b)에 출력한다.
액추에이터(14a, 14b)는, 자율 이동체(1)의 차륜(5a, 5b)을 구동한다. 액추에이터(14a)는, 이동체 구동 제어부(13)로부터의 구동 지령값에 따른 회전 속도로 차륜(5a)을 회전시킨다. 액추에이터(14b)는, 이동체 구동 제어부(13)로부터의 구동 지령값에 따른 회전 속도로 차륜(5b)을 회전시킨다.
차륜(5a) 및 차륜(5b)은, 상술한 본체(4)의 하부에 설치된 차륜에 해당한다. 이와 같이, 이동체 구동 제어부(13)가, 액추에이터(14a, 14b)를 제어하고, 차륜(5a, 5b)을 회전시킴으로써, 자율 이동체(1)가 장해물과 접촉하지 않도록 계획된 이동 경로를 이동한다.
계속해서, 도 4 내지 도 9를 참조하여, 본 실시 형태에 따른 자율 이동체(1)의 처리에 대하여 설명한다. 도 4는 본 실시 형태에 따른 자율 이동체(1)의 처리를 나타내는 흐름도이다. 도 5는 도 4의 스텝 S13의 삼차원 형상 정보 부여 처리를 나타내는 흐름도이다. 도 6은 실시 형태에 따른 자율 이동체(1)가 취급하는 데이터의 흐름을 도시하는 도면이다. 도 7은 장해물 위치와 삼차원 형상의 대응짓기의 일례를 도시하는 도면이다. 도 8은 삼차원 거리 센서의 계측 범위 내에 있어서의 장해물의 삼차원 형상을 축적하는 일례를 도시하는 도면이다. 도 9는 삼차원 거리 센서의 계측 범위 외에 있어서의 장해물의 삼차원 형상을 생성하는 일례를 도시하는 도면이다. 또한, 도 4 및 도 5에 있어서의 S1 내지 S5는, 도 6에 있어서의 S1 내지 S5와 대응한다. 또한, 도 5에 있어서의 S2, S3은, 도 7 및 도 8과 대응하고, 도 5에 있어서의 S4, S5는, 도 9와 대응한다.
먼저, 도 4, 도 6 및 도 7을 참조하여, 본 실시 형태에 따른 자율 이동체(1)의 처리에 대하여 설명한다.
먼저, 자율 이동체(1)가 자율 이동을 개시한 것으로 한다(S10). 예를 들어, 유저에 의해 설정된 목적지까지의 자율 이동을 개시한다. 그러나, 자율 이동체(1)는 목적지가 설정되는 것에 한정되지 않고, 임의의 목적으로 이동·정지를 반복하는 것이어도 된다.
자율 이동체(1)는, 삼차원 거리 센서(2) 및 전방위 센서(3)에 의해 정보를 취득한다(S11). 구체적으로는, 상술한 바와 같이, 삼차원 거리 센서(2)는, 자율 이동체(1) 주변의 장해물 중, 일정한 측정 범위 내의 장해물을 측정하고, 삼차원 형상 정보를 생성하여 삼차원 장해물 위치 보존부(11)에 출력한다. 또한, 상술한 바와 같이, 전방위 센서(3)는, 전방위에 대하여 자율 이동체(1) 주변의 장해물을 측정하고, 장해물 위치 정보를 생성하여 삼차원 장해물 위치 보존부(11)에 출력한다. 삼차원 장해물 위치 보존부(11)는, 삼차원 거리 센서(2)로부터 출력된 삼차원 형상 정보와, 전방위 센서(3)로부터 출력된 장해물 위치 정보를 취득한다.
자율 이동체(1)는, 장해물의 식별·추적을 행한다(S12). 구체적으로는, 삼차원 장해물 위치 보존부(11)는, 전방위 센서(3)로부터 출력된 장해물 위치 정보에 기초하여, 주변의 장해물 및 그 위치를 인식하고, 장해물의 식별·추적을 행한다. 삼차원 장해물 위치 보존부(11)는, 처음으로 인식하는 장해물에 대해서는, 식별 정보를 생성하여 부여한다. 그리고, 삼차원 장해물 위치 보존부(11)는, 생성한 식별 정보와, 인식한 장해물의 위치를 나타내는 장해물 위치 정보를 대응지어서 기억부에 저장한다(S1). 또한, 삼차원 장해물 위치 보존부(11)는, 이미 인식 완료된 장해물에 대해서는, 그 위치의 추적을 행한다. 즉, 삼차원 장해물 위치 보존부(11)는, 장해물의 위치가 변화하고 있는 경우에는, 기억부에 저장된 그 장해물의 장해물 위치 정보가 나타내는 위치를, 현재 위치[전방위 센서(3)로부터 출력된 장해물 위치 정보에 기초하여 특정한 장해물의 위치]로 갱신한다(S1).
여기서, 장해물의 위치를 추적할 때, 전방위 센서(3)로부터의 장해물 위치 정보로부터 특정되는 장해물과, 인식 완료된 장해물이 동일한지 여부의 판정은, 어떤 수법에 의해 실시해도 된다. 예를 들어, 기억부에 저장된 장해물 위치 정보 중, 어떤 장해물의 장해물 위치 정보가 나타내는 위치가, 전방위 센서(3)로부터의 장해물 위치 정보로부터 특정되는 어떤 장해물의 위치와 가장 가까울 경우, 그들 장해물이 동일한 장해물이라고 판정하도록 해도 된다.
자율 이동체(1)는, 인식한 장해물에 대하여, 그 장해물의 삼차원 형상 정보를 부여한다(S13). 즉, 처음으로 인식한 장해물에 대해서는, 그 삼차원 형상 정보가 신규로 부여되고, 인식 완료된 장해물에 대해서는, 그 삼차원 형상 정보를 새로이 인식한 삼차원 형상을 나타내도록 치환함으로써, 자율 이동체(1)가 장해물의 삼차원 형상으로서 인식하는 형상을 갱신한다(S3). 이에 의해, 도 7에 도시하는 바와 같이, 식별된 장해물에 대해서, 식별 정보와, 삼차원 형상 정보와, 장해물 위치 정보가 관련지어져서 기억부에 보존된다. 또한, 이 스텝 S13에 있어서의 처리에 대해서는, 도 5를 참조하여 상세하게 후술한다.
자율 이동체(1)는, 자율 이동체(1)가 이동하는 경로를 계획하고, 계획한 경로를 이동하도록 차륜(5a, 5b)을 구동하는 구동 지령값을 계산하여, 차륜(5a, 5b)을 구동한다(S14). 구체적으로는, 경로 계획부(12)는, 삼차원 장해물 위치 보존부(11)에 의해 기억부에 저장된 각 장해물의 장해물 위치 정보 및 삼차원 형상 정보에 기초하여, 자율 이동체(1)가 장해물에 접촉되지 않도록 이동하는 경로를 계획한다. 구체적으로는, 예를 들어 기억부에 미리 자율 이동체(1)의 삼차원 형상을 나타내는 정보를 저장해 두고, 그 정보에 기초하여 자율 이동체(1)가 이동했을 때 자율 이동체(1)의 삼차원 형상과 각 장해물의 삼차원 형상이 중복되지 않는 경로를 도출하도록 하면 된다.
이동체 구동 제어부(13)는, 경로 계획부(12)가 계획한 경로를 자율 이동체(1)가 이동하도록 액추에이터(14a, 14b)로의 구동 지령값으로써, 액추에이터(14a, 14b)를 구동한다. 이에 의해, 차륜(5a, 5b)이 구동되어, 경로 계획부(12)가 계획한 경로를 자율 이동체(1)가 이동한다.
자율 이동체(1)는, 자율 이동체(1)가 자율 이동의 골에 도달했는지 여부를 판정한다(S15). 예를 들어, 자율 이동체(1)는, 상술한 유저에 의해 설정된 목적지에 도달한 경우에, 골에 도달했다고 판정한다.
자율 이동체(1)가 자율 이동의 골에 도달했다고 판정한 경우(S15: "예"), 자율 이동체(1)는 자율 이동을 종료한다. 자율 이동체(1)가 자율 이동의 골에 도달하고 있지 않다고 판단했을 경우(S15: "아니오"), 자율 이동체(1)는 스텝 S11로 복귀한다.
계속해서, 도 5 및 도 6 내지 도 9를 참조하여, 본 실시 형태에 따른 자율 이동체(1)의 삼차원 형상 정보 부여 처리에 대하여 설명한다. 도 5는 도 6의 스텝 S13을 상세하게 설명하는 흐름도가 된다.
삼차원 장해물 위치 보존부(11)는, 식별한 장해물이 삼차원 거리 센서(2)의 계측 범위 내에 있는지 여부를 판정한다(S20).
식별한 장해물이 삼차원 거리 센서(2)의 계측 범위 내에 있다고 판정한 경우(S20: 범위 내), 삼차원 장해물 위치 보존부(11)는, 삼차원 거리 센서(2)의 계측 결과로부터, 그 장해물의 삼차원 형상을 취득하여, 축적한다(S21). 구체적으로는, 삼차원 장해물 위치 보존부(11)는, 삼차원 거리 센서(2)로부터 출력된 삼차원 형상 정보로부터, 그 장해물을 포함하는 일정 범위의 삼차원 형상 정보를 잘라내고, 삼차원 형상 축적 정보에 대하여 축적한다(S2).
이에 의해, 장해물이 삼차원 거리 센서(2)의 계측 범위 내에 있는 동안에는, 삼차원 형상 정보가 일정 주기마다 축적되어 가게 된다. 구체적으로는, 도 8에 도시하는 바와 같이, 장해물의 삼차원 형상으로서, 이미 측정한 삼차원 형상이 축적되어 있는 경우에는, 그 장해물의 위치를 중심으로 하여 새로이 취득한 삼차원 형상을 서로 겹침으로써, 그 장해물의 삼차원 형상으로서 갱신한다. 즉, 장해물이 움직일 수 있는 범위가 되는 삼차원 형상을, 계측에 의해 새로이 판명된 형상을 보완함으로써 갱신한다. 이것에 의하면, 예를 들어 장해물이 인간과 같이 동작하는 것인 경우에, 그 자세 변화 범위(팔이나 발이 동작하는 범위)를 기록해 갈 수 있다.
삼차원 장해물 위치 보존부(11)는, 삼차원 거리 센서(2)의 계측 결과로부터, 그 장해물의 삼차원 형상을 장해물 위치와 대응지어서 보존한다(S22). 구체적으로는, 삼차원 장해물 위치 보존부(11)는, 잘라낸 삼차원 형상 정보를, 최신 삼차원 형상을 나타내는 삼차원 형상 정보로서, 식별한 장해물의 장해물 위치 정보와 대응지어서 기억부에 보존한다. 여기서, 상술한 바와 같이, 기억부에 보존하는 삼차원 형상 정보는, 잘라낸 삼차원 형상 정보의 형식 자체에 한정되지 않고, 임의의 형식 변환이 행해지고 있어도 된다. 이에 의해, 도 7에 도시하는 바와 같이, 식별된 장해물에 대해서, 식별 정보와, 삼차원 형상 정보와, 장해물 위치 정보가 관련지어져서 기억부에 보존된다(S3).
여기서, 식별된 장해물이, 삼차원 거리 센서(2)와 전방위 센서(3)의 공통 계측 범위 내에 있는 동안에는, 상술한 바와 같이, 그 장해물의 장해물 위치 정보 및 삼차원 형상 정보를 갱신하면서, 그 장해물의 위치 추적을 행하지만, 장해물이 삼차원 거리 센서(2)의 계측 범위 외로 벗어났을 경우에는, 장해물의 위치 추적을 행할 수 있지만, 삼차원 형상의 계측·갱신은 행할 수 없게 된다.
따라서, 식별한 장해물이 삼차원 거리 센서(2)의 계측 범위 내에 없다(계측 범위 외에 있다)고 판정했을 경우(S20: 범위 외), 삼차원 장해물 위치 보존부(11)는, 그 장해물의 삼차원 형상으로서 인식한 형상에 기초하여, 장해물의 자세 변화 범위(장해물의 삼차원 형상이 변화하는 범위)를 계산한다(S23). 구체적으로는, 도 9에 도시하는 바와 같이, 삼차원 장해물 위치 보존부(11)는, 장해물에 대하여 축적된 삼차원 형상을 그 장해물의 위치로부터 연직 상방으로 연장된 축을 중심으로 하여 회전시킨 삼차원 형상을 계산한다(S4). 즉, 삼차원 형상 축적 정보가 나타내는 축적된 삼차원 형상을 장해물 위치의 축을 중심으로 하여 회전시킨 삼차원 형상을 계산한다. 삼차원 장해물 위치 보존부(11)는, 계산한 삼차원 형상을, 그 삼차원 형상을 나타내는 삼차원 형상 정보로 변환하고, 그 계측 범위 외로 나온 장해물의 최신 삼차원 형상을 나타내는 삼차원 형상 정보로서, 그 장해물의 장해물 위치 정보와 대응지어서 기억부에 보존한다(S24, S25, S5). 이 삼차원 형상 정보는, 그 장해물이 다시 삼차원 거리 센서(2)의 계측 범위 내에 들어갈 때까지 기억부에 계속해서 보존한다. 그리고, 삼차원 장해물 위치 보존부(11)는, 장해물이 다시 삼차원 거리 센서(2)의 계측 범위 내에 들어갔을 때에는, 원래의 삼차원 형상 정보로 되돌린다. 또는, 원래의 삼차원 형상 정보로 강제적으로는 되돌리지 않고, 상기의 스텝 S22에 있어서의 처리에 의해 삼차원 형상 정보를 갱신하도록 해도 된다.
여기서, 삼차원 형상의 회전축으로서, 축적된 삼차원 형상에 있어서의 임의의 위치를 정하도록 해도 된다. 예를 들어, 축적된 삼차원 형상의 회전축으로서, 그 삼차원 형상의 무게 중심을 정하도록 해도 된다. 이 경우, 축적된 삼차원 형상의 무게 중심과 장해물의 위치가 일치하도록 삼차원 형상을 축적해 감으로써, 장해물의 위치와 회전축을 일치시키도록 한다. 또한, 예를 들어 축적된 삼차원 형상의 회전축으로서, 그 삼차원 형상의 소정의 특징적 부분의 중심 위치를 정하도록 해도 된다. 예를 들어, 장해물이 인간일 경우, 머리의 중심 위치를 회전축으로서 정하도록 해도 된다. 이 경우에도, 축적된 삼차원 형상의 특징적 부분의 중심 위치와 장해물의 위치가 일치하도록 삼차원 형상을 축적해 감으로써, 장해물의 위치와 회전축을 일치시키도록 한다.
축적된 삼차원 형상을 회전한 삼차원 형상은, 장해물이 자신의 자세 변화(예를 들어 회전 운동)에 따라 움직일 수 있는 범위를 추정한 삼차원 형상이 된다. 예를 들어, 장해물이 인간일 경우, 삼차원 거리 센서(2)에 의해 한쪽의 팔을 올린 삼차원 형상을 계측할 수 있었다고 하더라도, 그 사람이 삼차원 거리 센서(2)의 계측 범위 외에 나오고 나서, 다른 쪽의 팔을 올려 버렸을 때, 또는, 180도 반전하여 그 다른 쪽의 팔을 올려 버렸을 때에는, 자율 이동체(1)는 그 팔의 돌출을 삼차원 형상으로서 인식하고 있지 않기 때문에, 자율 이동체(1)가 인간과 접촉해 버릴 가능성이 있다. 그것에 대하여, 인식하고 있는 장해물의 삼차원 형상을 회전한 삼차원 형상을, 장해물의 삼차원 형상으로서 인식하고 있기 때문에, 이러한 케이스에도 접촉을 피하는 것이 가능하게 된다.
이와 같이, 자율 이동체(1)가 삼차원 거리 센서(2)의 사각(계측 범위 외)의 방향으로 진행하기 시작하는 것과 같은 경로를 계획한 경우에, 상기와 같이 하여 계산·보존한 삼차원 형상 정보를 사용함으로써, 경로 계획에 있어서, 대략이기는 하지만, 삼차원 형상을 고려한 간섭 판정(접촉 판정)을 행할 수 있다. 그로 인해, 신뢰성, 주파성이 높은 자율 이동이 가능하게 된다.
또한, 이상의 설명에서는, 장해물이 삼차원 거리 센서(2)의 계측 범위 외로 나왔을 경우에는, 자세 변화 범위를 포함하는 삼차원 형상을 추정하여, 그 장해물의 삼차원 형상으로서 인식하도록 하고 있지만, 삼차원 형상의 추정을 행하지 않고, 최신 삼차원 형상 또는 축적된 삼차원 형상을 그대로 사용하도록 해도 된다. 그렇게 해도, 전방위 센서(3)에 의해 장해물을 추적하고, 그 장해물의 삼차원 형상을 고려한 간섭 판정을 행할 수 있다. 그로 인해, 주변 장해물의 삼차원 형상을 광범위로 파악할 수 있다. 그러나, 바람직하게는 상술한 바와 같이, 자세 변화 범위를 포함하는 삼차원 형상을 추정하고, 그 장해물의 삼차원 형상으로서 인식하게 함으로써, 그 장해물이 동작하여 삼차원 형상이 변화하는 것이었다고 하더라도, 그 장해물과의 접촉을 피할 수 있다.
이상에서 설명한 바와 같이, 본 실시 형태에 따른 자율 이동체(1)에서는, 제어부(10)는 장해물(물체)이 삼차원 거리 센서(2)(삼차원 측정 장치)의 측정 범위 내에 있는 경우, 삼차원 거리 센서(2)가 생성한 삼차원 형상 정보에 기초하여, 장해물의 삼차원 형상으로서 인식하는 형상을 갱신하도록 하고 있다. 또한, 제어부(10)는, 장해물이 삼차원 거리 센서(2)의 측정 범위 외로 나온 경우에도, 전방위 센서(3)가 생성한 장해물 위치 정보에 기초하여 장해물을 추적하도록 하고 있다.
즉, 삼차원 거리 센서(2)에 대하여, 저렴하게 삼차원 형상까지 계측할 수는 없지만, 광범위한 장해물의 위치를 계측할 수 있는 전방위 센서(3)를 조합함으로써, 저렴하게 하기 위하여 계측 범위는 좁지만 높은 정밀도로 삼차원 형상을 계측할 수 있는 삼차원 거리 센서(2)의 사각을 보충할 수 있도록 하고 있다. 따라서, 본 실시 형태에 의하면, 비용을 억제하면서, 주변 장해물을 삼차원 형상을 광범위로 계속적으로 파악할 수 있다.
예를 들어, 도 10에 도시하는 바와 같이, 삼차원 형상을 고려하지 않고, 장해물의 유무 및 위치만을 고려하여, 장해물을 피해서 이동 경로를 계획할 경우에는, 오버행 장해물 등에 접촉해 버릴 가능성이나, 자율 이동체를 통과할 수 있는 경우여도 통과할 수 없다고 판정하여 크게 우회해 버릴 가능성이 있다. 그러나, 본 실시 형태에 의하면, 도 11에 도시하는 바와 같이, 삼차원 거리 센서(2)의 사각의 장해물 근처를 이동하는 경우에도, 그 장해물의 삼차원 형상을 추적 파악하고 있기 때문에, 자율 이동체(1)가 통과할 수 있는지 여부를 높은 정밀도로 판정할 수 있다. 예를 들어, 자율 이동체(1)가 로봇 암을 갖고 있으며, 로봇 암이 돌출되어 있는 경우에도, 장해물의 삼차원 형상을 고려하여, 로봇 암과 장해물이 접촉하지 않도록 적절하면서 또한 이동 효율이 높은 이동 경로를 계획할 수 있다.
또한, 본 실시 형태에 따른 자율 이동체(1)에서는, 제어부(10)는 삼차원 거리 센서(2)의 측정 범위 외로 나온 장해물에 대해서는, 장해물의 삼차원 형상으로서 얻어지고 있는 형상에 기초하여 장해물이 변화하는 범위를 포함하는 삼차원 형상을 추정하고, 추정한 삼차원 형상을 삼차원 거리 센서(2)의 측정 범위 외로 나온 물체에 삼차원 형상으로서 인식하도록 하고 있다.
이것에 의하면, 장해물이 동작하고, 그 삼차원 형상이 변화하는 것이어도, 그 장해물이 취할 수 있는 삼차원 형상을, 보다 적절하게 파악할 수 있다. 예를 들어, 상술한 바와 같이, 장해물이 삼차원 거리 센서(2)의 계측 범위 외로 나온 후에, 그 삼차원 형상을 변화시킨 경우에 대응할 수 있다. 따라서, 장해물을 피하면서 이동하는 자율 이동체(1)에 있어서 적절하게 장해물의 삼차원 형상을 인식할 수 있다.
또한, 본 실시 형태에서는, 축적된 삼차원 형상을 회전시킴으로써 장해물의 자세 변화 범위의 삼차원 형상을 추정하도록 하고 있지만, 이것에 한정되지 않는다. 예를 들어, 별도의 삼차원 형상을, 축적은 행하지 않도록 하여, 장해물의 최신 삼차원 형상을 장해물의 위치를 중심으로 해서 회전시킴으로써 장해물의 자세 변화 범위의 삼차원 형상을 추정하도록 해도 된다. 그러나, 바람직하게는, 축적된 삼차원 형상을 회전시킴으로써 장해물의 자세 변화 범위의 삼차원 형상을 추정하게 함으로써, 장해물의 자세 변화 범위를 빠짐없이 포함한 삼차원 형상을 추정할 수 있기 때문에, 장해물과의 접촉을 더욱 피할 수 있다.
<발명의 다른 실시 형태>
상기의 실시 형태에서는, 장해물의 자세 변화 범위가 미지라고 가정하고, 장해물의 삼차원 형상을 계측 결과에 기초하여 수시로 갱신함과 함께, 2개의 센서[삼차원 거리 센서(2), 전방위 센서(3)]의 공통 계측 범위 외로 나온 장해물에 대해서는, 그 삼차원 형상을 회전시킴으로써 자세 변화 범위를 추정하고, 이용하도록 하고 있었다.
그러나, 식별된 장해물이, 2개의 센서 중 적어도 하나의 센서의 계측 결과를 해석함으로써, 카테고라이즈되고, 그 장해물의 카테고리에 따라서 상세한 자세 변화 범위의 삼차원 형상을 지정하도록 해도 된다.
즉, 센서의 계측 결과(최신 삼차원 형상 또는 축적된 삼차원 형상)로부터 특징적인 계측 패턴이 얻어지고, 장해물이 있는 카테고리라고 판정할 수 있는 경우에는, 미리 준비한 그 카테고리의 장해물의 자세 변화 범위의 삼차원 형상을, 그 장해물의 자세 변화 범위의 삼차원 형상으로서 이용하도록 해도 된다.
예를 들어, 센서의 계측 결과로부터 장해물이 인간이라고 카테고라이즈되었을 경우에는, 미리 기억부에 저장해 둔 인간의 자세 변화 범위의 삼차원 형상을 나타내는 삼차원 형상 정보를, 그 장해물의 최신 삼차원 형상을 나타내는 삼차원 형상 정보로서 기억부에 보존하도록 해도 된다. 구체적으로는, 각종 카테고리에 대해서, 그 카테고리의 장해물이 갖는 계측 패턴을 나타내는 계측 패턴 정보와, 그 카테고리의 장해물의 삼차원 형상 정보를 미리 기억부에 저장해 둔다. 삼차원 장해물 위치 보존부(11)는, 삼차원 거리 센서(2) 및 전방위 센서(3)의 계측 결과(장해물 위치, 최신 삼차원 형상 및 축적된 삼차원 형상) 중 적어도 하나에 있어서, 기억부에 저장된 계측 패턴 정보가 나타내는 계측 패턴과 일치 또는 유사한 계측 패턴이 검출된 경우, 그 계측 패턴 정보에 대응하는 삼차원 형상 정보를, 그 장해물의 삼차원 형상을 나타내는 삼차원 형상 정보로서 특정한다.
이렇게 함으로써, 장해물의 삼차원 형상을, 보다 적절하게 인식할 수 있다. 또한, 그것에 의해, 경로 계획에 있어서, 보다 정확한 삼차원 접촉 판정을 행할 수 있고, 보다 신뢰성, 주파성이 높은 자율 이동이 가능하게 된다.
또한, 본 발명은 상기의 실시 형태에 한정된 것이 아니고, 취지를 일탈하지 않는 범위에서 적절히 변경하는 것이 가능하다.
상기 실시 형태에서는, 최신 삼차원 형상으로서, 삼차원 거리 센서(2)에 의해 최신 취득하고 있는 삼차원 형상을 인식하도록 하고 있지만, 이것에 한정되지 않는다. 예를 들어, 축적된 삼차원 형상을, 최신 삼차원 형상으로서 인식하도록 해도 된다. 그러나, 바람직하게는, 상기 실시 형태와 같이, 최신 삼차원 형상으로서, 삼차원 거리 센서(2)에 의해 최신 취득하고 있는 삼차원 형상을 인식하도록 하면 된다. 그렇게 함으로써, 삼차원 거리 센서(2)의 측정 범위 내에 장해물이 있을 경우에는, 그 장해물에 대하여 실제로 보이고 있는 삼차원 형상만을 고려하여 경로 설계를 행할 수 있다. 그로 인해, 자율 이동체(1)가 필요 이상 우회하는 일 없이, 이동 효율이 높은 이동 경로를 계획할 수 있다.
또한, 상기의 삼차원 거리 센서(2), 전방위 센서(3) 및, 삼차원 장해물 위치 보존부(11)[제어부(10)]를 포함하여 삼차원 형상 인식 장치를 구성하는 것도 가능하다. 그리고, 그 삼차원 형상 인식 장치는, 자율 이동체(1)에 한정되지 않고, 그 삼차원 형상 인식 장치에 의해 인식한 주변의 장해물(물체)의 삼차원 형상을 사용하여 임의의 제어를 행하는 각종 장치에 적용할 수 있다.
본 출원은, 2013년 9월 11일에 출원된 일본 특허 출원 제2013-188267호를 기초로 하는 우선권을 주장하고, 그 개시의 전부를 여기에 원용한다.
1: 자율 이동체
2: 삼차원 거리 센서
3: 전방위 센서
4: 본체
5a, 5b: 차륜
10: 제어부
11: 삼차원 장해물 위치 보존부
12: 경로 계획부
13: 이동체 구동 제어부
14a, 14b: 액추에이터

Claims (7)

  1. 전방위에 대하여 주변의 물체를 측정하고, 측정 결과로서 상기 물체의 위치를 특정할 수 있는 위치 정보를 생성하는 전방위 센서와,
    상기 주변의 물체 중, 일정한 측정 범위 내의 물체를 측정하고, 측정 결과로서 상기 물체의 삼차원 형상을 특정할 수 있는 삼차원 형상 정보를 생성하는 삼차원 측정 장치와,
    상기 물체가 상기 삼차원 측정 장치의 측정 범위 내에 있는 경우, 상기 삼차원 측정 장치가 생성한 삼차원 형상 정보에 기초하여, 상기 물체의 삼차원 형상으로서 인식하는 형상을 갱신하는 제어부를 구비하고,
    상기 제어부는, 상기 물체가 상기 삼차원 측정 장치의 측정 범위 외로 나온 경우에도, 상기 전방위 센서가 생성한 위치 정보에 기초하여 상기 물체를 추적하는, 삼차원 물체 인식 장치.
  2. 제1항에 있어서,
    상기 제어부는, 상기 삼차원 측정 장치의 측정 범위 외로 나온 물체에 대해서는, 상기 물체의 삼차원 형상으로서 인식한 형상에 기초하여 상기 물체가 변화하는 범위를 포함하는 삼차원 형상을 추정하고, 추정한 삼차원 형상을 상기 삼차원 측정 장치의 측정 범위 외로 나온 물체의 삼차원 형상으로서 인식하는, 삼차원 물체 인식 장치.
  3. 제2항에 있어서,
    상기 제어부는, 상기 물체가 변화하는 범위를 포함하는 형상으로서, 상기 물체의 형상으로서 인식한 삼차원 형상을 회전시킨 형상을 산출하는, 삼차원 물체 인식 장치.
  4. 제2항 또는 제3항에 있어서,
    상기 물체의 형상으로서 인식한 삼차원 형상은, 상기 삼차원 측정 장치가 생성한 삼차원 형상 정보에 기초하여 특정한 상기 물체의 삼차원 형상을 축적한 형상인, 삼차원 물체 인식 장치.
  5. 제1항 내지 제3항 중 어느 한 항에 있어서,
    상기 삼차원 물체 인식 장치는, 또한, 상기 물체의 삼차원 형상으로서 인식하는 형상을 나타내는 삼차원 형상 정보와, 상기 물체의 위치를 나타내는 위치 정보가 대응지어서 저장되는 기억부를 구비하고,
    상기 제어부는, 상기 물체의 삼차원 형상으로서 인식하는 형상의 갱신으로서, 상기 삼차원 측정 장치가 생성한 삼차원 형상 정보에 기초하여 상기 기억부에 저장된 삼차원 형상 정보가 나타내는 삼차원 형상을 갱신함과 함께, 상기 물체의 추적으로서, 상기 전방위 센서가 생성한 위치 정보에 기초하여 상기 기억부에 저장된 위치 정보가 나타내는 상기 물체의 위치를 갱신하는, 삼차원 물체 인식 장치.
  6. 삼차원 측정 장치에 의해, 주변의 물체 중, 상기 삼차원 측정 장치의 일정한 측정 범위 내에 있어서의 물체에 대하여 삼차원 형상을 측정하고, 측정 결과에 기초하여 상기 삼차원 측정 장치의 측정 범위 내에 있는 물체의 삼차원 형상으로서 인식하는 형상을 갱신하는 스텝과,
    전방위 센서에 의해, 전방위에 대하여 주변 물체의 위치를 측정하고, 측정 결과에 기초하여 상기 삼차원 측정 장치의 측정 범위 외로 나온 물체를 추적하는 스텝을 구비한 삼차원 물체 인식 방법.
  7. 전방위에 대하여 주변의 물체를 측정하고, 측정 결과로서 상기 물체의 위치를 특정할 수 있는 위치 정보를 생성하는 전방위 센서와,
    상기 주변의 물체 중, 일정한 측정 범위 내의 물체를 측정하고, 측정 결과로서 상기 물체의 삼차원 형상을 특정할 수 있는 삼차원 형상 정보를 생성하는 삼차원 측정 장치와,
    상기 물체가 상기 삼차원 측정 장치의 측정 범위 내에 있는 경우, 상기 삼차원 측정 장치가 생성한 삼차원 형상 정보에 기초하여, 상기 물체의 삼차원 형상으로서 인식하는 형상을 갱신함과 함께, 상기 인식하고 있는 물체의 삼차원 형상에 기초하여, 상기 물체와 접촉하지 않도록 이동 경로를 계획하고, 계획한 이동 경로를 이동하도록 제어하는 제어부를 구비하고,
    상기 제어부는, 상기 물체가 상기 삼차원 측정 장치의 측정 범위 외로 나온 경우에도, 상기 전방위 센서가 생성한 위치 정보에 기초하여 상기 물체를 추적하는, 이동체.
KR1020157030923A 2013-09-11 2014-09-09 삼차원 물체 인식 장치, 삼차원 물체 인식 방법 및, 이동체 KR101971317B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2013188267A JP6032163B2 (ja) 2013-09-11 2013-09-11 三次元物体認識装置、三次元物体認識方法、及び移動体
JPJP-P-2013-188267 2013-09-11
PCT/JP2014/004618 WO2015037222A1 (ja) 2013-09-11 2014-09-09 三次元物体認識装置、三次元物体認識方法、及び移動体

Publications (2)

Publication Number Publication Date
KR20150135505A KR20150135505A (ko) 2015-12-02
KR101971317B1 true KR101971317B1 (ko) 2019-04-22

Family

ID=52665353

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020157030923A KR101971317B1 (ko) 2013-09-11 2014-09-09 삼차원 물체 인식 장치, 삼차원 물체 인식 방법 및, 이동체

Country Status (5)

Country Link
US (1) US9633438B2 (ko)
JP (1) JP6032163B2 (ko)
KR (1) KR101971317B1 (ko)
DE (1) DE112014004163B4 (ko)
WO (1) WO2015037222A1 (ko)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9625582B2 (en) * 2015-03-25 2017-04-18 Google Inc. Vehicle with multiple light detection and ranging devices (LIDARs)
US9888174B2 (en) 2015-10-15 2018-02-06 Microsoft Technology Licensing, Llc Omnidirectional camera with movement detection
US10277858B2 (en) * 2015-10-29 2019-04-30 Microsoft Technology Licensing, Llc Tracking object of interest in an omnidirectional video
JP6473685B2 (ja) * 2015-11-19 2019-02-20 日立建機株式会社 車両制御装置及び作業機械
US10204274B2 (en) * 2016-06-29 2019-02-12 Cellular South, Inc. Video to data
JP2018045482A (ja) * 2016-09-15 2018-03-22 ソニー株式会社 撮像装置、信号処理装置、及び、車両制御システム
JP6773503B2 (ja) * 2016-09-27 2020-10-21 株式会社トプコン レーザスキャナシステム及び点群データのレジストレーション方法
US10386856B2 (en) * 2017-06-29 2019-08-20 Uber Technologies, Inc. Autonomous vehicle collision mitigation systems and methods
US10065638B1 (en) 2017-08-03 2018-09-04 Uber Technologies, Inc. Multi-model switching on a collision mitigation system
CN108008409B (zh) 2017-11-28 2019-12-10 深圳市杉川机器人有限公司 区域轮廓绘制方法及装置
DE102018114293A1 (de) * 2018-06-14 2019-12-19 Helga Sommer Computerimplementiertes Verfahren für die Erstellung einer Route für Transport und Durchführung von Transport
JP7199984B2 (ja) * 2019-02-01 2023-01-06 株式会社小松製作所 作業車両の制御システム及び作業車両の制御方法
DE102019202511A1 (de) * 2019-02-25 2020-08-27 Kuka Deutschland Gmbh Autonomes Fahrzeug mit einer Sensoreinrichtung
CN110108231B (zh) * 2019-05-08 2020-10-27 广东嘉腾机器人自动化有限公司 基于角点检测的钜体箱体三维尺寸测量方法及存储介质
EP3748393A1 (en) * 2019-06-04 2020-12-09 Jabil Optics Germany GmbH Surround-view imaging system
US20240139945A1 (en) * 2022-10-31 2024-05-02 Omron Corporation Method and apparatus for dynamically modifying a representation of an autonomous robot

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004227111A (ja) * 2003-01-21 2004-08-12 Hitachi Ltd セキュリティシステム
JP2009092383A (ja) * 2007-10-03 2009-04-30 Toyota Motor Corp 障害物検知センサ搭載シミュレーション装置、障害物検知センサ搭載シミュレーション方法及び障害物検知センサ搭載シミュレーションプログラム

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07248817A (ja) * 1994-03-12 1995-09-26 Nec Corp 水中走行機
JPH09331520A (ja) * 1996-06-13 1997-12-22 Nippon Telegr & Teleph Corp <Ntt> 自動追跡システム
JPH11296229A (ja) * 1998-02-13 1999-10-29 Komatsu Ltd 車両の誘導装置
DE10242852A1 (de) * 2002-09-14 2004-03-25 Technische Universität Ilmenau Abteilung Forschungsförderung und Technologietransfer Verfahren zur Minimierung des Einflusses von Störsignalen bei der Formelementeberechnung aus Koordinatenpunkten
JP2006039760A (ja) * 2004-07-23 2006-02-09 Victor Co Of Japan Ltd 移動ロボット
JP2006220521A (ja) * 2005-02-10 2006-08-24 Hitachi Ltd 自己位置計測装置及び自己位置計測方法を実行するためのプログラム
KR20090062881A (ko) * 2007-12-13 2009-06-17 삼성전자주식회사 이동 로봇 및 그 이동 객체 검출 방법
JP5178276B2 (ja) 2008-03-27 2013-04-10 ダイハツ工業株式会社 画像認識装置
US9740921B2 (en) * 2009-02-26 2017-08-22 Tko Enterprises, Inc. Image processing sensor systems
JP5462597B2 (ja) 2009-11-12 2014-04-02 株式会社日立情報通信エンジニアリング 物体測定システム及びその方法
JP5430456B2 (ja) * 2010-03-16 2014-02-26 キヤノン株式会社 幾何特徴抽出装置、幾何特徴抽出方法、及びプログラム、三次元計測装置、物体認識装置
JP2011209019A (ja) * 2010-03-29 2011-10-20 Sony Corp ロボット装置及びロボット装置の制御方法
JP5872818B2 (ja) * 2010-08-20 2016-03-01 パナソニック株式会社 測位処理装置、測位処理方法、および画像処理装置
JP5770486B2 (ja) * 2011-02-21 2015-08-26 株式会社トプコン 全周画像計測装置
JP5810296B2 (ja) * 2011-06-07 2015-11-11 パナソニックＩｐマネジメント株式会社 画像表示装置及び画像表示方法
JP5906028B2 (ja) * 2011-06-22 2016-04-20 キヤノン株式会社 画像処理装置、画像処理方法
JP5874252B2 (ja) * 2011-09-07 2016-03-02 株式会社Ihi 対象物との相対位置計測方法と装置
JP5636014B2 (ja) 2012-03-12 2014-12-03 株式会社三共 遊技機

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004227111A (ja) * 2003-01-21 2004-08-12 Hitachi Ltd セキュリティシステム
JP2009092383A (ja) * 2007-10-03 2009-04-30 Toyota Motor Corp 障害物検知センサ搭載シミュレーション装置、障害物検知センサ搭載シミュレーション方法及び障害物検知センサ搭載シミュレーションプログラム

Also Published As

Publication number Publication date
DE112014004163T5 (de) 2016-05-25
JP6032163B2 (ja) 2016-11-24
US9633438B2 (en) 2017-04-25
KR20150135505A (ko) 2015-12-02
WO2015037222A1 (ja) 2015-03-19
US20160063710A1 (en) 2016-03-03
JP2015055974A (ja) 2015-03-23
DE112014004163B4 (de) 2021-10-07

Similar Documents

Publication Publication Date Title
KR101971317B1 (ko) 삼차원 물체 인식 장치, 삼차원 물체 인식 방법 및, 이동체
JP7353747B2 (ja) 情報処理装置、システム、方法、およびプログラム
US10948917B2 (en) Mobile manipulator, method for controlling mobile manipulator, and program therefor
JP6849330B2 (ja) 地図生成方法、自己位置推定方法、ロボットシステム、およびロボット
US10006772B2 (en) Map production method, mobile robot, and map production system
EP2094452B1 (en) Surroundings mapping apparatus capable of applying quickly changed surroundings information in mobile robot and method thereof
KR101782057B1 (ko) 지도 생성 장치 및 방법
US7873438B2 (en) Mobile apparatus and control program therefor
KR20170088228A (ko) 다중로봇의 자기위치인식에 기반한 지도작성 시스템 및 그 방법
US10162364B2 (en) Robot and control method thereof
US20090148034A1 (en) Mobile robot
JP5035802B2 (ja) ロボットおよびタスク実行システム
JP5278283B2 (ja) 自律移動装置及びその制御方法
JP6828579B2 (ja) 環境整備ロボットおよびその制御プログラム
JP2011054082A (ja) 自律移動装置
JP2009237851A (ja) 移動体制御システム
US20220019224A1 (en) Mobile body, method of controlling mobile body, and program
US8082063B2 (en) Mobile apparatus and mobile apparatus system
KR101650128B1 (ko) 이동 로봇의 지도 생성 장치 및 방법
KR20200043329A (ko) 데이터 수집 방법 및 시스템
JP7482811B2 (ja) 移動体の制御方法、移動体及びプログラム
JP2018185768A (ja) 自律移動ロボット

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant