KR20200136398A - 노광 제어 장치, 노광 제어 방법, 프로그램, 촬영 장치, 및 이동체 - Google Patents

노광 제어 장치, 노광 제어 방법, 프로그램, 촬영 장치, 및 이동체 Download PDF

Info

Publication number
KR20200136398A
KR20200136398A KR1020207027269A KR20207027269A KR20200136398A KR 20200136398 A KR20200136398 A KR 20200136398A KR 1020207027269 A KR1020207027269 A KR 1020207027269A KR 20207027269 A KR20207027269 A KR 20207027269A KR 20200136398 A KR20200136398 A KR 20200136398A
Authority
KR
South Korea
Prior art keywords
unit
detection
moving object
exposure
photographing
Prior art date
Application number
KR1020207027269A
Other languages
English (en)
Inventor
슌 리
šœ 리
Original Assignee
소니 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니 주식회사 filed Critical 소니 주식회사
Publication of KR20200136398A publication Critical patent/KR20200136398A/ko

Links

Images

Classifications

    • H04N5/2353—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B7/00—Control of exposure by setting shutters, diaphragms or filters, separately or conjointly
    • G03B7/08—Control effected solely on the basis of the response, to the intensity of the light received by the camera, of a built-in light-sensitive device
    • G03B7/091—Digital circuits
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/72—Combination of two or more compensation controls
    • H04N5/23218—

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Traffic Control Systems (AREA)
  • Exposure Control For Cameras (AREA)
  • Studio Devices (AREA)

Abstract

본 기술은, 적절하게 노광 제어를 행할 수 있도록 하는 노광 제어 장치, 노광 제어 방법, 프로그램, 촬영 장치 및 이동체에 관한 것이다. 노광 제어 장치는, 촬영부에 의해 촬영된 촬영 화상에 있어서 소정 시간 내에 상기 촬영부의 화각으로부터 나온다고 예측되는 영역에 대한 가중치를 작게 하여 검파값을 산출하는 검파부와, 상기 검파값에 기초하여, 상기 촬영부의 노광 제어를 행하는 노광 제어부를 구비한다. 본 기술은, 예를 들어 차량이나 로봇 등의 이동체에 마련되는 촬영 장치나 촬영 시스템에 적용할 수 있다.

Description

노광 제어 장치, 노광 제어 방법, 프로그램, 촬영 장치, 및 이동체
본 기술은, 노광 제어 장치, 노광 제어 방법, 프로그램, 촬영 장치, 및 이동체에 관한 것이며, 특히 자동 노광(Auto Exposure)을 행하는 경우에 사용하기에 적합한 노광 제어 장치, 노광 제어 방법, 프로그램, 촬영 장치, 및 이동체에 관한 것이다.
종래, 자차량의 주행 진행 방향의 원방 도로 소실점을 기준으로 하여, 원방 차량이 주행하고 있다고 기대되는 원방 소프레임을 정의하고, 원방 소프레임 내의 휘도 정보에 기초하여 차량 탑재 카메라의 노광 제어를 행하는 것이 제안되어 있다(예를 들어, 특허문헌 1 참조).
일본 특허 공개 제2017-5678호 공보
그런데, 예를 들어 터널의 입구 또는 출구 부근 등에서 주위의 밝기가 급격하게 변화되는 경우, 차량 탑재 카메라의 노광 제어가 제때 이루어지지 않아, 촬영된 화상에 있어서, 밝은 장소가 백색 날림되거나, 어두운 장소가 흑색 포화되거나 하는 경우가 있다. 특허문헌 1에서는, 이 대책에 대해서는 검토되어 있지 않다.
본 기술은, 이와 같은 상황을 감안하여 이루어진 것이며, 적절하게 노광 제어를 행할 수 있도록 하는 것이다.
본 기술의 제1 측면의 노광 제어 장치는, 촬영부에 의해 촬영된 촬영 화상에 있어서 소정 시간 내에 상기 촬영부의 화각으로부터 나온다고 예측되는 영역에 대한 가중치를 작게 하여 검파값을 산출하는 검파부와, 상기 검파값에 기초하여, 상기 촬영부의 노광 제어를 행하는 노광 제어부를 구비한다.
본 기술의 제1 측면의 노광 제어 방법은, 촬영부에 의해 촬영된 촬영 화상에 있어서 소정 시간 내에 상기 촬영부의 화각으로부터 나온다고 예측되는 영역에 대한 가중치를 작게 하여 검파값을 산출하고, 상기 검파값에 기초하여, 상기 촬영부의 노광 제어를 행한다.
본 기술의 제1 측면의 프로그램은, 촬영부에 의해 촬영된 촬영 화상에 있어서 소정 시간 내에 상기 촬영부의 화각으로부터 나온다고 예측되는 영역에 대한 가중치를 작게 하여 검파값을 산출하고, 상기 검파값에 기초하여, 상기 촬영부의 노광 제어를 행하는 처리를 컴퓨터에 실행시킨다.
본 기술의 제2 측면의 촬영 장치는, 촬영부와, 상기 촬영부에 의해 촬영된 촬영 화상에 있어서 소정 시간 내에 상기 촬영부의 화각으로부터 나온다고 예측되는 영역에 대한 가중치를 작게 하여 검파값을 산출하는 검파부와, 상기 검파값에 기초하여, 상기 촬영부의 노광 제어를 행하는 노광 제어부를 구비한다.
본 기술의 제3 측면의 이동체는, 촬영부와, 상기 촬영부에 의해 촬영된 촬영 화상에 있어서 소정 시간 내에 상기 촬영부의 화각으로부터 나온다고 예측되는 영역에 대한 가중치를 작게 하여 검파값을 산출하는 검파부와, 상기 검파값에 기초하여, 상기 촬영부의 노광 제어를 행하는 노광 제어부와, 상기 촬영 화상에 기초하여, 이동 제어를 행하는 이동 제어부를 구비한다.
본 기술의 제1 측면 또는 제2 측면에 있어서는, 촬영부에 의해 촬영된 촬영 화상에 있어서 소정 시간 내에 상기 촬영부의 화각으로부터 나온다고 예측되는 영역에 대한 가중치가 작게 되어 검파값이 산출되고, 상기 검파값에 기초하여, 상기 촬영부의 노광 제어가 행해진다.
본 기술의 제2 측면에 있어서는, 촬영부에 의해 촬영된 촬영 화상에 있어서 소정 시간 내에 상기 촬영부의 화각으로부터 나온다고 예측되는 영역에 대한 가중치가 작게 되어 검파값이 산출되고, 상기 검파값에 기초하여, 상기 촬영부의 노광 제어가 행해진다.
본 기술의 제3 측면에 있어서는, 촬영부에 의해 촬영된 촬영 화상에 있어서 소정 시간 내에 상기 촬영부의 화각으로부터 나온다고 예측되는 영역에 대한 가중치가 작게 되어 검파값이 산출되고, 상기 검파값에 기초하여, 상기 촬영부의 노광 제어가 행해져, 상기 촬영 화상에 기초하여, 이동 제어가 행해진다.
본 기술의 제1 측면 또는 제2 측면에 의하면, 적절하게 노광 제어를 행할 수 있다.
본 기술의 제3 측면에 의하면, 적절하게 노광 제어를 행할 수 있다. 그 결과, 이동체의 이동 제어를 적절하게 행할 수 있다.
또한, 여기에 기재된 효과는 반드시 한정되는 것은 아니고, 본 개시 중에 기재된 어느 효과여도 된다.
도 1은 본 기술이 적용될 수 있는 이동체 제어 시스템의 구성예를 도시하는 블록도이다.
도 2는 본 기술을 적용한 촬영 시스템의 제1 실시 형태를 도시하는 블록도이다.
도 3은 도 2의 촬영 시스템에 의해 실행되는 노광 제어 처리를 설명하기 위한 흐름도이다.
도 4는 촬영 화상의 예를 도시하는 모식도이다.
도 5는 분할 영역의 가중치의 제1 예를 도시하는 도면이다.
도 6은 백색 날림된 촬영 화상의 예의 모식도이다.
도 7은 흑색 포화된 촬영 화상의 예의 모식도이다.
도 8은 생존 시간의 예를 도시하는 도면이다.
도 9는 분할 영역의 가중치의 제2 예를 도시하는 도면이다.
도 10은 파라미터 테이블의 예를 도시하는 도면이다.
도 11은 화상 구배에 기초하는 파라미터를 설명하기 위한 도면이다.
도 12는 본 기술을 적용한 촬영 시스템의 제2 실시 형태를 도시하는 블록도이다.
도 13은 도 12의 촬영 시스템에 의해 실행되는 노광 제어 처리를 설명하기 위한 흐름도이다.
도 14는 검파 영역의 제1 설정 방법을 설명하기 위한 도면이다.
도 15는 검파 영역의 제2 설정 방법을 설명하기 위한 도면이다.
도 16은 검파 영역의 제2 설정 방법을 설명하기 위한 도면이다.
도 17은 컴퓨터의 구성예를 도시하는 도면이다.
이하, 본 기술을 실시하기 위한 형태에 대하여 설명한다. 설명은 이하의 순서로 행한다.
1. 이동체 제어 시스템의 구성예
2. 제1 실시 형태(휘도의 가중 평균을 사용하는 예)
3. 제2 실시 형태(검파 영역을 설정하는 예)
4. 변형예
5. 기타
<<1. 이동체 제어 시스템의 구성예>>
도 1은 본 기술을 적용한 이동체 제어 시스템(100)의 개략적인 기능의 구성예를 도시하는 블록도이다.
이동체 제어 시스템(100)은, 이동체(10)에 마련되며, 이동체(10)의 각종 제어를 행하는 시스템이다.
이동체(10)는, 예를 들어 이동하면서 주위를 촬영하고, 촬영한 화상을 사용한 처리를 행하는 이동체를 포함한다. 예를 들어, 이동체(10)는, 차량, 자동 이륜차, 자전거, 퍼스널 모빌리티, 비행기, 선박, 건설기계, 농업기계(트랙터) 등의 탑승자가 있는 이동체를 포함한다. 또한, 예를 들어 이동체(10)는, 원격 조작 또는 자동 제어에 의해 이동하는 드론, 로봇 등의 탑승자가 없는 이동체를 포함한다. 또한, 예를 들어 이동체(10)는, 직접 조작, 원격 조작, 또는, 자동 제어 중 어느 것에 의해 이동하는 것이어도 된다.
이동체 제어 시스템(100)은, 입력부(101), 데이터 취득부(102), 통신부(103), 이동체 내부 기기(104), 출력 제어부(105), 출력부(106), 구동계 제어부(107), 구동계 시스템(108), 기억부(109), 및 자율 이동 제어부(110)를 구비한다. 입력부(101), 데이터 취득부(102), 통신부(103), 출력 제어부(105), 구동계 제어부(107), 기억부(109), 및 자율 이동 제어부(110)는, 통신 네트워크(111)를 통해, 서로 접속되어 있다. 통신 네트워크(111)는, 예를 들어 CAN(Controller Area Network), LIN(Local Interconnect Network), IEEE802.3 등의 LAN(Local Area Network), 또는, FlexRay(등록 상표) 등의 임의의 규격에 준거한 통신 네트워크나 버스, 혹은 규격화되어 있지 않은 독자의 통신 방식 등을 포함한다. 또한, 이동체 제어 시스템(100)의 각 부는, 통신 네트워크(111)를 통하지 않고, 직접 접속되는 경우도 있다.
또한, 이하, 이동체 제어 시스템(100)의 각 부가, 통신 네트워크(111)를 통해 통신을 행하는 경우, 통신 네트워크(111)의 기재를 생략하는 것으로 한다. 예를 들어, 입력부(101)와 자율 이동 제어부(110)가 통신 네트워크(111)를 통해 통신을 행하는 경우, 간단히 입력부(101)와 자율 이동 제어부(110)가 통신을 행한다고 기재한다.
입력부(101)는, 유저가 각종 데이터나 지시 등의 입력에 사용하는 장치를 구비한다. 예를 들어, 입력부(101)는, 터치 패널, 버튼, 마이크로폰, 스위치 및 레버 등의 조작 디바이스, 그리고, 음성이나 제스처 등에 의해 수동 조작 이외의 방법으로 입력 가능한 조작 디바이스 등을 구비한다. 또한, 예를 들어 입력부(101)는, 적외선 혹은 그 밖의 전파를 이용한 리모트 컨트롤 장치, 또는, 이동체 제어 시스템(100)의 조작에 대응한 모바일 기기 혹은 웨어러블 기기 등의 외부 접속 기기여도 된다. 입력부(101)는, 유저에 의해 입력된 데이터나 지시 등에 기초하여 입력 신호를 생성하여, 이동체 제어 시스템(100)의 각 부에 공급한다.
데이터 취득부(102)는, 이동체 제어 시스템(100)의 처리에 사용하는 데이터를 취득하는 각종 센서 등을 구비하고, 취득한 데이터를, 이동체 제어 시스템(100)의 각 부에 공급한다.
예를 들어, 데이터 취득부(102)는, 이동체(10)의 상태 등을 검출하기 위한 각종 센서를 구비한다. 구체적으로는, 예를 들어 데이터 취득부(102)는, 자이로 센서, 가속도 센서, 관성 계측 장치(IMU), 및 액셀러레이터 등의 가속 입력의 조작량, 감속 입력의 조작량, 방향 지시 입력의 조작량, 엔진이나 모터 등의 구동 장치의 회전수나 입출력 에너지·연료량, 엔진이나 모터 등의 토크양, 혹은, 차륜이나 관절의 회전 속도나 토크 등을 검출하기 위한 센서 등을 구비한다.
또한, 예를 들어 데이터 취득부(102)는, 이동체(10)의 외부의 정보를 검출하기 위한 각종 센서를 구비한다. 구체적으로는, 예를 들어 데이터 취득부(102)는, ToF(Time Of Flight) 카메라, 스테레오 카메라, 단안 카메라, 적외선 카메라, 편광 카메라, 및 그 밖의 카메라 등의 촬상 장치를 구비한다. 또한, 예를 들어 데이터 취득부(102)는, 날씨 또는 기상 등을 검출하기 위한 환경 센서, 및 이동체(10)의 주위의 물체를 검출하기 위한 주위 정보 검출 센서를 구비한다. 환경 센서는, 예를 들어 빗방울 센서, 안개 센서, 일조 센서, 눈 센서 등을 포함한다. 주위 정보 검출 센서는, 예를 들어 레이저 측거 센서, 초음파 센서, 레이다, LiDAR(Light Detection and Ranging, Laser Imaging Detection and Ranging), 음파 탐지기 등을 포함한다.
또한, 예를 들어 데이터 취득부(102)는, 이동체(10)의 현재 위치를 검출하기 위한 각종 센서를 구비한다. 구체적으로는, 예를 들어 데이터 취득부(102)는, GNSS(Global Navigation Satellite System) 위성으로부터의 GNSS 신호를 수신하는 GNSS 수신기 등을 구비한다.
통신부(103)는, 이동체 내부 기기(104), 그리고, 이동체 외부의 다양한 기기, 서버, 기지국 등과 통신을 행하여, 이동체 제어 시스템(100)의 각 부로부터 공급되는 데이터를 송신하거나, 수신한 데이터를 이동체 제어 시스템(100)의 각 부에 공급하거나 한다. 또한, 통신부(103)가 서포트하는 통신 프로토콜은, 특별히 한정되는 것은 아니고, 또한, 통신부(103)가, 복수의 종류의 통신 프로토콜을 서포트하는 것도 가능하다.
예를 들어, 통신부(103)는, 무선 LAN, Bluetooth(등록 상표), NFC(Near Field Communication), 또는, WUSB(Wireless USB) 등에 의해, 이동체 내부 기기(104)와 무선 통신을 행한다. 또한, 예를 들어 통신부(103)는, 도시하지 않은 접속 단자(및, 필요하면 케이블)를 통해, USB(Universal Serial Bus), HDMI(등록 상표)(High-Definition Multimedia Interface), 또는, MHL(Mobile High-definition Link) 등에 의해, 이동체 내부 기기(104)와 유선 통신을 행한다.
또한, 예를 들어 통신부(103)는, 기지국 또는 액세스 포인트를 통해, 외부 네트워크(예를 들어, 인터넷, 클라우드 네트워크 또는 사업자 고유의 네트워크) 상에 존재하는 기기(예를 들어, 애플리케이션 서버 또는 제어 서버)와의 통신을 행한다. 또한, 예를 들어 통신부(103)는, P2P(Peer To Peer) 기술을 사용하여, 이동체(10)의 근방에 존재하는 단말기(예를 들어, 보행자 혹은 점포의 단말기, 또는, MTC(Machine Type Communication) 단말기)와의 통신을 행한다. 또한, 예를 들어 이동체(10)가 차량인 경우, 통신부(103)는, 차차간(Vehicle to Vehicle) 통신, 노차간(Vehicle to Infrastructure) 통신, 이동체(10)와 집 사이(Vehicle to Home)의 통신, 및, 보차간(Vehicle to Pedestrian) 통신 등의 V2X 통신을 행한다. 또한, 예를 들어 통신부(103)는, 비콘 수신부를 구비하고, 도로 상에 설치된 무선국 등으로부터 발신되는 전파 혹은 전자파를 수신하여, 현재 위치, 정체, 통행 규제 또는 소요 시간 등의 정보를 취득한다.
이동체 내부 기기(104)는, 예를 들어 유저가 갖는 모바일 기기 혹은 웨어러블 기기, 이동체(10)에 반입되거나 혹은 설치되는 정보 기기, 및 임의의 목적지까지의 경로 탐색을 행하는 내비게이션 장치 등을 포함한다.
출력 제어부(105)는, 유저 또는 이동체 외부에 대한 각종 정보의 출력을 제어한다. 예를 들어, 출력 제어부(105)는, 시각 정보(예를 들어, 화상 데이터) 및 청각 정보(예를 들어, 음성 데이터) 중 적어도 하나를 포함하는 출력 신호를 생성하여, 출력부(106)에 공급함으로써, 출력부(106)로부터의 시각 정보 및 청각 정보의 출력을 제어한다. 구체적으로는, 예를 들어 출력 제어부(105)는, 데이터 취득부(102)의 다른 촬상 장치에 의해 촬상된 화상 데이터를 합성하여, 부감 화상 또는 파노라마 화상 등을 생성하고, 생성한 화상을 포함하는 출력 신호를 출력부(106)에 공급한다. 또한, 예를 들어 출력 제어부(105)는, 충돌, 접촉, 위험 지대로의 진입 등의 위험에 대한 경고음 또는 경고 메시지 등을 포함하는 음성 데이터를 생성하고, 생성한 음성 데이터를 포함하는 출력 신호를 출력부(106)에 공급한다.
출력부(106)는, 유저 또는 이동체 외부에 대하여, 시각 정보 또는 청각 정보를 출력하는 것이 가능한 장치를 구비한다. 예를 들어, 출력부(106)는, 표시 장치, 인스트루먼트 패널, 오디오 스피커, 헤드폰, 유저가 장착하는 안경형 디스플레이 등의 웨어러블 디바이스, 프로젝터, 램프 등을 구비한다. 출력부(106)가 구비하는 표시 장치는, 통상의 디스플레이를 갖는 장치 이외에도, 예를 들어 헤드업 디스플레이, 투과형 디스플레이, AR(Augmented Reality) 표시 기능을 갖는 장치 등의 운전자의 시야 내에 시각 정보를 표시하는 장치여도 된다. 또한, 출력 제어부(105) 및 출력부(106)는, 자율 이동의 처리에는 필수의 구성은 아니기 때문에, 필요에 따라서 생략하도록 해도 된다.
구동계 제어부(107)는, 각종 제어 신호를 생성하여, 구동계 시스템(108)에 공급함으로써, 구동계 시스템(108)의 제어를 행한다. 또한, 구동계 제어부(107)는, 필요에 따라서, 구동계 시스템(108) 이외의 각 부에 제어 신호를 공급하여, 구동계 시스템(108)의 제어 상태의 통지 등을 행한다.
구동계 시스템(108)은, 이동체(10)의 구동계에 관한 각종 장치를 구비한다. 예를 들어, 구동계 시스템(108)은, 4개의 다리의 각 관절에 구비된 각도나 토크를 지정 가능한 서보 모터, 로봇 자체의 이동의 움직임을 4개의 발의 움직임으로 분해·치환하는 모션 컨트롤러, 및 각 모터 내의 센서나 발바닥면의 센서에 의한 피드백 제어 장치를 구비한다.
다른 예에서는, 구동계 시스템(108)은, 4기 내지 6기의 기체 상향의 프로펠러를 갖는 모터, 로봇 자체의 이동의 움직임을 각 모터의 회전량으로 분해·치환하는 모션 컨트롤러를 구비한다.
또한, 다른 예에서는, 구동계 시스템(108)은, 내연 기관 또는 구동용 모터 등의 구동력을 발생시키기 위한 구동력 발생 장치, 구동력을 차륜에 전달하기 위한 구동력 전달 기구, 타각을 조절하는 스티어링 기구, 제동력을 발생시키는 제동 장치, ABS(Antilock Brake System), ESC(Electronic Stability Control), 그리고, 전동 파워 스티어링 장치 등을 구비한다.
기억부(109)는, 예를 들어 ROM(Read Only Memory), RAM(Random Access Memory), HDD(Hard Disc Drive) 등의 자기 기억 디바이스, 반도체 기억 디바이스, 광 기억 디바이스, 및 광자기 기억 디바이스 등을 구비한다. 기억부(109)는, 이동체 제어 시스템(100)의 각 부가 사용하는 각종 프로그램이나 데이터 등을 기억한다. 예를 들어, 기억부(109)는, 다이내믹 맵 등의 3차원의 고정밀도 지도, 고정밀도 지도보다 정밀도가 낮고, 넓은 에어리어를 커버하는 글로벌 맵, 및 이동체(10)의 주위의 정보를 포함하는 로컬 맵 등의 지도 데이터를 기억한다.
자율 이동 제어부(110)는, 자동 운전 또는 운전 지원 등의 자율 이동에 관한 제어를 행한다. 구체적으로는, 예를 들어 자율 이동 제어부(110)는, 이동체(10)의 충돌 회피 혹은 충격 완화, 이동체간 거리에 기초하는 추종 이동, 이동체 속도 유지 이동, 또는, 이동체(10)의 충돌 경고의 기능 실현을 목적으로 한 협조 제어를 행한다. 또한, 예를 들어 자율 이동 제어부(110)는, 유저의 조작에 의하지 않고 자율적으로 이동하는 자율 이동 등을 목적으로 한 협조 제어를 행한다. 자율 이동 제어부(110)는, 검출부(131), 자기 위치 추정부(132), 상황 분석부(133), 계획부(134), 및 동작 제어부(135)를 구비한다.
검출부(131)는, 자율 이동의 제어에 필요한 각종 정보의 검출을 행한다. 검출부(131)는, 이동체 외부 정보 검출부(141), 이동체 내부 정보 검출부(142), 및 이동체 상태 검출부(143)를 구비한다.
이동체 외부 정보 검출부(141)는, 이동체 제어 시스템(100)의 각 부로부터의 데이터 또는 신호에 기초하여, 이동체(10)의 외부의 정보의 검출 처리를 행한다. 예를 들어, 이동체 외부 정보 검출부(141)는, 이동체(10)의 주위의 물체의 검출 처리, 인식 처리, 및, 추적 처리, 그리고, 물체까지의 거리의 검출 처리를 행한다. 검출 대상이 되는 물체에는, 예를 들어 다른 이동체, 사람, 장해물, 구조물, 도로, 신호기, 교통 표지, 도로 표시 등이 포함된다. 또한, 예를 들어 이동체 외부 정보 검출부(141)는, 이동체(10)의 주위의 환경의 검출 처리를 행한다. 검출 대상이 되는 주위의 환경에는, 예를 들어 날씨, 기온, 습도, 밝기 및 노면의 상태 등이 포함된다. 이동체 외부 정보 검출부(141)는, 검출 처리의 결과를 나타내는 데이터를 자기 위치 추정부(132), 상황 분석부(133)의 맵 해석부(151), 및, 상황 인식부(152), 그리고, 동작 제어부(135) 등에 공급한다.
이동체 내부 정보 검출부(142)는, 이동체 제어 시스템(100)의 각 부로부터의 데이터 또는 신호에 기초하여, 이동체 내부의 정보의 검출 처리를 행한다. 예를 들어, 이동체 내부 정보 검출부(142)는, 운전자의 인증 처리 및 인식 처리, 운전자의 상태의 검출 처리, 탑승자의 검출 처리, 및 이동체 내부의 환경의 검출 처리 등을 행한다. 검출 대상이 되는 운전자의 상태에는, 예를 들어 몸 상태, 각성도, 집중도, 피로도, 시선 방향 등이 포함된다. 검출 대상이 되는 이동체 내부의 환경에는, 예를 들어 기온, 습도, 밝기, 냄새 등이 포함된다. 이동체 내부 정보 검출부(142)는, 검출 처리의 결과를 나타내는 데이터를 상황 분석부(133)의 상황 인식부(152), 및 동작 제어부(135) 등에 공급한다.
이동체 상태 검출부(143)는, 이동체 제어 시스템(100)의 각 부로부터의 데이터 또는 신호에 기초하여, 이동체(10)의 상태의 검출 처리를 행한다. 검출 대상이 되는 이동체(10)의 상태에는, 예를 들어 속도, 가속도, 각속도, 타각, 이상의 유무 및 내용, 운전 조작의 상태, 파워 시트의 위치 및 기울기, 도어록의 상태, 그리고, 그 밖의 이동체 탑재 기기의 상태 등이 포함된다. 이동체 상태 검출부(143)는, 검출 처리의 결과를 나타내는 데이터를 상황 분석부(133)의 상황 인식부(152), 및 동작 제어부(135) 등에 공급한다.
자기 위치 추정부(132)는, 이동체 외부 정보 검출부(141), 및 상황 분석부(133)의 상황 인식부(152) 등의 이동체 제어 시스템(100)의 각 부로부터의 데이터 또는 신호에 기초하여, 이동체(10)의 위치 및 자세 등의 추정 처리를 행한다. 또한, 자기 위치 추정부(132)는, 필요에 따라서, 자기 위치의 추정에 사용하는 로컬 맵(이하, 자기 위치 추정용 맵이라 칭함)을 생성한다. 자기 위치 추정용 맵은, 예를 들어 SLAM(Simultaneous Localization and Mapping) 등의 기술을 사용한 고정밀도의 맵으로 된다. 자기 위치 추정부(132)는, 추정 처리의 결과를 나타내는 데이터를 상황 분석부(133)의 맵 해석부(151), 및 상황 인식부(152) 등에 공급한다. 또한, 자기 위치 추정부(132)는, 자기 위치 추정용 맵을 기억부(109)에 기억시킨다.
상황 분석부(133)는, 이동체(10) 및 주위의 상황의 분석 처리를 행한다. 상황 분석부(133)는, 맵 해석부(151), 상황 인식부(152), 및 상황 예측부(153)를 구비한다.
맵 해석부(151)는, 자기 위치 추정부(132) 및 이동체 외부 정보 검출부(141) 등의 이동체 제어 시스템(100)의 각 부로부터의 데이터 또는 신호를 필요에 따라서 사용하면서, 기억부(109)에 기억되어 있는 각종 맵의 해석 처리를 행하여, 자율 이동의 처리에 필요한 정보를 포함하는 맵을 구축한다. 맵 해석부(151)는, 구축한 맵을, 상황 인식부(152), 상황 예측부(153), 그리고, 계획부(134)의 루트 계획부(161), 행동 계획부(162), 및 동작 계획부(163) 등에 공급한다.
상황 인식부(152)는, 자기 위치 추정부(132), 이동체 외부 정보 검출부(141), 이동체 내부 정보 검출부(142), 이동체 상태 검출부(143), 및 맵 해석부(151) 등의 이동체 제어 시스템(100)의 각 부로부터의 데이터 또는 신호에 기초하여, 이동체(10)에 관한 상황의 인식 처리를 행한다. 예를 들어, 상황 인식부(152)는, 이동체(10)의 상황, 이동체(10)의 주위의 상황, 및 이동체(10)의 운전자의 상황 등의 인식 처리를 행한다. 또한, 상황 인식부(152)는, 필요에 따라서, 이동체(10)의 주위의 상황의 인식에 사용하는 로컬 맵(이하, 상황 인식용 맵이라 칭함)을 생성한다. 상황 인식용 맵은, 예를 들어 점유 격자 지도(Occupancy Grid Map), 도로 지도(Lane Map), 또는, 점군 지도(Point Cloud Map)로 된다.
인식 대상이 되는 이동체(10)의 상황에는, 예를 들어 이동체(10)의 위치, 자세, 움직임(예를 들어, 속도, 가속도, 이동 방향 등), 그리고, 이상의 유무 및 내용 등이 포함된다. 인식 대상이 되는 이동체(10)의 주위의 상황에는, 예를 들어 주위의 정지 물체의 종류 및 위치, 주위의 동물체의 종류, 위치 및 움직임(예를 들어, 속도, 가속도, 이동 방향 등), 주위의 도로의 구성 및 노면의 상태, 그리고, 주위의 날씨, 기온, 습도 및 밝기 등이 포함된다. 인식 대상이 되는 운전자의 상태에는, 예를 들어 몸 상태, 각성도, 집중도, 피로도, 시선의 움직임, 그리고, 운전 조작 등이 포함된다.
상황 인식부(152)는, 인식 처리의 결과를 나타내는 데이터(필요에 따라서, 상황 인식용 맵을 포함함)를 자기 위치 추정부(132) 및 상황 예측부(153) 등에 공급한다. 또한, 상황 인식부(152)는, 상황 인식용 맵을 기억부(109)에 기억시킨다.
상황 예측부(153)는, 맵 해석부(151) 및 상황 인식부(152) 등의 이동체 제어 시스템(100)의 각 부로부터의 데이터 또는 신호에 기초하여, 이동체(10)에 관한 상황의 예측 처리를 행한다. 예를 들어, 상황 예측부(153)는, 이동체(10)의 상황, 이동체(10)의 주위의 상황, 및 운전자의 상황 등의 예측 처리를 행한다.
예측 대상이 되는 이동체(10)의 상황에는, 예를 들어 이동체(10)의 거동, 이상의 발생, 및 이동 가능 거리 등이 포함된다. 예측 대상이 되는 이동체(10)의 주위의 상황에는, 예를 들어 이동체(10)의 주위의 동물체의 거동, 신호의 상태의 변화, 및 날씨 등의 환경의 변화 등이 포함된다. 예측 대상이 되는 운전자의 상황에는, 예를 들어 운전자의 거동 및 몸 상태 등이 포함된다.
상황 예측부(153)는, 예측 처리의 결과를 나타내는 데이터를, 상황 인식부(152)로부터의 데이터와 함께, 계획부(134)의 루트 계획부(161), 행동 계획부(162), 및 동작 계획부(163) 등에 공급한다.
루트 계획부(161)는, 맵 해석부(151) 및 상황 예측부(153) 등의 이동체 제어 시스템(100)의 각 부로부터의 데이터 또는 신호에 기초하여, 목적지까지의 루트를 계획한다. 예를 들어, 루트 계획부(161)는, 글로벌 맵에 기초하여, 현재 위치로부터 지정된 목적지까지의 루트를 설정한다. 또한, 예를 들어 루트 계획부(161)는, 정체, 사고, 통행 규제, 공사 등의 상황, 및 운전자의 몸 상태 등에 기초하여, 적절히 루트를 변경한다. 루트 계획부(161)는, 계획한 루트를 나타내는 데이터를 행동 계획부(162) 등에 공급한다.
행동 계획부(162)는, 맵 해석부(151) 및 상황 예측부(153) 등의 이동체 제어 시스템(100)의 각 부로부터의 데이터 또는 신호에 기초하여, 루트 계획부(161)에 의해 계획된 루트를 계획된 시간 내에 안전하게 이동하기 위한 이동체(10)의 행동을 계획한다. 예를 들어, 행동 계획부(162)는, 발진, 정지, 진행 방향(예를 들어, 전진, 후퇴, 좌회전, 우회전, 방향 전환 등), 이동 속도, 및 추월 등의 계획을 행한다. 행동 계획부(162)는, 계획한 이동체(10)의 행동을 나타내는 데이터를 동작 계획부(163) 등에 공급한다.
동작 계획부(163)는, 맵 해석부(151) 및 상황 예측부(153) 등의 이동체 제어 시스템(100)의 각 부로부터의 데이터 또는 신호에 기초하여, 행동 계획부(162)에 의해 계획된 행동을 실현하기 위한 이동체(10)의 동작을 계획한다. 예를 들어, 동작 계획부(163)는, 가속, 감속 및 이동 궤도 등의 계획을 행한다. 동작 계획부(163)는, 계획한 이동체(10)의 동작을 나타내는 데이터를, 동작 제어부(135) 등에 공급한다.
동작 제어부(135)는, 이동체(10)의 동작 제어를 행한다.
보다 상세하게는, 동작 제어부(135)는, 이동체 외부 정보 검출부(141), 이동체 내부 정보 검출부(142), 및 이동체 상태 검출부(143)의 검출 결과에 기초하여, 충돌, 접촉, 위험 지대로의 진입, 운전자의 이상, 이동체(10)의 이상 등의 긴급 사태의 검출 처리를 행한다. 동작 제어부(135)는, 긴급 사태의 발생을 검출한 경우, 급정지나 급선회 등의 긴급 사태를 피하기 위한 이동체(10)의 동작을 계획한다.
또한, 동작 제어부(135)는, 동작 계획부(163)에 의해 계획된 이동체(10)의 동작을 실현하기 위한 가감속 제어를 행한다. 예를 들어, 동작 제어부(135)는, 계획된 가속, 감속, 또는, 급정지를 실현하기 위한 구동력 발생 장치 또는 제동 장치의 제어 목표값을 연산하고, 연산한 제어 목표값을 나타내는 제어 명령을 구동계 제어부(107)에 공급한다.
또한, 동작 제어부(135)는, 동작 계획부(163)에 의해 계획된 이동체(10)의 동작을 실현하기 위한 방향 제어를 행한다. 예를 들어, 동작 제어부(135)는, 동작 계획부(163)에 의해 계획된 이동 궤도 또는 급선회를 실현하기 위한 스티어링 기구의 제어 목표값을 연산하고, 연산한 제어 목표값을 나타내는 제어 명령을 구동계 제어부(107)에 공급한다.
또한, 이하, 주로 이동체(10)가 차량인 경우를 예로 들어 설명한다.
<<2. 제1 실시 형태>>
다음에, 도 2 내지 도 11을 참조하여, 본 기술의 제1 실시 형태에 대하여 설명한다.
또한, 제1 실시 형태는, 도 1의 이동체 제어 시스템(100) 중, 주로 데이터 취득부(102)의 처리에 관련되는 것이다.
<촬영 시스템의 구성예>
도 2는 본 기술의 제1 실시 형태인 촬영 시스템(201)의 구성예를 도시하는 블록도이다.
촬영 시스템(201)은, 이동체(10)의 주위를 촬영하는 시스템이다. 촬영 시스템(201)은, 촬영부(211) 및 제어부(212)를 구비한다.
또한, 촬영 시스템(201)은, 하나의 장치(예를 들어, 촬영 장치)에 의해 구성되어도 되고, 복수의 장치에 의해 구성되어도 된다. 후자의 경우, 예를 들어 촬영부(211)와 제어부(212)가 각각 다른 장치(예를 들어, 촬영 장치와 노광 제어 장치)로 나누어지거나, 촬영부(211)와 제어부(212)의 일부가 하나의 장치(예를 들어, 촬영 장치)를 구성하고, 제어부(212)의 나머지가 다른 장치(예를 들어, 노광 제어 장치)를 구성하거나 한다.
촬영부(211)는, 이동체(10)의 주위를 촬영한다. 촬영부(211)는, 촬영의 결과 얻어진 화상(이하, 촬영 화상이라 칭함)을 이동체 제어 시스템(100)의 검출부(131) 및 자기 위치 추정부(132), 그리고, 제어부(212)의 검파부(221)의 가중치 설정부(231) 등에 공급한다.
또한, 촬영부(211)는, 제어 신호 생성부(244)로부터의 제어 신호에 기초하여, 촬상 소자(도시하지 않음)의 노광 시간(셔터 속도), 촬상 소자의 게인(감도), 및 조리개의 크기를 조정함으로써, 노광량을 조정한다.
제어부(212)는, 촬영부(211)의 노광 제어 등을 행한다. 제어부(212)는, 검파부(221) 및 노광 제어부(222)를 구비한다.
검파부(221)는, 촬영 화상의 휘도에 기초하는 검파값을 검출하고, 검파값을 나타내는 검파 신호를 노광 제어부(222)의 오차 검출부(241)에 공급한다. 검파부(221)는, 가중치 설정부(231) 및 검파값 산출부(232)를 구비한다.
가중치 설정부(231)는, 후술하는 바와 같이, 촬영 화상을 복수의 분할 영역으로 분할하고, 각 분할 영역에 대한 가중치를 설정한다. 가중치 설정부(231)는, 촬영 화상, 및 각 분할 영역의 가중치를 나타내는 데이터를 검파값 산출부(232)에 공급한다.
검파값 산출부(232)는, 촬영 화상의 각 분할 영역의 휘도 및 가중치에 기초하여, 검파값을 산출한다. 검파값 산출부(232)는, 검파값을 나타내는 검파 신호를 노광 제어부(222)의 오차 검출부(241)에 공급한다.
노광 제어부(222)는, 검파 신호에 기초하여, 촬영부(211)의 노광 제어를 행한다. 노광 제어부(222)는, 오차 검출부(241), 노광량 설정부(242), 제어 방법 설정부(243), 및 제어 신호 생성부(244)를 구비한다.
오차 검출부(241)는, 검파부(221)에 의해 검출된 검파값과 목표값 사이의 오차를 검출하고, 검출한 오차를 나타내는 데이터를 노광량 설정부(242)에 공급한다.
노광량 설정부(242)는, 검파값의 오차에 기초하여, 촬영부(211)의 노광량 목표값을 설정한다. 노광량 설정부(242)는, 노광량의 목표값을 나타내는 데이터를 제어 방법 설정부(243)에 공급한다.
제어 방법 설정부(243)는, 촬영부(211)의 노광량이 목표값에 도달하도록, 촬영부(211)의 노광의 제어 방법을 설정한다. 제어 방법 설정부(243)는, 노광량의 목표값, 및 노광의 제어 방법을 나타내는 데이터를 제어 신호 생성부(244)에 공급한다.
제어 신호 생성부(244)는, 설정된 노광의 제어 방법에 따라서, 노광량이 목표값에 도달하도록 촬영부(211)의 노광을 제어하는 제어 신호를 생성하여, 촬영부(211)에 공급한다.
<노광 제어 처리>
다음에, 도 3의 흐름도를 참조하여, 촬영 시스템(201)에 의해 실행되는 노광 제어 처리에 대하여 설명한다.
이 처리는, 예를 들어 촬영 시스템(201)의 전원이 온되었을 때 개시되고, 촬영 시스템(201)의 전원이 오프되었을 때 종료된다.
스텝 S1에 있어서, 촬영부(211)는, 이동체(10)의 주위를 촬영한다. 촬영부(211)는, 촬영에 의해 얻어진 촬영 화상을 검출부(131), 자기 위치 추정부(132), 및 가중치 설정부(231) 등에 공급한다.
검출부(131)의 이동체 외부 정보 검출부(141)(도 1)는, 예를 들어 촬영 화상 내의 특징점, 및 각 특징점의 이동체(10)에 대한 위치(거리 및 방향)의 검출을 행한다. 또한, 특징점의 검출 방법에는, 임의의 방법을 사용하는 것이 가능하다.
또한, 이동체 외부 정보 검출부(141)는, 예를 들어 촬영 화상 내의 각 피사체의 위치 및 종류 등의 검출을 행한다. 또한, 피사체의 검출 방법에는, 예를 들어 시맨틱 세그멘테이션, 인체 검출, 또는, 차량 검출 등의 임의의 방법을 사용하는 것이 가능하다.
또한, 이동체 외부 정보 검출부(141)는, 예를 들어 촬영 화상 내의 각 피사체의 움직임(예를 들어, 속도 및 이동 방향 등)의 검출을 행한다. 또한, 피사체의 움직임의 검출 방법에는, 임의의 방법을 사용하는 것이 가능하다.
자기 위치 추정부(132)는, 촬영 화상 등에 기초하여, 이동체(10)의 자기 위치 추정을 행한다.
또한, 이하, 도 4에 모식적으로 도시되는 촬영 화상 P1이 촬영된 경우를 적절히 구체예로 들면서 설명한다. 촬영 화상 P1은, 이동체(10)의 전방을 촬영한 화상이며, 하늘, 전방의 노면, 노면 상의 다른 차량, 도로의 양측의 건물이나 나무들 등이 찍혀 있다.
스텝 S2에 있어서, 가중치 설정부(231)는, 이동체(10) 및 주위의 정보를 취득한다.
예를 들어, 가중치 설정부(231)는, 촬영 화상 내의 특징점, 각 특징점의 이동체(10)에 대한 위치(거리 및 방향), 그리고, 촬영 화상 내의 각 피사체의 위치, 종류, 및 움직임 등의 검출 결과를 나타내는 데이터를 이동체 외부 정보 검출부(141)로부터 취득한다.
또한, 예를 들어 가중치 설정부(231)는, 이동체(10)의 속도 및 각속도 등의 검출 결과를 나타내는 데이터를, 검출부(131)의 이동체 상태 검출부(143)(도 1)로부터 취득한다.
또한, 예를 들어 가중치 설정부(231)는, 이동체(10)의 자기 위치의 추정 결과를 나타내는 데이터를 자기 위치 추정부(132)로부터 취득한다.
스텝 S3에 있어서, 가중치 설정부(231)는, 촬영 화상의 각 분할 영역에 대한 가중치를 설정한다. 구체적으로는, 가중치 설정부(231)는, 촬영 화상을 복수의 분할 영역으로 분할한다. 그리고, 상세는 후술하지만, 가중치 설정부(231)는, 각 분할 영역에 대한 가중치를 설정한다. 가중치 설정부(231)는, 촬영 화상, 및 각 분할 영역의 가중치를 나타내는 데이터를 검파값 산출부(232)에 공급한다.
스텝 S4에 있어서, 검파값 산출부(232)는, 촬영 화상의 각 분할 영역의 휘도 및 가중치에 기초하여, 검파값을 산출한다. 검파값 산출부(232)는, 검파값을 나타내는 검파 신호를 오차 검출부(241)에 공급한다.
여기서, 도 5 내지 도 11을 참조하여, 스텝 S3 및 스텝 S4에 있어서의 검파값의 산출 방법의 구체예에 대하여 설명한다.
<검파값의 제1 산출 방법>
먼저, 도 5 내지 도 9를 참조하여, 검파값의 제1 산출 방법에 대하여 설명한다.
예를 들어, 가중치 설정부(231)는, 도 5에 도시된 바와 같이, 동일한 크기의 n개(이 예에서는 48개)의 직사각형 분할 영역 i(i=1 내지 n)로 촬영 화상 P1을 분할하고, 각 분할 영역 i에 대하여 가중치 wi를 설정한다. 도 5의 각 분할 영역 i 내의 숫자는, 각 분할 영역 i의 가중치 wi를 나타내고 있고, 이 예에서는, 모든 분할 영역 i의 가중치 wi가 1로 설정되어 있다.
검파값 산출부(232)는, 다음 식 (1)에 의해, 각 분할 영역 i의 휘도의 가중 평균을 검파값으로서 산출한다.
Figure pct00001
또한, xi는, 분할 영역 i 내의 각 화소의 휘도의 평균 xi(이하, 평균 휘도 xi라 칭함)를 나타낸다.
여기서, 도 5의 예에서는, 모든 분할 영역 i의 가중치 wi가 1로 설정되어 있다. 그래서, 식 (1)의 가중치 wi에 1을 대입하면, 다음 식 (2)가 된다.
Figure pct00002
즉, 모든 분할 영역 i의 가중치 wi를 1로 설정하면, 검파값은, 각 분할 영역 i의 평균 휘도 xi의 평균, 환언하면, 촬영 화상 P1의 각 화소의 휘도의 단순 평균과 동등해진다.
그러나, 검파값을 촬영 화상의 각 화소의 휘도의 단순 평균으로 설정하면, 이동체(10)의 주위의 밝기가 급격하게 변화된 경우, 적절하게 촬영부(211)의 노광을 제어할 수 없는 경우가 있다. 즉, 통상, 노광 제어는, 소정 프레임 전 또는 소정 시간 전에 촬영된 촬영 화상에 기초하는 검파값에 기초하여 행해지기 때문에, 주위의 밝기가 급격하게 변화된 경우, 노광 제어가 주위의 밝기의 변화에 신속하게 추종할 수 없을 우려가 있다.
예를 들어, 터널이나 삼림의 출구 부근 등에 있어서, 어두운 장소로부터 밝은 장소로 이동하는 경우, 노광 제어가 제때 이루어지지 않아, 촬영 화상 내의 밝은 부분이 백색 날림되어 버릴 우려가 있다.
예를 들어, 도 6은 삼림의 출구 부근에 있어서 촬영된 촬영 화상 P2를 모식적으로 도시하고 있다. 촬영 화상 P2에서는, 예를 들어 영역 A1 내의 삼림의 출구 부근 및 출구보다 전방의 밝은 영역이 백색 날림되어 버린다. 그 때문에, 삼림의 외부의 상황을 정확하게 파악할 수 없어, 자기 위치 추정이나 장해물 인식 등의 정밀도가 저하될 우려가 있다.
또한, 예를 들어 터널이나 삼림의 입구 부근 등에 있어서, 밝은 장소로부터 어두운 장소로 이동하는 경우, 노광 제어가 제때 이루어지지 않아, 촬영 화상 내의 어두운 부분이 흑색 포화되어 버릴 우려가 있다.
예를 들어, 도 7은 터널의 입구 부근에 있어서 촬영된 촬영 화상 P3을 모식적으로 도시하고 있다. 촬영 화상 P3에서는, 예를 들어 영역 A2 내의 터널 내의 어두운 영역이 흑색 포화되어 버린다. 그 때문에, 터널 내의 상황을 정확하게 파악할 수 없어, 자기 위치 추정이나 장해물 인식 등에 지장이 생길 우려가 있다.
이에 반해, 가중치 설정부(231)는, 먼저, 각 분할 영역 i의 생존 시간 ti를 예측한다.
생존 시간 ti는, 생존 시간을 예측하는 기준이 되는 기준 시각 이후에 있어서, 분할 영역 i(내의 피사체)가 촬영 화상에 찍혀 있는 시간이다. 환언하면, 생존 시간 ti는, 기준 시각 이후에 있어서, 분할 영역 i(내의 피사체)가 촬영부(211)의 화각 내에 머물러 있는 시간이다. 보다 구체적으로는, 예를 들어 생존 시간은, 생존 시간을 예측하는 시점(기준 시각)으로부터, 분할 영역 i(내의 피사체)가 촬영부(211)의 화각으로부터 나와, 촬영 화상에 찍히지 않게 되는 시점까지의 시간이다.
예를 들어, 가중치 설정부(231)는, 촬영 화상의 분할 영역 i마다 대표 특징점 pi를 설정한다.
이때, 가중치 설정부(231)는, 분할 영역 i 내에 특징점이 하나만 존재하는 경우, 그 특징점을 대표 특징점 pi로 설정한다.
한편, 가중치 설정부(231)는, 분할 영역 i 내에 복수의 특징점이 존재하는 경우, 그 중 하나를 대표 특징점 pi로 설정한다. 예를 들어, 가중치 설정부(231)는, 분할 영역 i 내에서 가장 면적이 큰 피사체, 또는, 분할 영역 i 내에서 가장 중요한 피사체를 선택한다. 여기서, 가장 중요한 피사체란, 예를 들어 사람, 차량, 표지 등, 인식할 필요성이 가장 높은 피사체이다. 그리고, 가중치 설정부(231)는, 선택한 피사체의 특징점 중, 예를 들어 가장 특징량이 큰 특징점을 대표 특징점 pi로 설정한다.
혹은, 예를 들어 가중치 설정부(231)는, 피사체를 고려하지 않고, 분할 영역 i 내에서 가장 특징량이 큰 특징점, 또는, 분할 영역 i의 중심에 가장 가까운 특징점을 대표 특징점 pi로 설정한다.
그리고, 가중치 설정부(231)는, 예를 들어 이동체(10)의 속도 및 이동 방향, 그리고, 대표 특징점 pi의 이동체(10)로부터의 거리 및 방향에 기초하여, 분할 영역 i의 생존 시간 ti를 예측한다. 예를 들어, 가중치 설정부(231)는, 이동체(10)가 현재의 이동 방향으로 현재의 속도로 이동을 계속한다고 가정하여, 대표 특징점 pi가 촬영 화상으로부터 나오는 시각(촬영부(211)의 화각으로부터 나오는 시각)을 예측한다. 가중치 설정부(231)는, 현재의 시각으로부터 예측한 시각까지의 시간을 분할 영역 i의 생존 시간 ti라 한다.
도 8은 이동체(10)가 화살표의 방향으로 이동하는 경우의 촬영 화상 P1 내의 각 점에 있어서의 생존 시간의 예를 도시하고 있다. 도면 내의 흑색점 아래의 수치는, 각 점의 생존 시간을 나타내고 있다.
이 예에서는, 이동체(10)의 진행 방향에 있어서 이동체(10)에 가까운 피사체 상의 점일수록, 생존 시간이 짧게 되어 있다. 한편, 이동체(10)의 진행 방향에 있어서 이동체(10)로부터 먼 피사체 상의 점일수록, 생존 시간이 길게 되어 있다.
또한, 가중치 설정부(231)는, 분할 영역 i 내의 피사체의 움직임을 더 고려하여, 생존 시간 ti를 예측하도록 해도 된다.
예를 들어, 가중치 설정부(231)는, 이동체(10)의 속도 및 이동 방향, 대표 특징점 pi를 갖는 피사체(이하, 대표 피사체라 칭함)의 특징점의 속도 및 이동 방향, 그리고, 대표 특징점 pi의 이동체(10)로부터의 거리 및 방향에 기초하여, 생존 시간 ti를 예측한다. 예를 들어, 가중치 설정부(231)는, 이동체(10) 및 대표 피사체가 현재의 이동 방향으로 현재의 속도로 이동을 계속한다고 가정하고, 대표 특징점 pi가 촬영 화상으로부터 나오는 시각(촬영부(211)의 화각으로부터 나오는 시각)을 예측한다. 가중치 설정부(231)는, 현재의 시각으로부터 예측한 시각까지의 시간을 분할 영역 i의 생존 시간 ti라 한다.
다음에, 가중치 설정부(231)는, 예를 들어 다음 식 (3)의 함수 f를 사용하여, 생존 시간 ti에 기초하여, 각 분할 영역 i의 가중치 wi를 산출한다.
Figure pct00003
또한, l은 타임 래그를 나타내고, D는 노광 심도를 나타내고, v는 이동체(10)의 속도를 나타내고, ω는 이동체(10)의 각속도를 나타내고 있다.
타임 래그 l은, 노광의 제어에 요하는 시간을 나타내고 있다. 예를 들어, 타임 래그 l은, 촬영 화상을 취득하고 나서, 그 촬영 화상에 기초하는 노광 제어가 완료될 때까지의 시간(타임 래그)을 나타내고 있다. 타임 래그 l은, 예를 들어 노광이 반영되는 데 요하는 시간이라고도 할 수 있다.
또한, 타임 래그 l은, 고정값이어도 되고, 가변값이어도 된다. 가변값의 경우, 타임 래그 l은, 예를 들어 검파값의 변화량에 기초하여 설정된다. 검파값의 변화량이 큰 경우, 즉, 이동체(10)의 주위의 밝기가 크게 변화된 경우, 일반적으로 노광 제어에 요하는 시간이 길어지기 때문에, 타임 래그 l은 크게 된다. 한편, 검파값의 변화량이 작은 경우, 즉, 이동체(10)의 주위의 밝기가 거의 변화되지 않은 경우, 일반적으로 노광 제어에 요하는 시간이 짧아지기 때문에, 타임 래그 l은 작게 된다.
노광 심도 D는, 노광을 맞추고 싶은 심도, 즉, 노광을 맞추고 싶은 위치의 이동체(10)로부터의 거리를 나타내고 있다.
그리고, 예를 들어 함수 f에 의해, 타임 래그 l의 경과 후(노광 제어가 완료되는 시각)에 촬영 화상 내에서 지배적으로 되는 분할 영역 i이며, 중요도가 높은 분할 영역 i에 대한 가중치 wi가, 큰 값으로 설정된다. 한편, 예를 들어 타임 래그 l의 경과 후에 촬영 화상 내에서 지배적으로 되지 않는 분할 영역 i, 및 중요도가 낮은 분할 영역 i에 대한 가중치 wi가, 작은 값으로 설정된다.
여기서, 타임 래그 l의 경과 후에 촬영 화상 내에서 지배적으로 되는 분할 영역 i란, 예를 들어 타임 래그 l의 경과 후에 촬영되는 촬영 화상 내에서 큰 면적을 차지한다고 예측되는 분할 영역 i이다. 분할 영역 i가 타임 래그 l의 경과 후에 촬영되는 촬영 화상 내에서 차지하는 면적은, 예를 들어 분할 영역 i의 생존 시간 ti, 그리고, 이동체(10)의 속도 v 및 각속도 w 등에 기초하여 예측된다.
또한, 분할 영역 i의 중요도는, 예를 들어 타임 래그 l, 노광 심도 D, 생존 시간 ti, 그리고, 이동체(10)의 속도 v 및 각속도 w에 기초하여 예측된다. 예를 들어, 타임 래그 l의 경과 후의 이동체(10)로부터 분할 영역 i(내의 피사체)까지의 예측 거리와 노광 심도 D의 차가 작을수록, 즉, 분할 영역 i(내의 피사체)가 타임 래그 l의 경과 후에 노광을 맞추고 싶은 위치에 가까울수록, 중요도가 높다고 예측된다. 한편, 예를 들어 타임 래그 l의 경과 후의 이동체(10)로부터 분할 영역 i(내의 피사체)까지의 예측 거리와 노광 심도 D의 차가 클수록, 즉, 분할 영역 i(내의 피사체)가 타임 래그 l의 경과 후에 노광을 맞추고 싶은 위치로부터 멀수록, 중요도가 낮다고 예측된다.
도 9는 촬영 화상 P1의 각 분할 영역 i에 대하여 함수 f를 사용하여 설정한 가중치 wi의 예를, 도 5와 마찬가지의 방법에 의해 도시하고 있다.
예를 들어, 촬영 화상 P1의 중앙 부근의 분할 영역 i이며, 생존 시간 ti가 (타임 래그 l+노광 심도 D/속도 v)에 가까운 분할 영역 i에 대한 가중치 wi가 크게 되어 있다. 구체적으로는, 이동체(10)의 조금 앞의 노면 및 노면 상의 차량, 그리고, 이동체(10)의 조금 앞의 건물 등이 찍혀 있는 분할 영역 i에 대한 가중치 wi가 크게 되어 있다.
한편, 타임 래그 l의 경과 후에 촬영 화상 내에 존재하지 않는다고 예측되는 분할 영역 i(타임 래그 l이 경과할 때까지의 시간 내에 촬영부(211)의 화각으로부터 나온다고 예측되는 분할 영역 i), 예를 들어 생존 시간 ti가 타임 래그 l 미만인 분할 영역 i에 대한 가중치가 작게 되어 있다. 구체적으로는, 예를 들어 촬영 화상 Pi의 좌우의 단부 및 4코너 부근의 분할 영역 i에 대한 가중치 wi가 작게 되어 있다. 또한, 예를 들어 이동체(10)로부터의 거리가 먼 분할 영역 i에 대한 가중치 wi가 작게 되어 있다. 구체적으로는, 예를 들어 하늘이나 도로의 소실점 부근이 찍혀 있는 분할 영역 i에 대한 가중치 wi가 작게 되어 있다.
그리고, 검파값 산출부(232)는, 상술한 식 (1)에 의해, 각 분할 영역 i에 대한 가중치 wi를 사용하여 각 분할 영역 i의 휘도의 가중 평균을 산출함으로써, 검파값을 산출한다.
또한, 함수 f는, 사람에 의해 작성 및 튜닝하도록 해도 되고, 기계 학습을 사용하여 생성하도록 해도 된다.
또한, 예를 들어 함수 f의 인수인 타임 래그 l, 노광 심도 D, 이동체(10)의 속도 v, 및 이동체(10)의 각속도 ω 중 하나 이상을 생략하는 것도 가능하다.
<검파값의 제2 산출 방법>
다음에, 도 10 내지 도 11을 참조하여, 검파값의 제2 산출 방법에 대하여 설명한다.
제2 산출 방법에서는, 가중치 wi에 더하여, 각 분할 영역 i의 중요도 등을 나타내는 파라미터 φi가 구해지고, 각 분할 영역 i에 대한 가중치가 파라미터 φi×가중치 wi로 설정된다.
예를 들어, 가중치 설정부(231)는, 도 10에 도시된 파라미터 테이블을 사용하여, 각 분할 영역 i 내의 피사체 중 가장 큰 피사체의 종류에 기초하여, 파라미터 φi를 설정한다. 예를 들어, 사람, 차, 노면, 표지 등의 인식할 필요성이 높은 피사체일수록, 파라미터 φi가 크게 되어 있다. 한편, 예를 들어 하늘, 나무 등의 인식할 필요성이 낮은 피사체일수록, 파라미터 φi는 작게 되어 있다.
또는, 예를 들어 가중치 설정부(231)는, 다음 식 (3)에 의해, 각 분할 영역 i의 파라미터 φi를 설정한다.
Figure pct00004
grad(u,v)는, 분할 영역 i 내의 좌표 (u,v)의 화소의 휘도(또는 화소값)의 구배를 나타내고 있고, 파라미터 φi는, 분할 영역 i의 화상 구배가 된다.
따라서, 분할 영역 i의 화상 구배가 커질수록, 예를 들어 분할 영역 i의 휘도(또는 화소값)의 변화가 커질수록, 파라미터 φi는 커진다. 한편, 분할 영역 i의 화상 구배가 작아질수록, 예를 들어 분할 영역 i의 휘도(또는 화소값)의 변화가 작아질수록, 파라미터 φi는 작아진다.
화상 구배가 큰 분할 영역 i는, 일반적으로 이동체(10)에 가까운 물체를 포함하고, 그 물체가 선명하게 찍혀 있는 영역이다. 한편, 화상 구배가 작은 영역은, 일반적으로 물체가 존재하지 않는 영역이나, 이동체(10)로부터 먼 물체를 포함하고, 그 물체가 선명하게 찍혀 있지 않은 영역이다. 예를 들어, 도 11의 촬영 화상 P1의 건물을 포함하는 분할 영역 A11에 대한 파라미터 φi는, 하늘을 포함하는 분할 영역 A12에 대한 파라미터 φi보다 커진다.
그리고, 검파값 산출부(232)는, 다음 식 (4)에 의해, 각 분할 영역 i에 대한 가중치 φi*wi를 사용하여 각 분할 영역 i의 휘도의 가중 평균을 산출함으로써, 검파값을 산출한다.
Figure pct00005
이와 같이, 파라미터 φi를 사용함으로써, 인식할 필요성이 높은 피사체가 존재하고, 중요도가 높은 분할 영역 i에 대하여 보다 큰 가중치가 설정되고, 인식할 필요성이 높은 피사체가 존재하지 않고, 중요도가 낮은 분할 영역 i에 대하여 보다 작은 가중치가 설정되어, 검파값이 산출된다.
또한, 예를 들어 피사체의 종류와 화상 구배의 양쪽에 기초하여, 파라미터 φi를 설정하도록 해도 된다. 또한, 예를 들어 다른 분할 영역 i의 중요도 등을 나타내는 파라미터를 사용하여, 파라미터 φi를 설정하도록 해도 된다.
또한, 어느 산출 방법에 있어서도, 검파값의 산출에 사용하는 촬영 화상은, γ 보정을 실시하기 전의 Raw 화상이 바람직하다.
도 3으로 되돌아가, 스텝 S5에 있어서, 오차 검출부(241)는, 검파값의 오차를 검출한다. 구체적으로는, 오차 검출부(241)는, 검파값 산출부(232)에 의해 산출된 검파값과, 검파값의 목표값의 차를 오차로서 검출한다. 오차 검출부(241)는, 검파값의 오차를 나타내는 데이터를 노광량 설정부(242)에 공급한다.
또한, 검파값의 목표값은, 예를 들어 촬영부(211)의 촬상 소자의 화소의 포화 시의 휘도의 12％ 내지 20％ 사이의 값(예를 들어, 18％)으로 설정된다.
스텝 S6에 있어서, 노광량 설정부(242)는, 노광량의 목표값을 설정한다. 예를 들어, 노광량 설정부(242)는, 검파값의 오차의 추이에 기초하여, 검파값이 목표값에 근접하도록, 촬영부(211)의 노광량의 목표값을 설정한다. 이때, 노광량 설정부(242)는, 촬영 화상의 밝기가 부자연스럽게 변화되지 않도록, 예를 들어 촬영 화상이 급격하게 밝아지거나, 급격하게 어두워지거나, 또는, 명암을 반복하거나 하지 않도록, 노광량의 목표값을 설정한다. 예를 들어, 노광량 설정부(242)는, 노광량의 목표값을 서서히 변화시키거나, 검파값의 목표값 부근에서 노광량의 목표값을 변화시키지 않고 고정하는 기간을 설정하거나 한다.
노광량 설정부(242)는, 노광량의 목표값을 나타내는 데이터를 제어 방법 설정부(243)에 공급한다.
스텝 S7에 있어서, 제어 방법 설정부(243)는, 노광의 제어 방법을 설정한다.
촬영부(211)의 노광량은, 촬영부(211)의 촬상 소자의 노광 시간(셔터 속도), 촬상 소자의 게인(감도), 및 조리개의 크기에 의해 설정된다. 한편, 예를 들어 게인을 너무 높이면, 촬영 화상의 노이즈가 증가되고, 노광 시간을 길게 하면, 촬영 화상의 흔들림이 커진다.
그래서, 제어 방법 설정부(243)는, 촬영 화상의 노이즈나 흔들림을 억제하면서, 노광량이 목표값에 도달하도록, 노광의 제어 방법(노광 시간, 게인 및 조리개)의 배분을 적절하게 설정한다.
제어 방법 설정부(243)는, 노광량의 목표값, 및, 노광의 제어 방법의 배분을 나타내는 데이터를 제어 신호 생성부(244)에 공급한다.
스텝 S8에 있어서, 촬영 시스템(201)은, 노광 제어를 행한다.
구체적으로는, 제어 신호 생성부(244)는, 노광량의 목표값 및 노광의 제어 방법의 배분에 기초하여, 노광 시간, 게인 및 조리개의 크기의 제어량을 산출한다. 제어 신호 생성부(244)는, 산출한 노광 시간, 게인 및 조리개의 크기의 제어량을 나타내는 제어 신호를 촬영부(211)에 공급한다.
촬영부(211)는, 제어 신호에 기초하여, 노광 시간, 게인 및 조리개의 크기를 조정한다.
그 후, 처리는 스텝 S1로 되돌아가, 스텝 S1 이후의 처리가 실행된다.
이상과 같이, 촬영 화상의 각 분할 영역 i에 가중치를 부여하여 검파값이 산출되고, 산출된 검파값에 기초하여 노광 제어가 행해진다. 이에 의해, 보다 큰 가중치가 설정된 분할 영역 i 내의 피사체에 대하여 신속하게 노광이 맞춰진다. 따라서, 예를 들어 조금 전에 촬영된 촬영 화상에 기초하여 실제로 노광이 제어될 때 촬영되는 촬영 화상에 있어서 지배적으로 되는 피사체나 인식할 필요성이 높은 피사체에 대하여, 신속하게 노광을 맞출 수 있어, 백색 날림이나 흑색 포화의 발생을 억제할 수 있다. 그 결과, 이동체(10)의 자기 위치 추정이나 장해물 인식 등의 정밀도가 향상된다.
<<3. 제2 실시 형태>>
다음에, 도 12 내지 도 16을 참조하여, 본 기술의 제2 실시 형태에 대하여 설명한다.
또한, 제2 실시 형태는, 제1 실시 형태와 마찬가지로, 도 1의 이동체 제어 시스템(100) 중, 주로 데이터 취득부(102)의 처리에 관련되는 것이다.
<촬영 시스템의 구성예>
도 12는 본 기술의 제2 실시 형태인 촬영 시스템(301)의 구성예를 도시하는 블록도이다. 또한, 도면 중, 도 2의 촬영 시스템(201)과 대응하는 부분에는 동일한 부호를 부여하고 있어, 그 설명은 적절히 생략한다.
촬영 시스템(301)은, 촬영 시스템(201)과 비교하여, 제어부(212) 대신에 제어부(311)가 마련되어 있는 점이 다르다. 제어부(311)는, 제어부(212)와 비교하여, 검파부(221) 대신에 검파부(321)가 마련되어 있는 점이 다르다.
검파부(321)는, 영역 설정부(331) 및 검파값 산출부(332)를 구비한다.
영역 설정부(331)는, 후술하는 바와 같이, 촬영 화상에 있어서, 검파값을 검출하는 대상으로 하는 영역(이하, 검파 영역이라 칭함)을 설정한다. 영역 설정부(331)는, 촬영 화상, 및 검파 영역을 나타내는 데이터를 검파값 산출부(332)에 공급한다.
검파값 산출부(332)는, 촬영 화상의 검파 영역의 휘도에 기초하여, 검파값을 산출한다. 검파값 산출부(332)는, 검파값을 나타내는 검파 신호를 오차 검출부(241)에 공급한다.
<노광 제어 처리>
다음에, 도 13의 흐름도를 참조하여, 촬영 시스템(301)에 의해 실행되는 노광 제어 처리에 대하여 설명한다.
또한, 이 처리는, 예를 들어 촬영 시스템(301)의 전원이 온되었을 때 개시되고, 촬영 시스템(301)의 전원이 오프되었을 때 종료된다.
스텝 S101에 있어서, 도 3의 스텝 S1의 처리와 마찬가지로, 이동체(10)의 주위가 촬영된다.
스텝 S102에 있어서, 도 3의 스텝 S2의 처리와 마찬가지로, 이동체(10) 및 주위의 정보가 취득된다.
스텝 S103에 있어서, 영역 설정부(331)는, 검파 영역을 설정한다.
예를 들어, 영역 설정부(331)는, 상술한 도 3의 스텝 S3과 마찬가지의 처리에 의해, 촬영 화상의 각 분할 영역 i의 생존 시간 ti를 예측한다. 그리고, 영역 설정부(331)는, 각 분할 영역 i의 생존 시간 ti에 기초하여, 촬영 화상의 검파 영역을 설정한다.
예를 들어, 영역 설정부(331)는, 생존 시간 ti가 소정의 역치 이상인 분할 영역 i를 포함하는 영역을 검파 영역으로 설정한다. 예를 들어, 도 14에 도시된 바와 같이, 이동체(10)가 화살표의 방향으로 이동하고 있는 경우, 촬영 화상 P1의 거의 중앙의 직사각형 영역 A21이 검파 영역으로 설정된다.
또한, 검파 영역의 설정에 사용하는 역치는, 고정값이어도 되고, 가변값이어도 된다. 가변값의 경우, 예를 들어 상술한 식 (3)의 타임 래그 l, 노광 심도 D, 이동체(10)의 속도 v 등에 기초하여 역치가 설정된다. 예를 들어, 타임 래그 l, 또는, (타임 래그 l+노광 심도 D/속도 v)가 역치로 설정된다.
혹은, 예를 들어 영역 설정부(331)는, 이동체(10)의 움직임(예를 들어, 속도 및 각속도 등) 그리고 촬영 화상 등에 기초하여, 소정의 알고리즘에 의해, 현재의 촬영 화상 내에 있어서, 소정의 타깃 시간 경과 후의 촬영 화상에 대응하는 영역을 예측한다. 그리고, 영역 설정부(331)는, 예측한 영역을 검파 영역으로 설정한다.
예를 들어, 도 15는 촬영 화상 P1이 촬영되고 나서 타깃 시간 경과 후에 촬영된 촬영 화상 P4의 예를 모식적으로 도시하고 있다. 이 예에서는, 예를 들어 영역 설정부(331)는, 촬영 화상 P4의 촬영 전에, 촬영 화상 P1 내에 있어서 촬영 화상 P4에 대응하는 영역 A31을 예측한다. 즉, 영역 A31은, 촬영 화상 P1에 있어서, 타깃 시간 후의 촬영 화상 P4에 찍혀 있다고 예측되는 영역이다. 그리고, 영역 설정부(331)는, 영역 A31을 검파 영역으로 설정한다.
또한, 이 알고리즘은, 예를 들어 기계 학습에 의해 생성된다. 또한, 타깃 시간은, 고정값이어도 되고, 가변값이어도 된다. 가변값의 경우, 예를 들어 상술한 식 (3)의 타임 래그 l, 노광 심도 D, 이동체(10)의 속도 v 등에 기초하여 타깃 시간이 설정된다. 예를 들어, 타임 래그 l, 또는, (타임 래그 l+노광 심도 D/속도 v)가 타깃 시간으로 설정된다.
또한, 검파 영역은, 반드시 직사각형에 한정되는 것은 아니고, 직사각형 이외의 형상이어도 된다.
또한, 예를 들어 상술한 방법에 의해 설정한 검파 영역 이외에, 인식할 필요성이 높은 피사체가 존재하고, 중요도가 높은 영역을 검파 영역에 추가하도록 해도 된다.
스텝 S104에 있어서, 검파값 산출부(332)는, 검파 영역을 대상으로 하여, 검파값을 산출한다. 예를 들어, 검파값 산출부(332)는, 촬영 화상의 검파 영역 내의 각 화소의 휘도의 평균을 검파값으로서 산출한다. 이 검파값은, 촬영 화상의 검파 영역에 대한 가중치를 1로 설정하고, 검파 영역 이외의 영역(소정 시간 내에 촬영부(211)의 화각으로부터 나온다고 예측되는 영역)에 대한 가중치를 0으로 설정하고, 가중치를 0으로 설정한 영역을 제외하고 촬영 화상의 휘도의 평균을 산출한 값과 동등해진다.
스텝 S105 내지 스텝 S108에 있어서, 도 3의 스텝 S5 내지 스텝 S8과 마찬가지의 처리가 실행된다. 그 후, 처리는 스텝 S101로 되돌아가, 스텝 S101 이후의 처리가 실행된다.
이상과 같이, 검파 영역이 설정되고, 검파 영역의 휘도에 기초하여 검파값이 산출되고, 산출된 검파값에 기초하여 노광 제어가 행해진다. 이에 의해, 검파 영역 외부의 피사체를 제외하고, 검파 영역 내의 피사체를 대상으로 신속하게 노광이 맞춰진다. 조금 전에 촬영된 촬영 화상에 기초하여 실제로 노광이 제어될 때 촬영되는 촬영 화상에 있어서 지배적으로 되는 피사체나 인식할 필요성이 높은 피사체에 대하여, 신속하게 노광을 맞출 수 있어, 백색 날림이나 흑색 포화의 발생을 억제할 수 있다. 그 결과, 이동체(10)의 자기 위치 추정이나 장해물 인식 등의 정밀도가 향상된다.
<<4. 변형예>>
이하, 상술한 본 기술의 실시 형태의 변형예에 대하여 설명한다.
예를 들어, 이상의 설명에서는 분할 영역 i를 직사각형으로 하는 예를 나타냈지만, 직사각형 이외의 형상으로 하는 것도 가능하다.
또한, 예를 들어 분할 영역 i를 1화소에 의해 구성하는 것도 가능하다.
또한, 예를 들어 제1 실시 형태와 제2 실시 형태를 조합하는 것이 가능하다. 예를 들어, 검파 영역을 복수의 분할 영역으로 분할하고, 각 분할 영역에 대하여 가중치를 부여하여 검파값을 산출하도록 해도 된다.
<<5. 기타>>
<컴퓨터의 구성예>
상술한 일련의 처리는, 하드웨어에 의해 실행할 수도 있고, 소프트웨어에 의해 실행할 수도 있다. 일련의 처리를 소프트웨어에 의해 실행하는 경우에는, 그 소프트웨어를 구성하는 프로그램이, 컴퓨터에 인스톨된다. 여기서, 컴퓨터에는, 전용의 하드웨어에 내장되어 있는 컴퓨터나, 각종 프로그램을 인스톨함으로써, 각종 기능을 실행하는 것이 가능한, 예를 들어 범용의 퍼스널 컴퓨터 등이 포함된다.
도 17은 상술한 일련의 처리를 프로그램에 의해 실행하는 컴퓨터의 하드웨어의 구성예를 도시하는 블록도이다.
컴퓨터(500)에 있어서, CPU(Central Processing Unit)(501), ROM(Read Only Memory)(502), RAM(Random Access Memory)(503)은, 버스(504)에 의해 서로 접속되어 있다.
버스(504)에는, 또한 입출력 인터페이스(505)가 접속되어 있다. 입출력 인터페이스(505)에는, 입력부(506), 출력부(507), 기록부(508), 통신부(509), 및 드라이브(510)가 접속되어 있다.
입력부(506)는, 입력 스위치, 버튼, 마이크로폰, 촬상 소자 등을 포함한다. 출력부(507)는, 디스플레이, 스피커 등을 포함한다. 기록부(508)는, 하드 디스크나 불휘발성 메모리 등을 포함한다. 통신부(509)는, 네트워크 인터페이스 등을 포함한다. 드라이브(510)는, 자기 디스크, 광 디스크, 광자기 디스크, 또는 반도체 메모리 등의 리무버블 미디어(511)를 구동한다.
이상과 같이 구성되는 컴퓨터(500)에서는, CPU(501)가, 예를 들어 기록부(508)에 기록되어 있는 프로그램을, 입출력 인터페이스(505) 및 버스(504)를 통해, RAM(503)에 로드하여 실행함으로써, 상술한 일련의 처리가 행해진다.
컴퓨터(500)(CPU(501))가 실행하는 프로그램은, 예를 들어 패키지 미디어 등으로서의 리무버블 미디어(511)에 기록하여 제공할 수 있다. 또한, 프로그램은, 로컬 에어리어 네트워크, 인터넷, 디지털 위성 방송과 같은, 유선 또는 무선의 전송 매체를 통해 제공할 수 있다.
컴퓨터(500)에서는, 프로그램은, 리무버블 미디어(511)를 드라이브(510)에 장착함으로써, 입출력 인터페이스(505)를 통해, 기록부(508)에 인스톨할 수 있다. 또한, 프로그램은, 유선 또는 무선의 전송 매체를 통해, 통신부(509)에서 수신하여, 기록부(508)에 인스톨할 수 있다. 그 밖에, 프로그램은, ROM(502)이나 기록부(508)에, 미리 인스톨해 둘 수 있다.
또한, 컴퓨터가 실행하는 프로그램은, 본 명세서에서 설명하는 순서에 따라 시계열로 처리가 행해지는 프로그램이어도 되고, 병렬로, 혹은 호출이 행해졌을 때 등의 필요한 타이밍에 처리가 행해지는 프로그램이어도 된다.
또한, 본 명세서에 있어서, 시스템이란, 복수의 구성 요소(장치, 모듈(부품) 등)의 집합을 의미하고, 모든 구성 요소가 동일 하우징 내에 있는지 여부는 불문한다. 따라서, 별개의 하우징에 수납되고, 네트워크를 통해 접속되어 있는 복수의 장치, 및, 하나의 하우징 내에 복수의 모듈이 수납되어 있는 하나의 장치는, 모두, 시스템이다.
또한, 본 기술의 실시 형태는, 상술한 실시 형태에 한정되는 것은 아니고, 본 기술의 요지를 일탈하지 않는 범위에 있어서 다양한 변경이 가능하다.
예를 들어, 본 기술은, 하나의 기능을 네트워크를 통해 복수의 장치에서 분담, 공동으로 처리하는 클라우드 컴퓨팅의 구성을 취할 수 있다.
또한, 상술한 흐름도에서 설명한 각 스텝은, 하나의 장치에서 실행하는 것 외에, 복수의 장치에서 분담하여 실행할 수 있다.
또한, 하나의 스텝에 복수의 처리가 포함되는 경우에는, 그 하나의 스텝에 포함되는 복수의 처리는, 하나의 장치에서 실행하는 것 외에, 복수의 장치에서 분담하여 실행할 수 있다.
<구성의 조합예>
본 기술은, 이하와 같은 구성을 취할 수도 있다.
(1)
촬영부에 의해 촬영된 촬영 화상에 있어서 소정 시간 내에 상기 촬영부의 화각으로부터 나온다고 예측되는 영역에 대한 가중치를 작게 하여 검파값을 산출하는 검파부와,
상기 검파값에 기초하여, 상기 촬영부의 노광 제어를 행하는 노광 제어부를 구비하는 노광 제어 장치.
(2)
상기 검파부는, 상기 촬영 화상 내의 복수의 영역마다의 생존 시간에 기초하여, 상기 검파값을 산출하는 상기 (1)에 기재된 노광 제어 장치.
(3)
상기 검파부는, 상기 생존 시간에 기초하여 상기 영역의 가중치를 설정하고, 각 상기 영역의 휘도 및 상기 가중치에 기초하여, 상기 검파값을 산출하는 상기 (2)에 기재된 노광 제어 장치.
(4)
상기 검파부는, 상기 가중치를 사용한 각 상기 영역의 휘도의 가중 평균에 의해 상기 검파값을 산출하는 상기 (3)에 기재된 노광 제어 장치.
(5)
상기 검파부는, 상기 생존 시간에 더하여, 노광의 제어에 요하는 시간, 노광을 맞추는 거리, 상기 촬영부를 구비하는 이동체의 속도, 및 상기 이동체의 각속도 중 적어도 하나에 기초하여, 상기 가중치를 설정하는 상기 (3) 또는 (4)에 기재된 노광 제어 장치.
(6)
상기 검파부는, 또한 상기 영역 내의 피사체의 종류에 기초하여, 상기 가중치를 설정하는 상기 (3) 내지 (5) 중 어느 것에 기재된 노광 제어 장치.
(7)
상기 검파부는, 또한 상기 영역 내의 화상 구배에 기초하여, 상기 가중치를 설정하는 상기 (3) 내지 (6) 중 어느 것에 기재된 노광 제어 장치.
(8)
상기 검파부는, 각 상기 영역의 상기 생존 시간에 기초하여 상기 촬영 화상의 일부의 영역을 검파 영역으로 설정하고, 상기 검파 영역의 휘도에 기초하여 상기 검파값을 산출하는 상기 (2)에 기재된 노광 제어 장치.
(9)
상기 검파부는, 상기 생존 시간이 소정의 역치 이상인 상기 영역을 상기 검파 영역으로 설정하는 상기 (8)에 기재된 노광 제어 장치.
(10)
상기 검파부는, 상기 촬영부를 구비하는 이동체의 움직임 및 상기 촬영 화상에 기초하여, 상기 촬영 화상의 일부의 영역을 검파 영역으로 설정하고, 상기 검파 영역의 휘도에 기초하여 상기 검파값을 산출하는 상기 (1)에 기재된 노광 제어 장치.
(11)
상기 검파부는, 소정 시간 후에 상기 촬영부에 의해 촬영된다고 예측되는 영역을 상기 검파 영역으로 설정하는 상기 (10)에 기재된 노광 제어 장치.
(12)
상기 검파부는, 상기 소정 시간 내에 상기 촬영부의 화각으로부터 나온다고 예측되는 영역을 제외하고 상기 검파값을 산출하는 상기 (1) 내지 (11) 중 어느 것에 기재된 노광 제어 장치.
(13)
촬영부에 의해 촬영된 촬영 화상에 있어서 소정 시간 내에 상기 촬영부의 화각으로부터 나온다고 예측되는 영역에 대한 가중치를 작게 하여 검파값을 산출하고,
상기 검파값에 기초하여, 상기 촬영부의 노광 제어를 행하는 노광 제어 방법.
(14)
촬영부에 의해 촬영된 촬영 화상에 있어서 소정 시간 내에 상기 촬영부의 화각으로부터 나온다고 예측되는 영역에 대한 가중치를 작게 하여 검파값을 산출하고,
상기 검파값에 기초하여, 상기 촬영부의 노광 제어를 행하는 처리를 컴퓨터에 실행시키기 위한 프로그램.
(15)
촬영부와,
상기 촬영부에 의해 촬영된 촬영 화상에 있어서 소정 시간 내에 상기 촬영부의 화각으로부터 나온다고 예측되는 영역에 대한 가중치를 작게 하여 검파값을 산출하는 검파부와,
상기 검파값에 기초하여, 상기 촬영부의 노광 제어를 행하는 노광 제어부를 구비하는 촬영 장치.
(16)
촬영부와,
상기 촬영부에 의해 촬영된 촬영 화상에 있어서 소정 시간 내에 상기 촬영부의 화각으로부터 나온다고 예측되는 영역에 대한 가중치를 작게 하여 검파값을 산출하는 검파부와,
상기 검파값에 기초하여, 상기 촬영부의 노광 제어를 행하는 노광 제어부와,
상기 촬영 화상에 기초하여, 이동 제어를 행하는 이동 제어부를 구비하는 이동체.
또한, 본 명세서에 기재된 효과는 어디까지나 예시이며 한정되는 것은 아니고, 다른 효과가 있어도 된다.
10: 이동체
100: 이동체 제어 시스템
102: 데이터 취득부
131: 검출부
132: 자기 위치 추정부
141: 이동체 외부 정보 검출부
143: 이동체 상태 검출부
201: 촬영 시스템
211: 촬영부
212: 제어부
221: 검파부
222: 노광 제어부
231: 가중치 설정부
232: 검파값 산출부
241: 오차 검출부
242: 노광량 설정부
243: 제어 방법 설정부
244: 제어 신호 생성부
301: 촬영 시스템
311: 제어부
321: 검파부
331: 영역 설정부
332: 검파값 산출부

Claims (16)

  1. 촬영부에 의해 촬영된 촬영 화상에 있어서 소정 시간 내에 상기 촬영부의 화각으로부터 나온다고 예측되는 영역에 대한 가중치를 작게 하여 검파값을 산출하는 검파부와,
    상기 검파값에 기초하여, 상기 촬영부의 노광 제어를 행하는 노광 제어부를 구비하는 노광 제어 장치.
  2. 제1항에 있어서,
    상기 검파부는, 상기 촬영 화상 내의 복수의 영역마다의 생존 시간에 기초하여, 상기 검파값을 산출하는 노광 제어 장치.
  3. 제2항에 있어서,
    상기 검파부는, 상기 생존 시간에 기초하여 상기 영역의 가중치를 설정하고, 각 상기 영역의 휘도 및 상기 가중치에 기초하여, 상기 검파값을 산출하는 노광 제어 장치.
  4. 제3항에 있어서,
    상기 검파부는, 상기 가중치를 사용한 각 상기 영역의 휘도의 가중 평균에 의해 상기 검파값을 산출하는 노광 제어 장치.
  5. 제3항에 있어서,
    상기 검파부는, 상기 생존 시간에 더하여, 노광의 제어에 요하는 시간, 노광을 맞추는 거리, 상기 촬영부를 구비하는 이동체의 속도, 및 상기 이동체의 각속도 중 적어도 하나에 기초하여, 상기 가중치를 설정하는 노광 제어 장치.
  6. 제3항에 있어서,
    상기 검파부는, 또한 상기 영역 내의 피사체의 종류에 기초하여, 상기 가중치를 설정하는 노광 제어 장치.
  7. 제3항에 있어서,
    상기 검파부는, 또한 상기 영역 내의 화상 구배에 기초하여, 상기 가중치를 설정하는 노광 제어 장치.
  8. 제2항에 있어서,
    상기 검파부는, 각 상기 영역의 상기 생존 시간에 기초하여 상기 촬영 화상의 일부의 영역을 검파 영역으로 설정하고, 상기 검파 영역의 휘도에 기초하여 상기 검파값을 산출하는 노광 제어 장치.
  9. 제8항에 있어서,
    상기 검파부는, 상기 생존 시간이 소정의 역치 이상인 상기 영역을 상기 검파 영역으로 설정하는 노광 제어 장치.
  10. 제1항에 있어서,
    상기 검파부는, 상기 촬영부를 구비하는 이동체의 움직임 및 상기 촬영 화상에 기초하여, 상기 촬영 화상의 일부의 영역을 검파 영역으로 설정하고, 상기 검파 영역의 휘도에 기초하여 상기 검파값을 산출하는 노광 제어 장치.
  11. 제10항에 있어서,
    상기 검파부는, 소정 시간 후에 상기 촬영부에 의해 촬영된다고 예측되는 영역을 상기 검파 영역으로 설정하는 노광 제어 장치.
  12. 제1항에 있어서,
    상기 검파부는, 상기 소정 시간 내에 상기 촬영부의 화각으로부터 나온다고 예측되는 영역을 제외하고 상기 검파값을 산출하는 노광 제어 장치.
  13. 촬영부에 의해 촬영된 촬영 화상에 있어서 소정 시간 내에 상기 촬영부의 화각으로부터 나온다고 예측되는 영역에 대한 가중치를 작게 하여 검파값을 산출하고,
    상기 검파값에 기초하여, 상기 촬영부의 노광 제어를 행하는 노광 제어 방법.
  14. 촬영부에 의해 촬영된 촬영 화상에 있어서 소정 시간 내에 상기 촬영부의 화각으로부터 나온다고 예측되는 영역에 대한 가중치를 작게 하여 검파값을 산출하고,
    상기 검파값에 기초하여, 상기 촬영부의 노광 제어를 행하는 처리를 컴퓨터에 실행시키기 위한 프로그램.
  15. 촬영부와,
    상기 촬영부에 의해 촬영된 촬영 화상에 있어서 소정 시간 내에 상기 촬영부의 화각으로부터 나온다고 예측되는 영역에 대한 가중치를 작게 하여 검파값을 산출하는 검파부와,
    상기 검파값에 기초하여, 상기 촬영부의 노광 제어를 행하는 노광 제어부를 구비하는 촬영 장치.
  16. 촬영부와,
    상기 촬영부에 의해 촬영된 촬영 화상에 있어서 소정 시간 내에 상기 촬영부의 화각으로부터 나온다고 예측되는 영역에 대한 가중치를 작게 하여 검파값을 산출하는 검파부와,
    상기 검파값에 기초하여, 상기 촬영부의 노광 제어를 행하는 노광 제어부와,
    상기 촬영 화상에 기초하여, 이동 제어를 행하는 이동 제어부를 구비하는 이동체.
KR1020207027269A 2018-03-29 2019-03-15 노광 제어 장치, 노광 제어 방법, 프로그램, 촬영 장치, 및 이동체 KR20200136398A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JPJP-P-2018-064978 2018-03-29
JP2018064978 2018-03-29
PCT/JP2019/010758 WO2019188390A1 (ja) 2018-03-29 2019-03-15 露光制御装置、露光制御方法、プログラム、撮影装置、及び、移動体

Publications (1)

Publication Number Publication Date
KR20200136398A true KR20200136398A (ko) 2020-12-07

Family

ID=68059953

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020207027269A KR20200136398A (ko) 2018-03-29 2019-03-15 노광 제어 장치, 노광 제어 방법, 프로그램, 촬영 장치, 및 이동체

Country Status (6)

Country Link
US (1) US11363212B2 (ko)
EP (1) EP3780578A4 (ko)
JP (1) JP7243714B2 (ko)
KR (1) KR20200136398A (ko)
CN (1) CN111886854B (ko)
WO (1) WO2019188390A1 (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7324160B2 (ja) * 2020-02-19 2023-08-09 キヤノン株式会社 撮影制御装置、撮像装置、撮影制御方法、及びプログラム
WO2022014361A1 (ja) * 2020-07-15 2022-01-20 ソニーグループ株式会社 情報処理装置、情報処理方法、及び、プログラム
JP2022053967A (ja) * 2020-09-25 2022-04-06 ソニーセミコンダクタソリューションズ株式会社 撮像制御装置、および撮像制御方法ならびに移動体
CN114697560A (zh) * 2020-12-31 2022-07-01 浙江舜宇智能光学技术有限公司 基于tof成像系统的主动曝光方法及曝光时间的计算方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017005678A (ja) 2015-06-04 2017-01-05 ソニー株式会社 車載カメラ・システム並びに画像処理装置

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7444004B2 (en) 2004-03-29 2008-10-28 Fujifilm Corporation Image recognition system, image recognition method, and machine readable medium storing thereon an image recognition program
DE102006007092A1 (de) * 2005-03-01 2006-09-07 Denso Corp., Kariya Bildgebungsvorrichtung
JP4214160B2 (ja) * 2006-08-31 2009-01-28 フジノン株式会社 監視カメラシステム
JP5737306B2 (ja) * 2013-01-23 2015-06-17 株式会社デンソー 露出制御装置
JP6471528B2 (ja) * 2014-02-24 2019-02-20 株式会社リコー 物体認識装置、物体認識方法
JP6648411B2 (ja) * 2014-05-19 2020-02-14 株式会社リコー 処理装置、処理システム、処理プログラム及び処理方法
US10279742B2 (en) 2014-05-29 2019-05-07 Nikon Corporation Image capture device and vehicle
CN104320654B (zh) * 2014-10-28 2017-04-05 小米科技有限责任公司 测光方法及装置
CN105323496B (zh) * 2015-02-13 2019-01-11 维沃移动通信有限公司 自动曝光方法、拍照装置及移动终端
CN105227857B (zh) * 2015-10-08 2018-05-18 广东欧珀移动通信有限公司 一种自动曝光的方法和装置
CN105827990B (zh) * 2016-01-22 2018-12-04 维沃移动通信有限公司 一种自动曝光方法及移动终端
WO2017203794A1 (ja) * 2016-05-24 2017-11-30 株式会社Ｊｖｃケンウッド 撮像装置、撮像表示方法および撮像表示プログラム
CN106791472B (zh) * 2016-12-29 2019-07-30 努比亚技术有限公司 一种曝光方法及终端
JP6501091B1 (ja) * 2017-10-30 2019-04-17 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ 制御装置、撮像装置、移動体、制御方法、及びプログラム

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017005678A (ja) 2015-06-04 2017-01-05 ソニー株式会社 車載カメラ・システム並びに画像処理装置

Also Published As

Publication number Publication date
US11363212B2 (en) 2022-06-14
JPWO2019188390A1 (ja) 2021-04-15
WO2019188390A1 (ja) 2019-10-03
CN111886854A (zh) 2020-11-03
EP3780578A1 (en) 2021-02-17
CN111886854B (zh) 2022-10-04
EP3780578A4 (en) 2021-04-21
US20210029287A1 (en) 2021-01-28
JP7243714B2 (ja) 2023-03-22

Similar Documents

Publication Publication Date Title
JP7043755B2 (ja) 情報処理装置、情報処理方法、プログラム、及び、移動体
US11450026B2 (en) Information processing apparatus, information processing method, and mobile object
US11363235B2 (en) Imaging apparatus, image processing apparatus, and image processing method
JP7243714B2 (ja) 露光制御装置、露光制御方法、プログラム、撮影装置、及び、移動体
JP7143857B2 (ja) 情報処理装置、情報処理方法、プログラム、及び、移動体
US11288777B2 (en) Image processing device, image processing method, and program
WO2019116784A1 (ja) 情報処理装置、移動体、制御システム、情報処理方法及びプログラム
US20220036043A1 (en) Information processing apparatus, information processing method, program, mobile-object control apparatus, and mobile object
EP3805045B1 (en) Information processing device, information processing method
WO2020054240A1 (ja) 情報処理装置及び情報処理方法、撮像装置、移動体装置、並びにコンピュータプログラム
US20230215196A1 (en) Information processing apparatus, information processing method, and program
JP7257737B2 (ja) 情報処理装置、自己位置推定方法、及び、プログラム
JPWO2019188391A1 (ja) 制御装置、制御方法、並びにプログラム
US20200230820A1 (en) Information processing apparatus, self-localization method, program, and mobile body
KR20210098445A (ko) 정보 처리 장치, 정보 처리 방법, 프로그램, 이동체 제어 장치, 및 이동체
JP7487178B2 (ja) 情報処理方法、プログラム、及び、情報処理装置
JP7483627B2 (ja) 情報処理装置、情報処理方法、プログラム、移動体制御装置、及び、移動体
JPWO2020170835A1 (ja) 情報処理装置、情報処理方法及び情報処理プログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal