KR102645368B1 - 정보 처리 장치와 정보 처리 방법과 프로그램 - Google Patents

정보 처리 장치와 정보 처리 방법과 프로그램 Download PDF

Info

Publication number
KR102645368B1
KR102645368B1 KR1020217003347A KR20217003347A KR102645368B1 KR 102645368 B1 KR102645368 B1 KR 102645368B1 KR 1020217003347 A KR1020217003347 A KR 1020217003347A KR 20217003347 A KR20217003347 A KR 20217003347A KR 102645368 B1 KR102645368 B1 KR 102645368B1
Authority
KR
South Korea
Prior art keywords
unit
thinning
imaging
image
amount
Prior art date
Application number
KR1020217003347A
Other languages
English (en)
Other versions
KR20210043571A (ko
Inventor
스그루 아오키
Original Assignee
소니그룹주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니그룹주식회사 filed Critical 소니그룹주식회사
Publication of KR20210043571A publication Critical patent/KR20210043571A/ko
Application granted granted Critical
Publication of KR102645368B1 publication Critical patent/KR102645368B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6812—Motion detection based on additional sensors, e.g. acceleration sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/684—Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time
    • H04N23/6842—Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time by controlling the scanning position, e.g. windowing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/689—Motion occurring during a rolling shutter mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/42—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by switching between different modes of operation using different resolutions or aspect ratios, e.g. switching between interlaced and non-interlaced mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H04N25/441—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by reading contiguous pixels from selected rows or columns of the array, e.g. interlaced scanning
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/53—Control of the integration time
    • H04N25/531—Control of the integration time by controlling rolling shutters in CMOS SSIS
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/302—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with GPS information or vehicle data, e.g. vehicle speed, gyro, steering angle data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)
  • Exposure Control For Cameras (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

움직임 검출부(31)는, 롤링 셔터 동작을 행하는 촬상부(20)와 피사체의 상대 위치 관계의 변화를 검출한다. 씨닝 설정부(32)는, 움직임 검출부(31)의 검출 결과에 따라 촬상부(20)의 라인 씨닝 동작의 씨닝양을 설정한다. 인식 처리부(37-1)는, 씨닝 설정부(32)에서 설정된 씨닝양에 따른 인식기(372-x)를 사용하여, 촬상부(20)에서 취득된 화상의 피사체 인식을 행한다. 상대 위치 관계의 변화는, 촬상부(20)가 탑재된 이동체의 움직임, 촬상 씬, 촬상부(20)에서 취득된 화상 등에 기초하여 검출한다. 롤링 셔터 동작 시에 라인 씨닝이 행해지고, 움직임 검출부(31)의 검출 결과에 따라 씨닝양이 설정되므로, 왜곡이 적은 피사체 화상이 얻어진다.

Description

정보 처리 장치와 정보 처리 방법과 프로그램
이 기술은, 정보 처리 장치와 정보 처리 방법과 프로그램에 관한 것으로, 왜곡이 적은 피사체 화상이 얻어지도록 한다.
종래, 동물체를 촬상할 때에 프레임 레이트를 높임으로써 시인성을 향상시키는 것이 행해지고 있다. 예를 들어, 특허문헌 1에서는, 촬상 영역을 주목 영역과 주목 영역을 제외한 통상 영역으로 구분하고, 주목 영역은 통상 영역보다도 프레임 레이트를 높이고, 씨닝률을 낮게 설정함으로써, 주목 영역의 시인성을 통상 영역보다도 향상시키는 것이 행해지고 있다.
일본 특허 공개 제2016-131365호 공보
그런데, 촬상 장치에서 롤링 셔터 동작이 행해지는 경우, 2차원형으로 배열되어 있는 화소에서는, 라인 단위로 시계열적으로 노광과 축적 전하의 판독 등이 행해지는 점에서, 촬상 장치와 피사체의 위치 관계가 시간의 경과에 수반하여 변화되는 경우에 피사체 화상의 왜곡(소위 롤링 셔터 왜곡)이 발생한다. 롤링 셔터 왜곡은, 예를 들어 특허문헌 1과 같이 프레임 레이트를 높게 해도, 촬상 장치와 피사체의 위치 관계의 변화가 크면 현저해진다.
그래서, 이 기술에서는 촬상 장치와 피사체의 위치 관계가 시간의 경과에 수반하여 변화되는 경우에도, 왜곡이 적은 피사체 화상을 얻을 수 있는 정보 처리 장치와 정보 처리 방법 및 프로그램을 제공하는 것을 목적으로 한다.
이 기술의 제1 측면은,
촬상부와 피사체의 상대 위치 관계의 변화를 검출하는 움직임 검출부와,
상기 움직임 검출부의 검출 결과에 따라 상기 촬상부의 라인 씨닝 동작의 씨닝양을 설정하는 씨닝 설정부
를 구비하는 정보 처리 장치에 있다.
이 기술에 있어서, 움직임 검출부는, 롤링 셔터 동작을 행하는 촬상부와 피사체의 상대 위치 관계의 변화를 검출한다. 움직임 검출부는, 촬상부가 탑재된 이동체의 움직임, 촬상 씬, 촬상부에서 취득된 화상 등에 기초하여 상대 위치 관계의 변화를 검출한다. 예를 들어, 이동체가 차량인 경우는 차속과 조타각, 혹은 이동체에 마련된 관성 계측부의 계측 결과에 기초하여 상대 위치 관계의 변화를 검출한다.
씨닝 설정부는, 움직임 검출부에서 검출되는 변화가 커지는 것에 수반하여, 씨닝양을 크게 한다. 또한, 씨닝 설정부는, 움직임 검출부에서 검출되는 상대 위치 관계의 변화가 촬상부의 회전에 의해 발생하는 변화인 경우, 화면 전체에서 균등한 라인 씨닝 동작을 행한다. 또한, 씨닝 설정부는, 움직임 검출부에서 검출되는 상대 위치 관계의 변화가 촬상부의 광축의 방향의 이동에 의해 발생하는 변화인 경우, 촬상부의 광축 방향의 이동에 의해 발생하는 상대 위치 관계의 변화가 큰 영역은 변화가 적은 영역보다도 씨닝양을 크게 한다.
또한, 움직임 검출부의 검출 결과에 따라 촬상부에 있어서의 라인의 판독 순서 방향을 설정하는 판독 설정부를 마련한다. 판독 설정부는, 움직임 검출부에서 검출되는 상대 위치 관계의 변화가 촬상부의 광축 방향의 전진 이동에 의해 발생하는 변화인 경우에 라인의 판독 순서 방향을 하측 방향으로 하고, 촬상부의 광축 방향의 후퇴 이동에 의해 발생하는 변화인 경우에 라인의 판독 순서 방향을 상측 방향으로 한다.
또한, 촬상부에서 취득된 화상의 피사체 인식을 행하는 인식 처리부를 마련한다. 인식 처리부는, 미리 생성된 사전을 사용한 인식기를 씨닝양에 따라 갖고 있고, 씨닝 설정부에서 설정된 씨닝양 혹은 영역마다 설정된 씨닝양에 따른 인식기를 사용하여 인식 처리를 행한다. 또한, 인식 처리부는, 씨닝 설정부에서 설정된 씨닝양과 판독 설정부에서 설정된 판독 순서 방향에 따른 인식기를 사용하여 인식 처리를 행한다.
또한, 촬상부에서 취득된 화상을 사용하여 대응점 탐색을 행하는 화상 처리부를 구비하고, 화상 처리부는, 씨닝 설정부에서 설정된 씨닝양에 따라 탐색 범위를 조정하거나, 혹은 씨닝 설정부에서 설정된 씨닝양에 따라 대응점의 신뢰도를 조정한다.
이 기술의 제2 측면은,
촬상부와 피사체의 상대 위치 관계의 변화를 움직임 검출부에서 검출하는 것과,
상기 움직임 검출부의 검출 결과에 따라 상기 촬상부에 있어서의 라인 씨닝 동작의 씨닝양을 씨닝 설정부에서 설정하는 것
을 구비하는 정보 처리 방법에 있다.
이 기술의 제3 측면은,
촬상부의 제어를 컴퓨터로 실행시키는 프로그램이며,
상기 촬상부와 피사체의 상대 위치 관계의 변화를 검출하는 수순과,
상기 상대 위치 관계의 변화에 따라 상기 촬상부의 라인 씨닝 동작의 씨닝양을 설정하는 수순
을 상기 컴퓨터로 실행시키는 프로그램.
또한, 본 기술의 프로그램은, 예를 들어 다양한 프로그램·코드를 실행 가능한 범용 컴퓨터에 대하여, 컴퓨터 가독의 형식으로 제공하는 기억 매체, 통신 매체, 예를 들어 광 디스크나 자기 디스크, 반도체 메모리 등의 기억 매체, 혹은 네트워크 등의 통신 매체에 의해 제공 가능한 프로그램이다. 이러한 프로그램을 컴퓨터 가독의 형식으로 제공함으로써, 컴퓨터상에서 프로그램에 따른 처리가 실현된다.
이 기술에 의하면, 촬상부와 피사체의 상대 위치 관계의 변화에 따라 촬상부의 라인 씨닝 동작의 씨닝양이 설정된다. 이 때문에, 왜곡이 적은 피사체 화상이 얻어지게 된다. 또한, 본 명세서에 기재된 효과는 어디까지나 예시이며 한정되는 것은 아니고, 또한 부가적인 효과가 있어도 된다.
도 1은 제1 실시 형태의 구성을 예시한 도면이다.
도 2는 제1 실시 형태의 동작을 예시한 흐름도이다.
도 3은 제1 실시 형태의 동작예를 도시한 도면이다.
도 4는 피사체에 대하여 촬상부가 전진하는 경우를 예시한 도면이다.
도 5는 피사체에 대하여 촬상부가 후퇴하는 경우를 예시한 도면이다.
도 6은 제2 실시 형태의 구성을 예시한 도면이다.
도 7은 제2 실시 형태의 동작을 예시한 흐름도이다.
도 8은 피사체까지의 거리와 롤링 셔터 왜곡의 관계를 설명하기 위한 도면이다.
도 9는 제3 실시 형태의 구성을 예시한 도면이다.
도 10은 제3 실시 형태의 동작을 예시한 흐름도이다.
도 11은 제4 실시 형태의 구성을 예시한 도면이다.
도 12는 뎁스 맵을 취득하는 경우의 신뢰도를 설명하기 위한 도면이다.
도 13은 SLAM의 신뢰도를 설명하기 위한 도면이다.
도 14는 씬의 추정 결과와 씨닝양의 관계를 예시하고 있다.
도 15는 촬상 화면에 동물체가 포함된 경우를 예시하고 있다.
도 16은 차량 제어 시스템의 개략적인 기능의 구성예를 도시하는 블록도이다.
이하, 본 기술을 실시하기 위한 형태에 대하여 설명한다. 또한, 설명은 이하의 순서로 행한다.
1. 제1 실시 형태
1-1. 제1 실시 형태의 구성
1-2. 제1 실시 형태의 동작
2. 제2 실시 형태
2-1. 제2 실시 형태의 구성
2-2. 제2 실시 형태의 동작
3. 제3 실시 형태
3-1. 제3 실시 형태의 구성
3-2. 제3 실시 형태의 동작
4. 제4 실시 형태
4-1. 제4 실시 형태의 구성
4-2. 제4 실시 형태의 동작
5. 변형예
6. 응용예
<1. 제1 실시 형태>
<1-1. 제1 실시 형태의 구성>
도 1은, 제1 실시 형태의 구성을 예시하고 있다. 촬상 시스템(10)은, 촬상부(20)와 신호 처리부(30-1)를 갖고 있다.
촬상부(20)는 촬상 렌즈(21)와 이미지 센서(22)를 갖고 있다. 촬상부(20)의 촬상 렌즈(21)는, 포커스 렌즈나 줌 렌즈 등을 사용하여 구성되어 있고, 피사체 광학상을 이미지 센서(22)의 촬상면에 결상시킨다.
이미지 센서(22)는, 예를 들어 CMOS(Complementary Metal Oxide Semiconductor) 이미지 센서를 사용하여 구성되어 있다. 이미지 센서(22)는, 롤링 셔터 동작을 행하여, 피사체 광학상에 따른 화상 신호를 생성하여 신호 처리부(30-1)로 출력한다. 또한, 이미지 센서(22)는, 후술하는 씨닝 설정부(32)로부터의 씨닝 설정 신호로 나타난 씨닝양의 라인 씨닝을 행하여 화상 신호를 생성한다. 또한, 씨닝양은 씨닝률이어도 되고, 이하의 설명에서는, 씨닝양으로서 설명을 행한다.
신호 처리부(30-1)는, 촬상부(20)에서 생성된 화상 신호에 기초하여 피사체 인식을 행한다. 신호 처리부(30-1)는, 움직임 검출부(31), 씨닝 설정부(32), 보간 처리부(36), 인식 처리부(37-1)를 갖고 있다.
움직임 검출부(31)는, 촬상부(20)의 움직임을 검출한다. 예를 들어 촬상 시스템(10)이 차량 등의 이동체에 탑재되어 있는 경우, 차량의 속도나 핸들의 조타각에 기초하여 촬상부(20)의 직진 속도나 각속도를 검출한다. 움직임 검출부(31)는, 움직임 검출 결과를 씨닝 설정부(32)로 출력한다.
씨닝 설정부(32)는, 움직임 검출부(31)에서 검출된 움직임에 따라 씨닝양을 설정한다. 씨닝 설정부(32)는, 예를 들어 직진 방향의 속도 VS와 회전 방향의 속도 VR을 사용하여, 식(1)에 기초하여 씨닝양 Dt를 산출한다. 또한, 「ka」 「kb」는, 미리 설정되어 있는 계수이다. 씨닝 설정부(32)는, 설정한 씨닝양을 나타내는 씨닝 설정 신호를 인식 처리부(37-1)로 출력한다.
Figure 112021013467413-pct00001
보간 처리부(36)는, 촬상부(20)로부터 출력된 화상 신호를 사용하여 보간 처리를 행하고, 예를 들어 씨닝 전의 화상과 라인수가 동등한 보간 화상의 화상 신호를 생성한다. 보간 처리부(36)는, 보간 처리 후의 화상 신호를 인식 처리부(37-1)로 출력한다. 또한, 보간 처리부(36)는, 촬상부(20)로부터 씨닝 상태를 나타내는 씨닝 정보가 공급되는 경우, 씨닝 정보에 기초하여 보간 처리를 행해도 되고, 씨닝 설정부(32)에서 생성된 씨닝 설정 신호에 기초하여 보간 처리를 행하도록 해도 된다.
인식 처리부(37-1)는, 인식기 전환부(371-1)와 복수의 인식기(372-1) 내지 인식기(372-n)를 갖고 있다. 인식기(372-1 내지 372-n)는, 씨닝양별로 마련되어 있다. 예를 들어, 인식기(372-1)는 씨닝양 Dt-1로 촬상된 화상의 보간 처리를 행하여 얻어진 학습용 화상에 기초하는 사전을 미리 기억하고 있고, 이 사전을 사용하여 인식 처리를 행한다. 또한, 인식기(372-n)는 씨닝양 Dt-n으로 촬상된 화상의 보간 처리를 행하여 얻어진 학습용 화상에 기초하는 사전을 미리 기억하고 있고, 이 사전을 사용하여 인식 처리를 행한다. 인식기 전환부(371)는 촬상부(20)에서 생성된 화상 신호에 기초하여 처리 영역을 검출한다. 또한, 인식기 전환부(371)는, 처리 영역의 씨닝양에 따라, 피사체의 인식 처리에 사용할 인식기를 전환한다. 인식기 전환부(371)는, 전환 후의 인식기(372-x)에 화상 신호를 공급하고, 씨닝양에 따른 사전을 사용하여 처리 영역의 피사체를 인식하고, 인식 결과를 신호 처리부(30-1)로부터 출력한다.
<1-2. 제1 실시 형태의 동작>
도 2는, 제1 실시 형태의 동작을 예시한 흐름도이다. 스텝 ST1에서 신호 처리부(30-1)는 움직임 검출 처리를 행한다. 신호 처리부(30-1)는, 직진 방향이나 회전 방향의 움직임을 검출한다. 예를 들어 촬상 시스템(10)이 자동차에 탑재되어 있는 경우, 신호 처리부(30-1)는, 자동차의 속도나 핸들의 조타각을 움직임 검출 결과로 하고 스텝 ST2로 진행한다.
스텝 ST2에서 신호 처리부(30-1)는 씨닝양을 설정한다. 신호 처리부(30-1)는, 스텝 ST1에서 검출된 움직임에 기초하여, 예를 들어 상술한 식(1)에 기초하여 씨닝양을 설정하고 스텝 ST3으로 진행한다.
스텝 ST3에서 신호 처리부(30-1)는 촬상 제어를 행한다. 신호 처리부(30-1)는 스텝 ST2에서 설정된 씨닝양을 나타내는 씨닝 설정 신호를 생성하여 촬상부(20)로 출력함으로써, 스텝 ST2에서 설정된 씨닝양의 라인 씨닝이 행해진 씨닝 화상의 화상 신호를 촬상부(20)에서 생성시키고 스텝 ST4로 진행한다.
스텝 ST4에서 신호 처리부(30-1)는 보간 처리를 행한다. 신호 처리부(30-1)는, 촬상부(20)에서 생성된 씨닝 화상의 화상 신호를 사용하여 보간 처리를 행하고, 라인 씨닝 전의 라인수인 보간 화상의 화상 신호를 생성하고 스텝 ST5로 진행한다.
스텝 ST5에서 신호 처리부(30-1)는 인식기의 전환을 행한다. 신호 처리부(30-1)는, 보간 화상의 화상 신호를 사용하여 피사체 인식을 행하는 인식기를, 스텝 ST2에서 설정된 씨닝양에 따른 인식기로 전환하고 스텝 ST6으로 진행한다.
스텝 ST6에서 신호 처리부(30-1)는 인식 처리를 행한다. 신호 처리부(30-1)는 스텝 ST4에서 생성된 보간 화상의 화상 신호를 사용하여, 스텝 ST5에서 전환된 인식기에 의해 피사체의 인식 처리를 행한다.
도 3은, 제1 실시 형태의 동작예를 나타내고 있다. 또한, 피사체는 예를 들어 길 위에 표시된 「STOP」 마크이고, 촬상부(20)는 차량에 탑재되어 전진하고 있다. 또한, 각 라인의 노광 기간을 기간 tp, 판독 라인 순서 방향을 상측으로부터 하측 방향, 촬상 화면에 있어서의 피사체의 선단을 라인 위치 Ma, 후단을 라인 위치 Mb라고 하자.
도 3의 (a)는 씨닝을 행하지 않는 경우에 촬상부(20)에서 취득된 화상을 예시하고 있다. 이 경우, 라인순으로 판독이 행해지는 점에서, 라인 위치 Ma, Mb는, 시간 경과와 함께 전방측(촬상 화면의 하측 방향)으로 이동한다. 따라서, 도 3의 (b)에 나타낸 바와 같이, 라인 위치 Ma와 라인 위치 Mb의 간격은 시간차 tda의 기간 중의 차량의 이동 속도에 따라 넓어진다. 즉, 피사체는, 도 3의 (a)에 나타낸 바와 같이 신장된 상태로 된다.
도 3의 (c)는 씨닝을 행한 경우에 촬상부(20)에서 취득된 씨닝 화상을 예시하고 있다. 라인 위치 Ma, Mb는, 시간 경과와 함께 전방측(촬상 화면의 하측 방향)으로 이동한다. 또한, 라인 씨닝 판독을 행하고 있는 점에서, 최초의 라인의 판독으로부터 최후의 라인의 판독까지 필요로 하는 시간은 짧아져, 라인 위치 Ma와 라인 위치 Mb의 간격의 시간차는, 도 3의 (d)에 나타낸 바와 같이, 씨닝을 행하고 있지 않은 경우의 시간차 tda보다도 짧은 시간차 tdb로 된다. 이 때문에, 도 3의 (c)에 나타내는 씨닝 화상에 대하여 보간 처리를 행함으로써 얻어진 보간 화상에서는, 씨닝을 행하고 있지 않은 경우에 비해 도 3의 (e)에 나타낸 바와 같이 피사체의 왜곡이 적어진다. 또한, 차량의 전진 속도가 빨라지는 것에 수반하여 씨닝양을 크게 하면, 피사체의 왜곡을 적게 할 수 있다.
또한, 씨닝을 행하여 얻어진 촬상 화면에 대하여 보간 처리가 행해지고, 보간 화상을 사용하여 씨닝양에 따른 인식기에 의해 피사체의 인식 처리가 행해지므로, 고정밀도로 피사체를 인식할 수 있게 된다.
이와 같이, 제1 실시 형태에 의하면, 촬상부와 피사체의 상대 위치 변화에 따라 씨닝양이 설정되고, 롤링 셔터 왜곡이 적은 촬상 화면이 취득된다. 또한 취득된 촬상 화면에 있어서의 씨닝양에 따른 인식기가 사용되므로, 롤링 셔터 왜곡이 적은 촬상 화면에 기초하여, 고정밀도로 피사체를 인식할 수 있게 된다.
<2. 제2 실시 형태>
그런데, 롤링 셔터 동작을 행하여 취득된 촬상 화면에서는, 촬상부(20)에서 사용되고 있는 이미지 센서의 라인 방향에 대하여 직교하는 방향의 피사체의 움직임에 따라, 피사체가 신장 혹은 압축된다. 도 4는, 피사체에 대하여 촬상부가 전진하는 경우를 예시한 도면이고, 도 5는, 피사체에 대하여 촬상부가 후퇴하는 경우를 예시한 도면이다. 또한, 피사체는 예를 들어 길 위에 표시된 「STOP」 마크이고, 촬상부(20)는 차량에 탑재되어 있다. 또한, 도 4, 도 5에서는, 각 라인의 노광 기간을 기간 tp, 판독 라인 순서 방향을 상측으로부터 하측 방향, 촬상 화면에 있어서의 피사체의 선단을 라인 위치 Ma, 후단을 라인 위치 Mb라고 하자. 또한, 도 4는, 피사체에 대하여 차량이 전진하고 있고, 촬상 화면에 있어서의 피사체의 움직임이 판독 라인 순서 방향인 경우를 나타내고 있다. 또한, 도 5는, 피사체에 대하여 차량이 후퇴하고 있고, 촬상 화면에 있어서의 피사체의 움직임이 판독 라인 순서 방향에 대하여 역방향인 경우를 나타내고 있다.
도 4의 (a), (b)와 도 5의 (a), (b)는, 차량이 정지하고 있는 경우의 화상을 예시하고 있다. 차량이 정지하고 있는 점에서, 시간이 경과해도 라인 위치 Ma, Mb는 일정하다. 또한, 롤링 셔터 동작에 의해, 라인 위치 Mb와 라인 위치 Mb의 노광 기간의 개시 타이밍은 시간차 td를 갖고 있다.
도 4의 (c), (d)는, 차량이 전진한 경우를 예시하고 있다. 이 경우, 라인 위치 Ma, Mb는, 시간 경과와 함께 전방측(촬상 화면의 하측 방향)으로 이동한다. 따라서, 도 4의 (d)에 나타낸 바와 같이, 라인 위치 Ma와 라인 위치 Mb의 시간차 td1은 정지하고 있을 때보다도 차량의 이동 속도에 따라 커진다. 즉, 피사체는 도 4의 (c)에 나타낸 바와 같이 신장된 상태로 된다.
도 4의 (e), (f)는, 차량이 고속으로 전진한 경우를 예시하고 있다. 이 경우에도, 라인 위치 Ma, Mb는, 시간 경과와 함께 전방측(촬상 화면의 하측 방향)으로 이동한다. 또한, 차량이 고속인 점에서 이동량은 커진다. 따라서, 도 4의 (f)에 나타낸 바와 같이, 라인 위치 Ma와 라인 위치 Mb는, 노광 기간으로 되기 전에, 촬상 범위가 벗어나 버려, 도 4의 (e)에 나타낸 바와 같이, 피사체가 표시되지 않게 되어 버린다.
도 5의 (c), (d)는, 차량이 후퇴한 경우를 예시하고 있다. 이 경우, 라인 위치 Ma, Mb는, 시간 경과와 함께 안측(촬상 화면에 있어서의 수평선의 라인 위치의 방향)으로 이동한다. 따라서, 도 5의 (d)에 나타낸 바와 같이, 라인 위치 Ma와 라인 위치 Mb의 시간차 td2는 정지하고 있을 때보다도 차량의 이동 속도에 따라 작아진다. 즉, 피사체는 도 5의 (c)에 나타낸 바와 같이 압축된 상태로 된다.
도 5의 (e), (f)는, 차량이 고속으로 후퇴한 경우를 예시하고 있다. 이 경우에도, 라인 위치 Ma, Mb는, 시간 경과와 함께 안측(촬상 화면에 있어서의 수평선의 라인 위치의 방향)으로 이동한다. 또한, 차량이 고속인 점에서 이동량은 커진다. 따라서, 도 5의 (f)에 나타낸 바와 같이, 라인 위치 Ma와 라인 위치 Mb의 시간차 td3은 시간차 td2보다도 더 작아진다. 즉, 피사체는, 도 5의 (e)에 나타낸 바와 같이, 도 5의 (c)에 나타내는 경우보다도 더 압축된 상태로 된다.
이와 같이, 라인의 판독 순서 방향으로 피사체가 고속으로 이동하면 피사체가 촬상 화면에 투영되지 않게 되어 버리지만, 판독 순서 방향에 대하여 피사체의 움직임이 역방향인 경우는, 피사체가 고속으로 이동하여 촬상 화면에 투영되지 않게 되어 버리는 경우가 없다.
그래서, 제2 실시 형태에서는, 촬상부(20)의 이미지 센서로부터 라인 단위로 신호를 판독하는 경우, 움직임 검출 결과에 따라 라인의 판독 순서 방향을 상측으로부터 하측 방향으로 혹은 하측으로부터 상측 방향으로 설정하여, 씨닝 화상으로부터의 피사체의 누락을 방지한다.
<2-1. 제2 실시 형태의 구성>
도 6은, 제2 실시 형태의 구성을 예시하고 있다. 촬상 시스템(10)은, 촬상 렌즈(21)와 촬상부(20), 신호 처리부(30-2)를 갖고 있다.
촬상부(20)는 촬상 렌즈(21)와 이미지 센서(22)를 갖고 있다. 촬상부(20)의 촬상 렌즈(21)는, 포커스 렌즈나 줌 렌즈 등을 사용하여 구성되어 있고, 피사체 광학상을 이미지 센서(22)의 촬상면에 결상시킨다.
이미지 센서(22)는, 예를 들어 CMOS(Complementary Metal Oxide Semiconductor) 이미지 센서를 사용하여 구성되어 있다. 이미지 센서(22)는, 롤링 셔터 동작을 행하고, 피사체 광학상에 따른 화상 신호를 생성하여 신호 처리부(30-2)로 출력한다. 또한, 이미지 센서(22)는, 라인의 판독 순서 방향을 후술하는 판독 설정부(35)로부터의 판독 순서 방향 신호로 나타난 방향으로 하고, 후술하는 씨닝 설정부(32)로부터의 씨닝 설정 신호로 나타난 씨닝양의 라인 씨닝을 행하여 화상 신호를 생성한다.
신호 처리부(30-2)는, 촬상부(20)에서 생성된 화상 신호에 기초하여 피사체 인식을 행한다. 신호 처리부(30-2)는, 움직임 검출부(31), 씨닝 설정부(32), 판독 설정부(35), 보간 처리부(36), 인식 처리부(37-2)를 갖고 있다.
움직임 검출부(31)는, 촬상부(20)의 움직임을 검출한다. 예를 들어 촬상 시스템(10)이 차량 등의 이동체에 탑재되어 있는 경우, 차량의 속도나 핸들의 조타각에 기초하여 촬상부(20)의 직진 속도나 각속도를 검출한다. 움직임 검출부(31)는, 움직임 검출 결과를 씨닝 설정부(32)로 출력한다.
씨닝 설정부(32)는, 움직임 검출부(31)에서 검출된 움직임에 따라 씨닝양을 설정한다. 씨닝 설정부(32)는, 예를 들어 직진 방향의 속도 VS와 회전 방향의 속도 VR을 사용하여 상술한 식(1)에 기초하여 씨닝양 Dt를 산출한다. 씨닝 설정부(32)는, 설정한 씨닝양을 나타내는 씨닝 설정 신호를 인식 처리부(37-2)로 출력한다.
판독 설정부(35)는, 움직임 검출부(31)에서 검출된 움직임에 따라, 촬상부(20)에 있어서의 라인의 판독 순서 방향을 설정한다. 판독 설정부(35)는, 촬상부(20)가 전진하고 있다고 판별한 경우, 판독 순서 방향을 하측으로부터 상측 방향으로 설정한다. 또한, 판독 설정부(35)는, 촬상부(20)가 후퇴하고 있다고 판별한 경우, 판독 순서 방향을 상측으로부터 하측 방향으로 설정한다. 판독 설정부(35)는, 설정한 판독 순서 방향을 나타내는 순서 방향 설정 신호를 생성하여 촬상부(20)와 인식 처리부(37-2)로 출력한다.
보간 처리부(36)는, 촬상부(20)로부터 출력된 화상 신호를 사용하여 보간 처리를 행하고, 예를 들어 씨닝 전의 화상과 라인수가 동등한 보간 화상의 화상 신호를 생성한다. 보간 처리부(36)는, 보간 처리 후의 화상 신호를 인식 처리부(37-2)로 출력한다. 또한, 보간 처리부(36)는, 촬상부(20)로부터 씨닝 상태를 나타내는 씨닝 정보가 공급되는 경우, 씨닝 정보에 기초하여 보간 처리를 행해도 되고, 씨닝 설정부(32)에서 생성된 씨닝 설정 신호에 기초하여 보간 처리를 행하도록 해도 된다.
인식 처리부(37-2)는, 인식기 전환부(371-2)와 복수의 인식기(372-d1 내지 372-dn, 372-u1 내지 372-un)를 갖고 있다. 또한, 인식기(372-d1 내지 372-dn)는, 라인의 판독 순서 방향이 상측으로부터 하측 방향일 때의 씨닝양에 따라 마련된 인식기이고, 인식기(372-u1 내지 372-un)는, 판독 순서 방향이 하측으로부터 상측 방향일 때의 씨닝양에 따라 마련된 인식기이다. 예를 들어, 인식기(372-d1)는, 판독 순서 방향이 상측으로부터 하측 방향일 때의 씨닝양 Dt-d1로 촬상된 화상의 보간 처리를 행하여 얻어진 학습용 화상에 기초하는 사전을 미리 기억하고 있고, 이 사전을 사용하여 인식 처리를 행한다. 또한, 인식기(372-un)는, 판독 순서 방향이 하측으로부터 상측 방향일 때의 씨닝양 Dt-un으로 촬상된 화상의 보간 처리를 행하여 얻어진 학습용 화상에 기초하는 사전을 미리 기억하고 있고, 이 사전을 사용하여 인식 처리를 행한다.
인식기 전환부(371-2)는 촬상부(20)에서 생성된 화상 신호에 기초하여 처리 영역을 검출한다. 또한, 인식기 전환부(371-2)는, 처리 영역의 씨닝양과 판독 설정부(35)에서 설정된 판독 순서 방향에 따라, 피사체의 인식 처리에 사용할 인식기를 전환한다. 인식기 전환부(371-2)는, 전환 후의 인식기(372-x)에 화상 신호를 공급하여 처리 영역의 피사체의 인식 처리를 행하고, 인식 결과를 신호 처리부(30-2)로부터 출력한다.
<2-2. 제2 실시 형태의 동작>
도 7은, 제2 실시 형태의 동작을 나타내는 흐름도를 예시하고 있다. 스텝 ST11에서 신호 처리부(30-2)는 움직임 검출 처리를 행한다. 신호 처리부(30-2)는, 직진 방향이나 회전 방향의 움직임을 검출한다. 예를 들어, 촬상 시스템(10)이 자동차에 탑재되어 있는 경우, 신호 처리부(30-2)는, 자동차의 속도나 핸들의 조타각을 움직임 검출 결과로 하고 스텝 ST12로 진행한다.
스텝 ST12에서 신호 처리부(30-2)는 씨닝양을 설정한다. 신호 처리부(30-2)는, 스텝 ST11에서 검출된 움직임에 기초하여, 예를 들어 상술한 식(1)에 기초하여 씨닝양을 설정하고 스텝 ST13으로 진행한다.
스텝 ST13에서 신호 처리부(30-2)는 판독 순서 방향을 설정한다. 신호 처리부(30-2)는, 스텝 ST11에서 검출된 움직임에 기초하여, 라인의 판독 순서 방향을 상측으로부터 하측 방향 또는 하측으로부터 상측 방향의 어느 것으로 설정하고 스텝 ST14로 진행한다.
스텝 ST14에서 신호 처리부(30-2)는 촬상 제어를 행한다. 신호 처리부(30-2)는, 스텝 ST2에서 설정된 씨닝양을 나타내는 씨닝 설정 신호와, 스텝 ST13에서 설정된 판독 순서 방향을 나타내는 순서 방향 설정 신호를 생성한다. 신호 처리부(30-2)는, 생성한 씨닝 설정 신호와 순서 방향 설정 신호를 촬상부(20)로 출력함으로써, 스텝 ST13에서 설정된 판독 순서 방향 또한 스텝 ST12에서 설정된 씨닝양의 라인 씨닝이 행해진 씨닝 화상의 화상 신호를 생성시키고 스텝 ST15로 진행한다.
스텝 ST15에서 신호 처리부(30-2)는 보간 처리를 행한다. 신호 처리부(30-2)는, 촬상부(20)에서 생성된 씨닝 화상의 화상 신호를 사용하여 보간 처리를 행하고, 라인 씨닝 전의 라인수인 보간 화상의 화상 신호를 생성하고 스텝 ST16으로 진행한다.
스텝 ST16에서 신호 처리부(30-2)는 인식기의 전환을 행한다. 신호 처리부(30-2)는, 보간 화상의 화상 신호를 사용하여 피사체 인식을 행하는 인식기를, 스텝 ST12에서 설정된 씨닝양과 스텝 ST13에서 설정된 판독 순서 방향에 따른 인식기로 전환하고 스텝 ST17로 진행한다.
스텝 ST17에서 신호 처리부(30-2)는 인식 처리를 행한다. 신호 처리부(30-2)는 스텝 ST15에서 생성된 보간 화상의 화상 신호를 사용하여, 스텝 ST16에서 전환된 인식기에서 피사체 인식 처리를 행한다.
이와 같이, 제2 실시 형태에 의하면, 촬상부와 피사체의 상대 위치 변화에 따라 씨닝양이나 라인의 판독 순서 방향이 설정되어, 롤링 셔터 왜곡이 적고 피사체의 누락을 방지한 촬상 화면이 취득된다. 또한 취득된 촬상 화면에 있어서의 씨닝양 및 판독 순서 방향에 따른 인식기가 사용되므로, 롤링 셔터 왜곡이 적은 촬상 화면에 기초하여, 고정밀도로 피사체를 인식할 수 있게 된다.
<3. 제3 실시 형태>
롤링 셔터 동작을 행하여 취득된 촬상 화면에서는, 피사체의 움직임이나 피사체까지의 거리에 따라 왜곡의 정도가 다르다. 도 8은, 피사체까지의 거리와 롤링 셔터 왜곡의 관계를 설명하기 위한 도면이다. 도 8의 (a)에 나타낸 바와 같이, 예를 들어 촬상 영역 내의 피사체가 정지하고 있는 경우, 촬상부가 직진했을 때에 있어서의 촬상 영역 내의 피사체의 이동 속도는, 피사체까지의 거리가 짧아지는 것에 수반하여 빨라진다. 따라서, 도 8의 (b)에 나타낸 바와 같이, 근거리의 피사체에서는 롤링 셔터 동작의 왜곡량(RS 왜곡량)이 많고, 원거리의 피사체에서는 RS 왜곡량이 적다. 예를 들어, 촬상 시스템이 차량에 탑재되어 있는 경우, 촬상 영역의 하측 영역에 위치하는 노면 등은 상측 영역의 피사체에 비해 RS 왜곡량이 많다. 또한, 촬상부에 회전 방향의 움직임이 발생하면, 도 8의 (c)에 나타낸 바와 같이, 촬상 화면의 어느 장소에서도 RS 왜곡량은 동등하다.
그래서, 제3 실시 형태에서는, 영역별로 씨닝양을 설정함으로써 고정밀도로 피사체를 인식할 수 있도록 한다.
<3-1. 제3 실시 형태의 구성>
도 9는 제3 실시 형태의 구성을 예시하고 있다. 촬상 시스템(10)은, 촬상 렌즈(21)와 촬상부(20), 신호 처리부(30-3)를 갖고 있다.
촬상부(20)는 촬상 렌즈(21)와 이미지 센서(22)를 갖고 있다. 촬상부(20)의 촬상 렌즈(21)는, 포커스 렌즈나 줌 렌즈 등을 사용하여 구성되어 있고, 피사체 광학상을 이미지 센서(22)의 촬상면에 결상시킨다.
이미지 센서(22)는, 예를 들어 CMOS(Complementary Metal Oxide Semiconductor) 이미지 센서를 사용하여 구성되어 있다. 이미지 센서(22)는, 롤링 셔터 동작을 행하고, 피사체 광학상에 따른 화상 신호를 생성하여 신호 처리부(30-1)로 출력한다. 또한, 이미지 센서(22)는, 라인의 판독 순서 방향을 후술하는 판독 설정부(35)로부터의 순서 방향 설정 신호에 기초하는 방향으로서, 후술하는 영역 씨닝 설정부(34)로부터의 씨닝 설정 신호로 나타난 씨닝양의 라인 씨닝을 행하여 화상 신호를 생성한다.
신호 처리부(30-3)는, 촬상부(20)에서 생성된 화상 신호에 기초하여 피사체 인식을 행한다. 신호 처리부(30-3)는, 움직임 검출부(31), 영역 왜곡량 추정부(33), 영역 씨닝 설정부(34), 판독 설정부(35), 보간 처리부(36), 인식 처리부(37-3)를 갖고 있다.
움직임 검출부(31)는, 촬상부(20)의 움직임을 검출한다. 예를 들어, 촬상 시스템(10)이 차량 등의 이동체에 탑재되어 있는 경우, 차량의 속도나 핸들의 조타각에 기초하여 촬상부(20)의 직진 속도나 각속도를 검출한다. 움직임 검출부(31)는, 움직임 검출 결과를 영역 왜곡량 추정부(33)로 출력한다.
영역 왜곡량 추정부(33)는, 움직임 검출부(31)에서 검출된 움직임에 기초하여, RS 왜곡량을 영역마다 추정한다. 영역 왜곡량 추정부(33)는, 예를 들어 소정 라인수로 영역 나눔을 행하여 영역마다 RS 왜곡량을 추정한다. 영역의 RS 왜곡량은, 영역 내의 라인마다 추정한 왜곡량의 통계량, 예를 들어 평균값이나 중앙값 혹은 최댓값 등을 사용한다. 또한, 영역 왜곡량 추정부(33)는, 라인마다 추정한 왜곡량에 기초하여 영역 분할을 행해도 된다. 예를 들어, 라인마다 추정한 왜곡량의 최댓값을 이용하여, 인접하는 라인의 최댓값과의 차가 역치를 초과하는 경우, 2개의 라인 사이를 영역의 경계로 해도 된다. 영역 왜곡량 추정부(33)는, 영역마다의 왜곡량 추정 결과를 영역 씨닝 설정부(34)로 출력한다.
영역 씨닝 설정부(34)는, 영역마다의 왜곡량에 따라 씨닝양을 영역마다 설정한다. 영역 씨닝 설정부(34)는, 예를 들어 직진 방향의 속도 VS와 회전 방향의 속도 VR과 직진 시의 롤링 셔터 왜곡 경향을 나타내는 맵을 사용하여, 식(2)에 기초하여 영역 씨닝양 DAt를 산출한다. 또한, 「ka」 「kb」는, 미리 설정되어 있는 계수이다. 「KSmap」은 직진 시의 롤링 셔터 왜곡 경향을 나타내는 맵에 기초하는 해당 영역의 계수이다. 영역 씨닝 설정부(34)는, 영역마다 설정한 영역 씨닝양을 나타내는 영역 씨닝 설정 신호를 촬상부(20)와 인식 처리부(37-3)로 출력한다.
Figure 112021013467413-pct00002
판독 설정부(35)는, 움직임 검출부(31)에서 검출된 움직임에 따라, 촬상부(20)에 있어서의 판독 순서 방향을 설정한다. 판독 설정부(35)는, 촬상부(20)가 전진하고 있다고 판별한 경우, 라인의 판독 순서 방향을 하측으로부터 상측 방향으로 설정한다. 또한, 판독 설정부(35)는, 촬상부(20)가 후퇴하고 있다고 판별한 경우, 라인의 판독 순서 방향을 상측으로부터 하측 방향으로 설정한다. 판독 설정부(35)는, 설정한 판독 순서 방향을 나타내는 순서 방향 설정 신호를 생성하여 촬상부(20)와 인식 처리부(37-3)로 출력한다.
보간 처리부(36)는, 촬상부(20)로부터 출력된 화상 신호를 사용하여 보간 처리를 행하고, 예를 들어 씨닝 전의 화상과 라인수가 동등한 보간 화상의 화상 신호를 생성한다. 보간 처리부(36)는, 보간 처리 후의 화상 신호를 인식 처리부(37-3)로 출력한다. 또한, 보간 처리부(36)는, 촬상부(20)로부터 씨닝 상태를 나타내는 씨닝 정보가 공급되는 경우, 씨닝 정보에 기초하여 보간 처리를 행해도 되고, 영역 씨닝 설정부(34)에서 생성된 씨닝 설정 신호에 기초하여 보간 처리를 행하도록 해도 된다.
인식 처리부(37-3)는, 인식기 전환부(371-3)와 복수의 인식기(372-d1 내지 372-dn, 372-u1 내지 372-un)를 갖고 있다. 또한, 인식기(372-d1 내지 372-dn)는, 판독 순서 방향이 상측으로부터 하측 방향일 때의 영역 씨닝양에 따라 마련된 인식기이고, 인식기(372-u1 내지 372-un)는, 판독 순서 방향이 하측으로부터 상측 방향일 때의 영역 씨닝양에 따라 마련된 인식기이다. 예를 들어, 인식기(372-d1)는, 판독 순서 방향이 상측으로부터 하측 방향일 때의 영역 씨닝양 DAt-d1로 촬상된 화상의 보간 처리를 행하여 얻어진 학습용 화상에 기초하는 사전을 미리 기억하고 있고, 이 사전을 사용하여 인식 처리를 행한다. 또한, 인식기(372-un)는, 판독 순서 방향이 하측으로부터 상측 방향일 때의 영역 씨닝양 DAt-un으로 촬상된 화상의 보간 처리를 행하여 얻어진 학습용 화상에 기초하는 사전을 미리 기억하고 있고, 이 사전을 사용하여 인식 처리를 행한다.
인식기 전환부(371-3)는 촬상부(20)에서 생성된 화상 신호에 기초하여 처리 영역을 검출한다. 또한, 인식기 전환부(371-3)는, 영역 씨닝 설정부에서 설정된 영역마다의 씨닝양에 기초하여 처리 영역의 씨닝양을 판별하고, 판별한 씨닝양과 판독 설정부(35)에서 설정된 판독 순서 방향에 따라, 피사체의 인식 처리에 사용할 인식기를 전환한다. 인식기 전환부(371-3)는, 전환 후의 인식기(372-x)에 화상 신호를 공급하여 처리 영역의 피사체의 인식 처리를 행하고, 인식 결과를 신호 처리부(30-3)로부터 출력한다.
<3-2. 제3 실시 형태의 동작>
도 10은, 제3 실시 형태의 동작을 나타내는 흐름도를 예시하고 있다. 스텝 ST21에서 신호 처리부(30-3)는 움직임 검출 처리를 행한다. 신호 처리부(30-3)는, 직진 방향이나 회전 방향의 움직임을 검출한다. 예를 들어, 촬상 시스템(10)이 자동차에 탑재되어 있는 경우, 신호 처리부(30-3)는, 자동차의 속도나 핸들의 조타각을 움직임 검출 결과로 하고 스텝 ST22로 진행한다.
스텝 ST22에서 신호 처리부(30-3)는 판독 순서 방향을 설정한다. 신호 처리부(30-3)는, 스텝 ST21에서 검출된 움직임에 기초하여, 라인의 판독 순서 방향을 상측으로부터 하측 방향 또는 하측으로부터 상측 방향의 어느 하나로 설정하고 스텝 ST23으로 진행한다.
스텝 ST23에서 신호 처리부(30-3)는 영역마다 RS 왜곡량을 추정한다. 신호 처리부(30-3)는, 스텝 ST11에서 검출된 움직임에 기초하여, 영역마다의 RS 왜곡량을 추정하고 스텝 ST24로 진행한다.
스텝 ST24에서 신호 처리부(30-3)는 씨닝양을 설정한다. 신호 처리부(30-3)는, 스텝 ST23에서 추정한 영역마다의 RS 왜곡량에 기초하여 씨닝양을 설정하고 스텝 ST125로 진행한다.
스텝 ST25에서 신호 처리부(30-3)는 촬상 제어를 행한다. 신호 처리부(30-3)는, 스텝 ST24에서 설정된 씨닝양을 나타내는 씨닝 설정 신호와, 스텝 ST22에서 설정된 판독 순서 방향을 나타내는 순서 방향 설정 신호를 생성한다. 신호 처리부(30-3)는, 생성한 씨닝 설정 신호와 순서 방향 설정 신호를 촬상부(20)로 출력함으로써, 스텝 ST22에서 설정된 판독 순서 방향 또한 스텝 ST24에서 설정된 씨닝양의 라인 씨닝이 행해진 씨닝 화상의 화상 신호를 생성시키고 스텝 ST26으로 진행한다.
스텝 ST26에서 신호 처리부(30-3)는 보간 처리를 행한다. 신호 처리부(30-3)는, 촬상부(20)에서 생성된 씨닝 화상의 화상 신호를 사용하여 보간 처리를 행하고, 라인 씨닝 전의 라인수인 보간 화상의 화상 신호를 생성하고 스텝 ST27로 진행한다.
스텝 ST27에서 신호 처리부(30-3)는 인식기의 전환을 행한다. 신호 처리부(30-3)는, 보간 화상의 화상 신호를 사용하여 피사체 인식을 행하는 인식기를, 스텝 ST22에서 설정된 판독 순서 방향과 스텝 ST24에서 설정된 씨닝양에 따른 인식기로 전환하고 스텝 ST28로 진행한다.
스텝 ST28에서 신호 처리부(30-3)는 인식 처리를 행한다. 신호 처리부(30-3)는 스텝 ST26에서 생성된 보간 화상의 화상 신호를 사용하여, 스텝 ST27에서 전환된 인식기로 피사체 인식 처리를 행한다.
이와 같이, 제3 실시 형태에 의하면, 촬상부와 피사체의 상대 위치 변화에 따라 판독 순서 방향이나 영역마다의 씨닝양이 설정되어, 롤링 셔터 왜곡이 적어 피사체의 누락을 방지한 촬상 화면이 취득된다. 또한 취득된 촬상 화면에 있어서의 씨닝양 및 판독 순서 방향에 따른 인식기가 사용되므로, 롤링 셔터 왜곡이 적은 촬상 화면에 기초하여, 고정밀도로 피사체를 인식할 수 있게 된다.
<4. 제4 실시 형태>
그런데, 상술한 실시 형태에서는 촬상부에서 취득된 화상에 기초하여 피사체 인식을 행하는 경우에 대하여 설명했지만, 뎁스 맵의 생성이나 SLAM(Simultaneous Localization and Mapping) 등에서 행해지는 대응점 탐색에 있어서, 롤링 셔터 왜곡을 고려한 처리를 행하도록 해도 된다.
<4-1. 제4 실시 형태의 구성>
도 11은, 제4 실시 형태의 구성을 예시하고 있다. 촬상 시스템(10)은, 촬상 렌즈(21)와 촬상부(20), 신호 처리부(30-4)를 갖고 있다.
촬상부(20)는 촬상 렌즈(21)와 이미지 센서(22)를 갖고 있다. 촬상부(20)의 촬상 렌즈(21)는, 포커스 렌즈나 줌 렌즈 등을 사용하여 구성되어 있고, 피사체 광학상을 이미지 센서(22)의 촬상면에 결상시킨다.
이미지 센서(22)는, 예를 들어 CMOS(Complementary Metal Oxide Semiconductor) 이미지 센서를 사용하여 구성되어 있다. 이미지 센서(22)는, 롤링 셔터 동작을 행하고, 피사체 광학상에 따른 화상 신호를 생성하여 신호 처리부(30-4)로 출력한다. 또한, 이미지 센서(22)는, 라인의 판독 순서 방향을 후술하는 판독 설정부(35)로부터의 판독 순서 방향 설정 신호에 기초하는 방향으로 하고, 후술하는 씨닝 설정부(32)로부터의 씨닝 설정 신호로 나타난 씨닝양의 라인 씨닝을 행하여 화상 신호를 생성한다.
신호 처리부(30-4)는, 촬상부(20)에서 생성된 화상 신호에 기초하여 화상 처리를 행한다. 신호 처리부(30-4)는, 움직임 검출부(31), 씨닝 설정부(32), 보간 처리부(36), 화상 처리부(38)를 갖고 있다.
움직임 검출부(31)는, 촬상부(20)의 움직임을 검출한다. 예를 들어, 촬상 시스템(10)이 이동체, 예를 들어 차량에 탑재되어 있는 경우, 차량의 속도나 핸들의 조타각에 기초하여 촬상부(20)의 직진 속도나 각속도를 검출한다. 움직임 검출부(31)는, 움직임 검출 결과를 씨닝 설정부(32)로 출력한다.
씨닝 설정부(32)는, 움직임 검출부(31)에서 검출된 움직임에 따라 씨닝양을 설정한다. 씨닝 설정부(32)는, 설정한 씨닝양을 나타내는 씨닝 설정 신호를 화상 처리부(38)로 출력한다.
보간 처리부(36)는, 촬상부(20)로부터 출력된 화상 신호를 사용하여 보간 처리를 행하고, 예를 들어 씨닝 전의 화상과 라인수가 동등한 보간 화상의 화상 신호를 생성한다. 보간 처리부(36)는, 보간 처리 후의 화상 신호를 인식 처리부(37-4)로 출력한다. 또한, 보간 처리부(36)는, 촬상부(20)로부터 씨닝 상태를 나타내는 씨닝 정보가 공급되는 경우, 씨닝 정보에 기초하여 보간 처리를 행해도 되고, 씨닝 설정부(32)에서 생성된 씨닝 설정 신호에 기초하여 보간 처리를 행하도록 해도 된다.
화상 처리부(38)는, 보간 처리 후의 화상 신호를 사용하여 대응점 탐색을 행하고, 스테레오 매칭에 의해 뎁스 맵의 생성 혹은 SLAM의 처리를 행한다. 화상 처리부(38)는, 대응점 탐색에 있어서, 씨닝 설정부(32)에서 생성된 씨닝 설정 신호에 기초하여 서치 범위나 신뢰도를 설정한다. 예를 들어, 서치 범위의 설정에서는, 롤링 셔터 왜곡이 커지는 것에 수반하여 탐색 범위를 넓게 한다. 또한, 롤링 셔터 왜곡은 라인 방향으로 왜곡이 발생하는 점에서, 탐색 범위는 라인 방향을 넓게 설정해도 된다. 또한, 롤링 셔터 왜곡을 발생시키면 매칭 정밀도가 저하된다. 따라서, 대응점의 신뢰도를 이용하여, SLAM 혹은 뎁스 맵의 생성을 행하도록 한다.
<4-2. 제4 실시 형태의 동작>
제4 실시 형태에서는, 도 2에 도시하는 흐름도의 스텝 ST1 내지 스텝 ST4의 처리를 행하고, 그 후에 화상 처리를 행한다. 화상 처리에서는 대응점 탐색을 행하고, 대응점 탐색에 있어서의 탐색 범위나 신뢰도를 RS 왜곡량에 따라 조정한다.
탐색 범위의 설정에서는, 예를 들어 롤링 셔터 왜곡에 의해, 피사체가 신장되는 경우에는 대응점을 검출할 수 있도록 탐색 범위를 하고, 피사체가 압축되는 경우에는 대응점을 효율적으로 검출할 수 있도록 탐색 범위를 좁게 한다. 또한, RS 왜곡량이 많아지는 것에 수반하여 매칭 정밀도가 저하되는 점에서, 신뢰도는, RS 왜곡량이 많아지는 것에 수반하여 낮게 한다.
도 12는, 뎁스 맵을 취득하는 경우의 신뢰도를 설명하기 위한 도면이다. 도 12의 (a)는 좌시점 화상이고, 도 12의 (b)는 좌시점 화상에 대응하는 롤링 셔터 왜곡도 맵을 나타내고 있다. 또한, 롤링 셔터 왜곡도 맵에 있어서, 사선이 없는 영역은 RS 왜곡량이 적은 영역, 굵은 사선의 해칭 영역은 RS 왜곡량이 많은 영역, 가는 사선의 해칭 영역은 RS 왜곡량이 많지도 않고 적지도 않은 영역인 것을 나타내고 있다. 또한, 도 12의 (c)는 우시점 화상이고, 도 12의 (d)는 우시점 화상에 대응하는 롤링 셔터 왜곡도 맵을 나타내고 있다. 여기서, 좌시점의 촬상부에서 취득되는 화상에 렌즈 왜곡이 발생하는 경우, 스텝 ST31에서는, 좌시점의 촬상부에서 사용되고 있는 렌즈에 따른 보정 계수 사용하여 좌시점 화상과 롤링 셔터 왜곡도 맵의 렌즈 왜곡 보정 처리를 행한다. 또한, 우시점의 촬상부에서 취득되는 화상에 렌즈 왜곡을 발생하는 경우, 스텝 ST32에서는, 우시점의 촬상부에서 사용되고 있는 렌즈에 따른 보정 계수 사용하여 우시점 화상과 롤링 셔터 왜곡도 맵의 렌즈 왜곡 보정 처리를 행한다. 또한, 도 12의 (e)는 렌즈 왜곡 보정 처리 후의 좌시점 화상, 도 12의 (f)는 렌즈 왜곡 보정 처리 후의 좌시점 화상에 대응하는 롤링 셔터 왜곡도 맵을 나타내고 있다. 또한, 도 12의 (g)는 렌즈 왜곡 보정 처리 후의 우시점 화상, 도 12의 (h)는 렌즈 왜곡 보정 처리 후의 우시점 화상에 대응하는 롤링 셔터 왜곡도 맵을 나타내고 있다.
스텝 ST33의 스테레오 매칭 처리에서는, 도 12의 (e)에 나타내는 렌즈 왜곡 보정 처리 후의 좌시점 화상과 도 12의 (g)에 나타내는 렌즈 왜곡 보정 처리 후의 우시점 화상을 사용하여 매칭 처리를 행하고, 예를 들어 좌시점 화상의 각 화소 위치의 뎁스를 나타내는 도 12의 (i)에 나타내는 뎁스 맵을 생성한다. 또한, 뎁스 맵에서는, 휘도가 낮아지는 것에 수반하여 거리가 이격되어 있는 것을 나타내고 있다. 스텝 ST34의 신뢰도 처리에서는, 도 12의 (f)의 롤링 셔터 왜곡도 맵을, 뎁스 맵의 신뢰도로서 이용한다. 도 12의 (j)는 신뢰도를 나타내고 있고, 가로선이 없는 영역은 신뢰도가 높은 영역, 굵은 가로선의 해칭 영역은 신뢰도가 낮은 영역, 가는 세로선의 해칭 영역은 신뢰도가 높지도 낮지도 않은 영역인 것을 나타내고 있다. 그 후, 신뢰도에 기초하여 후단의 처리에서는, 예를 들어 신뢰도가 낮은 영역의 뎁스를 무효로 한다. 또한, 신뢰도가 낮은 영역의 뎁스는, 신뢰도가 낮지 않은 영역의 뎁스를 사용하여 시간적 혹은 공간적인 보간 처리를 행해도 된다.
도 13은, SLAM의 신뢰도를 설명하기 위한 도면이다. 도 13의 (a)는 렌즈 왜곡 보정 처리 후의 시각 T의 촬상 화면이고, 도 13의 (b)는 촬상 화면에 대응하는 롤링 셔터 왜곡도 맵을 나타내고 있다. 또한, 도 13의 (c)는 렌즈 왜곡 보정 처리 후의 시각 T－1의 촬상 화면이고, 도 13의 (d)는 촬상 화면에 대응하는 롤링 셔터 왜곡도 맵을 나타내고 있다. 또한, 렌즈 왜곡 보정 처리 후의 촬상 화면이나 롤링 셔터 왜곡도 맵은, 뎁스 맵을 취득하는 경우와 동일한 처리를 행하면 된다.
SALM에서는, 스텝 ST41에서 렌즈 왜곡 보정 처리 후의 시각 T와 시각 T－1의 촬상 화면을 사용하여 특징점 페어를 추출한다. 또한, 도 13의 (e), (f)에서는, 특징점 페어 FP를 구성하는 특징점이 3개인 경우를 예시하고 있고, 특징점 페어를 나타내는 삼각형의 정점이 특징점이다. 스텝 ST42, 43에서 특징점 페어마다 시각 T, T－1에 있어서의 신뢰도의 산출을 행한다. 또한, SALM에서는, 스텝 ST44에서 시각 T와 시각 T－1의 특징점 페어에 기초하여 특징점 페어마다 이동량을 추출한다. 여기서, 시각 T에 있어서의 신뢰도는, 특징점 페어마다 산출한다. 예를 들어, 특징점 페어 FP의 시각 T에 있어서의 신뢰도 RP(T)는, 식(3)에 기초하여 특징점 페어 FP를 구성하는 N개의 특징점 pi(i＝1 내지 N)의 왜곡도 Dpi를 사용하여 산출한다. 또한, 왜곡도 Dpi는, 시각 T의 롤링 셔터 왜곡도 맵에 있어서의 특징점 pi의 위치의 롤링 셔터 왜곡도이고, 롤링 셔터 왜곡도 맵의 왜곡도는, 왜곡이 없는 경우에 왜곡도＝「1」에서 왜곡이 많아지는 것에 수반하여 왜곡도가 「0」에 가까워지는 것으로 한다.
Figure 112021013467413-pct00003
시각 T－1에 있어서의 신뢰도는, 시각 T－1의 롤링 셔터 왜곡도 맵을 사용하여, 시각 T에 있어서의 신뢰도와 마찬가지로 산출한다.
그 후, SALM에서는, 스텝 ST45에서 신뢰도 처리를 행하고, SLAM에 있어서의 이동량 LV(T, T－1)를, 식(4)에 기초하여 M개의 특징점 페어 FPj(j＝1 내지 M)의 이동량 Lj와 시각 T에 있어서의 신뢰도 RP(T)j와 시각 T－1에 있어서의 신뢰도 RP(T－1)j에 기초하여 산출한다.
Figure 112021013467413-pct00004
이와 같이, 제4 실시 형태에 의하면, 롤링 셔터 왜곡을 사용하여 뎁스 맵의 생성이나 SLAM의 처리가 행해지므로, 롤링 셔터 왜곡을 사용하고 있지 않은 경우에 비해, 고정밀도로 뎁스 맵의 생성이나 SLAM의 처리를 행할 수 있다.
<5. 변형예>
상술한 실시 형태에서는, 움직임 검출을 위해 차속이나 조타각을 이용했지만, 관성 계측부(IMU: inertial measurement unit)를 사용하여 가속도나 각속도를 검출하여 촬상부의 움직임을 검출해도 된다.
또한, 움직임 검출 결과에 기초하여 씨닝양을 설정하고 있지만, 씨닝양은, 촬상 씬에 따라 설정해도 된다. 예를 들어, 화상 정보 혹은 지도 정보와 자기 위치 정보(자기 위치의 방향을 포함함)를 사용하면, 촬상부에서 어떤 씬이 촬상되는지 추정할 수 있다.
도 14는, 씬의 추정 결과와 씨닝양의 관계를 예시하고 있다. 도 14의 (a)는, 화상 정보 혹은 지도 정보 등에 의해 전방이 개방된 씬이라고 판별된 경우를 나타내고 있다. 이 경우, 전방측의 피사체(예를 들어, 노면 위의 표시)는, 촬상부와 피사체의 상대 위치 관계의 변화가 크고, RS 왜곡량이 많은 점에서 도 14의 (b)에 나타낸 바와 같이, 씨닝양을 많게 한다. 또한, 안측의 피사체(예를 들어, 하늘 등)는, 촬상부와 피사체의 상대 위치 관계의 변화가 작고, RS 왜곡량이 적은 점에서 씨닝양을 적게 한다. 또한, 중간 위치의 피사체(예를 들어, 산 등)는, 촬상부와 피사체의 상대 위치 관계의 변화가 크지도 작지도 않은 점에서, 씨닝양을 중간으로 한다.
도 14의 (c)는, 화상 정보 혹은 지도 정보 등에 의해 건물이 많은 시가지의 씬이라고 판별된 경우를 나타내고 있다. 이 경우, 전방측의 피사체(예를 들어, 노면 위의 표시)는, 촬상부와 피사체의 상대 위치 관계의 변화가 크고, RS 왜곡량이 많은 점에서, 도 14의 (d)에 나타낸 바와 같이 씨닝양을 많게 한다. 또한, 중앙부나 상부의 피사체(예를 들어, 전방의 건물 등)는, 촬상부와 피사체의 상대 위치 관계의 변화가 크지도 작지도 않은 점에서, 씨닝양을 중간으로 한다.
도 14의 (e)는, 화상 정보 혹은 지도 정보 등에 의해 오르막의 씬이라고 판별된 경우를 나타내고 있다. 이 경우, 전방측의 피사체(예를 들어, 노면 위의 표시)는, 촬상부와 피사체의 상대 위치 관계의 변화가 크고, RS 왜곡량이 많은 점에서, 도 14의 (f)에 나타낸 바와 같이 씨닝양을 많게 한다. 또한, 상부의 피사체(예를 들어, 먼 곳의 도로 등)는, 촬상부와 피사체의 상대 위치 관계의 변화가 작은 점에서, 씨닝양을 작게 한다. 또한, 중앙부의 피사체(예를 들어, 전방의 오르막 부분 등)는, 촬상부와 피사체의 상대 위치 관계의 변화가 크지도 작지도 않은 점에서, 씨닝양을 중간으로 한다.
또한, 촬상 범위에 동물체가 포함되고, 동물체의 움직임에 의해 롤링 셔터 왜곡이 커지는 경우가 있다. 따라서, 촬상부에서 취득된 시간 방향의 복수의 촬상 화면에 기초하여 동물체의 검출을 행하여, 동물체의 움직임이 큰 영역에서는 씨닝양을 많게 해도 된다.
도 15는, 촬상 화면에 동물체가 포함된 경우를 예시하고 있다. 또한, 도 15에서는, 동물체가 자동차이다. 도 15의 (a)는, 시가지의 씬이고 동물체(예를 들어, 자동차) OBm이 포함된 촬상 화면을 예시하고 있다.
동물체는, 예를 들어 수평 방향으로 이동하고 있고, 블록 단위로 움직임 검출을 행한 경우의 검출 결과는, 도 15의 (b)에 나타낸 바와 같이, 동물체를 포함하는 크로스 해칭으로 나타내는 영역 BKm이, 움직임이 큰 영역으로 검출된다. 또한, 신호 처리부(30-4)는, 도 15의 (c)에 나타낸 바와 같이, 움직임이 큰 영역 BKm을 포함하는 라인 영역의 씨닝양을 크게 한다. 이러한 처리를 행하면, 피사체가 정지하고 있는 경우에 한정되지 않고, 피사체가 동물체인 경우에도 피사체의 움직임에 따라 씨닝양을 조정하여, 고정밀도로 인식 처리를 행할 수 있게 된다.
<6. 응용예>
본 개시에 관한 기술은, 다양한 제품으로 응용할 수 있다. 예를 들어, 본 개시에 관한 기술은, 자동차, 전기 자동차, 하이브리드 전기 자동차, 자동 이륜차, 자전거, 퍼스널 모빌리티, 비행기, 드론, 선박, 로봇, 건설 기계, 농업 기계(트랙터) 등의 어느 종류의 이동체에 탑재되는 장치로서 실현되어도 된다.
도 16은, 본 기술이 적용될 수 있는 이동체 제어 시스템의 일례인 차량 제어 시스템(100)의 개략적인 기능의 구성예를 도시하는 블록도이다.
또한, 이하, 차량 제어 시스템(100)이 마련되어 있는 차량을 다른 차량과 구별하는 경우, 자차 또는 자차량이라고 칭한다.
차량 제어 시스템(100)은, 입력부(101), 데이터 취득부(102), 통신부(103), 차내 기기(104), 출력 제어부(105), 출력부(106), 구동계 제어부(107), 구동계 시스템(108), 바디계 제어부(109), 바디계 시스템(110), 기억부(111) 및 자동 운전 제어부(112)를 구비한다. 입력부(101), 데이터 취득부(102), 통신부(103), 출력 제어부(105), 구동계 제어부(107), 바디계 제어부(109), 기억부(111) 및 자동 운전 제어부(112)는, 통신 네트워크(121)를 통해, 서로 접속되어 있다. 통신 네트워크(121)는, 예를 들어 CAN(Controller Area Network), LIN(Local Interconnect Network), LAN(Local Area Network), 또는 FlexRay(등록 상표) 등의 임의의 규격에 준거한 차량 탑재 통신 네트워크나 버스 등을 포함한다. 또한, 차량 제어 시스템(100)의 각 부는, 통신 네트워크(121)를 통하지 않고, 직접 접속되는 경우도 있다.
또한, 이하, 차량 제어 시스템(100)의 각 부가, 통신 네트워크(121)를 통해 통신을 행하는 경우, 통신 네트워크(121)의 기재를 생략하는 것으로 한다. 예를 들어, 입력부(101)와 자동 운전 제어부(112)가, 통신 네트워크(121)를 통해 통신을 행하는 경우, 단순히 입력부(101)와 자동 운전 제어부(112)가 통신을 행한다고 기재한다.
입력부(101)는, 탑승자가 각종 데이터나 지시 등의 입력에 사용하는 장치를 구비한다. 예를 들어, 입력부(101)는, 터치 패널, 버튼, 마이크로폰, 스위치 및 레버 등의 조작 디바이스, 그리고, 음성이나 제스처 등에 의해 수동 조작 이외의 방법으로 입력 가능한 조작 디바이스 등을 구비한다. 또한, 예를 들어 입력부(101)는, 적외선 혹은 기타의 전파를 이용한 리모트 컨트롤 장치, 또는 차량 제어 시스템(100)의 조작에 대응한 모바일 기기 혹은 웨어러블 기기 등의 외부 접속 기기여도 된다. 입력부(101)는, 탑승자에 의해 입력된 데이터나 지시 등에 기초하여 입력 신호를 생성하여, 차량 제어 시스템(100)의 각 부에 공급한다.
데이터 취득부(102)는, 차량 제어 시스템(100)의 처리에 사용하는 데이터를 취득하는 각종 센서 등을 구비하고, 취득한 데이터를, 차량 제어 시스템(100)의 각 부에 공급한다.
예를 들어, 데이터 취득부(102)는, 자차의 상태 등을 검출하기 위한 각종 센서를 구비한다. 구체적으로는, 예를 들어 데이터 취득부(102)는, 자이로 센서, 가속도 센서, 관성 계측 장치(IMU) 및 액셀러레이터 페달의 조작량, 브레이크 페달의 조작량, 스티어링 휠의 조타각, 엔진 회전수, 모터 회전수, 혹은 차륜의 회전 속도 등을 검출하기 위한 센서 등을 구비한다.
또한, 예를 들어 데이터 취득부(102)는, 자차의 외부의 정보를 검출하기 위한 각종 센서를 구비한다. 구체적으로는, 예를 들어 데이터 취득부(102)는, ToF(Time Of Flight) 카메라, 스테레오 카메라, 단안 카메라, 적외선 카메라 및 기타의 카메라 등의 촬상 장치를 구비한다. 또한, 예를 들어 데이터 취득부(102)는, 날씨 또는 기상 등을 검출하기 위한 환경 센서 및 자차의 주위의 물체를 검출하기 위한 주위 정보 검출 센서를 구비한다. 환경 센서는, 예를 들어 빗방울 센서, 안개 센서, 일조 센서, 눈 센서 등을 포함한다. 주위 정보 검출 센서는, 예를 들어 초음파 센서, 레이더, LiDAR(Light Detection and Ranging, Laser Imaging Detection and Ranging), 음파 탐지기 등을 포함한다.
또한, 예를 들어 데이터 취득부(102)는, 자차의 현재 위치를 검출하기 위한 각종 센서를 구비한다. 구체적으로는, 예를 들어 데이터 취득부(102)는, GNSS(Global Navigation Satellite System) 위성으로부터의 GNSS 신호를 수신하는 GNSS 수신기 등을 구비한다.
또한, 예를 들어 데이터 취득부(102)는, 차내의 정보를 검출하기 위한 각종 센서를 구비한다. 구체적으로는, 예를 들어 데이터 취득부(102)는, 운전자를 촬상하는 촬상 장치, 운전자의 생체 정보를 검출하는 생체 센서 및 차실내의 음성을 집음하는 마이크로폰 등을 구비한다. 생체 센서는, 예를 들어 시트면 또는 스티어링 휠 등에 마련되어, 좌석에 앉아 있는 탑승자 또는 스티어링 휠을 쥐고 있는 운전자의 생체 정보를 검출한다.
통신부(103)는, 차내 기기(104), 그리고 차외의 다양한 기기, 서버, 기지국 등과 통신을 행하여, 차량 제어 시스템(100)의 각 부로부터 공급되는 데이터를 송신하거나, 수신한 데이터를 차량 제어 시스템(100)의 각 부에 공급하거나 한다. 또한, 통신부(103)가 서포트하는 통신 프로토콜은, 특별히 한정되는 것은 아니고, 또한 통신부(103)가, 복수의 종류의 통신 프로토콜을 서포트하는 것도 가능하다.
예를 들어, 통신부(103)는, 무선 LAN, Bluetooth(등록 상표), NFC(Near Field Communication), 또는 WUSB(Wireless USB) 등에 의해, 차내 기기(104)와 무선 통신을 행한다. 또한, 예를 들어 통신부(103)는, 도시하지 않은 접속 단자(및, 필요하다면 케이블)를 통해, USB(Universal Serial Bus), HDMI(등록 상표)(High-Definition Multimedia Interface), 또는 MHL(Mobile High-definition Link) 등에 의해, 차내 기기(104)와 유선 통신을 행한다.
또한, 예를 들어 통신부(103)는, 기지국 또는 액세스 포인트를 통해, 외부 네트워크(예를 들어, 인터넷, 클라우드 네트워크 또는 사업자 고유의 네트워크)상에 존재하는 기기(예를 들어, 애플리케이션 서버 또는 제어 서버)와의 통신을 행한다. 또한, 예를 들어 통신부(103)는, P2P(Peer To Peer) 기술을 사용하여, 자차의 근방에 존재하는 단말기(예를 들어, 보행자 혹은 점포의 단말기, 또는 MTC(Machine Type Communication) 단말기)와의 통신을 행한다. 또한, 예를 들어 통신부(103)는, 차차간(Vehicle to Vehicle) 통신, 노차간(Vehicle to Infrastructure) 통신, 자차와 집 사이(Vehicle to Home)의 통신 및 보차간(Vehicle to Pedestrian) 통신 등의 V2X 통신을 행한다. 또한, 예를 들어 통신부(103)는, 비콘 수신부를 구비하여, 도로 위에 설치된 무선국 등으로부터 발신되는 전파 혹은 전자파를 수신하고, 현재 위치, 정체, 통행 규제 또는 소요 시간 등의 정보를 취득한다.
차내 기기(104)는, 예를 들어 탑승자가 갖는 모바일 기기 혹은 웨어러블 기기, 자차에 반입되거나 혹은 설치되는 정보 기기 및 임의의 목적지까지의 경로 탐색을 행하는 내비게이션 장치 등을 포함한다.
출력 제어부(105)는, 자차의 탑승자 또는 차외에 대한 각종 정보의 출력을 제어한다. 예를 들어, 출력 제어부(105)는, 시각 정보(예를 들어, 화상 데이터) 및 청각 정보(예를 들어, 음성 데이터) 중 적어도 하나를 포함하는 출력 신호를 생성하고, 출력부(106)에 공급함으로써, 출력부(106)로부터의 시각 정보 및 청각 정보의 출력을 제어한다. 구체적으로는, 예를 들어 출력 제어부(105)는, 데이터 취득부(102)의 다른 촬상 장치에 의해 촬상된 화상 데이터를 합성하고, 부감 화상 또는 파노라마 화상 등을 생성하고, 생성한 화상을 포함하는 출력 신호를 출력부(106)에 공급한다. 또한, 예를 들어 출력 제어부(105)는, 충돌, 접촉, 위험 지대로의 진입 등의 위험에 대한 경고음 또는 경고 메시지 등을 포함하는 음성 데이터를 생성하고, 생성한 음성 데이터를 포함하는 출력 신호를 출력부(106)에 공급한다.
출력부(106)는, 자차의 탑승자 또는 차외에 대하여, 시각 정보 또는 청각 정보를 출력하는 것이 가능한 장치를 구비한다. 예를 들어, 출력부(106)는, 표시 장치, 인스트루먼트 패널, 오디오 스피커, 헤드폰, 탑승자가 장착하는 안경형 디스플레이 등의 웨어러블 디바이스, 프로젝터, 램프 등을 구비한다. 출력부(106)가 구비하는 표시 장치는, 통상의 디스플레이를 갖는 장치 이외에도, 예를 들어 헤드업 디스플레이, 투과형 디스플레이, AR(Augmented Reality) 표시 기능을 갖는 장치 등의 운전자의 시야 내에 시각 정보를 표시하는 장치여도 된다.
구동계 제어부(107)는, 각종 제어 신호를 생성하여, 구동계 시스템(108)에 공급함으로써, 구동계 시스템(108)의 제어를 행한다. 또한, 구동계 제어부(107)는, 필요에 따라, 구동계 시스템(108) 이외의 각 부에 제어 신호를 공급하여, 구동계 시스템(108)의 제어 상태의 통지 등을 행한다.
구동계 시스템(108)은, 자차의 구동계에 관계되는 각종 장치를 구비한다. 예를 들어, 구동계 시스템(108)은, 내연 기관 또는 구동용 모터 등의 구동력을 발생시키기 위한 구동력 발생 장치, 구동력을 차륜으로 전달하기 위한 구동력 전달 기구, 타각을 조절하는 스티어링 기구, 제동력을 발생시키는 제동 장치, ABS(Antilock Brake System), ESC(Electronic Stability Control), 그리고 전동 파워스티어링 장치 등을 구비한다.
바디계 제어부(109)는, 각종 제어 신호를 생성하여, 바디계 시스템(110)에 공급함으로써, 바디계 시스템(110)의 제어를 행한다. 또한, 바디계 제어부(109)는, 필요에 따라, 바디계 시스템(110) 이외의 각 부에 제어 신호를 공급하여, 바디계 시스템(110)의 제어 상태의 통지 등을 행한다.
바디계 시스템(110)은, 차체에 장비된 바디계의 각종 장치를 구비한다. 예를 들어, 바디계 시스템(110)은, 키리스 엔트리 시스템, 스마트 키 시스템, 파워 윈도우 장치, 파워 시트, 스티어링 휠, 공조 장치 및 각종 램프(예를 들어, 헤드 램프, 백 램프, 브레이크 램프, 방향 지시등, 포그 램프 등) 등을 구비한다.
기억부(111)는, 예를 들어 ROM(Read Only Memory), RAM(Random Access Memory), HDD(Hard Disc Drive) 등의 자기 기억 디바이스, 반도체 기억 디바이스, 광 기억 디바이스 및 광자기 기억 디바이스 등을 구비한다. 기억부(111)는, 차량 제어 시스템(100)의 각 부가 사용하는 각종 프로그램이나 데이터 등을 기억한다. 예를 들어, 기억부(111)는, 다이내믹 맵 등의 3차원의 고정밀도 지도, 고정밀도 지도보다 정밀도가 낮고, 넓은 에어리어를 커버하는 글로벌 맵 및 자차의 주위의 정보를 포함하는 로컬 맵 등의 지도 데이터를 기억한다.
자동 운전 제어부(112)는, 자율 주행 또는 운전 지원 등의 자동 운전에 관한 제어를 행한다. 구체적으로는, 예를 들어 자동 운전 제어부(112)는, 자차의 충돌 회피 혹은 충격 완화, 차간 거리에 기초하는 추종 주행, 차속 유지 주행, 자차의 충돌 경고, 또는 자차의 레인 일탈 경고 등을 포함하는 ADAS(Advanced Driver Assistance System)의 기능 실현을 목적으로 한 협조 제어를 행한다. 또한, 예를 들어 자동 운전 제어부(112)는, 운전자의 조작에 따르지 않고 자율적으로 주행하는 자동 운전 등을 목적으로 한 협조 제어를 행한다. 자동 운전 제어부(112)는, 검출부(131), 자기 위치 추정부(132), 상황 분석부(133), 계획부(134) 및 동작 제어부(135)를 구비한다.
검출부(131)는, 자동 운전의 제어에 필요한 각종 정보의 검출을 행한다. 검출부(131)는, 차외 정보 검출부(141), 차내 정보 검출부(142) 및 차량 상태 검출부(143)를 구비한다.
차외 정보 검출부(141)는, 차량 제어 시스템(100)의 각 부로부터의 데이터 또는 신호에 기초하여, 자차의 외부의 정보의 검출 처리를 행한다. 예를 들어, 차외 정보 검출부(141)는, 자차의 주위의 물체 검출 처리, 인식 처리 및 추적 처리, 그리고 물체까지의 거리의 검출 처리를 행한다. 검출 대상이 되는 물체에는, 예를 들어 차량, 사람, 장애물, 구조물, 도로, 신호기, 교통 표지, 도로 표시 등이 포함된다. 또한, 예를 들어 차외 정보 검출부(141)는, 자차의 주위 환경의 검출 처리를 행한다. 검출 대상이 되는 주위의 환경에는, 예를 들어 날씨, 기온, 습도, 밝기 및 노면의 상태 등이 포함된다. 차외 정보 검출부(141)는, 검출 처리의 결과를 나타내는 데이터를 자기 위치 추정부(132), 상황 분석부(133)의 맵 해석부(151), 교통 룰 인식부(152) 및 상황 인식부(153), 그리고 동작 제어부(135)의 긴급 사태 회피부(171) 등에 공급한다.
차내 정보 검출부(142)는, 차량 제어 시스템(100)의 각 부로부터의 데이터 또는 신호에 기초하여, 차내의 정보의 검출 처리를 행한다. 예를 들어, 차내 정보 검출부(142)는, 운전자의 인증 처리 및 인식 처리, 운전자의 상태의 검출 처리, 탑승자의 검출 처리 및 차내의 환경의 검출 처리 등을 행한다. 검출 대상이 되는 운전자의 상태에는, 예를 들어 몸 상태, 각성도, 집중도, 피로도, 시선 방향 등이 포함된다. 검출 대상이 되는 차내의 환경에는, 예를 들어 기온, 습도, 밝기, 냄새 등이 포함된다. 차내 정보 검출부(142)는, 검출 처리의 결과를 나타내는 데이터를 상황 분석부(133)의 상황 인식부(153) 및 동작 제어부(135)의 긴급 사태 회피부(171) 등에 공급한다.
차량 상태 검출부(143)는, 차량 제어 시스템(100)의 각 부로부터의 데이터 또는 신호에 기초하여, 자차의 상태의 검출 처리를 행한다. 검출 대상이 되는 자차의 상태에는, 예를 들어 속도, 가속도, 타각, 이상의 유무 및 내용, 운전 조작의 상태, 파워 시트의 위치 및 기울기, 도어록의 상태, 그리고 기타의 차량 탑재 기기의 상태 등이 포함된다. 차량 상태 검출부(143)는, 검출 처리의 결과를 나타내는 데이터를 상황 분석부(133)의 상황 인식부(153) 및 동작 제어부(135)의 긴급 사태 회피부(171) 등에 공급한다.
자기 위치 추정부(132)는, 차외 정보 검출부(141) 및 상황 분석부(133)의 상황 인식부(153) 등의 차량 제어 시스템(100)의 각 부로부터의 데이터 또는 신호에 기초하여, 자차의 위치 및 자세 등의 추정 처리를 행한다. 또한, 자기 위치 추정부(132)는, 필요에 따라, 자기 위치의 추정에 사용하는 로컬 맵(이하, 자기 위치 추정용 맵이라고 칭함)을 생성한다. 자기 위치 추정용 맵은, 예를 들어 SLAM(Simultaneous Localization and Mapping) 등의 기술을 사용한 고정밀도의 맵으로 된다. 자기 위치 추정부(132)는, 추정 처리의 결과를 나타내는 데이터를 상황 분석부(133)의 맵 해석부(151), 교통 룰 인식부(152) 및 상황 인식부(153) 등에 공급한다. 또한, 자기 위치 추정부(132)는, 자기 위치 추정용 맵을 기억부(111)에 기억시킨다.
상황 분석부(133)는, 자차 및 주위의 상황의 분석 처리를 행한다. 상황 분석부(133)는, 맵 해석부(151), 교통 룰 인식부(152), 상황 인식부(153) 및 상황 예측부(154)를 구비한다.
맵 해석부(151)는, 자기 위치 추정부(132) 및 차외 정보 검출부(141) 등의 차량 제어 시스템(100)의 각 부로부터의 데이터 또는 신호를 필요에 따라 사용하면서, 기억부(111)에 기억되어 있는 각종 맵의 해석 처리를 행하여, 자동 운전의 처리에 필요한 정보를 포함하는 맵을 구축한다. 맵 해석부(151)는, 구축한 맵을, 교통 룰 인식부(152), 상황 인식부(153), 상황 예측부(154), 그리고 계획부(134)의 루트 계획부(161), 행동 계획부(162) 및 동작 계획부(163) 등에 공급한다.
교통 룰 인식부(152)는, 자기 위치 추정부(132), 차외 정보 검출부(141) 및 맵 해석부(151) 등의 차량 제어 시스템(100)의 각 부로부터의 데이터 또는 신호에 기초하여, 자차의 주위의 교통 룰의 인식 처리를 행한다. 이 인식 처리에 의해, 예를 들어 자차의 주위의 신호 위치 및 상태, 자차의 주위 교통 규제 내용, 그리고 주행 가능한 차선 등이 인식된다. 교통 룰 인식부(152)는, 인식 처리의 결과를 나타내는 데이터를 상황 예측부(154) 등에 공급한다.
상황 인식부(153)는, 자기 위치 추정부(132), 차외 정보 검출부(141), 차내 정보 검출부(142), 차량 상태 검출부(143) 및 맵 해석부(151) 등의 차량 제어 시스템(100)의 각 부로부터의 데이터 또는 신호에 기초하여, 자차에 관한 상황의 인식 처리를 행한다. 예를 들어, 상황 인식부(153)는, 자차의 상황, 자차의 주위의 상황 및 자차의 운전자의 상황 등의 인식 처리를 행한다. 또한, 상황 인식부(153)는, 필요에 따라, 자차의 주위의 상황의 인식에 사용하는 로컬 맵(이하, 상황 인식용 맵이라고 칭함)을 생성한다. 상황 인식용 맵은, 예를 들어 점유 격자 지도(Occupancy Grid Map)로 된다.
인식 대상이 되는 자차의 상황에는, 예를 들어 자차의 위치, 자세, 움직임(예를 들어, 속도, 가속도, 이동 방향 등), 그리고 이상의 유무 및 내용 등이 포함된다. 인식 대상이 되는 자차의 주위의 상황에는, 예를 들어 주위의 정지 물체의 종류 및 위치, 주위의 동물체의 종류, 위치 및 움직임(예를 들어, 속도, 가속도, 이동 방향 등), 주위의 도로의 구성 및 노면의 상태, 그리고 주위의 날씨, 기온, 습도 및 밝기 등이 포함된다. 인식 대상이 되는 운전자의 상태에는, 예를 들어 몸상태, 각성도, 집중도, 피로도, 시선의 움직임, 그리고 운전 조작 등이 포함된다.
상황 인식부(153)는, 인식 처리의 결과를 나타내는 데이터(필요에 따라, 상황 인식용 맵을 포함함)를 자기 위치 추정부(132) 및 상황 예측부(154) 등에 공급한다. 또한, 상황 인식부(153)는, 상황 인식용 맵을 기억부(111)에 기억시킨다.
상황 예측부(154)는, 맵 해석부(151), 교통 룰 인식부(152) 및 상황 인식부(153) 등의 차량 제어 시스템(100)의 각 부로부터의 데이터 또는 신호에 기초하여, 자차에 관한 상황의 예측 처리를 행한다. 예를 들어, 상황 예측부(154)는, 자차의 상황, 자차의 주위의 상황 및 운전자의 상황 등의 예측 처리를 행한다.
예측 대상이 되는 자차의 상황에는, 예를 들어 자차의 거동, 이상의 발생 및 주행 가능 거리 등이 포함된다. 예측 대상이 되는 자차의 주위의 상황에는, 예를 들어 자차의 주위의 동물체의 거동, 신호의 상태의 변화 및 날씨 등의 환경의 변화 등이 포함된다. 예측 대상이 되는 운전자의 상황에는, 예를 들어 운전자의 거동 및 몸상태 등이 포함된다.
상황 예측부(154)는, 예측 처리의 결과를 나타내는 데이터를, 교통 룰 인식부(152) 및 상황 인식부(153)로부터의 데이터와 함께, 계획부(134)의 루트 계획부(161), 행동 계획부(162) 및 동작 계획부(163) 등에 공급한다.
루트 계획부(161)는, 맵 해석부(151) 및 상황 예측부(154) 등의 차량 제어 시스템(100)의 각 부로부터의 데이터 또는 신호에 기초하여, 목적지까지의 루트를 계획한다. 예를 들어, 루트 계획부(161)는, 글로벌 맵에 기초하여, 현재 위치로부터 지정된 목적지까지의 루트를 설정한다. 또한, 예를 들어 루트 계획부(161)는, 정체, 사고, 통행 규제, 공사 등의 상황 및 운전자의 몸상태 등에 기초하여, 적절히 루트를 변경한다. 루트 계획부(161)는, 계획한 루트를 나타내는 데이터를 행동 계획부(162) 등에 공급한다.
행동 계획부(162)는, 맵 해석부(151) 및 상황 예측부(154) 등의 차량 제어 시스템(100)의 각 부로부터의 데이터 또는 신호에 기초하여, 루트 계획부(161)에 의해 계획된 루트를 계획된 시간 내에 안전하게 주행하기 위한 자차 행동을 계획한다. 예를 들어, 행동 계획부(162)는, 발진, 정지, 진행 방향(예를 들어, 전진, 후퇴, 좌회전, 우회전, 방향 전환 등), 주행 차선, 주행 속도 및 추월 등의 계획을 행한다. 행동 계획부(162)는, 계획한 자차의 행동을 나타내는 데이터를 동작 계획부(163) 등에 공급한다.
동작 계획부(163)는, 맵 해석부(151) 및 상황 예측부(154) 등의 차량 제어 시스템(100)의 각 부로부터의 데이터 또는 신호에 기초하여, 행동 계획부(162)에 의해 계획된 행동을 실현하기 위한 자차 동작을 계획한다. 예를 들어, 동작 계획부(163)는, 가속, 감속 및 주행 궤도 등의 계획을 행한다. 동작 계획부(163)는, 계획한 자차의 동작을 나타내는 데이터를, 동작 제어부(135)의 가감속 제어부(172) 및 방향 제어부(173) 등에 공급한다.
동작 제어부(135)는, 자차의 동작 제어를 행한다. 동작 제어부(135)는, 긴급 사태 회피부(171), 가감속 제어부(172) 및 방향 제어부(173)를 구비한다.
긴급 사태 회피부(171)는, 차외 정보 검출부(141), 차내 정보 검출부(142) 및 차량 상태 검출부(143)의 검출 결과에 기초하여, 충돌, 접촉, 위험 지대로의 진입, 운전자의 이상, 차량의 이상 등의 긴급 사태의 검출 처리를 행한다. 긴급 사태 회피부(171)는, 긴급 사태의 발생을 검출한 경우, 급정차나 급선회 등의 긴급 사태를 회피하기 위한 자차의 동작을 계획한다. 긴급 사태 회피부(171)는, 계획한 자차의 동작을 나타내는 데이터를 가감속 제어부(172) 및 방향 제어부(173) 등에 공급한다.
가감속 제어부(172)는, 동작 계획부(163) 또는 긴급 사태 회피부(171)에 의해 계획된 자차의 동작을 실현하기 위한 가감속 제어를 행한다. 예를 들어, 가감속 제어부(172)는, 계획된 가속, 감속, 또는 급정차를 실현하기 위한 구동력 발생 장치 또는 제동 장치의 제어 목표값을 연산하고, 연산한 제어 목표값을 나타내는 제어 명령을 구동계 제어부(107)에 공급한다.
방향 제어부(173)는, 동작 계획부(163) 또는 긴급 사태 회피부(171)에 의해 계획된 자차의 동작을 실현하기 위한 방향 제어를 행한다. 예를 들어, 방향 제어부(173)는, 동작 계획부(163) 또는 긴급 사태 회피부(171)에 의해 계획된 주행 궤도 또는 급선회를 실현하기 위한 스티어링 기구의 제어 목표값을 연산하고, 연산한 제어 목표값을 나타내는 제어 명령을 구동계 제어부(107)에 공급한다.
이상 설명한 차량 제어 시스템(100)에 있어서, 본 실시 형태에서 나타낸 촬상부(20)는 데이터 취득부(102), 신호 처리부(30-1)(30-2, 30-3, 30-4)는 차외 정보 검출부(141)에 상당한다. 촬상부(20)와 신호 처리부(30-1)(30-2, 30-3, 30-4)를 차량 제어 시스템(100)에 설치한 경우, 차량 제어 시스템(100)을 마련한 차량과 차외의 물체의 상대 위치 관계의 변화에 따라 촬상부(20)의 씨닝양이 설정되어 촬상이 행해지므로, 롤링 셔터 왜곡이 적은 촬상 화면을 취득할 수 있게 된다. 또한, 씨닝양에 따른 인식기로 전환하여 피사체 인식이 행해지므로, 인식기의 전환을 행하지 않고 피사체 인식을 행하는 경우에 비해 고정밀도로 피사체를 인식할 수 있게 된다.
명세서 중에 있어서 설명한 일련의 처리는 하드웨어, 또는 소프트웨어, 혹은 양자의 복합 구성에 의해 실행하는 것이 가능하다. 소프트웨어에 의한 처리를 실행하는 경우는, 처리 시퀀스를 기록한 프로그램을, 전용의 하드웨어에 내장된 컴퓨터 내의 메모리에 인스톨하여 실행시킨다. 또는, 각종 처리가 실행 가능한 범용 컴퓨터에 프로그램을 인스톨하여 실행시키는 것이 가능하다.
예를 들어, 프로그램은 기록 매체로서의 하드 디스크나 SSD(Solid State Drive), ROM(Read Only Memory)에 미리 기록해 둘 수 있다. 혹은, 프로그램은 플렉시블 디스크, CD-ROM(Compact Disc Read Only Memory), MO(Magneto optical) 디스크, DVD(Digital Versatile Disc), BD(Blu-Ray Disc(등록 상표)), 자기 디스크, 반도체 메모리 카드 등의 리무버블 기록 매체에, 일시적 또는 영속적으로 저장(기록)해 둘 수 있다. 이러한 리무버블 기록 매체는, 소위 패키지 소프트웨어로서 제공할 수 있다.
또한, 프로그램은, 리무버블 기록 매체로부터 컴퓨터에 인스톨하는 것 외에, 다운로드 사이트로부터 LAN(Local Area Network)이나 인터넷 등의 네트워크를 통해, 컴퓨터에 무선 또는 유선으로 전송해도 된다. 컴퓨터에서는, 그렇게 하여 전송되어 오는 프로그램을 수신하여, 내장하는 하드 디스크 등의 기록 매체에 인스톨할 수 있다.
또한, 본 명세서에 기재한 효과는 어디까지나 예시이며 한정되는 것은 아니고, 기재되어 있지 않은 부가적인 효과가 있어도 된다. 또한, 본 기술은, 상술한 기술의 실시 형태에 한정하여 해석되어서는 안된다. 이 기술의 실시 형태는, 예시라는 형태로 본 기술을 개시하고 있고, 본 기술의 요지를 일탈하지 않는 범위에서 당업자가 실시 형태의 수정이나 대용을 이룰 수 있는 것은 자명하다. 즉, 본 기술의 요지를 판단하기 위해서는, 청구범위를 참작해야 한다.
또한, 본 기술의 정보 처리 장치는 이하와 같은 구성도 취할 수 있다.
(1) 촬상부와 피사체의 상대 위치 관계의 변화를 검출하는 움직임 검출부와,
상기 움직임 검출부의 검출 결과에 따라 상기 촬상부의 라인 씨닝 동작의 씨닝양을 설정하는 씨닝 설정부
를 구비하는 정보 처리 장치.
(2) 상기 씨닝 설정부는, 상기 움직임 검출부에서 검출되는 변화가 커짐에 수반하여, 씨닝양을 크게 하는 (1)에 기재된 정보 처리 장치.
(3) 상기 씨닝 설정부는, 상기 움직임 검출부에서 검출되는 상대 위치 관계의 변화가 상기 촬상부의 회전에 의해 발생하는 변화인 경우, 화면 전체에서 균등한 라인 씨닝 동작을 행하는 (2)에 기재된 정보 처리 장치.
(4) 상기 씨닝 설정부는, 상기 움직임 검출부에서 검출되는 상대 위치 관계의 변화가 상기 촬상부의 광축의 방향의 이동에 의해 발생하는 변화인 경우, 상기 촬상부의 광축 방향의 이동에 의해 발생하는 상기 상대 위치 관계의 변화가 큰 영역은 변화가 적은 영역보다도 씨닝양을 크게 하는 (2) 또는 (3)에 기재된 정보 처리 장치.
(5) 상기 움직임 검출부의 검출 결과에 따라 상기 촬상부에 있어서의 라인의 판독 순서 방향을 설정하는 판독 설정부를 더 구비하는 (1) 내지 (4) 중 어느 한 항에 기재된 정보 처리 장치.
(6) 상기 판독 설정부는, 상기 움직임 검출부에서 검출되는 상대 위치 관계의 변화가 상기 촬상부의 광축 방향의 전진 이동에 의해 발생하는 변화인 경우에 라인의 판독 순서 방향을 하측 방향으로 하고, 상기 촬상부의 광축 방향의 후퇴 이동에 의해 발생하는 변화인 경우에 라인의 판독 순서 방향을 상측 방향으로 하는 (5)에 기재된 정보 처리 장치.
(7) 상기 움직임 검출부는, 상기 촬상부가 탑재된 이동체의 움직임에 기초하여 상기 상대 위치 관계의 변화를 검출하는 (1) 내지 (6) 중 어느 한 항에 기재된 정보 처리 장치.
(8) 상기 이동체는 차량이고, 차속과 조타각에 기초하여 상기 상대 위치 관계의 변화를 검출하는 (7)에 기재된 정보 처리 장치.
(9) 상기 움직임 검출부는, 상기 촬상부가 탑재된 이동체에 마련된 관성 계측부의 계측 결과에 기초하여 상기 상대 위치 관계의 변화를 검출하는 (7)에 기재된 정보 처리 장치.
(10) 상기 움직임 검출부는, 촬상 씬에 기초하여 상기 상대 위치 관계의 변화를 검출하는 (1)에 기재된 정보 처리 장치.
(11) 상기 움직임 검출부는, 상기 촬상부에서 취득된 화상에 기초하여 상기 상대 위치 관계의 변화를 검출하는 (1)에 기재된 정보 처리 장치.
(12) 상기 씨닝 설정부에서 설정된 씨닝양에 따른 인식기를 사용하여, 상기 촬상부에서 취득된 화상의 피사체 인식을 행하는 인식 처리부를 더 구비하는 (1) 내지 (11) 중 어느 한 항에 기재된 정보 처리 장치.
(13) 상기 인식 처리부는, 상기 씨닝양에 따라 미리 생성된 사전을 사용하여 피사체 인식을 행하는 (12)에 기재된 정보 처리 장치.
(14) 상기 인식 처리부는, 상기 씨닝 설정부에서 영역마다 설정된 씨닝양에 따른 인식기를 사용하는 (12)에 기재된 정보 처리 장치.
(15) 상기 움직임 검출부의 검출 결과에 따라 상기 촬상부에 있어서의 라인의 판독 순서 방향을 설정하는 판독 설정부를 더 구비하고,
상기 인식 처리부는, 상기 씨닝 설정부에서 설정된 씨닝양과 상기 판독 설정부에서 설정된 판독 순서 방향에 따른 인식기를 사용하여 상기 피사체 인식을 행하는 (12) 내지 (14) 중 어느 한 항에 기재된 정보 처리 장치.
(16) 상기 촬상부에서 취득된 화상을 사용하여 대응점 탐색을 행하는 화상 처리부를 더 구비하고,
상기 화상 처리부는, 상기 씨닝 설정부에서 설정된 씨닝양에 따라 탐색 범위를 조정하는 (1) 내지 (15) 중 어느 한 항에 기재된 정보 처리 장치.
(17) 상기 화상 처리부는, 상기 씨닝 설정부에서 설정된 씨닝양에 따라 대응점의 신뢰도를 조정하는 (16)에 기재된 정보 처리 장치.
(18) 롤링 셔터 동작을 행하는 상기 촬상부를 더 구비하는 (1) 내지 (17) 중 어느 한 항에 기재된 정보 처리 장치.
이 기술의 정보 처리 장치와 정보 처리 방법과 프로그램에서는, 촬상부와 피사체의 상대 위치 관계의 변화에 따라 촬상부의 라인 씨닝 동작의 씨닝양이 설정된다. 이 때문에, 왜곡이 적은 피사체 화상이 얻어지게 된다. 따라서, 이동체에 탑재되는 장치 등에 적합하다.
10: 촬상 시스템
20: 촬상부
21: 촬상 렌즈
22: 이미지 센서
30-1, 30-2, 30-3, 30-4: 신호 처리부
31: 움직임 검출부
32: 씨닝 설정부
33: 영역 왜곡량 추정부
34: 영역 씨닝 설정부
35: 판독 설정부
36: 보간 처리부
37-1, 37-2, 37-3, 37-4: 인식 처리부
38: 화상 처리부
371-1, 371-2, 371-3: 인식기 전환부
372-1 내지 372-n, 372-d1 내지 372-dn, 372-u1 내지 372-un: 인식기

Claims (20)

  1. 정보 처리 장치로서,
    촬상부와,
    피사체에 대한 상기 촬상부의 움직임을 검출하도록 구성된 움직임 검출부와,
    상기 움직임 검출부에 의해 얻어진 움직임에 따라 상기 촬상부의 라인 씨닝 동작의 씨닝양을 설정하는 씨닝 설정부와, - 상기 씨닝 설정부는, 상기 움직임 검출부에서 검출되는 움직임이 커짐에 수반하여 씨닝양을 크게 함 -
    상기 촬상부로부터 출력된 화상 신호를 사용하여 보간 처리를 행하고, 씨닝 전의 화상과 라인수가 동등한 보간 화상의 화상 신호를 생성하도록 구성된 보간 처리부를 포함하고,
    상기 움직임 검출부에서 검출되는 움직임이 광축 방향으로 상기 촬상부의 이동에 의해 발생되는 경우, 상기 씨닝 설정부는, 상기 화상의 하측 영역에서의 씨닝양을 상기 화상의 상측 영역에서의 씨닝양보다 크게 설정하는,
    정보 처리 장치.
  2. 제1항에 있어서, 상기 씨닝 설정부는, 상기 움직임 검출부에서 검출되는 움직임이 상기 촬상부의 회전에 의해 발생하는 경우, 화면 전체에서 균등한 라인 씨닝 동작을 행하는,
    정보 처리 장치.
  3. 제1항에 있어서, 상기 움직임 검출부는, 상기 촬상부가 탑재된 이동체의 움직임에 기초하여 움직임을 검출하는,
    정보 처리 장치.
  4. 제3항에 있어서, 상기 이동체는 차량을 포함하고, 상기 움직임은 차속과 조타각에 기초하여 검출되거나, 또는,
    상기 움직임 검출부는 촬상부가 탑재된 이동체에 마련된 관성 계측부에 의해 얻은 계측 결과에 기초하여 움직임을 검출하는,
    정보 처리 장치.
  5. 제1항에 있어서, 상기 움직임 검출부는, 촬상 씬에 기초하여 움직임을 검출하는,
    정보 처리 장치.
  6. 정보 처리 방법으로서,
    촬상부에 의해, 화상 신호를 생성하는 것과,
    움직임 검출부에 의해, 상기 촬상부와 피사체 사이의 움직임을 검출하는 것과,
    씨닝 설정부에 의해, 상기 움직임 검출부에 의해 얻어진 검출 결과에 따라 상기 촬상부의 라인 씨닝 동작의 씨닝양을 설정하는 것과, - 상기 움직임 검출부에 의해 검출되는 움직임이 커짐에 수반하여 씨닝양을 크게 함 -
    보간 처리부에 의해, 상기 촬상부에 의해 생성된 화상 신호를 사용하여 보간 처리를 행하고, 씨닝 전의 화상과 라인수가 동등한 보간 화상의 화상 신호를 생성하는 것을 포함하고,
    상기 움직임 검출부에서 검출되는 움직임이 광축 방향으로 상기 촬상부의 이동에 의해 발생되는 경우, 상기 씨닝 설정부는, 상기 화상의 하측 영역에서의 씨닝양을 상기 화상의 상측 영역에서의 씨닝양보다 크게 설정하는,
    정보 처리 장치.
  7. 컴퓨터에 의해 실행될 때, 제6항에서 한정된 방법을 수행하는 명령어를 포함하는, 컴퓨터로 판독 가능한 기록 매체에 저장된 컴퓨터 프로그램.
  8. 삭제
  9. 삭제
  10. 삭제
  11. 삭제
  12. 삭제
  13. 삭제
  14. 삭제
  15. 삭제
  16. 삭제
  17. 삭제
  18. 삭제
  19. 삭제
  20. 삭제
KR1020217003347A 2018-08-16 2019-07-23 정보 처리 장치와 정보 처리 방법과 프로그램 KR102645368B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JPJP-P-2018-153171 2018-08-16
JP2018153171 2018-08-16
PCT/JP2019/028784 WO2020036043A1 (ja) 2018-08-16 2019-07-23 情報処理装置と情報処理方法とプログラム

Publications (2)

Publication Number Publication Date
KR20210043571A KR20210043571A (ko) 2021-04-21
KR102645368B1 true KR102645368B1 (ko) 2024-03-11

Family

ID=69525391

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020217003347A KR102645368B1 (ko) 2018-08-16 2019-07-23 정보 처리 장치와 정보 처리 방법과 프로그램

Country Status (6)

Country Link
US (1) US11563905B2 (ko)
EP (1) EP3840359A4 (ko)
JP (1) JP7409309B2 (ko)
KR (1) KR102645368B1 (ko)
CN (1) CN112567726B (ko)
WO (1) WO2020036043A1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2020137313A1 (ko) * 2018-12-28 2020-07-02
JPWO2022163130A1 (ko) * 2021-01-29 2022-08-04

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008060650A (ja) * 2006-08-29 2008-03-13 Konica Minolta Holdings Inc 車載用撮像装置および車載用撮像装置の撮像方法
JP2009258651A (ja) * 2008-03-18 2009-11-05 Zenrin Co Ltd 路面標示地図生成方法
JP2018033100A (ja) * 2016-08-26 2018-03-01 キヤノン株式会社 画像処理装置及び方法、及び撮像装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002209838A (ja) * 2001-01-22 2002-07-30 Olympus Optical Co Ltd 内視鏡撮像装置
JP4509917B2 (ja) * 2005-11-21 2010-07-21 株式会社メガチップス 画像処理装置及びカメラシステム
JP5909147B2 (ja) * 2012-05-08 2016-04-26 キヤノン株式会社 撮像装置、撮像装置の制御方法、およびプログラム
US9854216B2 (en) 2013-12-10 2017-12-26 Canon Kabushiki Kaisha Image pickup apparatus that displays image based on signal output from image pickup device, method of controlling the same, and storage medium
JP6311646B2 (ja) 2015-05-20 2018-04-18 株式会社デンソー 画像処理装置、電子ミラーシステム、及び画像処理方法
JP6358214B2 (ja) 2015-09-18 2018-07-18 株式会社ニコン 撮像装置
EP3451651B1 (en) * 2016-04-27 2022-06-08 Sony Group Corporation Imaging control device, imaging control method, and imaging apparatus
JP6758950B2 (ja) * 2016-06-27 2020-09-23 キヤノン株式会社 撮像装置、その制御方法とプログラム
JP6740756B2 (ja) * 2016-07-04 2020-08-19 株式会社ニコン 撮像装置および自動車

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008060650A (ja) * 2006-08-29 2008-03-13 Konica Minolta Holdings Inc 車載用撮像装置および車載用撮像装置の撮像方法
JP2009258651A (ja) * 2008-03-18 2009-11-05 Zenrin Co Ltd 路面標示地図生成方法
JP2018033100A (ja) * 2016-08-26 2018-03-01 キヤノン株式会社 画像処理装置及び方法、及び撮像装置

Also Published As

Publication number Publication date
US11563905B2 (en) 2023-01-24
EP3840359A1 (en) 2021-06-23
JP7409309B2 (ja) 2024-01-09
CN112567726B (zh) 2023-12-05
US20210227155A1 (en) 2021-07-22
WO2020036043A1 (ja) 2020-02-20
EP3840359A4 (en) 2021-12-15
CN112567726A (zh) 2021-03-26
KR20210043571A (ko) 2021-04-21
JPWO2020036043A1 (ja) 2021-09-24

Similar Documents

Publication Publication Date Title
KR102533860B1 (ko) 화상 처리 장치 및 화상 처리 방법
US11531354B2 (en) Image processing apparatus and image processing method
KR102613792B1 (ko) 촬상 장치, 화상 처리 장치 및 화상 처리 방법
US11815799B2 (en) Information processing apparatus and information processing method, imaging apparatus, mobile device, and computer program
JP7320001B2 (ja) 情報処理装置、情報処理方法、プログラム、移動体制御装置、及び、移動体
JP7180670B2 (ja) 制御装置、制御方法、並びにプログラム
KR20220020804A (ko) 정보 처리 장치 및 정보 처리 방법, 그리고 프로그램
US20230370709A1 (en) Imaging device, information processing device, imaging system, and imaging method
JPWO2020129369A1 (ja) キャリブレーション装置とキャリブレーション方法とプログラムおよびキャリブレーションシステムとキャリブレーションターゲット
JP7380674B2 (ja) 情報処理装置と情報処理方法および移動制御装置と移動制御方法
WO2020183892A1 (ja) 情報処理装置及び情報処理方法、並びに移動体装置
KR102645368B1 (ko) 정보 처리 장치와 정보 처리 방법과 프로그램
US20240056694A1 (en) Imaging device, image processing method, and image processing program
WO2020261838A1 (ja) 画像処理装置と画像処理方法およびプログラム
WO2020195965A1 (ja) 情報処理装置、情報処理方法及びプログラム
WO2020036044A1 (ja) 画像処理装置と画像処理方法およびプログラム
JP7483627B2 (ja) 情報処理装置、情報処理方法、プログラム、移動体制御装置、及び、移動体
KR102685934B1 (ko) 정보 처리 장치, 이동체, 제어 시스템, 정보 처리 방법 및 프로그램
JP7318656B2 (ja) 画像処理装置と画像処理方法およびプログラム
WO2020195969A1 (ja) 情報処理装置、情報処理方法及びプログラム

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant