KR20200106153A - 화상 처리 장치 및 방법, 및 화상 처리 시스템 - Google Patents

화상 처리 장치 및 방법, 및 화상 처리 시스템 Download PDF

Info

Publication number
KR20200106153A
KR20200106153A KR1020207016059A KR20207016059A KR20200106153A KR 20200106153 A KR20200106153 A KR 20200106153A KR 1020207016059 A KR1020207016059 A KR 1020207016059A KR 20207016059 A KR20207016059 A KR 20207016059A KR 20200106153 A KR20200106153 A KR 20200106153A
Authority
KR
South Korea
Prior art keywords
image
area
read
unit
frame
Prior art date
Application number
KR1020207016059A
Other languages
English (en)
Other versions
KR102658707B1 (ko
Inventor
마모루 야마자키
Original Assignee
소니 세미컨덕터 솔루션즈 가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니 세미컨덕터 솔루션즈 가부시키가이샤 filed Critical 소니 세미컨덕터 솔루션즈 가부시키가이샤
Publication of KR20200106153A publication Critical patent/KR20200106153A/ko
Application granted granted Critical
Publication of KR102658707B1 publication Critical patent/KR102658707B1/ko

Links

Images

Classifications

    • H04N5/23229—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/60—Rotation of whole images or parts thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/684—Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6811—Motion detection based on the image signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6812—Motion detection based on additional sensors, e.g. acceleration sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H04N25/443—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by reading pixels from selected 2D regions of the array, e.g. for windowing or digital zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/78—Readout circuits for addressed sensors, e.g. output amplifiers or A/D converters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection
    • H04N5/145—Movement estimation
    • H04N5/23254—

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Studio Devices (AREA)

Abstract

본 개시는, 화상 안정화에 따른 부하의 증대를 억제할 수 있도록 하는 화상 처리 장치 및 방법, 및 화상 처리 시스템에 관한 것이다. 처리 대상 프레임의 다음 이후의 미리 정해진 프레임에 대해, 움직임 예측 정보에 기초하여, 복수의 화소에 의해 형성되는 촬상 영역 내의, 화상을 판독하는 영역인 판독 영역을 설정하고, 그 설정된 처리 대상 프레임의 판독 영역으로부터 판독된 판독 화상으로부터 부분 화상을 컷아웃하는 컷아웃 영역을 설정한다. 본 개시는, 예를 들면, 화상 처리 장치, 촬상 장치, 또는 화상 처리 시스템 등에 적용할 수 있다.

Description

화상 처리 장치 및 방법, 및 화상 처리 시스템
본 개시는 화상 처리 장치 및 방법, 및 화상 처리 시스템에 관한 것이며, 특히, 화상 안정화에 따른 부하의 증대를 억제할 수 있도록 한 화상 처리 장치 및 방법, 및 화상 처리 시스템에 관한 것이다.
종래, 카메라 EIS(Electronic Image Stabilization) 흔들림 보정 기술로서, 움직임에 따라 촬상 화상으로부터 부분 화상을 컷아웃하는 방법이 있었다(예를 들면, 특허문헌 1 참조).
특허문헌 1: 국제공개 제2014/156731호
그러나, 이 방법의 경우, 보다 격렬한 움직임에 대해서도 화상을 안정화시킬 수 있도록 보정 성능을 향상시키기 위해서는, 보다 고화소의 센서를 사용하여 촬상하고, 그 촬상 화상으로부터 부분 화상의 컷아웃을 행할 필요가 있다. 그러나, 화소수가 증대할수록, 이미지 센서로부터 보다 대량의 데이터를 보다 고속으로 판독해야 하며, 부하가 증대할 우려가 있었다.
본 개시는, 이러한 상황을 감안하여 이루어진 것이며, 화상 안정화에 따른 부하의 증대를 억제할 수 있도록 하는 것이다.
본 기술의 일 측면의 화상 처리 장치는, 처리 대상 프레임의 다음 이후의 미리 정해진 프레임에 대해, 움직임 예측 정보에 기초하여, 복수의 화소에 의해 형성되는 촬상 영역 내의, 화상을 판독하는 영역인 판독 영역을 설정하는 판독 영역 설정부와, 상기 판독 영역 설정부에 의해 설정된 상기 처리 대상 프레임의 상기 판독 영역으로부터 판독된 판독 화상으로부터 부분 화상을 컷아웃하는 컷아웃 영역을 설정하는 컷아웃 영역 설정부를 구비하는 화상 처리 장치이다.
본 기술의 일 측면의 화상 처리 방법은, 처리 대상 프레임의 다음 이후의 미리 정해진 프레임에 대해, 움직임 예측 정보에 기초하여, 복수의 화소에 의해 형성되는 촬상 영역 내의, 화상을 판독하는 영역인 판독 영역을 설정하고, 설정된 상기 처리 대상 프레임의 상기 판독 영역으로부터 판독된 판독 화상으로부터 부분 화상을 컷아웃하는 컷아웃 영역을 설정하는 화상 처리 방법이다.
본 기술의 다른 측면의 화상 처리 시스템은, 피사체를 촬상하는 촬상 장치와, 화상 처리를 행하는 화상 처리 장치를 구비하고, 처리 대상 프레임의 다음 이후의 미리 정해진 프레임에 대해, 움직임 예측 정보에 기초하여, 복수의 화소에 의해 형성되는 촬상 영역 내의, 화상을 판독하는 영역인 판독 영역을 설정하는 판독 영역 설정부와, 상기 판독 영역 설정부에 의해 설정된 상기 처리 대상 프레임의 상기 판독 영역으로부터 판독된 판독 화상으로부터 부분 화상을 컷아웃하는 컷아웃 영역을 설정하는 컷아웃 영역 설정부를 갖는 화상 처리 시스템이다.
본 기술의 일 측면의 화상 처리 장치 및 방법, 및 화상 처리 시스템에 있어서는, 처리 대상 프레임의 다음 이후의 미리 정해진 프레임에 대해, 움직임 예측 정보에 기초하여, 복수의 화소에 의해 형성되는 촬상 영역 내의, 화상을 판독하는 영역인 판독 영역이 설정되며, 그 설정된 처리 대상 프레임의 판독 영역으로부터 판독된 판독 화상으로부터 부분 화상을 컷아웃하는 컷아웃 영역이 설정된다.
본 개시에 의하면, 화상을 처리할 수 있다. 특히, 화상 안정화에 따른 부하의 증대를 억제할 수 있다.
도 1은 종래의 화상 안정화 방법을 설명하는 도면이다.
도 2는 촬상 장치의 주요 구성예를 나타내는 블록도이다.
도 3은 이미지 센서의 주요 구성예를 나타내는 블록도이다.
도 4는 화상 안정화부의 주요 구성예를 나타내는 블록도이다.
도 5는 본 기술을 적용한 화상 안정화의 처리의 개요를 설명하는 도면이다.
도 6은 판독 영역의 설정 모습의 예를 설명하는 도면이다.
도 7은 IMU 데이터의 추정의 예를 설명하는 도면이다.
도 8은 판독 영역의 설정 모습의 예를 설명하는 도면이다.
도 9는 IMU 데이터의 추정의 예를 설명하는 도면이다.
도 10은 판독 영역 설정 모습의 예를 설명하는 도면이다.
도 11은 촬상 처리의 흐름의 예를 설명하는 플로우차트이다.
도 12는 판독 영역 설정 처리의 흐름의 예를 설명하는 플로우차트이다.
도 13은 판독 영역 설정 처리의 흐름의 예를 설명하는 플로우차트이다.
도 14는 판독 영역의 설정 모습의 예를 설명하는 도면이다.
도 15는 화상 안정화부의 주요 구성예를 나타내는 블록도이다.
도 16은 촬상 처리의 흐름의 예를 설명하는 플로우차트이다.
도 17은 판독 영역 설정 처리의 흐름의 예를 설명하는 플로우차트이다.
도 18은 촬상 장치의 주요 구성예를 나타내는 블록도이다.
도 19는 화상 처리 시스템의 주요 구성예를 나타내는 블록도이다.
도 20은 화상 안정화부의 주요 구성예를 나타내는 블록도이다.
도 21은 서버의 주요 구성예를 나타내는 블록도이다.
도 22는 촬상 처리의 흐름의 예를 설명하는 플로우차트이다.
도 23은 컷아웃 처리의 흐름의 예를 설명하는 플로우차트이다.
도 24는 화상 처리 장치의 주요 구성예를 나타내는 블록도이다.
도 25는 적층 이미지 센서의 주요 구성예를 나타내는 도면이다.
도 26은 컴퓨터의 주요 구성예를 나타내는 블록도이다.
이하, 본 개시를 실시하기 위한 형태(이하, 실시형태라고 함)에 대해 설명한다. 또한, 설명은 이하의 순서로 한다.
1. 화상 안정화
2. 제1 실시형태(촬상 장치: IMU 데이터에 기초하는 화상 안정화)
3. 제2 실시형태(촬상 장치: 움직임 벡터에 기초하는 화상 안정화)
4. 제3 실시형태(촬상 장치: 데이터의 기록)
5. 제4 실시형태(화상 처리 시스템)
6. 제5 실시형태(화상 처리 장치)
7. 제6 실시형태(적층 이미지 센서)
8. 부기(付記)
<1. 화상 안정화>
<EIS>
종래, 카메라의 흔들림 보정 기술(화상 안정화 기술)로서 EIS(Electronic Image Stabilization)가 있다. EIS에서는, 동영상의 촬상 화상의 각 프레임으로부터 움직임에 따라 부분 화상을 컷아웃함으로써 화상을 안정화시킨다.
예를 들면, 도 1에 나타내는 촬상 장치(10)와 같이, 이미지 센서(11)는 피사체를 촬상하여 촬상 화상(21)을 생성하고, 그 촬상 화상 데이터를 화상 안정화부(12)에 공급한다. IMU(Inertial Measurement Unit)(관성 계측 장치)(13)는, 촬상 장치(10)의 3축의 각속도나 가속도를 계측하고, 그 계측 데이터를 화상 안정화부(12)에 공급한다. 화상 안정화부(12)는, 그 계측 데이터에 기초하여, 촬상 장치(10)의 움직임에 따른 촬상 화상(21)의 움직임을 검출하고, 그 움직임에 기초하여, 피사체의 위치 변동이 억제되도록, 촬상 화상(21)으로부터, 그 부분 화상인 컷아웃 화상(22)을 컷아웃하여, 출력한다.
이러한 처리를 동영상의 촬상 화상(21)의 각 프레임에 대해 행함으로써, 촬상 장치(10)의 움직임에 따른 피사체의 위치의 흔들림을 억제하고, 화상을 안정화시킬 수 있다.
일반적으로, 이러한 처리는, 촬상 장치(10)를 잡은 손의 떨림에 의한 촬상 화상의 흔들림을 보정하기 위해 이용된다. 이에 대해, 예를 들면, 사용자의 몸에 장착하여 사용하도록 한 웨어러블 기기의 경우, 촬상 화상의 흔들림은, 일반적으로, 이러한 손떨림에 의한 것보다 커지기 쉽다. 따라서, 예를 들면, 이러한 웨어러블 기기로서의 촬상 장치의 흔들림 보정(화상 안정화) 기술로서, 보다 큰 흔들림을 안정화시킬 수 있도록 하는 것이 요구되고 있다.
이를 위해, 상술한 방법의 경우, 보다 큰 촬상 화상(21)으로부터 컷아웃 화상(22)을 컷아웃하도록 하면 된다. 그 때, 출력하는 컷아웃 화상(22)의 해상도를 바꾸지 않는다고 하면, 촬상 화상(21)의 해상도를 향상시키게 된다. 즉, 보다 고화소의 이미지 센서(11)를 사용하여 촬상을 행하도록 하면 된다.
그러나, 이미지 센서(11)의 화소수가 증대할수록(즉, 촬상 화상(21)의 해상도가 증대할수록), 이미지 센서(11)로부터 보다 대량의 데이터를 보다 고속으로 판독할 필요가 있다. 즉, 데이터 판독의 부하가 증대할 우려가 있었다. 보다 구체적으로는, 예를 들면, 출력 인터페이스의 대역폭을 확대할 필요가 있었다. 그 때문에, 개발이나 설계의 비용이 증대할 우려가 있었다. 또한, 예를 들면, 고대역 데이터 전송에 따라 소비 전력이 증대할 우려도 있었다.
부언하건대, 이와 같이 부하가 증대하더라도, 출력하는 컷아웃 화상의 해상도는 변화하지 않는다. 즉, 화상 안정화(흔들림 보정)만을 위해 부하가 증대할 우려가 있었다.
이에, 처리 대상 프레임의 다음 이후의 미리 정해진 프레임에 대해, 움직임 예측 정보에 기초하여, 복수의 화소에 의해 형성되는 촬상 영역 내의, 화상을 판독하는 영역인 판독 영역을 설정하고, 그 설정된 처리 대상 프레임의 판독 영역으로부터 판독된 판독 화상으로부터 부분 화상을 컷아웃하는 컷아웃 영역을 설정하도록 한다.
예를 들면, 화상 처리 장치에 있어서, 처리 대상 프레임의 다음 이후의 미리 정해진 프레임에 대해, 움직임 예측 정보에 기초하여, 복수의 화소에 의해 형성되는 촬상 영역 내의, 화상을 판독하는 영역인 판독 영역을 설정하는 판독 영역 설정부와, 그 판독 영역 설정부에 의해 설정된 처리 대상 프레임의 판독 영역으로부터 판독된 판독 화상으로부터 부분 화상을 컷아웃하는 컷아웃 영역을 설정하는 컷아웃 영역 설정부를 구비하도록 한다.
또한, 예를 들면, 화상 처리 시스템에 있어서, 피사체를 촬상하는 촬상 장치와, 화상 처리를 행하는 화상 처리 장치를 구비하고, 처리 대상 프레임의 다음 이후의 미리 정해진 프레임에 대해, 움직임 예측 정보에 기초하여, 복수의 화소에 의해 형성되는 촬상 영역 내의, 화상을 판독하는 영역인 판독 영역을 설정하는 판독 영역 설정부와, 그 판독 영역 설정부에 의해 설정된 처리 대상 프레임의 판독 영역으로부터 판독된 판독 화상으로부터 부분 화상을 컷아웃하는 컷아웃 영역을 설정하는 컷아웃 영역 설정부를 갖도록 한다.
이와 같이 함으로써, 촬상 영역으로부터 판독하는 데이터량의 증대를 억제할 수 있으므로, 화상 안정화에 따른 부하의 증대를 억제할 수 있다.
<2. 제1 실시형태>
<촬상 장치>
도 2는 본 기술을 적용한 화상 처리 장치의 일 태양인 촬상 장치의 주요 구성의 일례를 나타내는 블록도이다. 도 2에 나타내는 촬상 장치(100)는, 예를 들면 피사체를 동영상으로 촬상하고, 그 촬상 화상에 대해 화상 안정화 처리(흔들림 보정)를 행하여 출력하는 장치이다.
또한, 도 2에서는, 처리부나 데이터의 흐름 등의 주된 것을 나타내고 있으며, 도 2에 나타내는 것이 전부라고는 할 수 없다. 즉, 촬상 장치(100)에 있어서, 도 2에서 블록으로서 나타내지 않는 처리부가 존재하거나, 도 2에서 화살표 등으로서 나타내지 않는 처리나 데이터의 흐름이 존재하거나 해도 된다.
도 2에 나타내는 바와 같이 촬상 장치(100)는, 이미지 센서(101), 화상 안정화부(102), 및 IMU(Inertial Measurement Unit)(관성 계측 장치)(103)를 갖는다.
이미지 센서(101)는, 촬상부로서 구동하고, 피사체를 촬상하고, 피사체로부터의 광을 광전 변환하여, 촬상 화상을 얻는다. 이미지 센서(101)는, 피사체로부터의 광을 광전 변환하는 촬상 영역으로서 복수의 화소로 이루어지는 화소 영역(121)을 가지고 있다. 이미지 센서(101)는, 이 화소 영역(121)의 임의의 범위를 구동하여 촬상을 행하고, 촬상 화상을 생성할 수 있다. 이 범위는 화상 안정화부(102)에 의해 지정된다(화살표(111)). 예를 들면, 이미지 센서(101)는, 화상 안정화부(102)에 의해 지정되는 화소 영역(121)의 일부 영역을 판독 영역으로서 구동하여 판독 화상(122)을 얻는다.
이미지 센서(101)는, 얻어진 촬상 화상을 화상 안정화부(102)에 공급한다(화살표(112)). 예를 들면, 이미지 센서(101)는, 화상 안정화부(102)에 의해 지정된 판독 영역에서 얻어진 판독 화상(122)을 촬상 화상으로서 출력한다.
IMU(103)는, 이미지 센서(101)(또는, 이미지 센서(101)를 포함하는 촬상 장치(100))의 움직임이나 자세를 계측하는 계측부이다. 보다 구체적으로, IMU(103)는, 이미지 센서(101)의 3축의 각속도나 가속도를 계측한다. IMU(103)는, 그 이미지 센서(101)의 움직임이나 자세에 관한 계측 데이터(IMU 데이터라고도 칭함)를 화상 안정화부(12)에 공급한다(화살표(113)).
화상 안정화부(102)는, 이미지 센서(101)로부터 공급되는 촬상 화상에 대한 화상 안정화에 관한 처리를 행한다. 예를 들면, 화상 안정화부(102)는, 이미지 센서(101)로부터 공급되는 촬상 화상(판독 화상(122))을 취득한다(화살표(112)). 또한, 화상 안정화부(102)는, IMU(103)로부터 공급되는 IMU 데이터(촬상 장치(100)의 3축의 각속도나 가속도)를 취득한다.
화상 안정화부(102)는, 취득한 IMU 데이터에 기초하여, 취득한 촬상 화상(판독 화상(122))에 대한 화상 안정화를 행한다. 보다 구체적으로, 화상 안정화부(102)는, IMU 데이터에 기초하여, 촬상 장치(100)의 움직임에 따른 판독 화상(122)의 움직임을 검출하고, 그 움직임에 기초하여, 피사체의 위치 변동이 억제되도록, 판독 화상(122)으로부터, 그 부분 화상인 컷아웃 화상(123)을 컷아웃한다.
화상 안정화부(102)는, 얻어진 컷아웃 화상(123)을 촬상 장치(100)의 외부에 출력한다(화살표(114)).
또한, 화상 안정화부(102)는, 현재까지의 IMU 데이터에 기초하여, 현재의 프레임(처리 대상의 프레임) 다음 이후의 미리 정해진 프레임(예를 들면, 현재 프레임의 다음 프레임)에 대응하는 IMU 데이터를 추정하고, 그 추정 결과에 기초하여 그 미리 정해진 프레임까지의 이미지 센서(101)의 움직임을 추정하고, 그 움직임에 기초하여 그 미리 정해진 프레임에 있어서의 판독 영역을 설정한다. 즉, 화상 안정화부(102)는, 미리 정해진 프레임까지의 이미지 센서(101)의 움직임(즉, 화소 영역(121) 내에서의 피사체의 움직임)을 예측하고, 그 미리 정해진 프레임에 있어서, 컷아웃 화상(123)이 얻어지는 판독 화상(122)을 얻을 수 있도록, 화소 영역(121) 내에서 판독 영역의 위치나 형상(크기 등을 포함함)을 설정한다. 화상 안정화부(102)는, 그 판독 영역의 설정을 이미지 센서(101)에 공급한다(화살표(111)).
이미지 센서(101)는, 그 미리 정해진 프레임의 처리에 있어서, 그와 같이 화상 안정화부(102)에 의해 설정된 판독 영역의 판독 화상(122)을 얻는다.
즉, 촬상 장치(100)에 있어서는, 이미지 센서(101)로부터, 화소 영역(121)의 일부인 판독 영역에서 얻어지는 판독 화상(122)을 촬상 화상으로서 판독한다. 도 2에 나타내는 바와 같이, 이 판독 화상(122)은, 화소 영역(121) 전체를 이용하여 얻어지는 촬상 화상보다 작다. 따라서, 화소 영역(121)의 전체에서 얻어지는 화상을 촬상 화상으로서 판독하는 경우보다, 이미지 센서(101)로부터 판독하는 데이터량의 증대를 억제할 수 있다. 따라서, 이미지 센서(101)의 출력 인터페이스의 대역폭 확장 등에 의한 비용의 증대나 소비 전력의 증대를 억제할 수 있다. 부언하건대, 후단의 화상 안정화부(102)에 있어서도, 마찬가지의 이유에 의해, 입력 인터페이스의 대역폭 확장이나 메모리 용량의 증대에 의한 비용의 증대나, 소비 전력의 증대를 억제할 수 있다.
또한, 도 2에 나타내는 바와 같이, 이 판독 화상(122)은, 촬상 장치(100)로부터 출력되는 컷아웃 화상(123)보다 크다. 그리고, 상술한 바와 같이, 화상 안정화부(102)가, 판독 영역을 IMU 데이터에 기초하여 설정한다. 따라서, 그 판독 영역에서 얻어진 판독 화상(122)으로부터, 화상을 안정화시킨 (피사체의 움직임을 억제한) 컷아웃 화상(123)을 얻을 수 있다. 즉, 판독 화상(122)을 이용하여 화상 안정화를 행할 수 있다. 즉, 화상 안정화에 따른 부하의 증대를 억제할 수 있다.
<이미지 센서>
도 3은 이미지 센서(101)의 주요 구성의 일례를 나타내는 블록도이다. 또한, 도 3에서는, 처리부나 데이터의 흐름 등의 주된 것을 나타내고 있으며, 도 3에 나타내는 것이 전부라고는 할 수 없다. 즉, 이미지 센서(101)에 있어서, 도 3에서 블록으로서 나타내지 않는 처리부가 존재하거나, 도 3에서 화살표 등으로서 나타내지 않는 처리나 데이터의 흐름이 존재하거나 해도 된다.
도 3에 나타내는 바와 같이, 이미지 센서(101)는, 통신부(131), 시스템 제어부(132), 행 주사부(133), 열 주사부(134), ADC(Analog Digital Converter)(135), 및 화소 영역(136)을 갖는다.
통신부(131)는, 화상 안정화부(102)와의 통신에 관한 처리를 행한다. 예를 들면, 통신부(131)는, MIPI(Mobile Industry Processor Interface) 등의 소정의 통신 규격에 준거하여 화상 안정화부(102)와의 통신을 행한다. MIPI는, MIPI Alliance가 책정하는, 모바일 기기의 카메라나 디스플레이와의 인터페이스 규격이다.
예를 들면, 통신부(131)는, 이 통신에 의해, 화상 안정화부(102)로부터, 판독 영역에 관한 정보(판독 영역의 설정 지시)를 취득한다. 이 판독 영역에 관한 정보(판독 영역의 설정 지시)에는, 예를 들면, 그 설정하는 판독 영역의 위치나 형상(크기도 포함함)에 관한 정보가 포함된다. 통신부는, 그 판독 영역에 관한 정보(판독 영역의 설정 지시)를 시스템 제어부(132)에 공급한다.
또한, 예를 들면, 통신부(131)는, 시스템 제어부(132)로부터 공급되는 촬상 화상 데이터(판독 화상 데이터)를 취득한다. 이 촬상 화상 데이터(판독 화상 데이터)는, 상술한 정보(지시)에 의해 설정된 판독 영역에서 얻어진 화상 데이터이다. 통신부(131)는, 그 촬상 화상 데이터(판독 화상 데이터)를, 상술한 통신에 의해 화상 안정화부(102)에 공급한다. 그 때, 통신부(131)는, 촬상 화상 데이터(판독 화상 데이터)와 함께, 그 촬상 화상(판독 화상)을 얻은 판독 영역에 관한 정보도 화상 안정화부(102)에 공급한다. 이 판독 영역에 관한 정보에는, 예를 들면, 그 판독 영역의 위치나 형상(크기도 포함함)에 관한 정보가 포함된다.
시스템 제어부(132)는 촬상의 제어에 관한 처리를 행한다. 예를 들면, 시스템 제어부(132)는, 행 주사부(133)나 열 주사부(134)를 제어하여 화소 영역(136)에 판독 영역을 설정하고, 그 판독 영역에서 촬상 화상(즉, 판독 화상)을 생성시킨다. 시스템 제어부(132)는, 통신부(131)를 통해 화상 안정화부(102)로부터 공급되는 판독 영역에 관한 정보(판독 영역의 설정 지시)에 기초하여, 이러한 제어(즉, 판독 영역의 설정)를 행한다. 즉, 시스템 제어부(132)는, 판독 영역에 관한 정보에 의해 나타내는 위치나 형상으로 판독 영역을 설정한다.
또한, 시스템 제어부(132)는, 예를 들면, 이와 같이 하여 설정된 판독 영역에서 얻어진 판독 화상 데이터를, ADC(135)를 통해 취득한다. 시스템 제어부(132)는, 그 판독 화상 데이터(촬상 화상 데이터)를, 그 판독 화상 데이터가 얻어진 판독 영역에 관한 정보와 함께 통신부(131)에 공급하고, 이들을 화상 안정화부(102)에 공급시킨다.
행 주사부(133)는, 시스템 제어부(132)의 제어에 따라, 화소 영역(136)에 형성되는 화소 어레이의 각 행의 구동(주사)을 제어한다. 즉, 행 주사부(133)는, 화소 어레이 중, 구동시킬 행을 선택할 수 있다. 예를 들면, 행 주사부(133)는, 화소 영역(136) 중, 판독 영역으로 지정된 행의 각 화소만을 구동시켜, 화소 데이터를 생성시킬 수 있다.
열 주사부(134)는, 시스템 제어부(132)의 제어에 따라, 화소 영역(136)에 형성되는 화소 어레이의 각 열의 구동(열의 주사)을 제어한다. 보다 구체적으로, 열 주사부(134)는, 화소 어레이의 각 열에 대응하는 ADC(135) 내의 각 컬럼 ADC의 구동을 제어함으로써, 그러한 제어를 행한다. 즉, 열 주사부(134)는, 화소 어레이 중, 화소 데이터를 판독할 열을 선택할 수 있다. 예를 들면, 열 주사부(134)는, 화소 영역(136) 중, 판독 영역으로 지정된 열의 각 화소로부터만 화소 데이터를 판독할 수 있다.
따라서, 시스템 제어부(132)는, 행 주사부(133) 및 열 주사부(134)를 제어함으로써, 화소 어레이 중의 원하는 범위(행이나 열)를 판독 영역으로 하고, 그 판독 영역의 촬상 화상(즉, 판독 화상)을 얻을 수 있다.
ADC(135)는, 화소 영역(136) 내에 형성되는 화소 어레이의 열마다 ADC(컬럼 ADC)를 가지고 있다. 컬럼 ADC는, 대응하는 열의 각 화소로부터 판독된 아날로그 신호의 화소 데이터를 A/D 변환한다. ADC(135)는, 열 주사부(134)에 의해 제어되며, 원하는 열에 대응하는 컬럼 ADC를 구동하고, 그 열의 각 화소에서 얻어진 화소 데이터를 A/D 변환하여, 디지털 데이터로서 시스템 제어부(132)에 공급한다.
즉, 행 주사부(133) 및 열 주사부(134)가 상술한 바와 같이 판독 영역의 행 및 열을 구동시킴으로써, ADC(135)는, 판독 영역의 화소 데이터를 A/D 변환하여, 디지털 데이터의 판독 화상 데이터로서 시스템 제어부(132)에 공급할 수 있다.
화소 영역(136)은, 피사체로부터의 광을 광전 변환하는 화소가 복수 형성되는 영역이다. 화소 영역(136)에는, 그 복수의 화소가 어레이 형상으로 형성된다. 즉, 화소 영역(136)에는 복수의 화소로 이루어지는 화소 어레이가 형성된다. 이 화소 어레이는, 화소 영역(136)의 대략 전체에 형성되고, 화소 영역(136)의 대략 전체로 피사체를 촬상할 수 있다. 즉, 화소 영역(136) 전체가, 피사체를 촬상하는 촬상 영역(유효 화소 영역)이다. 환언하건대, 이미지 센서(101)는, 화소 영역(136)의 거의 전체를 사용하여 피사체를 촬상할(촬상 화상을 얻을) 수 있다.
또한, 상술한 바와 같이, 이미지 센서(101)는, 이 화소 영역(136)의 일부 영역을 판독 영역으로서 설정하고, 그 판독 영역에서 피사체를 촬상할(촬상 화상을 얻을) 수 있다. 즉, 이미지 센서(101)는, 화소 영역(136) 전체의 촬상 화상보다 작은 (범위가 좁은) 판독 화상을 얻을 수도 있다.
또한, 화소 영역(136)에 있어서의 복수의 화소의 배치 패턴(레이아웃)은 임의이며, 어레이 형상 이외의 것이어도 된다. 단, 이하에서, 화소 영역(136)에는 화소 어레이가 형성되는 것으로서 설명한다. 또한, 화소 영역(136)에 형성되는 화소 어레이의 행 수 및 열 수는 각각 임의이다. 또한, 도 3에서는 화소 영역(136)의 형상을 직사각형으로 나타내고 있지만, 화소 영역(136)의 형상은 임의이며, 직사각형 이외의 것이어도 된다.
<화상 안정화부>
도 4는 화상 안정화부(102)의 주요 구성예를 나타내는 블록도이다. 또한, 도 4에서는, 처리부나 데이터의 흐름 등의 주된 것을 나타내고 있으며, 도 4에 나타내는 것이 전부라고는 할 수 없다. 즉, 화상 안정화부(102)에 있어서, 도 4에서 블록으로서 나타내지 않는 처리부가 존재하거나, 도 4에서 화살표 등으로서 나타내지 않는 처리나 데이터의 흐름이 존재하거나 해도 된다. 도 4에 나타내는 바와 같이 화상 안정화부(102)는 통신부(151) 및 화상 처리부(152)를 갖는다.
통신부(151)는, 이미지 센서(101)와의 통신에 관한 처리를 행한다. 예를 들면, 통신부(151)는, MIPI 등의 소정의 통신 규격에 준거하여 이미지 센서(101)와의 통신을 행한다.
예를 들면, 통신부(151)는, 화상 처리부(152)로부터 공급되는 판독 영역에 관한 정보(판독 영역의 설정 지시)를 취득한다. 이 판독 영역에 관한 정보(판독 영역의 설정 지시)에는, 예를 들면, 그 설정하는 판독 영역의 위치나 형상(크기도 포함함)에 관한 정보가 포함된다. 통신부(151)는, 이 통신에 의해, 그 판독 영역에 관한 정보(판독 영역의 설정 지시)를 이미지 센서(101)(의 통신부(131))에 공급한다.
또한, 예를 들면, 통신부(151)는, 이 통신에 의해, 이미지 센서(101)로부터 공급되는 촬상 화상 데이터(판독 화상 데이터) 및 그 촬상 화상(판독 화상)을 얻은 판독 영역에 관한 정보를 취득한다. 이 판독 영역에 관한 정보에는, 예를 들면, 그 판독 영역의 위치나 형상(크기도 포함함)에 관한 정보가 포함된다. 통신부(151)는, 취득한 이 정보를 화상 처리부(152)에 공급한다.
화상 처리부(152)는 화상 처리에 관한 처리를 행한다. 특히, 화상 처리부(152)는, 이미지 센서(101)에서 얻어진 판독 화상 데이터에 대한 화상 안정화 등에 관한 처리를 행한다. 도 4에 나타내는 바와 같이, 화상 처리부(152)는, 촬상 제어부(161), 움직임 정보 취득부(162), 컷아웃 영역 설정부(163), 컷아웃부(164), 출력부(165), 학습부(166), 및 판독 영역 설정부(167)를 갖는다.
촬상 제어부(161)는, 통신부(151)를 통해 이미지 센서(101)를 제어하고, 촬상의 제어에 관한 처리를 행한다. 예를 들면, 촬상 제어부(161)는, 이미지 센서(101)에 피사체를 촬상시켜, 화소 영역(136)(촬상 영역)의 판독 영역에서 얻어지는 촬상 화상(판독 화상)을 취득한다.
예를 들면, 촬상 제어부(161)는, 판독 영역 설정부(167)에 의해 설정된 판독 영역에 관한 정보를, 판독 영역의 설정 지시로서 이미지 센서(101)에 공급하고, 이미지 센서(101)에 대해, 화소 영역(136) 내에 판독 영역을 설정시켜, 그 판독 영역의 판독 화상을 생성시킨다.
이 판독 영역에 관한 정보(판독 영역의 설정 지시)에는, 예를 들면, 그 설정하는 판독 영역의 위치나 형상(크기도 포함함)에 관한 정보가 포함된다.
또한, 예를 들면, 촬상 제어부(161)는, 그 생성된 판독 화상의 디지털 데이터(판독 화상 데이터)를, 이미지 센서(101)로부터 취득한다. 그 때, 촬상 제어부(161)는, 그 판독 화상 데이터와 함께, 그 판독 화상이 얻어진 판독 영역에 관한 정보를 취득한다.
이 판독 영역에 관한 정보에는, 예를 들면, 그 설정하는 판독 영역의 위치나 형상(크기도 포함함)에 관한 정보가 포함된다.
촬상 제어부(161)는, 취득한 판독 화상 데이터나 판독 영역에 관한 정보를, 컷아웃 영역 설정부(163)나 컷아웃부(164)에 공급한다.
움직임 정보 취득부(162)는, IMU(103)에서 계측된 이미지 센서(101)의 움직임이나 자세에 관한 계측 데이터(IMU 데이터)를 취득한다. 보다 구체적으로, 움직임 정보 취득부(162)는, 이미지 센서(101)의 3축의 각속도나 가속도에 관한 계측 데이터를 취득한다. 움직임 정보 취득부(162)는, 그 IMU 데이터를 컷아웃 영역 설정부(163)나 판독 영역 설정부(167)에 공급한다.
컷아웃 영역 설정부(163)는, 컷아웃 화상을 컷아웃하는 컷아웃 영역의 설정에 관한 처리를 행한다. 예를 들면, 컷아웃 영역 설정부(163)는, 촬상 제어부(161)로부터 공급되는 판독 화상으로부터 컷아웃 화상(부분 화상)을 컷아웃하는 컷아웃 영역을 설정한다.
이 판독 화상은, 상술한 바와 같이, 판독 영역 설정부(167)에 의해 설정된 판독 영역에서 얻어진 현재의 프레임(처리 대상 프레임)의 촬상 화상이다. 즉, 컷아웃 영역 설정부(163)는, 처리 대상 프레임의 판독 영역 내에, 컷아웃 영역을 설정한다.
그 때, 컷아웃 영역 설정부(163)는, 컷아웃 영역의 위치 및 형상(크기도 포함함)을 설정한다.
또한, 컷아웃 영역 설정부(163)는, 움직임 정보 취득부(162)에 의해 취득된 이미지 센서(101)의 움직임이나 자세에 관한 계측 데이터(IMU 데이터)에 대응하는 현재까지의 움직임 정보에 기초하여, 현재 프레임(처리 대상 프레임)의 컷아웃 영역을 설정한다. 예를 들면, 컷아웃 영역 설정부(163)는, 움직임 정보 취득부(162)로부터 IMU 데이터를 취득한다. 컷아웃 영역 설정부(163)는, 그 움직임 정보 취득부(162)에 의해 취득된 IMU 데이터에 기초하여 이미지 센서(101)의 현재까지의 움직임 정보를 구하고, 그렇게 구한 현재까지의 움직임 정보에 기초하여, 현재 프레임(처리 대상 프레임)의 컷아웃 영역을 설정한다.
또한, 컷아웃 영역 설정부(163)는, 촬상 제어부(161)로부터 현재 프레임(처리 대상 프레임)의 판독 영역에 관한 정보를 취득한다. 컷아웃 영역 설정부(163)는, 상술한 IMU 데이터와, 그 처리 대상 프레임의 판독 영역에 관한 정보에 기초하여, 처리 대상 프레임의 컷아웃 영역을 설정한다.
또한, 이 판독 영역에 관한 정보에는, 판독 영역의 위치 및 형상에 관한 정보가 포함된다.
컷아웃 영역 설정부(163)는, 피사체의 위치 변동이 억제되도록, 컷아웃 영역을 설정한다. 즉, 컷아웃 영역 설정부(163)는, 컷아웃 화상 내에서의 피사체의 움직임을 억제하도록 (컷아웃 화상을 안정화시키도록), 컷아웃 영역을 설정한다.
컷아웃 영역 설정부(163)는, 설정한 컷아웃 영역에 관한 정보를 컷아웃부(164)나 학습부(166)에 공급한다. 또한, 이러한 컷아웃 영역에 관한 정보는, 예를 들면, 컷아웃 영역의 위치 및 형상(크기도 포함함)에 관한 정보를 포함한다.
컷아웃부(164)는, 컷아웃 화상의 컷아웃에 관한 처리를 행한다. 예를 들면, 컷아웃부(164)는, 촬상 제어부(161)로부터, 현재 프레임의 판독 화상 데이터와, 그 판독 영역에 관한 정보를 취득한다. 또한, 예를 들면, 컷아웃부(164)는, 컷아웃 영역 설정부(163)로부터, 현재 프레임의 컷아웃 영역에 관한 정보를 취득한다. 예를 들면, 컷아웃부(164)는, 그 정보에 기초하여, 현재 프레임의 판독 화상으로부터 컷아웃 화상을 컷아웃한다. 즉, 컷아웃부(164)는, 예를 들면, 판독 화상 내로부터, 컷아웃 영역 설정부(163)에 의해 설정된 컷아웃 영역 내의 화상을 컷아웃 화상으로서 컷아웃한다(추출한다). 컷아웃부(164)는, 컷아웃한 컷아웃 화상을 출력부(165)에 공급한다.
출력부(165)는, 컷아웃 화상의 출력에 관한 처리를 행한다. 예를 들면, 출력부(165)는, 출력 인터페이스를 가지며, 그 출력 인터페이스를 통해, 컷아웃 화상의 데이터(컷아웃 화상 데이터)를 촬상 장치(100)(또는 화상 안정화부(102))의 외부에 출력한다. 또한, 예를 들면, 출력부(165)는, 모니터나 스피커 등의 출력 디바이스를 가지며, 컷아웃 화상을 모니터에 표시하거나, 컷아웃 화상에 대응하는 음성 등을 스피커로부터 출력하거나 한다.
학습부(166)는, 컷아웃 영역 설정부(163)에 의해 설정된 컷아웃 영역에 관한 정보를 취득한다. 학습부(166)는, 현재까지의 컷아웃 영역의 설정 결과(설정된 현재까지의 컷아웃 영역의 위치나 형상(크기를 포함함))에 기초하여, 판독 영역 설정부(167)에 의한 판독 영역의 설정에 관한 학습을 행한다. 학습부(166)는, 얻어진 학습 결과를 판독 영역 설정부(167)에 공급하고, 그 학습 결과를, 판독 영역의 설정에 반영시킨다.
또한, 학습부(166)는, 판독 영역 설정부(167)로부터 이미지 센서(101)의 움직임이나 자세의 계측 데이터 및 예측값을 취득하고, 이들에 기초하여, 판독 영역 설정부(167)에 의한 이미지 센서(101)의 움직임이나 자세의 예측에 관한 학습을 행하도록 해도 된다. 학습부(166)는, 얻어진 학습 결과를 판독 영역 설정부(167)에 공급하고, 그 학습 결과를, 이미지 센서(101)의 움직임이나 자세의 예측에 반영시킨다.
판독 영역 설정부(167)는, 판독 영역의 설정에 관한 처리를 행한다. 예를 들면, 판독 영역 설정부(167)는, 처리 대상 프레임의 다음 이후의 미리 정해진 프레임에 대해, 움직임 예측 정보에 기초하여, 복수의 화소에 의해 형성되는 촬상 영역 내의, 화상을 판독하는 영역인 판독 영역을 설정한다.
예를 들면, 판독 영역 설정부(167)는, 판독 영역의 위치 및 형상을 설정한다.
예를 들면, 판독 영역 설정부(167)는, 현재까지의 움직임 정보에 기초하여 미리 정해진 프레임까지의 움직임 정보를, 움직임 예측 정보로서 추정하고, 그 추정한 움직임 정보에 기초하여 판독 영역을 설정한다.
예를 들면, 판독 영역 설정부(167)는, 움직임 정보 취득부(162)에 의해 취득된 현재까지의 이미지 센서(101)의 움직임이나 자세에 관한 계측 데이터(IMU 데이터)를, 현재까지의 움직임 정보로서 움직임 정보 취득부(162)로부터 취득하고, 그 현재까지의 IMU 데이터에 기초하여 움직임 예측 정보를 추정하고, 추정한 움직임 예측 정보에 기초하여 판독 영역을 설정한다.
또한, 판독 영역 설정부(167)는, 예를 들면, 학습부(166)에 의한 학습 결과를 반영하여, 판독 영역의 설정을 행할 수 있다. 또한, 예를 들면, 판독 영역 설정부(167)는, 학습부(166)에 의한 학습 결과를 반영하여, 이미지 센서(101)의 움직임이나 자세의 예측을 행할 수도 있다.
판독 영역 설정부(167)는, 설정한 판독 영역에 관한 정보를 촬상 제어부(161)에 공급한다. 이 판독 영역에 관한 정보에는, 판독 영역의 위치 및 형상에 관한 정보가 포함된다.
<화상 안정화의 개요>
다음으로, 화상의 안정화에 관한 처리의 흐름에 대해 개요를 설명한다. 판독 영역의 설정은, 이미지 센서(101)가 처리를 행하고 있는 처리 대상 프레임(프레임 i(Frame i))의 판독 전까지 행해지면 된다. 컷아웃 영역의 설정은, 컷아웃이 행해지기 전까지 행해지면 된다.
예를 들면, 화상 안정화부(102)는, 이미지 센서(101)가 처리를 행하고 있는 처리 대상 프레임(프레임 i(Frame i)) 다음 이후의 프레임에 관한 판독 영역의 설정을 행하고, 처리 대상 프레임에 관한 컷아웃 영역의 설정을 행하도록 해도 된다.
예를 들면, 도 5에 나타내는 예와 같이, 판독 영역 설정부(167)가, 처리 대상 프레임(프레임 i(Frame i))의 다음 프레임(프레임 i+1(Frame i+1))의 판독 영역을 설정하고, 컷아웃 영역 설정부(163)가, 처리 대상 프레임(프레임 i(Frame i))의 컷아웃 영역을 설정하도록 해도 된다.
도 5의 예의 경우, 이미지 센서(101)가 처리 대상 프레임(프레임 i(Frame i))에 관한 처리를 행하고 있는 동안, 화상 안정화부(102)는, 처리(181)를 행한다. 즉, 판독 영역 설정부(167)는, IMU 데이터의 각속도나 가속도의 데이터를 사용하여, 다음 프레임의 판독 위치(판독 영역)을 결정한다.
판독 위치가 결정되면, 화상 안정화부(102)는 처리(182)를 행한다. 즉, 촬상 제어부(161)는, 이미지 센서(101)에 대해 처리 대상 프레임의 다음 프레임(프레임 i+1(Frame i+1))의 판독 영역에 관한 정보를 공급하고, 이미지 센서(101)의 판독 위치의 설정을 행한다.
그리고, 이미지 센서(101)의 처리 대상 프레임이, 프레임 i+1(Frame i+1)이 되면, 화상 안정화부(102)는 처리(183)를 행한다. 즉, 컷아웃 영역 설정부(163)는, IMU 데이터를 사용하여 처리 대상 프레임(프레임 i+1(Frame i+1))의 컷아웃 위치를 결정한다. 또한, 판독 영역 설정부(167)는, 처리 대상 프레임의 다음 프레임(프레임 i+2(Frame i+2))의 판독 위치를 결정한다.
즉, 도 6에 나타내는 바와 같이, 각 프레임에 대해 장래의 판독 영역과 현재의 컷아웃 영역을 설정함으로써, 이미지 센서(101)로부터 판독 화상으로서 화소 영역(136)의 일부에서 얻어진 촬상 화상을 판독하고, 그 판독 화상을 이용하여 컷아웃 화상을 생성할 수 있다. 즉, 화상의 안정화를 행할 수 있다.
따라서, 상술한 바와 같이, 화상 안정화에 따른 부하의 증대를 억제할 수 있다.
<판독 영역의 설정>
상술한 바와 같이, 판독 영역 설정부(167)는, 처리 대상 프레임의 다음 이후의 미리 정해진 프레임, 즉, 장래의 프레임에 대해, 판독 영역을 설정한다. 그 때, 판독 영역 설정부(167)는, IMU 데이터에 기초하여, 그렇게 미리 정해진 프레임까지의 이미지 센서(101)의 움직임(촬상 화상에 있어서의 피사체의 움직임)을 예측(추정)하고, 그 움직임 예측 정보에 기초하여, 판독 영역을 설정한다.
이 움직임 예측 정보에 기초하는 판독 영역의 설정 방법은 임의이다. 예를 들면, 판독 영역 설정부(167)가, 처리 대상 프레임(현재 프레임)의 판독 영역을, 움직임 예측 정보에 따라 이동시키도록 해도 된다.
이미지 센서(101)의 움직임 예측 방법은 임의이다. 예를 들면, 판독 영역 설정부(167)가, 현재까지의 IMU 데이터의 값 변화에 기초하여, 장래의 IMU 데이터를 예측하도록 해도 된다. 예를 들면, 도 7의 예의 경우, 판독 영역 설정부(167)가, 처리 대상 프레임(Frame i)에서 얻어진 IMU 데이터(201) 내지 IMU 데이터(208)에 기초하여, 다음 프레임(Frame i+1)의 IMU 데이터(209) 내지 IMU 데이터(212)를 예측하도록 해도 된다. 예를 들면, 도 7의 경우, 판독 영역 설정부(167)는, IMU 데이터(207)와 IMU 데이터(208) 간의 변화 등에 기초하여, IMU 데이터가 직선(221)을 따라 변화된다고 추정하고, 그 직선(221)을 따른 IMU 데이터(209) 내지 IMU 데이터(212)를 예측하고 있다.
예를 들면, 판독 영역 설정부(167)는, 이와 같이 예측(추정)한 IMU 데이터(209) 내지 IMU 데이터(212)에 기초하여, 판독 영역을 이동시킨다. 이와 같이 함으로써, 판독 영역 설정부(167)는, 현재까지의 IMU 데이터에 기초하여, 다음 이후의 프레임 판독 영역을 설정할 수 있다.
또한, 그 때, 판독 영역 설정부(167)가, 임의의 정보에 기초하여, 판독 영역의 형상이나 크기를 바꾸도록 해도 된다. 예를 들면, 예측한 움직임의 크기(각속도나 가속도의 크기) 등에 따라, 판독 영역의 형상이나 크기를 바꾸도록 해도 된다.
또한, 예를 들면, 판독 영역 설정부(167)가, 움직임 예측 정보(미리 정해진 프레임까지의 IMU 데이터의 추정값)에 기초하여, 미리 정해진 프레임에 있어서의 컷아웃 영역(의 위치나 형상)을 추정하고, 그 추정한 컷아웃 영역에 기초하여 (추정한 컷아웃 영역을 포함하도록), 판독 영역을 설정(추정)하도록 해도 된다.
이와 같이 함으로써, 판독 영역의 보다 다양한 설정을 실현할 수 있다. 예를 들면, 추정한 움직임에 따라, 컷아웃 영역에 대한 판독 영역의 마진을 취하는 방법을 가변으로 할 수 있다. 도 6에 나타내는 바와 같이, 판독 영역은 컷아웃 영역보다 크다. 따라서, 설정한 판독 영역에는, 추정한 컷아웃 영역 이외의 부분이 포함된다. 이 부분은, 컷아웃 영역의 추정 오차의 마진으로서 이용할 수 있다.
예를 들면, 도 7에 나타내는 바와 같이, 프레임 i+1(Frame i+1)에 있어서, IMU 데이터(231) 내지 IMU 데이터(234)가 얻어졌다고 하면, 이들과, 예측한 IMU 데이터(209) 내지 IMU 데이터(212)의 차분이 컷아웃 영역의 추정 오차가 된다. 이 오차가 지나치게 커지면, 판독 영역 내에 컷아웃 영역을 설정할 수 없고, 화상 안정화의 정밀도가 저감될 우려가 있다. 즉, 추정한 컷아웃 영역의 프레임과 설정한 판독 영역의 프레임의 간격이 넓을수록, 이 마진이 크다고 말할 수 있다.
판독 영역은, 추정된 컷아웃 영역을 포함하도록 설정되면 되고, 어느 방향으로 얼마나 마진을 취할지는 임의이다. 즉, 판독 영역 설정부(167)가, 추정된 컷아웃 영역에 대해, 어떠한 위치에 판독 영역을 설정할지를, 움직임 예측 정보에 기초하여, 설정할 수 있도록 해도 된다.
예를 들면, 판독 영역 설정부(167)는, 움직임 방향으로, 추정한 컷아웃 영역의 위치에 오차가 포함될 가능성이 높은 것으로 하여, 움직임 방향에 대해 보다 많은 마진을 취하도록 판독 영역을 설정하도록 해도 된다.
또한, 예를 들면, 그 반대로, 판독 영역 설정부(167)가, 움직임 방향에 수직인 방향으로, 추정한 컷아웃 영역의 위치에 오차가 포함될 가능성이 높은 것으로 하여, 움직임 방향에 수직인 방향에 대해 보다 많은 마진을 취하도록 판독 영역을 설정하도록 해도 된다.
이와 같이 함으로써, 촬상 장치(100)는, 보다 고정밀도로 컷아웃 화상을 포함하도록 판독 화상을 생성할 수 있다. 따라서, 촬상 장치(100)의 화상 안정화의 성능을 향상시킬 수 있다.
또한, 도 7과 같은 움직임 예측 시에, 판독 영역 설정부(167)가, 현재까지의 IMU 데이터 이외의 정보에도 기초하여, 이미지 센서(101)의 움직임 예측을 행하도록 해도 된다. 예를 들면, 손떨림의 경우, 촬상 화상 내의 피사체는 대체로 주기적인 진동과 같이 움직이는 것이 일반적이며, 우측에서 좌측으로 등과 같이 일방향으로만 움직일 가능성은 낮다. 마찬가지로, 인체에 장착하여 사용하는 웨어러블 기기의 경우에도, 도보 운동 등에 의해, 촬상 화상 내의 피사체는 대체로 주기적인 진동과 같이 움직이는 것이 일반적이며, 우측에서 좌측으로 등과 같이 일방향으로만 움직일 가능성은 낮다.
이에, 판독 영역 설정부(167)가, 현재까지의 움직임 정보에 기초하여, 미리 정해진 규칙성에 따라, 처리 대상 프레임의 다음 이후의 미리 정해진 프레임까지의 움직임 정보를 추정하도록 해도 된다. 예를 들면, 판독 영역 설정부(167)가, 현재까지의 IMU 데이터뿐만 아니라, 손떨림의 움직임이나 도보 운동 등의 움직임도 고려하여, 움직임 예측을 행하도록 해도 된다.
이와 같이 함으로써, 손떨림 보정이나 웨어러블 기기에 있어서의 흔들림 보정(화상 안정화)에 의해 적합한 움직임 예측을 행할 수 있고, 예측 정밀도를 향상시킬 수 있다. 따라서, 촬상 장치(100)는, 보다 고정밀도로 컷아웃 화상을 포함하도록 판독 화상을 생성할 수 있다. 따라서, 촬상 장치(100)의 화상 안정화의 성능을 향상시킬 수 있다.
또한, 컷아웃 영역 설정부(163)는, 설정된 판독 영역 내에 컷아웃 영역을 설정할 수 없는 경우, 처리 대상 프레임의 판독 영역 내의, 현재까지의 움직임 정보에 대응하는 컷아웃 영역의 위치에 대해 움직임 방향으로 최근방의 위치에, 컷아웃 영역을 설정하도록 해도 된다.
즉, 컷아웃 영역을 설정할 때에, 강제적으로 판독 영역 내에 컷아웃 영역을 설정하도록 해도 된다. 상술한 바와 같이, 이미지 센서(101)로부터 판독 화상을 판독하고, 컷아웃 화상을 그 판독 화상으로부터 컷아웃하여 생성하는 경우, 컷아웃 영역을 판독 영역 내에 설정할 수 없으면, 컷아웃 화상을 생성할 수 없다. 이에, 컷아웃 영역 설정부(163)는, 반드시 판독 영역 내에 컷아웃 영역을 설정하도록 한다. 이와 같이 함으로써, 확실하게 컷아웃 화상을 생성할 수 있다.
또한, 그 때, 컷아웃 영역 설정부(163)가, 컷아웃 영역을, 판독 영역 내의, 현재까지의 움직임 정보로부터 구해지는 컷아웃 영역의 위치에 가장 가까운 위치(최근방의 위치)에 설정하도록 해도 된다. 즉, 처리 대상 프레임의 판독 영역 내의, 현재까지의 움직임 정보에 대응하는 컷아웃 영역의 위치에 대해 움직임 방향으로 최근방의 위치에, 컷아웃 영역을 설정하도록 해도 된다. 이와 같이 함으로써, 컷아웃 화상에 있어서의 피사체의 위치의 흔들림의 증대를 억제할 수 있다.
또한, 다음 이후의 미리 정해진 프레임의 판독 영역을 설정할 때, 판독 영역 설정부(167)가, 판독 영역의 형상이나 크기를 바꾸도록 해도 된다.
예를 들면, 판독 영역 설정부(167)가, 추정한 컷아웃 영역의 회전량에 따라 판독 영역의 형상이나 크기를 설정하도록 해도 된다. 예를 들면, 도 8에 나타내는 바와 같이, 추정한 컷아웃 영역이 회전하는 경우, 그 컷아웃 영역을 포함하는 판독 영역의 형상이나 크기가 변화된다(컷아웃 영역의 회전량에 따라 다르다). 이에, 그와 같이 추정한 컷아웃 영역이 회전하는 경우, 그 회전량에 따라 판독 영역의 형상이나 크기를 설정하도록 해도 된다. 이와 같이 함으로써, 보다 고정밀도로, 판독 영역이, 컷아웃 영역을 포함하도록 할 수 있다. 따라서, 촬상 장치(100)의 화상 안정화의 성능을 향상시킬 수 있다.
또한, 움직임 예측에 사용되는 IMU 데이터는, 현재까지의 IMU 데이터라면 되고, 현재의 프레임의 IMU 데이터뿐만 아니라, 과거의 프레임의 IMU 데이터도 사용하도록 해도 된다. 움직임 예측에 사용되는 IMU 데이터의 수는 임의이며, 임의의 프레임 수의 IMU 데이터를 사용하도록 해도 된다. 예를 들면, 도 9에 나타내는 바와 같은, 지연 소자(251), 증폭부(252), 및 가산부(253)로 이루어지는 FIR(Finite Impulse Response) 필터를 사용하여, 복수의 프레임의 IMU 데이터의 차분 데이터를 컨벌브(convolve)함으로써, 미리 정해진 프레임의 IMU 데이터를 추정하도록 해도 된다.
판독 영역 설정부(167)가 판독 영역을 설정하면, 촬상 제어부(161)는, 예를 들면, 도 10에 나타내는 바와 같이, 처리 대상 프레임의 다음 프레임에 판독 위치 설정을 반영할 수 있는 타이밍에서, 이미지 센서(101)에 대해, 판독 영역 설정 커맨드를 발행한다(처리(261)). 예를 들면, 촬상 제어부(161)는, 수직 블랭킹 기간(vertical blanking period)에서, 판독 영역 설정 커맨드를 발행한다. 이 판독 영역 설정 커맨드에는, 처리 대상 프레임의 다음 프레임(프레임 i+1(Frame i+1))의 판독 영역에 관한 정보가 포함된다. 이 판독 영역에 관한 정보에는, 판독 영역의 위치 및 형상에 관한 정보가 포함된다.
예를 들면, 촬상 제어부(161)는, 통신부(151)를 통해, I2C(MIPI의 경우), SPI 등에 의해 이미지 센서(101)에 판독 위치를 설정한다.
<촬상 처리의 흐름>
다음으로, 이상과 같은 촬상 장치(100)에서 실행되는 처리에 대해 설명한다. 먼저, 촬상 처리의 흐름의 예를, 도 11의 플로우차트를 참조하여 설명한다.
촬상 처리가 개시되면, 촬상 제어부(161)는, 스텝(S101)에 있어서, 설정을 초기화한다. 예를 들면, 촬상 제어부(161)는, 판독 영역의 설정 등(예를 들면, 판독 영역의 위치나 형상 등)을 초기화한다.
스텝(S102)에 있어서, 촬상 제어부(161)는, 이미지 센서(101)를 제어하고, 피사체를 촬상시킨다. 이미지 센서(101)는, 피사체를 촬상하고, 설정된 판독 영역의 판독 화상을 생성한다.
스텝(S103)에 있어서, 촬상 제어부(161)는, 스텝(S102)의 처리의 촬상에 의해 얻어진 판독 영역의 촬상 화상(판독 화상)과 그 좌표 정보(판독 영역에 관한 정보)를 취득한다.
스텝(S104)에 있어서, 움직임 정보 취득부(162)는, IMU(103)로부터, 현재 프레임에 대응하는 IMU 데이터를 취득한다.
스텝(S105)에 있어서, 컷아웃 영역 설정부(163)는, 스텝(S103)에서 얻어진 판독 화상 및 그 좌표 정보, 및, 스텝(S104)에서 얻어진 현재 프레임에 대응하는 IMU 데이터에 기초하여, 피사체의 위치의 변동(흔들림)이 억제되도록, 현재 프레임의 컷아웃 영역을 설정한다.
스텝(S106)에 있어서, 컷아웃부(164)는, 스텝(S103)에서 얻어진 판독 화상으로부터, 스텝(S105)의 처리에 의해 설정된 컷아웃 영역의 화상을 컷아웃하여, 컷아웃 화상을 생성한다.
스텝(S107)에 있어서, 출력부(165)는, 스텝(S106)의 처리에 의해 생성된 컷아웃 화상을 출력한다.
스텝(S108)에 있어서, 학습부(166)는, 스텝(S106)의 컷아웃 결과에 기초하여, 판독 위치 추정의 학습을 행한다.
스텝(S109)에 있어서, 판독 영역 설정부(167)는, 스텝(S108)의 학습 결과를 반영시켜, 다음 이후의 미리 정해진 프레임(예를 들면, 다음 프레임)의 판독 영역을 설정한다.
판독 영역이 설정되면, 스텝(S110)에 있어서, 촬상 제어부(161)는, 촬상을 종료할지 여부를 판정한다. 종료하지 않는다고 판정된 경우, 촬상 제어부(161)는, 스텝(S109)에 있어서 설정된 판독 영역에 관한 정보를 이미지 센서(101)에 공급하고, 그 판독 영역을 이미지 센서(101)에 설정시킨다. 즉, 판독 영역의 설정을 갱신한다. 판독 영역의 설정을 갱신하면, 촬상 제어부(161)는, 처리를 스텝(S102)로 되돌리고, 그 이후의 처리를 반복한다.
또한, 스텝(S110)에 있어서, 촬상을 종료한다고 판정된 경우, 촬상 처리가 종료한다.
<판독 영역 설정 처리의 흐름>
다음으로, 도 11의 스텝(S109)에서 실행되는 판독 영역 설정 처리의 흐름의 예를, 도 12의 플로우차트를 참조하여 설명한다.
판독 영역 설정 처리가 개시되면, 판독 영역 설정부(167)는, 스텝(S131)에 있어서, 현재 프레임에 대응하는 IMU 데이터 등에 기초하여, 현재 프레임의 다음 이후의 미리 정해진 프레임(예를 들면, 다음 프레임)에 대응하는 IMU 데이터를 추정한다.
스텝(S132)에 있어서, 판독 영역 설정부(167)는, 현재 프레임의 다음 이후의 미리 정해진 프레임(예를 들면, 다음 프레임)에 대응하는 IMU 데이터의 추정 결과 등에 기초하여, 현재 프레임의 다음 이후의 미리 정해진 프레임(예를 들면, 다음 프레임)에 있어서의 판독 영역(의 위치나 형상(크기도 포함함) 등)을 추정한다.
스텝(S132)의 처리가 종료하면, 판독 영역 설정 처리가 종료하고, 처리는 도 11로 되돌아간다.
<판독 영역 설정 처리의 흐름>
다음으로, 도 11의 스텝(S109)에서 실행되는 판독 영역 설정 처리의 흐름의 다른 예를, 도 13의 플로우차트를 참조하여 설명한다.
도 13의 경우, 판독 영역 설정 처리가 개시되면, 판독 영역 설정부(167)는, 스텝(S151)에 있어서, 현재 프레임에 대응하는 IMU 데이터 등에 기초하여, 현재 프레임의 다음 이후의 미리 정해진 프레임(예를 들면, 다음 프레임)에 대응하는 IMU 데이터를 추정한다.
스텝(S152)에 있어서, 판독 영역 설정부(167)는, 현재 프레임의 다음 이후의 미리 정해진 프레임(예를 들면, 다음 프레임)에 대응하는 IMU 데이터의 추정 결과 등에 기초하여, 현재 프레임의 다음 이후의 미리 정해진 프레임(예를 들면, 다음 프레임)에 있어서의 컷아웃 영역(의 위치나 형상(크기도 포함함) 등)을 추정한다.
스텝(S153)에 있어서, 판독 영역 설정부(167)는, 현재 프레임의 다음 이후의 미리 정해진 프레임(예를 들면, 다음 프레임)의 컷아웃 영역의 추정 결과와, 현재 프레임의 다음 이후의 미리 정해진 프레임(예를 들면, 다음 프레임)에 대응하는 IMU 데이터의 추정 결과 등에 기초하여, 현재 프레임의 다음 이후의 미리 정해진 프레임(예를 들면, 다음 프레임)에 있어서의 판독 영역(의 위치나 형상(크기도 포함함) 등)을 추정한다.
스텝(S153)의 처리가 종료하면, 판독 영역 설정 처리가 종료하고, 처리는 도 11로 되돌아간다.
이상과 같이 각 처리를 실행함으로써, 이미지 센서(101)로부터, 화소 영역(121)의 일부인 판독 영역에서 얻어지는 판독 화상(122)을 촬상 화상으로서 판독하고, 그 판독 화상으로부터, 화상을 안정화시킨(피사체의 움직임을 억제한) 컷아웃 화상을 컷아웃할 수 있다. 즉, 이미지 센서(101)로부터 판독하는 데이터량의 증대를 억제할 수 있고, 화상 안정화에 따른 부하의 증대를 억제할 수 있다.
<기타>
또한, 이상에서는, 촬상 화상을 얻을 때에, 상술한 바와 같이 화상 안정화를 행하는 것으로 설명했지만, 이에 한정되지 않고, 예를 들면, 촬상 전의 모니터 등에 표시하기 위한 캡처 화상을 얻을 때에, 상술한 바와 같이 화상 안정화를 행하도록 해도 된다. 캡처 화상의 경우에도 이미지 센서(101) 및 화상 안정화부(102)가 행하는 처리는, 상술한 촬상 화상의 경우와 마찬가지이므로, 그 설명은 생략한다.
또한, 도 3에서는, ADC(135)가 컬럼 ADC를 갖는 것으로 설명했지만, ADC(135)가 갖는 ADC는 임의이며, 이 예에 한정되지 않는다. 예를 들면, ADC(135)가, 행마다의 ADC(라인 ADC)를 갖도록 해도 되고, 영역마다의 ADC(에어리어 ADC)를 갖도록 해도 되고, 화소마다의 ADC(화소 ADC)를 갖도록 해도 된다. 단, 그 경우, 주사부(행 주사부(133) 및 열 주사부(134))의 구성이 상술한 예와 다른 경우가 있다.
예를 들면, ADC(135)가 라인 ADC를 갖는 경우, 열 주사부(134)가 구동하는 화소열을 선택하고, 행 주사부(133)가 ADC(135)를 제어하고, 라인 ADC를 구동하는 화소행을 선택한다. 또한, 예를 들면, ADC(135)가 에어리어 ADC를 갖는 경우, 행 주사부(133)나 열 주사부(134) 대신에, 그 에어리어마다 화소 어레이의 구동을 제어하는 주사부가 마련된다. 또한, 예를 들면, ADC(135)가 화소 ADC를 갖는 경우, 행 주사부(133)나 열 주사부(134) 대신에, 화소마다 화소 어레이의 구동을 제어하는 주사부가 마련된다.
또한, 이상에서는, 학습부(166)가, 프레임마다 학습을 행하는 것으로 설명했지만, 학습부(166)에 의한 학습은, 일부의 프레임에 대해 행해지도록 해도 된다. 또한, 예를 들면, 학습부(166)에 의한 학습은, 일부 프레임에서 한꺼번에 행해지도록 해도 된다. 나아가, 예를 들면, 학습부(166)에 의한 학습이, 비정기적으로 행해지도록 해도 된다. 나아가, 학습부(166)(에 의한 학습)를 생략하도록 해도 된다.
<3. 제2 실시형태>
<움직임 벡터>
제1 실시형태에 있어서는, 움직임 정보로서 IMU 데이터를 사용하는 것으로 설명했지만, 움직임 정보는 이 예에 한정되지 않는다. 예를 들면, 촬상 화상의 프레임 간의 움직임 벡터를 움직임 정보로서 판독 영역이나 컷아웃 영역의 설정에 사용하도록 해도 된다.
예를 들면, 도 14에 나타내는 바와 같이, 프레임 i-1(Frame i-1)과 프레임 i(Frame i) 사이에서 특징점을 이용하여 움직임 벡터를 구하고, 그 움직임 벡터를 사용하여 프레임 i(Frame i)와 프레임 i+1(Frame i+1) 사이의 움직임 벡터를 추정하고, 그 추정한 움직임 벡터를 이용하여 프레임 i+1(Frame i+1)의 판독 위치를 추정하도록 해도 된다. 그리고, 판독 화상으로부터, 특징점의 정보를 사용하여 컷아웃 영역을 설정하도록 해도 된다.
그 경우, IMU(103)를 생략할 수 있다. 즉, 이 경우, 촬상 장치(100)는, 이미지 센서(101) 및 화상 안정화부(102)에 의해 구성된다. 따라서, 비용의 증대를 억제할 수 있다.
<화상 안정화부>
이 경우의 화상 안정화부(102)의 주요 구성예를 도 15에 나타낸다. 도 15에 나타내는 바와 같이, 이 경우의 화상 안정화부(102)는, 움직임 정보 취득부(162)(도 4) 대신에 움직임 벡터 산출부(311)를 갖는다. 또한, 이 경우의 화상 안정화부(102)(도 15)는, 컷아웃 영역 설정부(163)(도 4) 대신에, 컷아웃 영역 설정부(312)를 갖는다. 나아가, 이 경우의 화상 안정화부(102)(도 15)는, 판독 영역 설정부(167)(도 4) 대신에, 판독 영역 설정부(313)를 갖는다.
움직임 벡터 산출부(311)는, 촬상 제어부(161)가 이미지 센서(101)로부터 취득한 판독 화상 및 그 판독 영역에 관한 정보를, 촬상 제어부(161)로부터 취득한다. 촬상 제어부(161)는, 그 판독 화상(촬상 화상)의 특징점에 대해, 프레임 간의 움직임 벡터를 산출한다(검출한다). 움직임 벡터 산출부(311)는, 산출한 움직임 벡터를 컷아웃 영역 설정부(312) 및 판독 영역 설정부(313)에 공급한다.
컷아웃 영역 설정부(312)는, 그 움직임 벡터 산출부(311)에 의해 산출(검출)된 현재까지의 움직임 벡터에 기초하여, 처리 대상 프레임(현재 프레임)의 컷아웃 영역을 설정한다. 그 이외의 처리는, 제1 실시형태에서 설명한 컷아웃 영역 설정부(163)의 경우와 마찬가지이다.
판독 영역 설정부(313)는, 그 움직임 벡터 산출부(311)에 의해 산출(검출)된 현재까지의 움직임 벡터에 기초하여, 처리 대상 프레임(현재 프레임) 다음 이후의 미리 정해진 프레임의 판독 영역을 설정한다. 그 이외의 처리는, 제1 실시형태에서 설명한 판독 영역 설정부(167)의 경우와 마찬가지이다.
이와 같이 함으로써, 촬상 화상의 특징점의 프레임 간의 움직임 벡터를 사용하여, 판독 영역이나 컷아웃 영역을 설정할 수 있다. 따라서, IMU(103)를 생략할 수 있으므로, 비용의 증대를 억제할 수 있다.
<촬상 처리의 흐름>
이 경우의 촬상 처리의 흐름의 예를, 도 16의 플로우차트를 참조하여 설명한다. 촬상 처리가 개시되면, 스텝(S201) 내지 스텝(S203)의 각 처리가, 도 11의 촬상 처리의 스텝(S101) 내지 스텝(S103)의 각 처리와 마찬가지로 실행된다.
스텝(S204)에 있어서, 움직임 벡터 산출부(311)는, 스텝(S103)에서 얻어진 판독 화상을 이용하여, 현재 프레임에 대응하는 움직임 벡터를 산출한다. 즉, 움직임 벡터 산출부(311)는, 현재 프레임과 현재 프레임의 1개 전의 프레임 사이에서, 판독 화상의 특징점을 비교하여, 움직임 벡터를 산출한다.
스텝(S205)에 있어서, 컷아웃 영역 설정부(312)는, 스텝(S204)의 처리에 의해 얻어진 움직임 벡터에 기초하여, 피사체의 위치 변동(흔들림)이 억제되도록, 현재 프레임의 컷아웃 영역을 설정한다.
스텝(S206) 내지 스텝(S208)의 각 처리는, 도 11의 촬상 처리의 스텝(S106) 내지 스텝(S108)의 각 처리와 마찬가지로 실행된다.
스텝(S209)에 있어서, 판독 영역 설정부(313)는, 스텝(S208)의 학습 결과를 반영시켜, 다음 이후의 미리 정해진 프레임(예를 들면, 다음 프레임)의 판독 영역을 설정한다.
스텝(S210)의 처리는, 도 11의 촬상 처리의 스텝(S110)의 처리와 마찬가지로 실행된다. 즉, 스텝(S210)에서, 촬상 처리를 종료하지 않는다고 판정된 경우, S209에서 설정된 판독 영역에 관한 정보를 이미지 센서(101)에 공급하고, 그 판독 영역을 이미지 센서(101)에 설정시킨다. 즉, 판독 영역의 설정이 갱신된다. 판독 영역의 설정이 갱신되면, 촬상 제어부(161)는, 처리를 스텝(S202)로 되돌리고, 그 이후의 처리를 반복한다. 또한, 스텝(S110)에서, 촬상을 종료한다고 판정된 경우, 촬상 처리가 종료한다.
<판독 영역 설정 처리의 흐름>
다음으로, 이 경우의 판독 영역 설정 처리(도 16의 스텝(S209)에서 실행되는 판독 영역 설정 처리)의 흐름의 예를, 도 17의 플로우차트를 참조하여 설명한다. 또한, 이 판독 영역 설정 처리는, 도 12의 플로우차트를 참조하여 설명한 판독 영역 설정 처리에 대응한다. 도 17에 나타내는 바와 같이, 도 12의 플로우차트에 있어서의 IMU 데이터를 움직임 벡터로 치환함으로써, 이 경우의 판독 영역 설정 처리의 흐름의 예를 설명할 수 있다.
즉, 판독 영역 설정 처리가 개시되면, 판독 영역 설정부(313)는, 스텝(S231)에 있어서, 현재 프레임에 대응하는 움직임 벡터 등에 기초하여, 현재 프레임의 다음 이후의 미리 정해진 프레임(예를 들면, 다음 프레임)에 대응하는 움직임 벡터를 추정한다.
스텝(S232)에 있어서, 판독 영역 설정부(313)는, 현재 프레임의 다음 이후의 미리 정해진 프레임(예를 들면, 다음 프레임)에 대응하는 움직임 벡터의 추정 결과 등에 기초하여, 현재 프레임의 다음 이후의 미리 정해진 프레임(예를 들면, 다음 프레임)에 있어서의 판독 영역(의 위치나 형상(크기도 포함함) 등)을 추정한다.
스텝(S232)의 처리가 종료하면, 판독 영역 설정 처리가 종료하고, 처리는 도 16으로 되돌아간다.
이상과 같이 각 처리를 실행함으로써, 움직임 벡터를 이용하여 화상 안정화를 행할 수 있다. 따라서, IMU(103)를 생략할 수 있고, 제1 실시형태의 경우에 비해, 비용의 증대를 억제할 수 있다.
또한, 이 경우에도, 움직임 벡터 추정 결과에 기초하여, 현재 프레임의 다음 이후의 미리 정해진 프레임(예를 들면, 다음 프레임)의 컷아웃 영역을 추정하고, 그 컷아웃 영역의 추정 결과에 기초하여, 판독 영역을 추정하도록 해도 된다. 그 경우의, 판독 영역 설정 처리의 흐름은, 도 13의 플로우차트에 대응한다. 즉, 도 17의 경우와 마찬가지로, 도 13의 플로우차트에 있어서의 IMU 데이터를 움직임 벡터로 치환함으로써, 이 경우의 판독 영역 설정 처리의 흐름의 예를 설명할 수 있다.
또한, 이상에서는, 움직임 정보로서, 움직임 벡터를 산출(검출)하는 것으로 설명했지만, 이에 한정되지 않고, 촬상 화상의 소실점을 검출하고, 소실점이 얼마나 움직였는지에 기초하여 움직임량을 검출하도록 해도 된다. 이에 의해, 촬상 화상에 있어서 특징점이 존재하지 않는 경우라도, 움직임량을 검출할 수 있다. 예를 들면, 촬상 장치(100)를, 차선으로부터 소실점을 추정할 수 있는 차재 카메라로서 적용하는 경우에, 이와 같이 함으로써, 용이하게 움직임량을 검출할 수 있다.
<4. 제3 실시형태>
<촬상 장치>
또한, 촬상 장치(100)의 구성예는, 도 2의 예에 한정되지 않는다. 예를 들면, 촬상 장치(100)가, 생성한 컷아웃 화상을 모니터에 표시하거나, 메모리에 기록하거나, 다른 장치에 송신하거나 하도록 해도 된다.
도 18은, 촬상 장치(100)의 다른 구성예를 나타내는 블록도이다. 도 18에 나타내는 바와 같이, 이 경우, 촬상 장치(100)는, 이미지 센서(101) 내지 IMU(103) 이외에, 출력부(표시부)(351), 기록부(352), 통신부(353), 및 드라이브(354)를 갖는다.
출력부(표시부)(351)는, 예를 들면, 컷아웃 화상을 표시 가능한 표시 디바이스나, 컷아웃 화상을 투영 가능한 투영 디바이스 등과 같은, 컷아웃 화상을 출력 가능한 출력 디바이스를 가지고 있으며, 화상 안정화부(102)에 의해 생성된 컷아웃 화상의 출력(표시 등)에 관한 처리를 행한다. 예를 들면, 출력부(표시부)(351)는, 화상 안정화부(102)로부터 공급되는 컷아웃 화상을, 모니터에 표시하거나, 투영 스크린 등에 투영하거나 한다.
기록부(352)는, 예를 들면, 하드 디스크, RAM(Random Access Memory) 디스크, 비휘발성 메모리 등으로 이루어지고, 화상 안정화부(102)에 의해 생성된 컷아웃 화상의 기록에 관한 처리(기입이나 판독 등)를 행한다. 예를 들면, 기록부(352)는, 화상 안정화부(102)로부터 공급되는 컷아웃 화상을, 그 기억 영역(메모리 등)에 기록한다. 또한, 예를 들면, 기록부(352)는, 그 기억 영역에 기록되어 있는 컷아웃 화상을, 화상 안정화부(102)에 공급한다.
한편, 컷아웃 화상을 기록할 때에, 컷아웃 화상 데이터를 부호화하여 기록하도록 해도 된다. 이 컷아웃 화상을 판독하는 경우에는, 기록부(352)는, 컷아웃 화상의 부호화 데이터를 판독하여 복호하고, 컷아웃 화상 데이터를 화상 안정화부(102)에 공급한다.
통신부(353)는, 예를 들면, 유선 또는 무선, 또는 그 양쪽 모두의 네트워크 인터페이스로 이루어지고, 통신 상대인 다른 장치와의 통신에 관한 처리를 행한다. 예를 들면, 통신부(353)는, 소정의 통신 규격에 준거하여 다른 장치와 통신을 행하고, 화상 안정화부(102)로부터 공급되는 컷아웃 화상을, 다른 장치에 공급한다. 또한, 예를 들면, 통신부(353)는, 소정의 통신 규격에 준거하여 다른 장치와 통신을 행하고, 다른 장치로부터 컷아웃 화상을 취득하고, 그것을 화상 안정화부(102) 등에 공급한다.
또한, 이와 같이 컷아웃 화상을 다른 장치와 주고받을 때에, 컷아웃 화상 데이터를 부호화하도록 해도 된다. 예를 들면, 통신부(353)가, 컷아웃 화상을 부호화하고, 그 부호화 데이터(또는 비트 스트림)를 다른 장치에 송신하도록 해도 된다. 또한, 예를 들면, 통신부(353)가, 다른 장치로부터 송신된 컷아웃 화상의 부호화 데이터를 수신하고, 그것을 복호하여 컷아웃 화상 데이터를 화상 안정화부(102) 등에 공급하도록 해도 된다.
드라이브(354)는, 예를 들면, 자기 디스크, 광 디스크, 광자기 디스크, 또는 반도체 메모리 등의 리무버블 미디어(removable medium)(361)를 구동한다. 예를 들면, 드라이브(354)는, 화상 안정화부(102)로부터 공급된 컷아웃 화상 데이터를, 리무버블 미디어(361)에 기록한다. 그 때, 드라이브(354)는, 컷아웃 화상 데이터를 부호화하고, 그 부호화 데이터를 리무버블 미디어(361)에 기록하도록 해도 된다.
이상과 같이, 촬상 장치(100)는, 컷아웃 화상을 출력하거나, 메모리에 기록하거나, 다른 장치에 전송하거나, 리무버블 미디어에 기록하거나 할 수 있다.
<5. 제4 실시형태>
<화상 처리 시스템>
또한, 화상 안정화부(102)가 컷아웃 영역의 설정이나 컷아웃 화상의 생성을 행하지 않고, 판독 화상 및 그 좌표 정보, 및, 현재까지의 IMU 데이터를 서로 연관시켜 출력하도록 해도 된다. 그리고, 컷아웃 영역의 설정이나 컷아웃 화상의 생성을, 후단의 장치(예를 들면, 서버 등)에서 행하도록 해도 된다.
도 19는 본 기술을 적용한 화상 처리 시스템의 일 태양의 주요 구성의 일례를 나타내는 블록도이다. 도 19에 나타내는 화상 처리 시스템(400)은, 촬상 장치(100) 및 서버(401)에 의해 구성되고, 전체로서 도 2의 촬상 장치(100)와 마찬가지의 처리를 행한다.
도 19의 화상 처리 시스템(400)의 경우, 촬상 장치(100)는, 제1 실시형태의 경우와 마찬가지로, 이미지 센서(101), 화상 안정화부(102), 및 IMU(103)를 갖는다. 단, 이 경우의 화상 안정화부(102)는, 컷아웃 영역의 설정이나 컷아웃 화상의 생성을 행하지 않고, 판독 화상 및 그 좌표 정보(판독 영역에 관한 정보), 및, 현재까지의 IMU 데이터를 서로 연관시켜 서버(401)에 공급한다.
서버(401)는, 그 정보를 취득하고, 그 취득한 정보에 기초하여, 컷아웃 영역의 설정이나, 컷아웃 화상의 생성 등의 처리를 행한다.
<화상 안정화부>
이 경우의 화상 안정화부(102)의 주요 구성예를 도 20에 나타낸다. 도 20에 나타내는 바와 같이, 이 경우에도, 화상 안정화부(102)는, 도 4의 경우와 마찬가지로, 통신부(151) 및 화상 처리부(152)를 갖는다. 단, 화상 처리부(152)는, 도 4의 경우와 달리, 촬상 제어부(161), 움직임 정보 취득부(162), 판독 영역 설정부(167), 및 통신부(411)를 갖는다. 환언하건대, 이 경우의 화상 처리부(152)는, 컷아웃 영역 설정부(163) 내지 학습부(166)를 갖고 있지 않다.
촬상 제어부(161)는, 기본적으로 도 4의 경우와 마찬가지의 처리를 행하지만, 이미지 센서(101)로부터 취득한 판독 화상 및 그 판독 영역에 관한 정보(좌표 정보를 포함함)를, 통신부(411)에 공급한다.
움직임 정보 취득부(162)는, 기본적으로 도 4의 경우와 마찬가지의 처리를 행하지만, IMU(103)로부터 취득한 움직임 정보(현재까지의 IMU 데이터)를, 통신부(411)와 판독 영역 설정부(167)에 공급한다.
판독 영역 설정부(167)는, 기본적으로 도 4의 경우와 마찬가지의 처리를 행하고, 현재까지의 움직임 정보에 기초하여, 처리 대상 프레임의 다음 이후의 미리 정해진 프레임의 판독 영역을 설정한다. 판독 영역 설정부(167)는, 설정한 판독 영역에 관한 정보를 촬상 제어부(161)에 공급한다.
통신부(411)는, 소정의 통신 규격에 준거하여 서버(401)와 통신을 행하고, 판독 화상 및 그 판독 영역에 관한 정보(좌표 정보를 포함함), 및, 현재까지의 IMU 데이터를, 서버(401)에 송신한다.
이와 같이, 컷아웃 영역의 설정이나 컷아웃 화상의 생성에 관한 처리를 생략할 수 있으므로, 촬상 장치(100)는, 화상 안정화에 따른 부하의 증대를 억제할 수 있다.
<서버>
도 21은 서버(401)의 주요 구성예를 나타내는 블록도이다. 도 21에 나타내는 바와 같이, 서버(401)는 통신부(421), 컷아웃 영역 설정부(422), 컷아웃부(423), 및 출력부(424)를 갖는다.
통신부(421)는, 소정의 통신 규격에 준거하여 촬상 장치(100)와 통신을 행하고, 촬상 장치(100)로부터 송신되는, 판독 화상 및 그 판독 영역에 관한 정보(좌표 정보를 포함함), 및, 현재까지의 IMU 데이터를 수신한다. 통신부(421)는, 수신한 그 정보를 컷아웃 영역 설정부(422)에 공급한다.
컷아웃 영역 설정부(422)는, 기본적으로 컷아웃 영역 설정부(163)(도 4)와 마찬가지의 처리를 행하고, 통신부(421)로부터 공급된 정보를 이용하여, 판독 화상에 있어서, 컷아웃 화상 내에서의 피사체의 움직임을 억제하도록 (컷아웃 화상을 안정화시키도록) 컷아웃 영역을 설정한다. 컷아웃 영역 설정부(422)는, 그 설정한 컷아웃 영역에 관한 정보를, 통신부(421)로부터 공급된 정보와 함께, 컷아웃부(423)에 공급한다.
컷아웃부(423)는, 기본적으로 컷아웃부(164)(도 4)와 마찬가지의 처리를 행하고, 판독 화상으로부터, 컷아웃 영역 설정부(422)에 의해 설정된 컷아웃 영역의 화상을 컷아웃하여, 컷아웃 화상을 생성한다. 컷아웃부(423)는, 생성한 컷아웃 화상을 출력부(424)에 공급한다.
출력부(424)는, 기본적으로 출력부(165)(도 4)와 마찬가지의 처리를 행하고, 컷아웃 화상의 데이터(컷아웃 화상 데이터)를, 출력 인터페이스를 통해 서버(401)의 외부에 출력한다. 또한, 예를 들면, 출력부(424)는, 모니터나 스피커 등의 출력 디바이스를 가지며, 컷아웃 화상을 모니터에 표시하거나, 컷아웃 화상에 대응하는 음성 등을 스피커로부터 출력하거나 한다.
이와 같이, 컷아웃 영역의 설정이나 컷아웃 화상의 생성에 관한 처리를, 비교적 고성능 서버(401)에서 행함으로써, 비교적 저성능인 촬상 장치(100)에서 이 처리를 생략할 수 있으므로, 촬상 장치(100)는, 화상 안정화에 따른 부하의 증대를 억제할 수 있다.
<촬상 처리의 흐름>
이 경우의 촬상 장치(100)에 의해 실행되는 촬상 처리의 흐름의 예를, 도 22의 플로우차트를 참조하여 설명한다.
촬상 처리가 개시되면, 스텝(S301) 내지 스텝(S304)의 각 처리가, 도 11의 스텝(S101) 내지 스텝(S104)의 각 처리와 마찬가지로 실행된다.
스텝(S305)에 있어서, 통신부(411)는, 스텝(S303)의 처리에 의해 얻어진 판독 화상과 좌표 정보, 및, 스텝(S304)의 처리에 의해 얻어진 현재까지의 IMU 데이터를 서로 연관시켜 서버(401)에 공급한다.
스텝(S306) 및 스텝(S307)의 각 처리는, 도 11의 스텝(S109) 및 스텝(S110)의 각 처리와 마찬가지로 실행된다.
즉, 스텝(S307)에서, 촬상을 종료하지 않는다고 판정된 경우, 촬상 제어부(161)는, 스텝(S306)에서 설정된 판독 영역에 관한 정보를 이미지 센서(101)에 공급하고, 그 판독 영역을 이미지 센서(101)에 설정시킨다. 즉, 판독 영역의 설정을 갱신한다. 판독 영역의 설정을 갱신하면, 촬상 제어부(161)는, 처리를 스텝(S302)로 되돌리고, 그 이후의 처리를 반복한다.
또한, 스텝(S307)에서, 촬상을 종료한다고 판정된 경우, 촬상 처리가 종료한다.
<컷아웃 처리의 흐름>
다음으로, 도 23의 플로우차트를 참조하여, 서버(401)에 의해 실행되는 컷아웃 처리의 흐름의 예를 설명한다.
컷아웃 처리가 개시되면, 스텝(S321)에 있어서, 통신부(421)는, 촬상 장치(100)로부터, 판독 화상, 판독 영역에 관한 정보(좌표 정보를 포함함), 및 현재까지의 IMU 데이터를 취득한다.
스텝(S322)에 있어서, 컷아웃 영역 설정부(422)는, 스텝(S105)(도 11)의 경우와 마찬가지로, 스텝(S321)에서 얻어진 판독 화상 및 그 좌표 정보, 및, 현재까지의 IMU 데이터에 기초하여, 피사체의 위치 변동(흔들림)이 억제되도록, 현재 프레임의 컷아웃 영역을 설정한다.
스텝(S323)에 있어서, 컷아웃부(423)는, 스텝(S106)(도 11)의 경우와 마찬가지로, 스텝(S321)에서 얻어진 판독 화상으로부터, 스텝(S322)의 처리에 의해 설정된 컷아웃 영역의 화상을 컷아웃하여, 컷아웃 화상을 생성한다.
스텝(S324)에 있어서, 출력부(424)는, 스텝(S107)(도 11)의 경우와 마찬가지로, 스텝(S323)의 처리에 의해 생성된 컷아웃 화상을 출력한다.
스텝(S325)에 있어서, 통신부(421)는, 컷아웃 처리를 종료할지 여부를 판정한다. 촬상 장치(100)로부터의 판독 화상 등의 정보 송신이 계속하고 있으며, 컷아웃 처리를 종료하지 않는다고 판정된 경우, 처리는 스텝(S321)로 되돌아가고, 그 이후의 처리가 반복된다.
스텝(S325)에 있어서, 촬상 장치(100)로부터의 판독 화상 등의 정보 송신이 종료하거나 하고, 컷아웃 처리를 종료한다고 판정된 경우, 컷아웃 처리가 종료한다.
이상과 같이 각 처리를 실행함으로써, 화상 처리 시스템(400)은, 제1 실시형태의 촬상 장치(100)의 경우와 마찬가지로, 화상 안정화에 따른 부하의 증대를 억제할 수 있다.
<6. 제5 실시형태>
<화상 처리 장치>
또한, 본 기술은, 촬상 장치 이외의 화상 처리 장치에도 적용할 수 있다. 적어도, 판독 영역의 설정과, 컷아웃 영역의 설정을 행할 수 있으면 된다. 예를 들면, 제1 실시형태의 촬상 장치(100)의, 판독 영역 설정부(167)와 컷아웃 영역 설정부(163)를, 촬상 장치(100)와 별개의 화상 처리 장치로서 구성하도록 해도 된다.
도 24는 본 기술을 적용한 화상 처리 장치의 일 태양의 주요 구성의 일례를 나타내는 블록도이다. 도 24에 나타내는 화상 처리 장치(501)는, 촬상 장치(100)(의 이미지 센서(101))에 대해, 판독 영역이나 컷아웃 영역을 설정하는 화상 처리 장치이다.
화상 처리 장치(501)는, 판독 영역 설정부(511) 및 컷아웃 영역 설정부(512)를 갖는다.
판독 영역 설정부(511)는, 판독 영역 설정부(167)와 마찬가지의 처리부이며, 마찬가지의 처리를 행한다. 예를 들면, 판독 영역 설정부(511)는, 촬상 장치(100)의 화상 안정화부(102)로부터, 현재까지의 IMU 데이터를 취득하고, 이 정보에 기초하여, 처리 대상 프레임의 다음 이후의 미리 정해진 프레임의 판독 영역을 설정한다. 그리고, 판독 영역 설정부(511)는, 그 판독 영역에 관한 정보(판독 영역 설정 정보)를 화상 안정화부(102)에 공급한다. 촬상 장치(100)는, 그 판독 영역에서 판독 화상을 생성한다.
또한, 컷아웃 영역 설정부(512)는, 컷아웃 영역 설정부(163)와 마찬가지의 처리부이며, 마찬가지의 처리를 행한다. 예를 들면, 컷아웃 영역 설정부(512)는, 촬상 장치(100)의 화상 안정화부(102)로부터, 판독 화상 및 그 판독 영역에 관한 정보(좌표 정보를 포함함), 및, 현재까지의 IMU 데이터를 취득하고, 그 정보에 기초하여, 처리 대상 프레임의 컷아웃 영역을 설정한다. 그리고, 컷아웃 영역 설정부(512)는, 그 컷아웃 영역에 관한 정보(컷아웃 영역 설정 정보)를 화상 안정화부(102)에 공급한다. 촬상 장치(100)는, 그 컷아웃 영역에서 컷아웃 화상을 생성한다.
또한, 이 경우, 촬상 장치(100)의 화상 안정화부(102)의 판독 영역 설정부(167)와 컷아웃 영역 설정부(163)는 생략할 수 있다.
이러한 구성이어도, 화상 처리 장치(501)는, 촬상 장치(100)에, 이미지 센서(101)로부터 판독 화상을 판독시켜, 그 판독 화상을 이용하여 화상 안정화시킨 컷아웃 화상을 생성시킬 수 있다. 따라서, 화상 처리 장치(501)는, 제1 실시형태의 경우와 마찬가지로, 촬상 장치(100)의 화상 안정화에 따른 부하의 증대를 억제할 수 있다.
<7. 제6 실시형태>
<적층 이미지 센서>
또한, 본 기술은, 예를 들면, 반도체 기판이 봉지된 패키지(칩)나 그 패키지(칩)가 회로 기판에 설치된 모듈 등으로서 실현하도록 해도 된다. 예를 들면, 패키지(칩)로서 실현하는 경우, 그 패키지(칩)에 있어서 촬상 소자가, 단일의 반도체 기판에 의해 구성되도록 해도 되고, 서로 중첩되는 복수의 반도체 기판에 의해 구성되도록 해도 된다.
도 25는 본 기술을 적용한 적층 이미지 센서의 물리 구성의 일례를 나타내는 도면이다. 예를 들면, 도 25의 A에 나타내는 적층 이미지 센서(610)는, 서로 중첩되는 2매의 반도체 기판(적층 기판(화소 기판(611) 및 회로 기판(612)))을 갖는다. 예를 들면, 화소 기판(611)의 화소 영역에는, 촬상 장치(100)의 이미지 센서(101)의 화소 영역(136)(도 3)이 형성되고, 회로 기판(612)의 신호 처리 회로 영역에는, 이미지 센서(101)의 그 밖의 구성(도 3)이나 화상 안정화부(102) 및 IMU(103)가 형성되도록 해도 된다. 이러한 구성으로 함으로써, 화소 영역을 크게 할 수 있다.
또한, 이 반도체 기판(적층 기판)의 수(층 수)는 임의이며, 예를 들면, 3층 이상이어도 된다. 예를 들면, 도 25의 B에 나타내는 메모리 탑재 적층 이미지 센서(620)는, 서로 중첩되는 3매의 반도체 기판(적층 기판(화소 기판(621), 메모리 기판(622), 및 회로 기판(623)))을 갖는다. 예를 들면, 화소 기판(621)의 화소 영역에는, 촬상 장치(100)의 이미지 센서(101)의 화소 영역(136)(도 3)이 형성되고, 메모리 기판(622)의 메모리 영역에는, 판독 화상(촬상 화상) 등을 기억하는 메모리가 형성되고, 회로 기판(623)의 신호 처리 회로 영역에는, 이미지 센서(101)의 그 밖의 구성(도 3)이나 화상 안정화부(102) 및 IMU(103)가 형성되도록 해도 된다. 이러한 구성으로 함으로써, 화소 영역을 크게 할 수 있다.
<8. 부기>
<컴퓨터>
상술한 일련의 처리는, 하드웨어에 의해 실행시킬 수도 있고, 소프트웨어에 의해 실행시킬 수도 있다. 일련의 처리를 소프트웨어에 의해 실행하는 경우에는, 그 소프트웨어를 구성하는 프로그램이 컴퓨터에 인스톨된다. 여기서 컴퓨터에는, 전용 하드웨어에 통합되어 있는 컴퓨터나, 각종의 프로그램을 인스톨함으로써, 각종의 기능을 실행하는 것이 가능한, 예를 들면 범용 컴퓨터 등이 포함된다.
도 26은 상술한 일련의 처리를 프로그램에 의해 실행하는 컴퓨터의 하드웨어의 구성예를 나타내는 블록도이다.
도 26에 나타내는 컴퓨터(700)에 있어서, CPU(Central Processing Unit)(701), ROM(Read Only Memory)(702), RAM(Random Access Memory)(703)은, 버스(704)를 통해 서로 접속되어 있다.
버스(704)에는 또한, 입출력 인터페이스(710)도 접속되어 있다. 입출력 인터페이스(710)에는, 입력부(711), 출력부(712), 기억부(713), 통신부(714), 및 드라이브(715)가 접속되어 있다.
입력부(711)는, 예를 들면, 키보드, 마우스, 마이크로폰, 터치 패널, 입력 단자 등으로 이루어진다. 출력부(712)는, 예를 들면, 디스플레이, 스피커, 출력 단자 등으로 이루어진다. 기억부(713)는, 예를 들면, 하드 디스크, RAM 디스크, 비휘발성 메모리 등으로 이루어진다. 통신부(714)는, 예를 들면, 네트워크 인터페이스로 이루어진다. 드라이브(715)는, 자기 디스크, 광 디스크, 광자기 디스크, 또는 반도체 메모리 등의 리무버블 미디어(721)를 구동한다.
이상과 같이 구성되는 컴퓨터에서는, CPU(701)가, 예를 들면, 기억부(713)에 기억되어 있는 프로그램을, 입출력 인터페이스(710) 및 버스(704)를 통해, RAM(703)에 로딩하여 실행함으로써, 상술한 일련의 처리가 행해진다. RAM(703)에는 또한, CPU(701)가 각종의 처리를 실행하는 데에 필요한 데이터 등도 적절히 기억된다.
컴퓨터(CPU(701))가 실행하는 프로그램은, 예를 들면, 패키지 미디어 등으로서의 리무버블 미디어(721)에 기록하여 적용할 수 있다. 그 경우, 프로그램은, 리무버블 미디어(721)를 드라이브(715)에 장착함으로써, 입출력 인터페이스(710)를 통해, 기억부(713)에 인스톨할 수 있다.
또한, 이 프로그램은, 로컬 에어리어 네트워크, 인터넷, 디지털 위성 방송이라는, 유선 또는 무선의 전송 매체를 통해 제공할 수도 있다. 그 경우, 프로그램은, 통신부(714)에 의해 수신하고, 기억부(713)에 인스톨할 수 있다.
그 밖에, 이 프로그램은, ROM(702)이나 기억부(713)에, 미리 인스톨해 둘 수도 있다.
<본 기술의 적용 대상>
또한, 본 기술을 적용한 시스템, 장치, 처리부 등은, 예를 들면, 교통, 의료, 방범, 농업, 축산업, 광업, 미용, 공장, 가전, 기상, 자연 감시 등, 임의의 분야에 이용할 수 있다. 또한, 그 용도도 임의이다.
예를 들면, 본 기술은, 감상용 콘텐츠 등의 제공을 위해 사용되는 시스템이나 디바이스에 적용할 수 있다. 또한, 예를 들면, 본 기술은, 교통 상황의 감리나 자동 운전 제어 등, 교통을 위해 사용되는 시스템이나 디바이스에도 적용할 수 있다. 나아가, 예를 들면, 본 기술은, 보안을 위해 사용되는 시스템이나 디바이스에도 적용할 수 있다. 또한, 예를 들면, 본 기술은, 기계 등의 자동 제어를 위해 사용되는 시스템이나 디바이스에 적용할 수 있다. 나아가, 예를 들면, 본 기술은, 농업이나 축산업을 위해 사용되는 시스템이나 디바이스에도 적용할 수 있다. 또한, 본 기술은, 예를 들면 화산, 삼림, 해양 등의 자연의 상태나 야생 생물 등을 감시하는 시스템이나 디바이스에도 적용할 수 있다. 나아가, 예를 들면, 본 기술은, 스포츠를 위해 사용되는 시스템이나 디바이스에도 적용할 수 있다.
예를 들면, 본 개시에 관련되는 기술(본 기술)은, 자동차, 전기 자동차, 하이브리드 전기 자동차, 자동 이륜차, 자전거, 퍼스널 모빌리티, 비행기, 드론, 선박, 로봇 등 중 어느 하나의 종류의 이동체에 탑재되는 장치(또는 시스템)로서 실현되어도 된다.
예를 들면, 차량 제어 장치(또는 차량 제어 시스템)가, 이동체에 탑재된 촬상 장치(100)(또는 그 밖의 실시형태에서 설명한 본 기술을 적용한 장치 등)에 의해 얻어진 컷아웃 화상(화상 안정화가 실시된 촬상 화상)에 기초하여 (또는 그 컷아웃 화상으로부터 얻어진 정보에 기초하여), 구동력 발생 장치, 스티어링 기구 또는 제동 장치의 제어 목표값을 연산하여, 차량의 충돌 회피 또는 충격 완화, 차간 거리에 기초하는 추종 주행(예를 들면, 자동 브레이크 제어(추종 정지 제어도 포함함)나 자동 가속 제어(추종 발진 제어도 포함함) 등), 차량 속도 유지 주행, 차량의 충돌 경고(예를 들면, 음성이나 화상에 의한 장해물과의 충돌 경고 등), 또는 차량의 차선 일탈 경고나 근방의 보행자의 주의 환기 표시 등을 포함하는 ADAS(Advanced Driver Assistance System)의 기능 실현을 목적으로 한 협조 제어를 행할 수 있도록 해도 된다.
또한, 예를 들면, 차량 제어 장치(또는 차량 제어 시스템)가, 이동체에 탑재된 촬상 장치(100)(또는 그 밖의 실시형태에서 설명한 본 기술을 적용한 장치 등)에 의해 얻어진 컷아웃 화상(화상 안정화가 실시된 촬상 화상)에 기초하여 (또는 그 컷아웃 화상으로부터 얻어지는 정보에 기초하여), 구동력 발생 장치, 스티어링 기구 또는 제동 장치 등을 제어함으로써, 운전자의 조작에 의하지 않고 자율적으로 주행하는 자동 운전 등을 목적으로 한 협조 제어를 행할 수 있도록 해도 된다.
나아가, 예를 들면, 차량 제어 장치(또는 차량 제어 시스템)가, 이동체에 탑재된 촬상 장치(100)(또는 그 밖의 실시형태에서 설명한 본 기술을 적용한 장치 등)에 의해 얻어진 컷아웃 화상(화상 안정화가 실시된 촬상 화상)에 기초하여 (또는 그 컷아웃 화상으로부터 얻어지는 정보에 기초하여), 선행 차량 또는 반대편 차량의 위치를 검출하고, 그 위치에 따라 헤드램프를 제어하고, 하이 빔을 로우 빔으로 전환하는 등의 눈부심 방지를 도모하는 것을 목적으로 한 협조 제어를 행할 수 있도록 해도 된다.
<기타>
본 기술의 실시형태는, 상술한 실시형태에 한정되는 것이 아니고, 본 기술의 요지를 일탈하지 않는 범위에서 다양한 변경이 가능하다.
예를 들면, 본 기술은, 장치 또는 시스템을 구성하는 모든 구성, 예를 들면, 시스템 LSI(Large Scale Integration) 등으로서의 프로세서(예를 들면, 비디오 프로세서), 복수의 프로세서 등을 이용하는 모듈(예를 들면, 비디오 모듈), 복수의 모듈 등을 이용하는 유닛(예를 들면, 비디오 유닛), 유닛에 더욱 그 밖의 기능을 부가한 세트(예를 들면, 비디오 세트) 등(즉, 장치의 일부 구성)으로서 실시할 수도 있다.
또한, 본 명세서에 있어서, 시스템이란, 복수의 구성요소(장치, 모듈(부품) 등)의 집합을 의미하고, 모든 구성요소가 동일 케이스 중에 있는지 여부는 묻지 않는다. 따라서, 별개의 케이스에 수납되며, 네트워크를 통해 접속되어 있는 복수 장치, 및, 1개의 케이스 내에 복수의 모듈이 수납되어 있는 1개의 장치는, 모두, 시스템이다.
또한, 예를 들면, 1개의 장치(또는 처리부)로서 설명한 구성을 분할하고, 복수의 장치(또는 처리부)로서 구성하도록 해도 된다. 반대로, 이상에서 복수의 장치(또는 처리부)로서 설명한 구성을 통합해서 1개의 장치(또는 처리부)로서 구성되도록 해도 된다. 또한, 각 장치(또는 각 처리부)의 구성에 상술한 이외의 구성을 부가하도록 해도 물론 된다. 나아가, 시스템 전체로서의 구성이나 동작이 실질적으로 동일하다면, 어떤 장치(또는 처리부)의 구성의 일부를 다른 장치(또는 다른 처리부)의 구성에 포함시키도록 해도 된다.
또한, 예를 들면, 본 기술은, 1개의 기능을, 네트워크를 통해 복수의 장치에 의해 분담, 공동으로 처리하는 클라우드 컴퓨팅의 구성을 취할 수 있다. 예를 들면, 컴퓨터, AV(Audio Visual) 기기, 휴대형 정보처리단말, IoT(Internet of Things) 디바이스 등의 임의의 단말에 대해, 촬상 화상(동영상)에 관한 서비스를 제공하는 클라우드 서비스에 적용할 수도 있다.
또한, 예를 들면, 상술한 프로그램은, 임의의 장치에서 실행할 수 있다. 그 경우, 그 장치가, 필요한 기능(기능 블록 등)을 가지며, 필요한 정보를 얻을 수 있도록 하면 된다.
또한, 예를 들면, 상술한 플로우차트로 설명한 각 스텝은, 1개의 장치로 실행하는 것 외에, 복수의 장치에 의해 분담하여 실행할 수 있다. 나아가, 1개의 스텝에 복수의 처리가 포함되는 경우에는, 그 1개의 스텝에 포함되는 복수의 처리는, 1개의 장치로 실행하는 것 외에, 복수의 장치에 의해 분담하여 실행할 수 있다. 환언하건대, 1개의 스텝에 포함되는 복수의 처리를, 복수의 스텝의 처리로서 실행할 수도 있다. 반대로, 복수의 스텝으로서 설명한 처리를 1개의 스텝으로서 통합해서 실행할 수도 있다.
또한, 컴퓨터가 실행하는 프로그램은, 프로그램을 기술하는 스텝의 처리가, 본 명세서에서 설명하는 순서를 따라 시계열로 실행되도록 해도 되고, 병렬로, 또는 호출이 행해질 때 등의 필요한 타이밍에서 개별로 실행되도록 해도 된다. 즉, 모순이 생기지 않는 한, 각 스텝의 처리가 상술한 순서와 다른 순서로 실행되도록 해도 된다. 나아가, 이 프로그램을 기술하는 스텝의 처리가, 다른 프로그램의 처리와 병렬로 실행되도록 해도 되고, 다른 프로그램의 처리와 조합시켜 실행되도록 해도 된다.
또한, 본 명세서에서 복수 설명한 본 기술은, 모순이 생기지 않는 한, 각각 독립적으로 단체(單體)에서 실시할 수 있다. 물론, 임의의 복수의 본 기술을 병용하여 실시할 수도 있다. 예를 들면, 어떠한 실시형태에서 설명한 본 기술의 일부 또는 전부를, 다른 실시형태에서 설명한 본 기술의 일부 또는 전부와 조합시켜 실시할 수도 있다. 또한, 상술한 임의의 본 기술의 일부 또는 전부를, 상술하지 않는 다른 기술과 병용하여 실시할 수도 있다.
또한, 본 기술은 이하와 같은 구성도 취할 수 있다.
(1) 처리 대상 프레임의 다음 이후의 미리 정해진 프레임에 대해, 움직임 예측 정보에 기초하여, 복수의 화소에 의해 형성되는 촬상 영역 내의, 화상을 판독하는 영역인 판독 영역을 설정하는 판독 영역 설정부와,
상기 판독 영역 설정부에 의해 설정된 상기 처리 대상 프레임의 상기 판독 영역으로부터 판독된 판독 화상으로부터 부분 화상을 컷아웃하는 컷아웃 영역을 설정하는 컷아웃 영역 설정부를 구비하는 화상 처리 장치.
(2) 상기 판독 영역 설정부는, 상기 판독 영역의 위치 및 형상을 설정하는 (1)에 기재된 화상 처리 장치.
(3) 상기 판독 영역 설정부는, 현재까지의 움직임 정보에 기초하여 상기 미리 정해진 프레임까지의 움직임 정보를, 상기 움직임 예측 정보로서 추정하고, 추정한 상기 움직임 정보에 기초하여 상기 판독 영역을 설정하는 (1) 또는 (2)에 기재된 화상 처리 장치.
(4) 상기 판독 영역 설정부는, 현재까지의 상기 움직임 정보에 기초하여, 미리 정해진 규칙성에 따라, 상기 미리 정해진 프레임까지의 움직임 정보를 추정하는 (3)에 기재된 화상 처리 장치.
(5) 상기 판독 영역 설정부는, 상기 움직임 예측 정보에 기초하여, 상기 미리 정해진 프레임에 있어서의 상기 컷아웃 영역을 추정하고, 추정한 상기 컷아웃 영역을 포함하도록 상기 판독 영역을 설정하는 (1) 내지 (4) 중 어느 하나에 기재된 화상 처리 장치.
(6) 상기 판독 영역 설정부는, 추정한 상기 컷아웃 영역의 회전량에 따라 상기 판독 영역의 크기를 설정하는 (5)에 기재된 화상 처리 장치.
(7) 상기 컷아웃 영역 설정부는, 상기 컷아웃 영역의 위치 및 형상을 설정하는 (1) 내지 (6) 중 어느 하나에 기재된 화상 처리 장치.
(8) 상기 컷아웃 영역 설정부는, 상기 처리 대상 프레임의 상기 판독 영역 내에, 상기 컷아웃 영역을 설정하는 (1) 내지 (7) 중 어느 하나에 기재된 화상 처리 장치.
(9) 상기 컷아웃 영역 설정부는, 상기 처리 대상 프레임의 상기 판독 영역 내의, 현재까지의 움직임 정보에 대응하는 컷아웃 영역의 위치에 대해 움직임 방향으로 최근방의 위치에, 상기 컷아웃 영역을 설정하는 (8)에 기재된 화상 처리 장치.
(10) 상기 컷아웃 영역 설정부는, 현재까지의 움직임 정보와, 상기 판독 영역 설정부에 의해 설정된 상기 처리 대상 프레임의 상기 판독 영역에 관한 정보에 기초하여, 상기 처리 대상 프레임의 상기 컷아웃 영역을 설정하는 (1) 내지 (9) 중 어느 하나에 기재된 화상 처리 장치.
(11) 상기 판독 영역에 관한 정보는, 상기 판독 영역의 위치 및 형상에 관한 정보를 포함하는 (10)에 기재된 화상 처리 장치.
(12) 상기 판독 영역 설정부는, 처리 대상 프레임의 다음 프레임에 대해 상기 판독 영역을 설정하고,
상기 컷아웃 영역 설정부는, 상기 처리 대상 프레임의 상기 컷아웃 영역을 설정하는 (1) 내지 (11) 중 어느 하나에 기재된 화상 처리 장치.
(13) 상기 판독 화상으로부터, 상기 컷아웃 영역 설정부에 의해 설정된 상기 컷아웃 영역의 부분 화상을 컷아웃하는 컷아웃부를 더 구비하는 (1) 내지 (12) 중 어느 하나에 기재된 화상 처리 장치.
(14) 상기 컷아웃 영역 설정부에 의한 상기 컷아웃 영역의 설정 결과에 기초하여, 상기 판독 영역 설정부에 의한 상기 판독 영역의 설정에 관한 학습을 행하는 학습부를 더 구비하고,
상기 판독 영역 설정부는, 상기 학습부에 의한 학습 결과를 반영하여, 상기 판독 영역의 설정을 행하는 (1) 내지 (13) 중 어느 하나에 기재된 화상 처리 장치.
(15) 촬상부에 피사체를 촬상시켜, 상기 촬상부의 상기 촬상 영역의 상기 판독 영역에서 얻어지는 촬상 화상인 상기 판독 화상을 취득하는 촬상 제어부를 더 구비하는 (1) 내지 (14) 중 어느 하나에 기재된 화상 처리 장치.
(16) 상기 촬상 제어부는, 상기 판독 영역 설정부에 의해 설정된 상기 판독 영역에 관한 정보를 상기 촬상부에 공급하고,
상기 촬상부는, 피사체를 촬상하고, 공급된 상기 판독 영역에 관한 정보에 나타난 상기 판독 영역의 촬상 화상을 생성하는 (15)에 기재된 화상 처리 장치.
(17) 상기 촬상 제어부는, 수직 블랭킹 기간에서, 처리 대상 프레임의 다음 프레임의 상기 판독 영역에 관한 정보를 상기 촬상부에 공급하는 (16)에 기재된 화상 처리 장치.
(18) 상기 판독 영역에 관한 정보는, 상기 판독 영역의 위치 및 형상에 관한 정보를 포함하는 (16) 또는 (17)에 기재된 화상 처리 장치.
(19) 상기 촬상 제어부는, 상기 판독 화상과 함께, 상기 판독 영역에 관한 정보를 취득하는 (15) 내지 (18) 중 어느 하나에 기재된 화상 처리 장치.
(20) 상기 판독 영역에 관한 정보는, 상기 판독 영역의 위치 및 형상에 관한 정보를 포함하는 (19)에 기재된 화상 처리 장치.
(21) 피사체를 촬상하는 촬상부를 더 구비하고,
상기 촬상 제어부는, 상기 촬상부에 피사체를 촬상시켜, 상기 판독 화상을 취득하는 (15) 내지 (20) 중 어느 하나에 기재된 화상 처리 장치.
(22) 계측부에 의해 계측된 촬상부의 움직임이나 자세에 관한 계측 데이터를 취득하는 취득부를 더 구비하고,
상기 판독 영역 설정부는, 상기 취득부에 의해 취득된 상기 촬상부의 움직임이나 자세에 관한 상기 계측 데이터에 기초하여 상기 움직임 예측 정보를 추정하고, 추정한 상기 움직임 예측 정보에 기초하여 상기 판독 영역을 설정하는 (1) 내지 (21) 중 어느 하나에 기재된 화상 처리 장치.
(23) 상기 컷아웃 영역 설정부는, 상기 취득부에 의해 취득된 상기 촬상부의 움직임이나 자세에 관한 상기 계측 데이터에 대응하는 현재까지의 움직임 정보에 기초하여, 상기 처리 대상 프레임의 상기 컷아웃 영역을 설정하는 (22)에 기재된 화상 처리 장치.
(24) 상기 계측부를 더 구비하는 (22) 또는 (23)에 기재된 화상 처리 장치.
(25) 촬상 화상의 프레임 간의 움직임 벡터를 검출하는 움직임 벡터 검출부를 더 구비하고,
상기 판독 영역 설정부는, 상기 움직임 벡터 검출부에 의해 검출된 상기 움직임 벡터에 기초하여 상기 판독 영역을 설정하는 (1) 내지 (24) 중 어느 하나에 기재된 화상 처리 장치.
(26) 상기 컷아웃 영역 설정부는, 상기 움직임 벡터 검출부에 의해 검출된 상기 움직임 벡터에 기초하여, 상기 처리 대상 프레임의 상기 컷아웃 영역을 설정하는 (25)에 기재된 화상 처리 장치.
(27) 처리 대상 프레임의 다음 이후의 미리 정해진 프레임에 대해, 움직임 예측 정보에 기초하여, 복수의 화소에 의해 형성되는 촬상 영역 내의, 화상을 판독하는 영역인 판독 영역을 설정하고,
설정된 상기 처리 대상 프레임의 상기 판독 영역으로부터 판독된 판독 화상으로부터 부분 화상을 컷아웃하는 컷아웃 영역을 설정하는 화상 처리 방법.
(28) 피사체를 촬상하는 촬상 장치와,
화상 처리를 행하는 화상 처리 장치를 구비하고,
처리 대상 프레임의 다음 이후의 미리 정해진 프레임에 대해, 움직임 예측 정보에 기초하여, 복수의 화소에 의해 형성되는 촬상 영역 내의, 화상을 판독하는 영역인 판독 영역을 설정하는 판독 영역 설정부와,
상기 판독 영역 설정부에 의해 설정된 상기 처리 대상 프레임의 상기 판독 영역으로부터 판독된 판독 화상으로부터 부분 화상을 컷아웃하는 컷아웃 영역을 설정하는 컷아웃 영역 설정부를 갖는 화상 처리 시스템.
100: 촬상 장치
101: 이미지 센서
102: 화상 안정화부
103: IMU
131: 통신부
132: 시스템 제어부
133: 행 주사부
134: 열 주사부
135: ADC
136: 화소 영역
151: 통신부
152: 화상 처리부
161: 촬상 제어부
162: 움직임 정보 취득부
163: 컷아웃 영역 설정부
164: 컷아웃부
165: 출력부
166: 학습부
167: 판독 영역 설정부
311: 움직임 벡터 산출부
312: 컷아웃 영역 설정부
313: 판독 영역 설정부
351: 출력부
352: 기록부
353: 통신부
354: 드라이브
361: 리무버블 미디어
401: 서버
411: 통신부
421: 통신부
422: 컷아웃 영역 설정부
423: 컷아웃부
424: 출력부
501: 화상 처리 장치
511: 판독 영역 설정부
512: 컷아웃 영역 설정부
610: 적층 이미지 센서
620: 메모리 탑재 적층 이미지 센서
700: 컴퓨터

Claims (20)

  1. 처리 대상 프레임의 다음 이후의 미리 정해진 프레임에 대해, 움직임 예측 정보에 기초하여, 복수의 화소에 의해 형성되는 촬상 영역 내의, 화상을 판독하는 영역인 판독 영역을 설정하는 판독 영역 설정부와,
    상기 판독 영역 설정부에 의해 설정된 상기 처리 대상 프레임의 상기 판독 영역으로부터 판독된 판독 화상으로부터 부분 화상을 컷아웃하는 컷아웃 영역을 설정하는 컷아웃 영역 설정부를 구비하는, 화상 처리 장치.
  2. 제1항에 있어서,
    상기 판독 영역 설정부는 상기 판독 영역의 위치 및 형상을 설정하는, 화상 처리 장치.
  3. 제1항에 있어서,
    상기 판독 영역 설정부는, 현재까지의 움직임 정보에 기초하여 상기 미리 정해진 프레임까지의 움직임 정보를, 상기 움직임 예측 정보로서 추정하고, 추정한 상기 움직임 정보에 기초하여 상기 판독 영역을 설정하는, 화상 처리 장치.
  4. 제3항에 있어서,
    상기 판독 영역 설정부는, 현재까지의 상기 움직임 정보에 기초하여, 미리 정해진 규칙성에 따라, 상기 미리 정해진 프레임까지의 움직임 정보를 추정하는, 화상 처리 장치.
  5. 제1항에 있어서,
    상기 판독 영역 설정부는, 상기 움직임 예측 정보에 기초하여, 상기 미리 정해진 프레임에 있어서의 상기 컷아웃 영역을 추정하고, 추정한 상기 컷아웃 영역을 포함하도록 상기 판독 영역을 설정하는, 화상 처리 장치.
  6. 제5항에 있어서,
    상기 판독 영역 설정부는, 추정한 상기 컷아웃 영역의 회전량에 따라 상기 판독 영역의 크기를 설정하는, 화상 처리 장치.
  7. 제1항에 있어서,
    상기 컷아웃 영역 설정부는 상기 컷아웃 영역의 위치 및 형상을 설정하는, 화상 처리 장치.
  8. 제1항에 있어서,
    상기 컷아웃 영역 설정부는, 상기 처리 대상 프레임의 상기 판독 영역 내에, 상기 컷아웃 영역을 설정하는, 화상 처리 장치.
  9. 제8항에 있어서,
    상기 컷아웃 영역 설정부는, 상기 처리 대상 프레임의 상기 판독 영역 내의, 현재까지의 움직임 정보에 대응하는 컷아웃 영역의 위치에 대해 움직임 방향으로 최근방의 위치에, 상기 컷아웃 영역을 설정하는, 화상 처리 장치.
  10. 제1항에 있어서,
    상기 컷아웃 영역 설정부는, 현재까지의 움직임 정보와, 상기 판독 영역 설정부에 의해 설정된 상기 처리 대상 프레임의 상기 판독 영역에 관한 정보에 기초하여, 상기 처리 대상 프레임의 상기 컷아웃 영역을 설정하는, 화상 처리 장치.
  11. 제1항에 있어서,
    상기 판독 화상으로부터, 상기 컷아웃 영역 설정부에 의해 설정된 상기 컷아웃 영역의 부분 화상을 컷아웃하는 컷아웃부를 더 구비하는, 화상 처리 장치.
  12. 제1항에 있어서,
    촬상부에 피사체를 촬상시켜, 상기 촬상부의 상기 촬상 영역의 상기 판독 영역에서 얻어지는 촬상 화상인 상기 판독 화상을 취득하는 촬상 제어부를 더 구비하는, 화상 처리 장치.
  13. 제12항에 있어서,
    상기 촬상 제어부는, 상기 판독 영역 설정부에 의해 설정된 상기 판독 영역에 관한 정보를 상기 촬상부에 공급하고,
    상기 촬상부는, 피사체를 촬상하고, 공급된 상기 판독 영역에 관한 정보에 나타난 상기 판독 영역의 촬상 화상을 생성하는, 화상 처리 장치.
  14. 제13항에 있어서,
    상기 촬상 제어부는, 수직 블랭킹 기간에서, 처리 대상 프레임의 다음 프레임의 상기 판독 영역에 관한 정보를 상기 촬상부에 공급하는, 화상 처리 장치.
  15. 제12항에 있어서,
    상기 촬상 제어부는, 상기 판독 화상과 함께, 상기 판독 영역에 관한 정보를 취득하는, 화상 처리 장치.
  16. 제12항에 있어서,
    피사체를 촬상하는 촬상부를 더 구비하고,
    상기 촬상 제어부는, 상기 촬상부에 피사체를 촬상시켜, 상기 판독 화상을 취득하는, 화상 처리 장치.
  17. 제1항에 있어서,
    계측부에 의해 계측된 촬상부의 움직임이나 자세에 관한 계측 데이터를 취득하는 취득부를 더 구비하고,
    상기 판독 영역 설정부는, 상기 취득부에 의해 취득된 상기 촬상부의 움직임이나 자세에 관한 상기 계측 데이터에 기초하여 상기 움직임 예측 정보를 추정하고, 추정한 상기 움직임 예측 정보에 기초하여 상기 판독 영역을 설정하는, 화상 처리 장치.
  18. 제1항에 있어서,
    촬상 화상의 프레임 간의 움직임 벡터를 검출하는 움직임 벡터 검출부를 더 구비하고,
    상기 판독 영역 설정부는, 상기 움직임 벡터 검출부에 의해 검출된 상기 움직임 벡터에 기초하여 상기 판독 영역을 설정하는, 화상 처리 장치.
  19. 처리 대상 프레임의 다음 이후의 미리 정해진 프레임에 대해, 움직임 예측 정보에 기초하여, 복수의 화소에 의해 형성되는 촬상 영역 내의, 화상을 판독하는 영역인 판독 영역을 설정하고,
    설정된 상기 처리 대상 프레임의 상기 판독 영역으로부터 판독된 판독 화상으로부터 부분 화상을 컷아웃하는 컷아웃 영역을 설정하는, 화상 처리 방법.
  20. 피사체를 촬상하는 촬상 장치와,
    화상 처리를 행하는 화상 처리 장치를 구비하고,
    처리 대상 프레임의 다음 이후의 미리 정해진 프레임에 대해, 움직임 예측 정보에 기초하여, 복수의 화소에 의해 형성되는 촬상 영역 내의, 화상을 판독하는 영역인 판독 영역을 설정하는 판독 영역 설정부와,
    상기 판독 영역 설정부에 의해 설정된 상기 처리 대상 프레임의 상기 판독 영역으로부터 판독된 판독 화상으로부터 부분 화상을 컷아웃하는 컷아웃 영역을 설정하는 컷아웃 영역 설정부를 갖는, 화상 처리 시스템.
KR1020207016059A 2018-01-09 2018-12-26 화상 처리 장치 및 방법, 및 화상 처리 시스템 KR102658707B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018001010A JP2019121941A (ja) 2018-01-09 2018-01-09 画像処理装置および方法、並びに画像処理システム
JPJP-P-2018-001010 2018-01-09
PCT/JP2018/047704 WO2019138868A1 (ja) 2018-01-09 2018-12-26 画像処理装置および方法、並びに画像処理システム

Publications (2)

Publication Number Publication Date
KR20200106153A true KR20200106153A (ko) 2020-09-11
KR102658707B1 KR102658707B1 (ko) 2024-04-19

Family

ID=67219720

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020207016059A KR102658707B1 (ko) 2018-01-09 2018-12-26 화상 처리 장치 및 방법, 및 화상 처리 시스템

Country Status (4)

Country Link
US (1) US11388340B2 (ko)
JP (1) JP2019121941A (ko)
KR (1) KR102658707B1 (ko)
WO (1) WO2019138868A1 (ko)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11902660B2 (en) * 2019-02-21 2024-02-13 Sony Group Corporation Image processing device, image processing method, and program
WO2021117136A1 (ja) * 2019-12-10 2021-06-17 オリンパス株式会社 撮像システム及び内視鏡システム
US11985424B2 (en) 2020-03-16 2024-05-14 Sony Semiconductor Solutions Corporation Signal processing device and signal processing method for correcting input signal from sensor
WO2021230120A1 (ja) * 2020-05-15 2021-11-18 ソニーグループ株式会社 情報処理装置、情報処理方法、および情報処理プログラム
EP4174570A4 (en) * 2020-06-30 2024-01-03 Sony Group Corporation SEMICONDUCTOR IMAGING ELEMENT, IMAGING DEVICE, METHOD FOR OPERATING IMAGING DEVICE, MOVING OBJECT DEVICE, METHOD FOR OPERATING MOVING OBJECT DEVICE, AND PROGRAM
JPWO2023007789A1 (ko) * 2021-07-28 2023-02-02
WO2023163781A1 (en) * 2022-02-23 2023-08-31 Gopro, Inc. Dynamic image dimension adjustment
WO2024029307A1 (ja) * 2022-08-03 2024-02-08 ソニーグループ株式会社 画像処理装置、画像処理方法、プログラム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014156731A (ja) 2013-02-15 2014-08-28 Masanori Egashira 架台基礎部用型枠及び架台構築方法
JP2015173388A (ja) * 2014-03-12 2015-10-01 キヤノン株式会社 撮像装置及びその制御方法
US20160150158A1 (en) * 2014-11-24 2016-05-26 Samsung Electronics Co., Ltd. Photographing apparatus and method for controlling thereof

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7705884B2 (en) * 2004-07-21 2010-04-27 Zoran Corporation Processing of video data to compensate for unintended camera motion between acquired image frames
JP2007228019A (ja) * 2006-02-21 2007-09-06 Olympus Corp 撮像装置
JP6327245B2 (ja) 2013-03-29 2018-05-23 ソニー株式会社 撮像装置、固体撮像素子、カメラモジュール、電子機器、および撮像方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014156731A (ja) 2013-02-15 2014-08-28 Masanori Egashira 架台基礎部用型枠及び架台構築方法
JP2015173388A (ja) * 2014-03-12 2015-10-01 キヤノン株式会社 撮像装置及びその制御方法
US20160150158A1 (en) * 2014-11-24 2016-05-26 Samsung Electronics Co., Ltd. Photographing apparatus and method for controlling thereof

Also Published As

Publication number Publication date
WO2019138868A1 (ja) 2019-07-18
US20210014399A1 (en) 2021-01-14
KR102658707B1 (ko) 2024-04-19
JP2019121941A (ja) 2019-07-22
US11388340B2 (en) 2022-07-12

Similar Documents

Publication Publication Date Title
KR102658707B1 (ko) 화상 처리 장치 및 방법, 및 화상 처리 시스템
KR102526559B1 (ko) 촬상 장치 및 전자 기기
WO2017057054A1 (ja) 情報処理装置、情報処理方法、およびプログラム
CN104126299B (zh) 视频图像稳定化
KR101856947B1 (ko) 촬영장치, 움직임 추정장치, 영상 보정 방법, 움직임 추정방법 및 컴퓨터 판독가능 기록매체
US11222409B2 (en) Image/video deblurring using convolutional neural networks with applications to SFM/SLAM with blurred images/videos
CN109951638B (zh) 摄像头防抖系统、方法、电子设备和计算机可读存储介质
US10110817B2 (en) Image processing device and method, and program for correcting an imaging direction
JP2016046666A (ja) 撮像装置およびその制御方法、並びにプログラム
JP5531603B2 (ja) 画像処理装置および方法、並びにプログラム
US9532030B2 (en) Integrated three-dimensional vision sensor
KR20140055353A (ko) 주변차량 위치 추적 장치 및 방법
US11132586B2 (en) Rolling shutter rectification in images/videos using convolutional neural networks with applications to SFM/SLAM with rolling shutter images/videos
US9508132B2 (en) Method and device for determining values which are suitable for distortion correction of an image, and for distortion correction of an image
US8964058B2 (en) On-board camera system for monitoring an area around a vehicle
CN117014726A (zh) 基于多角度处理的视频稳像方法及系统
CN114821544A (zh) 感知信息生成方法、装置、车辆、电子设备及存储介质
JP5279453B2 (ja) 画像振れ補正装置、撮像装置及び画像振れ補正方法
JP6316030B2 (ja) 撮像装置及びその制御方法
US20220222834A1 (en) Image processing system, image processing device, image processing method, and program
Yabuki et al. Real-time video stabilization on an FPGA
CN112313944A (zh) 图像处理方法、装置、设备及存储介质
JP6142005B2 (ja) 撮像装置、カメラシステム、および信号出力方法
EP3035689B1 (en) Transmission apparatus, relay apparatus and reception apparatus
CN113542533A (zh) 相机降噪

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant