KR20220050130A - 화상 처리 장치, 촬상 장치, 시스템, 화상 처리 방법 및 프로그램 - Google Patents

화상 처리 장치, 촬상 장치, 시스템, 화상 처리 방법 및 프로그램 Download PDF

Info

Publication number
KR20220050130A
KR20220050130A KR1020227003456A KR20227003456A KR20220050130A KR 20220050130 A KR20220050130 A KR 20220050130A KR 1020227003456 A KR1020227003456 A KR 1020227003456A KR 20227003456 A KR20227003456 A KR 20227003456A KR 20220050130 A KR20220050130 A KR 20220050130A
Authority
KR
South Korea
Prior art keywords
image
time stamp
motion
event signal
inverse filter
Prior art date
Application number
KR1020227003456A
Other languages
English (en)
Inventor
히로마사 나가누마
마사카즈 하야시
요스케 구리하라
Original Assignee
주식회사 소니 인터랙티브 엔터테인먼트
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 소니 인터랙티브 엔터테인먼트 filed Critical 주식회사 소니 인터랙티브 엔터테인먼트
Publication of KR20220050130A publication Critical patent/KR20220050130A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00132—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture in a digital photofinishing system, i.e. a system where digital photographic images undergo typical photofinishing processing, e.g. printing ordering
    • H04N1/00167—Processing or editing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00132—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture in a digital photofinishing system, i.e. a system where digital photographic images undergo typical photofinishing processing, e.g. printing ordering
    • H04N1/00169—Digital image input
    • H04N1/00172—Digital image input directly from a still digital camera or from a storage medium mounted in a still digital camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N1/32101—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N1/32106—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title separate from the image data, e.g. in a different computer file
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8547—Content authoring involving timestamps for synchronizing content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6812—Motion detection based on additional sensors, e.g. acceleration sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/684—Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/04—Synchronising
    • H04N5/06—Generation of synchronising signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/92—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N5/9201—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving the multiplexing of an additional signal and the video signal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20201—Motion blur correction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/3201—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N2201/3212—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to a job, e.g. communication, capture or filing of an image
    • H04N2201/3215—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to a job, e.g. communication, capture or filing of an image of a time or duration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Computer Security & Cryptography (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

화상 처리 장치는, 동기적인 스캔에 의해 촬상된 화상에 부여된 제1 타임 스탬프, 화상의 1개 또는 복수의 픽셀에 있어서의 광의 강도 변화에 따라서 생성된 이벤트 신호, 및 이벤트 신호에 부여되고 제1 타임 스탬프에 동기하는 제2 타임 스탬프에 기초하여 화상에 있어서의 피사체의 움직임을 추정하는 움직임 추정부와, 움직임에 기초하여 역 필터를 생성하는 역 필터 생성부와, 역 필터를 화상에 적용하는 필터 적용부를 구비한다.

Description

화상 처리 장치, 촬상 장치, 시스템, 화상 처리 방법 및 프로그램
본 발명은, 화상 처리 장치, 촬상 장치, 시스템, 화상 처리 방법 및 프로그램에 관한 것이다.
입사하는 광의 강도 변화를 검출한 픽셀이 시간 비동기적으로 신호를 생성하는, 이벤트 구동형의 비전 센서가 알려져 있다. 이벤트 구동형의 비전 센서는, 소정의 주기마다 모든 픽셀을 스캔하는 프레임형 비전 센서, 구체적으로는 CCD나 CMOS 등의 이미지 센서에 비하여 저전력으로 고속으로 동작 가능한 점에서 유리하다. 이러한 이벤트 구동형의 비전 센서에 관한 기술은, 예를 들어 특허문헌 1 및 특허문헌 2에 기재되어 있다.
일본 특허 공표 제2014-535098호 공보 일본 특허 공개 제2018-85725호 공보
그러나, 이벤트 구동형의 비전 센서에 대해서는, 상기와 같은 이점은 알려져 있지만, 다른 장치, 예를 들어 프레임형 비전 센서와 조합한 이용 방법에 대해서는, 아직 충분히 제안되어 있다고는 하기 어렵다.
그래서 본 발명은, 이벤트 구동형의 비전 센서를 프레임형 비전 센서와 조합하여 사용함으로써 유리한 효과를 얻을 수 있는 화상 처리 장치, 촬상 장치, 시스템, 화상 처리 방법 및 프로그램을 제공하는 것을 목적으로 한다.
본 발명의 일 관점에 의하면, 동기적인 스캔에 의해 촬상된 화상에 부여된 제1 타임 스탬프, 화상의 1개 또는 복수의 픽셀에 있어서의 광의 강도 변화에 따라서 생성된 이벤트 신호, 및 이벤트 신호에 부여되고 제1 타임 스탬프에 동기하는 제2 타임 스탬프에 기초하여 화상에 있어서의 피사체의 움직임을 추정하는 움직임 추정부와, 움직임에 기초하여 역 필터를 생성하는 역 필터 생성부와, 역 필터를 화상에 적용하는 필터 적용부를 구비하는 화상 처리 장치가 제공된다.
본 발명의 다른 관점에 의하면, 동기적인 스캔에 의해 화상을 촬상하고, 화상에 제1 타임 스탬프를 부여하는 제1 비전 센서와, 화상의 1개 또는 복수의 픽셀에 대응지어지는 센서를 포함하고, 센서가 광의 강도 변화를 검출했을 때에 이벤트 신호를 생성하고, 이벤트 신호에 제1 타임 스탬프에 동기하는 제2 타임 스탬프를 부여하는 제2 비전 센서를 구비하는 촬상 장치가 제공된다.
본 발명의 또 다른 관점에 의하면, 동기적인 스캔에 의해 화상을 촬상하고, 화상에 제1 타임 스탬프를 부여하는 제1 비전 센서와, 화상의 1개 또는 복수의 픽셀에 대응지어지는 센서를 포함하고, 센서가 광의 강도 변화를 검출했을 때에 이벤트 신호를 생성하고, 이벤트 신호에 제1 타임 스탬프에 동기하는 제2 타임 스탬프를 부여하는 제2 비전 센서와, 제1 타임 스탬프, 이벤트 신호, 및 제2 타임 스탬프에 기초하여 화상에 있어서의 피사체의 움직임을 추정하는 움직임 추정부, 움직임에 기초하여 역 필터를 생성하는 역 필터 생성부, 및 역 필터를 화상에 적용하는 필터 적용부를 구비하는 화상 처리 장치를 포함하는 시스템이 제공된다.
본 발명의 또 다른 관점에 의하면, 동기적인 스캔에 의해 화상을 촬상하고, 화상에 제1 타임 스탬프를 부여하는 스텝과, 화상의 1개 또는 복수의 픽셀에 대응지어지는 센서를 포함하고, 센서가 광의 강도 변화를 검출했을 때에 이벤트 신호를 생성하고, 이벤트 신호에 제1 타임 스탬프에 동기하는 제2 타임 스탬프를 부여하는 스텝과, 제1 타임 스탬프, 이벤트 신호, 및 제2 타임 스탬프에 기초하여 화상에 있어서의 피사체의 움직임을 추정하는 스텝과, 움직임에 기초하여 역 필터를 생성하는 스텝과, 역 필터를 화상에 적용하는 스텝을 포함하는 화상 처리 방법이 제공된다.
본 발명의 또 다른 관점에 의하면, 동기적인 스캔에 의해 촬상된 화상에 부여된 제1 타임 스탬프, 화상의 1개 또는 복수의 픽셀에 있어서의 광의 강도 변화에 따라서 생성된 이벤트 신호, 및 이벤트 신호에 부여되고 제1 타임 스탬프에 동기하는 제2 타임 스탬프에 기초하여, 화상에 있어서의 피사체의 움직임을 추정하는 기능과, 움직임에 기초하여 역 필터를 생성하는 기능과, 역 필터를 화상에 적용하는 기능을 컴퓨터에 실현시키기 위한 프로그램이 제공된다.
도 1은 본 발명의 일 실시 형태에 관한 시스템의 개략적인 구성을 도시하는 블록도이다.
도 2는 본 발명의 일 실시 형태에 있어서의 카메라·센서 사이의 캘리브레이션에 대하여 개략적으로 설명하기 위한 도면이다.
도 3은 본 발명의 일 실시 형태에 있어서의 화상과 이벤트 신호의 매칭의 예에 대하여 설명하기 위한 도면이다.
도 4a는 본 발명의 일 실시 형태에 있어서의 이벤트 신호에 기초하는 움직임의 추정 및 역 필터에 대하여 설명하기 위한 도면이다.
도 4b는 본 발명의 일 실시 형태에 있어서의 이벤트 신호에 기초하는 움직임의 추정 및 역 필터에 대하여 설명하기 위한 도면이다.
도 4c는 본 발명의 일 실시 형태에 있어서의 이벤트 신호에 기초하는 움직임의 추정 및 역 필터에 대하여 설명하기 위한 도면이다.
도 4d는 본 발명의 일 실시 형태에 있어서의 이벤트 신호에 기초하는 움직임의 추정 및 역 필터에 대하여 설명하기 위한 도면이다.
도 5는 본 발명의 일 실시 형태에 관한 화상 처리 방법의 예를 나타내는 흐름도이다.
이하, 첨부 도면을 참조하면서, 본 발명의 몇 실시 형태에 대하여 상세하게 설명한다. 또한, 본 명세서 및 도면에 있어서, 실질적으로 동일한 기능 구성을 갖는 구성 요소에 대해서는, 동일한 부호를 붙임으로써 중복 설명을 생략한다.
도 1은, 본 발명의 일 실시 형태에 관한 시스템의 개략적인 구성을 도시하는 블록도이다. 도 1에 도시되는 바와 같이, 시스템(10)은, RGB 카메라(100)와, EDS(Event Driven Sensor)(200)와, 화상 처리 장치(300)를 포함한다.
RGB 카메라(100)는, 동기적인 스캔에 의해 화상을 촬상하는 제1 비전 센서의 예이며, 이미지 센서(110)와, 이미지 센서(110)에 접속되는 처리 회로(120)를 포함한다. 이미지 센서(110)는, 예를 들어 소정의 주기로, 또는 유저 조작에 따른 소정의 타이밍에 모든 픽셀을 동기적으로 스캔함으로써 RGB 화상(101)을 촬상한다. 처리 회로(120)는, 예를 들어 RGB 화상(101)을 보존 및 전송에 적합한 형식으로 변환한다. 또한, 처리 회로(120)는, RGB 화상(101)에 타임 스탬프(102)를 부여한다. 예를 들어, 처리 회로(120)는, RGB 화상(101)에, 이미지 센서(110)에 의한 스캔의 개시 또는 종료 중 적어도 어느 것을 나타내는 타임 스탬프(102)를 부여한다. 예를 들어 정지 화상의 경우, 스캔의 개시부터 종료까지의 시간은 노광 시간이라고도 불린다.
EDS(200)는, 센서가 광의 강도 변화를 검출했을 때에 이벤트 신호를 생성하는 제2 비전 센서의 예이며, 센서 어레이를 구성하는 센서(210)와, 센서(210)에 접속되는 처리 회로(220)를 포함한다. 센서(210)는, 수광 소자를 포함하고, 입사하는 광의 강도 변화, 보다 구체적으로는 휘도 변화를 검출했을 때에 이벤트 신호(201)를 생성한다. 입사하는 광의 강도 변화를 검출하지 않은 센서(210)는 이벤트 신호(201)를 생성하지 않기 때문에, EDS(200)에 있어서 이벤트 신호(201)는 시간 비동기적으로 생성된다. 처리 회로(220)를 거쳐서 출력되는 이벤트 신호(201)는, 센서(210)의 식별 정보(예를 들어 픽셀의 위치)와, 휘도 변화의 극성(상승 또는 저하)과, 타임 스탬프(202)를 포함한다.
여기서, 본 실시 형태에 있어서, RGB 화상(101)에 부여되는 타임 스탬프(102)와, 이벤트 신호(201)에 부여되는 타임 스탬프(202)는 동기되어 있다. 구체적으로는, 예를 들어 EDS(200)에서 타임 스탬프(202)를 생성하기 위하여 사용되는 시각 정보를 RGB 카메라(100)에 제공함으로써, 타임 스탬프(102)를 타임 스탬프(202)에 동기시킬 수 있다. 혹은, 타임 스탬프(102, 202)를 생성하기 위한 시각 정보가 RGB 카메라(100)와 EDS(200)에서 각각 독립되어 있는 경우, 특정한 이벤트(예를 들어, 화상 전체에 걸치는 피사체의 변화)가 발생한 시각을 기준으로 하여 타임 스탬프의 오프셋양을 산출함으로써, 사후적으로 타임 스탬프(102)와 타임 스탬프(202)를 동기시킬 수 있다.
또한, 본 실시 형태에서는, 사전에 실행되는 RGB 카메라(100)와 EDS(200)의 캘리브레이션 수순에 의해, EDS(200)의 센서(210)가 RGB 화상(101)의 1개 또는 복수의 픽셀에 대응지어지고, 이벤트 신호(201)는 RGB 화상(101)의 1개 또는 복수의 픽셀에 있어서의 광의 강도 변화에 따라서 생성된다.
도 2는, 본 발명의 일 실시 형태에 있어서의 카메라·센서 사이의 캘리브레이션에 대하여 개략적으로 설명하기 위한 도면이다. 도시된 예에서는, RGB 카메라(100)와 EDS(200)에서 공통의 교정 패턴(21)을 촬상하고(EDS(200)의 경우, 예를 들어 광원(22)을 사용하여 교정 패턴(21)의 영역 전체를 명멸시킴으로써 교정 패턴을 촬상할 수 있음), RGB 카메라(100) 및 EDS(200)의 각각의 내부 파라미터 및 외부 파라미터로부터 카메라·센서 사이의 대응 파라미터를 산출함으로써, RGB 화상(101)의 1개 또는 복수의 픽셀에 센서(210)를 대응지을 수 있다. 예를 들어, 상기와 같은 타임 스탬프의 동기 및 캘리브레이션 수순이 미리 실시된 RGB 카메라(100) 및 EDS(200)를 조합한 촬상 장치가 제공되어도 된다.
도 3은, 본 발명의 일 실시 형태에 있어서의 화상과 이벤트 신호의 매칭의 예에 대하여 설명하기 위한 도면이다. 도시된 예에서는, RGB 카메라(100)로 촬상된 RGB 화상(101)과, RGB 화상(101)의 스캔에 대응하는 시간에 EDS(200)로부터 출력된 이벤트 신호(201)를 픽셀의 위치에 배치한 것이 도시되어 있다. 상기에서 도 2를 참조하여 설명한 바와 같은 카메라·센서 사이의 대응 파라미터를 미리 산출해 둠으로써, 도 3에 도시되는 바와 같이 RGB 화상(101)의 1개 또는 복수의 픽셀에 이벤트 신호(201)을 대응짓는 것, 즉 RGB 화상(101)에 이벤트 신호(201)를 중첩하는 것이 가능해진다.
다시 도 1을 참조하여, 화상 처리 장치(300)는, 예를 들어 통신 인터페이스, 프로세서, 및 메모리를 갖는 컴퓨터에 의해 실장되고, 프로세서가 메모리에 저장된, 또는 통신 인터페이스를 통해 수신된 프로그램에 따라서 동작함으로써 실현되는 움직임 추정부(310), 역 필터 생성부(320), 및 필터 적용부(330)의 기능을 포함한다. 이하, 각 부의 기능에 대하여 더 설명한다.
움직임 추정부(310)는, RGB 화상(101)에 부여된 타임 스탬프(102), 이벤트 신호(201), 및 이벤트 신호(201)에 부여된 타임 스탬프(202)에 기초하여 RGB 화상(101)에 있어서의 피사체의 움직임을 추정한다. RGB 화상(101)의 피사체가 움직인 경우, 예를 들어 피사체의 에지 부분에서 발생하는 광의 강도 변화, 구체적으로는 휘도 변화가 이벤트 신호(201)에 의해 검출된다. 즉, 본 실시 형태에 있어서, 움직임 추정부(310)는 RGB 화상(101) 자체를 참조하지 않아도, 이벤트 신호(201)에 기초하여 RGB 화상(101)에 있어서의 피사체의 움직임을 추정할 수 있다. 움직임 추정부(310)는, 예를 들어 후술하는 예와 같이, 이벤트 신호(201)에 의해 휘도 변화가 발생한 것이 나타나는 픽셀의 시계열의 위치 변화로부터, RGB 화상(101)에 있어서 피사체의 움직임이 발생한 움직임 영역, 및 RGB 화상(101)에 있어서의 피사체의 움직임을 나타내는 움직임 벡터를 추정할 수 있다.
구체적으로는, 예를 들어 움직임 추정부(310)는, RGB 화상(101)을 촬상하기 위한 스캔 개시부터 종료까지의 시간에 포함되는 타임 스탬프(202)를 갖는 이벤트 신호(201)에 기초하여 움직임을 추정한다. 여기서, 스캔의 개시부터 종료까지의 시간은, 예를 들어 RGB 화상(101)에 부여된 2개의 타임 스탬프에 의해 특정된다. 혹은, RGB 화상(101)에 스캔의 개시 또는 종료 중 어느 것을 나타내는 타임 스탬프밖에 부여되지 않는 경우에도, 스캔의 계속 시간이 기지이면, 스캔의 개시부터 종료까지의 시간을 특정할 수 있다. 후술하는 바와 같이, 예를 들어 스캔의 개시부터 종료까지의 시간에 발생한 피사체의 움직임에 기초하여 생성된 역 필터를 적용함으로써, 피사체의 움직임에 의해 RGB 화상(101)에 발생하는 블러의 영향을 저감할 수 있다.
역 필터 생성부(320)는, 움직임 추정부(310)가 추정한 RGB 화상(101)에 있어서의 피사체의 움직임에 기초하여 역 필터(321)를 생성한다. 여기서, 역 필터는, 피사체의 움직임에 의해 RGB 화상(101)에 발생한 본래의 피사체의 상으로부터의 변화(필터)와는 역의 변화(필터)를 발생시킴으로써 RGB 화상(101)을 본래의 피사체의 상에 접근시키는 것을 의도한 필터이다. 필터 적용부(330)는, 역 필터(321)를 RGB 화상(101)에 적용하여 출력 화상(331)을 얻는다. 후술하는 바와 같이, 필터 적용부(330)는, 역 필터(321)의 적용에 의해 RGB 화상(101)에 발생한 변화를 보상하기(예를 들어, 공백 영역을 배경을 확대함으로써 메우기) 위한 필터를, 별도로 RGB 화상(101)에 적용해도 된다.
도 4a 내지 도 4d는, 본 발명의 일 실시 형태에 있어서의 이벤트 신호에 기초하는 움직임의 추정 및 역 필터에 대하여 설명하기 위한 도면이다. 도시된 예에서는, RGB 화상(101)에 있어서 피사체 obj가 포착되어 있다. 이미지 센서(110)에 의한 스캔 동안에 피사체 obj가 이동했기 때문에, 도 4a에 도시하는 바와 같이 RGB 화상(101)에서는 블러가 발생하여 피사체 obj의 상이 신장되어 있다. 한편, 도 4b에 도시하는 바와 같이, 이벤트 신호(201)는, RGB 화상(101)의 스캔의 개시 직후에는 픽셀 군 P1에서 이벤트가 발생하였고, 그것이 서서히 이동하여(픽셀 군 P2, …, Pn-1), 스캔의 종료 직전에는 픽셀 군 Pn에서 이벤트가 발생하였음을 나타내고 있다.
이 경우, 움직임 추정부(310)는, 도 4c에 도시하는 바와 같이, RGB 화상(101)에 있어서의 움직임 영역 R 및 움직임 벡터 V를 추정한다. 예를 들어 움직임 영역 R은 스캔의 개시부터 종료까지의 사이에 이벤트가 발생한 픽셀 군 P1, P2, ···, Pn-1, Pn을 포함하는 영역(블러가 발생하여 신장된 피사체 obj의 상에 대응함)이고, 움직임 벡터 V는 움직임의 시점에 대응하는 픽셀 군 P1의 각 픽셀을 움직임의 종점에 대응하는 픽셀 군 Pn의 각 픽셀로 이동시키는 벡터이다. 상술한 바와 같이, RGB 화상(101)의 1개 또는 복수의 픽셀에 이벤트 신호(201)를 생성하는 센서(210)가 대응지어져 있기 때문에, 움직임 추정부(310)는 움직임 영역 R 및 움직임 벡터 V를 추정하기 위하여 RGB 화상(101) 자체를 참조하지 않아도 된다.
상기와 같은 움직임 영역 R 및 움직임 벡터 V가 추정된 경우, 역 필터 생성부(320)는, RGB 화상(101)에 적용함으로써 도 4d에 도시하는 바와 같은 출력 화상(331)이 얻어지는 역 필터(321)를 생성한다. 도시된 예에 있어서, 역 필터(321)는, 움직임 영역 R 내의 픽셀에 대하여 한정적으로 작용하여 움직임 벡터 V를 제거한다. 구체적으로는, 역 필터(321)는, 움직임 영역 R 내의 픽셀을 움직임 벡터 V의 역 벡터 -V에 계수 k를 곱한 벡터 -kV만큼 이동시킨다. 계수 k는, 예를 들어 움직임 벡터 V의 시점(픽셀 군 P1)에서는 0, 종점(픽셀 군 Pn)에서는 1이 되도록 점증한다. 출력 화상(331)에서는, 신장된 피사체 obj의 상이 본래의 크기로 압축되어, 피사체 obj의 움직임에 의해 발생한 블러의 영향이 저감되어 있다.
이상에서 설명한 것과 같은 본 발명의 일 실시 형태에서는, 화상 처리 장치(300)의 움직임 추정부(310)가, RGB 화상(101)에 있어서의 피사체의 움직임을 이벤트 신호(201)로부터 추정한다. 이벤트 신호(201)는 RGB 화상(101)의 1개 또는 복수의 픽셀에서 광의 강도 변화가 검출된 경우에만 생성되기 때문에, 예를 들어 시간적으로 연속되는 복수의 RGB 화상(101)의 픽셀끼리를 비교하여 움직임을 추정하는 경우에 비하여 처리를 고속화할 수 있다. 또한, 역 필터 생성부(320)가 생성하는 역 필터(321)는 RGB 화상(101)의 움직임 영역 R에 한정적으로 작용하기 때문에, 예를 들어 움직임 영역 R 이외의 영역을 포함하는 RGB 화상(101)의 전체에 필터를 적용하는 경우에 비하여 아티팩트의 발생을 억제할 수 있다.
또한, 상기의 예에서 설명된 시스템(10)은, 단일의 장치 내에서 실장되어도 되고, 복수의 장치에 분산하여 실장되어도 된다. 예를 들어, RGB 카메라(100)에 의해 취득되는 RGB 화상(101)과 EDS(200)에 의해 취득되는 이벤트 신호(201)가, 타임 스탬프(102, 202)와 함께 메모리에 보존되고, 후처리로서 화상 처리 장치(300)에 의한 움직임의 추정, 역 필터(321)의 생성, 및 역 필터(321)의 적용이 실행되어도 된다. 혹은, RGB 화상(101) 및 이벤트 신호(201)가 취득되었을 때에 화상 처리 장치(300)에 있어서의 역 필터(321)의 생성까지의 처리가 실행되고, 역 필터(321)가 RGB 화상(101)과 함께 보존되어도 된다. 이 경우, RGB 화상(101)의 표시 시에, 예를 들어 유저의 조작에 따라서 역 필터(321)를 RGB 화상(101)에 적용하여 출력 화상(331)이 생성되어도 된다.
또한, 상기에서 도 4d에 도시된 예에서는, 블러가 발생하여 신장된 피사체 obj의 상을 움직임 벡터 V의 시점측으로 압축하는 역 필터(321)가 생성되었지만, 다른 예에서는, 피사체 obj의 상을 움직임 벡터 V의 종점측, 또는 중간점으로 압축하는 역 필터(321)가 생성되어도 된다. 또한, 이벤트 신호(201)에 기초하여 생성되는 역 필터(321)는 상기의 예에는 한정되지 않고, 예를 들어 피사체의 움직임에 의해 발생한 블러의 영향을 저감하기 위한 필터로서 알려져 있는 각종 필터를 이용할 수 있다. 이들의 경우에 있어서도, 예를 들어 움직임 추정부(310)가 RGB 화상(101)의 움직임 영역 R을 추정하고, 역 필터 생성부(320)가 움직임 영역 R에 한정적으로 작용하는 역 필터(321)를 생성함으로써, 예를 들어 RGB 화상(101)의 전체에 필터를 적용하는 경우에 비하여 아티팩트의 발생을 억제할 수 있다.
도 5는, 본 발명의 일 실시 형태에 관한 화상 처리 방법의 예를 나타내는 흐름도이다. 도시된 예에서는, RGB 카메라(100)가 RGB 화상(101)을 촬상하고(스텝 S101), 그와 동시에 EDS(200)가 이벤트 신호(201)를 생성한다(스텝 S102). 또한, 이벤트 신호(201)를 생성하는 스텝 S102는, RGB 화상(101)의 1개 또는 복수의 픽셀에 대응지어지는 센서(210)가 광의 강도 변화를 검출한 경우에만 실행된다. RGB 화상(101)에는 타임 스탬프(102)가 부여되고(스텝 S103), 이벤트 신호에는 타임 스탬프(202)가 부여된다(스텝 S104).
이어서, 화상 처리 장치(300)에서의 처리가 실행된다. 먼저, 움직임 추정부(310)가, RGB 화상(101)의 타임 스탬프(102), 이벤트 신호(201), 및 이벤트 신호(201)의 타임 스탬프(202)에 기초하여 RGB 화상(101)에 있어서의 피사체의 움직임을 추정한다(스텝 S105). 이어서, 역 필터 생성부(320)가 추정된 움직임에 기초하여 역 필터(321)를 생성하고(스텝 S106), 필터 적용부(330)가 RGB 화상(101)에 역 필터(321)를 적용한다(스텝 S107). 이상과 같은 처리에 의해, 예를 들어 피사체의 움직임에 의해 RGB 화상(101)에 발생하는 블러의 영향을 저감한 출력 화상(331)을 얻을 수 있다.
이상, 첨부 도면을 참조하면서 본 발명의 몇 실시 형태에 대하여 상세하게 설명했지만, 본 발명은 이러한 예에 한정되지 않는다. 본 발명이 속하는 기술 분야에 있어서의 통상의 지식을 갖는 사람이라면, 청구의 범위에 기재된 기술적 사상의 범주 내에서 각종 변경예 또는 수정예에 상도할 수 있는 것은 분명하고, 이들에 대해서도 당연히 본 발명의 기술적 범위에 속하는 것으로 이해된다.
10: 시스템
100: RGB 카메라
101: RGB 화상
102: 타임 스탬프
110: 이미지 센서
120: 처리 회로
201: 이벤트 신호
202: 타임 스탬프
210: 센서
220: 처리 회로
300: 화상 처리 장치
310: 움직임 추정부
320: 역 필터 생성부
321: 역 필터
330: 필터 적용부
331: 출력 화상

Claims (8)

  1. 동기적인 스캔에 의해 촬상된 화상에 부여된 제1 타임 스탬프, 상기 화상의 1개 또는 복수의 픽셀에 있어서의 광의 강도 변화에 따라서 생성된 이벤트 신호, 및 상기 이벤트 신호에 부여되고 상기 제1 타임 스탬프에 동기하는 제2 타임 스탬프에 기초하여 상기 화상에 있어서의 피사체의 움직임을 추정하는 움직임 추정부와,
    상기 움직임에 기초하여 역 필터를 생성하는 역 필터 생성부와,
    상기 역 필터를 상기 화상에 적용하는 필터 적용부
    를 구비하는 화상 처리 장치.
  2. 제1항에 있어서, 상기 제1 타임 스탬프는, 상기 스캔의 개시 또는 종료 중 적어도 어느 것을 나타내는 타임 스탬프를 포함하고,
    상기 움직임 추정부는, 상기 스캔의 개시부터 종료까지의 시간에 포함되는 상기 제2 타임 스탬프를 갖는 상기 이벤트 신호에 기초하여 상기 화상에 있어서의 피사체의 움직임을 추정하는, 화상 처리 장치.
  3. 제1항 또는 제2항에 있어서, 상기 움직임 추정부는, 상기 화상에 있어서 피사체의 움직임이 발생한 움직임 영역을 추정하고,
    상기 역 필터 생성부는, 상기 움직임 영역에 한정적으로 작용하는 상기 역 필터를 생성하는, 화상 처리 장치.
  4. 제1항 내지 제3항 중 어느 한 항에 있어서, 상기 움직임 추정부는, 상기 화상에 있어서의 피사체의 움직임을 나타내는 움직임 벡터를 추정하고,
    상기 역 필터 생성부는, 상기 움직임 벡터를 제거하는 상기 역 필터를 생성하는, 화상 처리 장치.
  5. 동기적인 스캔에 의해 화상을 촬상하고, 상기 화상에 제1 타임 스탬프를 부여하는 제1 비전 센서와,
    상기 화상의 1개 또는 복수의 픽셀에 대응지어지는 센서를 포함하고, 상기 센서가 광의 강도 변화를 검출했을 때에 이벤트 신호를 생성하고, 상기 이벤트 신호에 상기 제1 타임 스탬프에 동기하는 제2 타임 스탬프를 부여하는 제2 비전 센서를
    구비하는 촬상 장치.
  6. 동기적인 스캔에 의해 화상을 촬상하고, 상기 화상에 제1 타임 스탬프를 부여하는 제1 비전 센서와,
    상기 화상의 1개 또는 복수의 픽셀에 대응지어지는 센서를 포함하고, 상기 센서가 광의 강도 변화를 검출했을 때에 이벤트 신호를 생성하고, 상기 이벤트 신호에 상기 제1 타임 스탬프에 동기하는 제2 타임 스탬프를 부여하는 제2 비전 센서와,
    상기 제1 타임 스탬프, 상기 이벤트 신호, 및 상기 제2 타임 스탬프에 기초하여 상기 화상에 있어서의 피사체의 움직임을 추정하는 움직임 추정부,
    상기 움직임에 기초하여 역 필터를 생성하는 역 필터 생성부, 및
    상기 역 필터를 상기 화상에 적용하는 필터 적용부
    를 구비하는 화상 처리 장치
    를 포함하는 시스템.
  7. 동기적인 스캔에 의해 화상을 촬상하고, 상기 화상에 제1 타임 스탬프를 부여하는 스텝과,
    상기 화상의 1개 또는 복수의 픽셀에 대응지어지는 센서를 포함하고, 상기 센서가 광의 강도 변화를 검출했을 때에 이벤트 신호를 생성하고, 상기 이벤트 신호에 상기 제1 타임 스탬프에 동기하는 제2 타임 스탬프를 부여하는 스텝과,
    상기 제1 타임 스탬프, 상기 이벤트 신호, 및 상기 제2 타임 스탬프에 기초하여 상기 화상에 있어서의 피사체의 움직임을 추정하는 스텝과,
    상기 움직임에 기초하여 역 필터를 생성하는 스텝과,
    상기 역 필터를 상기 화상에 적용하는 스텝
    을 포함하는 화상 처리 방법.
  8. 동기적인 스캔에 의해 촬상된 화상에 부여된 제1 타임 스탬프, 상기 화상의 1개 또는 복수의 픽셀에 있어서의 광의 강도 변화에 따라서 생성된 이벤트 신호, 및 상기 이벤트 신호에 부여되고 상기 제1 타임 스탬프에 동기하는 제2 타임 스탬프에 기초하여 상기 화상에 있어서의 피사체의 움직임을 추정하는 기능과,
    상기 움직임에 기초하여 역 필터를 생성하는 기능과,
    상기 역 필터를 상기 화상에 적용하는 기능
    을 컴퓨터에 실현시키기 위한 프로그램.
KR1020227003456A 2019-08-20 2019-08-20 화상 처리 장치, 촬상 장치, 시스템, 화상 처리 방법 및 프로그램 KR20220050130A (ko)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2019/032342 WO2021033250A1 (ja) 2019-08-20 2019-08-20 画像処理装置、撮像装置、システム、画像処理方法およびプログラム

Publications (1)

Publication Number Publication Date
KR20220050130A true KR20220050130A (ko) 2022-04-22

Family

ID=74660624

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020227003456A KR20220050130A (ko) 2019-08-20 2019-08-20 화상 처리 장치, 촬상 장치, 시스템, 화상 처리 방법 및 프로그램

Country Status (6)

Country Link
US (1) US11954866B2 (ko)
EP (1) EP4020962A4 (ko)
JP (1) JP7197715B2 (ko)
KR (1) KR20220050130A (ko)
CN (1) CN114245983B (ko)
WO (1) WO2021033250A1 (ko)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014535098A (ja) 2011-10-14 2014-12-25 サムスン エレクトロニクス カンパニー リミテッド イベント基盤ビジョンセンサを用いた動作認識装置及び方法
JP2018085725A (ja) 2016-11-21 2018-05-31 三星電子株式会社Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ． イベントベースのセンサー、それを含むユーザー装置、及びその動作方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003209735A (ja) * 2002-01-15 2003-07-25 Hitachi Ltd 監視装置及びブレ補正機能付蓄積型カメラ
US9986179B2 (en) * 2014-09-30 2018-05-29 Qualcomm Incorporated Sensor architecture using frame-based and event-based hybrid scheme
US9549100B2 (en) * 2015-04-23 2017-01-17 Microsoft Technology Licensing, Llc Low-latency timing control
WO2017049589A1 (en) * 2015-09-25 2017-03-30 Qualcomm Incorporated Systems and methods for video processing
US10062151B2 (en) * 2016-01-21 2018-08-28 Samsung Electronics Co., Ltd. Image deblurring method and apparatus
US10434624B2 (en) 2016-07-07 2019-10-08 The Boeing Company Roto peening orbital drilling tool
US10110913B2 (en) 2016-09-30 2018-10-23 Intel Corporation Motion estimation using hybrid video imaging system
JP7027737B2 (ja) * 2017-09-05 2022-03-02 ソニーグループ株式会社 画像処理装置、および画像処理方法、並びにプログラム
CN108074222A (zh) * 2017-12-25 2018-05-25 清华大学 基于混合相机系统的高速运动物体去模糊方法及装置
CN108989606B (zh) * 2018-08-22 2021-02-09 Oppo广东移动通信有限公司 图像处理方法和装置、电子设备、计算机可读存储介质
US20230154143A1 (en) * 2021-11-16 2023-05-18 Intrinsic Innovation Llc Polarization event cameras
US20230169665A1 (en) * 2021-12-01 2023-06-01 Intrinsic Innovation Llc Systems and methods for temporal autocalibration in a camera system

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014535098A (ja) 2011-10-14 2014-12-25 サムスン エレクトロニクス カンパニー リミテッド イベント基盤ビジョンセンサを用いた動作認識装置及び方法
JP2018085725A (ja) 2016-11-21 2018-05-31 三星電子株式会社Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ． イベントベースのセンサー、それを含むユーザー装置、及びその動作方法

Also Published As

Publication number Publication date
US11954866B2 (en) 2024-04-09
WO2021033250A1 (ja) 2021-02-25
US20220284593A1 (en) 2022-09-08
CN114245983A (zh) 2022-03-25
JP7197715B2 (ja) 2022-12-27
CN114245983B (zh) 2024-03-22
EP4020962A1 (en) 2022-06-29
JPWO2021033250A1 (ko) 2021-02-25
EP4020962A4 (en) 2023-05-10

Similar Documents

Publication Publication Date Title
JP5515472B2 (ja) 撮像装置、撮像方法及びプログラム
US8559751B2 (en) Method and device for removing motion blur effects
US8294774B2 (en) Imager that photographs an image using a rolling shutter
US7652689B2 (en) Picture taking device and picture restoration method
EP2323376B1 (en) Image sensor with shaking compensation
JP2013051523A (ja) フリッカ検出装置、フリッカ検出方法、制御プログラム、可読記録媒体、固体撮像装置、多眼撮像装置および電子情報機器
JP4831760B2 (ja) ３次元情報検出方法及びその装置
JP2003078812A (ja) デジタル画像における動きによるぼけを低減する方法
JP2013062741A (ja) 画像処理装置および撮像装置、ならびに画像処理方法
KR20220050130A (ko) 화상 처리 장치, 촬상 장치, 시스템, 화상 처리 방법 및 프로그램
US8073280B2 (en) Image processing apparatus and image processing program for correcting image degradation
JP5167614B2 (ja) 距離画像生成装置、距離画像生成方法及びプログラム
KR101627795B1 (ko) 키-프레임과 자이로 스코프를 이용한 롤링-셔터 보정 방법 및 이를 적용한 촬영장치
JP7252352B2 (ja) 転送制御装置、システム、転送制御方法およびプログラム
US20220038646A1 (en) Synchronized camera system having two different cameras
CN108476286A (zh) 一种图像输出方法以及电子设备
JP3855796B2 (ja) 映像補正装置
KR20220051336A (ko) 화상 처리 장치, 화상 처리 방법 및 프로그램
JP5057134B2 (ja) 距離画像生成装置、距離画像生成方法及びプログラム
CN118118795A (zh) Dvs与rgb图像融合的清晰图像获取方法、设备以及装置
JP2748860B2 (ja) ディジタル変換装置
JPWO2021033250A5 (ko)
JP2006074678A (ja) カメラ付き携帯機器
JP2015159396A (ja) 撮像装置、画像生成方法及びプログラム

Legal Events

Date Code Title Description
A201 Request for examination