KR20200010247A - 화상 처리 장치, 화상 처리 프로그램 및 화상 처리 방법 - Google Patents

화상 처리 장치, 화상 처리 프로그램 및 화상 처리 방법 Download PDF

Info

Publication number
KR20200010247A
KR20200010247A KR1020197033856A KR20197033856A KR20200010247A KR 20200010247 A KR20200010247 A KR 20200010247A KR 1020197033856 A KR1020197033856 A KR 1020197033856A KR 20197033856 A KR20197033856 A KR 20197033856A KR 20200010247 A KR20200010247 A KR 20200010247A
Authority
KR
South Korea
Prior art keywords
motion
movement
image
image processing
local
Prior art date
Application number
KR1020197033856A
Other languages
English (en)
Other versions
KR102500462B1 (ko
Inventor
마사히사 하마다
마사토 오가타
Original Assignee
가부시키가이샤 크리프톤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 가부시키가이샤 크리프톤 filed Critical 가부시키가이샤 크리프톤
Publication of KR20200010247A publication Critical patent/KR20200010247A/ko
Application granted granted Critical
Publication of KR102500462B1 publication Critical patent/KR102500462B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365—Control or image processing arrangements for digital or video microscopes
    • G02B21/367—Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • H04N7/0137—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes dependent on presence/absence of motion, e.g. of motion zones
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/0004—Microscopes specially adapted for specific applications
    • G02B21/002—Scanning microscopes
    • G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/008—Details of detection or image processing, including general computer control
    • G02B21/0084—Details of detection or image processing, including general computer control time-scale detection, e.g. strobed, ultra-fast, heterodyne detection
    • G06T5/009—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/62—Control of parameters via user interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection
    • H04N5/145—Movement estimation
    • H04N5/23216—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Optics & Photonics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

원하는 운동을 지정하여 보정할 수 있는 화상 처리 장치, 화상 처리 프로그램 및 화상 처리 방법을 제공하는 것을 목적으로 한다. 화상 처리 장치는, 동영상에 있어서의, 특정 피사체를 포함하는 특정 영역의 움직임을 나타내는 글로벌 운동을, 동영상에 포함되는 복수의 프레임 화상으로부터 추정하는 글로벌 운동 추정 수단과, 동영상에 있어서의, 특정 피사체의 움직임을 나타내는 로컬 운동을, 복수의 프레임 화상으로부터 추정하는 로컬 운동 추정 수단과, 추정된 글로벌 운동 및 로컬 운동에 기초하여, 동영상에 있어서의 특정 피사체 또는 특정 영역의 움직임을 보정하는 화상 보정 수단을 구비한다.

Description

화상 처리 장치, 화상 처리 프로그램 및 화상 처리 방법
본 발명은, 화상 처리 장치, 화상 처리 프로그램 및 화상 처리 방법에 관한 것이다.
일반적으로, 동영상에 있어서는, 카메라 등의 움직임에 기인한 화상의 특정 영역(화상 전체여도 됨)의 움직임을 나타내는 글로벌 운동과, 특정 피사체의 움직임을 나타내는 로컬 운동이 존재함이 알려져 있다.
종래, 글로벌 운동을 추정하는 방법으로서, 블록마다 얻어진 움직임 벡터의 평균값 또는 메디안 값, 최빈수(最頻數)를 취하는 처리가 간이(簡易) 방법으로서 이용되어 왔다. 또한, 화면 전체를 하나의 큰 블록으로 하여, 화면 전체의 움직임 벡터를 추정하는 화상 처리 장치가 알려져 있다.
하기 특허 문헌 1에는, 영상 처리에 의한 왜곡 보정을 행하는 방법이 개시되어 있으나, 화상 특징점을 이용하는 방법이며, 영상의 흔들림에 의한 평행 이동 성분과 왜곡 성분의 양쪽 모두를 각각 추정하는 기술 사상이 개시되어 있다.
특허 문헌 1: 일본 특허 공개 공보 제2013-017155호
그러나, 상기의 종래 기술에서는, 글로벌 운동 또는 로컬 운동 중, 원하는 운동을 지정하여 보정할 수 없다고 하는 문제가 발생되어 있었다.
본 발명은 이러한 사정에 비추어 이루어진 것이며, 원하는 운동을 지정하여 보정할 수 있는 화상 처리 장치, 화상 처리 프로그램 및 화상 처리 방법을 제공하는 것을 목적으로 한다.
본 발명의 일 측면에 따른 화상 처리 장치는, 동영상에 있어서의, 특정 피사체를 포함하는 특정 영역(화상 전체여도 됨)의 움직임을 나타내는 글로벌 운동을, 동영상에 포함되는 복수의 프레임 화상으로부터 추정하는 글로벌 운동 추정 수단과, 동영상에 있어서의, 특정 피사체의 움직임을 나타내는 로컬 운동을, 복수의 프레임 화상으로부터 추정하는 로컬 운동 추정 수단과, 추정된 글로벌 운동 및 로컬 운동에 기초하여, 동영상에 있어서의 특정 피사체 또는 특정 영역의 움직임을 보정하는 화상 보정 수단을 구비한다.
또한, 본 발명의 한 측면에 따른 화상 처리 프로그램은, 동영상에 있어서의, 특정 피사체를 포함하는 특정 영역(화상 전체여도 됨)의 움직임을 나타내는 글로벌 운동을, 동영상에 포함되는 복수의 프레임 화상으로부터 추정하는 글로벌 운동 추정을 실행하는 단계와, 동영상에 있어서의, 특정 피사체의 움직임을 나타내는 로컬 운동을, 복수의 프레임 화상으로부터 추정하는 로컬 운동 추정을 실행하는 단계와, 추정된 글로벌 운동 및 로컬 운동에 기초하여, 동영상에 있어서의 특정 피사체 또는 상기 특정 영역의 움직임을 보정하는 화상 보정을 실행하는 단계를 구비한다.
또한, 본 발명의 한 측면에 따른 화상 처리 방법은, 동영상에 있어서의, 특정 피사체를 포함하는 특정 영역(화상 전체여도 됨)의 움직임을 나타내는 글로벌 운동을, 동영상에 포함되는 복수의 프레임 화상으로부터 추정하는 글로벌 운동 추정을 실행하는 단계와, 동영상에 있어서의, 특정 피사체의 움직임을 나타내는 로컬 운동을, 복수의 프레임 화상으로부터 추정하는 로컬 운동 추정을 실행하는 단계와, 추정된 글로벌 운동 및 로컬 운동에 기초하여, 동영상에 있어서의 특정 피사체 또는 상기 특정 영역의 움직임을 보정하는 화상 보정을 실행하는 단계를 구비한다.
본 발명에 의하면, 지정한 운동을 보정함으로써, 원하는 화상 처리를 행하는 것이 가능해진다.
도 1은, 본 발명의 일 실시 형태에 의한 화상 처리 시스템(1)의 개략도이다.
도 2는, 본 발명의 일 실시 형태에 의한 화상 처리 장치(10)의 개념도이다.
도 3은, 공간 상의 점과 카메라 운동에 대응하는 화상 내 화소점의 대응 관계이다.
도 4는, 공간 중의 3 차원의 운동에 기인하는 2 차원 화상 운동의 개요도이다.
도 5는, 본 발명의 일 실시 형태에 의한 글로벌 운동 추정부(200)의 개념도이다.
도 6은, 대응 점열 메모리의 개요도이다.
도 7은, 본 발명의 일 실시 형태에 의한 대응점 선택부(230)의 처리의 개요도이다.
도 8은, 특정 피사체의 윤곽 및 중심점의 추출의 개요도이다.
도 9는, 본 발명의 일 실시 형태에 의한 로컬 운동 추정부(300)의 개념도이다.
도 10은, 본 발명의 일 실시 형태에 의한 화상 보정부(400)의 개념도이다.
도 11은, 카메라 운동에 의한 카메라 축 변화의 모식도이다.
도 12는, 병렬 처리를 가능케 한 화상 처리 장치(10)의 개념도이다.
도 13은, 화상 처리 장치(10)에 의한 화상 처리에 기인하여 블랙 에어리어가 발생하는 경우의 개념도이다.
도 14는, 카메라 동작 조정 장치를 조합한 화상 처리 시스템(1)의 개념도이다.
도 15은, 피사체 위치 조정 장치를 조합한 화상 처리 시스템(1)의 개념도이다.
도 16은, 화상 처리 장치(10)를 적용한 의료용 영상 처리 시스템(2)의 개념도이다.
이하, 본 발명의 실시 형태에 대하여, 도면을 참조하여 설명한다.
도 1은, 본 발명의 일 실시 형태에 의한 화상 처리 시스템(1)의 개략도이다. 화상 처리 시스템(1)은, 화상 처리 장치(10), 촬영용 카메라(20) 및 표시 장치(30)를 구비한다. 촬영용 카메라(20)는, 소정의 촬영 대상을 촬영한 화상을 나타내는 입력 화상 데이터를 생성하여, 화상 처리 장치(10)로 송신한다. 화상 처리 장치(10)는, 촬영용 카메라(20)로부터 수신한 입력 화상 데이터에 소정의 처리를 행하여, 출력 화상 데이터를 표시 장치(30)로 송신한다. 표시 장치(30)는, 화상 처리 장치(10)로부터 수신한 출력 화상 데이터에 기초하여, 소정의 화상을 표시한다.
도 2는, 본 발명의 일 실시 형태에 의한 화상 처리 장치(10)의 개념도이다. 화상 처리 장치(10)는, 화상 축소부(100), 글로벌 운동 추정부(200), 로컬 운동 추정부(300) 및 화상 보정부(400)를 구비한다.
화상 축소부(100)는, 입력 화상 데이터를 원하는 처리 화상 데이터로 축소하고, 후단의 글로벌 운동 추정 처리 및 로컬 운동 추정 처리의 고속화를 도모하는 것이다. 분해능이 높은 화상 데이터에 의한 화상 처리는, 소정의 비디오 레이트에 대응하는 처리 시간 내에서의 처리를 곤란케 하는 경우가 있다. 그 때문에, 입력 화상 데이터를 직접 이용하지 않고, 투영 변환 행렬 등을 산출하기 위한 계산 처리용의 화상 데이터로서 소정 사이즈로 분리 축소함으로써, 처리의 효율화를 도모하는 것이 가능하다. 화상 사이즈를 축소함과 동시에, 입력 화상 데이터를 소정의 화상 형식으로 변환해도 된다. 또한, 후술한 바와 같이, 화상 보정부(400)에 의한 화상 보정의 대상으로 하는 화상으로서는, 입력 화상 데이터 그 자체를 이용한다.
글로벌 운동 추정부(200)는, 대상으로 하는 프레임의 화상 데이터와 대상 프레임보다 전의 프레임(예를 들면, 1 프레임 전의 화상 데이터)에 기초하여 글로벌 운동을 추정한다. 글로벌 운동 추정부(200)에 포함되는 각 구성의 상세에 대해서는 후술한다.
로컬 운동 추정부(300)는, 대상으로 하는 프레임의 화상 데이터와 대상 프레임보다 전의 프레임(예를 들면, 1 프레임 전의 화상 데이터)에 기초하여 로컬 운동을 추정한다. 로컬 운동 추정부(300)에 포함되는 각 구성의 상세에 대해서는 후술한다. 또한, 로컬 운동의 보상을 요하지 않는 경우에는, 로컬 운동 추정부(300)의 기능을 오프로 해도 된다.
화상 보정부(400)는, 추정된 글로벌 운동 및 로컬 운동에 기초하여, 투영 변환 행렬을 작성하여, 동영상에 있어서의 특정 피사체 또는 특정 영역(화상 전체여도 됨)의 움직임을 보정한다. 화상 보정부(400)에 포함되는 각 구성의 상세에 대해서는 후술한다.
화상 처리 장치(10)에 의한 화상 처리의 개요를 설명하는 전제로서, 우선, 동영상 중에 있어서의 운동에 대하여 이하 설명한다.
도 3에, 3 차원 공간 상의 점(Pi)과 대응하는 카메라 위치(b)(제b 프레임에 있어서의 카메라 위치라고 해도 좋음)에 있어서의 화상의 화소점(Pi b), 카메라 위치(n)(제n 프레임에 있어서의 카메라 위치라고 해도 좋음)에 있어서의 화상의 화소점(Pi n) 및 카메라 위치(r)(제r 프레임에 있어서의 카메라 위치라고 해도 좋음)의 화상의 화소점(Pi r)의 관계를 나타낸다. 여기서, i는 화소점의 번호를 나타낸다.
공간 상의 점(Pi)과 스크린 상의 점(Pi n)의 관계를, 동차 좌표를 이용하여 벡터식으로 기술하면 이하와 같다.
Figure pct00001
단, MI 및 ME는 각각 카메라의 내부 파라미터 및 외부 파라미터를 나타낸다. 내부 파라미터는 카메라의 렌즈계에 의존한 정보이며, 외부 파라미터는, 공간 내에 있어서의 카메라의 위치 및 촬상 방향을 나타내는 정보이다. 식 (1)을 요소로 전개하면, 다음과 같이 된다.
Figure pct00002
단, Xi, Yi 및 Zi는 피사체의 특정점의 3 차원 좌표를, xi n 및 yi n는 카메라 위치(n)에 있어서의 상기 피사체의 특정점에 대응하는 화소점을 나타낸다. 또한, fx 및 fy는 초점 거리를, cx 및 cy는 중심으로부터의 광축의 이탈을, Rn 및 tn는 각각 카메라 위치 번호(n)에 있어서의 카메라 좌표계로의 회전 및 평행 이동을 나타낸다. 또한, 화소 위치가 (xi n, yi n, 1)와 정규화되도록 미리 스케일 정보인 λi n 배 하고 있다.
내부 파라미터 및 외부 파라미터를 투영 변환 행렬(Hn)로 정리하면 식 (3)을 얻는다.
Figure pct00003
카메라 위치(r)에 관해서도, 이상과 같이 식 (4) 및 식 (5)가 얻어진다.
Figure pct00004
Figure pct00005
Hn는 3 행 4 열의 행렬이며, 이 일반화 역행렬(Hn)-은, 식 (6)과 같다. 또한, 일반화 역행렬(Hn)-은, 4 행 3 열의 행렬이다.
Figure pct00006
이에 의해, 카메라 위치(n)의 화소점과 카메라 위치(r)의 화소점 사이의 대응은, 식 (7)과 같이 나타낼 수 있다.
Figure pct00007
카메라 위치(n)의 화상의 화소 위치를, 운동 후의 카메라 위치(r)의 화상의 대응하는 화소 위치로 변환하는 투영 변환 행렬을 Hn2r로 하여 식 (7)을 변환하면, 이하의 식 (8)이 얻어진다.
Figure pct00008
또한, 카메라 위치(r 및 n)에서 이용되는 카메라가 동일 카메라인 경우에는, 내부 파라미터(MI)는 상쇄되어 투영 변환 행렬(Hn2r)에 포함되지 않는다.
이어서, 화상의 운동(화상 중의 물체의 운동)에 대하여 설명한다. 3 차원 공간 중에서 윤곽을 가지는 실체는, 2 차원 투영된 화상 중에 있어서도, 2 차원 물체로서의 윤곽을 가진다. 화상 중의 이러한 2 차원 물체가 프레임마다 화상 상에서 차지하는 위치를 바꾸는 것을 화상의 운동(정확하게는 화상 중의 물체의 운동)이라고 한다. 화상의 운동은, 그 발생 요인에 따라 표 1과 같이 분류할 수 있다. 또한, 「운동의 주파수」란, 엄밀하게는 운동 궤적의 공간 주파수를 가리킨다.
운동 요인 화상 운동 종류 예 특징
카메라 운동 글로벌 의도적인 운동
(팬/틸트 등)		 운동의 주파수가 낮음
비의도적인 운동
(손떨림, 진동 등)		 동 주파수는 높음
피사체의 개별 운동 로컬 술자(術者)의 손 운동 동 주파수는 개별적
장기(臟器) 변형
미생물의 운동
우선, 카메라 등의 움직임에 기인한 화상의 특정 영역(화상 전체여도 됨)의 움직임을 나타내는 글로벌 운동이 존재한다. 카메라의 운동을 요인으로 하는 화상의 운동은 전체 피사체가 같은 방향(소실점)으로 일률적으로 운동한다. 글로벌 운동의 요인인 카메라의 운동은 카메라의 방향을 선택하는 팬/틸트 등의 의도적인 운동과, 진동 등의 의도하지 않는 운동 요인으로 나누어진다. 한편, 공간 중의 물체의 개별의 운동은 화상 중의 특정 부분만이 운동하는 로컬 운동이다. 통상, 화상 중의 운동은 글로벌 운동에 로컬 운동이 중합된 것이 된다.도 4는, 공간 중의 3 차원의 운동에 기인하는 2 차원 화상 운동을, 대응하는 화소의 움직임을 이용하여 나타내는 것이다. 도 4(a)는, 카메라 등의 운동에 기인하는 화상의 글로벌 운동을 나타낸 모식도이다. 어느 시각(예를 들면, 제n 프레임)의 특정의 화소(i 및 s)에 대응하는 화소점(Pi n 및 ps n)이, 각각 다음의 어느 시각에서 대응하는 화소 위치(pi n+1 및 ps n + 1)로 이동한 것을 나타내고 있다. 운동은 화살표의 이동량 벡터로 표시된다.
도 4(b)는, 보다 많은 화소점에 대한 이동량 벡터를 도시한 것이다. 글로벌 운동의 특징은, 벡터의 방향이 균일하게 투영 변환되어 소실점의 방향을 향한다고 하는 것이다. 또한, 도 4(b)는, 공간 중의 물체의 자립적인 운동과 카메라의 운동이 동시에 일어난 경우의 모습을 나타내고 있다. 즉, 글로벌 운동 이외에, 일부의 특정의 화상 부분에서 로컬 운동이 존재한다. 도면 중, 소실점과 상이한 방향을 향하는 파선으로 표시된 화살표가, 로컬 운동의 이동량 벡터이다.
이어서, 화상 처리 장치(10)에 의한 화상 처리의 개요를 설명한다.
화상 축소부(100)는, 입력 화상 데이터를 원하는 사이즈로 축소한 화상 데이터를 얻는다.
글로벌 운동 추정부(200)에 의한 글로벌 운동의 추정에 대하여, 이하 설명한다.
도 5는, 글로벌 운동 추정부(200)의 구성예를 나타내고 있다. 글로벌 운동 추정부(200)는, 예를 들면, 휘도 화상 생성부(210), 대응점 검출부(220) 및 대응점 선택부(230)를 구비한다.
휘도 화상 생성부(210)는, 입력된 화상 데이터(축소된 사이즈의 화상이여도 됨)를 그레이 스케일 화상(흑백의 휘도 화상으로, 예를 들면, 8 비트)으로 변환한다.
대응점 검출부(220)는, 2 개의 프레임에 있어서의 화상 데이터(예를 들면, 대상이 되는 프레임에 있어서의 화상 데이터 및 그 1 개 전의 프레임의 화상 데이터)에 있어서, 대응점이 어떻게 움직였는지를 검출한다. 대응점의 특정은, 적절한 방법으로 행할 수 있으나, 예를 들면, 주목하는 화상의 휘도와 주위의 휘도 구배가 유사해 있는 점을 대응점으로서 인식함으로써 행한다. 대응점 검출부는, 검출한 대응점에 관한 정보를, 대응 점열 메모리 정보로서 출력한다. 도 6에, 대응 점열 메모리의 개요를 나타낸다.
대응점 선택부(230)는, 대응점 검출부(220)가 검출한 대응점 중에서, 적절한 대응점을 선택한다. 후술한 바와 같이, 투영 변환 행렬을 풀기 위해서는 4 점 이상의 대응점이 필요해진다. 도 7에, 대응점 선택부(230)의 처리의 개요를 나타낸다. 선택된 대응점의 정보는, 화상 보정부(400)로 출력된다.
로컬 운동 추정부(300)에 의한 로컬 운동의 추정에 대하여, 이하 설명한다. 또한, 로컬 운동의 추정은, 적절한 방법에 의해 행할 수 있으나, 이하에서는, 특정 피사체의 중심의 이동량에 기초한 로컬 운동의 추정에 대하여 설명한다. 도 8에, 특정 피사체의 윤곽 및 중심점의 추출의 개요를 나타낸다.
도 9는, 로컬 운동 추정부(300)의 구성예를 나타내고 있다. 로컬 운동 추정부(300)는, 영역 추출부(310), 중심 계산부(320) 및 이동량 계산부(330)를 구비한다.
영역 추출부(310)는, 로컬 운동을 하는 특정 피사체가 차지하는 영역을 추출한다. 영역의 추출은 적절한 방법에 의해 행할 수 있으나, 예를 들면, 특정의 색상을 가지는 영역을 추출함으로써 행한다.
중심 계산부(320)는, 영역 추출부(310)에서 추출된 영역에 대하여, 적절한 방법으로 윤곽선을 구성하는 점열의 좌표((x1 n, y1 n), ..., (x1 n, y1 n), ..., (xN n, yN n))를 작성하고, 이하의 식 (9)에 따라, 특정 피사체의 중심 위치를 구한다. 또한, 2 치화 화상으로서 처리해도 된다.
Figure pct00009
1 개 전의 프레임과의 사이의 이동량 벡터는, 이하의 식 (10)으로 구해진다. 이동량 벡터의 값은, 화상 보정부(400)로 출력된다.
Figure pct00010
이어서, 화상 보정부(400)에 의한 화상의 보정에 대하여 설명한다.
도 10은, 화상 보정부(400)의 구성예를 나타내고 있다. 화상 보정부(400)는, 독출부(410), 투영 변환 행렬 계산부(420) 및 화상 처리부(430)를 구비한다.
독출부(410)는, 글로벌 운동의 대응점 정보 및 로컬 운동의 이동량 벡터 정보를 읽어내어, 투영 변환 행렬 계산부(420)로 보낸다.
투영 변환 행렬 계산부(420)는, 우선, 글로벌 운동의 대응점 정보에 기초하여, 글로벌 운동에 관련된 투영 변환 행렬을 작성한다. 전술한 바와 같이, 카메라 위치(n)(즉, 제n 프레임)의 화상의 화소 위치를, 운동 후의 카메라 위치(r)(즉 제r 프레임)의 화상의 대응하는 화소 위치로 변환하는 투영 변환 행렬은, 식 (8)과 같다.
Hn2r는 3 행 3 열이므로 많아봤자 9 개의 미지수를 가진다. p~ i n 및 p~ i r는 이미 알고 있으므로, 쌍이 되는 복수의 대응 점열을 이용하여 연립 방정식을 풀면, 미지의 Hn2r를 구할 수 있다. 동차 좌표계를 이용한 관계식이며, 투영 변환 행렬은 3 행 3 열의 행렬로 스케일이 미정이므로, 자유도는 8이 된다. 따라서, Hn2r는 이하와 같이 표현할 수 있고, 행렬 형식의 미지수는 8 요소가 된다.
Figure pct00011
Hn2r는, 추적 점수가 4 점 이상 있으면 풀 수 있다. 이하, 추적점이 4 점인 경우에 대하여 설명한다. 우선, 각 추적점의 제n 프레임과 제r 프레임의 위치 관계는, 이하와 같이 나타낼 수 있다.
Figure pct00012
식 (12)을 요소로 고쳐 쓰면, 다음과 같이 된다.
Figure pct00013
식 (13)을 통상의 연립 방정식으로 정리하면, 다음과 같이 된다.
Figure pct00014
식 (14)에 나타낸 방정식을 풀면, Hn2r의 미지의 각 요소를 산출할 수 있다.
이어서, 투영 변환 행렬 계산부(420)는, 로컬 운동 추정부(300)로부터 수취한 이동량 벡터의 값에 기초하여, Hn2r를 이하와 같이 보정한다. 여기서, Width는 화상의 가로 방향의 화소 수를, Height는 세로 방향의 화소 수를 나타낸다.
Figure pct00015
투영 변환 행렬 계산부는, 이하와 같이, 제n 프레임으로부터 제r 프레임으로의 투영 변환 행렬(Hn2r)과, 제b 프레임으로부터 제n 프레임으로의 투영 변환 행렬(Hb2n)로부터, 제b 프레임으로부터 제r 프레임으로의 투영 변환 행렬(Hb2r)을 산출한다.
Figure pct00016
투영 변환 행렬(Hb2r)은, 1 프레임마다 누적적으로 계산하는 것으로 해도 된다. 즉, 식 (16)에서, n를 (n-1)로, r를 n로 치환하면, 제n-1 프레임으로부터 제n 프레임으로의 투영 변환 행렬(H(n-1)2n)과, 제b 프레임으로부터 제n-1 프레임으로의 투영 변환 행렬(Hb2(n-1))로부터, 제b 프레임으로부터 제n 프레임으로의 투영 변환 행렬(Hb2n)을 산출할 수 있다. 마찬가지로, 제b 프레임으로부터 제n-1 프레임으로의 투영 변환 행렬(Hb2(n-1))에 대해서도, 제n-2 프레임으로부터 제n-1 프레임으로의 투영 변환 행렬(H(n-2)2(n-1))과. 제b 프레임으로부터 제n-2 프레임으로의 투영 변환 행렬(Hb2 (n-2))로부터 산출된다. 이와 같이, 투영 변환 행렬 계산부(420)는, 제b 프레임으로부터 1 프레임마다 1 개 전의 프레임으로부터의 투영 변환 행렬을 누적적으로 곱하므로써, 누적적으로 투영 변환 행렬을 작성하는 것으로 할 수 있다.
또한, 투영 변환 행렬 계산부는, 기준이 되는 프레임을 소정의 주기마다 갱신하는 기준 화상 주기를 설정해도 된다. 기준 화상 주기를 설정함으로써, 운동의 주파수가 낮은 의도적 글로벌 운동과, 운동의 주파수가 높은 비의도적 글로벌 운동을 구별하여 검출하는 것이 가능해진다. 카메라 운동에 의한 카메라 축 변화의 모식도를 도 11에 나타낸다. 카메라의 팬 또는 틸트와 같은 의도적 글로벌 운동의 장(長)주기 파형에, 손떨림 또는 진동 등과 같은 비의도적 글로벌 운동의 단(短)주기 파형이 중첩된다. 짧은 기준 화상 주기를 설정함으로써, 의도적 글로벌 운동을 보상하지 않게 할 수 있다.
화상 처리부(430)는, 제b 프레임으로부터 제n 프레임으로의 (누적) 투영 변환 행렬(Hb2n)을 이용하여, 제n 프레임의 입력 화상 데이터에 대하여, 이하와 같이 보상을 행한다. 단, 입력 화상 데이터의 화소를 pi r, 변환 후의 화소를 pi b '로 한다. 또한, 여기에서의 보상에 이용하는 입력 화상 데이터는, 축소된 화상 데이터는 아니며, 원래의 사이즈의 입력 화상 데이터를 이용할 수 있다.
Figure pct00017
이상, 화상 처리 장치(10)의 예시적인 실시 형태에 대하여 설명하였다. 화상 처리 장치(10)의 기본적인 실시 형태에서는, 동영상에 있어서의, 특정 피사체를 포함하는 특정 영역의 움직임을 나타내는 글로벌 운동을, 동영상에 포함되는 복수의 프레임 화상으로부터 추정하는 글로벌 운동 추정부(200)와, 동영상에 있어서의, 특정 피사체의 움직임을 나타내는 로컬 운동을, 복수의 프레임 화상으로부터 추정하는 추정부(300)와, 추정된 글로벌 운동 및 로컬 운동에 기초하여, 동영상에 있어서의 특정 피사체 또는 전정(前定) 영역의 움직임을 보정하는 화상 보정부(400)를 구비한다. 이에 의해, 원하는 운동을 지정하여 화상을 보정할 수 있다.
로컬 운동 추정부(300)는, 특정 피사체가 포함되는 영역에 있어서의 특정점의 이동량을 이용하여 로컬 운동을 추정하는 것으로 해도 된다. 또한, 로컬 운동 추정부(300)가 이용하는 특정점은, 피사체의 중심으로 해도 된다. 이에 의해, 특정 피사체의 중심점이 정지하고, 다른 부분이 상대적으로 운동하는 화상을 생성할 수 있다.
화상 보정부(400)는, 추정된 글로벌 운동에 대응하는 투영 변환 행렬을 작성하고, 추정된 로컬 운동에 기초하여 투영 변환 행렬을 보정하여, 보정된 투영 변환 행렬에 기초하여, 동영상에 있어서의 특정 피사체 또는 특정 영역의 움직임을 보정하는 것으로 해도 된다. 이에 의해, 글로벌 운동과 로컬 운동을 동시에 보상할 수 있다.
글로벌 운동 추정부(200) 및 상기 로컬 운동 추정부(300)는, 입력 화상을 축소한 화상을 이용하여 글로벌 운동 및 로컬 운동을 추정하는 것으로 해도 된다. 이에 의해, 투영 변환 행렬을 산출하기 위한 처리를 효율화할 수 있다.
화상 처리 장치(10)는, 병렬적 처리를 행하는 것으로 해도 된다. 도 12에 일예를 나타낸다. 메모리부(500)는, 입력 화상 데이터를, 예를 들면, 제n 프레임의 입력 화상 데이터(Imagen) 및 1 개 전의 제n-1 프레임의 입력 화상 데이터(Imagen - 1)를 보지한다. 메모리부(500)는, Imagen를 글로벌 운동 추정부(200) 및 로컬 운동 추정부(300)로 출력한다. 글로벌 운동 추정부(200) 및 로컬 운동 추정부(300)는, 제n 프레임의 입력 화상 데이터(Imagen)에 대하여 소정의 추정 처리를 행하고, 메모리부(600)에 대하여, 각각 제n 프레임의 입력 화상 데이터(Imagen)에 관한 글로벌 운동의 대응점 정보 및 로컬 운동의 이동량 벡터 정보를 출력한다. 또한, 메모리부(600)는, 1 개 전의 제n-1 프레임의 입력 화상 데이터(Imagen - 1)에 관한 글로벌 운동의 대응점 정보 및 로컬 운동의 이동량 벡터 정보도 보지한다.
이상의 처리를 실행하는 것과 병렬적으로, 화상 보정부(400)는, 제n-1 프레임의 입력 화상 데이터(Imagen - 1)에 대하여, 화상 보정을 실행한다. 구체적으로는, 독출부(410)는, 메모리부(600)가 보지하고 있는 제n-1 프레임의 입력 화상 데이터(Imagen-1)에 관한 글로벌 운동의 대응점 정보 및 로컬 운동의 이동량 벡터 정보를 읽어내어, 투영 변환 행렬 계산부(420)로 출력한다. 투영 변환 행렬 계산부(420)는, 제b 프레임으로부터 제n-1 프레임으로의 투영 변환 행렬(Hb2 (n-1))을 산출하여, 화상 처리부(430)로 출력한다. 화상 처리부(430)는, 메모리부(500)로부터 출력되는 제n-1 프레임의 입력 화상 데이터(Imagen - 1)와, 제b 프레임으로부터 제n-1 프레임으로의 투영 변환 행렬(Hb2 (n-1))을 이용하여, 제n-1 프레임의 입력 화상 데이터(Imagen-1)에 대하여, 화상 보정을 실행한다.
상술과 같은 구성에 의해, 복수 프레임 분의 입력 화상 데이터를 병렬적으로 처리할 수 있어, 화상 처리 장치(10)의 처리를 효율화할 수 있다.
그런데, 화상 처리 장치(10)에 의한 화상 처리를 행하는 경우, 보상 대상의 글로벌 운동이나 로컬 운동이 크면, 화상 처리 후의 출력 화상 데이터의 일부에, 정의하지 않은 영역, 즉, 블랙 에어리어가 발생하는 경우가 있다. 도 13에, 화상 처리 장치(10)에 의한 화상 처리에 기인하여 블랙 에어리어가 발생하는 경우의 개념도를 나타낸다. 도 13(a)은, 어느 기준 프레임(제b 프레임)에 있어서의 특정 피사체(1000), 및 출력 화상 데이터의 출력 범위(1200)의 관계를 나타내고 있다. 도 13(b)은, 해당 기준 프레임보다 후의 프레임(제n 프레임)에 있어서의 특정 피사체(1000), 촬상 범위(1100), 출력 화상 데이터의 출력 범위(1200) 및 블랙 에어리어(1300)의 관계를 나타내고 있다. 제n 프레임에서는, 제b 프레임으로부터 글로벌 운동 혹은 로컬 운동, 또는 그 양방이 발생한 것에 기인하여, 특정 피사체(1000)의 화면 상의 위치가 이동하고 있다. 이 경우, 화상 처리 장치(10)에 의한 화상 처리를 행하면, 예를 들면, 특정 피사체(1000)가 출력 화상 데이터의 중심부에 위치하도록 보정되는 바, 출력 화상 데이터의 출력 범위(1200)에는, 블랙 에어리어(1300)가 포함되게 된다.
이에, 이러한 문제를 해소하기 위해, 화상 처리 시스템에서는, 화상 처리 장치(10)와 함께, 물리적인 동작 조정 장치와 조합하여 이용해도 된다. 예를 들면, 글로벌 운동이나 로컬 운동에 기초하여 카메라의 동작을 조정하는 카메라 동작 조정 장치를 이용해도 되고, 글로벌 운동이나 로컬 운동에 기초하여 피사체의 위치를 조정하는 피사체 위치 조정 장치를 이용하는 것으로 해도 된다.
도 14는, 카메라 동작 조정 장치를 조합한 화상 처리 시스템(1)의 개념도이다. 촬영용 카메라(20)에는, 카메라 동작 조정용의 액추에이터(41)가 장착된다. 화상 처리 장치(10)는, 특정 피사체(1000)를 촬영하는 촬영용 카메라(20)로부터 수신한 입력 화상 데이터를 기초로 글로벌 운동 혹은 로컬 운동, 또는 그 양방을 추정함과 동시에, 추정된 글로벌 운동 혹은 로컬 운동, 또는 그 양방에 기초하여 산정되는 제어 정보를 액추에이터(41)로 송신한다. 액추에이터(41)는, 수신한 상기 제어 정보에 기초하여, 촬영용 카메라의 동작(예를 들면, 방향이나 기울기의 변경, 및 수평 이동이나 수직 이동이 포함되지만, 이들에 한정되지 않음)을 조정한다.
또한, 도 15는, 피사체 위치 조정 장치를 조합한 화상 처리 시스템(1)의 개념도이다. 특정 피사체(1000)는, 촬영용 스테이지(2000)에 놓여 있고, 촬영용 스테이지(2000)에는, 피사체 위치 조정용의 액추에이터(42)가 장착된다. 화상 처리 장치(10)는, 특정 피사체(1000)를 촬영하는 촬영용 카메라(20)로부터 수신한 입력 화상 데이터를 기초로 글로벌 운동 혹은 로컬 운동, 또는 그 양방을 추정함과 동시에, 추정된 글로벌 운동 혹은 로컬 운동, 또는 그 양방에 기초하여 산정되는 제어 정보를 피사체 위치 조정용의 액추에이터(42)로 송신한다. 액추에이터(42)는, 수신한 상기 제어 정보에 기초하여, 촬영용 스테이지(2000)의 위치를 조정한다.
도 15에서, 촬영용 카메라(20)는, 예를 들면, 현미경이며, 특정 피사체(1000)는, 예를 들면, 미생물 등의 움직이는 물체이다. 특정 피사체(1000)가 움직인 경우에도, 특정 피사체(1000)를 포함하는 원하는 영역이 현미경의 시야 내에 위치하도록, 액추에이터(42)가 촬영용 스테이지(2000)의 위치를 조정한다.
이어서, 상기 실시 형태에 있어서의 화상 처리 시스템(1)의 적용예에 대하여 설명한다.
도 16은, 화상 처리 장치(10)를 적용한 의료용 영상 처리 시스템(2)의 개념도이다. 의료용 영상 처리 시스템(2)은, 화상 처리 장치(10), 의료용 카메라(21) 및 화상 표시 모니터(31)를 구비한다. 여기서, 의료용 카메라(21)는, 예를 들면, 내시경 카메라, 천장에 설치되는 수술용 기록 카메라, 의료용 현미경 등이다. 화상 처리 장치(13)는, 의료용 카메라(21)로부터 입력된 입력 화상 데이터를 처리하여, 화상 표시 모니터(31)로 출력한다. 화상 표시 모니터(31)는, 수술 등의 의료 행위의 실시에 있어서 의사들이 필요로 하는 영상 등을 출력한다.
또한, 이상 설명한 실시 형태는, 본 발명의 이해를 용이하게 하기 위한 것이며, 본 발명을 한정하여 해석하기 위한 것은 아니다. 본 발명은, 그 취지를 일탈하지 않고 변경/개량될 수 있으며, 본 발명에는 그 등가물도 포함된다. 즉, 각 실시 형태에 당업자가 적절히 설계 변경을 가했으나, 본 발명의 특징을 구비하고 있는 한, 본 발명의 범위에 포함된다. 예를 들면, 각 실시 형태가 구비하는 각 요소 및 그 배치, 재료, 조건, 형상, 사이즈 등은, 예시한 것에 한정되는 것은 아니며, 적절히 변경할 수 있다. 또한, 각 실시 형태는 예시이며, 상이한 실시 형태로 나타낸 구성의 부분적인 치환 또는 조합이 가능함은 말할 필요도 없으며, 이들도 본 발명의 특징을 포함하는 한, 본 발명의 범위에 포함된다.
1 : 화상 처리 시스템
2 : 의료용 화상 처리 시스템
10 : 화상 처리 장치
20 : 촬영용 카메라
21 : 의료용 카메라
30 : 표시 장치
31 : 화상 표시 모니터
41 : 카메라 동작 조정용의 액추에이터
42 : 피사체 위치 조정용의 액추에이터
100 : 화상 축소부
200 : 글로벌 운동 추정부
210 : 휘도 화상 생성부
220 : 대응점 검출부
230 : 대응점 선택부
300 : 로컬 운동 추정부
310 : 영역 추출부
320 : 중심 계산부
330 : 이동량 계산부
400 : 화상 보정부
410 : 독출부
420 : 투영 변환 행렬 계산부
430 : 화상 처리부
500, 600 : 메모리부
1000 : 특정 피사체
1100 : 촬상 범위
1200 : 출력 화상 데이터의 출력 범위
1300 : 블랙 에어리어
2000 : 촬영용 스테이지

Claims (10)

  1. 동영상에 있어서의, 특정 피사체를 포함하는 특정 영역의 움직임을 나타내는 글로벌 운동을, 상기 동영상에 포함되는 복수의 프레임 화상으로부터 추정하는 글로벌 운동 추정 수단과,
    상기 동영상에 있어서의, 상기 특정 피사체의 움직임을 나타내는 로컬 운동을, 상기 복수의 프레임 화상으로부터 추정하는 로컬 운동 추정 수단과,
    추정된 글로벌 운동 및 로컬 운동에 기초하여, 상기 동영상에 있어서의 상기 특정 피사체 또는 상기 특정 영역의 움직임을 보정하는 화상 보정 수단
    을 구비하는 화상 처리 장치.
  2. 제1항에 있어서,
    상기 로컬 운동 추정 수단은 상기 특정 피사체가 포함되는 영역에 있어서의 특정점의 이동량을 이용하여 로컬 운동을 추정하는, 화상 처리 장치.
  3. 제2항에 있어서,
    상기 특정점은, 상기 피사체의 중심인 화상 처리 장치.
  4. 제1항 내지 제3항에 있어서,
    상기 화상 보정 수단은, 추정된 상기 글로벌 운동에 대응하는 투영 변환 행렬을 작성하고,
    추정된 상기 로컬 운동에 기초하여 상기 투영 변환 행렬을 보정하고,
    상기 보정된 투영 변환 행렬에 기초하여, 상기 동영상에 있어서의 상기 특정 피사체 또는 상기 특정 영역의 움직임을 보정하는 화상 처리 장치.
  5. 제1항 내지 제4항에 있어서,
    상기 글로벌 운동 추정 수단 및 상기 로컬 운동 추정 수단은, 입력 화상을 축소한 화상을 이용하여 글로벌 운동 및 로컬 운동을 추정하는 화상 처리 장치.
  6. 동영상에 있어서의, 특정 피사체를 포함하는 특정 영역의 움직임을 나타내는 글로벌 운동을, 상기 동영상에 포함되는 복수의 프레임 화상으로부터 추정하는 글로벌 운동 추정을 실행하는 단계와,
    상기 동영상에 있어서의, 상기 특정 피사체의 움직임을 나타내는 로컬 운동을, 상기 복수의 프레임 화상으로부터 추정하는 로컬 운동 추정을 실행하는 단계와,
    추정된 글로벌 운동 및 로컬 운동에 기초하여, 상기 동영상에 있어서의 상기 특정 피사체 또는 상기 특정 영역의 움직임을 보정하는 화상 보정을 실행하는 단계
    을 컴퓨터에 실행시키는 화상 처리 프로그램.
  7. 동영상에 있어서의, 특정 피사체를 포함하는 특정 영역의 움직임을 나타내는 글로벌 운동을, 상기 동영상에 포함되는 복수의 프레임 화상으로부터 추정하는 글로벌 운동 추정을 실행하는 단계와,
    상기 동영상에 있어서의, 상기 특정 피사체의 움직임을 나타내는 로컬 운동을, 상기 복수의 프레임 화상으로부터 추정하는 로컬 운동 추정을 실행하는 단계와,
    추정된 글로벌 운동 및 로컬 운동에 기초하여, 상기 동영상에 있어서의 상기 특정 피사체 또는 상기 특정 영역의 움직임을 보정하는 화상 보정을 실행하는 단계
    을 가지는 화상 처리 방법.
  8. 동영상을 촬영하는 촬영용 카메라와, 상기 동영상의 화상을 처리하는 화상 처리 장치와, 화상 처리된 상기 동영상의 화상을 표시하는 표시 장치를 가지는 화상 처리 시스템이며,
    상기 화상 처리 장치는, 상기 동영상에 있어서의, 특정 피사체를 포함하는 특정 영역의 움직임을 나타내는 글로벌 운동을, 상기 동영상에 포함되는 복수의 프레임 화상으로부터 추정하는 글로벌 운동 추정 수단과,
    상기 동영상에 있어서의, 상기 특정 피사체의 움직임을 나타내는 로컬 운동을, 상기 복수의 프레임 화상으로부터 추정하는 로컬 운동 추정 수단과,
    추정된 글로벌 운동 및 로컬 운동에 기초하여, 상기 동영상에 있어서의 상기 특정 피사체 또는 상기 특정 영역의 움직임을 보정하는 화상 보정 수단을 구비하는 화상 처리 장치인
    화상 처리 시스템.
  9. 제8항에 있어서,
    추정된 글로벌 운동 혹은 로컬 운동, 또는 그 양방에 기초하여, 상기 촬영용 카메라의 동작을 조정하는 카메라 동작 조정 장치를 가지는 화상 처리 시스템.
  10. 제8항 또는 제9항에 있어서,
    추정된 글로벌 운동 혹은 로컬 운동, 또는 그 양방에 기초하여, 상기 특정 피사체의 위치를 조정하는 피사체 위치 조정 장치를 가지는 화상 처리 시스템.
KR1020197033856A 2017-05-17 2018-05-17 화상 처리 장치, 화상 처리 프로그램 및 화상 처리 방법 KR102500462B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JPJP-P-2017-098476 2017-05-17
JP2017098476 2017-05-17
PCT/JP2018/019085 WO2018212272A1 (ja) 2017-05-17 2018-05-17 画像処理装置、画像処理プログラム及び画像処理方法

Publications (2)

Publication Number Publication Date
KR20200010247A true KR20200010247A (ko) 2020-01-30
KR102500462B1 KR102500462B1 (ko) 2023-02-16

Family

ID=64273880

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020197033856A KR102500462B1 (ko) 2017-05-17 2018-05-17 화상 처리 장치, 화상 처리 프로그램 및 화상 처리 방법

Country Status (5)

Country Link
US (1) US11592656B2 (ko)
JP (1) JP7245773B2 (ko)
KR (1) KR102500462B1 (ko)
CN (1) CN110692235B (ko)
WO (1) WO2018212272A1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111479035B (zh) * 2020-04-13 2022-10-18 Oppo广东移动通信有限公司 图像处理方法、电子装置及计算机可读存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006350334A (ja) * 2005-06-13 2006-12-28 Seiko Epson Corp ディジタル・ビデオ・シーケンスの現在のフレームと以前のフレームの間における動きに起因する知覚可能なぶれを補償する方法およびシステム
JP2011234844A (ja) * 2010-05-10 2011-11-24 Olympus Corp 制御装置、内視鏡装置及びプログラム
JP2013017155A (ja) 2011-07-06 2013-01-24 Morpho Inc 画像処理装置、画像処理方法、画像処理プログラム及び記憶媒体
JP2015090471A (ja) * 2013-11-07 2015-05-11 ソニー株式会社 顕微鏡システムおよびオートフォーカス方法

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8340185B2 (en) * 2006-06-27 2012-12-25 Marvell World Trade Ltd. Systems and methods for a motion compensated picture rate converter
BRPI0813122A2 (pt) * 2007-07-02 2015-08-04 Nippon Telegraph & Telephone Método de codificação e método de decodificação de vídeo escalonável, aparelhos e programas para os mesmos, e meio de armazenamento que armazena os programas
TW200946792A (en) 2008-05-08 2009-11-16 Newcera Technology Co Ltd Self-lubricating bearing
JP4645746B2 (ja) * 2009-02-06 2011-03-09 ソニー株式会社 画像処理装置、画像処理方法および撮像装置
EP2347692A4 (en) * 2009-05-14 2012-08-01 Olympus Medical Systems Corp IMAGING DEVICE
JP2011199716A (ja) 2010-03-23 2011-10-06 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
JP5687544B2 (ja) 2011-04-05 2015-03-18 任天堂株式会社 情報処理プログラム、情報処理システム、および情報処理方法
EP2497547B1 (en) * 2011-03-08 2018-06-27 Nintendo Co., Ltd. Information processing program, information processing apparatus, information processing system, and information processing method
TWI456984B (zh) * 2011-10-24 2014-10-11 Univ Nat Central 視訊穩定系統及其方法
TWI563471B (en) * 2012-04-24 2016-12-21 Altek Corp Image processing device and processing method thereof
JP5659307B2 (ja) * 2012-07-17 2015-01-28 パナソニックＩｐマネジメント株式会社 コメント情報生成装置およびコメント情報生成方法
KR20150011938A (ko) 2013-07-24 2015-02-03 한국전자통신연구원 멀티-카메라 플랫폼 기반으로 캡쳐된 파노라마 영상의 안정화 방법 및 장치
JP5698332B1 (ja) 2013-10-24 2015-04-08 キリンビバレッジ株式会社 飲料製造方法
CN104125471B (zh) * 2014-08-07 2016-01-20 成都瑞博慧窗信息技术有限公司 一种视频图像压缩方法
WO2017020807A1 (en) * 2015-07-31 2017-02-09 Versitech Limited Method and system for global motion estimation and compensation
US9781350B2 (en) 2015-09-28 2017-10-03 Qualcomm Incorporated Systems and methods for performing automatic zoom
US10148963B2 (en) * 2016-09-23 2018-12-04 Arm Limited Methods of and apparatus for encoding data arrays

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006350334A (ja) * 2005-06-13 2006-12-28 Seiko Epson Corp ディジタル・ビデオ・シーケンスの現在のフレームと以前のフレームの間における動きに起因する知覚可能なぶれを補償する方法およびシステム
JP2011234844A (ja) * 2010-05-10 2011-11-24 Olympus Corp 制御装置、内視鏡装置及びプログラム
JP2013017155A (ja) 2011-07-06 2013-01-24 Morpho Inc 画像処理装置、画像処理方法、画像処理プログラム及び記憶媒体
JP2015090471A (ja) * 2013-11-07 2015-05-11 ソニー株式会社 顕微鏡システムおよびオートフォーカス方法

Also Published As

Publication number Publication date
US20210165205A1 (en) 2021-06-03
US11592656B2 (en) 2023-02-28
JP7245773B2 (ja) 2023-03-24
CN110692235A (zh) 2020-01-14
WO2018212272A1 (ja) 2018-11-22
CN110692235B (zh) 2021-06-22
KR102500462B1 (ko) 2023-02-16
JPWO2018212272A1 (ja) 2020-03-19

Similar Documents

Publication Publication Date Title
US9262807B2 (en) Method and system for correcting a distorted input image
JP5794705B2 (ja) 撮像装置、その制御方法及びプログラム
JP5531194B2 (ja) 画像処理装置、画像処理方法及び画像処理プログラム
JP5906493B2 (ja) 画像処理装置、画像処理方法、画像処理プログラム及び記録媒体
JP6735592B2 (ja) 画像処理装置及びその制御方法、画像処理システム
US20160328882A1 (en) Pass-through display of captured imagery
JPWO2006137253A1 (ja) 画像生成装置および画像生成方法
JP2008217526A (ja) 画像処理装置、画像処理プログラム及び画像処理方法
US11457158B2 (en) Location estimation device, location estimation method, and program recording medium
KR102500462B1 (ko) 화상 처리 장치, 화상 처리 프로그램 및 화상 처리 방법
JP5424068B2 (ja) 画像処理装置、画像処理方法、画像処理プログラム及び記憶媒体
JP2009109322A (ja) カメラ、カメラアレイ及びカメラアレイシステム
JP2014131177A (ja) 画像処理装置、カメラ、画像処理方法、および画像処理プログラム
JP5645704B2 (ja) 画像処理装置、及びその制御方法
JP5351200B2 (ja) 画像処理装置、画像処理システムおよび画像処理方法
JP2009027437A (ja) 画像処理装置，画像処理方法及び撮像装置
JP6671975B2 (ja) 画像処理装置、撮像装置、画像処理方法およびコンピュータプログラム
JP6516574B2 (ja) 像ブレ補正装置、撮像装置、像ブレ補正方法
JP5401696B2 (ja) 画像処理装置、画像処理方法及び画像処理プログラム
JP2015055988A (ja) 画像処理装置、画像処理方法、及びプログラム
JP6645949B2 (ja) 情報処理装置、情報処理システム、および情報処理方法
JP5701733B2 (ja) 画像処理装置、画像処理システムおよび画像処理方法
US8897584B2 (en) Image processing apparatus and image processing method
JP5335968B2 (ja) 画像処理装置、画像処理方法、プログラム及び記録媒体
JP2019161564A (ja) 画像処理装置、画像処理方法、画像処理プログラム、撮影装置、撮影方法及び撮影プログラム

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant