KR20180028961A - 영상비교장치 - Google Patents

영상비교장치 Download PDF

Info

Publication number
KR20180028961A
KR20180028961A KR1020170114707A KR20170114707A KR20180028961A KR 20180028961 A KR20180028961 A KR 20180028961A KR 1020170114707 A KR1020170114707 A KR 1020170114707A KR 20170114707 A KR20170114707 A KR 20170114707A KR 20180028961 A KR20180028961 A KR 20180028961A
Authority
KR
South Korea
Prior art keywords
image
pixel
photographing
unit
photographed
Prior art date
Application number
KR1020170114707A
Other languages
English (en)
Other versions
KR101905813B1 (ko
Inventor
이윤구
Original Assignee
광운대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 광운대학교 산학협력단 filed Critical 광운대학교 산학협력단
Publication of KR20180028961A publication Critical patent/KR20180028961A/ko
Application granted granted Critical
Publication of KR101905813B1 publication Critical patent/KR101905813B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H04N5/2258—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • H04N13/0246—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/246—Calibration of cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)

Abstract

본 발명의 바람직한 일 실시예로서, 영상비교장치는 저장된 동영상에서 동일한 객체를 촬영한 t1 시점에서 촬영된 제 1 영상과 t2 시점에서 촬영된 제 2 영상을 추출하고, 상기 제 1 영상 내에서 상기 객체의 임의의 픽셀 (x,y)을 선정하고 상기 제 2 영상 내에서 상기 임의의 픽셀 (x,y)에 대응하는 대응픽셀(x',y')을 추출하는 추출부; 및 상기 픽셀(x,y), 상기 대응픽셀(x',y') 및 호모그래피(homography)를 이용하여, 상기 제 1 영상과 상기 제 2 영상 간의 관계를 도출하는 모델링부;를 포함하는 것을 특징으로 한다.

Description

영상비교장치{Device for comparing image files}
본 발명에서는 영상촬영장치에서 촬영된 영상간 비교 방법을 제시한다. 영상촬영장치에서 이미지 센서의 움직임이 OIS 기능 등으로 기계적으로 보완되는 경우에도 영상간의 관계를 정확히 분석하는 방법을 제시한다.
영상촬영장치에서 촬영된 영상간의 관계를 파악하기 위해 호모그래피 행렬을 이용한 방법이 이용되고 있다. 구체적으로, 동일한 물체를 제 1 카메라에서 촬영한 제 1 영상과 제 2 카메라에서 촬영한 제 2 영상 간의 관계를 아래의 수학식 1과 같이 호모그래피 행렬을 이용하여 표시한다.
Figure pat00001
수학식 1에서 (x, y)는 제 1 영상위의 픽셀 X의 좌표를, (x', y')은 제 2 영상 위의 픽셀 X'의 좌표를 나타낸다. 그리고, H는 호모그래피 행렬로
Figure pat00002
로 표시된다. 호모그래피 행렬의 a, b, c, d, e, f, g, h는 영상처리 기술을 통해 구해진다. 수학식 1은 카메라 프로젝션 모델(camera projection model)로부터 유도된 식이다. 카메라 프로젝션 모델에서는 카메라의 수평이동 회전등을 고려하며, 이 경우 수평이동은 카메라의 렌즈와 센서가 모두 동일한 크기로 이동하는 것을 전제로 한다.
그러나, 수학식 1을 이용하여서는 흔들림 보정이 수행된 제 1 영상과 제 2 영상 간의 관계를 정확히 분석하기 어려운 문제가 있다.
KR 10-1741761 B1
본 발명의 바람직한 일 실시예에서는, 영상촬영장치에서 영상을 촬영할 때 영상촬영장치의 흔들림을 보정하는 용도로 사용되는 OIS(optical image stabilizer)로 인해 제 1 영상과 제 2 영상 간의 관계를 기존의 수학식 1과 같은 수학적 모델로 정확히 표현하지 못하는 문제점을 해결하고자 한다.
본 발명의 바람직한 일 실시예에서는 카메라가 이동시에는 카메라 센서뿐만 아니라 카메라 렌즈도 함께 동일한 크기로 이동함으로 수학식 1을 통해 제 1 영상과 제 2 영상 간의 관계를 표시할 수 있으나, OIS에 의해 센서와 렌즈의 이동량이 다를 경우 수학식 1을 통해 제 1 영상과 제 2 영상 간의 관계를 표시할 수 없는 문제점을 해결한다.
본 발명의 바람직한 일 실시예에서는 특히, OIS에 의해 카메라의 이미지 센서만 수평이동하는 경우, 카메라 렌즈와 이미지 센서 사이의 관계가 변화되는 경우에도 제 1 영상과 제 2 영상 간의 관계를 표시하고자 한다.
본 발명의 바람직한 일 실시예로서, 영상비교장치는 동영상 촬영을 수행하는 촬영부; 상기 촬영한 동영상을 저장하는 저장부; 상기 저장된 동영상에서 동일한 객체를 촬영한 t1 시점에서 촬영된 제 1 영상과 t2 시점에서 촬영된 제 2 영상을 추출하고, 상기 제 1 영상 내에서 상기 객체의 임의의 픽셀 (x,y)을 선정하고 상기 제 2 영상 내에서 상기 임의의 픽셀 (x,y)에 대응하는 대응픽셀(x',y')을 추출하는 추출부; 및 상기 픽셀(x,y), 상기 대응픽셀(x',y') 및 호모그래피(homography)를 이용하여, 상기 제 1 영상과 상기 제 2 영상 간의 관계를 도출하는 모델링부;를 포함하는 것을 특징으로 한다.
본 발명의 바람직한 일 실시예로서 영상비교장치는 두 영상 간의 관계를 표시하며, 특히 자동차 등에 부착된 영상촬영장치에서 OIS가 적용된 경우, 촬영된 영상사이의 관계를 표시할 수 있는 효과가 있다.
본 발명의 바람직한 일 실시예로서 영상비교장치는 OIS가 장착된 영상촬영장치에서 렌즈는 이동하지 않았으나 센서만 이동한 경우, 영상촬영장치에서 촬영된 영상사이의 관계를 보다 정확히 표시할 수 있는 효과가 있다.
도 1 는 본 발명의 바람직한 일 실시예로서, 영상촬영장치의 내부 구성도를 도시한다.
도 2 는 본 발명의 바람직한 일 실시예로서, 동일한 영상촬영장치 또는 상이한 영상촬영장치에서 동일한 객체를 촬영한 제 1 영상 및 제 2 영상을 도시한다.
도 3 은 본 발명의 바람직한 일 실시예로서, 동일한 영상촬영장치 또는 상이한 영상촬영장치에서 동일한 객체를 촬영한 제 1 영상 및 제 2 영상 간의 매칭점의 일 예를 도시한다.
도 4 는 본 발명의 바람직한 일 실시예로서, 동일한 영상촬영장치 또는 상이한 영상촬영장치에서 동일한 객체를 촬영한 제 1 영상 및 제 2 영상 간의 관계를 설정하는 흐름도를 도시한다.
도 5 는 본 발명의 바람직한 일 실시예로서, 영상비교장치의 내부구성도를 도시한다.
도 1 은 본 발명의 바람직한 일 실시예로서, 영상촬영장치의 내부 구성도를 도시한다. 영상촬영장치(100)는 카메라, 캠코더, 휴대폰, 스마트폰, 핸드헬드 장치, 노트북, 로봇, 네트워크카메라, CCTV, 웨어러블 기기, 핸드헬드 장치를 모두 포함한다.
영상촬영장치(100)는 피사체로부터의 광학 신호를 입력하는 광학부(11), 상기 광학부(11)를 통해 입력된 광학 신호를 전기 신호로 변환하는 촬상 소자(12), 촬상 소자(12)로부터 제공된 전기 신호에 대해 노이즈 저감 처리, 디지털 신호로 변환 처리 등의 신호 처리를 행하는 입력 신호 처리부(13)를 구비한다. 상기 광학부(11)를 구동하는 모터(14) 및 모터(14)의 동작을 제어하는 구동부(15)를 구비한다. 또한, 상기 영상촬영장치(100)는 사용자의 조작 신호를 입력하는 사용자 입력부(UI, 20), 입력 영상의 데이터, 연산 처리를 위한 데이터, 처리 결과 등을 임시 저장하는 SDRAM(30), 영상촬영장치(100)의 동작에 필요한 알고리즘, 설정 데이터 등을 저장하는 플래시 메모리(40), 영상 파일을 저장하는 기록 장치로서 SD/CF/SM 카드(50)를 구비할 수 있다. 그리고 상기 영상촬영장치(100)는 디스플레이 장치로서 액정 디스플레이 장치(LCD, 60)가 장착되어 있다. 또한, 소리를 디지털 신호로 변환하거나 또는 음원의 디지털 신호를 아날로그 신호를 변화하는 처리, 오디오 파일을 생성하는 처리 등을 수행하는 오디오 신호 처리부(71), 소리를 출력하는 스피커(72), 소리를 입력하는 마이크(73)를 구비할 수 있다. 그리고, 상기 영상촬영장치(100)는 상기 영상촬영장치(100)의 동작을 제어하는 디지털 신호 처리부(DSP, 80)를 구비한다.
각 구성부에 대해 더욱 구체적으로 살펴본다.
상기 광학부(11)는 광학 신호를 집광하는 렌즈, 상기 광학 신호의 양(광량)을 조절하는 조리개, 광학 신호의 입력을 제어하는 셔터 등을 포함할 수 있다. 상기 렌즈는 초점 거리(focal length)에 따라 화각이 좁아지거나 또는 넓어지도록 제어하는 줌 렌즈 및 피사체의 초점을 맞추는 포커스 렌즈 등을 포함하며, 이들 렌즈들은 각각 하나의 렌즈로 구성될 수도 있지만, 복수 렌즈들의 군집으로 이루어질 수도 있다. 셔터로 가리개가 위아래로 움직이는 기계식 셔터를 구비할 수 있다. 또는 별도의 셔터 장치 대신 촬상 소자(11)에 전기 신호의 공급을 제어하여 셔터 역할을 행할 수도 있다.
상기 광학부(11)를 구동하는 모터(14)는 오토 포커스, 자동 노출 조정, 조리개 조정, 줌, 초점 변경 등의 동작을 실행하기 위하여 렌즈의 위치, 조리개의 개폐, 셔터의 동작 등을 구동할 수 있다.
상기 모터(14)는 구동부(15)에 의해 제어된다. 상기 구동부(15)는 DSP(80)로부터 입력된 제어 신호에 따라 상기 모터(14)의 동작을 제어한다.
촬상 소자(12)는 광학부(11)로부터 입력된 광학 신호를 수광하여, 피사체의 상을 결상한다. 촬상 소자(12)로 CMOS(Complementary Metal Oxide Semiconductor) 센서 어레이, CCD(Charge coupled device) 센서 어레이 등을 사용할 수 있다.
입력 신호 처리부(13)는 CCD로부터 공급된 전기 신호는 아날로그 신호로서 이를 디지털화하는 A/D 컨버터를 더 구비할 수 있다. 또한, 촬상 소자(12)로부터 제공된 전기 신호에 대해 게인(gain) 조정이나 파형을 정형화하는 신호 처리를 행하는 회로를 구비할 수 있다.
UI(20)는 사용자가 상기 영상촬영장치(10)를 조작하거나 촬영 시 각종의 설정을 행하기 위한 부재를 포함할 수 있다. 예를 들어, 버튼, 키, 터치 패널, 터치 스크린, 다이얼 등의 형태로 구현될 수 있으며, 전원 온/오프, 촬영 개시/정지, 재생 개시/정지/서치, 광학계의 구동, 모드 변환, 메뉴 조작, 선택 조작 등의 사용자 제어 신호를 입력할 수 있다.
SDRAM(30)은 입력 신호 처리부(13)로부터 제공된 영상의 RAW 데이터(RGB 데이터)를 임시 저장할 수 있으며, 임시 저장된 RAW 데이터는 DSP(80)의 연산에 따라 소정의 영상 신호 처리가 행해지기도 하고, 다른 필요한 구성부로 전달되기도 한다. 입력 신호 처리부(13)에서는 영상의 일부에 대한 RAW 데이터 전달도 가능하다.
또한, 상기 SDRAM(30)에는 플래시 메모리(40)에 저장된 알고리즘을 구성하는 데이터를 실행 가능한 데이터로 변환하여 임시 저장할 수도 있다. SDRAM(30)에 저장된 데이터를 이용하여 DSP(80)에서 연산 처리하여 상기 알고리즘에 따른 동작을 수행할 수 있다. 아울러, 상기 플래시 메모리(40)에 저장한 영상 파일을 압축 해제하여 변환한 영상 데이터를 임시 저장할 수도 있다. 이렇게 임시 저장된 영상 데이터는 LCD(60)로 전송되어 소정의 영상을 디스플레이 할 수도 있다. SDRAM(30)는 일 예로서, 전원 공급 동안 데이터를 임시 기억하는 다양한 휘발성 메모리를 사용할 수 있으며, 복수의 메모리 소자들을 집적한 반도체 소자를 사용할 수도 있다.
플래시 메모리(40)는 상기 영상촬영장치(100)를 작동하는 필요한 OS, 응용 프로그램, 본 발명에 관한 제어 방법의 알고리즘을 실행하는 데이터 등을 저장할 수 있다. 상기 플래시 메모리(40)는 일 예로서, ROM 등의 다양한 비휘발성 메모리로 사용할 수 있다.
SD/CF/SM 카드(50)에는 입력 신호 처리부(13)로부터 제공된 영상 데이터를 압축 처리하여 생성한 영상 파일을 기록할 수 있다. SD/CF/SM 카드(50)는 일 예로서, HDD(Hard Disk Driver), 광 디스크, 광 자기 디스크, 홀로그램 메모리 등을 사용할 수도 있다.
LCD(60)는 입력 신호 처리부(13)로부터 제공되는 영상 데이터에 대응하는 영상을 실시간으로 구현할 수 있으며, 또는 SD/CF/SM 카드(50)에 저장된 영상 파일로부터 복원한 영상 데이터에 대응하는 영상을 디스플레이 할 수 있다. 본 실시 예에서는 LCD(60)를 예시하였지만, 이에 한정되는 것은 아니며 유기 전계 발광 디스플레이 장치, 전기 영동 디스플레이 장치 등을 채용할 수 있다.
오디오 신호 처리부(71)는 DSP(80)로부터 제공되는 음원의 디지털 신호를 소리로 변환하고, 상기 소리를 증폭하여 스피커(72)로 전달하여 출력한다. 또는 마이크(73)를 통해 소리를 입력하고, 상기 소리를 디지털 신호로 변환하여 압축하여 오디오 파일을 생성할 수 있다. 그리고 DSP(80)로 전달하여 연산 처리를 수행하도록 할 수 있다.
DSP(80)는 입력된 영상 데이터에 대해 노이즈를 저감하고, 감마 컬렉션(Gamma Correction), 색필터 배열보간(color filter array interpolation), 색 매트릭스(color matrix), 색보정(color correction), 색 향상(color enhancement) 등의 영상 신호 처리를 수행할 수 있다. 또한, 영상 신호 처리하여 생성한 영상 데이터를 압축 처리하여 영상 파일을 생성할 수 있으며, 또는 상기 영상 파일로부터 영상 데이터를 복원할 수 있다. 영상의 압축 형식은 가역 형식 또는 비 가역 형식이어도 된다. 적절한 형식의 예로서, JPEG(Joint Photographic Experts Group)형식이나 JPEG 2000 형식 등으로 변환도 가능하다. 또한, DSP(80)에서는 기능적으로 불선명 처리, 색체 처리, 블러 처리, 엣지 강조 처리, 영상 해석 처리, 영상 인식 처리, 영상 이펙트 처리 등도 행할 수 있다. 영상 인식 처리로 장면 인식 처리를 행할 수 있다.
또한, DSP(80)에서는 LCD(60)에 디스플레이하기 위한 표시 영상 신호 처리를 행할 수 있다. 예를 들어, 휘도 레벨 조정, 색 보정, 콘트라스트 조정, 윤곽 강조 조정, 화면 분할 처리, 캐릭터 영상 등 생성 및 영상의 합성 처리 등을 행할 수 있다. 상기 DSP(80)는 외부 모니터(200)와 연결되어, 외부 모니터(200)에 디스플레이 되도록 소정의 영상 신호 처리를 행할 수 있으며, 이렇게 처리된 영상 데이터를 전송하여 상기 외부 모니터(200)에서 해당 영상이 디스플레이 되도록 제어할 수 있다.
DSP(80)는 영상으로부터 얼굴을 검출하여, 얼굴이 검출된 경우 라이브뷰 영상을 야경모드, 역광모드, 인물모드로 순으로 분류하고, 얼굴이 검출되지 않은 경우 라이브뷰 영상을 야경모드, 풍경모드, 매크로 모드 및 자동 노출 모드 순으로 분류할 수 있다. 이상의 장면모드의 예들은 실시예에 해당하는 것으로, 다양한 변형 및 추가가 가능함을 주의하여야 한다.
DSP(80)는 상술한 바와 같은 영상 신호 처리를 수행하며, 상기 처리 결과에 따라 각 구성부를 제어할 수 있다. 또한 UI(20)를 통해 입력된 사용자의 제어 신호에 따라 각 구성부를 제어할 수 있다. 상기 영상 신호 처리를 수행하기 위한 알고리즘은 플래시 메모리(40)에 저장되어 있으며, 연산 처리를 위해 실행 가능한 데이터로 변환하여 SDRAM(30)에 저장하여 이에 따라 DSP(80)에서 해당 연산을 수행할 수 있다.
도 2 는 본 발명의 바람직한 일 실시예로서, 동일한 영상촬영장치 또는 상이한 영상촬영장치에서 동일한 객체를 촬영한 제 1 영상 및 제 2 영상을 도시한다. 도 3 은 동일한 객체를 촬영한 제 1 영상 및 제 2 영상 간의 매칭점의 일 예를 도시한다.
본 발명의 바람직한 일 실시예로서, 도 2 는 제 1 카메라에서 동일한 객체(250, 260)를 t1 시간에 촬영한 제 1 영상(S220)과 t2 시간에 촬영한 제 2 영상(S240)일 수 있다.
본 발명의 또 다른 바람직한 일 실시예로서, 도 2 는 제 1 카메라를 이용하여 동영상을 촬영하는 경우 피사체(240, 250)는 움직임이 없으나, 시간에 따라 제 1 카메라가 움직인 경우, t1 시간의 제 1 영상(S220)과 t2 시간의 제 2 영상(S240)을 각각 나태낼 수 있다.
도 2 를 참고하면, 제 1 영상(S220)에서는 원형의 객체(250)와 사각형의 객체(260)가 겹쳐서 표시되고, 제 2 영상(S240)에서는 원형의 객체(250)와 사각형의 객체(260)가 겹쳐서 표시되고 있다. 도 3 을 더 참고하면, 제 1 영상(S220) 내의 사각형의 객체(260)와 제 2 영상(S240) 내의 사각형의 객체(260)가 동일한 객체를 나타냄을 알 수 있다.
본 발명의 바람직한 일 실시예에서는 제 1 영상(S220) 내의 사각형 객체의 임의의 픽셀 X(x,y)(300)과 제 2 영상(S240) 내의 대응점 X'(x',y')을 매칭하여, 제 1 영상(S220)과 제 2 영상(S240)의 관계를 파악할 수 있다. 임의의 픽셀 X는 정수로 표현되는 좌표 외에 부동 소수(floating point)의 유효숫자로 표현되는 좌표를 모두 포함한다.
수학식 1은 제 1 영상(S220)과 제 2 영상(S240)의 관계를 호모그래피(homography) 행렬 H를 이용하여 표시한 일 예이다. 호모그래피 행렬 H는 영상처리 기술을 통해 구할 수 있다.
그러나, 영상촬영장치에 OIS (optical image stabilizer)가 장착되어 있을 경우에는 동영상을 구성하는 제 1 영상(S220)과 제 2 영상(S240)간의 관계는 수학식 1로 정확히 분석하기 어려운 문제가 있다.
OIS는 동영상 촬영시 영상촬영장치의 흔들림을 보정하는 용도로 사용된다. 영상촬영장치가 흔들릴 경우, OIS는 이미지 센서를 움직여서 흔들림을 보상한다. 따라서, 영상촬영장치에서는 동영상을 촬영하는 동안 OIS에 의해서 이미지 센서는 지속적으로 수평이동을 하게 되고 촬영된 영상도 수평이동을 하게 되면서, 기존의 수학식 1에서는 수평이동을 포함한 두 영상 사이의 관계를 표현하는 것이 어렵다.
OIS에 의한 센서만의 수평이동은 카메라의 전체의 수평이동과는 다르다. 카메라가 수평이동을 할 경우에는 센서뿐만 아니라 카메라 렌즈도 같이 이동을 하게 된다. 따라서 이런 경우에는 수학식 1로 표현하는 것이 가능하다. 그 이유는 수학식 1은 카메라 프로젝션 모델(camera projection model)로부터 유도된 식이다. 카메라 프로젝션 모델에서는 카메라와 촬영된 영상사이를 수학적으로 기술하며, 카메라의 수평이동 회전등을 고려한다. 이 때, 수평이동은 카메라 전체의 수평이동이며, 렌즈와 센서는 같은 크기로 이동을 전제로 한다.
그러나, OIS에 의해서는 센서 또는 렌즈만 수평이동을 하게 되므로, 카메라 렌즈와 이미지 센서와의 관계가 변하게 된다. 수학식 1은 카메라 렌즈와 이미지 센서 사이의 수평이동을 표현할 수 없는 한계가 있다.
본 발명의 바람직한 일 실시예에서는, 이러한 한계점을 극복하고 OIS가 구현된 영상촬영장치의 제 1 영상(S220)과 제 2 영상(S240)간의 관계를 수학식 2를 이용하여 표현한다.
Figure pat00003
수학식 2에서 X는 제 1 픽셀, X'은 제 2 픽셀, 그리고 H는 호모그래피행렬을 나타낸다. 수학식 2에서 (x,y)는 제 1 픽셀의 좌표, dx,dy는 제 1 픽셀이 이미지 센서로 인해 움직인 정도를 나타내며, (x',y')는 제 2 픽셀의 좌표, d'x,d'y는 제 2 픽셀이 이미지 센서로 인해 움직인 정도를 나타낸다.
제 1 픽셀은 제 1 영상 내의 임의의 픽셀이며, 제 2 픽셀은 제 2 영상 내의 임의의 픽셀로, 제 1 영상 내의 임의의 픽셀에 매칭이 되는 픽셀이다. 즉, 제 2 픽셀은 제 1 픽셀의 대응점(correspondence)에 해당한다.
도 3 의 일 예를 참고하면, 제 1 픽셀은 (x,y)(300)이며, 제 2 픽셀은 (x',y')(310)이다. 수학식 2의 호모그래피행렬의 각 변수는 다양한 방식으로 구할 수 있다.
본 발명의 바람직한 일 실시예에서는 수학식 2의 호모그래피행렬을 보다 간략화할 수 있다. 호모그래피행렬 H는 DoF(degree of freedom, 이하 DoF)가 8이다. 기존에 연구된 카메라 프로젝션 모델에 따라 위의 호모그래피 행렬은 아래와 같이 각각 2개의 스케일, 2개의 회전, 2개의 평행이동, 그리고 2개의 무한위치에 라인으로 물리적으로 이해될 수 있다.
필요에 따라 스케일 항을 무시하거나 평행이동 항을 무시하는 방법을 통하여 DoF를 8이하로 줄이는 것이 가능하다. 예를들어, 평행이동을 0으로 하려면 t=0으로 설정하여, DoF를 8에서 6개로 바꾸는 것이 가능하다.
본 발명의 또 다른 바람직한 일 실시예로서, 호모그래피행렬의 각 변수를 구하기 위해 제 1 픽셀 (x,y)과 제 2 픽셀(x',y')을 수학식 3 내지 7로 표시할 수 있다. 수학식 3 내지 7을 이용하면, 주어진 (x,y)와 (x’,y’) 좌표의 대응점을 이용하여 R의 3축 회전 각도와 f값, 그리고 (dx, dy), (d’x, d’y)의 값을 계산할 수 있다. 카메라를 알고 있을 경우에는 f를 계산하지 않고, 카메라 파라미터를 사용하는 것이 가능하며, 이 경우 수학식 3 내지 7을 통해 R 행렬의 카메라 3축회전 값과 OIS의 수평이동 크기만 계산하면 된다.
Figure pat00004
Figure pat00005
Figure pat00006
Figure pat00007
수학식3에서 R 행렬은 카메라의 3축 회전 매트릭스, X3D와 X'3D는 각각 X와 X’의 3차원 공간상의 좌표를 나타낸다. R 행렬은 X, Y, Z축으로 회전하는 행렬 RX, RY, RZ로 정의할 수 있다. 참고로 카메라 회전은 수학적으로 물체의 회전과 동일하기 때문에 카메라가 고정되고 3차원 공간상에서 물체가 회전했다고 해도 동일한 식으로 유도가 가능하다.
X3D와 X'3D를 각각 (x3D, y3D, z3D), (x'3D, y'3D, z'3D)라고 할 때, X3D와 X'3D간에는 수학식 4 내지 7의 관계가 성립한다.
Figure pat00008
Figure pat00009
Figure pat00010
Figure pat00011
여기서 (x,y)는 제1영상위의 픽셀이며 (x',y')는 제2영상위의 대응픽셀이다. 위의 수학식3과 수학식 4~7을 이용하면, (x,y)와 (x',y')사이의 관계를 f와 3차원 회전각도 성분, (dx, dy), (d'x, d'y)로 표현이 가능하다. 수학적인 관점에서는 DoF가 8인 수학식2의 호모그래피행렬을 DoF 4인 경우로 문제를 간소화 할 수 있다. DoF 4는 3개의 회전각도와 1개의 f값을 의미한다.
본 발명의 또 다른 바람직한 일 실시예로서, 호모그래피행렬의 각 변수를 구하기 위해 제 1 영상과 제 2 영상 사이의 대응점 예측기술을 이용할 수 있다.
구체적으로, 제 1 픽셀 (x,y)(300)과 제 2 픽셀 (x',y')(310)을 구하여 수학식 2에 대입하면, a,b,c,d,e,f,g,h, dx, dy, d'x, d'y에 관한 방정식을 얻게 된다. 본 발명의 바람직한 일 실시예에서는 제 1 영상에서 다수의 픽셀을 선택하고, 제 2 영상에서 제 1 영상의 다수의 픽셀에 대응하는 대응점을 구하여, 호모그래피 행렬의 변수를 구할 수 있다. 즉, 제 1 영상 내의 적어도 하나의 특징점 X 와 제 2 영상 내의 적어도 하나의 특징점 X'간의 좌표를 이용하여 호모그래피행렬의 변수를 구할 수 있다.
본 발명의 또 다른 바람직한 일 실시예로서, 호모그래피행렬의 각 변수를 구하는 방법으로는 근사화 방법이 있다. 제 1 영상과 제 2 영상 간의 특징점의 대응관계를 검출하기 어려운 경우에는 least-mean square방식을 통해서 구할 수 있다.
도 4 는 본 발명의 바람직한 일 실시예로서, 동일한 영상촬영장치 또는 상이한 영상촬영장치에서 동일한 객체를 촬영한 제 1 영상 및 제 2 영상 간의 관계를 설정하는 흐름도를 도시한다.
영상비교장치에서는 두 개의 상이한 영상촬영장치에서 동일한 객체를 촬영한 경우 두 영상 간의 이동 상태 내지 하나의 영상촬영장치에서 동일한 객체를 촬영한 경우 두 영상 간의 이동 상태를 표시할 수 있다.
동일한 객체를 서로 다른 위치에서 촬영한 동영상에서 제 1 영상과 제 2 영상을 추출한다(S410). 이 경우, 제 1 영상과 제 2 영상은 각각 동일한 객체를 모두 영상 내에 포함하고 있는 것을 특징으로 한다.
제 1 영상 내에서 임의의 제 1 픽셀을 선정하고, 제 1 픽셀에 대응하는 제 2 픽셀을 제 2 영상 내에서 검출한다(S420). 임의의 제 1 픽셀은 제 1 영상 내의 객체 등에서 검출된 특징점일 수 있으며, 복수개를 선정할 수 있다. 제 1 픽셀이 복수개 선정되는 경우, 각각에 대응하는 복수의 제 2 픽셀을 검출한다. 제 1 픽셀과 제 2 픽셀을 모두 검출하면, 제 1 픽셀과 제 2 픽셀간의 이동정도를 검출한다(S430). 제 2 픽셀은제 1 영상 및 제 2 영상의 특징점 추출에 기초하여, 제 1 픽셀에 대응하는 대응점으로 검출된다. 디스플레이에 제 1 픽셀과 제 2 픽셀간의 이동정도를 표시한다(S440). 이동 정도는 제 1 픽셀의 좌표값과 제 2 픽셀의 좌표값을 이용하여 표시할 수 있다.
도 5 는 본 발명의 바람직한 일 실시예로서, 영상비교장치의 내부구성도를 도시한다.
영상비교장치(500)은 촬영부(510), 저장부(520), 추출부(530) 및 모델링부(540)을 포함한다.
촬영부(510)는 차량에 설치된 영상촬영장치의 형태로 구현되며, 동영상 촬영을 수행한다. 영상촬영장치의 예로는 카메라, 캠코더, CCTV, 네트워크 카메라, 노트북, PC, 핸드폰, 스마트폰, 테블릿, 핸드헬드 장치, 웨어러블 장치, 이동형 로봇, 고정형 로봇 등 영상촬영이 가능한 단말기를 포함한다.
저장부(520)는 촬영부(510)에서 상기 촬영한 동영상을 저장한다.
추출부(530)는 저장부(520)에 저장된 동영상에서 동일한 객체를 t1 시점에 촬영한 제 1 영상과 t2 시점에 촬영한 제 2 영상을 추출한다. 추출부(530)는 제 1 영상 내에서 상기 동일한 객체의 특징점을 추출한다. 추출부(530)는 추출된 특징점들 중 임의의 픽셀 (x,y)을 적어도 하나 이상 추출할 수 있다. 추출부(530)는 추출된 적어도 하나의 임의의 픽셀(x,y)에 각각 대응하는 대응점인 적어도 하나의 대응픽셀(x',y')을 추출할 수 있다.
모델링부(540)는 추출부(530)에서 추출된 적어도 하나의 임의의 픽셀(x,y)와 적어도 하나의 대응픽셀(x',y')의 좌표값을 이용하여 제 1 영상과 제 2 영상 간의 관계를 모델링한다. 이 경우, 모델링부(540)는 수학식 2 내지 7을 이용할 수 있다.
본 발명의 바람직한 일 실시예로서 영상비교장치는 또한 모델링부(540)에서 계산한 제 1 영상과 제 2 영상 간의 수학식을 디스플레이에 표시하거나 또는 적어도 하나의 임의의 픽셀(x,y)와 적어도 하나의 대응픽셀(x',y')의 좌표값을 이용하여 파악된 제 1 영상과 제 2 영상 간의 이동 정도를 시각적으로 디스플레이에 직접 표시할 수 있다.
이상에서와 같이 도면과 명세서에서 최적 실시예가 개시되었다. 여기서 특정한 용어들이 사용되었으나, 이는 단지 본 발명을 설명하기 위한 목적에서 사용된 것이지 의미 한정이나 특허청구범위에 기재된 본 발명의 범위를 제한하기 위하여 사용된 것은 아니다. 그러므로 본 기술분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다.

Claims (9)

  1. 차량에 설치된 영상촬영장치에서 동영상 촬영을 수행하는 촬영부;
    상기 촬영한 동영상을 저장하는 저장부;
    상기 저장된 동영상에서 동일한 객체를 t1 시점에 촬영한 제 1 영상과 t2 시점에 촬영한 제 2 영상을 추출하고, 상기 제 1 영상 내에서 상기 객체를 구성하는 임의의 픽셀 (x,y)을 적어도 하나 이상 선정하고 상기 제 2 영상 내에서 상기 적어도 하나 이상의 임의의 픽셀 (x,y) 각각에 대응하는 대응픽셀(x',y')을 적어도 하나 이상 추출하는 추출부;
    상기 적어도 하나의 임의의 픽셀(x,y), 상기 적어도 하나의 대응픽셀(x',y')을 이용하여 호모그래피(homography) 행렬을 계산하여 상기 제 1 영상과 상기 제 2 영상 간의 관계를 도출하는 모델링부;를 포함하는 것을 특징으로 하는 영상비교장치.
  2. 제 1 항에 있어서,
    상기 촬영부는 OIS(optical image stabilizer)를 이용하여 동영상 촬영시 흔들림 보정을 수행하는 것을 특징으로 하는 영상비교장치.
  3. 제 1 항에 있어서,
    상기 카메라의 렌즈는 위치가 고정되어 있고, 상기 카메라에 설치된 이미지 센서만 이동할 때, 상기 모델링부는 상기 제 1 영상과 상기 제 2 영상 간의 관계 도출을 통해 상기 이미지 센서의 이동량을 검출하는 것을 특징으로 하는 영상비교장치.
  4. 제 1 항에 있어서, 상기 t2 시점에 촬영된 제 2 영상은
    상기 차량에 설치된 영상촬영장치의 렌즈는 고정되어 있으나, 영상촬영장치에 설치된 이미지 센서가 이동된 경우 촬영된 영상인 것을 특징으로 하는 영상비교장치.
  5. 제 1 항에 있어서, 상기 t2 시점에 촬영된 제 2 영상은
    상기 차량에 설치된 영상촬영장치의 이미지 센서는 고정되어 있고, 상기 영상촬영장치의 렌즈가 이동하여 상기 동일한 객체를 촬영한 영상인 것을 특징으로 하는 영상비교장치.
  6. 동영상 촬영을 수행하는 촬영부;
    상기 촬영한 동영상을 저장하는 저장부;
    상기 저장된 동영상에서 동일한 객체를 촬영한 t1 시점에서 촬영된 제 1 영상과 t2 시점에서 촬영된 제 2 영상을 추출하고, 상기 제 1 영상 내에서 상기 객체를 구성하는 임의의 픽셀 (x,y)을 선정하고 상기 제 2 영상 내에서 상기 임의의 픽셀 (x,y)에 대응하는 대응픽셀 (x',y')을 추출하는 추출부;
    상기 픽셀 (x,y), 상기 대응픽셀 (x',y'), 카메라의 3축 회전 매트릭스 및 카메라의 초점거리 f를 이용하여, 상기 제 1 영상과 상기 제 2 영상 간의 관계를 도출하는 모델링부;를 포함하는 것을 특징으로 하는 영상비교장치.
  7. 제 4 항에 있어서, 상기 모델링부는
    아래의 수식을 이용하고,
    X'3D = RX3D ,
    R행렬은 카메라의 3축 회전 매트릭스 행렬이고,
    X3D은 상기 임의의 픽셀 (x,y)의 3차원 공간상의 좌표, 그리고 X'3D은 상기 대응픽셀 (x',y')의 3차원 공간상의 좌표를 각각 나타내는 것을 특징으로 하는 영상비교장치.
  8. 제 7 항에 있어서, 상기 임의의 픽셀(x,y)은 상기 제 1 영상 내에서 상기 객체의 특징점 중에서 선정되고, 상기 추출부는 상기 임의의 픽셀(x,y)를 복수 개 선정하고, 복수 개의 임의의 픽셀(x,y) 각각에 대응하는 복수 개의 대응픽셀(x',y')을 추출하며, 상기 모델링부는 복수 개의 임의의 픽셀(x,y)와 복수 개의 대응픽셀(x',y')을 이용하여 상기 R 행렬의 3축 회전 각도, 카메라의 초점거리 f 또는 이미지 센서의 수평이동 크기 중 적어도 하나 이상을 구하는 것을 특징으로 하는 영상비교장치.
  9. 제 6 항에 있어서, 상기 촬영부는
    자동차에 장착된 영상촬영장치인 것을 특징으로 하는 영상비교장치.
KR1020170114707A 2016-09-09 2017-09-07 영상비교장치 KR101905813B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020160116585 2016-09-09
KR20160116585 2016-09-09

Publications (2)

Publication Number Publication Date
KR20180028961A true KR20180028961A (ko) 2018-03-19
KR101905813B1 KR101905813B1 (ko) 2018-10-08

Family

ID=61910940

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020170114708A KR20180028962A (ko) 2016-09-09 2017-09-07 영상이동검출장치 및 방법
KR1020170114707A KR101905813B1 (ko) 2016-09-09 2017-09-07 영상비교장치

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020170114708A KR20180028962A (ko) 2016-09-09 2017-09-07 영상이동검출장치 및 방법

Country Status (1)

Country Link
KR (2) KR20180028962A (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190134217A (ko) * 2018-05-25 2019-12-04 삼성전자주식회사 복수 개의 영상을 처리하는 방법 및 전자 장치

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120105764A (ko) * 2011-03-16 2012-09-26 한국전자통신연구원 특징기반의 스테레오 매칭 방법 및 장치
KR20130068243A (ko) * 2011-12-15 2013-06-26 한국전자통신연구원 영상 정합 장치 및 방법
KR101341871B1 (ko) * 2012-09-12 2014-01-07 포항공과대학교 산학협력단 비디오 디블러링 방법 및 그 장치
KR20150061399A (ko) * 2013-11-27 2015-06-04 삼성전기주식회사 광학식 손떨림 보정 장치의 액추에이터 제어 장치, 방법 및 이를 이용한 광학식 손떨림 보정 장치

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8310538B2 (en) * 2010-03-19 2012-11-13 Fujifilm Corporation Imaging apparatus, method, program, and recording medium used in the program

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120105764A (ko) * 2011-03-16 2012-09-26 한국전자통신연구원 특징기반의 스테레오 매칭 방법 및 장치
KR20130068243A (ko) * 2011-12-15 2013-06-26 한국전자통신연구원 영상 정합 장치 및 방법
KR101341871B1 (ko) * 2012-09-12 2014-01-07 포항공과대학교 산학협력단 비디오 디블러링 방법 및 그 장치
KR20150061399A (ko) * 2013-11-27 2015-06-04 삼성전기주식회사 광학식 손떨림 보정 장치의 액추에이터 제어 장치, 방법 및 이를 이용한 광학식 손떨림 보정 장치

Also Published As

Publication number Publication date
KR101905813B1 (ko) 2018-10-08
KR20180028962A (ko) 2018-03-19

Similar Documents

Publication Publication Date Title
US9578260B2 (en) Digital photographing apparatus and method of controlling the digital photographing apparatus
JP6106921B2 (ja) 撮像装置、撮像方法および撮像プログラム
EP2525565B1 (en) Digital photographing apparatus and method of controlling the same to increase continuous shooting speed for capturing panoramic photographs
US10359498B2 (en) Image pickup apparatus having function of generating simulation image,control method therefor, and storage medium
US8988545B2 (en) Digital photographing apparatus and method of controlling the same
KR102400283B1 (ko) 화상 처리 장치, 화상 처리 방법 및 프로그램
JP5578442B2 (ja) 撮像装置、画像合成方法、及びプログラム
US9111129B2 (en) Subject detecting method and apparatus, and digital photographing apparatus
WO2016008359A1 (zh) 物体运动轨迹图像的合成方法、装置及计算机存储介质
KR20110089665A (ko) 디지털 영상 처리 장치, 영상 처리 방법 및 이를 기록한 기록 매체
JPWO2017037978A1 (ja) 検出装置、検出方法、検出プログラムおよび撮像装置
JP2007251429A (ja) 動画撮影装置及びズーム調整方法
JP6391304B2 (ja) 撮像装置、制御方法およびプログラム
US8654204B2 (en) Digtal photographing apparatus and method of controlling the same
TWI477887B (zh) 影像處理裝置、影像處理方法及記錄媒體
JP2008301162A (ja) 撮影装置、及び撮影方法
KR101595265B1 (ko) 촬상장치 및 이를 이용한 스미어 제거 방법
KR102146856B1 (ko) 렌즈 특성 기반의 촬영 모드 제시 방법, 상기 방법을 기록한 컴퓨터 판독 가능 저장매체 및 디지털 촬영 장치.
KR101905813B1 (ko) 영상비교장치
JP2011066827A (ja) 画像処理装置、画像処理方法及びプログラム
US9866796B2 (en) Imaging apparatus, imaging method, and computer-readable recording medium
JP2009253925A (ja) 撮像装置及び撮像方法と、撮影制御プログラム
KR101533279B1 (ko) 영상의 흔들림을 판단하는 디지털 영상 신호 처리 장치의 제어 방법, 이를 기록한 기록 매체, 및 상기 제어 방법에 의해 실행하는 디지털 영상 신호 처리 장치
JP6828069B2 (ja) 撮像装置、撮像方法およびプログラム
JP5696525B2 (ja) 撮像装置、撮像方法及びプログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant