KR20200023927A - 영상 처리 장치 및 영상 처리 방법 - Google Patents

영상 처리 장치 및 영상 처리 방법 Download PDF

Info

Publication number
KR20200023927A
KR20200023927A KR1020180100443A KR20180100443A KR20200023927A KR 20200023927 A KR20200023927 A KR 20200023927A KR 1020180100443 A KR1020180100443 A KR 1020180100443A KR 20180100443 A KR20180100443 A KR 20180100443A KR 20200023927 A KR20200023927 A KR 20200023927A
Authority
KR
South Korea
Prior art keywords
image
tof
rgb
feature point
camera
Prior art date
Application number
KR1020180100443A
Other languages
English (en)
Other versions
KR102596053B1 (ko
Inventor
이승원
김동균
박정아
Original Assignee
엘지이노텍 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지이노텍 주식회사 filed Critical 엘지이노텍 주식회사
Priority to KR1020180100443A priority Critical patent/KR102596053B1/ko
Priority to PCT/KR2019/010865 priority patent/WO2020045932A1/ko
Priority to US17/268,898 priority patent/US11610339B2/en
Priority to CN201980056701.8A priority patent/CN112655022B/zh
Publication of KR20200023927A publication Critical patent/KR20200023927A/ko
Application granted granted Critical
Publication of KR102596053B1 publication Critical patent/KR102596053B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/143—Sensing or illuminating at different wavelengths
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/147—Details of sensors, e.g. sensor lenses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/13—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with multiple sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H04N9/04—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Data Mining & Analysis (AREA)
  • Vascular Medicine (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Studio Devices (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)

Abstract

본 발명의 실시예에 따른 영상 처리 장치 장치의 영상 처리 방법은 RGB 카메라로부터 RGB 영상을 획득하는 단계, ToF 카메라로부터 ToF 영상 획득하는 단계, 상기 RGB 영상으로부터 제1 RGB 특징점을 추출하는 단계, 상기 ToF 영상으로부터 제1 ToF 특징점을 추출하는 단계, 상기 제1 RGB 특징점과 상기 제1 ToF 특징점을 매칭하여 상기 제1 RGB 특징점과 상기 제1 ToF의 특징점 간의 상관관계가 소정 값 이상인 제2 RGB 특징점과 제2 ToF 특징점을 추출하는 단계, 상기 제2 RGB 특징점과 상기 제2 ToF 특징점 간 오차 값을 계산하는 단계, 상기 오차 값이 임계 값보다 크면, 미리 저장된 캘리브레이션 데이터를 업데이트하고, 업데이트된 캘리브레이션 데이터를 이용하여 상기 RGB 영상 및 상기 ToF 영상을 캘리브레이션하는 단계, 그리고 캘리브레이션된 상기 RGB 영상 및 상기 ToF 영상을 합성하는 단계를 포함한다.

Description

영상 처리 장치 및 영상 처리 방법{IMAGE PROCESSING APPARATUS AND IMAGE PROCESSING METHOD}
본 발명은 RGB 카메라와 ToF 카메라를 이용하는 영상 처리 장치 및 영상 처리 방법에 관한 것이다.
3 차원 콘텐츠는 게임, 문화뿐만 아니라 교육, 제조, 자율주행 등 많은 분야에서 적용되고 있으며, 3차원 콘텐츠를 획득하기 위하여 깊이 정보(Depth Map)가 필요하다. 깊이 정보는 공간 상의 거리를 나타내는 정보이며, 2차원 영상의 한 지점에 대하여 다른 지점의 원근 정보를 나타낸다.
깊이 정보를 획득하는 방법 중 하나는, IR(Infrared) 구조광을 객체에 투사하며, 객체로부터 반사된 광을 해석하여 깊이 정보를 추출하는 방식이다. IR 구조광 방식에 따르면, 움직이는 객체에 대하여 원하는 수준의 깊이 분해능(Depth resolution)을 얻기 어려운 문제가 있다.
한편, IR 구조광 방식을 대체하는 기술로 TOF(Time of Flight) 방식이 주목 받고 있다.
TOF 방식에 따르면, 비행 시간, 즉 빛을 쏘아서 반사되어 오는 시간을 측정함으로써 물체와의 거리를 계산한다. ToF 방식의 가장 큰 장점은 3차원 공간에 대한 거리정보를 실시간으로 빠르게 제공한다는 점에 있다. 또한 사용자가 별도의 알고리즘 적용이나 하드웨어적 보정 없이도 정확한 거리 정보를 얻을 수 있다. 또한 매우 가까운 피사체를 측정하거나 움직이는 피사체를 측정하여도 정확한 깊이 정보를 획득할 수 있다.
이에 따라, 하나의 장치, 예를 들어 모바일 장치 내에 RGB 카메라와 ToF 카메라를 함께 탑재하고, RGB 카메라로부터 획득된 RGB 영상과 ToF 카메라로부터 획득된 깊이 영상을 정합하여 3차원 컬러 영상을 생성하는 기술이 시도되고 있다.
다만, RGB 영상과 깊이 영상 간의 정합을 위하여 RGB 카메라와 ToF 카메라 간의 위치 관계가 정교하게 매핑될 필요가 있다. 사용자의 사용 중 충격 등으로 인하여 RGB 카메라와 ToF 카메라 간 틀어짐이 발생하는 경우, 수 픽셀의 오차라고 하더라도 왜곡이 심한 영상이 얻어질 수 있다. 이에 따라, 효율적인 캘리브레이션 방법이 필요하다.
본 발명이 이루고자 하는 기술적 과제는 RGB 카메라와 ToF 카메라 간의 캘리브레이션이 가능한 영상 처리 방법 및 영상 처리 장치를 제공하는데 있다.
본 발명의 실시예에 따른 영상 처리 장치 장치의 영상 처리 방법은 RGB 카메라로부터 RGB 영상을 획득하는 단계, ToF 카메라로부터 ToF 영상 획득하는 단계, 상기 RGB 영상으로부터 제1 RGB 특징점을 추출하는 단계, 상기 ToF 영상으로부터 제1 ToF 특징점을 추출하는 단계, 상기 제1 RGB 특징점과 상기 제1 ToF 특징점을 매칭하여 상기 제1 RGB 특징점과 상기 제1 ToF의 특징점 간의 상관관계가 소정 값 이상인 제2 RGB 특징점과 제2 ToF 특징점을 추출하는 단계, 상기 제2 RGB 특징점과 상기 제2 ToF 특징점 간 오차 값을 계산하는 단계, 상기 오차 값이 임계 값보다 크면, 미리 저장된 캘리브레이션 데이터를 업데이트하고, 업데이트된 캘리브레이션 데이터를 이용하여 상기 RGB 영상 및 상기 ToF 영상을 캘리브레이션하는 단계, 그리고 캘리브레이션된 상기 RGB 영상 및 상기 ToF 영상을 합성하는 단계를 포함한다.
상기 ToF 영상은 IR 영상 및 깊이 영상 중 적어도 하나를 포함할 수 있다.
상기 IR 영상 및 깊이 영상 중 적어도 하나는 4개의 위상에 대한 IR 이미지로부터 생성될 수 있다.
상기 제1 RGB 특징점은 상기 RGB 영상 내 객체의 에지 정보, 형상 정보, 사이즈 정보 및 중심점 정보 중 적어도 하나를 이용하여 추출되고, 상기 제1 ToF 특징점은 상기 ToF 영상 내 객체의 에지 정보, 형상 정보, 사이즈 정보 및 중심점 정보 중 적어도 하나를 이용하여 추출될 수 있다.
상기 캘리브레이션 데이터는 X 값, Y 값, Z 값, Pitch 값, Roll 값 및 Yaw 값을 포함할 수 있다.
센서로부터 낙하 충격 감지 신호를 수신하는 단계를 더 포함하며, 상기 낙하 충격 감지 신호가 수신되면, 상기 오차 값을 계산하는 단계가 수행될 수 있다.
센서로부터 낙하 충격 감지 신호를 수신하는 단계를 더 포함하며, 상기 낙하 충격 감지 신호가 수신되면, 상기 RGB 영상으로부터 제1 RGB 특징점을 추출하는 단계 및 상기 ToF 영상으로부터 제1 ToF 특징점을 추출하는 단계가 수행될 수 있다.
사용자 유저 인터페이스로부터 캘리브레이션 요청 신호를 수신하는 단계를 더 포함하며, 상기 캘리브레이션 요청 신호가 수신되면, 상기 RGB 영상으로부터 제1 RGB 특징점을 추출하는 단계 및 상기 ToF 영상으로부터 제1 ToF 특징점을 추출하는 단계가 수행될 수 있다.
상기 RGB 카메라로부터 상기 RGB 카메라의 오토포커싱 정보를 획득하는 단계를 더 포함하며, 상기 오토포커싱 정보를 더 이용하여 상기 제2 RGB 특징점과 상기 제2 ToF 특징점을 추출할 수 있다.
본 발명의 한 실시예에 따른 영상 처리 장치는 RGB 카메라로부터 RGB 영상을 획득하고, ToF 카메라로부터 ToF 영상 획득하는 영상 획득부, 상기 RGB 영상으로부터 제1 RGB 특징점을 추출하고, 상기 ToF 영상으로부터 제1 ToF 특징점을 추출하는 제1 특징점 추출부, 상기 제1 RGB 특징점과 상기 제1 ToF 특징점을 매칭하여 상기 제1 RGB 특징점과 상기 제1 ToF의 특징점 간의 상관관계가 소정 값 이상인 제2 RGB 특징점과 제2 ToF 특징점을 추출하는 제2 특징점 추출부, 상기 제2 RGB 특징점과 상기 제2 ToF 특징점 간 오차 값을 계산하고, 상기 오차 값이 임계 값보다 크면, 미리 저장된 캘리브레이션 데이터를 업데이트하고, 업데이트된 캘리브레이션 데이터를 이용하여 상기 RGB 영상 및 상기 ToF 영상을 캘리브레이션하는 캘리브레이션부, 그리고 캘리브레이션된 상기 RGB 영상 및 상기 ToF 영상을 합성하는 영상 합성부를 포함한다.
상기 ToF 영상은 IR 영상 및 깊이 영상 중 적어도 하나를 포함할 수 있다.
상기 IR 영상 및 깊이 영상 중 적어도 하나는 4개의 위상에 대한 IR 이미지로부터 생성될 수 있다.
상기 제1 RGB 특징점은 상기 RGB 영상 내 객체의 에지 정보, 형상 정보, 사이즈 정보 및 중심점 정보 중 적어도 하나를 이용하여 추출되고, 상기 제1 ToF 특징점은 상기 ToF 영상 내 객체의 에지 정보, 형상 정보, 사이즈 정보 및 중심점 정보 중 적어도 하나를 이용하여 추출될 수 있다.
상기 캘리브레이션 데이터는 X 값, Y 값, Z 값, Pitch 값, Roll 값 및 Yaw 값을 포함할 수 있다.
센서로부터 낙하 충격 감지 신호를 수신하는 신호 수신부를 더 포함하며, 상기 낙하 충격 감지 신호가 수신되면, 상기 캘리브레이션부는 상기 오차 값을 계산할 수 있다.
센서로부터 낙하 충격 감지 신호를 수신하는 신호 수신부를 더 포함하며, 상기 낙하 충격 감지 신호가 수신되면, 상기 제1 특징점 추출부는 상기 RGB 영상으로부터 제1 RGB 특징점을 추출하고, 상기 ToF 영상으로부터 제1 ToF 특징점을 추출할 수 있다.
사용자 유저 인터페이스로부터 캘리브레이션 요청 신호를 수신하는 신호 수신부를 더 포함하며, 상기 캘리브레이션 요청 신호가 수신되면, 상기 제1 특징점 추출부는 상기 RGB 영상으로부터 제1 RGB 특징점을 추출하고, 상기 ToF 영상으로부터 제1 ToF 특징점을 추출할 수 있다.
상기 RGB 카메라로부터 상기 RGB 카메라의 오토포커싱 정보를 획득하는 오토포커싱 정보 획득부를 더 포함하며, 상기 제2 특징점 추출부는 상기 오토포커싱 정보를 더 이용하여 상기 제2 RGB 특징점과 상기 제2 ToF 특징점을 추출할 수 있다.
본 발명의 한 실시예에 따른 영상 처리 장치 및 방법을 이용하면, 사용자가 직접 서비스 센터를 방문할 필요 없이 RGB 카메라와 ToF 카메라 간 캘리브레이션이 실시간으로 행해질 수 있다. 특히, 본 발명의 한 실시예에 따른 영상 처리 장치 및 방법을 이용하면, 간단한 연산으로 효율적인 캘리브레이션이 진행될 수 있다.
도 1은 본 발명의 한 실시예에 따른 영상 처리 시스템의 블록도이다.
도 2는 본 발명의 한 실시예에 따른 ToF 카메라 모듈의 블록도이다.
도 3은 본 발명의 한 실시예에 따른 ToF 카메라 모듈의 출력광 신호의 주파수를 설명하기 위한 도면이다.
도 4는 본 발명의 한 실시예에 따른 전기 신호 생성 과정을 설명하기 위한 도면이다.
도 5는 본 발명의 한 실시예에 따른 ToF 카메라 모듈의 이미지 센서를 설명하기 위한 도면이다.
도 6은 본 발명의 한 실시예에 따른 ToF 카메라 모듈로부터 얻을 수 있는 4개의 위상 영상이다.
도 7은 도 6의 위상 영상으로부터 얻어질 수 있는 ToF IR 영상이다.
도 8은 도 6의 위상 영상으로부터 얻어질 수 있는 깊이 영상이다.
도 9는 본 발명의 한 실시예에 따른 영상 처리 시스템에 포함되는 영상 처리 장치의 블록도이다.
도 10 내지 12는 ToF 카메라와 RGB 카메라 간 캘리브레이션 방법을 설명하기 위한 도면이다.
도 13은 본 발명의 한 실시예에 따른 영상 처리 시스템의 영상 처리 방법을 나타내는 흐름도이다.
도 14는 본 발명의 한 실시예에서 제1 RGB 특정점 및 제1 ToF 특징점으로부터 제2 RGB 특징점 및 제2 ToF 특징점을 추출하는 방법을 설명하기 위한 도면이다.
도 15는 본 발명의 한 실시예에서 거리 정보를 이용하여 제2 RGB 특징점 및 제2 ToF 특징점을 추출하는 방법을 설명하기 위한 도면이다.
도 16은 본 발명의 다른 실시예에 따른 영상 처리 시스템의 영상 처리 방법을 나타내는 흐름도이다.
도 17은 본 발명의 또 다른 실시예에 따른 영상 처리 시스템의 영상 처리 방법을 나타내는 흐름도이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제2, 제1 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제2 구성요소는 제1 구성요소로 명명될 수 있고, 유사하게 제1 구성요소도 제2 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 첨부된 도면을 참조하여 실시예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 대응하는 구성 요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.
도 1은 본 발명의 한 실시예에 따른 영상 처리 시스템의 블록도이고, 도 2는 본 발명의 한 실시예에 따른 ToF 카메라 모듈의 블록도이고, 도 3은 본 발명의 한 실시예에 따른 ToF 카메라 모듈의 출력광 신호의 주파수를 설명하기 위한 도면이며, 도 4는 본 발명의 한 실시예에 따른 전기 신호 생성 과정을 설명하기 위한 도면이고, 도 5는 본 발명의 한 실시예에 따른 ToF 카메라 모듈의 이미지 센서를 설명하기 위한 도면이다. 도 6은 본 발명의 한 실시예에 따른 ToF 카메라 모듈로부터 얻을 수 있는 4개의 위상 영상이고, 도 7은 도 6의 위상 영상으로부터 얻어질 수 있는 ToF IR 영상이며, 도 8은 도 6의 위상 영상으로부터 얻어질 수 있는 깊이 영상이다.
도 1을 참조하면, 본 발명의 한 실시예에 따른 영상 처리 시스템(10)은 ToF 카메라(100), RGB 카메라(200) 및 영상 처리 장치(300)를 포함한다.
ToF 카메라(100)는 깊이 정보를 획득할 수 있은 장치 중 하나로, ToF 방식에 따르면, 비행 시간, 즉 빛을 쏘아서 반사되어 오는 시간을 측정함으로써 물체와의 거리를 계산한다.
RGB 카메라(200)는 RBG 영상을 촬영할 수 있는 일반적인 카메라일 수 있다.
ToF 카메라(100)와 RGB 카메라(200)는 동일한 영역을 촬영할 수 있도록 하나의 장치, 예를 들어 하나의 모바일 장치 내에 배치될 수 있다.
그리고, 영상 처리 장치(300)는 ToF 카메라(100) 및 RGB 카메라(200)와 연결되며, ToF 카메라(100)로부터 획득한 ToF 이미지와 RGB 카메라(200)로부터 획득한 RGB 영상을 합성(fusion)하여 3차원 영상을 획득할 수 있다.
여기서, 영상 처리 장치(300)는 영상 처리 시스템(10) 내에서 ToF 카메라(100) 및 RGB 카메라(200)와 인접하여 배치되는 것으로 도시되어 있으나, 이로 제한되는 것은 아니며, ToF 카메라(100) 및 RGB 카메라(200)와 원격으로 배치될 수도 있다. 또는, 영상 처리 장치(300)의 일부 기능은 ToF 카메라(100) 및 RGB 카메라(200) 내에 포함될 수도 있다.
도 2를 참조하면, ToF 카메라 모듈(100)은 조명부(110), 렌즈부(120), 이미지 센서부(130) 및 영상 제어부(140)를 포함한다.
조명부(110)는 출력광 신호를 생성한 후 객체에 조사한다. 이때, 조명부(110)는 펄스파(pulse wave)의 형태나 지속파(continuous wave)의 형태로 출력광 신호를 생성하여 출력할 수 있다. 지속파는 사인파(sinusoid wave)나 사각파(squared wave)의 형태일 수 있다. 출력광 신호를 펄스파나 지속파 형태로 생성함으로써, ToF 카메라 모듈(100)은 조명부(110)로부터 출력된 출력광 신호와 객체로부터 반사된 후 ToF 카메라 모듈(100)로 입력된 입력광 신호 사이의 위상 차를 검출할 수 있다. 본 명세서에서, 출력광은 조명부(110)로부터 출력되어 객체에 입사되는 광을 의미하고, 입력광은 조명부(110)로부터 출력되어 객체에 도달하여 객체로부터 반사된 후 ToF 카메라 모듈(100)로 입력되는 광을 의미할 수 있다. 객체의 입장에서 출력광은 입사광이 될 수 있고, 입력광은 반사광이 될 수 있다.
조명부(110)는 생성된 출력광 신호를 소정의 노출주기(integration time) 동안 객체에 조사한다. 여기서, 노출주기란 1개의 프레임 주기를 의미한다. 복수의 프레임을 생성하는 경우, 설정된 노출주기가 반복된다. 예를 들어, ToF 카메라 모듈(100)이 20 FPS로 객체를 촬영하는 경우, 노출주기는 1/20[sec]가 된다. 그리고 100개의 프레임을 생성하는 경우, 노출주기는 100번 반복될 수 있다.
조명부(110)는 서로 다른 주파수를 가지는 복수의 출력광 신호를 생성할 수 있다. 조명부(110)는 서로 다른 주파수를 가지는 복수의 출력광 신호를 순차적으로 반복하여 생성할 수 있다. 또는, 조명부(110)는 서로 다른 주파수를 가지는 복수의 출력광 신호를 동시에 생성할 수도 있다.
도 3을 참조하면, 조명부(110)는 노출주기의 첫 절반은 주파수 f1인 출력광 신호가 생성되도록 제어하고, 나머지 절반의 노출주기는 주파수 f2인 출력광 신호가 생성되도록 제어할 수도 있다.
다른 실시예에 따르면, 조명부(110)는 복수의 발광 다이오드 중 일부 발광 다이오드는 주파수 f1인 출력광 신호가 생성되도록 제어하고, 나머지 발광 다이오드는 주파수 f2인 출력광 신호가 생성되도록 제어할 수도 있다.
이를 위하여, 조명부(110)는 빛을 생성하는 광원(112)과 빛을 변조하는 광변조부(114)를 포함할 수 있다.
우선, 광원(112)은 빛을 생성한다. 광원(112)이 생성하는 빛은 파장이 770 내지 3000nm인 적외선 일 수 있으며, 파장이 380 내지 770 nm인 가시광선 일 수도 있다. 광원(112)은 발광 다이오드(Light Emitting Diode, LED)를 이용할 수 있으며, 복수의 발광 다이오드가 일정한 패턴에 따라 배열된 형태를 가질 수 있다. 뿐만 아니라, 광원(112)은 유기 발광 다이오드(Organic light emitting diode, OLED)나 레이저 다이오드(Laser diode, LD)를 포함할 수도 있다. 또는, 광원(112)은 VCSEL(Vertical Cavity Surface Emitting Laser)일 수도 있다. VCSEL은 전기 신호를 광 신호로 바꾸어 주는 레이저 다이오드 중 하나이며, 약 800 내지 1000nm인 파장, 예를 들어 약 850nm 또는 약 940nm 파장을 사용할 수 있다.
광원(112)은 일정 시간 간격으로 점멸(on/off)을 반복하여 펄스파 형태나 지속파 형태의 출력광 신호를 생성한다. 일정 시간 간격은 출력광 신호의 주파수일 수 있다. 광원의 점멸은 광변조부(114)에 의해 제어될 수 있다.
광변조부(114)는 광원(112)의 점멸을 제어하여 광원(112)이 지속파나 펄스파 형태의 출력광 신호를 생성하도록 제어한다. 광변조부(114)는 주파수 변조(frequency modulation)나 펄스 변조(pulse modulation) 등을 통해 광원(112)이 지속파나 펄스파 형태의 출력광 신호를 생성하도록 제어할 수 있다.
한편, 렌즈부(120)는 객체로부터 반사된 입력광 신호를 집광하여 이미지 센서부(130)에 전달한다.
다시 도 2를 참조하면, 이미지 센서부(130)는 렌즈부(120)를 통해 집광된 입력광 신호를 이용하여 전기 신호를 생성한다.
이미지 센서부(130)는 조명부(110)의 점멸 주기와 동기화되어 입력광 신호를 흡수할 수 있다. 구체적으로 이미지 센서부(130)는 조명부(110)로부터 출력된 출력광 신호와 동상(in phase) 및 이상(out phase)에서 각각 빛을 흡수할 수 있다. 즉, 이미지 센서부(130)는 광원이 켜져 있는 시간에 입사광 신호를 흡수하는 단계와 광원이 꺼져 있는 시간에 입사광 신호를 흡수하는 단계를 반복 수행할 수 있다.
다음으로, 이미지 센서부(130)는 서로 다른 위상차를 가지는 복수의 참조 신호(reference signal)를 이용하여 각 참조 신호에 대응하는 전기 신호를 생성할 수 있다. 참조 신호의 주파수는 조명부(110)로부터 출력된 출력광 신호의 주파수와 동일하게 설정될 수 있다. 따라서, 조명부(110)가 복수의 주파수로 출력광 신호를 생성하는 경우, 이미지 센서부(130)는 각 주파수에 대응하는 복수의 참조 신호를 이용하여 전기 신호를 생성한다. 전기 신호는 각 참조 신호에 대응하는 전하량이나 전압에 관한 정보를 포함할 수 있다.
도 4에 나타난 바와 같이, 본 발명의 실시예에 따른 참조 신호는 4개(C1 내지 C4)일 수 있다. 각 참조 신호(C1 내지 C4)는 출력광 신호와 동일한 주파수를 가지되, 서로 90도 위상차를 가질 수 있다. 4개의 참조 신호 중 하나(C1)는 출력광 신호와 동일한 위상을 가질 수 있다. 입력광 신호는 출력광 신호가 객체에 입사된 후 반사되어 돌아오는 거리만큼 위상이 지연된다. 이미지 센서부(130)는 입력광 신호와 각 참조 신호를 각각 믹싱(mixing)한다. 그러면, 이미지 센서부(130)는 도 4의 음영 부분에 대응하는 전기 신호를 각 참조 신호별로 생성할 수 있다.
다른 실시예로, 노출 시간 동안 복수의 주파수로 출력광 신호가 생성된 경우, 이미지 센서부(130)는 복수의 주파수에 따른 입력광 신호를 흡수한다. 예를 들어, 주파수 f1과 f2로 출력광 신호가 생성되고, 복수의 참조 신호는 90도의 위상차를 가진다고 가정한다. 그러면, 입사광 신호 역시 주파수 f1과 f2를 가지므로, 주파수가 f1인 입력광 신호와 이에 대응하는 4개의 참조 신호를 통해 4개의 전기 신호가 생성될 수 있다. 그리고 주파수가 f2인 입력광 신호와 이에 대응하는 4개의 참조 신호를 통해 4개의 전기 신호가 생성될 수 있다. 따라서, 전기 신호는 총 8개가 생성될 수 있다.
이미지 센서부(130)는 복수의 픽셀이 그리드 형태로 배열된 구조로 구성될 수 있다. 이미지 센서부(130)는 CMOS(Complementary Metal Oxide Semiconductor) 이미지 센서일 수 있으며, CCD(Charge Coupled Device) 이미지 센서일 수도 있다. 또한, 이미지 센서부(130)는 피사체에 반사되는 적외선 광을 받아들여 시간 또는 위상 차를 이용해 거리를 측정하는 ToF 센서를 포함할 수 있다.
도 5를 참조하면, 예를 들어 320x240 해상도의 이미지 센서(130)의 경우 76,800개의 픽셀이 그리드 형태로 배열된다. 이때, 복수의 픽셀 사이에는 도 5의 음영 부분과 같이 일정한 간격이 형성될 수 있다. 본 발명의 실시예에서는 픽셀에 인접한 일정 간격을 포함하여 1 픽셀로 설명하도록 한다.
본 발명의 실시예에 따르면, 각 픽셀(132)은 제1 포토 다이오드 및 제1 트랜지스터를 포함하는 제1 수광부(132-1)와 제2 포토 다이오드 및 제2 트랜지스터를 포함하는 제2 수광부(132-2)를 포함할 수 있다.
제1 수광부(132-1)는 출력광의 파형과 동일 위상에서 입력광 신호를 수신한다. 즉, 광원이 켜진 시간에, 제1 포토 다이오드는 턴온(turn-on)되어 입력광 신호를 흡수한다. 그리고, 광원이 꺼진 시간에, 제1 포토 다이오드는 턴오프(turn-off)되어 입력광 흡수를 중단한다. 제1 포토 다이오드는 흡수한 입력광 신호를 전류로 변환하여 제1 트랜지스터에 전달한다. 제1 트랜지스터는 전달받은 전류를 전기 신호로 변환하여 출력한다.
제2 수광부(132-2)는 출력광의 파형과 반대 위상에서 입력광 신호를 수신한다. 즉, 광원이 켜진 시간에, 제2 포토 다이오드는 턴오프되어 입력광 신호를 흡수한다. 그리고, 광원이 꺼진 시간에, 제2 포토 다이오드는 턴온되어 입력광 흡수를 중단한다. 제2 포토 다이오드는 흡수한 입력광 신호를 전류로 변환하여 제2 트랜지스터에 전달한다. 제2 트랜지스터는 전달받은 전류를 전기 신호로 변환한다.
이에 따라, 제1 수광부(132-1)는 In Phase 수신 유닛이라 할 수 있고, 제2 수광부(132-2)는 Out Phase 수신 유닛이라 할 수 있다. 이와 같이, 제1 수광부(132-1) 및 제2 수광부(132-2)가 시간 차를 두고 활성화되면, 객체와의 거리에 따라 수신되는 광량에 차이가 발생하게 된다. 예를 들어, 객체가 TOF 카메라 모듈(100) 바로 앞에 있는 경우(즉, 거리=0인 경우)에는 조명부(110)로부터 광이 출력된 후 객체에서 반사되어 오는데 걸리는 시간이 0이므로, 광원의 점멸 주기는 그대로 광의 수신 주기가 된다. 이에 따라, 제1 수광부(132-1)만이 빛을 수신하게 되고, 제2 수광부(132-2)는 빛을 수신하지 못하게 된다. 다른 예로, 객체가 ToF 카메라 모듈(100)과 소정 거리 떨어져 위치하는 경우, 조명부(110)로부터 광이 출력된 후 객체에서 반사되어 오는데 시간이 걸리므로, 광원의 점멸 주기는 광의 수신 주기와 차이가 나게 된다. 이에 따라, 제1 수광부(132-1)와 제2 수광부(132-2)가 수신하는 빛의 양에 차이가 발생하게 된다. 즉, 제1 수광부(132-1)와 제2 수광부(132-2)에 입력된 광량의 차를 이용하여 객체의 거리가 연산될 수 있다.
다시 도 2를 참조하면, 영상 제어부(140)는 이미지 센서부(130)로부터 수신한 전기신호를 이용하여 출력광과 입력광 사이의 위상차를 계산하고, 위상차를 이용하여 객체와 ToF 카메라 모듈(100) 사이의 거리를 계산한다.
구체적으로, 영상 제어부(140)는 전기신호의 전하량 정보를 이용하여 출력광과 입력광 사이의 위상차를 계산할 수 있다.
상기에서 살펴본 바와 같이, 출력광 신호의 주파수마다 전기신호는 4개가 생성될 수 있다. 따라서, 영상 제어부(140)는 아래의 수학식 1을 이용하여 출력광 신호와 입력광 신호 사이의 위상차(td)를 계산할 수 있다.
Figure pat00001
여기서, Q1 내지 Q4는 4개의 전기 신호 각각의 전하 충전량이다. Q1은 출력광 신호와 동일한 위상의 기준신호에 대응하는 전기신호의 전하량이다. Q2는 출력광 신호보다 위상이 180도 느린 기준신호에 대응하는 전기신호의 전하량이다. Q3는 출력광 신호보다 위상이 90도 느린 기준신호에 대응하는 전기신호의 전하량이다. Q4는 출력광 신호보다 위상이 270도 느린 기준신호에 대응하는 전기신호의 전하량이다.
그러면, 영상 제어부(140)는 출력광 신호와 입력광 신호의 위상차를 이용하여 객체와 ToF 카메라 모듈(100) 사이의 거리를 계산할 수 있다. 이때, 영상 제어부(140)는 아래의 수학식 2를 이용하여 객체와 ToF 카메라 모듈(100) 사이의 거리(d)를 계산할 수 있다.
Figure pat00002
여기서, c는 빛의 속도이고, f는 출력광의 주파수이다.
본 발명의 실시예에 따르면, ToF 카메라 모듈(100)로부터 ToF IR 영상 및 깊이(depth) 영상을 얻을 수 있다.
이와 관련하여 더욱 구체적으로 설명하면, 도 6에 예시된 바와 같이 본 발명의 실시예에 따른 ToF 카메라 모듈(100)로부터 4개의 위상에 대한 로우(raw) 영상을 얻을 수 있다. 여기서, 4개의 위상은 0°, 90°, 180°, 270°일 수 있으며, 각 위상에 대한 로우 영상은 위상 별로 디지털화된 픽셀 값으로 이루어진 영상일 수 있고, 위상 영상, 위상 IR 영상 등과 혼용될 수 있다.
도 6의 4 개의 위상 영상을 이용하여 수학식 3과 같이 연산하면, 도 7의 ToF IR 영상인 앰플리튜드 영상(amplitude image)을 얻을 수 있다.
Figure pat00003
여기서, Raw(x0)은 phase 0°에서 센서가 받아들이는 픽셀 별 데이터 값이고, Raw(x90)은 phase 90°에서 센서가 받아들이는 픽셀 별 데이터 값이며, Raw(x180)은 phase 180°에서 센서가 받아들이는 픽셀 별 데이터 값이고, Raw(x270)은 phase 270°에서 센서가 받아들이는 픽셀 별 데이터 값일 수 있다.
또는, 도 6의 4개의 위상 영상을 이용하여 수학식 4와 같이 연산하면, 다른 ToF IR 영상인 인텐시티 영상(intensity image)을 얻을 수도 있다.
Figure pat00004
여기서, Raw(x0)은 phase 0°에서 센서가 받아들이는 픽셀 별 데이터 값이고, Raw(x90)은 phase 90°에서 센서가 받아들이는 픽셀 별 데이터 값이며, Raw(x180)은 phase 180°에서 센서가 받아들이는 픽셀 별 데이터 값이고, Raw(x270)은 phase 270°에서 센서가 받아들이는 픽셀 별 데이터 값일 수 있다.
이와 같이, ToF IR 영상은 4 개의 위상 영상 중 2개씩 서로 빼주는 과정을 통하여 생성되는 영상으로, 이러한 과정에서 외부 광(background light)이 제거될 수 있다. 이에 따라, ToF IR 영상에는 광원이 출력한 파장대의 신호만 남게 되어, 객체에 대한 IR 감도가 높아지고, 노이즈가 현저하게 줄어들 수 있다.
본 명세서에서, ToF IR 영상은 앰플리튜드(amplitude) 영상 또는 인텐시티(intensity) 영상을 의미할 수 있으며, 인텐시티 영상은 컨피던스(confidence) 영상과 혼용될 수 있다. 도 7에 도시된 바와 같이, ToF IR 영상은 그레이 영상일 수 있다.
한편, 도 6의 4 개의 위상 영상을 이용하여 수학식 5 및 수학식 6과 같이 연산하면, 도 8의 깊이 영상도 얻을 수 있다.
Figure pat00005
Figure pat00006
도 9는 본 발명의 한 실시예에 따른 영상 처리 시스템에 포함되는 영상 처리 장치의 블록도이다.
도 9를 참조하면, 영상 처리 장치(300)는 ToF 카메라(100) 및 RGB 카메라(200)로부터 각각 ToF 영상 및 RGB 영상을 획득하는 영상 획득부(310), RGB 영상으로부터 제1 RGB 특징점을 추출하고, ToF 영상으로부터 제1 ToF 특징점을 추출하는 제1 특징점 추출부(320), 제1 RGB 특징점과 제1 ToF 특징점으로부터 제2 RGB 특징점과 제2 ToF 특징점을 추출하는 제2 특징점 추출부(330), 제2 RGB 특징점과 제2 ToF 특징점을 이용하여 RGB 영상 및 ToF 영상을 캘리브레이션하는 캘리브레이션부(340), 그리고 캘리브레이션된 RGB 영상 및 ToF 영상을 정합하여 3차원 컬러 영상을 생성하는 영상 합성부(350)를 포함한다. 본 발명의 실시예에 따른 영상 처리 장치(300)는 제1 특징점 추출부(320), 제2 특징점 추출부(330) 및 캘리브레이션부(340)의 동작을 트리거링하기 위한 신호를 수신하는 신호 수신부(360), 그리고 ToF 카메라(100) 또는 RGB 카메라(200)로부터 객체의 거리 정보를 획득하는 거리 정보 획득부(370)를 더 포함할 수 있다.
전술한 바와 같이, ToF 카메라(100)로부터 얻어질 수 있는 TOF 영상은 ToF IR 영상 및 깊이 영상일 수 있다. 여기서, ToF IR 영상은 0°, 90°, 180°및 270°의 4개의 위상에 대한 IR 이미지로부터 생성된 앰플리튜드(amplitude) 영상 또는 인텐시티(Intensity) 영상일 수 있다. 앰플리튜드 영상은 도 6 내지 도 7의 설명과 수학식 3 및 4와 같이 생성될 수 있다. 영상 합성부(350)는 RGB 영상 및 깊이 영상을 정합하고 렌더링하여 컬러 정보 및 깊이 정보를 모두 포함하는 3차원 컬러 영상을 생성할 수 있다.
한편, 영상 합성부(350)가 ToF 카메라(100)로부터 획득한 깊이 영상과 RGB 카메라(200)로부터 획득한 RGB 영상을 정합하여 고품질의 3차원 컬러 영상을 얻기 위하여, ToF 카메라(100)와 RGB(200) 간의 정밀한 정렬이 필요하다. ToF 카메라(100)와 RGB 카메라(200)가 하나의 장치, 예를 들어 하나의 모바일 장치 내에 탑재되는 경우, 모바일 장치의 조립 후 시중에 판매되기 전, ToF 카메라(100)와 RGB 카메라(200) 간의 캘리브레이션(calibration)이 선행되어야 한다.
도 10 내지 12는 ToF 카메라와 RGB 카메라 간 캘리브레이션 방법을 설명하기 위한 도면이다.
도 10 내지 11을 참조하면, ToF 카메라(100)와 RGB 카메라(200)의 전면에는 소정 패턴의 챠트가 배치되며, ToF 카메라(100)와 RGB 카메라(200)는 각각 동일한 챠트를 촬영하여 패턴 영상을 획득한다.
각 카메라는 획득한 패턴 영상으로부터 내재적 캘리브레이션(intrinsic calibration)을 통해 카메라 내부, 즉 렌즈와 센서 간 파라미터를 추출할 수 있다.
여기서, 추출된 파라미터는 초점 거리(focal length), 광학 중심(optical center) 및 왜곡 보정 상수(distortion correction coefficients)일 수 있다.
그리고, 각 카메라는 획득한 패턴 영상으로부터 외재적 캘리브레이션(extrinsic calibration)을 통해 카메라와 챠트 간 파라미터를 추출할 수 있다. ToF 카메라의 카메라와 챠트 간 파라미터는 외재적 파라미터(X, Y, Z/Pitch/Roll/Yaw) 및 재투사 에러(reprojection error)에 의하여 나타내어질 수 있고, RGB 카메라의 카메라와 챠트 간 파라미터는 외재적 파라미터(X, Y, Z/Pitch/Roll/Yaw) 및 재투사 에러에 의하여 나타내어질 수 있다.
그리고, 각 카메라의 내재적 캘리브레이션을 통해 추출된 파라미터와 외재적 캘리브레이션을 통해 추출된 파라미터를 이용하여 두 카메라 간의 외재적 캘리브레이션을 수행하고, 두 카메라 간의 위치 상관관계에 관한 파라미터를 추출할 수 있다. 여기서, 두 카메라 간의 위치 상관관계에 관한 파라미터는 X, Y, Z/Pitch/Roll/Yaw 및 재투사 에러(reprojection error)에 의하여 나타내어질 수 있다. 예를 들어, RGB 영상을 기준으로 ToF 영상을 매핑한 결과는 아래 표 1과 같이 수행될 수 있으며, 그 결과는 도 12와 같이 나타내어질 수 있다.
Param TOF RGB RGB 기준
TOF mapping
Pitch (°) 90.9761 86.5407 4.37048
Roll (°) 0.42211 0.92037 -0.23463
Yaw (°) -1.5376 3.40775 -5.00505
X (mm) -6.2585 24.0698 -29.9763
Y (mm) 130.25 133.406 2.33581
Z (mm) -358.023 -352.497 -7.49864
ReprojectionError (pixels) 0.1543 1.0719 4.5120
본 발명의 실시예에서는, ToF 카메라(100)와 RGB 카메라(200)가 하나의 장치 내에 조립된 후 시중에 판매되기 전, 예를 들어 제조 단계에서 도 10 내지 12에서 예시한 방법 등을 이용하여 캘리브레이션이 선행되며, X, Y, Z/Pitch/Roll/Yaw 및 재투사 에러(reprojection error)를 포함하는 캘리브레이션 데이터가 미리 저장된 것을 전제로 할 수 있다. 본 명세서 내에서 캘리브레이션 데이터는 영상 처리 장치(300)에 미리 저장되는 것을 예로 들어 설명하나, 이로 제한되는 것은 아니며, 본 발명의 실시예에 따른 영상 처리 시스템(10)이 탑재된 장치, 예를 들어 모바일 장치에 미리 저장되거나, 원격의 저장소에 미리 저장될 수도 있다.
본 발명의 실시예에 따르면, 영상 처리 장치(300)는 ToF 카메라(100)와 RGB 카메라(200) 간 캘리브레이션을 실시간으로 수행할 수 있다. 이에 따라, 장치의 사용에 따라 ToF 카메라(100)와 RGB 카메라(200) 간 틀어짐이 발생하더라도, 일일이 서비스 센터를 방문할 필요 없이 고품질의 3차원 컬러 영상을 얻을 수 있다.
설명의 편의 상, 본 명세서에서는 장치 내 ToF 카메라와 RGB 카메라의 조립 후 시판 전 미리 행해진 캘리브레이션을 오프라인 캘리브레이션 또는 공정 캘리브레이션이라 지칭할 수 있으며, 시판 후 사용자의 사용 중 영상 처리 장치(300) 내에서 실시간으로 수행되는 캘리브레이션을 실시간 캘리브레이션, 동적 캘리브레이션, 다이내믹 캘리브레이션 등으로 지칭할 수 있다. 설명의 편의 상, 본 발명의 영상 처리 시스템이 모바일 장치 내 탑재된 것을 예로 들어 설명하나, 이로 제한되는 것은 아니며, 본 발명의 실시예는 RGB 카메라와 ToF 카메라가 동시에 탑재되어 3차원 컬러 영상을 합성하는 모든 장치에 적용될 수 있다.
도 13은 본 발명의 한 실시예에 따른 영상 처리 시스템의 영상 처리 방법을 나타내는 흐름도이다.
도 13을 참조하면, 전술한 바와 같이, 제품의 시판 전 ToF 카메라(100)와 RGB 카메라(200)간 오프라인 캘리브레이션이 미리 수행되며(S100), 캘리브레이션 데이터가 영상 처리 장치(300) 내에 미리 저장될 수 있다(S102). 여기서, 캘리브레이션 데이터는 X, Y, Z/Pitch/Roll/Yaw 및 재투사 에러(reprojection error)를 포함할 수 있다.
모바일 장치 내 3차원 영상 관련 애플리케이션이 구동되면(S104), RGB 카메라(200)와 ToF 카메라(100)는 각각 동작을 시작하며, 영상 처리 장치(300)의 영상 획득부(310)는 RGB 영상과 ToF 영상을 획득한다(S106, S108). 여기서, ToF 영상은 전술한 바와 같이, 4개의 위상에 대한 IR 이미지로부터 생성된 ToF IR 영상 및 깊이 영상을 포함할 수 있다.
다음으로, 영상 처리 장치(300)의 제1 특징점 추출부(320)는 RGB 영상으로부터 제1 RGB 특징점을 추출하고(S110), ToF 영상으로부터 제1 ToF 특징점을 추출한다(S112). 여기서, 제1 RGB 특징점은 RGB 영상 내 객체의 에지 정보, 형상 정보, 사이즈 정보 및 중심점 정보 중 적어도 하나를 이용하여 추출되고, 제1 ToF 특징점은 ToF 영상 내 객체의 에지 정보, 형상 정보, 사이즈 정보 및 중심점 정보 중 적어도 하나를 이용하여 추출될 수 있다. 여기서, 제1 ToF 특징점은 ToF IR 영상으로부터 추출된 특징점 및 깊이 영상으로부터 추출된 특징점 중 적어도 하나를 포함할 수 있다. 단계 S110 및 단계 S112에는 영상으로부터 특징점을 추출하는 공지의 다양한 방법이 적용될 수 있다.
다음으로, 영상 처리 장치(300)의 제2 특징점 추출부(320)는 제1 RGB 특징점과 제1 ToF 특징점을 매칭하여 제1 RGB 특징점과 제1 ToF의 특징점 간의 상관관계가 소정 값 이상인 제2 RGB 특징점과 제2 ToF 특징점을 추출한다(S114). 여기서, 제1 RGB 특징점과 제1 ToF의 특징점 간의 상관관계가 소정 값 이상이라는 것은 RGB 영상과 ToF 영상에서 모두 추출할 수 있는 특징점을 의미하므로, 이들을 비교하면 RGB 카메라(200)와 ToF 카메라(100) 간의 틀어진 정도를 유추할 수 있다. 이에 따라, 본 명세서에서, 제2 RGB 특징점과 제2 ToF 특징점을 의미있는 특징점이라 지칭할 수도 있다. 여기서, 제2 RGB 특징점과 제2 ToF 특징점은 제1 RGB 특징점과 ToF IR 영상의 제1 ToF 특징점을 매칭하여 추출하거나, 제1 RGB 특징점과 깊이 영상의 제1 ToF 특징점을 매칭하여 추출하거나, 제1 RGB 특징점, ToF IR 영상의 제1 ToF 특징점 및 깊이 영상의 제1 ToF 특징점을 매칭하여 추출할 수 있다. 여기서, ToF IR 영상은 물체의 에지 성분을 특징점으로 추출하기에 유리하고, 깊이 영상은 동일한 재질과 색상을 가지는 물체가 서로 다른 거리에 있을 경우 이들을 특징점으로 구분하기에 유리하다.
단계 S114에는 RGB 영상과 ToF 영상 간의 특징점을 매칭하는 공지의 다양한 방법, 예를 들어 SIFT 알고리즘 또는 SURF 알고리즘 등이 적용될 수 있다. 도 14는 제1 RGB 특정점 및 제1 ToF 특징점으로부터 제2 RGB 특징점 및 제2 ToF 특징점을 추출하는 방법을 설명하기 위한 도면이다. 도 14(a)에서 붉은 색으로 표시된 깊이 영상의 특징점과 도 14(b)에서 붉은 색으로 표시된 RGB 영상의 특징점을 SIFT 알고리즘 또는 SURF 알고리즘 등을 이용하여 매칭하면, 도 14(c)와 같이 상관관계가 소정 값 이상인 제2 RGB 특징점과 제2 ToF 특징점이 추출될 수 있다.
다음으로, 영상 처리 장치(300)는 제2 특징점 추출부(320)에서 추출된 제2 RGB 특징점과 제2 ToF 특징점에 관한 정보를 저장한 후(S116), 캘리브레이션부(340)는 제2 RGB 특징점과 제2 ToF 특징점 간의 오차 값을 계산한다(S118). 여기서, 오차 값은 제2 RGB 특징점의 X 값, Y 값, Z 값, Pitch 값, Roll 값, Yaw 값 및 재투사 에러(reprojection error) 중 적어도 하나와 제2 ToF 특징점의 X 값, Y 값, Z 값, Pitch 값, Roll 값, Yaw 값 및 재투사 에러(reprojection error) 중 적어도 하나를 이용하여 계산될 수 있다. 오차 값은 RGB 영상 및 ToF 영상 간의 틀어진 정도를 의미할 수 있으며, X 값, Y 값, Z 값, Pitch 값, Roll 값, Yaw 값 및 재투사 에러(reprojection error) 중 적어도 하나를 포함할 수 있다.
그리고, 영상 처리 장치(300)의 캘리브레이션부(340)는 단계 S118의 오차 값을 임계 값과 비교하며(S120), 오차 값이 임계 값보다 크면 오차 값을 새로운 캘리브레이션 데이터로 업데이트하고(S122), 업데이트된 캘리브레이션 데이터를 이용하여 RGB 영상 및 ToF 영상을 캘리브레이션한다(S124).
그리고, 영상 처리 장치(300)의 영상 합성부(350)는 캘리브레이션된 RGB 영상과 ToF 영상을 정합하여 3차원 컬러 영상을 생성한다(S126).
이와 같이, 본 발명의 실시예에 따르면, ToF 카메라(100)와 RGB 카메라(200)가 탑재된 장치를 사용 중 다양한 원인에 의하여 틀어짐이 발생하더라도, 서비스센터를 방문할 필요 없이 실시간으로 자동으로 캘리브레이션이 수행될 수 있다.
한편, RGB 카메라와 ToF 카메라의 촬영 범위가 원거리인 경우, RGB 영상과 ToF 영상 내에는 원거리에 있는 물체도 함께 촬영될 수 있으며, 이에 따라 제1 RGB 특징점과 제1 ToF 특징점의 수는 무수히 많아질 수 있고, 정확도도 떨어질 수 있다.
이에 따라, 본 발명의 한 실시예에 따르면, 단계 S114에서 제2 RGB 특징점과 제2 ToF 특징점을 추출하기 위하여, 거리 정보를 더 이용할 수도 있다. 예를 들어, 제1 RGB 특징점과 제1 ToF 특징점 중 카메라로부터 소정 거리, 예를 들어 1m 이내에 있는 특징점들의 상관관계만을 비교하여 제2 RGB 특징점과 제2 ToF 특징점을 추출할 수 있다. 이에 따르면, 의미있는 특징점의 정확도를 높일 수 있을 뿐만 아니라, 제1 RGB 특징점과 제1 ToF 특징점 간의 상관관계를 연산하기 위한 연산량을 현저히 줄일 수 있다.
이를 위하여, 거리 정보는 영상 처리 장치(300)의 거리 정보 획득부(370)로부터 얻어질 수 있다. 이때, 거리 정보 획득부(370)는 ToF 카메라(100)와 연결되어 ToF 카메라(100)로부터 깊이 영상 내 객체의 거리 정보를 획득할 수 있다. 또는, 거리 정보 획득부(370)는 영상 처리 장치(300)의 영상 획득부(310)와 연결되며, 영상 획득부(310)로부터 수신한 깊이 영상으로부터 객체의 거리를 직접 추출할 수도 있다.
또한, RGB 카메라와 ToF 카메라의 촬영 범위 내에 비슷한 패턴이나 모양이 많은 경우, RGB 영상의 제1 RGB 특징점 중 하나와 ToF 영상의 제1 ToF 특징점 중 하나가 동일한 물체임을 보장하기 어려울 수 있다. 이에 따라, 본 발명의 한 실시예에 따르면, 도 15(a)에 도시된 바와 같이 RGB 영상 내 카메라와의 거리가 소정 범위 이내인 물체에 대해서만 제1 RGB 특징점을 추출하고, 도 15(b)에 도시된 바와 같이 ToF 영상 내 카메라와의 거리가 상기 소정 범위와 동일하거나 유사한 범위 이내인 물체에 대해서만 제1 ToF 특징점을 추출하며, 이들 제1 RGB 특징점과 제1 ToF 특징점 간의 상관관계를 이용하여 제2 RGB 특징점과 제2 ToF 특징점을 추출할 수 있다. 또는, RGB 영상 내 전체 범위 및 ToF 영상 내 전체 범위에서 각각 제1 RGB 특징점과 제1 ToF 특징점을 추출하되, 추출한 제1 RGB 특징점과 제1 ToF 특징점 중 RGB 영상 내 카메라와의 거리가 소정 범위 이내인 제1 RGB 특징점과 ToF 영상 내 카메라와의 거리가 상기 소정 범위와 동일한 범위 이내인 제1 ToF 특징점 간의 상관관계를 이용하여 제2 RGB 특징점과 제2 ToF 특징점을 추출할 수도 있다. 이에 따르면, 연산량을 현저히 줄일 수 있을 뿐만 아니라, 의미있는 특징점의 정확도를 높일 수 있다.
이를 위하여, 거리 정보는 영상 처리 장치(300)의 거리 정보 획득부(370)로부터 얻어질 수 있다. ToF 영상의 거리 정보는 전술한 바와 같이 ToF 카메라(100)로부터 획득되거나 깊이 영상으로부터 추출될 수 있다. RGB 영상의 거리 정보는 RGB 카메라(200) 내 오토포커싱(AF) 기능을 이용하여 얻어질 수 있다. 예를 들어, 일반적인 RGB 카메라(200)는 오토포커싱 기능을 포함하며, 객체와 렌즈 간의 초점을 맞추기 위하여 RGB 카메라(200) 내 일부 부품(예, 렌즈 경통)의 위치가 물리적으로 바뀔 수 있다. 객체와 렌즈 간의 거리에 따라 RGB 카메라(200) 내 일부 부품이 이동하는 정도는 달라질 수 있으며, VCM(voice coil moter) 등이 이들 이동을 제어할 수 있다. 여기서, VCM에 가해지는 전류 또는 홀 IC 센서 정보 등으로부터 객체와 렌즈 간의 거리가 유추될 수 있다. 본 발명의 실시예에 따른 영상 처리 장치(300)의 거리 정보 획득부(370)는 RGB 카메라(200)로부터 오토포커싱된 물체의 거리 정보를 얻을 수 있다.
이와 같이, 소정 거리 또는 소정 범위 내의 물체에 대해서만 의미있는 특징점을 추출하면, 의미있는 특징점의 정확도를 높일 수 있을 뿐만 아니라, 연산량을 현저히 줄일 수 있다.
도 16은 본 발명의 다른 실시예에 따른 영상 처리 시스템의 영상 처리 방법을 나타내는 흐름도이다. 도 13 내지 15에서 설명한 내용과 동일한 내용은 중복되는 설명을 생략한다.
도 16을 참조하면, 도 13과 관련하여 설명한 단계 S100 내지 단계 S126이 동일하게 수행될 수 있다. 한편, 본 발명의 실시예에서는 제2 RGB 특징점과 제2 ToF 특징점 간의 오차 값을 계산하는 단계 S118에서는 낙하 충격 감지 신호를 더 이용할 수도 있다. 이를 위하여, 센서가 동작한다(S200). 여기서, 센서는 ToF 카메라(100)와 RGB 카메라(200)가 탑재된 장치, 예를 들어 모바일 장치에 내장된 센서일 수 있으며, 관성 센서, 가속도 센서, 자이로 센서 및 중력 센서 중 적어도 하나를 포함할 수 있다. 센서는 모바일 장치가 켜져 있는 동안 항상 동작할 수 있다.
센서는 감지된 정보를 이용하여 모바일 장치의 움직임 변화를 측정하며(S202), 움직임 변화를 측정한 결과 모바일 장치가 낙하 충격을 받은 것으로 추정되는 경우, 영상 처리 장치(300)의 신호 수신부(360)에게 낙하 충격 감지 신호를 전송할 수 있다(S204).
모바일 장치가 낙하 충격을 받은 경우, ToF 카메라(100)와 RGB 카메라(200) 간 틀어짐이 발생할 수 있다.
이에 따라, 영상 처리 장치(300)가 신호 수신부(360)를 통하여 낙하 충격 감지 신호를 전송 받은 경우에만, 제2 RGB 특징점과 제2 ToF 특징점 간의 오차 값을 계산하는 단계 S118가 수행될 수 있다.
도 17은 본 발명의 또 다른 실시예에 따른 영상 처리 시스템의 영상 처리 방법을 나타내는 흐름도이다. 도 13 내지 16에서 설명한 내용과 동일한 내용은 중복되는 설명을 생략한다.
도 17을 참조하면, 도 13과 관련하여 설명한 단계 S100 내지 단계 S126이 동일하게 수행될 수 있다. 또한, 도 16과 관련하여 설명한 단계 S200 내지 S204도 동일하게 수행될 수 있다.
이때, 도 13 및 도 16에서 설명된 실시예와 달리, 영상 처리 장치(300)가 신호 수신부(360)를 통하여 낙하 충격 감지 신호를 전송 받은 경우에만, 캘리브레이션이 필요한 것으로 판단하고(S300), RGB 영상으로부터 제1 RGB 특징점을 추출하고 ToF 영상으로부터 제1 ToF 특징점을 추출하는 단계 S110 및 단계 S112가 수행될 수 있다.
또는, 도시되지 않았으나, 도 13 및 도 16에서 설명된 실시예와 달리, 영상 처리 장치(300)가 신호 수신부(360)를 통하여 낙하 충격 감지 신호를 전송 받은 경우에만, 캘리브레이션이 필요한 것으로 판단하고(S300), 제1 RGB 특징점과 제1 ToF 특징점을 매칭하여 제2 RGB 특징점과 제2 ToF 특징점을 추출하는 단계 S114가 수행될 수도 있다.
이와 같이, 모바일 장치가 낙하 충격을 받은 경우에만 단계 S110과 단계 S112, 단계 S114 및 단계 S118 등이 트리거될 경우, 영상 처리 장치(300)의 연산량 및 부하를 현저히 줄일 수 있다.
한편, 본 발명의 또 다른 실시예에 따르면, 모바일 장치에는 캘리브레이션 요청을 위한 애플리케이션이 저장되어 있으며, 사용자가 사용자 인터페이스를 통하여 캘리브레이션 요청을 한 경우에만 단계 S110과 단계 S112, 단계 S114 및 단계 S118 등이 트리거될 수도 있다.
이상에서 실시예를 중심으로 설명하였으나 이는 단지 예시일 뿐 본 발명을 한정하는 것이 아니며, 본 발명이 속하는 분야의 통상의 지식을 가진 자라면 본 실시예의 본질적인 특성을 벗어나지 않는 범위에서 이상에 예시되지 않은 여러 가지의 변형과 응용이 가능함을 알 수 있을 것이다. 예를 들어, 실시예에 구체적으로 나타난 각 구성 요소는 변형하여 실시할 수 있는 것이다. 그리고 이러한 변형과 응용에 관계된 차이점들은 첨부된 청구 범위에서 규정하는 본 발명의 범위에 포함되는 것으로 해석되어야 할 것이다.

Claims (10)

  1. 영상 처리 장치 장치의 영상 처리 방법에 있어서,
    RGB 카메라로부터 RGB 영상을 획득하는 단계,
    ToF 카메라로부터 ToF 영상 획득하는 단계,
    상기 RGB 영상으로부터 제1 RGB 특징점을 추출하는 단계,
    상기 ToF 영상으로부터 제1 ToF 특징점을 추출하는 단계,
    상기 제1 RGB 특징점과 상기 제1 ToF 특징점을 매칭하여 상기 제1 RGB 특징점과 상기 제1 ToF의 특징점 간의 상관관계가 소정 값 이상인 제2 RGB 특징점과 제2 ToF 특징점을 추출하는 단계,
    상기 제2 RGB 특징점과 상기 제2 ToF 특징점 간 오차 값을 계산하는 단계,
    상기 오차 값이 임계 값보다 크면, 미리 저장된 캘리브레이션 데이터를 업데이트하고, 업데이트된 캘리브레이션 데이터를 이용하여 상기 RGB 영상 및 상기 ToF 영상을 캘리브레이션하는 단계, 그리고
    캘리브레이션된 상기 RGB 영상 및 상기 ToF 영상을 합성하는 단계를 포함하는 영상 처리 방법.
  2. 제1항에 있어서,
    상기 ToF 영상은 IR 영상 및 깊이 영상 중 적어도 하나를 포함하는 영상 처리 방법.
  3. 제2항에 있어서,
    상기 IR 영상 및 깊이 영상 중 적어도 하나는 4개의 위상에 대한 IR 이미지로부터 생성된 영상 처리 방법.
  4. 제1항에 있어서,
    상기 제1 RGB 특징점은 상기 RGB 영상 내 객체의 에지 정보, 형상 정보, 사이즈 정보 및 중심점 정보 중 적어도 하나를 이용하여 추출되고,
    상기 제1 ToF 특징점은 상기 ToF 영상 내 객체의 에지 정보, 형상 정보, 사이즈 정보 및 중심점 정보 중 적어도 하나를 이용하여 추출되는 영상 처리 방법.
  5. 제1항에 있어서,
    상기 캘리브레이션 데이터는 X 값, Y 값, Z 값, Pitch 값, Roll 값 및 Yaw 값을 포함하는 영상 처리 방법.
  6. 제1항에 있어서,
    센서로부터 낙하 충격 감지 신호를 수신하는 단계를 더 포함하며,
    상기 낙하 충격 감지 신호가 수신되면, 상기 오차 값을 계산하는 단계가 수행되는 영상 처리 방법.
  7. 제1항에 있어서,
    센서로부터 낙하 충격 감지 신호를 수신하는 단계를 더 포함하며,
    상기 낙하 충격 감지 신호가 수신되면, 상기 RGB 영상으로부터 제1 RGB 특징점을 추출하는 단계 및 상기 ToF 영상으로부터 제1 ToF 특징점을 추출하는 단계가 수행되는 영상 처리 방법.
  8. 제1항에 있어서,
    사용자 유저 인터페이스로부터 캘리브레이션 요청 신호를 수신하는 단계를 더 포함하며,
    상기 캘리브레이션 요청 신호가 수신되면, 상기 RGB 영상으로부터 제1 RGB 특징점을 추출하는 단계 및 상기 ToF 영상으로부터 제1 ToF 특징점을 추출하는 단계가 수행되는 영상 처리 방법.
  9. 제1항에 있어서,
    상기 RGB 카메라로부터 상기 RGB 카메라의 오토포커싱 정보를 획득하는 단계를 더 포함하며,
    상기 오토포커싱 정보를 더 이용하여 상기 제2 RGB 특징점과 상기 제2 ToF 특징점을 추출하는 영상 처리 방법.
  10. RGB 카메라로부터 RGB 영상을 획득하고, ToF 카메라로부터 ToF 영상 획득하는 영상 획득부,
    상기 RGB 영상으로부터 제1 RGB 특징점을 추출하고, 상기 ToF 영상으로부터 제1 ToF 특징점을 추출하는 제1 특징점 추출부,
    상기 제1 RGB 특징점과 상기 제1 ToF 특징점을 매칭하여 상기 제1 RGB 특징점과 상기 제1 ToF의 특징점 간의 상관관계가 소정 값 이상인 제2 RGB 특징점과 제2 ToF 특징점을 추출하는 제2 특징점 추출부,
    상기 제2 RGB 특징점과 상기 제2 ToF 특징점 간 오차 값을 계산하고, 상기 오차 값이 임계 값보다 크면, 미리 저장된 캘리브레이션 데이터를 업데이트하고, 업데이트된 캘리브레이션 데이터를 이용하여 상기 RGB 영상 및 상기 ToF 영상을 캘리브레이션하는 캘리브레이션부, 그리고
    캘리브레이션된 상기 RGB 영상 및 상기 ToF 영상을 합성하는 영상 합성부를 포함하는 영상 처리 장치.
KR1020180100443A 2018-08-27 2018-08-27 영상 처리 장치 및 영상 처리 방법 KR102596053B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020180100443A KR102596053B1 (ko) 2018-08-27 2018-08-27 영상 처리 장치 및 영상 처리 방법
PCT/KR2019/010865 WO2020045932A1 (ko) 2018-08-27 2019-08-26 영상 처리 장치 및 영상 처리 방법
US17/268,898 US11610339B2 (en) 2018-08-27 2019-08-26 Imaging processing apparatus and method extracting a second RGB ToF feature points having a correlation between the first RGB and TOF feature points
CN201980056701.8A CN112655022B (zh) 2018-08-27 2019-08-26 图像处理装置和图像处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180100443A KR102596053B1 (ko) 2018-08-27 2018-08-27 영상 처리 장치 및 영상 처리 방법

Publications (2)

Publication Number Publication Date
KR20200023927A true KR20200023927A (ko) 2020-03-06
KR102596053B1 KR102596053B1 (ko) 2023-11-01

Family

ID=69644602

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180100443A KR102596053B1 (ko) 2018-08-27 2018-08-27 영상 처리 장치 및 영상 처리 방법

Country Status (4)

Country Link
US (1) US11610339B2 (ko)
KR (1) KR102596053B1 (ko)
CN (1) CN112655022B (ko)
WO (1) WO2020045932A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220000430A (ko) * 2020-06-25 2022-01-04 주식회사 유사이언스 패턴 레이저 기반 3d 정보 센서

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110141306A1 (en) * 2009-12-10 2011-06-16 Honda Motor Co., Ltd. Image capturing device, method of searching for occlusion region, and program
US20170104979A1 (en) * 2015-10-12 2017-04-13 Dell Products, Lp Method and Apparatus for Depth Algorithm Adjustment to Images based on Predictive Analytics and Sensor Feedback in an Information Handling System
US9866820B1 (en) * 2014-07-01 2018-01-09 Amazon Technologies, Inc. Online calibration of cameras

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013036831A (ja) * 2011-08-08 2013-02-21 Panasonic Corp キャリブレーション装置及び歪み誤差算出方法
US20140198185A1 (en) * 2013-01-17 2014-07-17 Cyberoptics Corporation Multi-camera sensor for three-dimensional imaging of a circuit board
WO2014181581A1 (ja) * 2013-05-07 2014-11-13 日立オートモティブシステムズ株式会社 キャリブレーション装置、キャリブレーションシステム、及び撮像装置
US9838677B1 (en) 2013-06-27 2017-12-05 Amazon Technologies, Inc. Detecting impact events for dropped devices
US9753140B2 (en) * 2014-05-05 2017-09-05 Raytheon Company Methods and apparatus for imaging in scattering environments
US9648300B2 (en) * 2014-05-23 2017-05-09 Leap Motion, Inc. Calibration of multi-camera devices using reflections thereof
US10574974B2 (en) * 2014-06-27 2020-02-25 A9.Com, Inc. 3-D model generation using multiple cameras
KR102281184B1 (ko) * 2014-11-20 2021-07-23 삼성전자주식회사 영상 보정 방법 및 장치
US10605916B2 (en) * 2015-03-17 2020-03-31 Cornell University Depth field imaging apparatus, methods, and applications
WO2016203988A1 (ja) * 2015-06-17 2016-12-22 ソニー株式会社 画像処理装置および画像処理方法
US10325402B1 (en) * 2015-07-17 2019-06-18 A9.Com, Inc. View-dependent texture blending in 3-D rendering
US10412369B2 (en) * 2015-07-31 2019-09-10 Dell Products, Lp Method and apparatus for compensating for camera error in a multi-camera stereo camera system
US20170070731A1 (en) * 2015-09-04 2017-03-09 Apple Inc. Single And Multi-Camera Calibration
EP3358293A4 (en) * 2015-09-30 2019-04-10 Sony Corporation IMAGE PROCESSING DEVICE, IMAGE PROCESSING AND PROGRAM
JP6598673B2 (ja) * 2015-12-24 2019-10-30 キヤノン株式会社 データ処理装置およびその方法
US9858672B2 (en) * 2016-01-15 2018-01-02 Oculus Vr, Llc Depth mapping using structured light and time of flight
JP6649796B2 (ja) * 2016-02-23 2020-02-19 村田機械株式会社 物体状態特定方法、物体状態特定装置、および、搬送車
JP6721998B2 (ja) * 2016-02-23 2020-07-15 村田機械株式会社 物体状態特定方法、物体状態特定装置、および、搬送車
KR102529928B1 (ko) * 2016-09-22 2023-05-09 삼성전자주식회사 스테레오 카메라의 교정 방법 및 이를 수행하는 전자 장치
US20180108150A1 (en) * 2016-10-17 2018-04-19 Dsi Assignments, Llc Systems and methods for in-field stereocamera calibration
US10365370B2 (en) * 2016-10-31 2019-07-30 Timothy Webster Wear tolerant hydraulic / pneumatic piston position sensing using optical sensors
US10474884B2 (en) * 2016-11-14 2019-11-12 Aisin Seiki Kabushiki Kaisha Action determination device
KR102550931B1 (ko) * 2016-11-29 2023-07-04 삼성전자주식회사 스테레오 매칭 방법 및 장치
KR20180087944A (ko) * 2017-01-26 2018-08-03 삼성전자주식회사 스테레오 매칭 방법 및 장치
JP6925816B2 (ja) * 2017-02-09 2021-08-25 株式会社小松製作所 位置計測システム、作業機械、及び位置計測方法
JP6473188B2 (ja) 2017-03-28 2019-02-20 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ 深度マップを生成するための方法、装置およびプログラム
WO2018216342A1 (ja) * 2017-05-24 2018-11-29 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
US11624812B2 (en) * 2017-06-15 2023-04-11 James MacMillan Method of characterizing, calibrating, and controlling galvanometer laser steering systems
US10460509B2 (en) * 2017-11-07 2019-10-29 Dolby Laboratories Licensing Corporation Parameterizing 3D scenes for volumetric viewing

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110141306A1 (en) * 2009-12-10 2011-06-16 Honda Motor Co., Ltd. Image capturing device, method of searching for occlusion region, and program
US9866820B1 (en) * 2014-07-01 2018-01-09 Amazon Technologies, Inc. Online calibration of cameras
US20170104979A1 (en) * 2015-10-12 2017-04-13 Dell Products, Lp Method and Apparatus for Depth Algorithm Adjustment to Images based on Predictive Analytics and Sensor Feedback in an Information Handling System

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220000430A (ko) * 2020-06-25 2022-01-04 주식회사 유사이언스 패턴 레이저 기반 3d 정보 센서

Also Published As

Publication number Publication date
CN112655022A (zh) 2021-04-13
US11610339B2 (en) 2023-03-21
US20210327091A1 (en) 2021-10-21
CN112655022B (zh) 2023-11-03
WO2020045932A1 (ko) 2020-03-05
KR102596053B1 (ko) 2023-11-01

Similar Documents

Publication Publication Date Title
US11863734B2 (en) Time-of-flight camera system
EP2287629B1 (en) Time of flight camera with rectangular field of illumination
US9329035B2 (en) Method to compensate for errors in time-of-flight range cameras caused by multiple reflections
US10928518B2 (en) Range image generation apparatus and range image generation method
CN109819173B (zh) 基于tof成像系统的深度融合方法和tof相机
JP6717887B2 (ja) 距離補正機能を有する測距装置
CN113366383B (zh) 摄像头装置及其自动聚焦方法
US8199247B2 (en) Method for using flash to assist in focal length detection
Kitajima et al. Simultaneous projection and positioning of laser projector pixels
CN107270867B (zh) 一种主动测距系统以及方法
KR102596053B1 (ko) 영상 처리 장치 및 영상 처리 방법
CN110012280B (zh) 用于vslam系统的tof模组及vslam计算方法
KR20200036613A (ko) 카메라 장치
KR20150090779A (ko) 깊이 정보 추출 장치
CN111373222A (zh) 光投射系统
KR102505817B1 (ko) 3차원 이미지 획득 장치
KR20230123278A (ko) 3차원 이미지 획득 장치
You et al. MOEMS-based time-of-flight camera for 3D video capturing
CN116235491A (zh) 三维图像获取装置
KR20170102748A (ko) 초점 변화를 이용한 3d 깊이맵 생성 방법 및 장치

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right