KR20190086320A - 영상 처리 장치 및 방법 - Google Patents

영상 처리 장치 및 방법 Download PDF

Info

Publication number
KR20190086320A
KR20190086320A KR1020180004703A KR20180004703A KR20190086320A KR 20190086320 A KR20190086320 A KR 20190086320A KR 1020180004703 A KR1020180004703 A KR 1020180004703A KR 20180004703 A KR20180004703 A KR 20180004703A KR 20190086320 A KR20190086320 A KR 20190086320A
Authority
KR
South Korea
Prior art keywords
boundary
image
depth map
error
pixel value
Prior art date
Application number
KR1020180004703A
Other languages
English (en)
Inventor
유성열
강동진
김규헌
이의상
Original Assignee
삼성전자주식회사
경희대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사, 경희대학교 산학협력단 filed Critical 삼성전자주식회사
Priority to KR1020180004703A priority Critical patent/KR20190086320A/ko
Priority to PCT/KR2019/000549 priority patent/WO2019139441A1/ko
Publication of KR20190086320A publication Critical patent/KR20190086320A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/001—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)

Abstract

본 개시는 영상처리 장치 및 방법에 관한 것이다. 영상 처리 방법은 실사 영상으로부터 실사 영상에 포함된 하나 또는 다수의 물체들의 경계를 나타내는 제1 경계 영상을 생성하는 과정과, 실사 영상에 대응하는 깊이 지도로부터 깊이 지도에 포함된 하나 또는 다수의 물체들의 경계를 나타내는 제2 경계 영상을 생성하는 과정과, 제1 경계 영상과 제2 경계 영상을 기반으로 오류 경계 영역을 획득하는 과정과, 오류 경계 영역에서의 오류 정도를 고려하여 제2 경계 영상을 보정하는 과정과, 보정된 제2 경계 영상을 기초로 오류 경계 영역에 대응하는 깊이 지도를 보정하는 과정을 포함한다.

Description

영상 처리 장치 및 방법{THE APPARATUS FOR PROCCESING IMAGE AND METHOD THEREFOR}
본 개시는 영상의 심도를 보정하는 영상 처리 장치 및 방법에 관한 것이다.
일반적으로 카메라로 촬영되는 영상은 상기 카메라에 구비된 렌즈의 특성 (화각, 밝기 등)에 따라 시야각이 제한적일 수 있다. 또한 카메라에 의한 촬영은 고정된 위치에서 이루어짐에 따라 시점 (view point)이 제한적일 수도 있다. 이러한 시야각, 시점 등의 제한 사항을 극복하고, 희망하는 품질의 영상을 얻기 위하여, 카메라 파라미터, 영상의 깊이 (심도, depth) 정보 등을 이용한 컴퓨터 비젼 기술이 개발되고 있다.
컴퓨터 비젼 기술은, 예를 들어, 2차원의 영상 내에서 물체들 간의 원근 (심도)에 대한 정보를 나타내는 깊이 지도 생성 기술이 개발되고 있다. 깊이 지도는 중간-뷰 생성에 필수적으로 사용된다. 중간-뷰는 하나의 큰 영상을 생성하기 위하여 복수의 영상들을 스티칭(stitching)하는 경우, 상기 복수의 영상들 중에 이어지지 않는 부분이 존재할 때 생성될 수 있다. 즉, 중간-뷰 생성은 복수의 영상들이 이어지지 않는 부분에 대응하는 영상을 생성하는 것을 의미한다.
특정 물체에 인접한 시점에 대응하는 이미지를 이용하여 생성한 깊이 지도 및 정보 추출 카메라를 이용하여 생성한 깊이 지도는 빛, 계산 오차 등으로 인하여 영상 내 각 물체 및 배경에 상응한 심도에 오류를 포함할 수 있다. 깊이 지도의 오류는 중간-뷰 생성의 정확도에 영향을 미친다.
본 개시의 한 실시 예에 따르면, 실사 영상의 경계 영상을 기초로 깊이 지도의 경계 영상에서의 오류를 보정하는 영상 처리 장치 및 방법을 제공할 수 있다.
본 개시의 한 실시 예에 따르면, 깊이 지도의 경계 영상의 영역에 포함된 경계 영상 픽셀 값을 실사 영상의 경계 영상의 영역에 포함된 경계 영상 픽셀 값과 일치하도록 심도를 보정하는 영상 처리 장치 및 방법을 제공할 수 있다.
본 개시의 일 실시예에 따른 방법은; 전자 장치에서 깊이 지도의 오류를 보정하는 방법에 있어서, 실사 영상으로부터 실사 영상에 포함된 하나 또는 다수의 물체들의 경계를 나타내는 제1 경계 영상을 생성하는 과정과, 실사 영상에 대응하는 깊이 지도로부터 깊이 지도에 포함된 하나 또는 다수의 물체들의 경계를 나타내는 제2 경계 영상을 생성하는 과정과, 제1 경계 영상과 제2 경계 영상을 기반으로 오류 경계 영역을 획득하는 과정과, 오류 경계 영역에서의 오류 정도를 고려하여 제2 경계 영상을 보정하는 과정과, 보정된 제2 경계 영상을 기초로 오류 경계 영역에 대응하는 깊이 지도를 보정하는 과정을 포함함을 특징으로 한다.
본 개시의 일 실시예에 따른 장치는; 깊이 지도의 오류를 보정하는 전자 장치에 있어서, 제어부를 포함하고, 제어부는, 실사 영상으로부터 실사 영상에 포함된 하나 또는 다수의 물체들의 경계를 나타내는 제1 경계 영상을 생성하고, 실사 영상에 대응하는 깊이 지도로부터 깊이 지도에 포함된 하나 또는 다수의 물체들의 경계를 나타내는 제2 경계 영상을 생성하고, 제1 경계 영상과 제2 경계 영상을 기반으로 오류 경계 영역을 획득하고, 오류 경계 영역에서의 오류 정도를 고려하여 제2 경계 영상을 보정하고, 보정된 제2 경계 영상을 기초로 오류 경계 영역에 대응하는 깊이 지도를 보정하는 것을 특징으로 한다.
본 개시의 특정한 바람직한 실시예들의 상기에서 설명한 바와 같은 또한 다른 측면들과, 특징들 및 이득들은 첨부 도면들과 함께 처리되는 하기의 설명으로부터 보다 명백하게 될 것이다.
도 1은 실사 영상과 깊이 지도를 도시한 도면이다.
도 2는 본 개시의 실시예에 따른 깊이 지도의 오류를 보정하는 순서를 도시한 도면이다.
도 3은 본 개시의 실시예에 따른 깊이 지도의 오류를 보정하는 장치의 구성을 도시한 도면이다.
도 4a는 본 개시의 실시예에 따라 1차원 환경에서 깊이 지도의 오류를 보정하기 전을 도시한 도면이다.
도 4b는 본 개시의 실시예에 따라 1차원 환경에서 깊이 지도의 오류 보정한 후를 도시한 도면이다.
도 5는 본 개시의 실시예에 따라 2차원 환경에서 깊이 지도의 오류 보정을 도시한 도면이다.
상기 도면들을 통해, 유사 참조 번호들은 동일한 혹은 유사한 엘리먼트들과, 특징들 및 구조들을 도시하기 위해 사용된다는 것에 유의해야만 한다.
이하, 본 개시의 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다.
실시예들을 설명함에 있어서 본 개시의 실시예들이 속하는 기술 분야에 익히 알려져 있고 본 개시의 실시예들과 직접적으로 관련이 없는 기술 내용에 대해서는 설명을 생략한다. 이는 불필요한 설명을 생략함으로써 본 개시의 실시예들의 요지를 흐리지 않고 더욱 명확히 전달하기 위함이다.
마찬가지 이유로 첨부 도면에 있어서 일부 구성요소는 과장되거나 생략되거나 개략적으로 도시되었다. 또한, 각 구성요소의 크기는 실제 크기를 전적으로 반영하는 것이 아니다. 각 도면에서 동일한 또는 대응하는 구성요소에는 동일한 참조 번호를 부여하였다.
본 개시의 실시예들에 의한 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시 예들을 참조하면 명확해질 것이다. 그러나 본 개시의 실시예들은 이하에서 개시되는 것들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 개시의 실시예들은 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 개시의 청구하고자 하는 바는 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
이때, 처리 흐름도 도면들의 각 블록과 흐름도 도면들의 조합들은 컴퓨터 프로그램 인스트럭션들에 의해 수행될 수 있음을 이해할 수 있을 것이다. 이들 컴퓨터 프로그램 인스트럭션들은 범용 컴퓨터, 특수용 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서에 탑재될 수 있으므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서를 통해 수행되는 그 인스트럭션들이 흐름도 블록(들)에서 설명된 기능들을 수행하는 수단을 생성하게 된다. 이들 컴퓨터 프로그램 인스트럭션들은 특정 방식으로 기능을 구현하기 위해 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 지향할 수 있는 컴퓨터 이용 가능 또는 컴퓨터 판독 가능 메모리에 저장되는 것도 가능하므로, 그 컴퓨터 이용가능 또는 컴퓨터 판독 가능 메모리에 저장된 인스트럭션들은 흐름도 블록(들)에서 설명된 기능을 수행하는 인스트럭션 수단을 내포하는 제조 품목을 생산하는 것도 가능하다. 컴퓨터 프로그램 인스트럭션들은 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에 탑재되는 것도 가능하므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에서 일련의 동작 단계들이 수행되어 컴퓨터로 실행되는 프로세스를 생성해서 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 수행하는 인스트럭션들은 흐름도 블록(들)에서 설명된 기능들을 실행하기 위한 단계들을 제공하는 것도 가능하다.
또한, 각 블록은 특정된 논리적 기능(들)을 실행하기 위한 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있다. 또, 몇 가지 대체 실행 예들에서는 블록들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 블록들은 사실 실질적으로 동시에 수행되는 것도 가능하고 또는 그 블록들이 때때로 해당하는 기능에 따라 역순으로 수행되는 것도 가능하다.
이 때, 본 실시 예에서 사용되는 '~부'라는 용어는 소프트웨어 또는 FPGA(field-Programmable Gate Array) 또는 ASIC(Application Specific Integrated Circuit)과 같은 하드웨어 구성요소를 의미하며, '~부'는 어떤 역할들을 수행한다. 그렇지만 '~부'는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. '~부'는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 '~부'는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들, 및 변수들을 포함한다. 구성요소들과 '~부'들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 '~부'들로 결합되거나 추가적인 구성요소들과 '~부'들로 더 분리될 수 있다. 뿐만 아니라, 구성요소들 및 '~부'들은 디바이스 또는 보안 멀티미디어카드 내의 하나 또는 그 이상의 CPU(central processing unit)들을 재생시키도록 구현될 수도 있다.
본 개시의 실시예들을 구체적으로 설명함에 있어서, OFDM 기반의 무선통신 시스템을 주된 대상으로 할 것이지만, 본 명세서에서 청구하고자 하는 주요한 요지는 유사한 기술적 배경을 가지는 여타의 통신 시스템 및 서비스에도 본 명세서에 개시된 범위를 크게 벗어나지 아니하는 범위에서 적용 가능하며, 이는 당해 기술분야에서 숙련된 기술적 지식을 가진 자의 판단으로 가능할 것이다.
도 1은 실사 영상과 깊이 지도를 도시한 도면이다.
도 1을 참조하면, 실사 영상(110)은 물체들 및 배경을 촬영한 영상이다. 깊이 지도(160)는 실사 영상(110) 내 각 물체들 및 배경과 실사 영상(110)을 촬영한 카메라 사이의 거리에 관한 정보를 담고 있다. 상기 깊이 지도(160)는 적외선 카메라를 사용하여 생성할 수 있다. 이 경우, 상기 깊이 지도(160)에는 빛에 의해 거리 정보로 인한 오류가 발생할 수 있다.
예를 들어, 실사 영상(110)의 제1 영역(111)은 볼링 공 앞에 볼링 핀이 위치하고, 상기 볼링 공과 상기 볼링 핀사이에 다른 물체가 존재하지 않는다. 이에 반해, 상기 실사 영상(110)의 제1 영역(111)에 대응하는 깊이 지도(160)의 제1 영역(161)에서는 볼링 공과 볼링 핀 사이에 제3의 물체(162)이 존재하는 것으로 나타나 있다. 깊이 지도(160)의 제1 영역(161)이 볼링 공과 볼링 핀 사이에 제3의 물체이 존재하는 것으로 나타나는 오류는 빛에 의해 볼링 공과 볼링 핀의 경계 부분이 또 다른 물체로 인식되어 발생할 수 있다. 즉, 깊이 지도(160)에서 볼링 공은 하나의 값으로 맵핑되어야 하는데 복수의 값으로 맵핑되는 오류가 발생할 수 있다.
도 2는 본 개시의 실시예에 따른 깊이 지도의 오류를 보정하는 순서를 도시한 도면이다.
도 2를 참조하면, 전자 장치는 카메라로부터 촬영된 실사 영상을 획득한다(210).
이 때, 실사 영상은 물체 및 배경 등을 포함할 수 있다. 상기 카메라는 상기 전자 장치에 포함되어 있을 수 있고, 전자 장치에 포함되지 않은 별도의 카메라일 수 있다.
전자 장치는 상기 실사 영상에 대응하는 깊이 지도를 획득한다(220).
깊이 지도는 카메라에 의한 촬영에 의해 획득할 수도 있다. 깊이 지도는 실사 영상과 동일한 시점을 가지며, 상기 실사 영상과 동일한 물체 및 배경 등을 포함할 수 있다. 즉, 실사 영상과 깊이 지도는 서로 대응된다. 또한, 깊이 지도는 실사 영상을 영상 처리하여 획득될 수도 있다.
전자 장치는 실사 영상을 영상 처리하여 실사 영상의 경계 영상을 획득할 수 있다(230). 이하 상기 실사 영상으로부터 획득한 경계 영상을 '제1 경계 영상'이라 한다.
제1 경계 영상은 실사 영상 내 물체, 배경의 경계를 나타내는 영상이다. 제1 경계 영상에 나타난 경계는, 예를 들어, 영상 밝기가 급격하게 변화하는 불연속점으로 나타낼 수 있다. 제1 경계 영상에서의 경계는 실사 영상 내 물체, 배경 등을 구분하는 기준이 될 수 있다.
전자 장치는 깊이 지도를 영상 처리하여 깊이 지도의 경계 영상을 획득한다(240). 이하 상기 실사 영상으로부터 획득한 경계 영상을 '제2 경계 영상'이라 한다. 깊이 지도는 하나의 물체 혹은 배경에 대해서 동일하거나 유사한 깊이 정보를 가진다. 제2 경계 영상은 깊이 지도 내 물체, 배경 영역의 경계를 나타낼 수 있다. 제2 경계 영상에서의 경계는 영상 밝기가 급격하게 변화하는 불연속점으로 나타낼 수 있다. 제2 경계 영상에서의 경계는 깊이 지도 내 물체, 배경 등을 구분하는 기준이 될 수 있다.
전자 장치는 실사 영상의 경계 영상 및 깊이 지도의 경계 영상을 기초로 제1 경계 영상 및 제2 경계 영상을 기초로 깊이 지도의 오류를 검출한다(250).
즉, 전자 장치는 제1 경계 영상 및 제2 경계 영상을 기초로 깊이 지도의 오류를 검출한다. 구체적으로, 전자 장치는 제1 경계 영상에 포함된 경계와 제2 경계 영상에 포함된 경계가 일치하지 않은 영역을 검출한다. 구체적으로, 전자 장치는 서로 일치하지 않은 제1 경계 영상에 포함된 경계와 제2 경계 영상에 포함된 경계의 픽셀 값의 차이를 계산하고, 상기 차이에 대응하는 제2 경계 영상의 영역을 오류로 식별할 수 있다.
전자 장치는 앞서 식별한 오류를 기반으로 깊이 지도의 오류를 보정할 수 있다(260).
구체적으로, 전자 장치는 오류로 식별된 제2 경계 영상의 영역에 포함된 픽셀 값을 상기 영역에 대응하는 제1 경계 영상의 픽셀 값과 일치시킨다. 즉, 전자 장치는 제1 경계 영상의 픽셀 값을 기준으로 제2 경계 영상의 픽셀 값을 보정할 수 있다. 보정된 상기 제2 경계 영상의 픽셀 값을 기준으로 상기 오류로 식별된 영역에 대응하는 깊이 지도의 영상 픽셀 값을 보정할 수 있다. 여기서, 제1 및 제2 경계 영상의 픽셀 값과 깊이 지도의 영상 픽셀 값은 색상 값, 밝기 값 등 실사 영상이 갖고 있는 값일 수 있다. 하지만 제1 및 제2 경계 영상의 픽셀 값과 깊이 지도의 영상 픽셀 값이 색상 값, 밝기 값 등으로 한정되지는 않는다.
도 3은 본 개시의 실시예에 따른 전자 장치에서 깊이 지도의 오류를 보정하는 영상 처리 장치의 구성을 도시한 도면이다.
도 3을 참조하면, 전자 장치(300)은 카메라(310), 송수신부(320) 및 적어도 하나의 제어부(320)를 포함한다. 상기 카메라(310)는 전자 장치에 포함되거나 별도로 구성될 수도 있다.
카메라(310)는 물체 및 배경 등을 포함하는 실사 영상을 촬영한다. 또한, 카메라(310)는 상기 실사 영상에 대응하는 깊이 지도를 촬영할 수 있다.
송수신부(320)는 상기 카메라(310)가 아닌 별도의 카메라로부터 촬영된 실사 영상 및 상기 실사 영상에 대응하는 깊이 지도를 수신한다.
제어부(330)는 실사 영상을 영상 처리하여 깊이 지도를 생성할 수 있다. 제어부(330)는 실사 영상 및 깊이 지도 각각으로부터 경계 영상 획득하기 위한 영상 처리를 수행할 수 있다. 제어부(330)는 실사 영상으로부터 획득한 제1 경계 영상 및 깊이 지도로부터 획득한 제2 경계 영상을 기초로 깊이 지도의 오류를 검출할 수 있다. 제어부(330)는 검출한 오류를 기반으로 깊이 지도의 오류를 보정하기 위한 영상 처리를 수행할 수 있다.
도 4a는 본 개시의 실시예에 따라 1차원 환경에서 깊이 지도의 오류를 보정하기 전을 도시한 도면이다.
도 4b는 본 개시의 실시예에 따라 1차원 환경에서 깊이 지도의 오류를 보정한 후를 도시한 도면이다.
도 4a를 참조하면, 그래프는 실사 영상의 경계 영상 픽셀 값(410) 및 깊이 지도의 경계 영상 픽셀 값(460)을 나타낸다. 이 때, 그래프의 x축은 실사 영상 및 깊이 지도를 1차원으로 관찰하였을 때의 x축 좌표에 대응하는 픽셀의 인덱스를 의미하며, y축은 경계 영상 픽셀 값을 의미한다.
실사 영상의 제1 경계 영역(411), 제2 경계 영역(412) 및 깊이 지도의 제1 경계 영역(461), 제2 경계 영역(462)은 다른 픽셀의 인덱스에 비해 급격하게 변화하는 경계 영상 픽셀 값을 갖는다.
실사 영상의 제1 경계 영역(411)과 깊이 지도의 제1 경계 영역(461)은 일치하지만, 실사 영상의 제2 경계 영역(412) 및 깊이 지도의 제2 경계 영역(462)은 상이함을 볼 수 있다. 따라서, 실사 영상의 제2 경계 영역(412) 및 깊이 지도의 제2 경계 영역(462) 사이의 픽셀 인덱스 값에 대응하는 깊이 지도의 경계 영상 픽셀 값은 오류로 검출된다.
도 4b를 참조하면, 오류 경계 영상 픽셀 값은 실사 영상의 제2 경계 영역(412)에서의 경계 영상 픽셀 값을 깊이 지도의 제2 경계 영역(462)에서의 경계 영상 픽셀 값에 일치시킴으로써 보정할 수 있다. 상기 오류 경계 영상 픽셀 값은, 예를 들어, 실사 영상의 제2 경계 영역(412)에서의 픽셀 값과 깊이 지도의 제2 경계 영역(462)에서의 픽셀 값의 오차 값에 의해 정의될 수 있다.
상기 픽셀 인덱스 값에 대응하는 깊이 지도의 경계 영상 픽셀 값을 보정함으로써, 실사 영상의 제2 경계 영역(412) 및 깊이 지도의 제2 경계 영역(462)은 일치하게 된다. 보정된 깊이 지도의 경계 영상 픽셀 값을 기초로 깊이 지도의 제2 경계 영역(462)에 해당하는 깊이 지도의 영상 픽셀 값은 보정될 수 있다., 이에 따라 깊이 지도의 오류가 보정될 수 있다.
도 5는 본 개시의 실시예에 따라 2차원 환경에서 깊이 지도의 오류 보정을 도시한 도면이다.
도 5를 참조하면, 그래프는 실사 영상의 경계 영상 픽셀 값(510) 및 깊이 지도의 경계 영상 픽셀 값(560)을 나타낸다. 그래프의 x축은 실사 영상 및 깊이 지도를 2차원으로 관찰하였을 때의 x축 좌표에 대응하는 픽셀의 인덱스를 의미하며, y축은 y축 좌표에 대응하는 픽셀 인덱스를 의미한다.
실사 영상의 제1 경계 영역(511) 및 깊이 지도의 제1 경계 영역(561)의 경계 영상 픽셀 값은 서로 상이하다. 따라서, 깊이 지도의 제1 경계 영역(561)에서 오류가 발생하였음을 검출할 수 있다. 이에 따라, 깊이 지도의 제1 경계 영역 (561)의 경계 영상 픽셀 값에 대한 보정을 수행하여야 할 것이다. 예컨대, 실사 영상의 제1 경계 영역(511)의 경계 영상 픽셀 값과 일치하도록 깊이 지도의 제1 경계 영역 (561)의 경계 영상 픽셀 값을 보정할 수 있다. 깊이 지도의 제1 경계 영역(561)의 경계 영상 픽셀 값을 보정 한 후, 상기 깊이 지도의 제1 경계 영역(561)의 경계 영상 픽셀 값을 기준으로 깊이 지도의 제1 경계 영역 (561)에 해당하는 깊이 지도의 영상 픽셀 값을 보정할 수 있다.
또한, 실사 영상의 제2 경계 영역(512) 및 깊이 지도의 제2 경계 영역(562)의 경계 영상 픽셀 값은 서로 상이하다. 따라서, 깊이 지도의 제2 경계 영역(562)에서 오류가 발생하였음을 검출할 수 있다. 이에 따라, 깊이 지도의 제2 경계 영역 (562)의 경계 영상 픽셀 값에 대한 보정을 수행하여야 할 것이다. 예컨대, 실사 영상의 제2 경계 영역(512)의 경계 영상 픽셀 값과 일치하도록 깊이 지도의 제2 경계 영역 (562)의 경계 영상 픽셀 값을 보정할 수 있다. 깊이 지도의 제2 경계 영역(562)의 경계 영상 픽셀 값을 보정 한 후, 상기 깊이 지도의 제2 경계 영역(562)의 경계 영상 픽셀 값을 기준으로 깊이 지도의 제2 경계 영역 (562)에 해당하는 깊이 지도의 영상 픽셀 값을 보정할 수 있다.
본 개시의 다양한 실시예들은 특정 관점에서 컴퓨터 리드 가능 기록 매체(computer readable recording medium)에서 컴퓨터 리드 가능 코드(computer readable code)로서 구현될 수 있다. 컴퓨터 리드 가능 기록 매체는 컴퓨터 시스템에 의해 리드될 수 있는 데이터를 저장할 수 있는 임의의 데이터 저장 디바이스이다. 컴퓨터 리드 가능 기록 매체의 예들은 읽기 전용 메모리(read only memory: ROM: ROM)와, 랜덤-접속 메모리(random access memory: RAM: 'RAM)와, 컴팩트 디스크- 리드 온니 메모리(compact disk-read only memory: CD-ROM)들과, 마그네틱 테이프(magnetic tape)들과, 플로피 디스크(floppy disk)들과, 광 데이터 저장 디바이스들, 및 캐리어 웨이브(carrier wave)들(인터넷을 통한 데이터 송신 등)을 포함할 수 있다. 컴퓨터 리드 가능 기록 매체는 또한 네트워크 연결된 컴퓨터 시스템들을 통해 분산될 수 있고, 따라서 컴퓨터 리드 가능 코드는 분산 방식으로 저장 및 실행된다. 또한, 본 개시의 다양한 실시예들을 성취하기 위한 기능적 프로그램들, 코드, 및 코드 세그먼트(segment)들은 본 개시의 실시예들이 적용되는 분야에서 숙련된 프로그래머들에 의해 쉽게 해석될 수 있다.
또한 본 개시의 다양한 실시예들에 따른 장치 및 방법은 하드웨어, 소프트웨어 또는 하드웨어 및 소프트웨어의 조합의 형태로 실현 가능하다는 것을 알 수 있을 것이다. 이러한 소프트웨어는 예를 들어, 삭제 가능 또는 재기록 가능 여부와 상관없이, ROM 등의 저장 장치와 같은 휘발성 또는 비휘발성 저장 장치, 또는 예를 들어, RAM, 메모리 칩, 장치 또는 집적 회로와 같은 메모리, 또는 예를 들어 콤팩트 디스크(compact disk: CD), DVD, 자기 디스크 또는 자기 테이프 등과 같은 광학 또는 자기적으로 기록 가능함과 동시에 기계(예를 들어, 컴퓨터)로 읽을 수 있는 저장 매체에 저장될 수 있다. 본 개시의 다양한 실시예들에 따른 방법은 제어부 및 메모리를 포함하는 컴퓨터 또는 휴대 단말에 의해 구현될 수 있고, 이러한 메모리는 본 개시의 실시예들을 구현하는 명령들을 포함하는 프로그램 또는 프로그램들을 저장하기에 적합한 기계로 읽을 수 있는 저장 매체의 한 예임을 알 수 있을 것이다.
따라서, 본 개시의 실시예들은 본 명세서의 청구항에 기재된 장치 또는 방법을 구현하기 위한 코드를 포함하는 프로그램 및 이러한 프로그램을 저장하는 기계(컴퓨터 등)로 읽을 수 있는 저장 매체를 포함한다. 또한, 이러한 프로그램은 유선 또는 무선 연결을 통해 전달되는 통신 신호와 같은 임의의 매체를 통해 전자적으로 이송될 수 있고, 본 개시의 실시예들은 이와 균등한 것을 적절하게 포함한다
또한 본 개시의 다양한 실시예들에 따른 장치는 유선 또는 무선으로 연결되는 프로그램 제공 장치로부터 프로그램을 수신하여 저장할 수 있다. 프로그램 제공 장치는 프로그램 처리 장치가 기 설정된 컨텐츠 보호 방법을 수행하도록 하는 지시들을 포함하는 프로그램, 컨텐츠 보호 방법에 필요한 정보 등을 저장하기 위한 메모리와, 그래픽 처리 장치와의 유선 또는 무선 통신을 수행하기 위한 통신부와, 그래픽 처리 장치의 요청 또는 자동으로 해당 프로그램을 송수신 장치로 전송하는 제어부를 포함할 수 있다.
본 명세서와 도면에 개시된 본 개시의 실시 예들은 기술 내용을 쉽게 설명하고, 이해를 돕기 위해 특정 예를 제시한 것일 뿐이며, 본 개시의 청구하고자 하는 범위를 한정하고자 하는 것은 아니다. 또한 앞서 설명된 본 개시에 따른 실시예들은 예시적인 것에 불과하며, 당해 분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 범위의 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 개시에 따른 진정한 기술적 보호 범위는 다음의 특허청구범위에 의해서 정해져야 할 것이다.
본 개시의 다양한 실시예들은 특정 관점에서 컴퓨터 리드 가능 기록 매체(computer readable recording medium)에서 컴퓨터 리드 가능 코드(computer readable code)로서 구현될 수 있다. 컴퓨터 리드 가능 기록 매체는 컴퓨터 시스템에 의해 리드될 수 있는 데이터를 저장할 수 있는 임의의 데이터 저장 디바이스이다. 컴퓨터 리드 가능 기록 매체의 예들은 읽기 전용 메모리(read only memory: ROM: ROM)와, 랜덤-접속 메모리(random access memory: RAM: 'RAM)와, 컴팩트 디스크- 리드 온니 메모리(compact disk-read only memory: CD-ROM)들과, 마그네틱 테이프(magnetic tape)들과, 플로피 디스크(floppy disk)들과, 광 데이터 저장 디바이스들, 및 캐리어 웨이브(carrier wave)들(인터넷을 통한 데이터 송신 등)을 포함할 수 있다. 컴퓨터 리드 가능 기록 매체는 또한 네트워크 연결된 컴퓨터 시스템들을 통해 분산될 수 있고, 따라서 컴퓨터 리드 가능 코드는 분산 방식으로 저장 및 실행된다. 또한, 본 개시의 다양한 실시예들을 성취하기 위한 기능적 프로그램들, 코드, 및 코드 세그먼트(segment)들은 본 개시의 실시예들이 적용되는 분야에서 숙련된 프로그래머들에 의해 쉽게 해석될 수 있다.
또한 본 개시의 다양한 실시예들에 따른 장치 및 방법은 하드웨어, 소프트웨어 또는 하드웨어 및 소프트웨어의 조합의 형태로 실현 가능하다는 것을 알 수 있을 것이다. 이러한 소프트웨어는 예를 들어, 삭제 가능 또는 재기록 가능 여부와 상관없이, ROM 등의 저장 장치와 같은 휘발성 또는 비휘발성 저장 장치, 또는 예를 들어, RAM, 메모리 칩, 장치 또는 집적 회로와 같은 메모리, 또는 예를 들어 콤팩트 디스크(compact disk: CD), DVD, 자기 디스크 또는 자기 테이프 등과 같은 광학 또는 자기적으로 기록 가능함과 동시에 기계(예를 들어, 컴퓨터)로 읽을 수 있는 저장 매체에 저장될 수 있다. 본 개시의 다양한 실시예들에 따른 방법은 제어부 및 메모리를 포함하는 컴퓨터 또는 휴대 단말에 의해 구현될 수 있고, 이러한 메모리는 본 개시의 실시예들을 구현하는 명령들을 포함하는 프로그램 또는 프로그램들을 저장하기에 적합한 기계로 읽을 수 있는 저장 매체의 한 예임을 알 수 있을 것이다.
따라서, 본 개시의 실시예들은 본 명세서의 청구항에 기재된 장치 또는 방법을 구현하기 위한 코드를 포함하는 프로그램 및 이러한 프로그램을 저장하는 기계(컴퓨터 등)로 읽을 수 있는 저장 매체를 포함한다. 또한, 이러한 프로그램은 유선 또는 무선 연결을 통해 전달되는 통신 신호와 같은 임의의 매체를 통해 전자적으로 이송될 수 있고, 본 개시의 실시예들은 이와 균등한 것을 적절하게 포함한다
또한 본 개시의 다양한 실시예들에 따른 장치는 유선 또는 무선으로 연결되는 프로그램 제공 장치로부터 프로그램을 수신하여 저장할 수 있다. 프로그램 제공 장치는 프로그램 처리 장치가 기 설정된 컨텐츠 보호 방법을 수행하도록 하는 지시들을 포함하는 프로그램, 컨텐츠 보호 방법에 필요한 정보 등을 저장하기 위한 메모리와, 그래픽 처리 장치와의 유선 또는 무선 통신을 수행하기 위한 통신부와, 그래픽 처리 장치의 요청 또는 자동으로 해당 프로그램을 송수신 장치로 전송하는 제어부를 포함할 수 있다.
본 명세서와 도면에 개시된 본 개시의 실시 예들은 기술 내용을 쉽게 설명하고, 이해를 돕기 위해 특정 예를 제시한 것일 뿐이며, 본 개시의 청구하고자 하는 범위를 한정하고자 하는 것은 아니다. 또한 앞서 설명된 본 개시에 따른 실시예들은 예시적인 것에 불과하며, 당해 분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 범위의 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 개시에 따른 진정한 기술적 보호 범위는 다음의 특허청구범위에 의해서 정해져야 할 것이다.

Claims (10)

  1. 전자 장치에서 깊이 지도의 오류를 보정하는 방법에 있어서,
    실사 영상으로부터 상기 실사 영상에 포함된 하나 또는 다수의 물체들의 경계를 나타내는 제1 경계 영상을 생성하는 과정과,
    상기 실사 영상에 대응하는 깊이 지도로부터 상기 깊이 지도에 포함된 상기 하나 또는 다수의 물체들의 경계를 나타내는 제2 경계 영상을 생성하는 과정과,
    상기 제1 경계 영상과 상기 제2 경계 영상을 기반으로 오류 경계 영역을 획득하는 과정과,
    상기 오류 경계 영역에서의 오류 정도를 고려하여 상기 제2 경계 영상을 보정하는 과정과,
    상기 보정된 제2 경계 영상을 기초로 상기 오류 경계 영역에 대응하는 상기 깊이 지도를 보정하는 과정을 포함하는 깊이 지도의 오류 보정 방법.
  2. 제1항에 있어서,
    상기 오류 경계 영역을 획득하는 과정은,
    상기 오류 경계 영역에 대응하는 상기 제1 경계 영상에 포함된 경계의 픽셀 값와 상기 오류 경계 영역에 대응하는 상기 제2 경계 영상에 포함된 경계의 픽셀 값을 비교하는 과정과,
    상기 픽셀 값이 서로 다른 영역을 상기 오류 경계 영역으로 식별하는 과정을 더 포함하는 것을 특징으로 하는 방법.
  3. 제1항에 있어서,
    상기 제2 경계 영상을 보정하는 과정은,
    상기 오류 경계 영역에 대응하는 상기 제2 경계 영상의 픽셀 값을 상기 오류 경계 영역에 대응하는 상기 제1 경계 영상의 픽셀 값과 일치하도록 보정하는 과정을 더 포함하는 것을 특징으로 하는 방법.
  4. 제3항에 있어서,
    상기 깊이 지도의 영역을 보정하는 과정은,
    상기 일치된 제2 경계 영상의 픽셀 값을 기초로 상기 오류 경계 영역에 대응하는 상기 깊이 지도의 영상 픽셀 값을 보정하는 과정을 더 포함하는 것을 특징으로 하는 방법.
  5. 제3항 또는 제4항에 있어서,
    상기 제1 경계 영상의 픽셀 값, 상기 제2 경계 영상의 픽셀 값 및 상기 깊이 지도의 영상 픽셀 값은 각 픽셀에 대한 색상 값 또는 밝기 값인 것을 특징으로 하는 방법.
  6. 깊이 지도의 오류를 보정하는 전자 장치에 있어서,
    제어부를 포함하고,
    상기 제어부는,
    실사 영상으로부터 상기 실사 영상에 포함된 하나 또는 다수의 물체들의 경계를 나타내는 제1 경계 영상을 생성하고,
    상기 실사 영상에 대응하는 깊이 지도로부터 상기 깊이 지도에 포함된 상기 하나 또는 다수의 물체들의 경계를 나타내는 제2 경계 영상을 생성하고,
    상기 제1 경계 영상과 상기 제2 경계 영상을 기반으로 오류 경계 영역을 획득하고,
    상기 오류 경계 영역에서의 오류 정도를 고려하여 상기 제2 경계 영상을 보정하고,
    상기 보정된 제2 경계 영상을 기초로 상기 오류 경계 영역에 대응하는 상기 깊이 지도를 보정하는 것을 특징으로 하는 장치.
  7. 제6항에 있어서,
    상기 제어부는,
    상기 오류 경계 영역에 대응하는 상기 제1 경계 영상에 포함된 경계의 픽셀 값와 상기 오류 경계 영역에 대응하는 상기 제2 경계 영상에 포함된 경계의 픽셀 값을 비교하고,
    상기 픽셀 값이 서로 다른 영역을 상기 오류 경계 영역으로 식별하는 것을 특징으로 하는 장치.
  8. 제6항에 있어서,
    상기 제어부는,
    상기 오류 경계 영역에 대응하는 상기 제2 경계 영상의 픽셀 값을 상기 오류 경계 영역에 대응하는 상기 제1 경계 영상의 픽셀 값과 일치하도록 보정하는 것을 특징으로 하는 장치.
  9. 제6항에 있어서,
    상기 제어부는,
    상기 일치된 제2 경계 영상의 픽셀 값을 기초로 상기 오류 경계 영역에 대응하는 상기 깊이 지도의 영상 픽셀 값을 보정하는 것을 특징으로 하는 장치.
  10. 제8항 또는 제9항에 있어서,
    상기 제어부는,
    상기 제1 경계 영상의 픽셀 값, 상기 제2 경계 영상의 픽셀 값 및 상기 깊이 지도의 영상 픽셀 값은 각 픽셀에 대한 색상 값 또는 밝기 값인 것을 특징으로 하는 장치.
KR1020180004703A 2018-01-12 2018-01-12 영상 처리 장치 및 방법 KR20190086320A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020180004703A KR20190086320A (ko) 2018-01-12 2018-01-12 영상 처리 장치 및 방법
PCT/KR2019/000549 WO2019139441A1 (ko) 2018-01-12 2019-01-14 영상 처리 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180004703A KR20190086320A (ko) 2018-01-12 2018-01-12 영상 처리 장치 및 방법

Publications (1)

Publication Number Publication Date
KR20190086320A true KR20190086320A (ko) 2019-07-22

Family

ID=67219118

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180004703A KR20190086320A (ko) 2018-01-12 2018-01-12 영상 처리 장치 및 방법

Country Status (2)

Country Link
KR (1) KR20190086320A (ko)
WO (1) WO2019139441A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112967368A (zh) * 2021-04-20 2021-06-15 梅卡曼德（北京）机器人科技有限公司 基于机器人视觉的物品表面涂胶方法、装置、电子设备和存储介质
US11823351B2 (en) 2020-12-15 2023-11-21 Samsung Electronics Co., Ltd. Image processing method and image processing apparatus

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2576434B (en) * 2013-06-25 2020-09-16 Synopsys Inc Image Processing Method

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101797035B1 (ko) * 2010-02-09 2017-11-13 삼성전자주식회사 오버레이 영역의 3ｄ 영상 변환 방법 및 그 장치
KR101332638B1 (ko) * 2012-02-10 2013-11-25 시모스 미디어텍(주) 깊이 맵 보정 장치 및 방법과 이를 이용한 입체 영상 변환 장치 및 방법
KR20130122419A (ko) * 2012-04-30 2013-11-07 삼성전자주식회사 깊이 에지를 사용한 영상 합성 장치 및 방법
KR101655036B1 (ko) * 2015-06-19 2016-09-07 인하대학교 산학협력단 애너글리프 영상 복원 및 깊이 지도 생성 방법 및 시스템
KR101760463B1 (ko) * 2015-10-28 2017-07-24 성균관대학교산학협력단 깊이 지도 보정 방법 및 그 장치

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11823351B2 (en) 2020-12-15 2023-11-21 Samsung Electronics Co., Ltd. Image processing method and image processing apparatus
CN112967368A (zh) * 2021-04-20 2021-06-15 梅卡曼德（北京）机器人科技有限公司 基于机器人视觉的物品表面涂胶方法、装置、电子设备和存储介质

Also Published As

Publication number Publication date
WO2019139441A1 (ko) 2019-07-18

Similar Documents

Publication Publication Date Title
US10924729B2 (en) Method and device for calibration
EP3640892B1 (en) Image calibration method and device applied to three-dimensional camera
US8306323B2 (en) Method and apparatus for correcting depth image
US10726580B2 (en) Method and device for calibration
CN108111828B (zh) 投影设备校正方法、装置及投影设备
JP2015128242A (ja) 画像投影装置及びそのキャリブレーション方法
CN111028205B (zh) 一种基于双目测距的眼睛瞳孔定位方法及装置
US11527014B2 (en) Methods and systems for calibrating surface data capture devices
US9781412B2 (en) Calibration methods for thick lens model
KR20190086320A (ko) 영상 처리 장치 및 방법
CN112200851B (zh) 一种基于点云的目标检测方法、装置及其电子设备
KR20180022539A (ko) 중첩영역의 제어점들을 이용한 시차 최소화 스티칭 장치 및 방법
US10237485B2 (en) Image processing apparatus, imaging apparatus, and image processing method
US10049454B2 (en) Active triangulation calibration
JP5857712B2 (ja) ステレオ画像生成装置、ステレオ画像生成方法及びステレオ画像生成用コンピュータプログラム
KR20190130407A (ko) 전방위 카메라의 캘리브레이션을 위한 장치 및 방법
US11166005B2 (en) Three-dimensional information acquisition system using pitching practice, and method for calculating camera parameters
US9581439B1 (en) Image capture device with a calibration function and calibration method of an image capture device
CN116016815A (zh) 视频质控方法、视频质控装置以及计算机可读存储介质
JP6381206B2 (ja) 画像処理装置、その制御方法およびプログラム
CN112950709B (zh) 一种位姿预测方法、位姿预测装置及机器人
WO2015198148A2 (en) Active triangulation calibration
CN112262411B (zh) 图像关联方法、系统和装置
CN115147422A (zh) 一种晶圆中心晶粒生成方法、装置、设备及存储介质
CN111311690B (zh) 一种深度相机的标定方法、装置、终端及计算机存储介质

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application