KR101566459B1 - 이미지 기반의 비주얼 헐에서의 오목 표면 모델링 - Google Patents

Abstract

여기에서 개시된 장치 및 방법은 오브젝트의 전체 오목 영역을 캡쳐하기 위한 관점으로부터 얻은 참조 이미지 및 카메라로부터 얻은 참조 이미지의 집합; 오브젝트의 오목 영역의 실루엣 이미지를 얻기 위한 실루엣 처리 모듈; 및 실루엣 처리 모듈에 연결되어 연산된 실루엣 이미지로부터 오목 영역의 가상의 뒤집힌 이미지를 합성하고 오목 영역을 가지는 오브젝트의 비주얼 헐을 생성하는 가상 이미지 합성 모듈을 제공한다.

Description

이미지 기반의 비주얼 헐에서의 오목 표면 모델링{CONCAVE SURFACE MODELING IN IMAGE-BASED VISUAL HULL}

이미지 기반 렌더링(Image Based Rendering(IBR))은 참조 이미지의 세트로부터 새로운 장면을 생성하는 방법이다. 참조 이미지는 오브젝트(object)의 실제적인 사진이며 색은 참조 이미지에서의 픽셀(pixel)로부터 계산될 수 있다. 따라서, IBR은 포토 리얼리즘(photo realism)을 달성하기 위한 방법이다. 이미지 기반의 비주얼 헐(Image-based Visual Hull(IBVH))은 오브젝트의 참조 이미지의 그룹으로부터 3차원(3D) 모델을 재구성하는데 이용될 수 있는 이미지 기반 렌더링의 유형이다. 종래의 IBVH 기술은 입력으로서 사진의 그룹을 이용하여 목적 오브젝트의 볼록 헐(convex hull)을 생성하는 3D 복원 방법을 수반한다.

종래의 IBVH 기술은 기하학적 정보를 복원하기 위하여 참조 이미지에서 오브젝트 실루엣(object silhouette)을 이용한다. 그러나, 이러한 종래 기술이 가지는 문제점은 실루엣이 오브젝트의 표면 상에 오목 영역(concave region)(즉, 오목한 오브젝트라 칭함)의 정보를 보여줄 수 없는 것이다. 그 결과, 오목한 오브젝트는 복원하기 어렵다. 특히, 종래의 IBVH 기술은 융기된 결점을 초래하고, 그 결과 포토 리얼리즘을 감소시킬 수 있다. 융기된 결점을 가지는 재구성된 오브젝트의 예시는 도 2에 도시된다. 융기된 결점의 성장은 부분적으로, 오목 영역이 언제나 오브젝트의 남은 부분에 의해 둘러싸인다는 점에 기인한다. 그 결과, 종래의 IBVH 기술은 참조 이미지로 오목한 오브젝트의 기하학적 구조를 얻는 것에 있어서 문제가 있다.

본 개시에서는, 컴퓨터에서 실행 가능한 프로그램이 저장된 컴퓨터 판독가능 매체 및 방법이 개시되며, 이 방법은 오목 영역 혹은 오목 영역 들을 가지는 오브젝트의 복수의 참조 이미지를 얻는 단계; 및 참조 이미지에 기초하여 오목 영역에 대한 가상의 뒤집힌 이미지(virtual inside-out image)를 생성하는 단계를 포함한다.

대안적으로, 본 개시에서 장치가 기술되며, 이 장치는 오목 영역을 가지는 오브젝트에 대한 카메라로부터 얻은 복수의 참조 이미지 및 오브젝트의 오목 영역을 캡쳐하는 관점(view point)으로부터 얻은 참조 이미지를 저장하기 위한 저장 장치; 각각의 참조 이미지의 실루엣을 얻는 실루엣 처리 모듈(silhouette processing module); 및 오목 영역의 가상의 뒤집힌 이미지를 얻고 오브젝트의 비주얼 헐(visual hull)을 합성하는 가상 이미지 합성 모듈을 포함한다.

대안적으로, 본 개시에서 장치가 기술되며, 이 장치는 카메라로부터 얻은 오브젝트의 복수의 참조 이미지 및 오브젝트의 오목 영역의 전체 경계를 캡쳐하는 관점으로부터 얻은 참조 이미지를 저장하는 저장 장치; 각각의 참조 이미지에 대한 실루엣과 오목 영역의 경계를 얻기 위한 실루엣 처리 모듈; 및 실루엣 처리 모듈에 연결되어 오목 영역의 가상의 뒤집힌 이미지를 얻고 가상의 뒤집힌 이미지에 기초하여 오목 영역을 가지는 오브젝트에 대한 비주얼 헐을 합성하는 가상 이미지 합성 모듈을 포함한다.

대안적으로, 본 개시에서는 방법이 기술되며, 이 방법은 오목 영역을 가지는 오브젝트의 복수의 참조 이미지를 얻는 단계; 복수의 참조 이미지에 기초하여 오목 영역에 대한 가상의 뒤집힌 이미지를 생성하는 단계; 및 가상의 참조 이미지로서 생성된 가상의 뒤집힌 이미지를 이용하여, 상기 복수의 참조 이미지와 함께, 가상의 참조 이미지로부터 매핑(mapping)된 대응하는 세그먼트(segment)에 대한 뺄셈 불린 연산(subtraction Boolean operation)을 수행하고 상기 참조 이미지로부터 매핑된 대응하는 세그먼트에 대한 교차 불린 연산(intersection Boolean operation)을 수행하는 것에 의하여 비주얼 헐을 얻는 단계를 포함한다.

이상은 요약이며, 따라서 필요에 의해, 단순화, 일반화 및 상세한 내용의 생략이 들어있으며, 따라서 당업자는 요약이 단지 예시적인 것이고, 어떠한 방식으로든 제한을 의도한 것이 아니라는 것을 인식할 것이다. 여기에서 기술된 장치 및/또는 프로세스(process) 및/또는 기타 대상의 기타 태양, 특징, 및 장점은 여기에서 제시된 교시에서 분명하게 될 것이다. 요약은 이하의 상세한 설명에서 더 기술되는 단순화한 형태의 개념의 선택을 도입하도록 제공된다. 이 요약은 청구된 대상의 중요한 특징이나 필수 특징을 확인하도록 의도된 것이 아니고, 청구된 대상의 범위를 결정하는 보조로 사용되도록 의도된 것도 아니다.

도 1은 예시적인 실시예에 따른, 본 개시의 방법에 따라 디스플레이(display)된 이미지를 재구성하도록 배열된 컴퓨팅 장치의 구성의 예를 예시한 블록도이다.
도 2는 IBVH를 이용하여 오목한 오브젝트의 융기된 모양의 왜곡이 있는 렌더링 결과를 예시한다.
도 3a는 개시된 방법에 따른 처리 이전의 이미지를 예시한다.
도 3b는 예시적인 실시예에 따라, 오목한 오브젝트의 모델링 방법을 이용한 렌더링 결과를 예시한다.
도 4는 예시적인 실시예에 따라, 도 1의 컴퓨팅 장치에서 실행된 모듈을 예시하는 블록도이다.
도 5는 예시적인 실시예에 따라, 오브젝트의 오목 영역에 대한 가상 실루엣 콘(visual silhouette cone)을 생성하는 방법을 예시하는 흐름도이다.
도 6은 도 5의 3D 좌표를 결정하는 방법에 대한 단계를 예시하는 흐름도이다.
도 7은 참조 이미지로부터 얻은 비주얼 헐을 예시하는 개념도이다.
도 8은 예시적인 실시예에 따라, 오목 영역의 가상의 뒤집힌 이미지를 얻기 위한 가상의 카메라의 개념을 예시한다.
도 9는 3D에서 2D로의 원근 투영(perspective projection)에 의해 얻어진 오목 영역의 투사된 뒤집힌 이미지를 예시한다.
도 10a는 예시적인 실시예에 따라, 바로 위에서 얻은 오브젝트의 참조 이미지이다.
도 10b는 예시적인 실시예에 따라, 이미지 세그멘테이션(segmentation)을 이용하여 얻은 중간 결과를 예시한다.
도 10c는 예시적인 실시예에 따라, 합성된 가상 이미지를 예시한다.
도 11은 참조 이미지로서 오목 영역의 투사된 뒤집힌 이미지를 이용하여 비주얼 헐을 결정하는 방법을 예시하는 흐름도이다.
도 12는 참조 이미지로서 오목 영역의 투사된 뒤집힌 이미지를 이용하여 얻은 비주얼 헐을 예시한다.

이하의 상세한 설명에서, 여기의 일부를 구성하는 첨부 도면에 대한 참조가 이루어진다. 도면에서, 유사한 부호는, 문맥에서 다른 지시가 없다면, 일반적으로 유사한 구성요소를 식별한다. 상세한 설명, 도면 및 청구항에서 기술된 예시적 실시예들은 제한하는 것으로 의미되지 않는다. 여기에 제시된 대상의 범위와 사상을 벗어나지 않고, 다른 실시예가 이용될 수 있고, 다른 변형이 이루어질 수 있다. 여기에서 일반적으로 기술되고 도면에서 도시된 바와 같은 본 개시의 태양들이 다양한 다른 구성으로 배열, 대체, 조합 및 설계될 수 있음과, 이 모두가 명시적으로 고려되고 본 개시의 일부가 됨이 쉽게 이해될 것이다.

본 개시는, 다른 무엇 보다도, 오브젝트의 이미지를 재구성하는 것에 관련된 방법, 장치, 컴퓨터 프로그램 및 시스템에 관한 것이다.

도 3a 및 도 3b에서의 예시에 대하여 도시될 수 있는 바와 같이, 종래의 처리 방법(도 3a)의 렌더링 결과와 비교하여, 본 개시의 처리 방법인 오목한 오브젝트 모델링은 타겟 오목 오브젝트의 모양 및 텍스쳐(texture)를 정확하게 재구성하고 고품질의 포토리얼리스틱(photorealistic)한 결과(도 3b)를 생성한다.

본 개시의 예시적인 실시예에 따르면, 가상의 카메라 및 이미지가 오목한 오브젝트의 기하학적 정보를 특징 짓는 가상 실루엣 콘을 제공하기 위하여 채택되는 한편, 텍스쳐 정보는 오목한 오브젝트 바로 위로부터 얻어진 이미지에 의해 제공된다.

도 1은 본 개시의 방법에 따라 디스플레이된 이미지를 재구성하도록 배열된 컴퓨팅 장치의 구성의 예시를 예시하는 블록도이다.

도 1은 전처리 모듈(pre-processing module), 가상 이미지 합성 모듈, 및 포인트 재배치 모듈(point relocation module)을 구현하기 위한 예시적인 컴퓨팅 장치(100)를 나타낸 블럭도이다. 기초적인 구성(101)에서, 컴퓨팅 장치(100)는 일반적으로 하나 이상의 프로세서(110) 및 시스템 메모리(120)를 포함한다. 메모리 버스(130)는 프로세서(110) 및 시스템 메모리(120) 사이에서 통신하기 위하여 사용될 수 있다.

요구되는 구성에 따라, 프로세서(110)는 마이크로 프로세서(μP), 마이크로 컨트롤러(μC), 디지털 신호 프로세서(DSP), 또는 그들의 임의의 조합을 포함하는 임의의 유형이 될 수 있으나, 이에 제한되지는 않는다. 프로세서(110)는 레벨 1 캐시(111), 레벨 2 캐시(112)와 같은 하나 이상의 레벨(level)의 캐시(cache), 프로세서 코어(113), 및 레지스터(114)를 포함할 수 있다. 프로세서 코어(113)는 산술 논리 연산장치(arithmetic logic unit; ALU), 부동 소수점 장치(floating point unit; FPU), 디지털 신호 처리 코어(DSP Core), 또는 그들의 임의의 조합을 포함할 수 있다. 메모리 컨트롤러(115)는 또한 프로세서(110)와 함께 사용될 수 있고, 또는 일부 구현예에서 메모리 컨트롤러(115)는 프로세서(110)의 내적인 일부가 될 수 있다.

요구되는 구성에 따라, 시스템 메모리(120)는 (RAM 같은) 휘발성 메모리, (ROM, 플래시 메모리 등과 같은) 비휘발성 메모리, 또는 그들의 임의의 조합을 포함하는 임의의 유형일 수 있으나, 이에 제한되지는 않는다. 시스템 메모리(120)는 일반적으로 운영 체제(121), 하나 이상의 어플리케이션(application)(122), 및 프로그램 데이터(124)를 포함한다. 어플리케이션(122)은 오브젝트를 획득하여 렌더링하도록 배열된 오목한 오브젝트의 모델링 처리 어플리케이션(concave object modeling processing application)(123)을 포함한다. 프로그램 데이터(124)는, 이하에서 추가로 기술될 바와 같이, 참조 이미지 데이터(125)를 포함한다. 일부 실시예에서, 어플리케이션(122)은 입체 영상 데이터가 생성될 수 있도록 운영 체제(121) 상에서 프로그램 데이터(224)로 동작하도록 배열될 수 있다. 이러한 기술된 기초적인 구성은 파선(201) 내의 그 구성요소들에 의해 도 1에서 도시된다.

컴퓨팅 장치(100)는 기초적인 구성(101) 및 임의의 요구되는 장치 및 인터페이스(interface) 사이에서 통신을 용이하게 하도록 추가적인 특징 또는 기능, 및 추가적인 인터페이스를 가질 수 있다. 예를 들어, 버스/인터페이스 컨트롤러(140)는 기초적인 구성(101) 및 하나 이상의 데이터 저장 장치(150) 사이에서 저장 인터페이스 버스(141)를 통하여 통신을 용이하게 하도록 사용될 수 있다. 데이터 저장 장치(150)는 분리 가능한 저장 장치(151), 분리 불가능한 저장 장치(152), 또는 그 조합일 수 있다. 분리 가능한 저장 장치 및 분리 불가능한 저장 장치의 예를 몇 가지 들자면, 플렉서블 디스크 드라이브(flexible disk drive) 및 하드 디스크 드라이브(HDD)와 같은 자기 디스크 장치, 컴팩트 디스크(CD) 드라이브 또는 디지털 다목적 디스크(DVD) 드라이브와 같은 광 디스크 드라이브, 고체 상태 드라이브(SSD), 및 테이프 드라이브 등을 포함한다. 예시적인 컴퓨터 저장 매체는 컴퓨터 판독가능 명령, 데이터 구조, 프로그램 모듈(program module), 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술에서 구현되는 휘발성 및 비휘발성의 분리 가능한 매체 및 분리 불가능한 매체를 포함할 수 있다.

시스템 메모리(120), 분리 가능한 저장 장치(151) 및 분리 불가능한 저장 장치(152)는 모두 컴퓨터 저장 매체의 예이다. 컴퓨터 저장 매체는 RAM, ROM, EEPROM, 플래시 메모리 또는 기타 메모리 기술, CD-ROM, 디지털 다목적 디스크(DVD) 또는 기타 광 저장 장치, 자기 카세트, 자기 테이프, 자기 디스크 저장 장치 또는 기타 자기 저장 장치, 또는 요구되는 정보를 저장하도록 사용될 수 있고, 컴퓨팅 장치(100)에 의해 접근될 수 있는 임의의 기타 매체를 포함하나, 이에 제한되지는 않는다. 임의의 그러한 컴퓨터 저장 매체는 장치(100)의 일부일 수 있다.

컴퓨팅 장치(100)는 또한 버스/인터페이스 컨트롤러(140)를 통하여 다양한 인터페이스 장치(예컨대, 출력 인터페이스, 주변 인터페이스, 및 통신 인터페이스)로부터 기초적인 구성(101)으로의 통신을 용이하게 하기 위한 인터페이스 버스(142)를 포함할 수 있다. 예시적인 출력 장치(160)는 그래픽 처리 유닛(161) 및 오디오 처리 유닛(162)을 포함하며, 이는 하나 이상의 A/V 포트(163)를 통하여 디스플레이 또는 스피커와 같은 다양한 외부 장치로 통신하도록 구성될 수 있다. 예시적인 주변 인터페이스(170)는 직렬 인터페이스 컨트롤러(171) 또는 병렬 인터페이스 컨트롤러(172)를 포함하며, 이는 하나 이상의 I/O 포트(173)를 통하여 입력 장치(예컨대, 키보드, 마우스, 펜, 음성 입력 장치, 터치 입력 장치 등) 또는 기타 주변 장치(예컨대, 프린터, 스캐너 등)와 같은 외부 장치와 통신하도록 구성될 수 있다. 예시적인 통신 장치(180)는 네트워크 컨트롤러(181)를 포함하며, 이는 하나 이상의 통신 포트(182)를 통하여 네트워크(102) 통신으로 하나 이상의 컴퓨팅 장치(190)와의 통신을 용이하게 하도록 배열될 수 있다. 통신 연결은 통신 매체의 하나의 예이다. 통신 매체는 일반적으로 컴퓨터 판독가능 명령, 데이터 구조, 프로그램 모듈, 또는 반송파 또는 기타 수송 메커니즘(transport mechanism)과 같은, 변조된 데이터 신호에서의 기타 데이터에 의해 구현될 수 있고 임의의 정보 전달 매체를 포함한다. "변조된 데이터 신호"는 신호 내에 정보를 인코딩하는 방식으로 설정되거나 변경된 하나 이상의 특성을 갖는 신호일 수 있다. 예를 들어, 통신 매체는 유선 네트워크 또는 직접 유선 연결(direct-wired connection)과 같은 유선 매체, 및 음향, 라디오 주파수(RF), 적외선(IR) 및 기타 무선 매체와 같은 무선 매체를 포함할 수 있으나, 이에 제한되지 않는다. 여기에서 사용된 컴퓨터 판독 가능 매체라는 용어는 저장 매체 및 통신 매체 둘 다를 포함할 수 있다.

컴퓨팅 장치(100)는 휴대 전화기, 개인 휴대용 단말기(personal data assistant; PDA), 개인 미디어 재생 장치, 무선 웹워치 장치(wireless web-watch device), 개인 헤드셋 장치, 특정 용도 장치, 또는 상기 기능 중 임의의 것을 포함하는 융합 장치와 같은 소형 폼팩터 휴대용(이동) 전자 장치의 일부로 구현될 수 있다. 컴퓨팅 장치(100)는 또한 랩탑 컴퓨터나 랩탑이 아닌 컴퓨터 구성 둘 다를 포함하는 개인 컴퓨터로 구현될 수 있다.

도 4에서 예시된 바와 같이, 오목한 오브젝트의 모델링 처리 어플리케이션(123)은 두 부분, 실루엣 처리 모듈(402) 및 가상 이미지 합성 모듈(404)을 포함할 수 있다. 실루엣 처리 모듈(402)은 오브젝트의 이미지를 캡쳐 혹은 이에 접근하여 오브젝트의 실루엣을 추출한다. 가상 이미지 합성 모듈(404)은 가상의 카메라를 오목한 오브젝트의 저면에 설정하고, 실루엣을 가상의 카메라의 이미지 공간에 매핑하며, 비주얼 헐을 형성하도록 가상 이미지를 합성한다.

오목한 오브젝트의 모델링 처리 어플리케이션(123)은 실루엣 기반 3D 재구성(shape-from-silhouette 3D reconstruction)에 기초하는 IBVH 기술을 수반한다. 일반적으로 실루엣 기반 3D 재구성은 실루엣 콘(silhouette cone)이라 지칭되는 기하학적 구조의 엔티티(entity)를 생성한다. 실루엣 기반 3D 재구성에서, 원본 이미지는 실루엣 이미지라 지칭되는 전경/배경의 바이너리 이미지를 생성하도록 경계화(thresholding)지어진다. 실루엣으로 알려진 전경 마스크(foreground mask)는 대응하는 3D 전경 오브젝트의 2D 투사이다. 카메라 보기 파라미터(camera viewing parameter)에 따라, 실루엣은 3D 오브젝트를 둘러싸는 역 투사된 일반화된 콘(back-projected generalized cone)을 정의한다. 이러한 일반화된 콘이 실루엣 콘이다.

이미지 기반 비주얼 헐(IBVH) 프로세스는 일반화된 콘의 교차로 비주얼 헐을 생성한다. 일반적으로, IBVH 프로세스는 입력으로서 사진의 그룹을 얻어, 목적 오브젝트의 볼록한 헐을 생성한다. 볼록한 헐은 오브젝트에 대한 비주얼 헐이다. 프로세스에서, 각각의 참조 이미지는 전경 및 후경으로 나뉜다. 전경 마스크, 즉 실루엣은, 카메라의 보정 정보(calibration information)에 따라, 타겟 오브젝트를 포함하는 3D 공간에서 역 투사된 콘을 정의한다. 카메라의 보정 정보는 초점 거리 및 카메라 위치를 포함한다. 모든 실루엣 콘의 교차는 오브젝트의 볼록한 헐을 형성한다. 비주얼 헐의 예시는 도 7에 도시된다.

도 5 및 도 6은 오브젝트에 대한 비주얼 헐로부터의 융기된 모양의 왜곡을 제거하는 방법을 예시한다. 도 7에서의 비주얼 헐은 방법의 단계에서 설명되는 요소를 예시한다. 도 5에서 도시된 바와 같이, 단계 502에서, 오목 영역을 가지는 오브젝트에 대한 비주얼 헐(704)은, 오브젝트의 바깥쪽 측면으로부터 얻어지는, 참조 이미지(702)의 세트로서의 사진의 그룹으로부터 얻어진다. 도 5의 단계 504에서 오목 영역의 경계의 3D 좌표는 비주얼 헐 상에서 계산된다. 도 10a는 오목 영역의 바로 위에서부터 얻은 예시적인 참조 오목 영역 이미지를 도시한다.

도 6은 비주얼 헐 상에서 오목 영역의 경계의 3D좌표를 결정하는 단계 504를 수행하는 단계를 예시한다.

도 6의 단계 602에서, 2D 참조 사진(706) 상에서 오목 영역의 경계(708)는 수동의 상호 작용 또는 이미지 세그멘테이션 기술에 의해 결정된다.

이미지 세그멘테이션 기술은 일반적으로 디지털 이미지를 픽셀의 세트[슈퍼 픽셀(superpixel)로도 알려짐] 복수의 세그먼트로 분할하는 프로세스를 지칭한다. 이미지 세그멘테이션의 목적은 이미지의 표현을 더 의미 있고 분석하기 쉬운 것으로의 단순화 및/또는 변경하는 것이다. 특히, 이미지 세그멘테이션은 동일한 라벨이 있는 픽셀이 일정한 가상의 특징을 공유하도록 이미지에서 모든 픽셀에 라벨(label)을 배정하는 것을 포함한다. 이미지 세그멘테이션은 이미지에서 오브젝트 및 경계(선, 곡선, 등)를 찾아내도록 사용된다. 단계 602의 경우에, 이미지 세그멘테이션은 오목 영역에 대한 경계를 찾는데 이용될 수 있다.

이미지 세그멘테이션의 결과는 전체 이미지를 선별적으로 덮는 세그먼트의 세트 혹은 이미지로부터 추출된 윤곽(contour)의 세트이다. 영역 내의 각각의 픽셀은 일부 특징 또는 색, 강도 또는 텍스쳐와 같은 연산된 속성에 있어 유사하다. 이웃한 영역은 동일한 특징에 있어 상당히 다르다.

도 10b는 오목 영역의 경계가 식별되는, 이미지 세그멘테이션을 이용하여 얻은 중간 결과의 예시를 도시한다.

도 6의 단계 604에서, 비주얼 헐(704) 상에서 오목 영역의 경계(710)에 대한 3D 좌표는 2D 참조 사진 상에서의 위치를 3D 공간으로 다시 투사함으로써 단계 602에서 결정된 2D 참조 사진(706)에서의 오목 영역의 경계(708)를 이용하여 결정된다. 2D 참조 사진 상에서의 위치를 3D 공간으로 다시 투사하는 것을 수행하는 단계는 IBVH 프로세스 단계이다.

도 5에 예시된 방법에서 계속하여, 단계 506에서, 오목 영역 안쪽에 가상의 카메라에 대한 위치가 선택된다. 가상의 카메라의 위치는 오목 영역의 안쪽으로부터 바깥쪽을 향하여 오브젝트를 관찰하는 것에 부합하여 선택된다. 도 8에서의 예시로서 도시된 바와 같이 일 실시예에서, 가상의 카메라가 오목 영역의 저면의 중심에 배치된 위치가 선택될 수 있다. 대안적으로, 오목 영역의 저면의 모서리에서와 같은 기타의 위치가 마찬가지로 선택될 수 있다. 선택된 위치는 완전한 오목 영역의 경계를 포함하도록 그러한 위치에서 생성될 가상의 뒤집힌 이미지를 허용한다. 그 후에, 가상의 뒤집힌 이미지가 완전한 오목 용역의 경계를 전체적으로 덮을 수 있는 여러 위치가 선택될 수 있다.

단계 508에서, 가상의 카메라의 카메라 파라미터는 선택된 위치에 기초하여 결정된다.

가상의 카메라의 중심이 설정되면, 카메라의 외부 파라미터의 변환 벡터(transformation vector)가 결정된다. 외부 파라미터의 회전 행렬(rotation matrix)에 대하여, 세 개의 회전 각이

로 공통적으로 설정되어, 가상의 카메라의 방향은 위쪽으로 및 오브젝트의 저면에 수직으로 머물러, 오목한 오브젝트의 바로 아래의 저면으로부터 캡쳐하는 시뮬레이션을 가능하게 한다. 내부 파라미터에 관해서는, 초점 거리(f)만이 수정될 필요가 있으며, 기타 요소들은 참조 이미지를 찍는 실제 카메라의 대응하는 요인과 일치하여 남아있게 된다. 보통, 가상의 카메라의 초점 거리는 오목한 오브젝트의 깊이에 비례한다. 참조 이미지를 찍는 카메라의 알려진 파라미터에 기초하여, 오목 영역의 경계의 전체 영역이 가상의 카메라에 의해 찍힌 가상 이미지 내에 있도록 가상 이미지의 초점거리(f)의 값이 설정될 수 있다.

카메라 파라미터는 그 카메라 파라미터에 기초하여 가상의 카메라에 의해 얻어진 가상의 뒤집힌 이미지가 전체적으로 완전한 오목 영역의 경계를 덮도록 선택된다.

단계 510에서, 실루엣의 이미지 및 오목 영역의 텍스쳐는, 예컨대, 완전한 오목 영역의 경계가 포함되어 있는, 참조 오목 영역의 이미지로서, 오목 영역 바로 위 및 바깥쪽으로부터 캡쳐된다. 대안적으로, 완전한 오목 영역의 경계가 여러 이미지에 의하여 전체적으로 덮어질 수 있는 여러 이미지가 얻어질 수 있다.

단계 512에서, 단계 504에서 생성된 오목 영역의 경계의 3D 좌표, 단계 508에서 생성된 카메라 파라미터, 및 단계 510에서 얻은 참조 오목 영역 이미지에 기초하여, 3D에서 2D로의 원근 투영에 관한 종래의 기술을 이용함으로써, 가상의 뒤집힌 이미지가 생성된다.

3D에서 2D로의 원근 투영의 단계 512가 도 9에 도시된다. 단계 512에서 3D에서 2D로의 원근 투영은 2D 평면에 있는 참조 오목 영역 이미지(902)가 3D공간(904)으로 투사되는 방법이다. 3D 공간에서 오목 영역의 경계(906)는 2D 평면에서의 가상의 뒤집힌 이미지(908)로 투사된다.

(상이한 가상의 카메라의 위치로)하나 또는 여러 가상의 뒤집힌 이미지는 그러한 하나 또는 여러 가상의 뒤집힌 이미지가 완전한 오목 영역의 경계를 덮을 수 있는 한 생성될 수 있다.

도 10c는 가상의 카메라에 의해 얻어진 가상의 뒤집힌 이미지의 예시를 도시한다.

3D에서 2D로의 원근 투영의 프로세스는 이미지 기반 비주얼 헐(IBVH) 프로세스를 이용하여 생성된 비주얼 헐을 이용하여 수행될 수 있다.

또한, 오목한 오브젝트의 수정된 비주얼 헐은 추가적인 참조 이미지로서 하나 또는 여러 가상의 뒤집힌 이미지와 마찬가지로 원본 참조 이미지를 이용하여 생성될 수 있다. 하나 또는 여러 가상의 뒤집힌 이미지는 참조 이미지로 이용되며, 가상의 뒤집힌 이미지의 교차 점 사이에서의 세그먼트는 시선(view ray)으로부터 (뺄셈 불린 연산을 통하여) 빼지게(subtracted) 된다. 또한, 여러 가상의 뒤집힌 이미지가 참조 이미지로 이용되는 경우에는, 그 세그먼트는 전체적으로 빼지게 된다.

특히, 오목한 오브젝트에 대한 수정된 비주얼 헐을 생성함에 있어서, 뺄셈 불린 연산은 가상의 카메라에 기초하여 생성된 가상의 뒤집힌 이미지로부터 매핑된 세그먼트에 대하여 수행되며, 교차 불린 연산은 기타의 참조 사진으로부터 매핑된 세그먼트에 대하여 수행된다.

오목 영역에 대한 수정된 비주얼 헐을 계산하는 단계를 입증하는 예시가 도 12에 예시되고, 도 11에서 도시된 바와 같이 다음의 단계를 포함한다.

도 11의 단계 1102에서, 새로운 카메라["새로운" 카메라는 도 12에서의 모든 기타의 참조 이미지(1204)의 보는 방향과 상이한 새로운 관점으로부터 오브젝트를 찍는 실제의 카메라를 의미함]에 의해 찍힌 새로운 관점의 이미지(도 12에서 도면 부호 1202)의 픽셀에 대하여, 시선이 계산되며, 이는 새로운 카메라의 중심으로부터 방출되어(emitted) 새로운 관점 이미지의 픽셀을 통과한다. 참조 이미지(1204)에서 이러한 시선의 투사, 즉 투사된 시선은 새로운 카메라의 위치 정보를 이용함에 의하여 결정될 수 있다.

유사한 방식으로, 투사된 시선이 또한 가상의 참조 이미지로서의 가상의 뒤집힌 이미지(1208)에 대하여 결정된다.

도 11의 단계 1104에서, 투사된 시선이 참조 이미지(1204) 상에서 2D 실루엣과 교차하는 점은 참조 이미지 상에서 2D 인터벌(interval)의 세트을 야기한다.

도 11의 단계 1106에서, 참조 이미지에서의 2D 인터벌은 시선 상에서 대응하는 3D 세그먼트가 얻어지도록 3D 공간(1206)으로 다시 투사된다.

도 11의 단계 1108에서, 1D 불린 교차 연산은 모든 참조 이미지(1204)로부터 투사된 모든 투사된 3D 선 세그먼트에 수행되며, 그 결과, 즉 모든 참조 이미지(1204)로부터의 모든 3D 세그먼트의 교차가 새로운 관점 이미지의 픽셀에 대한 비주얼 헐의 경계를 나타낸다.

도 11의 단계 1110에서, 하나 이상의 가상의 뒤집힌 이미지(1208)에서의 2D 인터벌은 시선 상의 대응하는 세그먼트를 얻기 위하여 3D 공간(1206)으로 다시 투사되며, 이후에 오목 영역을 가지는 오브젝트에 대한 비주얼 헐을 얻도록 시선 및 가상의 뒤집힌 이미지로부터 매핑된 세그먼트에 대하여 뺄셈 불린 연산이 수행된다.

여기에서 개시된 방법, 컴퓨터 판독가능 저장 매체 및 장치에 따르면, 오목 영역의 가상의 뒤집힌 이미지 또는 오브젝트의 오목 영역이 생성될 수 있다. 가상의 뒤집힌 이미지는 종래의 이미지 기반 비주얼 헐 기술로는 불가능한 오브젝트의 뷰(view)를 가능하게 한다. 추가적으로, 가상의 뒤집힌 이미지는 오목 영역을 가지는 오브젝트의 정제된 비주얼 헐을 생성하는데에 사용될 수 있고, 비주얼 헐은 오브젝트의 기하학적 구조를 정확히 묘사한다. 추가적으로, 정제된 비주얼 헐은 융기된 결점이 없는 오브젝트의 포토리얼리스틱한 이미지를 얻는 데에 이용될 수 있다.

전술한 상세한 설명은 블록도, 흐름도, 및/또는 예를 통해 장치의 다양한 실시예 및/또는 프로세스를 설명하였다. 그러한 블록도, 흐름도, 및/또는 예는 하나 이상의 기능 및/또는 동작을 포함하는 한, 당업자라면 그러한 블록도, 흐름도, 또는 예 내의 각각의 기능 및/또는 동작은 하드웨어, 소프트웨어, 펌웨어, 또는 가상의 그들의 임의의 조합의 넓은 범위에 의해 개별적으로 및/또는 집합적으로 구현될 수 있다는 것이 이해될 것이다. 일 실시예에서, 본 개시에 기재된 대상의 몇몇 부분은 ASIC(Application Specific Integrated Circuit), FPGA(Field Programmable Gate Array), DSP(Digital Signal Processor) 또는 다른 집적의 형태를 통해 구현될 수 있다. 그러나, 당업자라면, 본 개시의 실시예의 일부 양상은, 하나 이상의 컴퓨터 상에 실행되는 하나 이상의 컴퓨터 프로그램(예를 들어, 하나 이상의 컴퓨터 시스템 상에 실행되는 하나 이상의 프로그램), 하나 이상의 프로세서 상에서 실행되는 하나 이상의 프로그램(예를 들어, 하나 이상의 마이크로프로세서 상에서 실행되는 하나 이상의 프로그램), 펌웨어 또는 실질적으로 이들의 조합으로써, 전체적으로 또는 부분적으로 균등하게 집적회로에 구현될 수 있다는 알 수 있으며, 소프트웨어 및/또는 펌웨어를 위한 코드의 작성 및/또는 회로의 설계는 본 개시에 비추어 당업자에게 자명할 것이다. 또한, 당업자라면, 본 개시의 대상의 매커니즘(mechanism)들이 다양한 형태의 프로그램 제품으로 분포될 수 있음을 이해할 것이며, 본 개시의 대상의 예시는, 분배를 실제로 수행하는데 사용되는 신호 포함 매체(signal bearing medium)의 특정 유형과 무관하게 적용됨을 이해할 것이다. 신호 포함 매체의 예는, 플로피 디스크, 하드 디스크 드라이브, CD, DVD, 디지털 테이프, 컴퓨터 메모리 등과 같은 판독가능 유형의 매체, 디지털 및/또는 아날로그 통신 매체(예를 들어, 섬유 광학 케이블, 웨이브가이드, 유선 통신 링크, 무선 통신 링크 등)와 같은 전송 유형 매체를 포함할 수 있으나, 이에 제한되지는 않는다.

당업자라면, 여기서 설명된 형식으로 장치 및/또는 프로세스를 기술하고, 이후, 공학 실무를 사용하여 그러한 기술된 장치(예를 들면, 전송기, 수신기, 컴퓨팅 플랫폼, 컴퓨팅 장치 등) 및/또는 방법을 데이터 처리 시스템에 통합한다는 것은 당해 분야에서는 일반적이란 것을 인식할 것이다. 즉, 여기서 기술된 장치 및/또는 방법의 적어도 일부는 합당한 실험량을 통해 데이터 처리 시스템에 통합될 수 있다. 당업자라면, 전형적인 데이터 처리 시스템은 일반적으로 하나 이상의 시스템 유닛 하우징, 비디오 디스플레이 장치, 휘발성 및 비휘발성 메모리 같은 메모리, 마이크로프로세서 및 디지털 신호 프로세서 같은 프로세서, 운영 체제, 드라이버, 그래픽 사용자 인터페이스 및 애플리케이션 프로그램과 같은 컴퓨터 엔티티(computational entities), 터치 패드 또는 스크린 같은 하나 이상의 상호작용 장치, 및/또는 피드백 루프 및 제어 모터(예를 들면, 위치 및/또는 속도를 감지하기 위한 피드백; 컴포넌트 및/또는 양(quantities)을 이동하고 및/또는 조정하기 위한 제어 모터)를 포함하는 제어 시스템을 일반적으로 포함한다는 것을 인식할 것이다. 전형적인 데이터 처리 시스템은 데이터 컴퓨팅/통신 및/또는 네트워크 컴퓨팅/통신 시스템에서 전형적으로 발견되는 바와 같은 임의의 적절한 상업적으로 이용가능한 컴포넌트를 이용하여 구현될 수 있다.

여기서 기술된 대상은 때때로 상이한 다른 컴포넌트 내에 포함되거나 접속된 상이한 컴포넌트를 도시한다. 도시된 그러한 아키텍처는 단순히 예시적인 것이고, 사실상 동일한 기능을 달성하는 다른 많은 아키텍처가 구현될 수 있다는 것이 이해되어야 한다. 개념적으로, 동일한 기능을 달성하기 위한 컴포넌트의 임의의 배치는 원하는 기능이 달성되도록 유효하게 "연관"된다. 이에 따라, 특정 기능을 달성하기 위해 여기서 결합된 임의의 두 개의 컴포넌트는, 아키텍처 또는 중간 컴포넌트와는 무관하게, 원하는 기능이 달성되도록 서로 "연관"된 것으로 볼 수 있다. 마찬가지로, 연관된 두 개의 컴포넌트는 또한 원하는 기능을 달성하기 위해 서로 "동작적으로 접속"되거나 또는 "동작적으로 연결"되는 것으로 간주될 수 있고, 그와 같이 연관될 수 있는 임의의 두 개의 컴포넌트는 또한 원하는 기능을 달성하기 위해 서로 "동작적으로 연결가능"한 것으로 볼 수 있다. 동작적으로 연결 가능하다는 것의 특정 예는 물리적으로 양립가능(mateable)하고 및/또는 물리적으로 상호작용하는 컴포넌트 및/또는 무선으로 상호작용이 가능하고 및/또는 무선으로 상호작용하는 컴포넌트 및/또는 논리적으로 상호작용하고 및/또는 논리적으로 상호작용이 가능한 컴포넌트를 포함하지만, 이에 한정되는 것은 아니다.

여기에서 실질적으로 임의의 복수 및/또는 단수의 용어의 사용에 대하여, 당업자는 맥락 및/또는 응용에 적절하도록, 복수를 단수로 및/또는 단수를 복수로 해석할 수 있다. 다양한 단수/복수의 치환은 명확성을 위해 여기에서 명시적으로 기재될 수 있다.

당업자라면, 일반적으로 본 개시에 사용되며 특히 첨부된 청구범위(예를 들어, 첨부된 청구범위)에 사용된 용어들이 일반적으로 "개방적(open)" 용어(예를 들어, 용어 "포함하는"은 "포함하지만 이에 제한되지 않는"으로, 용어 "갖는"는 "적어도 갖는"으로, 용어 "포함하다"는 "포함하지만 이에 한정되지 않는" 등으로 해석되어야 함)로 의도되었음을 이해할 것이다. 또한, 당업자라면, 도입된 청구항의 기재사항의 특정 수가 의도된 경우, 그러한 의도가 청구항에 명시적으로 기재될 것이며, 그러한 기재사항이 없는 경우, 그러한 의도가 없음을 또한 이해할 것이다. 예를 들어, 이해를 돕기 위해, 이하의 첨부 청구범위는 "적어도 하나" 및 "하나 이상" 등의 도입 구절의 사용을 포함하여 청구항 기재사항을 도입할 수 있다. 그러나, 그러한 구절의 사용이, 부정관사 "하나"("a" 또는 "an")에 의한 청구항 기재사항의 도입이, 그러한 하나의 기재사항을 포함하는 실시예로, 그러한 도입된 청구항 기재사항을 포함하는 특정 청구항을 제한함을 암시하는 것으로 해석되어서는 안되며, 동일한 청구항이 도입 구절인 "하나 이상" 또는 "적어도 하나" 및 "하나"("a" 또는 "an")과 같은 부정관사(예를 들어, "하나"는 "적어도 하나" 또는 "하나 이상"을 의미하는 것으로 일반적으로 해석되어야 함)를 포함하는 경우에도 마찬가지로 해석되어야 한다. 이는 청구항 기재사항을 도입하기 위해 사용된 정관사의 경우에도 적용된다. 또한, 도입된 청구항 기재사항의 특정 수가 명시적으로 기재되는 경우에도, 당업자라면 그러한 기재가 일반적으로 적어도 기재된 수(예를 들어, 다른 수식어가 없는 "두개의 기재사항"을 단순히 기재한 것은, 일반적으로 적어도 두 개의 기재사항 또는 두 개 이상의 기재사항을 의미함)를 의미하도록 해석되어야 함을 이해할 것이다. 또한, "A, B 및 C,등 중의 적어도 하나"와 유사한 규칙이 사용된 경우에는, 일반적으로 그러한 해석은 당업자가 그 규칙을 이해할 것이라는 전제가 의도된 것이다(예를 들어, "A, B 및 C 중의 적어도 하나를 갖는 시스템"은, A만을 갖거나, B만을 갖거나, C만을 갖거나, A 및 B를 함께 갖거나, A 및 C를 함께 갖거나, B 및 C를 함께 갖거나, A, B, 및 C를 함께 갖는 시스템을 포함하지만 이에 제한되지 않음). "A, B 또는 C 중의 적어도 하나"와 유사한 규칙이 사용된 경우에는, 일반적으로 그러한 해석은 당업자가 그 규칙을 이해할 것이라는 전제가 의도된 것이다(예를 들어, "A, B 또는 C 중의 적어도 하나를 갖는 시스템"은, A만을 갖거나, B만을 갖거나, C만을 갖거나, A 및 B를 함께 갖거나, A 및 C를 함께 갖거나, B 및 C를 함께 갖거나, A, B, 및 C를 함께 갖는 시스템을 포함하지만 이에 제한되지 않음). 또한 당업자라면, 실질적으로 어떠한 이접 접속어(disjunctive word) 및/또는 두 개 이상의 대안적인 용어들을 나타내는 구절은, 그것이 상세한 설명, 청구범위 또는 도면에 있는지와 상관없이, 그 용어들 중의 하나, 그 용어들 중의 어느 하나, 또는 그 용어들 두 개 모두를 포함하는 가능성을 고려했음을 이해할 것이다. 예를 들어, "A 또는 B"라는 구절은 "A" 또는 "B" 또는 "A 및 B"의 가능성을 포함하는 것으로 이해될 것이다.

다양한 양상 및 실시예들이 본 개시에서 기술되었지만, 다른 양상 및 실시예들이 당업자에게 명확할 것이다. 본 개시에 기재된 다양한 양상 및 실시예는 예시의 목적으로 제시된 것이고, 제한하려고 의도된 것은 아니며, 진정한 범위 및 사상은 이하 청구범위에 의해 나타낸다.

Claims (16)

1. 컴퓨팅 장치에서, 오목 영역(concave region)을 가지는 오브젝트(object)의 복수의 참조 이미지(reference image)를 획득하는 단계; 및
   상기 컴퓨팅 장치에서, 상기 복수의 참조 이미지에 기초하여 상기 오목 영역에 대한 가상의 뒤집힌 이미지(virtual inside-out image)를 생성하는 단계
   를 포함하고,
   상기 가상의 뒤집힌 이미지를 생성하는 단계는,
   상기 복수의 참조 이미지에 기초하여 상기 오브젝트의 바깥쪽 경계에 대한 비주얼 헐(visual hull)을 획득하는 단계;
   상기 비주얼 헐 상에 상기 오목 영역의 경계의 3 차원 좌표를 결정하는 단계;
   상기 오목 영역에 대한 가상의 뒤집힌 이미지를 계산하기 위하여 상기 오목 영역의 안쪽에 위치를 선택하는 단계;
   상기 위치에 대한 이미지 파라미터들(image parameters)을 결정하는 단계;
   상기 오목 영역의 경계를 포함하는 참조 오목 영역 이미지(reference concave region image)를 캡쳐하는 단계; 및
   3 차원에서 2 차원으로의 원근 투영(perspective projection)을 수행함에 의하여 상기 3 차원 좌표, 상기 이미지 파라미터들, 및 상기 참조 오목 영역 이미지에 기초하여 상기 오목 영역에 대한 상기 가상의 뒤집힌 이미지를 생성하는 단계에 의하는, 방법.
2. 제1항에 있어서,
   상기 오목 영역의 경계의 3 차원 좌표를 결정하는 단계는
   이미지 세그멘테이션(image segmentation)에 의하여 상기 오브젝트의 2 차원 참조 사진에서 상기 오목 영역의 경계를 결정하는 단계; 및
   상기 2 차원 참조 사진에서의 상기 오목 영역의 상기 경계를 이용하여 상기 비주얼 헐 상에서 오목 영역의 경계의 상기 3 차원 좌표를 결정하는 단계를 포함하는 방법.
3. 제1항에 있어서,
   상기 복수의 참조 이미지 각각으로부터 상기 가상의 뒤집힌 이미지로 매핑된 세그먼트들(segments)에 대하여 뺄셈 불린 연산(subtraction Boolean operation)을 수행함으로써 수정된 비주얼 헐을 획득하는 단계를 더 포함하는 방법.
4. 제1항에 있어서,
   상기 가상의 뒤집힌 이미지를 생성하는 단계는 복수의 가상의 뒤집힌 이미지를 생성하는 단계를 포함하고,
   상기 방법은,
   상기 복수의 참조 이미지 각각으로부터 상기 복수의 가상의 뒤집힌 이미지 각각으로 매핑된 세그먼트들에 대하여 뺄셈 불린 연산을 수행함으로써 수정된 비주얼 헐을 획득하는 단계
   를 더 포함하는 방법.
5. 제1항에 있어서,
   상기 위치에 대한 이미지 파라미터들을 결정하는 단계는 초점 거리를 포함하는 가상의 카메라 파라미터들을 결정하는 단계를 포함하는, 방법.
6. 컴퓨터 실행 가능 프로그램 코드를 저장하는 비일시적 컴퓨터 판독 가능한 저장 매체로서, 컴퓨터에 의해 실행되면,
   오목 영역을 가지는 오브젝트의 복수의 참조 이미지를 획득하는 단계; 및
   동작들을 시행함으로써 상기 복수의 참조 이미지에 기초하여 상기 오목 영역에 대한 가상의 뒤집힌 이미지를 생성하는 단계
   를 포함하는 방법을 수행하고,
   상기 동작들은,
   상기 복수의 참조 이미지에 기초하여 상기 오브젝트의 바깥쪽 경계에 대한 비주얼 헐을 획득하는 동작;
   상기 비주얼 헐 상에서 상기 오목 영역의 경계의 3 차원 좌표를 결정하는 동작;
   상기 오목 영역에 대한 상기 가상의 뒤집힌 이미지를 계산하기 위하여 상기 오목 영역의 안쪽에 위치를 선택하는 동작;
   상기 위치에 대한 이미지 파라미터들을 결정하는 동작;
   상기 오목 영역의 상기 경계를 포함하는 참조 오목 영역 이미지를 캡쳐하는 동작; 및
   3 차원에서 2 차원으로의 원근 투영을 수행함에 의하여 상기 3 차원 좌표, 상기 이미지 파라미터들, 및 상기 참조 오목 영역 이미지에 기초하여 상기 오목 영역에 대한 상기 가상의 뒤집힌 이미지를 생성하는 동작을 포함하는, 비일시적 컴퓨터 판독 가능한 저장 매체.
7. 오브젝트의 복수의 참조 이미지를 저장하도록 구성된 저장 매체; 및
   상기 저장 매체에 결합된 프로세서를 포함하고,
   상기 프로세서는 동작들을 시행함으로써 상기 복수의 참조 이미지에 기초하여 오목 영역에 대한 가상의 뒤집힌 이미지를 생성하도록 구성되고,
   상기 동작들은,
   상기 복수의 참조 이미지에 기초하여 상기 오브젝트의 바깥쪽 경계에 대한 비주얼 헐을 획득하는 동작;
   상기 비주얼 헐 상에서 상기 오목 영역의 경계의 3 차원 좌표를 결정하는 동작;
   상기 오목 영역에 대한 상기 가상의 뒤집힌 이미지를 계산하기 위하여 상기 오목 영역의 안쪽에 위치를 선택하는 동작;
   상기 위치에 대한 이미지 파라미터들을 결정하는 동작;
   상기 오목 영역의 상기 경계를 포함하는 참조 오목 영역 이미지를 캡쳐하는 동작; 및
   3 차원에서 2 차원으로의 원근 투영을 수행함에 의하여 상기 3 차원 좌표, 상기 이미지 파라미터들, 및 상기 참조 오목 영역 이미지에 기초하여 상기 오목 영역에 대한 상기 가상의 뒤집힌 이미지를 생성하는 동작을 포함하는, 장치.
8. 삭제
9. 삭제
10. 삭제
11. 삭제
12. 삭제
13. 삭제
14. 삭제
15. 삭제
16. 삭제

Images