KR20150021522A

KR20150021522A - 입체 결상을 구현하는 방법 및 장치

Info

Publication number: KR20150021522A
Application number: KR20147035457A
Authority: KR
Inventors: 샤오화 우; 이 류; 샹 주
Original assignee: 지티이 코포레이션
Priority date: 2012-06-28
Filing date: 2013-06-27
Publication date: 2015-03-02
Also published as: EP2852161A4; EP2852161A1; US20150156475A1; CN102761768A; WO2014000663A1

Abstract

입체 결상을 구현하는 방법 및 장치에 있어서, 상기 방법에는, 이미지를 수집하며; 수집된 이미지 중의 물체를 분할하여 상이한 물체를 구분하며; 각 물체와 카메라 사이의 거리를 측정하며; 측정된 거리에 의하여 신 깊이 정보 다이어그램을 생성하며; 상기 신 깊이 정보 다이어그램과 원래 수집된 이미지를 이용하여 원래 수집된 이미지를 입체 이미지로 전환시키며; 상기 입체 이미지를 출력하는; 것이 포함된다. 본 발명의 실시예에서는 단일 카메라를 사용하여 3D 이미지 촬영을 구현할 수 있다.

Description

입체 결상을 구현하는 방법 및 장치{METHOD AND DEVICE FOR IMPLEMENTING STEREO IMAGING}

본 발명은 이동통신, 이미지 처리 분야에 관한 것으로서, 특히 단일 카메라로 입체(3D) 결상을 구현하는 방법 및 장치에 관한 것이다.

현재, 스마트폰의 보급에 따라 많은 사용자들의 이동 단말에 대한 요구는 단지 종래의 음성 통화에만 머물지 않고, 멀티미디어 응용에 대한 수요도 날로 많아지고 있다. 아울러, 이미지 처리 기술의 발전에 따라 3D 촬영과 3D 디스플레이 기술도 날로 성숙되고 있으며, 이러한 기술을 기반으로 하는 전자설비도 점차적으로 사람들의 생활에 진입하고 있다. 3D 촬영과 3D 디스플레이를 통하여 사용자들은 간편하게 3D 촬영 기술을 이용하여 의미가 있는 장면을 기록함으로써 생활의 재미를 더할 수 있다.

하지만 현재의 3D 촬영은 모두 두 개의 카메라를 이용하여 사람의 눈을 시뮬레이션하여 왼쪽 눈과 오른쪽 눈의 화면을 촬영한다. 현재 두 개의 카메라의 배열 방식은 두 가지가 있는 바, 한 가지는 수평으로 병행 배열하는 것이고, 다른 한 가지는 수직으로 상하로 배열하는 것이다. 이들의 거리는 일반적으로 사람 눈의 동공과 비슷하여 60~65 밀리미터(mm)이며, 촬영을 진행할 때 근경 또는 원경에 따라 두 카메라 사이의 거리를 조절한다. 아주 중요한 문제는 두 개의 카메라 사이의 조리개, 초점 거리 및 밝기의 일치성을 확보하는 것으로서, 그렇지 않으면 촬영된 두 화면이 육안으로 관찰했을 때 아주 불편한 감을 주게 된다. 그리고, 3D 촬영 기능을 가진 휴대폰 가격은 모두 비교적 높으며, 또한 현재의 대부분 휴대폰은 모두 일반적인 단일 카메라이고 3D 카메라가 아니다. 그러므로 3D 효과의 이미지를 촬영할 수 없다.

본 발명의 실시예에서 해결하고자 하는 기술적 과제는 입체 결상을 구현하는 방법 및 장치를 제공하여 단일 카메라로 3D 이미지 촬영을 구현하는 것이다.

상기 기술적 과제를 해결하기 위하여, 본 발명에서는 입체 결상을 구현하는 방법을 제공하는 바,

이미지를 수집하며;

수집된 이미지 중의 물체를 분할하여 상이한 물체를 구분하며;

각 물체와 카메라 사이의 거리를 측정하며;

측정된 거리 정보에 의하여 신 깊이 정보 다이어그램을 생성하며;

상기 신 깊이 정보 다이어그램과 원래 수집된 이미지를 이용하여 원래 수집된 이미지를 입체 이미지로 전환시키며;

상기 입체 이미지를 출력하는; 것이 포함된다.

선택적으로, 상기 수집된 이미지 중의 물체를 분할하여 상이한 물체를 구분하는 것에는,

수집된 이미지의 데이터에 대하여 인코딩을 진행하여 이미지의 키 프레임을 취득하며;

상기 키 프레임에 대하여 분할을 진행하여 상기 이미지 중의 각 물체를 분리시키는; 것이 포함된다.

선택적으로, 상기 각 물체와 카메라 사이의 거리를 측정하는 것에는,

수집된 이미지로부터 구분해낸 각 물체의 주요 특징 정보를 추출하며;

상기 각 물체의 주요 특징 정보에 의하여 각 물체와 카메라 사이의 거리를 측정하는; 것이 포함된다.

선택적으로, 상기 신 깊이 정보 다이어그램과 원래 수집된 이미지를 이용하여 원래 수집된 이미지를 입체 이미지로 전환시키는 것에는,

깊이 3D 전환 알고리즘을 이용하여 원래 수집된 이미지를 입체 이미지로 전환시키는 것이 포함되는 바, 상기 깊이 3D 전환 알고리즘에는 깊이 이미지의 3D 효과 합성 기술 또는 구조 재구성 기술이 포함된다.

상기 기술적 과제를 해결하기 위하여, 본 발명에서는 또한 입체 결상을 구현하는 장치를 제공하는 바,

이미지를 수집하도록 설정되는 이미지 수집 모듈;

수집된 이미지 중의 물체를 분할하여 상이한 물체를 구분하도록 설정되는 이미지 분할 모듈;

각 물체와 카메라 사이의 거리를 측정하도록 설정되는 거리 측정 모듈;

측정된 거리 정보에 의하여 신 깊이 정보 다이어그램을 생성하도록 설정되는 이미지 정보 처리 모듈;

상기 신 깊이 정보 다이어그램과 원래 수집된 이미지에 의하여 원래 수집된 이미지를 입체 이미지로 전환시키도록 설정되는 이미지 전환 모듈; 및

상기 입체 이미지를 출력하도록 설정되는 이미지 출력 모듈;이 포함된다.

선택적으로, 상기 이미지 분할 모듈에는,

수집된 이미지의 데이터에 대하여 인코딩을 진행하여 이미지의 키 프레임을 취득하도록 설정되는 제1 유닛;

상기 키 프레임에 대하여 분할을 진행하여 상기 이미지 중의 각 물체를 분리시키도록 설정되는 제2 유닛;이 포함된다.

선택적으로, 상기 거리 측정 모듈에는,

수집된 이미지로부터 구분해낸 각 물체의 주요 특징 정보를 추출하도록 설정되는 제1 유닛;

상기 각 물체의 주요 특징 정보에 의하여 각 물체와 카메라 사이의 거리를 측정하도록 설정되는 제2 유닛;이 포함된다.

선택적으로,

상기 이미지 전환 모듈은 깊이 3D 전환 알고리즘을 이용하여 입체 이미지의 전환을 구현하도록 설정되는 바, 상기 깊이 3D 전환 알고리즘에는 깊이 이미지의 3D 효과 합성 기술 또는 구조 재구성 기술이 포함된다.

상술한 바와 같이, 본 발명의 실시예에서는 입체 결상을 구현하는 방법 및 장치를 제공하여 단일 카메라를 사용하여 3D 이미지 촬영을 구현할 수 있다.

도 1은 본 발명의 실시예의 입체 결상을 구현하는 방법의 흐름도.
도 2는 본 발명의 실시예의 입체 결상을 구현하는 장치의 도면.

아래, 도면을 참조하여 본 발명의 실시예에 대하여 설명을 진행하도록 한다. 유의하여야 할 바로는, 상충되지 않는 상황 하에서, 본 출원 중의 실시예 및 실시예 중의 특징은 상호 결합될 수 있다.

도 1은 본 발명의 실시예의 단일 카메라의 이동 단말을 사용하여 입체 결상을 구현하는 방법의 흐름도로서, 도 1에 도시된 바와 같이, 본 실시예의 방법은 하기 단계를 포함하여 구성된다.

101 단계: 이미지를 수집한다.

우선 카메라를 가동시켜 카메라를 통하여 촬영하고자 하는 신의 화면을 수집하여 이미지 인코딩을 진행한 후, 키 프레임을 이미지 분할 모듈로 전송한다.

본 실시예 중의 프레임은 애니메이션 중의 최소 단위의 단일 이미지 화면으로서, 영화 필름 상의 각 프레임에 대응된다. 애니메이션 프로그램의 시간축 상에서 프레임은 한 점 또는 하나의 부호로 표기된다. 키 프레임은 2차원 애니메이션의 원화와 같으며, 캐릭터 또는 물체 운동 또는 변화 중의 주요 동작이 위치하는 프레임으로서, 비디오 인코딩에서는 일반적으로 I 프레임으로 불린다. 키 프레임과 키 프레임 사이의 애니메이션은 소프트웨어에 의하여 만들어질 수 있는 바, 과도 프레임 또는 중간 프레임으로 불리며, B 프레임과 P 프레임이 있다.

102 단계: 수집된 이미지 중의 물체를 분할하여 상이한 물체를 구분한다.

이미지 분할 모듈은 카메라가 전달한 키 프레임에 대하여 처리를 진행하는 바, 이미지 분할 알고리즘을 이용하여 이러한 키 프레임에 대하여 분할을 진행하여 신 중의 각 물체를 분리해내는데, 예를 들면 이미지 중의 경물(景物)과 배경(背景)을 분할시키며, 주어진 하나의 단일 시각 평면 이미지에 대하여, 우선 이미지 정보, 예를 들면 밝기, 색도, 변두리 정보 등을 분석하여 이미지 중에서 전경과 배경을 추출하며; 이어 이미지 중의 물체의 윤곽 등 특징의 주요 정보 포인트를 추출하고, 이러한 물체의 주요 특징 정보(물체 중의 상기 주요 정보 포인트의 정보 포함)를 거리 측정 모듈로 출력하며;

전형적인 이미지 분할 알고리즘에는 역치법, 변두리 탐지법 및 구역법이 있으며, 기타의 많은 알고리즘은 상기 전형적인 이미지 분할 알고리즘으로부터 개선되어 온 것이다. 현재 일반적으로 사용되는 역치 분할법에는 더블 피크 곡선 피팅법, 최대 엔트로비 분할법, 유형간 분산 역치 분할법 및 모호 역치 분할법 등이 있다. 변두리 탐지법은 가장 보편적인 그레이 스케일 중단에 대한 탐지 방법으로서, 일반적으로 1차 미분과 2차 미분을 이용하여 변두리를 탐지한다.

103 단계: 각 물체와 카메라 사이의 거리를 측정한다.

거리 측정 모듈은 102 단계에서 전송하는 물체의 주요 특징 정보를 수신하면 거리 측정을 가동시켜, 이러한 물체의 주요 정보 포인트에 대하여 거리 측정을 진행하여 피측정 물체와 카메라 사이의 거리를 측정하며;

이미지 중의 각 부분 또는 객체의 상이한 특징을 통하여 이들의 상세한 정보를 추출하는 바, 예를 들면 이미지 중의 일부 경물은 카메라와 가깝고 일부 경물은 카메라와 멀기 때문에 이들은 상이한 깊이 정보를 가지며, 깊이 이미지를 생성할 때 상이한 깊이 값을 부여하여야 하며;

피측정 물체와 카메라 사이의 거리를 측정하는 방법에는 여러 가지가 있는 바, 예를 들면 휴대폰 카메라 부근에 레이저 발사 장치를 설치하여 레이저를 순차적으로 이미지 중의 각 물체에 조준하여 거리를 측정하는 바, 예를 들면 이미지 중의 각 물체 상의 다수의 주요 정보 포인트를 조준하여 거리를 측정하여 평균 값을 취하거나 또는 이미지 중의 각 물체의 기하학적 중심점을 조준하여 거리를 측정하며; 또는 카메라 렌즈의 초점 거리와 카메라의 결상을 통하여 각 물체와 카메라 사이의 거리를 계산한다.

104 단계: 103 단계에서 측정된 거리 정보에 의하여 신 깊이 정보 다이어그램을 생성한다.

105 단계: 신 깊이 정보 다이어그램과 원래 이미지를 이용하고, 깊이 3D 전환 알고리즘을 결합시켜 입체 결상을 구현하여 2D로부터 3D로의 전환을 진행한다.

본 실시예에 있어서, 깊이 3D 전환 알고리즘은 깊이 이미지를 기반으로 하는 3D 효과 합성(depth-image-based rendering, DIBR) 기술 또는 구조 재구성 기술(Structure from Motion, SFM)을 이용하여 원래의 진실된 3D 신을 재현한다.

일반적으로, 이중 시각의 3D 합성에 있어서, 원래의 이미지를 좌시도라 하고, 새로 생성된 이미지를 우시도라 한다. 새로 생성된 우시도는 좌시도와 깊이 이미지를 합성한 것이며, 이로써 좌시도/우시도 사이에 시차가 존재하여 3D 디스플레이 설비 상에서 3D 효과를 볼 수 있다.

106 단계: 전환된 입체 이미지를 출력시킨다.

상기 방법에서는 촬영 신 중의 물체의 정보에 대하여 처리를 진행한 후, 거리 측정을 이용하여 이러한 물체와 카메라 사이의 거리를 측정하여 촬영 신 중의 깊이 정보를 취득하며, 이어 상응한 전환 알고리즘을 이용하여 촬영된 이미지에 대하여 3D 전환을 진행하여, 일반적인 카메라를 이용하여 3D 효과의 이미지를 촬영할 수 있다. 이로써 종래에는 두 개의 카메라를 이용하여 구현할 수 있던 3D 촬영을 하나의 카메라로 구현할 수 있다.

도 2는 본 발명의 실시예의 입체 결상을 구현하는 장치의 도면으로서, 도 2에 도시된 바와 같이, 상기 장치에는 이미지 수집 모듈(201), 이미지 분할 모듈(202), 거리 측정 모듈(203), 이미지 정보 처리 모듈(204), 이미지 전환 모듈(205) 및 이미지 출력 모듈(206)이 포함되며, 그 중에서,

이미지 수집 모듈(201)은 촬영하고자 하는 신 화면을 수집하도록 설정되는 바, 상기 이미지 수집 모듈은 일반적으로 카메라이며;

이미지 분할 모듈(202)은 이미지 수집 모듈이 수집한 이미지 데이터 대하여 초기 처리를 진행하는 바, 수집된 이미지 중의 물체를 분할하여 상이한 물체를 구분하도록 설정되며;

상기 이미지 분할 모듈(202)에는 제1 유닛과 제2 유닛이 포함되고, 그 중에서, 제1 유닛은 수집된 이미지의 데이터에 대하여 인코딩을 진행하여 이미지의 키 프레임을 취득하도록 설정되며; 제2 유닛은 상기 키 프레임에 대하여 분할을 진행하여 상기 이미지 중의 각 물체를 분리시키도록 설정되며;

거리 측정 모듈(203)은 이미지 분할 모듈이 분할한 물체에 의하여 각 물체와 카메라 사이의 거리를 측정하며;

거리 측정 모듈(203)에는 제1 유닛과 제2 유닛이 포함되고, 그 중에서, 제1 유닛은 수집된 이미지로부터 구분해낸 각 물체의 주요 특징 정보를 추출하도록 설정되며; 제2 유닛은 상기 각 물체의 주요 특징 정보에 의하여 각 물체와 카메라 사이의 거리를 측정하도록 설정되며;

이미지 정보 처리 모듈(204)은 거리 측정 모듈에 의하여 측정된 각 물체의 거리에 의하여 전체 신 중의 깊이 정보를 계산하여 신 깊이 정보 다이어그램을 생성하도록 설정되며;

이미지 전환 모듈(205)은 상기 신 깊이 정보 다이어그램과 원래 수집된 이미지에 의하여 원래 수집된 이미지를 입체 이미지로 전환시키도록 설정되며;

이미지 출력 모듈(206)은 전환된 3D 이미지를 출력하도록 설정된다.

사람들이 시각 경험과 시각 기억을 가지고 있기 때문에 이러한 요소는 육안의 심리 입체 시각을 구성한다. 육안으로 평면 칼러 입체 이미지를 볼 때, 이미지 상의 내용에 의하여 그 중의 물체, 캐릭터 사이의 거리 관계를 판단할 수 있으며, 이러한 판단은 일반적으로 아주 정확한 바, 이는 평면 이미지에 사람의 두 눈의 시각 차이 등 생리 입체 시각 식별을 진행할 수 있는 깊이 정보가 존재하지 않지만 기타 깊이 암시 정보, 예를 들면 운동 시각차, 포커싱/디포커싱, 선형 투시, 대기 산란, 음영, 막힘, 상대 높이 및 상대 크기 등이 있으며, 이러한 암시 정보는 인류의 자연 경물에 대한 장시간의 관찰을 통하여 취득한 입체 시각 기억과 입체 시각 경험으로서, 이러한 시각 기억과 경험을 통하여 관찰자들은 평면 이미지로부터 정확하게 물체 사이의 상대 위치와 상대 깊이를 추출할 수 있으며, 육안의 이러한 입체 시각을 심리 입체 시각이라고 한다. 이러한 육안의 특성에 의하여, 만일 평면 이미지 중의 깊이 정보를 추출하고 원래의 좌시도를 이용하여 우시도를 합성시키면, 합상한 우시도는 원래의 좌시도와 시각차가 존재하며, 두 이미지를 합성한 후 3D 디스플레이 설비를 통하여 바로 3D 효과의 입체도를 취득할 수 있다.

그러므로, 이러한 원리에 의하여 앞서 취득한 깊이 정보를 이용하면 전환 알고리즘을 이용하여 2D 이미지를 3D 이미지로 전환시킬 수 있다.

이미지 출력 모듈은 전환된 키 프레임과 비 키 프레임에 대하여 재처리를 진행한 후 출력시킨다.

본 기술 분야의 통상의 기술인원들은 상기 방법 중의 전부 또는 일부 단계는 프로그램 명령을 통하여 관련 하드웨어로 하여금 완성할 수 있으며, 상기 프로그램은 컴퓨터 판독가능한 매체, 예를 들면 롬, 자기 디스크 또는 광 디스크에 저장될 수 있음을 이해하여야 할 것이다. 선택적으로, 상기 실시예의 전부 또는 일부 단계는 하나 또는 다수의 집적 회로를 통하여 구현할 수 있다. 상응하게, 상기 실시예 중의 각 모듈/유닛은 하드웨어 형식을 통하여 구현할 수도 있고, 또 소프트웨어 형식을 통하여 구현할 수도 있다. 본 발명의 실시예는 어떠한 특정된 형식의 하드웨어와 소프트웨어의 결합의 제한을 받지 않는다.

이상에서는 본 발명을 바람직한 실시예에 대해서 도시하고 설명하였지만, 본 발명은 상술한 실시예만 한정되는 것은 아니며, 이하의 청구범위에 기재된 본 발명의 기술적 사상의 요지를 벗어나지 않는 범위에서 얼마든지 다양하게 변경하여 실시할 수 있을 것이다.

[산업상 활용성]

본 발명의 실시예에서는 입체 결상을 구현하는 방법 및 장치를 제공하여 단일 카메라를 사용하여 3D 이미지 촬영을 구현할 수 있다.

201: 이미지 수집 모듈
202: 이미지 분할 모듈
203: 거리 측정 모듈
204: 이미지 정보 처리 모듈
205: 이미지 전환 모듈
206: 이미지 출력 모듈

Claims

입체 결상을 구현하는 방법에 있어서,
이미지를 수집하며;
수집된 상기 이미지 중의 물체를 분할하여 상이한 물체를 구분하며;
각 물체와 카메라 사이의 거리를 측정하며;
측정된 거리에 의하여 신 깊이 정보 다이어그램(scenario depth informationdiagram)를 생성하며;
상기 신 깊이 정보 다이어그램과 원래 수집된 이미지를 이용하여 원래 수집된 이미지를 입체 이미지로 전환시키며; 및
상기 입체 이미지를 출력하는;
것이 포함되는 것을 특징으로 하는 입체 결상을 구현하는 방법.
제1항에 있어서,
상기 수집된 이미지 중의 물체를 분할하여 상이한 물체를 구분하는 것에는,
수집된 이미지의 데이터에 대하여 인코딩을 진행하여 이미지의 키 프레임을 취득하며;
상기 키 프레임에 대하여 분할을 진행하여 상기 이미지 중의 각 물체를 분리시키는; 것이 포함되는 것을 특징으로 하는 입체 결상을 구현하는 방법.
제1항에 있어서,
상기 각 물체와 카메라 사이의 거리를 측정하는 것에는,
상기 이미지 중의 각 물체의 주요 특징 정보를 추출하며;
상기 각 물체의 주요 특징 정보에 의하여 각 물체와 카메라 사이의 거리를 측정하는; 것이 포함되는 것을 특징으로 하는 입체 결상을 구현하는 방법.
제1항 내지 제3항 중 어느 한 항에 있어서,
상기 신 깊이 정보 다이어그램과 원래 수집된 이미지를 이용하여 원래 수집된 이미지를 입체 이미지로 전환시키는 것에는,
깊이 3D 전환 알고리즘을 이용하여 원래 수집된 이미지를 입체 이미지로 전환시키는 것이 포함되며, 상기 깊이 3D 전환 알고리즘에는 깊이 다이어그램의 3D 효과 합성 기술 또는 구조 재구성 기술이 포함되는 것을 특징으로 하는 입체 결상을 구현하는 방법.
입체 결상을 구현하는 장치에 있어서,
이미지를 수집하도록 설정되는 이미지 수집 모듈;
수집된 상기 이미지 중의 물체를 분할하여 상이한 물체를 구분하도록 설정되는 이미지 분할 모듈;
각 물체와 카메라 사이의 거리를 측정하도록 설정되는 거리 측정 모듈;
측정된 거리 정보에 의하여 신 깊이 정보 다이어그램을 생성하도록 설정되는 이미지 정보 처리 모듈;
상기 신 깊이 정보 다이어그램과 원래 수집된 이미지에 의하여 원래 수집된 이미지를 입체 이미지로 전환시키도록 설정되는 이미지 전환 모듈; 및
상기 입체 이미지를 출력하도록 설정되는 이미지 출력 모듈;
이 포함되는 것을 특징으로 하는 입체 결상을 구현하는 장치.
제5항에 있어서,
상기 이미지 분할 모듈에는,
수집된 이미지의 데이터에 대하여 인코딩을 진행하여 이미지의 키 프레임을 취득하도록 설정되는 제1 유닛; 및
상기 키 프레임에 대하여 분할을 진행하여 상기 이미지 중의 각 물체를 분리시키도록 설정되는 제2 유닛;이 포함되는 것을 특징으로 하는 입체 결상을 구현하는 장치.
제5항에 있어서,
상기 거리 측정 모듈에는,
수집된 이미지로부터 구분해낸 각 물체의 주요 특징 정보를 추출하도록 설정되는 제1 유닛; 및
상기 각 물체의 주요 특징 정보에 의하여 각 물체와 카메라 사이의 거리를 측정하도록 설정되는 제2유닛;이 포함되는 것을 특징으로 하는 입체 결상을 구현하는 장치.
제5항 내지 제7항 중 어느 한 항에 있어서,
상기 이미지 전환 모듈은 깊이 3D 전환 알고리즘을 이용하여 입체 이미지의 전환을 구현하도록 설정되며, 상기 깊이 3D 전환 알고리즘에는 깊이 다이어그램의 3D 효과 합성 기술 또는 구조 재구성 기술이 포함되는 것을 특징으로 하는 입체 결상을 구현하는 장치.