KR20150108079A - 3차원 정보를 검출하는 방법 및 장치 - Google Patents

3차원 정보를 검출하는 방법 및 장치 Download PDF

Info

Publication number
KR20150108079A
KR20150108079A KR1020140030784A KR20140030784A KR20150108079A KR 20150108079 A KR20150108079 A KR 20150108079A KR 1020140030784 A KR1020140030784 A KR 1020140030784A KR 20140030784 A KR20140030784 A KR 20140030784A KR 20150108079 A KR20150108079 A KR 20150108079A
Authority
KR
South Korea
Prior art keywords
camera
dimensional information
frame
image
information
Prior art date
Application number
KR1020140030784A
Other languages
English (en)
Other versions
KR102179432B1 (ko
Inventor
이진경
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020140030784A priority Critical patent/KR102179432B1/ko
Publication of KR20150108079A publication Critical patent/KR20150108079A/ko
Application granted granted Critical
Publication of KR102179432B1 publication Critical patent/KR102179432B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/139—Format conversion, e.g. of frame-rate or size
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)

Abstract

본 개시는 전자 장치가 3차원 정보를 검출하는 방법에 있어서, 제1 카메라 및 제2 카메라가 촬영한 영상 정보에서 3차원 정보를 획득하는 동작과, 상기 제2 카메라가 촬영하는 연속된 영상 정보에서 2차원 정보를 획득하고, 상기 획득된 3차원 정보의 깊이값(depth)을 이용해서 현재 프레임의 깊이값을 획득하는 동작과, 상기 현재 프레임의 깊이값 및 상기 획득된 2차원 정보를 포함한 상기 현재 프레임의 3차원 정보를 획득하는 동작을 포함한다.

Description

3차원 정보를 검출하는 방법 및 장치{METHOD AND APPARATUS FOR DETECTING THREE-DIMENSIONAL INFORMAION}
본 개시는 3차원 정보를 검출하는 방법 및 장치에 관한 것이다. 일 예로 전자 장치인, 스마트 폰, 태블릿, 모발일 기기, TV, 데스크탑 PC, 및 게임기 등이 3차원 정보를 검출하는 방법 및 장치에 관한 것이다.
최근 전자 장치는 사용자의 동작을 인식하여 이를 입력 신호로 해석하고, 해석한 입력 신호에 대응하여 동작할 수 있다. 이에 따라 전자 장치는 카메라를 이용하여 사용자 동작에 대한 3차원 정보를 추출해야 한다. 상기 3차원 정보를 추출하기 위해서는 피사체가 포함된 장면에 광을 투사하여 스테레오 카메라로 영상을 촬영하고 스테레오 매칭 영상 처리를 통해 피사체의 거리 정보를 포함한 3차원 정보를 획득 한다.
그러나 3차원 정보를 추출하는 과정에서 전자 장치는 프레임 레이트(Frame Rate)가 빠른 스테레오 카메라를 구성해야 하는데 이와 같은 경우 스테레오 카메라는 저해상도 이거나 아니면 가격이 비싸다.
　또한 전자 장치에 일반적으로 크기의 제약 때문에 카메라를 탑재할 공간이 협소하다. 따라서, 기존에 전자 장치의 전면 카메라 이외에 스테레오 카메라 구성하기 위한 카메라를 추가로 탑재하면 상기 전자 장치에 내장되는 카메라의 수가 증가하게 되므로 비용의 증가와 전자 장치 내부에 구조적인 문제가 발생할 수 있다.
또한, 전자 장치에 스트레오 카메라를 구성하기 위해 전면 카메라와 동일한 스펙(spec)의 카메라를 추가한다면 상기 스트레오 카메라는 동작 인식을 위한 프레임 레이트가 부족하여, 복잡한 동작 인식이 어렵다는 문제점이 있다.
상기한 바와 같이 종래에는 전자 장치가 동작 인식을 위한 3 차원 정보를 획득하기에는, 카메라의 프레임 레이트가 부족하고 복잡한 동작을 인식하기 어려운 한계가 있다.
따라서, 3차원 정보를 검출하는 방법에 있어서, 전자 장치에 비용이 적합하고 복잡한 동작을 인식할 수 있는 카메라를 내장하여야 하고, 이에 따른 3 차원 정보 추출 방안이 요구되고 있다.
상술한 바를 달성하기 위해 본 발명의 일 실시예는 전자 장치가 3차원 정보를 검출하는 방법에 있어서, 제1 카메라 및 제2 카메라가 촬영한 영상 정보에서 3차원 정보를 획득하는 동작과, 상기 제2 카메라가 촬영하는 연속된 영상 정보에서 2차원 정보를 획득하고, 상기 획득된 3차원 정보의 깊이값(depth)을 이용해서 현재 프레임의 깊이값을 획득하는 동작과, 상기 현재 프레임의 깊이값 및 상기 획득된 2차원 정보를 포함한 상기 현재 프레임의 3차원 정보를 획득하는 동작을 포함하는 방법을 제안한다.
또한 상술한 바를 달성하기 위해 본 발명의 다른 실시예는 전자 장치가 3차원 정보를 검출하는 방법에 있어서, 제1 프레임에서 촬영한 영상 정보와, 상기 제1 프레임의 다음 프레임인 제2 프레임에서 촬영한 영상 정보를 이용하여 상기 제2 프레임에서 촬영한 영상의 2차원 정보를 획득하는 동작과, 상기 제2 프레임 이전의 적어도 하나의 프레임에서 획득한 적어도 하나의 3차원 정보가 포함하는 깊이값에 대한 평균 변화량과 상기 제1 프레임의 3차원 정보에 포함된 깊이값을 합하여, 제2 프레임에서 촬영한 영상의 깊이값을 획득하는 동작과, 상기 2차원 정보 및 깊이값을 포함하는 상기 제2 프레임의 3차원 정보를 검출하는 방법을 제안한다.
또한, 상술한 바를 달성하기 위해 본 발명의 일 실시예는 3차원 정보를 검출하는 전자 장치에 있어서, 영상 정보를 촬영하는 제1 카메라 및 제2 카메라를 포함하고, 상기 제1 카메라 및 제2 카메라가 촬영한 영상 정보에서 3차원 정보를 획득하고, 상기 제2 카메라가 촬영하는 연속된 영상 정보에서, 2차원 정보를 획득하고, 상기 획득된 3차원 정보의 깊이값(depth)을 이용해서 현재 프레임의 깊이값(depth)을 획득하고, 상기 현재 프레임의 깊이값 및 상기 2차원 정보를 포함하는 상기 현재 프레임의 3차원 정보를 획득하는 제어부를 포함하는 전자 장치를 제안한다.
또한 상술한 바를 달성하기 위해 본 발명의 다른 실시예는 3차원 정보를 검출하는 전자 장치에 있어서, 영상 정보를 촬영하는 칼라 카메라, 적외선 카메라 및 적외선 광원을 포함하며, 제1 프레임에서 촬영한 영상 정보와, 상기 제1 프레임의 다음 프레임인 제2 프레임에서 촬영한 영상 정보를 이용하여 상기 제2 프레임에서 촬영한 영상의 2차원 정보를 획득하고, 상기 제2 프레임 이전의 적어도 하나의 프레임에서 획득한 적어도 하나의 3차원 정보가 포함하는 깊이값에 대한 평균 변화량과 상기 제1 프레임의 3차원 정보에 포함된 깊이값을 합하여, 제2 프레임에서 촬영한 영상의 깊이값을 획득하고, 상기 2차원 정보 및 깊이값을 포함하는 상기 제2 프레임의 3차원 정보를 검출하는 제어부를 포함하는 전자 장치를 제안한다.
본 발명의 개시를 통하여 전자 장치의 크기에 맞추어 스테레오 카메라를 구성하기 위해 기존에 존재하는 칼라 카메라와 추가로 저사양의 카메라를 사용함으로써 비용을 줄 일 수 있다.
또한, 본 발명의 개시를 통하여 전자 장치에 프레임 레이트가 높은 카메라를 사용함으로써, 좀더 자연스럽고 끊김 없는 동작 인식이 가능하다.
또한, 본 발명의 개시를 통하여 영상의 배경에 대한 영향을 효과적으로 억제하고 유효 프레임수를 향상 시킴으로써 정밀하고 복잡한 근거리 동작에 대한 3차원 정보를 고해상도, 고속으로 획득할 수 있다.
또한, 본 발명의 개시를 통하여 전자 장치는 칼라 카메라의 프레임 레이트(frame rate)보다 정수 배 빠른 3차원 정보 추출이 가능하며 이에 따라 더욱 정밀하고 복잡한 동작 인식이 가능하다.
도 1은 본 발명의 다양한 실시예에 따른 전자 장치를 도시한 예시도.
도 2는 본 발명의 다양한 실시예에 따른 카메라부의 기하학적 구조를 도시한 예시도.
도 3은 본 발명의 제1 실시예에 따른 카메라부의 동작을 도시한 예시도.
도 4는 본 발명의 제2 실시예에 따른 카메라부의 동작을 도시한 예시도.
도 5는 본 발명의 제3 실시예에 따라 카메라부의 동작을 도시한 예시도.
도 6은 본 발명의 제3 실시예에 따라 카메라부의 동작에 대한 순서도를 도시한 예시도.
도 7은 본 발명의 다양한 실시예가 적용된 전자 장치의 전면도를 도시한 예시도.
도 8a는 본 발명의 제1 실시예 및 제2 실시예에 따라 사용자의 실제 동작과 3차원 정보를 도시한 예시도.
도 8b는 본 발명의 제3 실시예에 따라 시용자의 실제 동작과 3차원 정보를 도시한 예시도.
이하 첨부된 도면을 참조하여 본 발명의 실시 예를 설명하기로 한다. 그리고 하기에서 본 발명을 설명함에 있어 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하여 상세하게 설명한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예에 대한 동작 원리를 상세히 설명한다. 하기에서 본 발명을 설명함에 있어 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 사용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
본 발명의 다양한 실시예에 따르면, 좌우안 카메라의 구성에 조명용 광원을 추가하는 능동형(Active) 스테레오 방법과 광원이 없는 수동형(passive) 스테레오 방법에 적용될 수 있다.
또한, 본 발명의 다양한 실시예는, 다양한 전배경 분리 방법을 이용한 스트레오 카메라 구성에도 적용 가능하며, 일 예로 전배경을 3차원 정보를 획득하기 이전에 분리하는 방법과 전배경을 3차원 정보를 획득한 이후에 분리하는 방법에도 적용될 수 있다.
또한, 본 발명의 다양한 실시예에 따른, 능동형 스테레오 방법은 광을 장면에 투사하고 피사체에서 반사된 광을 카메라가 촬영하는 방법이다. 이에 따라 상기 영상의 밝기는 피사체와 광원 사이 거리의 제곱에 반비례할 수 있으며, 상기 능동형 스테레오 방법은 상기 영상의 밝기값 대한 임계치(threshold)를 적용함으로써 어두운 배경을 제거하고 밝은 인식 대상 물체만을 분리해 낼 수 있다. 그리고, 분리된 전경에 대해 스테레오 매칭을 수행하여 대상 물체에 대한 3차원 정보를 획득하는 것이 가능할 수 있다. 상기 투사하는 광은 기술 방식에 따라 파장, 밝기, 위치, 횟수 등이 고려되어야 하며, 일 예로 동작 인식용의 경우 눈에 보이지 않는 적외선(Infrared, IR)이 사용될 수 있다.
또한, 본 발명의 다양한 실시예에 따른, 스테레오 카메라의 구성은 좌안 카메라와 우안 카메라가 동일하도록 구성함으로써, 두 영상간의 차이를 줄여 대응점 탐색을 용이하게 할 수 있다. 일 예로, 상기 스테레오 카메라의 구성은 칼라 카메라-칼라 카메라, 적외선 카메라-적외선 카메라 등으로 구성 될 수 있다.
이와 같은 경우, 스트레오 카메라는 시간적으로 동기화(Sycnronous)되어 동일한 시점에 좌우 영상을 획득하고, 상기 카메라가 영상을 초당 획득하는 횟수(Frame Rate)와 영상을 획득하는 순간(timing)이 일치하도록 할 수 있다.
도 1은 본 발명의 다양한 실시예에 따른 전자 장치를 도시한 예시도이다.
도 1을 참조하면, 전자 장치(100)는 통신부(140), 커넥터(미도시), 및 이어폰 연결잭(미도시) 중 적어도 하나를 이용하여 외부 장치(도시되지 아니함)와 연결될 수 있다. 이러한, 외부 장치는 상기 전자 장치(100)에 탈착되어 유선으로 연결 가능한 이어폰(Earphone), 외부 스피커(External speaker), USB(Universal Serial Bus) 메모리, 충전기, 크래들/도크(Cradle/Dock), DMB 안테나, 모바일 결제 관련 장치, 건강 관리 장치(혈당계 등), 게임기, 자동차 네비게이션 장치 등 다양한 장치들을 포함할 수 있다. 또한 상기 외부 장치는 무선으로 연결 가능한 블루투스 통신 장치, NFC(Near Field Communication) 장치 및 WiFi Direct 통신 장치, 무선 액세스 포인트(AP, Access Point)를 포함할 수 있다. 그리고, 전자 장치는 유선 또는 무선을 이용하여 다른 장치, 예컨데, 휴대 단말, 스마트폰, 태블릿 PC, 데스크탑 PC, 디지타이저, 입력 장치, 카메라 및 서버와 연결될 수 있다.
도 1을 참조하면, 전자 장치(100)는 적어도 하나의 스크린(120) 및 적어도 하나의 스크린 컨트롤러(130)를 포함할 수 있다. 또한, 전자 장치(100)는 스크린(120), 스크린 컨트롤러(130), 통신부(140), 입출력부(150), 저장부(160), 전원 공급부(170), 및 카메라부(180)를 포함할 수 있다.
본 개시에서의 전자 장치(100)는 데이터 송수신과 음성 및 영상 통화가 가능한 이동 단말로서 적어도 하나의 스크린이 구비될 수 있으며, 각각의 스크린은 적어도 하나의 페이지를 디스플레이 할 수 있다. 이러한, 전자 장치는 스마트 폰, 태블릿 PC, 3D-TV, 스마트 TV, LED TV, LCD TV, 테이블 PC등을 포함할 수 있으며 이외도 주변 기기 또는 원거리에 위치한 다른 단말과 통신할 수 있는 모든 기기를 포함할 수 있다. 또한, 전자 장치에 구비된 적어도 하나의 스크린은 터치 및 호버링 중 적어도 하나에 의한 입력을 수신할 수 있다.
이러한, 전자 장치(100)는 사용자에게 다양한 서비스(예, 통화, 데이터 전송, 방송, 사진촬영, 문자열 입력 등)에 대응되는 유저 인터페이스를 제공하는 적어도 하나의 스크린(120)을 포함할 수 있다. 각각의 스크린은 입력 유닛 및 손가락 중 적어도 하나의 호버링을 이용한 입력을 인식하는 호버링 인식 장치(121) 및 손가락 및 입력 유닛 중 적어도 하나의 터치를 이용한 입력을 인식하는 터치 인식 장치(122)를 포함할 수 있으며, 이러한 호버링 인식 장치(121) 및 터치 인식 장치(122)는 호버링 인식 패널 및 터치 패널로 각각 칭할 수도 있다. 이러한, 각각의 스크린은 유저 인터페이스에 입력되는 적어도 하나의 터치 또는 적어도 하나의 호버링에 대응되는 아날로그 신호를 해당 스크린 컨트롤러로 전송할 수 있다. 이와 같이, 전자 장치(100)는 복수의 스크린을 구비할 수 있는데, 각각의 스크린 별로 터치 또는 호버링에 대응되는 아날로그 신호를 수신하는 스크린 컨트롤러가 각각 구비될 수 있다. 이러한, 각각의 스크린은 힌지의 연결을 통한 복수의 하우징에 각각 연결되거나 또는 복수의 스크린들이 힌지 연결 없이 하나의 하우징에 위치할 수 있다. 본 개시의 다양한 실시예에 따른 전자 장치(100)는 상술한 바와 같이, 적어도 하나의 스크린을 구비할 수 있으며, 이하에서는 설명 편의상 하나의 스크린의 경우에 대해서 설명한다. 그리고, 본 발명의 다양한 실시예에 따른 입력 유닛은 디지타이저상의 접촉 또는 호버링과 같은 비접속 상태에서도 전자 장치에 명령 또는 입력을 제공할 수 있는 손가락, 전자펜, 디지털 타입의 펜, 집적 회로가 구비되지 않은 펜, 집적 회로가 구비된 펜, 집적 회로와 메모리가 구비된 펜, 근거리 통신이 가능한 펜, 부가적인 초음파 검출부를 구비한 펜, 옵티컬 센서를 구비한 펜, 조이스틱 및 스타일러스 펜 중 적어도 하나를 포함할 수 있다.
제어부(110)는 CPU, 전자 장치(100)의 제어를 위한 제어 프로그램이 저장된 롬(ROM) 및 전자 장치(100)의 외부로부터 입력되는 신호 또는 데이터를 기억하거나, 전자 장치(100)에서 수행되는 작업을 위한 기억영역으로 사용되는 램(RAM)을 포함할 수 있다. CPU는 싱글 코어, 듀얼 코어, 트리플 코어, 또는 쿼드 코어를 포함할 수 있다.
또한, 제어부(110)는 스크린(120), 호버링 인식 장치(121), 터치 인식 장치(122), 스크린 컨트롤러(130), 통신부(140), 입출력부(150), 저장부(160), 전원 공급부(170) 및 카메라부(180) 중 적어도 하나를 제어할 수 있다.
본 발명의 다양한 실시예에 따른 제어부(110)는 제1 카메라 및 제2 카메라가 촬영한 영상 정보에서 3차원 정보를 획득하고, 상기 제2 카메라가 촬영하는 연속된 영상 정보에서 2차원 정보를 획득하고, 상기 획득된 3차원 정보의 깊이값(depth)을 이용해서 현재 프레임의 깊이값을 획득하고, 상기 현재 프레임의 깊이값 및 상기 획득된 2차원 정보를 포함한 상기 현재 프레임의 3차원 정보를 획득하는 동작을 포함할 수 있다. 일 예로, 상기 영상 정보는 상기 카메라가 촬영한 피사체 또는 대상에 대한 좌표 정보를 포함할 수 있다. 또한 일 예로, 상기 3차원 정보는 (X,Y,Z)와 같은 3차원 좌표 정보를 포함할 수 있으며, 상기 2차원 정보는 (X,Y)와 같은 2차원 좌표 정보를 포함할 수 있다. 또한, 일 예로 3차원 정보의 깊이값은 상기 3차원 좌표 정보에 포함될 수 있다.
또한, 일 예로, 상기 2차원 정보는 상기 제2 카메라가 상기 현재 프레임 이전 프레임에서 획득한 2차원 정보와 상기 현재 프레임에서 획득한 2차원 정보에, 대응점 탐색 또는 트래킹(Tracking) 기술을 적용하여 결정될 수 있다.
또한 일 예로, 현재 프레임의 깊이값은 상기 제1 카메라 및 제2 카메라가 촬영한 영상 정보에서 획득된 적어도 하나 이상의 3차원 정보에 포함된 깊이값의 평균 변화량을 상기 현재 프레임의 이전 프레임에 획득한 3차원 정보의 깊이값에 더하여 구하거나 영상 처리 기술 중 일 예로, 칼만 필터(Kalman Filter)를 이용하여 획득할 수 있다. 또한 제어부(110)는 상기 3차원 정보를 제1 카메라 및 제2 카메라가 각각 촬영한 영상의 적어도 일부분에 대한 픽셀 정보를 포함하도록 제어할 수 있다. 또한 제어부(110)는 상기 3차원 정보를 제1 카메라 및 제2 카메라가 각각 촬영한 영상의 전체 부분에 대한 픽셀 정보를 포함하도록 제어할 수도 있다. 그리고 상기 깊이값에 따른 3차원 정보는 상기 제2 카메라의 프레임 레이트와 동일한 프레임 레이트를 가지도록 제어할 수 있다. 다른 예로, 제어부(110)는 제1 카메라가 촬영한 영상과 제2 카메라가 촬영한 영상이 동시에 존재하는지 판단하고, 상기 영상들이 동시에 존재하는 경우, 상기 제1 카메라가 촬영한 영상과 상기 제2 카메라가 촬영한 영상에 대응하는 3차원 정보를 획득할 수 있다.
또한 본 발명의 다양한 실시예에 따른 제어부(110)는 전자 장치가 3차원 정보를 검출하는 방법에 있어서, 제1 프레임에서 촬영한 영상 정보와, 상기 제1 프레임의 다음 프레임인 제2 프레임에서 촬영한 영상 정보를 이용하여 상기 제2 프레임에서 촬영한 영상의 2차원 정보를 획득하는 동작과, 상기 제2 프레임의 이전 프레임에 획득한 적어도 하나의 3차원 정보가 포함하는 깊이값에 대한 평균 변화량과 상기 제1 프레임의 3차원 정보에 포함된 깊이값을 합하여, 제2 프레임에서 촬영한 영상의 깊이값을 획득하는 동작과, 상기 2차원 정보 및 깊이값을 포함하는 상기 제2 프레임의 3차원 정보를 검출하도록 제어할 수 있다.
상기 제1 프레임에서 촬영한 영상 정보는, 일 예로, 적외선 카메라 및 칼라 카메라 중 적어도 하나의 카메라가 촬영한 영상에 대한 3차원 정보를 포함할 수 있다. 상기 제2 프레임에서 촬영한 영상 정보는, 일 예로 상기 적외선 카메라가 촬영한 영상 정보를 포함할 수 있다.
본 발명의 일 실시예에 따른 카메라부(180)는 제1 카메라(181) 및 제2 카메라(182)를 포함할 수 있다
상기 제1 카메라(181)는 일 예로, 전면 칼라 카메라는, (셀프) 촬영 및 화상 통화를 목적으로 기존에 갖추어져 있는 카메라가 될 수 있으며, 본 발명에 따라 3차원 정보 추출을 위한 스테레오 카메라의 하나로 사용될 수 있다. 즉 3차원 정보의 획득이 불필요할 시에는 기존과 동일한 전면카메라의 기능을 수행하고 동작 인식을 위한 3차원 정보의 추출이 필요한 경우에는 스테레오 카메라로써 기능을 수행할 수 있다. 또한, 전면카메라의 기능과 동작인식의 기능을 동시에 수행할 수도 있다.
상기 제2 카메라(182)는 일 예로, 적외선 카메라가 될 수 있으며, 광원의 파장 범위에 맞는 파장 범위를 수광할 수 있는 BPF(band pass filter)를 갖추고 있을 수 있다. 이에 따라 상기 제2 카메라(182)는 불필요한 외광의 영향을 제거할 수 있다.
또한 별도로 도시하지 않았으나. 전자 장치(100)는 적외선 광원을 포함할 수 있다. 상기 적외선 광원은 비가시(invisible) 파장 범위의 광을 출사하며 레이저 다이오드(LD: laser diode), LED(light emitting diode) 등으로 구성 될 수 있다. 또한 필요에 따라서 전자 장치(100)는 상기 광원을 적어도 하나 이상 포함할 수 있으며, 이에 따라 전자 장치(100)에 복수의 위치에 설치될 수 있다. 또한 적외선 광원의 출사하는 광이 카메라의 화각 범위를 고르게 비추며 주변 광량비 (relative illumination)가 높도록 상기 적외선 광원을 전자 장치(100)에 설치 할 수 있다. 이에 따라 전자 장치(100)는 회질적 광학 요소(DOE: diffractive optical element), 디퓨저(diffuser) 및, 렌즈 등과 같은 광부품을 추가로 포함할 수 있다. 또한 일 예로, 적외선 광원은 연속적으로 (continuous, CW) 발광하여도 되고 필요시 펄스 (pulsed 또는 modulated)로 구동할 수 있다.
일 예로 상기 제1 카메라는 칼라 영상을 촬영하는 카메라가 될 수 있고, 상기 제2 카메라는 적외선 영상을 촬영하는 카메라가 될 수 있다. 이에 따라, 상기 제2 카메라의 프레임 레이트(Frame Rate)는 상기 제1 카메라의 프레임 레이트 보다 정수배로 설정할 수 있다. 일 예로, 상기 칼라 카메라의 프레임 레이트가 30 frame/second(fps)인 경우 적외선 카메라는 30, 60, 90, 120, 150, 및 180 fps가 될 수 있다. 상술한 바와 같이 프레임 레이트를 설정함으로써, 칼라 카메라와, 적외선 카메라간에 동기가 일치하는 프레임의 확보가 유용할 수 있다. 또한 상기 적외선 카메라는 프레임 레이트가 설정된 값으로 동작할 수도 있고, 필요에 따라 프레임 레이트가 가변적인 값으로 동작할 수도 있다.
또한 다른 예로, 제2 카메라의 해상도를 제1 카메라의 해상도보다 낮도록 구성할 수 있다. 이에 따라 전송 속도가 고정된 경우, 프레임 레이트를 빠르게 하고 해상도가 제1 카메라보다 상대적으로 낮은 제2 카메라를 구성할 수 있다.
또한 다른 예로, 사용자의 동작이 기기와 가까운 거리에서 발생시 대상물을 충분하게 촬영할 수 있도록 제2 카메라의 화각을 제1 카메라의 화각보다 크거나 같도록 설정할 수 있다
　
그리고 스크린(120)은 사용자의 신체(예, 엄지를 포함하는 손가락) 또는 터치 가능한 입력 유닛(예, 스타일러스 펜, 전자 펜)을 통해 적어도 하나의 터치를 입력 받을 수 있다. 또한, 스크린(120)은 스타일러스 펜 또는 전자 펜과 같은 펜을 통해서 입력되면, 입력 방법에 따라 이를 인식하는 호버링 인식 장치(121)와 터치를 인식하는 터치 인식 장치(122)를 포함할 수 있다. 이러한 호버링 인식 장치(121)는 펜과 스크린(120)간의 거리를 자기장 또는 초음파 또는 옵티컬 정보 또는 Surface acoustic wave를 통해 파악할 수 있으며, 터치 인식 장치(122)는 터치에 의해 이동되는 전하를 이용하여 터치된 위치를 감지할 수 있다. 그리고, 스크린(120)은 이러한 적어도 하나의 제스처에 대응되는 아날로그 신호를 스크린 컨트롤러(130)로 전송할 수 있다.
나아가, 본 개시의 다양한 실시예에서 터치는 스크린(120)과 사용자의 신체 또는 터치 가능한 입력 유닛과의 접촉에 한정되지 않고, 비접촉(예: 스크린(120)과 사용자의 신체 또는 터치 가능한 입력 유닛 접촉하지 않고 검출 가능한 간격을 포함할 수 있다. 스크린(120)에서 검출 가능한 간격은 전자 장치(100)의 성능 또는 구조에 따라 변경될 수 있으며, 예컨데, 스크린(120)은 사용자의 신체 또는 터치 가능한 입력 유닛과의 접촉에 의한 터치 이벤트와, 비접촉 상태로의 입력(예컨대, 호버링(Hovering)) 이벤트를 구분하여 검출 가능하도록, 상기 터치 이벤트와 호버링 이벤트에 의해 검출되는 값(예컨대, 아날로그 값으로 전압 값 또는 전류 값을 포함)이 다르게 출력될 수 있도록 구성된다. 더 나아가, 스크린(120)은 호버링 이벤트가 발생되는 공간과 스크린(120) 사이의 거리에 따라, 검출되는 값(예컨대, 전류값 등)을 다르게 출력할 수 있다.
이러한, 호버링 인식 장치(121) 또는 터치 인식 장치(122)는 예를 들어, 저항막(resistive) 방식, 정전용량(capacitive) 방식, 적외선(infrared) 방식 또는 초음파(acoustic wave) 방식으로 구현될 수 있다.
스크린 컨트롤러(130)는 스크린(120) 상에서 입력되는 문자열에 의해 수신된 아날로그 신호를 디지털 신호(예, X와 Y좌표)로 변환하여 제어부(110)로 전송한다. 제어부(110)는 스크린 컨트롤러(130)로부터 수신된 디지털 신호를 이용하여 스크린(120)을 제어할 수 있다. 예를 들어, 제어부(110)는 터치 이벤트 또는 호버링 이벤트에 응답하여 스크린(120)에 표시된 단축 아이콘(도시되지 아니함) 또는 객체가 선택되게 하거나 또는 실행할 수 있다. 또한, 스크린 컨트롤러(130)는 제어부(110)에 포함될 수도 있다.
또한, 스크린 컨트롤러(130)는 스크린(120)을 통해 출력되는 값(예컨대, 전류값 등)을 검출하여 호버링 이벤트가 발생되는 공간과 스크린(120) 사이의 거리를 확인할 수 있고, 확인된 거리 값을 디지털 신호(예컨대, Z좌표)로 변환하여 제어부(110)로 제공할 수 있다.
통신부(140)는 통신 방식, 전송 거리, 송수신되는 데이터의 종류에 따라 이동통신부(미도시), 서브통신부(미도시), 무선랜부(미도시) 및 근거리 통신부(미도시)를 포함할 수 있다. 이동통신부는 제어부(110)의 제어에 따라 적어도 하나-하나 또는 복수-의 안테나(도시되지 아니함)를 이용하여 이동 통신을 통해 전자 장치(100)가 외부 장치와 연결되도록 할 수 있다. 이동통신부는 전자 장치(100)에 입력되는 전화번호를 가지는 휴대폰(도시되지 아니함), 스마트폰(도시되지 아니함), 태블릿 PC 또는 다른 장치(도시되지 아니함)와 음성 통화, 화상 통화, 문자메시지(SMS) 또는 멀티미디어 메시지(MMS)를 위한 무선 신호를 송/수신할 수 있다. 서브통신부는 무선랜부(미도시)와 근거리 통신부(미도시) 중 적어도 하나를 포함할 수 있다. 예를 들어, 서브통신부는 무선랜 모듈만 포함하거나, 근거리 통신부만 포함하거나 또는 무선랜부와 근거리 통신부를 모두 포함할 수 있다. 또한, 서브통신부는 입력 유닛과 제어 신호를 송수신할 수 있다. 또한, 입력 유닛은 전자 장치(100)로부터 수신되는 제어 신호에 대한 피드백 신호를 전자 장치(100)로 전송할 수 있다. 그리고, 무선랜부는 제어부(110)의 제어에 따라 무선 액세스 포인트(AP, access point)(도시되지 아니함)가 설치된 장소에서 인터넷에 연결될 수 있다. 무선랜부는 미국전기전자학회(IEEE)의 무선랜 규격(IEEE802.11x)을 지원한다. 근거리 통신부는 제어부(110)의 제어에 따라 전자 장치(100)와 화상형성장치(도시되지 아니함)사이에 무선으로 근거리 통신을 할 수 있다. 근거리 통신방식은 블루투스(bluetooth), 적외선 통신(IrDA, infrared data association), 와이파이 다이렉트(WiFi-Direct) 통신, NFC(Near Field Communication) 등이 포함될 수 있다.
그리고, 전자 장치(100)는 성능에 따라 이동통신부, 무선랜부, 및 근거리통신부 중 적어도 하나를 포함할 수 있다. 또한, 전자 장치(100)는 성능에 따라 이동통신부, 무선랜부, 및 근거리 통신부의 조합을 포함할 수 있다. 본 발명의 다양한 실시예에서는 이러한, 이동통신부, 무선랜부, 스크린 및 근거리 통신부 중 적어도 하나 또는 이들의 조합을 송수신부라 칭하며, 이는 본 발명의 범위를 축소하지 않는다.
그리고, 입출력부(150)는 버튼(미도시), 마이크(미도시), 스피커(미도시), 진동모터(미도시), 커넥터(미도시), 및 키패드(미도시) 중 적어도 하나를 포함한다. 이러한 입출력부(150)에 포함된 각각의 구성 요소는 스크린(120) 상에 디스플레이 되어 입출력 기능을 수행할 수 있거나 제어될 수 있다. 또한, 입출력부(150)는 이어폰 연결잭(미도시) 및 입력 유닛(미도시) 중 적어도 하나를 포함할 수 있다. 그리고, 이러한 입출력부(150)는 이에 국한되지 않으며, 마우스, 트랙볼, 조이스틱 또는 커서 방향 키들과 같은 커서 컨트롤(cursor control)이 제어부(110)와의 통신 상기 스크린(120) 상의 커서 움직임 제어를 위해 제공될 수 있다. 이러한 입출력부(150)에서 키패드(미도시)는 전자 장치(100)의 제어를 위해 사용자로부터 키 입력을 수신할 수 있다. 키패드는 전자 장치(100)에 형성되는 물리적인 키패드(미도시) 또는 스크린(120)에 표시되는 가상의 키패드(미도시)를 포함한다. 전자 장치(100)에 형성되는 물리적인 키패드(미도시)는 전자 장치(100)의 성능 또는 구조에 따라 제외될 수 있다.
그리고, 저장부(160)는 제어부(110)의 제어에 따라 통신부(140), 입출력부(150), 스크린(120), 전원 공급부(170)의 동작에 대응되게 입/출력되는 신호, 객체 또는 데이터를 저장할 수 있다. 또한, 저장부(160)는 전자 장치(100) 또는 제어부(110)의 제어를 위한 제어 프로그램 및 애플리케이션들을 저장할 수 있다. 그리고, 저장부(160)는 비 휘발성 메모리, 휘발성 메모리, 하드 디스크 드라이브(HDD)또는 솔리드 스테이트 드라이브(SSD)를 포함할 수 있다. 또한, 상기 저장부(160)는 기계(예를 들어, 컴퓨터)로 읽을 수 있는 매체이며, 기계로 읽을 수 있는 매체라는 용어는 기계가 특정 기능을 수행할 수 있도록 상기 기계로 데이터를 제공하는 매체로 정의될 수 있다. 기계로 읽을 수 있는 매체는 저장 매체일 수 있다. 상기 저장부(160)는 비휘발성 매체(non-volatile media) 및 휘발성 매체를 포함할 수 있다. 이러한 모든 매체는 상기 매체에 의해 전달되는 명령들이 상기 명령들을 상기 기계로 읽어 들이는 물리적 기구에 의해 검출될 수 있도록 유형의 것이어야 한다.
그리고, 전원 공급부(170)는 제어부(110)의 제어에 따라 전자 장치(100)의 하우징에 배치되는 하나 또는 복수의 배터리(도시되지 아니함)에 전원을 공급할 수 있다. 하나 또는 복수의 배터리(도시되지 아니함)는 전자 장치(100)에 전원을 공급할 수 있다. 또한, 전원 공급부(170)는 커넥터(미도시)와 연결된 유선 케이블을 통해 외부의 전원소스(도시되지 아니함)에서부터 입력되는 전원을 전자 장치(100)로 공급할 수 있다. 또한, 전원 공급부(170)는 무선 충전 기술을 통해 외부의 전원소스로부터 무선으로 입력되는 전원을 전자 장치(100)로 공급할 수도 있다.
도 2는 본 발명의 다양한 실시예에 따른 카메라부의 기하학적 구조를 도시한 예시도 이다.
도 2를 참조하면, 카메라부(180)는 제1 카메라(181)와 제2 카메라(182)를 포함할 수 있다. 　
본 발명의 다양한 실시예에 따라, 도 2의 카메라부(180)는 센서와 카메라 센터 간의 거리가 초점 거리 f(211)만큼으로 설정할 수 있으며, 광축간의 간격(215)이 b만큼 떨어져 있도록 스트레오 카메라를 구성할 수 있다. 구체적으로, 상기 제1 카메라(181)의 중심을 Cl(201)로, 상기 제2 카메라(182)의 중심을 Cr(203)로 가정하고, 상기 중심과 센서면 간의 거리를 초점 거리(211) f로 설정 할 수 있다. 상기 카메라의 광축들은 서로 평행하도록 정렬될 수 있다. 또한 피사체(213)를 촬영한 결과 제1 카메라의 영상 내에서 상기 피사체(213)의 좌표는 Xl(205)이고, 제2 카메라의 영상 내에서 상기 피사체(213)의 좌표는 Xr(207)이 될 수 있다. 이때 시차는 상기 제1 카메라의 영상 내에서 상기 피사체(213)의 좌표 Xl(205)와, 제2 카메라의 영상 내에서 상기 피사체(213)의 좌표 Xr(207)의 차이 값으로 계산될 수 있다. 그리고 상기 계산한 차이 값에 삼각측량법을 적용하면 카메라로부터 피사체까지의 거리(209) z를 계산할 수 있다. 상기 삼각측량법은 어느 한점의 좌표와 거리를 삼각형의 성질을 이용하여 알아내는 방법이다. 일 예로, 삼각측량법은 상기 어느 한점과 두 기준점이 주어지면, 상기 어느 한점과 두 기준점이 이루는 삼각형에서 밑변과 다른 두 변이 이루는 각을 각각 측정하여, 상기 변의 길이를 측정한다. 그리고, 상기 측정한 길이를 이용하여 상기 어느 한점의 좌표와 변의 거리를 구할 수 있다.
이러한 방법을 통하여 제1 카메라와 제2 카메라 간에 화각(Field of view, FOV)이 교차하는 범위 내에 존재하는 피사체(213)에 대한 3차원 정보(x,y,z)를 획득할 수 있으며 이에 따라 상기 3 차원 정보가 포함하는 거리값(209)도 획득할 수 있다.
상기 거리값은 하기 수학식 1과 같이 표현될 수 있다,
[수학식1]
Z=b*f/ (Xl-Xr)
즉, 상기 거리값은, 카메라 광축간의 간격b(215)에 비례하고 시차값(Xl-Xr)에 반비례하여, 이에 따라 원거리 물체의 시차값은 작지만 근거리 물체의 시차값은 크다.
도 3은 본 발명의 제1 실시예에 따른 카메라부의 동작을 도시한 예시도이다.
도 3을 참조하면, 제1 카메라 및 제2 카메라가 동기화하여 3차원 정보 신호를 시간에 따라 획득하는 개념도를 제시한다. 구체적으로, 제1 카메라 촬영 신호는 좌 영상 캡처 신호(303), 제2 카메라 촬영 신호는 우 영상 캡처 신호(305), 상기 캡처 신호의 발생 시점을 지시하는 동기 신호(301), 상기 동기 신호에 따라 촬영된 영상의 3차원 정보를 포함하는 3차원 정보 신호(307)의 발생 시점을 제시할 수 있다. 또한 상기 제1 카메라와 제2 카메라의 프레임 레이트(309)는 동일하며, 이에 따라 동기 신호의 프레임 레이트(309)도 상기 카메라의 프레임 레이트와 동일할 수 있다.
일 예로, 동기 신호(311)가 발생한 시점에 피사체를 촬영하기 위한 좌 영상 캡처 신호(313) 및 우 영상 캡처 신호(315)가 발생할 수 있다, 이에 따라 상기 피사체에 대한 3차원 정보를 획득하기 위한 처리 시간(311) 이후, 상기 3차원 정보(317)를 획득할 수 있다. 즉 전자 장치는 상기 처리 시간(311)동안, 상기 제1 카메라가 촬영한 영상과 상기 제2 카메라가 촬영한 영상이 동일한 갭처 신호 발생 시점인지 판단하고, 상기 판단 결과 상기 갭처 신호 발생 시점이 동일한 경우, 상기 제1 카메라가 촬영한 영상 정보와 상기 제2 카메라가 촬영한 영상 정보에 대응하는 3차원 정보를 획득할 수 있다. 상기 3차원 정보는 도 2에서 상술한 바와 같이 시차와 삼각측량법을 이용해서 획득 될 수 있다.
도 4는 본 발명의 제2 실시예에 따른 카메라부의 동작을 도시한 예시도이다.
도 4을 참조하면, 좌우안 영상을 순차적으로 촬영하여, 3차원 정보 신호를 시간에 따라 획득하는 개념도를 제시한다. 구체적으로, 하나의 카메라가 좌 영상 캡처 신호(403)에 따라 좌 영상을 촬영하고, 이후, 우 영상 캡처 신호(405)에 따라 우 영상을 촬영할 수 있다. 캡처 신호(401)는 상기 카메라가 좌 영상 또는 우 영상을 촬영할 시점을 제시 할 수 있다. 이에 따라 캡처 신호(401)의 발생 시점은 상기 캡처 신호(401)의 프레임 레이트(409)에 따라, 결정될 수 있다.
일 예로, 캡처 신호(411)가 발생한 시점에 피사체를 촬영하기 위한 좌 영상 캡처 신호(413)가 발생하고, 캡처 신호(421)가 발생한 시점에 우 영상 캡처 신호(415)가 발생할 수 있다. 이에 따라 상기 피사체에 대한 3차원 정보를 획득하기 위한 처리 시간(411) 이후, 상기 3차원 정보(417)를 획득할 수 있다. 상기 3차원 정보는 도 2에서 상술한 바와 같이 시차와 삼각측량법을 이용해서 획득 될 수 있으며, 제1 실시예에 비해 카메라의 수는 적을 수 있으나, 피사체에 대한 좌 우 영상을 하나의 카메라로 촬영하기 때문에, 상대적으로 피사체에 대한 초당 3차원 정보의 출력 횟수가 적어 질 수 있다.
즉, 도 3의 제1 실시예는 좌우안 카메라의 초당 촬영 횟수 즉 프레임 레이트가 서로 동일하다는 특징이 있고, 이에 따라 상기 제1 실시예 및 제2 실시예는 초당 3차원 정보의 출력 횟수가 초당 카메라의 촬영 횟수와 동일할 수 있다. 또한, 만일 복잡한 스테레오 알고리즘을 적용하여 처리 시간이 1/프레임 레이트 보다 큰 경우에는 초당 3차원 정보의 출력 횟수가 프레임 레이트보다 작아 질 수 있다.
이하 제3 실시 예는 좌우안의 카메라를 동일한 것이 아닌 서로 다른 두 개의 카메라를 사용하는 이른바 하이브리드(Hybrid) 방식 또는 멀티 모델(Multi-modal) 방식에 적용할 수 있다. 즉 제1 카메라 및 제2 카메라의 특성 또는 스펙이 서로 다른 것을 이용하는 것으로 대표적으로는 해상도가 다르거나 파장대가 다를 수 있다. 일 예로, 가격을 절감하기 위해서 제1 카메라 및 제2 카메라 중 하나의 카메라를 저해상도 카메라로 사용할 수 있고, 다양한 특성의 성능을 확보하기 위해 파장대가 서로 다른 카메라를 사용할 수도 있다.
또한 제 3실시 예는 제1 카메라 및 제2 카메라가 서로 다른 프레임 레이트로 설정함으로써, 제1 카메라 및 제2 카메라의 영상 촬영 시점이 서로 다를 수도 있다.
도 5는 본 발명의 제3 실시예에 따른 카메라부의 동작을 도시한 예시도이다.
카메라부(180)는 제1 카메라(181)와 제2 카메라(182)를 포함할 수 있고, 상기 제1 카메라(181)는 칼라 카메라, 상기 제2 카메라(182)는 적외선 카메라가 될 수 있다.
도 5를 참조하면, 상기 제1 카메라(181) 및 제2 카메라(182)는 서로 다른 프레임 레이트가 설정될 수 있고, 3차원 정보의 출력 횟수는 상기 제2 카메라(182)의 프레임 레이트와 대응할 수 있다. 일 예로, 제2 카메라(182)가 제1 카메라(181)보다 정수배만큼 높은 프레임 레이트로 설정되면, 3차원 출력 정보의 출력 횟수도 제1 카메라(181)의 촬영 횟수보다 정수배만큼 많을 수 있다. 즉, 상기 캡처 신호는 제2 영상 촬영 신호에 맞추어 발생할 수 있다.
제3 실시 예는 제1 카메라 및 제2 카메라가 서로 다른 프레임 레이트에 따라 촬영한 영상에 대한 3차원 정보 신호를 시간에 따라 획득할 수 있다. 구체적으로, 제1 카메라 촬영 영상 신호(505), 제2 카메라 촬영 영상 신호(503), 상기 제1 카메라 촬영 영상 신호(505)와 제2 카메라 촬영 영상 신호(503)의 발생 시점을 지시하는 캡처 신호(501), 상기 캡처 신호(501)에 따라 촬영된 영상의 3차원 정보를 포함하는 3차원 정보 신호(507)의 발생 시점을 제시할 수 있다. 또한 상기 제1 카메라의 프레임 레이트(509) 및 제2
카메라의 프레임 레이트(511)는 정수 배 만큼 차이가 있도록 설정할 수 있으며, 상기 제2 카메라 촬영 영상 신호(503) 및 제1 카메라 촬영 영상 신호의 발생 시점은 서로 동일한 시점(515)도 있으나, 제2 카메라 촬영 영상 신호만 발생하는 시점(517)도 있을 수 있다.
일 예로, 캡처 신호(515)가 발생한 시점에 피사체를 촬영하기 위한 제2 카메라 촬영 영상 신호(519) 및 제1 카메라 촬영 영상 신호(523)가 발생할 수 있다. 이에 따라 상기 피사체에 대한 3차원 정보를 획득하기 위한 처리 시간(513) 이후, 상기 3차원 정보(525)를 획득할 수 있다. 그리고 캡처 신호(517)가 발생한 시점에 피사체를 촬영하기 위한 제2 카메라 촬영 영상 신호(521)가 발생할 수 있다. 이에 따라 상기 피사체에 대한 3차원 정보를 획득하기 위한 처리 시간(527) 이후, 상기 3차원 정보(527)를 획득하고 이를 저장할 수 있다. 즉, 전자 장치는 제1 카메라 및 제2 카메라가 촬영한 영상 정보가 동일한 캡처 신호 발생 시점인지 판단하고 판단 결과 서로 동일한 경우 3차원 정보(525)는 상술한 제1 실시예와 동일한 방법으로 획득하고 저장할 수 있다. 그러나, 전자 장치가 제1 카메라 및 제2 카메라가 촬영한 영상 정보가 동일한 캡처 신호 발생 시점인지 판단하고 판단 결과 서로 다른 경우, 3차원 정보(527)는 상기 제2 카메라가 촬영한 연속된 영상 정보에 대응하여, 2차원 정보를 획득하고, 상기 획득한 3차원 깊이값을 이용해서 현재 프레임의 깊이값(depth)을 획득할 수 있다 그리고, 상기 현재 프레임의 깊이값 및 상기 2차원 정보를 포함한 상기 현재 프레임의 3차원 정보를 획득할 수 있다.
일 예로 현재 프레임의 3차원 정보(Xi, Yi, Zi)는 2차원 정보(Xi,Yi)및 깊이값(Zi)을 포함할 수 있으며, 특정 캡처 신호 발생 시점(517)에 상기 제2 카메라가 촬영한 영상 정보(521)는 2차원 정보(Xi,Yi)를 포함할 수 있다.
즉, 상기 제2 카메라가 촬영한 연속된 영상 정보에 대응하는 2차원 정보는, 특정 캡처 신호 발생 시점(517)에 상기 제2 카메라가 현재 프레임에 획득한 2차원 정보(Xi,Yi)와 이전 프레임(515)에 획득한 2차원 정보(Xi(t-1),Yi(t-1))를 이용하여 구할 수 있다. 일 예로 상기 제2 카메라가 촬영한 연속된 영상 정보에 대응하는 2차원 정보는, 현재 프레임에 획득한 2차원 정보(Xi,Yi)와 이전 프레임(515)에 획득한 2차원 정보(Xi(t-1),Yi(t-1))들 간에 대응점 탐색을 수행 또는 트래킹(Tracking) 기술을 적용하여, 이전 프레임과 현재 프레임에 공통적으로 나타나는 정보를 포함할 수 있다. 상기 대응점 탐색은 두 이미지간에 동일 물체점에 해당하는 대응 화소를 탐색하는 것이다. 상기 트래킹 기술은 일 예로, 옵티칼 플로우(optical flow)등이 있을 수 있다.
다음으로 현재 프레임의 깊이값(Zi(t))은 이전에 획득한 3차원 정보가 포함하는 깊이값을 이용한다. 일 예로, 현재 프레임의 깊이값(Zi(t))은 이전 M개의 프레임 동안 획득한 3차원 정보의 깊이값들의 평균 변화량을 이전 프레임에 깊이값(Zi(t-1))에 더하여 구할 수 있다. 즉, 현재 프레임의 깊이값(Zi(t))은 제1 카메라 및 제2 카메라가 촬영한 영상 정보에서 획득된 적어도 하나 이상의 3차원 정보에 포함된 깊이값의 평균 변화량을 상기 현재 프레임 전에 획득한 3차원 정보의 깊이값(Zi(t-1))에 더하여 획득될 수 있다. 또한 다른 예로 깊이값(Zi(t))은 영상 처리 기술 중 일 예로, 칼만 필터(Kalman Filter)를 이용하여 획득될 수 있다. 이렇게 획득한 깊이값(Zi(t))은 다음 프레임에 활용하기 위하여 저장할 수 있다.
도 6은 본 발명의 제3 실시예에 따라 카메라부의 동작에 대한 순서도를 도시한 예시도이다.
제3 실시예에 따르면 2 카메라(182)가 제1 카메라(181)보다 정수 N배 만큼 높은 프레임 레이트로 설정하여, 3차원 출력 정보의 출력 횟수도 제1 카메라(182)의 촬영 횟수보다 N배 많을 수 있다.
도 6을 참조하면, 전자 장치는 제1 카메라 및 제2 카메라가 촬영한 영상 정보에 대응하여 3차원 정보를 획득한다(601). 일 예로, 캡처 신호가 발생되면 제1 카메라 및 제2 카메라는 영상을 촬영하고, 처리 기간 이후 3차원 정보를 획득할 수 있다. 즉, 상기 처리 기간 동안 전자 장치는 제1 카메라 및 제2 카메라가 촬영한 영상에 특징점을 추출하고, 상기 특징점의 좌표를 저장할 수 있다. 여기서 상기 특징점은 픽셀 자체일 수 있고, 엣지(edge), 코너(corner), 경계 및 별도의 영상 처리 과정을 통하여 선택된 픽셀일 수도 있다.
전자 장치는 제1 카메라가 촬영한 영상과 제2 카메라가 촬영한 영상이 동일한 캡처 신호 발생 시점인지 판단할 수 있다(603). 즉 제1 카메라의 프레임 레이트와 상기 제1 카메라의 프레임 레이트보다 정수 배만큼 큰 프레임 레이트로 설정된 제2 카메라의 프레임 레이트에 따라, 상기 제2 카메라만 촬영하는 시점이 있을 수 있다. 이에 따라, 전자 장치는 상기 제2 카메라만 촬영한 시점인지 판단할 수도 있다.
판단 결과 전자 장치는 제1 카메라가 촬영한 영상과 제2 카메라가 촬영한 영상이 동일한 캡처 신호가 발생한 시점인 경우, 상기 동일한 캡처 신호 발생 시점에 제1 카메라가 촬영한 영상 정보와 제2 카메라가 촬영한 영상 정보에 대응하는 3차원 정보를 획득할 수 있다(605 단계). 상기 3차원 정보를 획득하기 위해 전자 장치는 촬영된 피사체의 좌표와, 상기 제1 카메라 및 제2 카메라의 광축을 기준으로, 삼각측량법을 적용할 수 있다.
반면에 전자 장치는 제1 카메라가 촬영한 영상과 제2 카메라가 촬영한 영상이 동일한 캡처 신호가 아닌 경우, 제2 카메라가 촬영한 연속된 영상 정보에서 2차원 정보를 획득할 수 있다(607 단계).
상기 연속된 영상 정보에서 2차원 정보를 획득하는 과정은, 캡처 신호 발생 시점에 상기 제2 카메라가 현재 프레임에 획득한 2차원 정보(Xi, Yi)와 이전 프레임에 획득한 2차원 정보(Xi(t-1), Yi(t-1))를 이용하여 구할 수 있다. 일 예로 상기 제2 카메라가 촬영한 연속된 영상 정보에 대응하는 2차원 정보는, 현재 프레임에 획득한 2차원 정보(Xi, Yi)와 이전 프레임(515)에 획득한 2차원 정보(Xi(t-1), Yi(t-1))들 간에 대응점 탐색을 수행 또는 트래킹(Tracking) 기술을 적용하여, 이전 프레임과 현재 프레임에 공통적으로 나타나는 정보를 포함할 수 있다. 상기 대응점 탐색은 두 이미지간에 동일 물체 점에 해당하는 대응 화소를 탐색하는 것이다. 상기 트래킹 기술은 일 예로, 옵티칼 플로우등이 있을 수 있다.
전자 장치는 획득한 3차원 정보에 대응하여 깊이값을 획득할 수 있다(609 단계). 상기 깊이값(Zi(t))은 이전에 획득한 3차원 정보가 포함하는 깊이값을 이용할 수 있다. 일 예로, 현재 프레임의 깊이값(Zi(t))은 이전 M개의 프레임 동안 획득한 3차원 정보의 깊이값들의 평균 변화량을 이전 프레임의 깊이값(Zi(t-1))에 더하여 구할 수 있다. 또는 다른 예로 깊이값(Zi(t))은 영상 처리 기술 중 일 예로, 칼만 필터(Kalman Filter)를 이용하여 획득될 수 있다. 이렇게 획득한 깊이값(Zi(t))은 다음 프레임에 활용하기 위하여 저장할 수 있다. 일 예로 캡처 신호(517)가 발생한 시점에 상기 깊이값 (Zi(t))은 캡처 신호(517)가 발생한 시점에 획득한 깊이값(Zi(t-1))에 획득했던 3차원 정보의 깊이값들에 대한 평균 변화량을 더함으로써, 구할 수 있다.
전자 장치는 깊이값 및 2차원 정보에 대응하는 3차원 정보를 획득할 수 있다(611단계). 그리고, 획득한 3차원 정보를 저장할 수 있다.
상술한 607단계 및 609단계에 따르면 2차원 정보를 획득하고, 깊이값을 획득하였지만, 다른 예로, 동시에 2차원 정보 및 깊이값을 획득할 수도 있으며, 깊이값을 먼저 획득하고, 2차원 정보를 획득할 수도 있다.
도 7은 본 발명의 제3 실시예가 적용된 전자 장치의 전면도를 도시한 예시도이다.
도 7을 참조하면, 제3 실시예가 적용된 태블릿(710)과 핸드폰(720)의 전면도를 도시한 도면이다. 상기 태블릿(710)은 칼라 카메라(701), 적외선 카메라(705) 및 적외선 광원(703)을 포함할 수 있다. 상기 핸드폰(720)은 칼라 카메라(721), 적외선 카메라(725) 및 적외선 광원(703)을 포함할 수 있다.
상기 태블릿(710) 및 상기 핸드폰(720)이 포함하는 적외선 광원은 비가시(invisible) 파장 범위의 광을 출사하며 레이저 다이오드(LD: laser diode), LED(light emitting diode) 등으로 구성 될 수 있다. 또한 필요에 따라서 상기 태블릿(710) 및 상기 핸드폰(720)는 상기 적외선 광원을 적어도 하나 이상 포함할 수 있으며, 태블릿(710) 및 상기 핸드폰(720)의 전면에 위치에 설치될 수도 있다. 또한 적외선 광원의 출사하는 광이 카메라의 화각 범위를 고르게 비추기 위해 주변 광량비 (relative illumination)가 높도록 상기 적외선 광원이 설치 될 수 있다. 이에 따라 상기 태블릿(710) 및 상기 핸드폰(720)는 회질적 광학 요소(DOE: diffractive optical element), 디퓨저(diffuser) 및, 렌즈 등과 같은 광부품을 추가로 포함할 수 있다. 또한 다른 예로, 적외선 광원은 연속적으로 (continuous, CW) 발광하여도 되고 필요 시 펄스 (pulsed 또는 modulated)로 구동할 수 있다.　
상기 태블릿(710) 및 상기 핸드폰(720)이 포함하는 칼라 카메라는　주로 (셀프) 촬영 및 화상 통화를 목적으로 기존에 갖추어져 있는 것일 수 있다. 일 예로 칼라 카메라는 3차원 거리 정보 추출을 위한 스테레오 카메라의 하나로 사용될 수 있다. 즉 3차원 거리 정보의 획득이 필요하지 않은 경우에는 기존과 동일한 전면카메라의 기능을 수행하고 동작인식용 3차원 정보의 획득이 필요한 경우에는 스테레오 카메라로써 기능을 수행할 수 있다. 물론 전면카메라의 기능과 동작인식의 기능을 동시에 수행할 수도 있다.
상기 태블릿(710) 및 상기 핸드폰(720)이 포함하는 적외선 카메라는 광원의 파장 범위에 맞는 파장 범위를 수광할 수 있는 대역 통과 필터(BPF: band pass filter)를 갖추고 있을 수 있다. 이에 따라 적외선 카메라는 피사체에 대한 동작인식을 하가 위한 불필요한 외광의 영향을 제거할 수 있다.
일 예로, 적외선 카메라 및 칼라 카메라의 스펙은 다음과 같다.
적외선 카메라의 프레임 레이트(Frame Rate)는 상기 제1 카메라의 프레임 레이트의 정수배일 수 있다. 일 예로, 상기 칼라 카메라의 프레임 레이트가 30 frame/second(fps)인 경우 적외선 카메라는 30, 60, 90, 120, 150, 및 180 fps가 될 수 있다. 이에 따라 칼라 카메라와, 적외선 카메라간에 동기가 일치하는 프레임의 확보가 유용할 수 있다. 또한 상기 적외선 카메라는 설정된 프레임 레이트 값으로 동작할 수도 있고, 필요에 따라 가변적일 수도 있다.
또한 적외선 카메라의 해상도를 칼라 카메라의 해상도보다 낮도록 구성할 수 있다. 이에 따라 전송 속도가 고정된 경우, 프레임 레이트를 빠르게 하기 위해 적외선 카메라의 해상도가 칼라 카메라보다 상대적으로 낮도록 설정할 수 있다.
또한 적외선 카메라의 화각을 전자장치와 가까운 거리에서 사용자의 동작이 발생시 대상물을 충분하게 촬영할 수 있도록 칼라 카메라의 화각보다 크거나 같도록 설정할 수 있다
도 8은 본 발명의 다양한 실시예에 따른 사용자의 실제 동작과 획득되는 3차원 정보의 관계를 도시한다. 도 8을 참조하면 전자 장치가 사용자 동작 또는 텍스트 입력에 대한 동작 인식을 확인하는 경우 실제 사용자의 손끝 또는 펜끝의 움직임을 실선으로 나타내고, 획득된 3차원 정보의 좌표를 점선으로 나타낸다. 도 8a는 제1 실시예에 따라 동일한 칼라 카메라 2개를 사용한 것으로 가정하고, 도 8b는 상기 칼라 카메라 및 상기 칼라 카메라의 프레임 레이트보다 정수 배만큼 프레임 레이트가 큰 적외선 카메라를 사용한 것으로 가정한다.
도 8a은 본 발명의 제1 실시예 및 제2 실시예에 따라 시용자의 실제 동작과 3차원 출력 정보를 도시한 예시도이다.
도 8a를 참조하면, 상기 예시도는 사용자의 실제 동작을 나타내는 실선(801), 3차원 정보를 나타내는 점선(803), 제1 프레임에 획득한 3차원 정보(807), 및 제2 프레임에 획득한 3차원 정보(805)를 포함할 수 있다. 상기 제2 프레임에 획득한 3차원 정보(805)는 상기 제1 프레임에 획득한 3차원 정보(807) 이전에 획득한 정보이다. 또한, 상기 제2 프레임에 획득한 3차원 정보(805)와 상기 제1 프레임에 획득한 3차원 정보(807)의 시간 간격(809)은 제1 실시예 및 제2 실시예에서 사용된 카메라의 프레임 레이트의 역수를 의미할 수 있다.
도 8b은 본 발명의 제3 실시 예에 따라 시용자의 실제 동작과 3차원 출력 정보를 도시한 예시도이다.
도 8b를 참조하면, 상기 예시도는 사용자의 실제 동작을 나타내는 실선(811), 3차원 정보를 나타내는 점선(813), 제1 프레임에 획득한 3차원 정보(815), 제2 프레임에 획득한 3차원 정보(817), 제3 프레임에 획득한 3차원 정보(819), 및 제2 프레임에 획득한 3차원 정보(821)를 포함한다. 상기 제1 프레임에 획득한 3차원 정보(815) 및 상기 제4 프레임에 획득한 3차원 정보(821)는 상술한 제1 실시예에 따라 획득한 3차원 정보일 수 있다. 상기 제2 프레임에 획득한 3차원 정보(817) 및 상기 제3 프레임에 획득한 3차원 정보(819)는 상술한 제3 실시예에 따라 획득한 3차원 정보일 수 있다. 이에 따라 상기 제1 프레임에 획득한 3차원 정보(815) 및 상기 제4 프레임에 획득한 3차원 정보(821)의 시간 간격(825)는 제1 카메라의 프레임 레이트의 역수를 나타낸다. 또한 상기 제1 프레임에 획득한 3차원 정보(815) 및 상기 제2 프레임에 획득한 3차원 정보(817)의 시간 간격(823)은 제2 카메라의 프레임 레이트의 역수를 나타낸다.
즉, 제3 실시예에 따르면, 제1 실시예보다 3차원 정보의 획득 횟수가 더 많다. 도 8a는 제1실시예에 따라 프레임 레이트가 적외선 카메라보다 상대적으로 느린 칼라 카메라의 프레임 레이트에 맞추어 3차원 정보를 획득하는 것을 도시한다. 반면에 도 8b는 제3실시예에 따라 칼라 카메라의 프레임 레이트보다 정수 배 빠른 적외선 카메라의 프레임 레이트에 맞추어 3차원 정보를 획득하는 것을 도시한다. 제1 실시예에 따르면, 전자 장치가 동작의 방향이 바뀌는 시간에 촬영을 하지 못하는 경우 3차원 정보를 획득하기 위한 프레임 레이트가 부족하여, 실제 동작을 정확히 따르지 못하고 있다. 반면에 제3 실시예에 따르면, 전자 장치가 적외선 카메라의 프레임 레이트에 따라 3차원 정보를 획득함으로써, 제1 실시예보다 정확한 동작 인식이 가능할 수 있다. 즉 제3 실시예는 제1 실시예보다 정수 배 빠른 3차원 정보 추출이 가능하며, 더욱 정밀하고 복잡한 동작의 인식이 가능하다.
한편 본 발명의 상세한 설명에서는 구체적인 실시 예에 관해 설명하였으나, 본 발명의 범위에서 벗어나지 않는 한도 내에서 여러 가지 변형이 가능함은 물론이다. 그러므로 본 발명의 범위는 설명된 실시 예에 국한되어 정해져서는 안되며 후술하는 특허청구의 범위뿐만 아니라 이 특허청구의 범위와 균등한 것들에 의해 정해져야 한다.

Claims (24)

  1. 전자 장치가 3차원 정보를 검출하는 방법에 있어서,
    제1 카메라 및 제2 카메라가 촬영한 영상 정보에서 3차원 정보를 획득하는 동작과,
    상기 제2 카메라가 촬영하는 연속된 영상 정보에서 2차원 정보를 획득하고, 상기 획득된 3차원 정보의 깊이값(depth)을 이용해서 현재 프레임의 깊이값을 획득하는 동작과,
    상기 현재 프레임의 깊이값 및 상기 획득된 2차원 정보를 포함한 상기 현재 프레임의 3차원 정보를 획득하는 동작을 포함하는 방법.
  2. 제1 항에 있어서,
    상기 제1 카메라는 칼라 영상을 촬영하는 카메라이고 상기 제2 카메라는 적외선 영상을 촬영하는 카메라임을 특징으로 하는 방법.
  3. 제1 항에 있어서,
    상기 2차원 정보는,
    상기 제2 카메라가 상기 현재 프레임의 이전 프레임에서 획득한 2차원 정보와 상기 현재 프레임에서 획득한 2차원 정보 간에 대응점 탐색 또는 트래킹(Tracking) 기술을 적용하여 결정됨을 특징으로 하는 방법.
  4. 제1 항에 있어서,
    상기 현재 프레임의 깊이값은,
    상기 제1 카메라 및 상기 제2 카메라가 촬영한 영상 정보에서 획득된 적어도 하나 이상의 3차원 정보에 포함된 깊이값의 평균 변화량을 상기 현재 프레임의 이전 프레임에서 획득한 3차원 정보의 깊이값에 더하여 획득됨을 특징으로 하는 방법.
  5. 제1 항에 있어서,
    상기 제2 카메라의 프레임 레이트(Frame Rate)는 상기 제1 카메라의 프레임 레이트의 정수배임을 특징으로 하는 방법.
  6. 제1 항에 있어서,
    상기 현재 프레임의 3차원 정보는 상기 제2 카메라의 프레임 레이트와 동일한 프레임 레이트를 가짐을 특징으로 하는 방법.
  7. 제1 항에 있어서,
    상기 제1 카메라가 촬영한 영상과 상기 제2 카메라가 촬영한 영상의 갭처 신호 발생 시점이 동일한지 판단하는 동작과,
    상기 갭처 신호 발생 시점이 동일한 경우, 상기 제1 카메라가 촬영한 영상 정보와 상기 제2 카메라가 촬영한 영상 정보에 대응하는 3차원 정보를 획득하는 동작을 더 포함하는 방법.
  8. 제1 항에 있어서,
    상기 깊이값은 칼만 필터(Kalman Filter) 영상처리를 이용하여 획득됨을 특징으로 하는 방법.
  9. 제1 항에 있어서,
    상기 3 차원 정보는 상기 제1 카메라 및 상기 제2 카메라가 각각 촬영한 영상의 적어도 일부분에 대한 픽셀 정보를 포함함을 특징으로 하는 방법.
  10. 3차원 정보를 검출하는 전자 장치에 있어서,
    영상 정보를 촬영하는 제1 카메라 및 제2 카메라를 포함하고,
    상기 제1 카메라 및 제2 카메라가 촬영한 영상 정보에서 3차원 정보를 획득하고, 상기 제2 카메라가 촬영하는 연속된 영상 정보에서 2차원 정보를 획득하고, 상기 획득된 3차원 정보의 깊이값(depth)을 이용해서 현재 프레임의 깊이값(depth)을 획득하고, 상기 현재 프레임의 깊이값 및 상기 2차원 정보를 포함하는 상기 현재 프레임의 3차원 정보를 획득하는 제어부를 포함하는 전자 장치.
  11. 제10 항에 있어서,
    상기 제1 카메라는 칼라 영상을 촬영하는 카메라이고 상기 제2 카메라는 적외선 영상을 촬영하는 카메라임을 특징으로 전자 장치.
  12. 제10 항에 있어서,
    상기 2차원 정보는,
    상기 제2 카메라가 상기 현재 프레임의 이전 프레임에서 획득한 2차원 정보와 상기 현재 프레임에서 획득한 2차원 정보간에, 대응점 탐색 또는 트래킹(Tracking) 기술을 적용하여 결정됨을 특징으로 전자 장치.
  13. 제10 항에 있어서,
    상기 현재 프레임의 깊이값은,
    상기 제1 카메라 및 상기 제2 카메라가 촬영한 영상 정보에서 획득된 적어도 하나 이상의 3차원 정보에 포함된 깊이값의 평균 변화량을 상기 현재 프레임 이전 프레임에서 획득한 3차원 정보의 깊이값에 더하여 획득됨을 특징으로 하는 전자 장치.
  14. 제10 항에 있어서,
    상기 제2 카메라의 프레임 레이트(Frame Rate)는 상기 제1 카메라의 프레임 레이트의 정수배임을 특징으로 하는 전자 장치.
  15. 제10 항에 있어서,
    상기 현재 프레임의 3차원 정보는 상기 제2 카메라의 프레임 레이트와 동일한 프레임 레이트를 가짐을 특징으로 하는 전자 장치.
  16. 제10 항에 있어서,
    상기 제어부는
    상기 제1 카메라가 촬영한 영상과 상기 제2 카메라가 촬영한 영상의 캡처 신호 발생 시점이 동일한지 판단하고, 상기 갭처 신호 발생 시점이 동일한 경우, 상기 제1 카메라가 촬영한 영상 정보와 상기 제2 카메라가 촬영한 영상 정보에 대응하는 3차원 정보를 획득함을 특징으로 하는 전자 장치.
  17. 제10 항에 있어서,
    상기 깊이값은 칼만 필터(Kalman Filter) 영상처리를 이용하여 획득됨을 특징으로 하는 전자 장치.
  18. 제10 항에 있어서,
    상기 3 차원 정보는 상기 제1 카메라 및 상기 제2 카메라가 각각 촬영한 영상의 적어도 일부분에 대한 픽셀 정보를 포함함을 특징으로 하는 전자 장치.
  19. 전자 장치가 3차원 정보를 검출하는 방법에 있어서,
    제1 프레임에서 촬영한 영상 정보와, 상기 제1 프레임의 다음 프레임인 제2 프레임에서 촬영한 영상 정보를 이용하여 상기 제2 프레임에서 촬영한 영상의 2차원 정보를 획득하는 동작과,
    상기 제2 프레임 이전의 적어도 하나의 프레임에서 획득한 적어도 하나의 3차원 정보가 포함하는 깊이값에 대한 평균 변화량과 상기 제1 프레임의 3차원 정보에 포함된 깊이값을 합하여, 상기 제2 프레임에서 촬영한 영상의 깊이값을 획득하는 동작과,
    상기 2차원 정보 및 깊이값을 포함하는 상기 제2 프레임의 3차원 정보를 검출하는 방법.
  20. 제19 항에 있어서,
    상기 제1 프레임에서 촬영한 영상 정보는, 적외선 카메라 및 칼라 카메라 중 적어도 하나의 카메라가 촬영한 영상에 대한 3차원 정보를 포함함을 특징으로 하는 방법.
  21. 제20 항에 있어서,
    상기 제2 프레임에서 촬영한 영상 정보는, 상기 적외선 카메라가 촬영한 영상 정보를 포함함을 특징으로 하는 방법.
  22. 3차원 정보를 검출하는 전자 장치에 있어서,
    영상 정보를 촬영하는 칼라 카메라, 적외선 카메라 및 적외선 광원을 포함하며,
    제1 프레임에서 촬영한 영상 정보와, 상기 제1 프레임의 다음 프레임인 제2 프레임에서 촬영한 영상 정보를 이용하여 상기 제2 프레임에서 촬영한 영상의 2차원 정보를 획득하고, 상기 제2 프레임 이전의 적어도 하나의 프레임에서 획득한 적어도 하나의 3차원 정보가 포함하는 깊이값에 대한 평균 변화량과 상기 제1 프레임의 3차원 정보에 포함된 깊이값을 합하여, 제2 프레임에서 촬영한 영상의 깊이값을 획득하고, 상기 2차원 정보 및 깊이값을 포함하는 상기 제2 프레임의 3차원 정보를 검출하는 제어부를 포함하는 전자 장치.
  23. 제22 항에 있어서,
    상기 제1 프레임에서 촬영한 영상 정보는, 상기 적외선 카메라 및 칼라 카메라 중 적어도 하나의 카메라가 촬영한 영상에 대한 3차원 정보를 포함함을 특징으로 전자 장치.
  24. 제23 항에 있어서,
    상기 제2 프레임에서 촬영한 영상 정보는, 상기 적외선 카메라가 촬영한 영상 정보를 포함함을 특징으로 하는 전자 장치.
KR1020140030784A 2014-03-17 2014-03-17 3차원 정보를 검출하는 방법 및 장치 KR102179432B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140030784A KR102179432B1 (ko) 2014-03-17 2014-03-17 3차원 정보를 검출하는 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140030784A KR102179432B1 (ko) 2014-03-17 2014-03-17 3차원 정보를 검출하는 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20150108079A true KR20150108079A (ko) 2015-09-25
KR102179432B1 KR102179432B1 (ko) 2020-11-16

Family

ID=54246208

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140030784A KR102179432B1 (ko) 2014-03-17 2014-03-17 3차원 정보를 검출하는 방법 및 장치

Country Status (1)

Country Link
KR (1) KR102179432B1 (ko)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110018872A1 (en) * 2009-07-24 2011-01-27 Christopher Allen Brown Real-time high-speed three dimensional modeling system
KR20120102202A (ko) * 2011-03-08 2012-09-18 (주)하이브 스테레오 카메라의 주시각 제어방법 및 그 스테레오 카메라 장치
KR20140016735A (ko) * 2012-07-31 2014-02-10 삼성전자주식회사 3ｄ 영상 변환 방법 및 이를 적용한 디스플레이 장치

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110018872A1 (en) * 2009-07-24 2011-01-27 Christopher Allen Brown Real-time high-speed three dimensional modeling system
KR20120102202A (ko) * 2011-03-08 2012-09-18 (주)하이브 스테레오 카메라의 주시각 제어방법 및 그 스테레오 카메라 장치
KR20140016735A (ko) * 2012-07-31 2014-02-10 삼성전자주식회사 3ｄ 영상 변환 방법 및 이를 적용한 디스플레이 장치

Also Published As

Publication number Publication date
KR102179432B1 (ko) 2020-11-16

Similar Documents

Publication Publication Date Title
US10564392B2 (en) Imaging apparatus and focus control method
KR102664688B1 (ko) 가상 캐릭터 기반 촬영 모드를 제공하는 전자 장치 및 이의 동작 방법
US20180080761A1 (en) Distance image acquisition apparatus and distance image acquisition method
CN112005548B (zh) 生成深度信息的方法和支持该方法的电子设备
CN108038825B (zh) 一种图像处理方法及移动终端
EP3641294B1 (en) Electronic device and method for obtaining images
US9589327B2 (en) Apparatus and method for noise reduction in depth images during object segmentation
CN103345301A (zh) 一种深度信息获取方法和装置
KR20150029463A (ko) 입력 영상을 이용한 사용자 인터페이스 제어 방법, 장치 및 기록매체
US11048923B2 (en) Electronic device and gesture recognition method thereof
CN106445242B (zh) 压力触控装置和电子设备
US11663992B2 (en) Fade-in user interface display based on finger distance or hand proximity
CN108965666B (zh) 一种移动终端及图像拍摄方法
KR20160143029A (ko) 이동 단말기
US9734391B2 (en) Systems and methods of gesture recognition
KR102221036B1 (ko) 이동단말기 및 그 제어방법
CN113364970A (zh) 一种非视距物体的成像方法和电子设备
CN111127541B (zh) 车辆尺寸的确定方法、装置及存储介质
CN104702848A (zh) 显示取景信息的方法及装置
CN108230372B (zh) 一种图像处理方法、终端及计算机可读存储介质
CN108550182B (zh) 一种三维建模方法和终端
KR102495326B1 (ko) 전자장치 및 그 제어방법
KR20210048725A (ko) 카메라 제어를 위한 방법 및 이를 위한 전자 장치
WO2020258936A1 (zh) 一种基于共享地图的定位方法及装置、电子设备和存储介质
KR102179432B1 (ko) 3차원 정보를 검출하는 방법 및 장치

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant