KR102048411B1 - 웨어러블 장치 및 이의 영상 처리 방법 - Google Patents

Abstract

웨어러블 장치 및 이의 영상 처리 방법이 개시된다. 웨어러블 장치의 영상 처리 방법은 (a) 전면 카메라를 통해 사용자가 바라보는 실 세계를 촬영하는 단계; (b) 후면 카메라를 통해 사용자의 눈을 촬영하여 눈 영상을 생성하고, 상기 눈 영상을 이용하여 상기 사용자의 시선 정보를 확인하는 단계; (c) 상기 촬영된 영상 중 상기 시선 정보에 따른 일부 영역을 제외한 나머지 영역을 포커스 블러(focus blur)하여 증강 영상을 생성하는 단계; 및 (d) 상기 촬영된 영상에 상기 증강 영상을 중첩하여 출력하는 단계를 포함한다.

Description

웨어러블 장치 및 이의 영상 처리 방법{Wearable device and image processing method thereof}

본 발명은 투과 가능한 안경형 웨어러블 장치 및 이의 영상 처리 방법에 관한 것이다.

'구글 글라스 (Google Glass)','엡손 모버리오 (Epson Moverio)','마이크로소프트 홀로렌즈 (Microsoft Hololens)'등의 투과형 웨어러블 장치들이 활발하게 개발되고 있다. 이러한 투과형 안경형 웨어러블 장치를 통하여 사용자는 실세계 (real-world)와 디스플레이 장치에 재현된 영상을 동시에 볼 수 있다. 디스플레이 장치에 영상 또는 정보를 정합하는 증강 현실 (augmented reality) 기술에 대한 연구가 최근 활발하게 수행되고 있다.

투과형 안경 장치 착용자가 디스플레이 장치에 재현된 영상을 볼 경우에는 필연적으로 안경 너머의 실세계가 섞여 (blending) 보이게 된다.

본 발명은 투과 가능한 안경형 웨어러블 장치 및 이의 영상 처리 방법을 제공하기 위한 것이다.

또한, 본 발명은 웨어러블 장치에서 촬영한 영상을 사용자의 시점에 맞게 중첩하여 사용자가 바라보는 실세계 장면이 다른 방식으로 인지되도록 할 수 있는 투과 가능한 안경형 웨어러블 장치 및 이의 영상 처리 방법을 제공하기 위한 것이다.

또한, 본 발명은 사용자가 원하는 위치 또는 사용자의 시점과 일치하는 영역은 포커스를 맞추고 나머지 영역은 깊이에 따라 블러를 가하여 사용자가 원하는 영역만 집중해서 보고 원치 않는 영역은 잘 보이지 않게 할 수 있는 투과 가능한 안경형 웨어러블 장치 및 이의 영상 처리 방법을 제공하기 위한 것이다.

본 발명의 일 측면에 따르면, 투과 가능한 안경형 웨어러블 장치의 영상 처리 방법이 제공된다.

본 발명의 일 실시예에 따르면, 웨어러블 장치의 영상 처리 방법에 있어서, (a) 카메라를 통해 사용자가 바라보는 실 세계를 촬영하는 단계; (b) 상기 촬영된 영상에 대한 깊이 맵(depth map)을 생성하는 단계; (c) 상기 촬영된 영상 및 깊이 맵을 이용하여 사용자의 시점 또는 사용자의 선택 위치에 따른 일부 영역을 제외한 나머지 영역을 포커스 블러(focus blur)하여 증강 영상을 생성하는 단계; 및 (d) 상기 촬영된 영상에 상기 증강 영상을 중첩하여 출력하는 단계를 포함하는 웨어러블 장치의 영상 처리 방법이 제공될 수 있다.

상기 (b) 단계는 깊이 센서를 통해 생성되거나, 복수의 촬영된 영상으로부터 스테레오 매칭(stereo matching)을 통해 깊이 추정을 통해 생성될 수 있다.

상기 (c) 단계는, 상기 촬영된 영상을 사용자 시점에 맞춰 변환하여 증강 영상을 생성하는 단계; 상기 깊이 맵을 이용하여 상기 증강 영상에 대한 목적 블러 맵(target blur map)을 생성하는 단계-상기 목적 블러 맵은 각 픽셀 별 블러(blur)값을 포함함; 및 상기 증강 영상 중 상기 사용자의 시점 또는 사용자의 선택 위치에 따른 일부 영역을 제외한 나머지 영역에 상기 목적 블러 맵을 적용하여 초점을 조정하는 단계를 포함할 수 있다.

상기 각 픽셀별 블러값은 하기 수학식을 이용하여 계산되되,

여기서,

는 실세계 객체의 블러값을 나타내며,

는 객체의 깊이 값을 나타내고,

는 각 픽셀별 블러값을 결정하기 위한 함수를 나타낸다.

본 발명의 다른 실시예에 따르면, 웨어러블 장치의 영상 처리 방법에 있어서, (a) 전면 카메라를 통해 사용자가 바라보는 실 세계를 촬영하는 단계; (b) 후면 카메라를 통해 사용자의 눈을 촬영하여 눈 영상을 생성하고, 상기 눈 영상을 이용하여 상기 사용자의 시선 정보를 확인하는 단계; (c) 상기 촬영된 영상 중 상기 시선 정보에 따른 일부 영역을 제외한 나머지 영역을 포커스 블러(focus blur)하여 증강 영상을 생성하는 단계; 및 (d) 상기 촬영된 영상에 상기 증강 영상을 중첩하여 출력하는 단계를 포함하는 웨어러블 장치의 영상 처리 방법이 제공될 수 있다.

상기 (c) 단계는, 상기 촬영된 영상을 상기 시선 정보에 따라 변환하여 증강 영상을 생성하는 단계; 상기 시선 정보를 기초로 거리에 따른 블러값을 상이하게 적용함으로써 상기 촬영된 영상에 대한 목적 블러 맵(target blur map)을 생성하는 단계-상기 목적 블러 맵은 각 픽셀 별 블러(blur)값을 포함함; 및 상기 증강 영상 중 상기 시선 정보에 따른 일부 영역을 제외한 나머지 영역에 상기 목적 블러 맵을 적용하여 초점을 조정하는 단계를 포함할 수 있다.

본 발명의 다른 측면에 따르면, 투과 가능한 안경형 웨어러블 장치가 제공된다.

본 발명의 일 실시예에 따르면, 웨어러블 장치에 있어서, 사용자가 바라보는 실 세계를 촬영하는 카메라; 상기 촬영된 영상에 대한 깊이 맵(depth map)을 생성하는 맵 생성부; 상기 촬영된 영상 및 깊이 맵을 이용하여 사용자의 시점 또는 사용자의 선택 위치에 따른 일부 영역을 제외한 나머지 영역을 포커스 블러(focus blur)하여 증강 영상을 생성하는 증강 영상 생성부; 및 상기 촬영된 영상에 상기 증강 영상을 중첩하여 출력하는 디스플레이부를 포함하는 웨어러블 장치가 제공될 수 있다.

상기 증강 영상 생성부는, 상기 촬영된 영상을 사용자 시점에 맞춰 변환하여 증강 영상을 생성한 후, 상기 깊이 맵을 이용하여 상기 증강 영상에 대한 목적 블러 맵(target blur map)을 생성하고, 상기 증강 영상 중 상기 사용자의 시점 또는 사용자의 선택 위치에 따른 일부 영역을 제외한 나머지 영역에 상기 목적 블러 맵을 적용하여 초점을 조정하되, 상기 목적 블러 맵은 각 픽셀별 블러값을 포함하되, 각 픽셀의 깊이 값에 따라 상이한 블러값을 포함할 수 있다.

본 발명의 다른 실시예에 따르면, 웨어러블 장치에 있어서, 사용자가 바라보는 실 세계를 촬영하는 전면 카메라; 사용자의 눈을 촬영하여 눈 영상을 생성하는 후면 카메라; 상기 눈 영상을 이용하여 상기 사용자의 시선 정보를 확인하는 시선 획득부; 상기 촬영된 영상 중 상기 시선 정보에 따른 일부 영역을 제외한 나머지 영역을 포커스 블러(focus blur)하여 증강 영상을 생성하는 증강 영상 생성부; 및 상기 촬영된 영상에 상기 증강 영상을 중첩하여 출력하는 디스플레이부를 포함하는 웨어러블 장치가 제공될 수 있다.

상기 증강 영상 생성부는, 상기 촬영된 영상을 상기 시선 정보에 따라 변환하여 증강 영상을 생성하며, 상기 시선 정보를 기초로 거리에 따른 블러값을 상이하게 적용함으로써 상기 촬영된 영상에 대한 목적 블러 맵(target blur map)을 생성하고, 상기 증강 영상 중 상기 시선 정보에 따른 일부 영역을 제외한 나머지 영역에 상기 목적 블러 맵을 적용하여 초점을 조정할 수 있다.

본 발명의 일 실시예에 따른 투과 가능한 안경형 웨어러블 장치 및 이의 영상 처리 방법을 제공함으로써, 웨어러블 장치에서 촬영한 영상을 사용자의 시점에 맞게 중첩하여 사용자가 바라보는 실세계 장면이 다른 방식으로 인지되도록 할 수 있다.

즉, 본 발명은 사용자가 원하는 위치 또는 사용자의 시점과 일치하는 영역은 포커스를 맞추고 나머지 영역은 깊이에 따라 블러를 가하여 사용자가 원하는 영역만 집중해서 보고 원치 않는 영역은 잘 보이지 않게 할 수 있다.

도 1은 본 발명의 일 실시예에 따른 웨어러블 장치의 사시도.
도 1은 본 발명의 일 실시예에 따른 웨어러블 장치의 내부 구성을 개략적으로 도시한 도면.
도 2는 본 발명의 일 실시예에 따른 웨어러블 장치의 영상 처리 방법을 나타낸 순서도.
도 3은 본 발명의 일 실시예에 따른 실세계 장면을 촬영한 영상을 웨어러블 장치의 디스플레이에 중첩한 일 예를 도시한 도면.
도 4 및 도 5는 본 발명의 일 실시예에 따른 객체의 거리와 포커스 블러(focus blur) 사이의 상관 관계를 설명하기 위해 도시한 도면.
도 6은 본 발명의 일 실시예에 따른 실제 중첩된 영상으로부터 재초점 효과를 느낄 수 있도록 재초점 파라미터를 결정하기 위해 설계된 실험의 일 예를 도시한 도면.
도 7은 본 발명의 다른 실시예에 따른 웨어러블 장치의 영상 처리 방법을 나타낸 순서도.
도 8은 본 발명의 다른 실시예에 따른 웨어러블 장치의 내부 구성을 개략적으로 도시한 도면.

본 명세서에서 사용되는 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "구성된다" 또는 "포함한다" 등의 용어는 명세서상에 기재된 여러 구성 요소들, 또는 여러 단계들을 반드시 모두 포함하는 것으로 해석되지 않아야 하며, 그 중 일부 구성 요소들 또는 일부 단계들은 포함되지 않을 수도 있고, 또는 추가적인 구성 요소 또는 단계들을 더 포함할 수 있는 것으로 해석되어야 한다. 또한, 명세서에 기재된 "...부", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.

본 발명은 투과 가능한 안경형 웨어러블 장치를 통해 실세계 장면에 대해 촬영된 영상과 깊이맵을 이용하여 사용자 시점에 맞는 재초점 영상(이하 증강 영상이라 칭하기로 함)을 생성한 후 이를 투과 가능한 안경형 웨어러블 장치의 디스플레이에 중첩하여 출력하도록 할 수 있다. 이를 통해, 본 발명은 사용자가 원하는 특정 영역만 집중해서 보고 나머지 영역은 잘 보이지 않도록 할 수 있다.

본 발명의 일 실시예에 따른 웨어러블 장치는 투과 가능한 안경형 장치로, 사용자가 얼굴에 착용이 가능한 장치이다. 본 명세서에서는 이해와 설명의 편의를 도모하기 위해 투과 가능한 안경형 장치로 한정하여 설명하나, 이외에도 사용자에게 실세계 영상과 증강 영상을 중첩하여 제공할 수 있는 장치인 경우 모두 동일하게 적용될 수 있음은 당연하다. 또한, 본 명세서에서는 웨어러블 장치로 한정하여 설명하나, 비단 웨어러블 장치뿐만 아니라 휴대 가능한 전자 장치인 경우에도 동일하게 적용될 수 있다.

본 발명의 일 실시예에 따른 웨어러블 장치는 웨어러블 장치의 프레임에 소형 카메라(이미지 센서)가 장착되어 실세계 영상을 촬영할 수 있다. 촬영된 영상은 내부 프로세서를 통해 처리된 후 웨어러블 장치의 통해 실세계 영상과 증강 영상을 중첩하여 웨어러블 장치의 디스플레이부를 통해 출력할 수 있다.

또한, 본 발명의 일 실시예에 따른 웨어러블 장치는 프레임의 전면 또는/및 후면에 각각 카메라를 구비할 수 있다. 이를 통해, 웨어러블 장치는 프레임 전면에 구비된 카메라를 통해 사용자가 바라보는 방향의 실세계를 촬영할 수 있다. 이와 동시에 웨어러블 장치는 프레임 후면에 구비된 카메라를 통해 사용자의 눈을 촬영한 후 사용자의 시선을 추적하여 시선 정보를 획득할 수도 있다. 또한, 웨어러블 장치의 프레임 일부에는 전원 공급을 위한 배터리가 내장될 수 있다. 이하 도 1을 참조하여 웨어러블 장치의 내부 구성에 대해 보다 상세히 설명하기로 한다.

도 1은 본 발명의 일 실시예에 따른 웨어러블 장치의 내부 구성을 개략적으로 도시한 도면이다.

도 1을 참조하면, 본 발명의 일 실시예에 따른 웨어러블 장치(100)는 카메라(210), 디스플레이부(215), 맵 생성부(220), 증강 영상 생성부(225), 메모리(230) 및 프로세서(235)를 포함하여 구성된다.

카메라(210)는 영상을 촬영하기 위한 수단이다.

예를 들어, 카메라(210)는 웨어러블 장치(100)를 착용한 사용자가 바라보는 방향의 영상을 촬영할 수 있다.

도 1에는 카메라(210)가 하나인 것을 가정하여 이를 중심으로 설명하고 있다. 그러나, 본 발명의 일 실시예에 따른 웨어러블 장치(100)는 복수의 카메라를 구비할 수도 있다. 이와 같이 카메라가 복수인 경우, 전면 카메라(210)는 웨어러블 장치(100)의 프레임 전면에 위치하여 사용자가 바라보는 방향의 영상을 촬영할 수 있다. 후면 카메라(210)는 전면 카메라(210)와 배면하여 웨어러블 장치(100)의 프레임 후면에 위치하며, 사용자의 눈 영상을 촬영하여 사용자의 시선을 추적하는데 이용될 수 있다.

디스플레이부(215)는 프로세서(235)의 제어를 통해 카메라(210)를 통해 촬영된 영상(실세계 영상)과 증강된 영상을 중첩하여 디스플레이하기 위한 수단이다.

맵 생성부(220)는 촬영된 영상에 대한 깊이 맵(depth map)을 생성하기 위한 수단이다.

웨어러블 장치(100)가 깊이 센서를 구비하는 경우, 맵 생성부(220)는 깊이 센서를 통해 획득된 깊이값을 이용하여 깊이 맵을 생성할 수 있다. 그러나 만일 웨어러블 장치(100)가 깊이 센서를 구비하지 않는 경우, 복수의 영상을 이용하여 깊이 맵을 생성할 수도 있다.

증강 영상 생성부(225)는 촬영된 영상 및 깊이 맵을 이용하여 사용자의 시점 또는 사용자의 선택 위치에 따른 일부 영역을 제외한 나머지 영역을 포커스 블러(focus blur)하여 증강 영상을 생성하기 위한 수단이다.

예를 들어, 증강 영상 생성부(225)는 촬영된 영상을 사용자 시점에 맞춰 변환하여 증강 영상을 생성한 후, 깊이 맵을 이용하여 증강 영상에 대한 목적 블러 맵(target blur map)을 생성하고, 증강 영상 중 상기 사용자의 시점 또는 사용자의 선택 위치에 따른 일부 영역을 제외한 나머지 영역에 상기 목적 블러 맵을 적용하여 초점을 조정하여 최종적으로 증강 영상을 생성할 수 있다. 이에 대해서는 도 2의 설명에 의해 보다 명확하게 이해될 것이다.

메모리(230)는 본 발명의 일 실시예에 따른 웨어러블 장치에서 촬영된 영상과 증강된 영상을 중첩하여 디스플레이하기 위해 필요한 다양한 알고리즘/명령어, 이과정에서 파생되는 다양한 데이터 등을 저장하기 위한 수단이다.

프로세서(235)는 본 발명의 일 실시예에 따른 웨어러블 장치(100)의 내부 구성 요소들(예를 들어, 카메라(210), 디스플레이부(215), 메모리(230) 등)을 제어하기 위한 수단이다.

또한, 프로세서(235)는 메모리(230)에 저장된 복수의 명령어들을 수행함으로써, 촬영된 영상의 일부에 초점을 맞추고 나머지 영역은 흐리게 블러(blur) 처리하여 실세계 영상과 증강 영상을 중첩하여 제공하도록 제어할 수 있다. 이에 대해서는 도 2를 참조하여 하기에서 보다 상세히 후술하기로 한다.

도 2는 본 발명의 일 실시예에 따른 웨어러블 장치의 영상 처리 방법을 나타낸 순서도이며, 도 3은 본 발명의 일 실시예에 따른 실세계 장면을 촬영한 영상을 웨어러블 장치의 디스플레이에 중첩한 일 예를 도시한 도면이고, 도 4 및 도 5는 본 발명의 일 실시예에 따른 객체의 거리와 포커스 블러(focus blur) 사이의 상관 관계를 설명하기 위해 도시한 도면이며, 도 6은 본 발명의 일 실시예에 따른 실제 중첩된 영상으로부터 재초점 효과를 느낄 수 있도록 재초점 파라미터를 결정하기 위해 설계된 실험의 일 예를 도시한 도면이다.

단계 310에서 웨어러블 장치(100)는 웨어러블 장치(100)에 구비된 카메라를 통해 웨어러블 장치(100)를 착용한 착용자가 바라보는 장면을 촬영한다.

단계 315에서 웨어러블 장치(100)는 촬영된 영상에 대한 깊이맵을 생성한다.

이때, 웨어러블 장치(100)에 깊이 센서가 구비되는 경우, 깊이 센서를 통해 촬영된 영상에 대한 깊이 맵(depth map)을 생성할 수 있다.

그러나 만일 웨어러블 장치(100)에 깊이 센서가 구비되지 않은 경우, 웨어러블 장치(100)는 동일한 장면에 대한 복수의 영상을 이용하여 깊이 맵을 생성할 수도 있다. 예를 들어, 웨어러블 장치(100)는 여러 장의 영상으로부터 깊이를 추정하는 stereo matching이나 depth from motion 등의 알고리즘을 사용하여 깊이 맵을 생성할 수 있다. 복수의 영상을 이용하여 깊이를 추정하여 깊이 맵을 생성하는 방법 자체는 이미 공지된 사항이므로 이에 대해서는 추가적인 설명은 생략하기로 한다.

단계 320에서 웨어러블 장치(100)는 카메라에서 촬영된 영상을 사용자의 시점에 맞게 변환한다. 이와 같이, 사용자의 시점에 맞게 변환된 영상을 이하에서는 이해와 설명의 편의를 도모하기 위해 증강 영상이라 칭하기로 한다.

일반적으로 사용자가 착용한 웨어러블 장치(100)를 통해 장면을 촬영하더라도 사용자의 시점과 카메라 렌즈의 시점이 상이하기 때문에 시점 차이를 보정할 필요가 있다.

도 3에는 실세계 장면을 촬영한 영상을 웨어러블 장치의 디스플레이에 중첩한 일 예가 도시되어 있다. 이와 같이 실세계 장면을 촬영한 영상을 웨어러블 장치의 디스플레이에 중첩시 증강 영상의 위치 및 색상/밝기 보정이 정확하고 해상도(spatial resolution)가 충분히 높은 경우 실세계 장면과 증강 영상이 하나로 정합될 수 있다.

본 발명의 일 실시예에 따르면, 웨어러블 장치(100)에서 촬영된 실세계 영상을 사용자 시점에 중첩하는 과정에 있어 영상 재초점 기법을 적용한 영상을 중첩하여 사용자로 하여금 실세계가 재초점 된 것으로 인지하도록 할 수 있다.

도 4 및 도 5를 참조하여 객체의 거리와 포커스 블러(focus blur) 사이의 상관 관계에 대해 설명하기로 한다. 카메라 초점 거리에 대해 간단히 설명하기로 한다.

피사체(객체, point)가 렌즈(반지름 r)로부터

거리에 위치해 있는 경우, 렌즈를 거처 초점 거리(

)만큼 떨어진 이미지 평면(image plane)에 맺히게 된다. 이때, 도 4에서 보여지는 바와 같이 피사체의 거리가

보다 멀리 떨어지거나 도 5에서 보여지는 바와 같이 피사체의 거리가

보다 가까운 경우 객체는 이미지 평면상에 하나의 점으로 맺히지 않고 C를 반지름으로 갖는 착란원(circle of confusion)안에 맺히게 된다. 그로 인해 defocus blur가 발생된다. 이러한 블러의 정도는 객체와 제1 거리(

)가 클수록 커지는 특성이 갖는다.

렌즈의 기본 원리에 따라 초점 길이 F(focal length F)는 수학식 1과 같이 나타낼 수 있다. 또한, 초점 길이 F에 기초하여 착란원의 반지름(C)는 수학식 2와 같이 계산될 수 있다.

여기서, u는 객체와 렌즈간의 거리를 나타내며, v는 렌즈와 이미지 평면까지의 거리를 나타내며, F는 렌즈의 초점 거리를 나타낸다.

여기서,

는 렌즈와 이미지 평면까지의 거리를 나타내며, u는 렌즈와 객체까지의 거리를 나타낸다. 이러한 포커스 블러(focus blur)는 경우에 따라 도 6에서 보여지는 바와 같이 의도적으로 적용되어 미적 효과를 주거나 일부 영역에 집중을 위한 목적으로 활용이 가능하다.

본 발명의 일 실시예에서는 이러한 포커스 블러를 이용하여 사용자의 시선(시점)이 위치하는 영역 또는 사용자가 지정한 특정 영역에 집중하도록 하기 위해 이용될 수 있다.

따라서, 본 발명의 일 실시예에 따른 웨어러블 장치(100)는 촬영된 영상을 사용자의 시점에 맞춰 변환하여 증강 영상을 생성할 수 있다.

이를 위해, 본 발명의 일 실시예에서는 카메라에서 촬영된 영상을 사용자의 시점에 맞게 변환할 필요가 있다. 사용자의 시점은 카메라를 이용하여 사용자의 눈 영상을 촬영한 후 시선을 추적하는 방법 등을 이용하여 인식할 수 있다. 사용자의 시점에 맞게 촬영된 영상을 보정하는 경우, 사전 생성된 보정 행렬(calibration matrix)을 사용할 수 있다.

다른 예를 들어, 웨어러블 장치(100)는 생성된 깊이 맵을 이용하여 사용자의 시점에 맞게 촬영된 영상을 변환할 수도 있다.

단계 325에서 웨어러블 장치(100)는 증강 영상에 대해 목적 블러맵(target blur map)을 생성한다.

여기서, 목적 블러 맵은 각 화소에 대한 블러 파라미터(

)를 포함한다. 이때, 목적 블러 맵은 사용자의 시점에 상응하여 자동으로 생성되거나 사용자의 입력을 통해 생성될 수 있다.

예를 들어, 사용자가 바라보는 시선을 인식하여 해당 위치는 블러(blur)시키지 않고(

=0), 나머지 영역은 깊이 값에 따라 블러 처리할 수 있다.

도 6을 참조하여 실제 중첩된 영상으로부터 재초점 효과를 느낄 수 있도록 재초점 파라미터를 결정하기 위해 설계된 실험의 일 예에 대해 설명하기로 한다.

도 6을 참조하여 실세계의 깨끗한 객체와 실세계의 블러된 객체에 대해 깨끗한 객체 부분에는 재초점 적용한 영상을 중첩하고, 실세계 블러된 객체에 대해서는 아무런 영상도 증강하지 않을 수 있다.

그리고, 실세계의 깨끗한 객체에 증강 영상을 중첩하였을 경우, 실제 블러된 객체를 바라보는 경우(도 6의 좌/우)가 동일하게 인식이 되게 하는 재초점 파라미터를 찾을 수 있다.

이를 수학식으로 나타내면, 수학식 3과 같다.

여기서,

는 실세계 객체의 블러값을 나타내며,

는 객체의 깊이 값을 나타내고,

는 각 픽셀별 블러값을 결정하기 위한 함수를 나타낸다.

일반적으로 블러는 가우시안 블러(Gaussian blur)의 표준 변랑(standard deviation(

))으로 표현될 수 있다. 다양한 깊이와 실세계 블러(

)에 대하여 획득된 증강 영상 블러(

) 값을 이용하여 함수를 생성할 수 있다. 또한, 매칭 함수 생성시 데이터 피팅(data fitting)을 이용하거나 기계 학습(machine learning) 기법이 이용될 수도 있다.

상술한 목적 블러 맵은 자동으로 생성되거나 사용자의 입력을 통해 생성될 수 있다.

단계 330에서 웨어러블 장치(100)는 목적 블러 맵을 이용하여 증강 영상 중 사용자의 시점 또는 사용자의 선택 위치에 따른 일부 영역을 제외한 나머지 영역은 목적 블러 맵을 적용하여 초점을 재조정한다.

예를 들어, 웨어러블 장치(100)는 사용자의 시점 또는 사용자의 선택 위치에 따른 일부 영역은 블러 처리하지 않고(

) 나머지 영역은 깊이 값에 따라 블러값을 다르게 적용하여 블러 처리할 수 있다.

이를 통해, 본 발명의 일 실시예에 따르면 촬영된 영상 중 사용자의 시점에 일치하는 영역만 강조되고 나머지 영역은 블러시킬도록 할 수 있다.

다른 예를 들어, 웨어러블 장치(100)는 촬영된 영상에서 사용자의 시점과 무관하게 광고 등의 목적으로 중요한 영역만 초점이 맞도록 처리하고 나머지 영역은 블러 처리할 수도 있다.

단계 335에서 웨어러블 장치(100)는 초점이 재조정된 증강 영상을 중첩하여 디스플레이 할 수 있다.

도 7은 본 발명의 다른 실시예에 따른 웨어러블 장치의 영상 처리 방법을 나타낸 순서도이다.

단계 810에서 웨어러블 장치(800)는 전면 카메라를 통해 사용자가 바라보는 실세계 장면에 대한 영상을 촬영한다.

단계 815에서 웨어러블 장치(800)는 후면 카메라를 통해 사용자의 눈을 촬영하여 눈 영상을 생성한다.

단계 820에서 웨어러블 장치(800)는 눈 영상을 분석하여 홍채를 인식함으로써 사용자의 시선을 확인한다.

사람의 홍채 인식을 통해 시선을 추적/인식하는 방법 자체는 당업자에게는 자명한 사항이므로 이에 대한 별도의 설명은 생략하기로 한다.

단계 825에서 웨어러블 장치(800)는 촬영된 영상 중 사용자의 시선에 따른 일부 영역을 제외한 나머지 영역을 포커스 블러하여 증강 영상을 생성한다.

예를 들어, 웨어러블 장치(800)는 촬영된 영상을 확인된 시선에 맞도록 변환하여 증강 영상을 생성할 수 있다. 이어, 웨어러블 장치(800)는 시선을 기초로 거리에 따라 블러값을 상이하게 적용함으로써 촬영된 영상에 대한 목적 블러 맵을 생성할 할 수 있다.

즉, 웨어러블 장치(800)는 촬영된 영상에 대해 확인된 시선(시점) 위치를 기초로 거리가 멀어질수록 블러값이 커지도록 적용함으로써 촬영된 영상에 대한 목적 블러 맵을 생성할 수도 있다.

이와 같이, 웨어러블 장치(800)는 목적 블러 맵을 생성한 후 증강 영상 중 시선 정보에 따른 일부 영역을 제외한 나머지 영역에 목적 블러 맵을 적용하여 초점을 조정할 수 있다.

단계 830에서 웨어러블 장치(800)는 초점이 재조정된 증강 영상을 중첩하여 디스플레이 할 수 있다.

도 8은 본 발명의 다른 실시예에 따른 웨어러블 장치의 내부 구성을 개략적으로 도시한 도면이다.

도 8을 참조하면, 본 발명의 다른 실시예에 따른 웨어러블 장치(800)는 전면 카메라(910), 후면 카메라(915), 시선 획득부(920), 디스플레이부(925), 증강 영상 생성부(930), 메모리(935) 및 프로세서(940)를 포함하여 구성된다.

전면 카메라(910)는 웨어러블 장치(800)의 프레임 전면에 위치하며, 사용자가 바라보는 실세계의 장면을 촬영할 수 있다.

또한, 후면 카메라(915)는 웨어러블 장치(800)의 프레임 후면에 위치하며, 사용자의 눈을 촬영하여 눈 영상을 생성하기 위한 수단이다.

시선 획득부(920)는 후면 카메라(915)를 통해 생성된 눈 영상을 이용하여 사용자의 홍채를 인식함으로써 시선 정보를 획득하기 위한 수단이다.

디스플레이부(925)는 프로세서(940)의 제어를 통해 카메라(?)를 통해 촬영된 영상(실세계 영상)과 증강된 영상을 중첩하여 디스플레이하기 위한 수단이다.

증강 영상 생성부(930)는 촬영된 영상 중 상기 시선 정보에 따른 일부 영역을 제외한 나머지 영역을 포커스 블러(focus blur)하여 증강 영상을 생성하기 위한 수단이다.

예를 들어, 증강 영상 생성부(930)는 촬영된 영상을 시선 정보에 따라 변환하여 증강 영상을 생성하며, 시선 정보를 기초로 거리에 따른 블러값을 상이하게 적용함으로써 촬영된 영상에 대한 목적 블러 맵(target blur map)을 생성할 수 있다. 이어, 증강 영상 생성부(930)는 증강 영상 중 상기 시선 정보에 따른 일부 영역을 제외한 나머지 영역에 상기 목적 블러 맵을 적용하여 초점을 조정할 수 있다.

메모리(935)는 본 발명의 일 실시예에 따른 웨어러블 장치에서 촬영된 영상과 증강된 영상을 중첩하여 디스플레이하기 위해 필요한 다양한 알고리즘/명령어, 이과정에서 파생되는 다양한 데이터 등을 저장하기 위한 수단이다.

프로세서(940)는 본 발명의 일 실시예에 따른 웨어러블 장치(800)의 내부 구성 요소들(예를 들어, 전면 카메라(910), 후면 카메라(915), 시선 획득부(920), 디스플레이부(925), 증강 영상 생성부(930), 메모리(935) 등)을 제어하기 위한 수단이다.

도 9는 본 발명의 일 실시예에 따른 투과 가능한 안경형 웨어러블 장치를 통해 실세계 장면에 대해 촬영된 영상에 초점이 재조정된 증강 영상을 중첩하여 디스플레이한 일 예를 도시한 도면이다. 도 9에서 보여지는 바와 같이, 사용자의 시점 또는 사용자가 원하는 특정 영역에 초점을 재조정함으로써 사용자의 시점 또는 사용자가 원하는 특정 영역을 강조하여 디스플레이 할 수 있다. 본 명세서에서는 사용자의 시점 또는 사용자가 원하는 특정 영역의 초점만 재조정하여 중첩하여 출력하는 것으로 한정하여 설명하였으나 해당 영역에 대해 색상을 달리하는 등 시각적 효과를 달리하여 출력하는 경우 모두 동일하게 적용될 수 있다.

본 발명의 실시 예에 따른 장치 및 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 컴퓨터 판독 가능 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 분야 통상의 기술자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media) 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.

상술한 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

이제까지 본 발명에 대하여 그 실시 예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시 예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.

Claims (12)

1. 웨어러블 장치의 영상 처리 방법에 있어서,
   (a) 상기 웨어러블 장치에 장착된 전면 카메라를 이용하여, 사용자가 바라보는 실세계를 촬영한 실세계 영상을 획득하는 단계;
   (b) 상기 촬영된 실세계 영상에 대한 깊이 맵(depth map)을 생성하는 단계;
   (c) 상기 촬영된 실세계 영상을 상기 깊이 맵에 따라 사용자의 시점(viewpoint)에 맞춰 변환한 사용자 시점의 증강 영상을 생성하는 단계;
   (d) 상기 사용자 시점의 증강 영상에 대하여 목적 블러 맵(target blur map)을 생성하는 단계-상기 목적 블러 맵은 각 픽셀 별 블러(blur)값을 포함함-;
   (e) 상기 증강 영상에 상기 목적 블러 맵을 적용하여 초점이 재조정된 재초점 영상을 생성하는 단계;
   (f) 상기 웨어러블 장치에 장착되어 사용자의 눈 방향으로 영상을 표출시키기 위한 디스플레이 장치를 통해서, 상기 디스플레이에 상기 실세계 영상과 상기 재초점 영상을 중첩시켜 출력하는 단계;
   를 포함하는 웨어러블 장치의 영상 처리 방법.
   
2. 삭제
3. 삭제
4. 제1 항에 있어서,
   상기 (e) 단계는,
   상기 증강 영상 중 상기 사용자의 시점 또는 사용자의 선택 위치에 따른 일부 영역을 제외한 나머지 영역에 상기 목적 블러 맵을 적용하여 초점을 조정하는 단계를 포함하는 웨어러블 장치의 영상 처리 방법.
   
5. 제1 항에 있어서,
   상기 각 픽셀별 블러값은 하기 수학식을 이용하여 계산되는 것을 특징으로 하는 웨어러블 장치의 영상 처리 방법.
   

   

   
   여기서,

   

   는 실세계 객체의 블러값을 나타내며,

   

   는 객체의 깊이 값을 나타내고,

   

   는 각 픽셀별 블러값을 결정하기 위한 함수를 나타냄.
   
6. (a) 웨어러블 장치에 장착된 전면 카메라를 이용하여, 사용자가 바라보는 실세계를 촬영한 실세계 영상을 획득하는 단계;
   (b) 상기 웨어러블 장치에 장착된 후면 카메라를 통해 사용자의 눈을 촬영하여 눈 영상을 생성하고, 상기 눈 영상을 이용하여 상기 사용자의 시선 정보를 확인하는 단계;
   (c) 상기 촬영된 실세계 영상을 상기 시선 정보에 따라 사용자의 시점(viewpoint)에 맞춰 변환한 사용자 시점의 증강 영상을 생성하는 단계;
   (d) 상기 사용자 시점의 증강 영상에 대하여 목적 블러 맵(target blur map)을 생성하는 단계-상기 목적 블러 맵은 각 픽셀 별 블러(blur)값을 포함함-;
   (e) 상기 증강 영상에 상기 목적 블러 맵을 적용하여 초점이 재조정된 재초점 영상을 생성하는 단계;
   (f) 상기 웨어러블 장치에 장착되어 사용자의 눈 방향으로 영상을 표출시키기 위한 디스플레이 장치를 통해서, 상기 디스플레이에 상기 실세계 영상과 상기 재초점 영상을 중첩시켜 출력하는 단계;
   를 포함하는 웨어러블 장치의 영상 처리 방법.
   
7. 제6 항에 있어서,
   상기 (e) 단계는,
   상기 증강 영상 중 상기 시선 정보에 따른 일부 영역을 제외한 나머지 영역에 상기 목적 블러 맵을 적용하여 초점을 조정하는 단계를 포함하는 웨어러블 장치의 영상 처리 방법.
   
8. 삭제
9. 삭제
10. 삭제
11. 삭제
12. 삭제

Images