KR20240046357A - 관심 영역에 대한 위치를 결정하는 방법 및 디바이스 - Google Patents

Abstract

제 1 단위 시간에 대한 복수의 정지 영상인 제 1 정지 영상을 획득하는 단계, 상기 제 1 단위 시간에 시간적으로 연속되고 후행하는 제 2 단위 시간에 대한 복수의 정지 영상인 제 2 정지 영상을 획득하는 단계, 상기 제 1 정지 영상에 대한 샘플링을 수행함에 따라 관심 영역에 대한 제 1 위치 정보를 획득하는 단계, 상기 제 2 정지 영상에 대한 샘플링을 수행함에 따라 상기 관심 영역에 대한 제 2 위치 정보를 획득하는 단계 및 상기 제 1 위치 정보 및 상기 제 2 위치 정보를 이용하여 상기 관심 영역에 대한 현재의 위치를 결정하는 단계를 포함하는, 관심 영역에 대한 위치 결정 방법, 디바이스 및 기록매체가 개시된다.

Description

관심 영역에 대한 위치를 결정하는 방법 및 디바이스{Method and device for determining a position for a region of interest}

본 개시의 기술 분야는 관심 영역에 대한 위치를 결정하는 방법 및 디바이스에 관한 것으로, 동영상에 포함되는 정지 영상에 대한 영상 처리를 수행하여 영상에 포함되는 관심 영역에 대한 위치 정보를 제공하는 기술 분야와 관련된다.

인체의 움직임을 측정하기 위해서 고가의 움직임 센싱 장비가 이용되고 있다. 움직임 센싱 장비를 활용할 때 높은 정확도를 확보할 수 있지만 범용성 측면에서 접근이 어렵다는 단점이 있었다. 움직임 센싱 장비의 경우 비용이 높으며 넓은 측정 공간을 필요로 한다는 점에서 실제 구현하는데 불편함이 있었다.

따라서 상대적으로 적은 공간 내에서 저가로 움직임을 측정할 수 있는 장비에 대한 니즈가 있으며, 그 구체적인 방식이 필요한 실정이다. 특히 영상 처리를 통해 위치 정보를 획득할 때 동작하는 구체적인 알고리즘에 대한 연구가 필요한 실정이며, 보다 적은 리소스만을 소모하면서 보다 정확한 위치 정보를 획득하기 위한 다양한 방식이 제안되고 있다.

한국등록특허 제10-2331126호 (2021.11.22), 연상 메모리와 결합된 모션 감지 장치를 이용해서 움직임을 식별하기 위한 시스템 및 방법

본 개시에서 해결하고자 하는 과제는 관심 영역에 대한 위치를 결정하는 방법 및 디바이스에 대한 것으로, 동영상 또는 정지 영상에 대한 영상 처리를 통해서 보다 정확하게 관심 영역에 대한 위치 정보를 획득하도록 하는 방법 및 디바이스를 제공하는데 있다.

본 개시에서 해결하고자 하는 과제는 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.

상술한 기술적 과제를 달성하기 위한 기술적 수단으로써, 본 개시의 제 1 측면에 따른 관심 영역에 대한 위치 결정 방법은 제 1 단위 시간에 대한 복수의 정지 영상인 제 1 정지 영상을 획득하는 단계; 상기 제 1 단위 시간에 시간적으로 연속되고 후행하는 제 2 단위 시간에 대한 복수의 정지 영상인 제 2 정지 영상을 획득하는 단계; 상기 제 1 정지 영상에 대한 샘플링을 수행함에 따라 관심 영역에 대한 제 1 위치 정보를 획득하는 단계; 상기 제 2 정지 영상에 대한 샘플링을 수행함에 따라 상기 관심 영역에 대한 제 2 위치 정보를 획득하는 단계; 및 상기 제 1 위치 정보 및 상기 제 2 위치 정보를 이용하여 상기 관심 영역에 대한 현재의 위치를 결정하는 단계;를 포함할 수 있다.

또한, 상기 제 1 정지 영상에 대한 샘플링은 상기 제 1 정지 영상 각각으로부터 획득되는 상기 관심 영역의 위치의 평균에 기초하여 수행될 수 있다.

또한, 상기 관심 영역은 복수의 포인트를 포함하는 포인트 클라우드에 대응되고, 상기 제 1 위치 정보 및 상기 제 2 위치 정보는 상기 포인트 클라우드의 위치 정보를 포함할 수 있다.

또한, 상기 제 1 위치 정보의 획득에 이용되는 정지 영상의 개수인 제 1 개수는 상기 제 2 위치 정보의 획득에 이용되는 정지 영상의 개수인 제 2 개수보다 작고, 상기 현재는 상기 제 2 단위 시간의 종료 시점에 대응될 수 있다.

또한, 상기 제 1 위치 정보 및 상기 제 2 위치 정보는 뎁스 카메라를 이용하여 획득될 수 있다.

또한, 상기 제 2 단위 시간에 시간적으로 연속되고 후행하는 제 3 단위 시간에 대한 복수의 정지 영상인 제 3 정지 영상을 획득하는 단계; 및 상기 제 3 정지 영상에 대한 샘플링을 수행함에 따라 상기 관심 영역에 대한 제 3 위치 정보를 획득하는 단계;를 더 포함하고, 상기 현재의 위치를 결정하는 단계는 상기 제 1 위치 정보, 상기 제 2 위치 정보 및 상기 제 3 위치 정보에 상이한 가중치를 적용하여 상기 현재의 위치를 결정할 수 있다.

또한, 상기 현재의 위치를 결정하는 단계는 상기 제 1 위치 정보에 적용되는 제 1 가중치, 상기 제 2 위치 정보에 적용되는 제 2 가중치 및 상기 제 3 위치 정보에 적용되는 제 3 가중치의 순서로 점차 높아지도록 상기 제 1 가중치 내지 상기 제 3 가중치를 결정하고, 상기 현재는 상기 제 3 단위 시간의 종료 시점에 대응될 수 있다.

본 개시의 제 2 측면에 따른 관심 영역에 대한 위치 결정 디바이스는 제 1 단위 시간에 대한 복수의 정지 영상인 제 1 정지 영상을 획득하고, 상기 제 1 단위 시간에 시간적으로 연속되고 후행하는 제 2 단위 시간에 대한 복수의 정지 영상인 제 2 정지 영상을 획득하는 수신부; 및 상기 제 1 정지 영상에 대한 샘플링을 수행함에 따라 관심 영역에 대한 제 1 위치 정보를 획득하고, 상기 제 2 정지 영상에 대한 샘플링을 수행함에 따라 상기 관심 영역에 대한 제 2 위치 정보를 획득하고, 상기 제 1 위치 정보 및 상기 제 2 위치 정보를 이용하여 상기 관심 영역에 대한 현재의 위치를 결정하는 프로세서;를 포함할 수 있다.

또한, 상기 제 1 정지 영상에 대한 샘플링은 상기 제 1 정지 영상 각각으로부터 획득되는 상기 관심 영역의 위치의 평균에 기초하여 수행될 수 있다.

또한, 상기 관심 영역은 복수의 포인트를 포함하는 포인트 클라우드에 대응되고, 상기 제 1 위치 정보 및 상기 제 2 위치 정보는 상기 포인트 클라우드의 위치 정보를 포함할 수 있다.

또한, 상기 제 1 위치 정보의 획득에 이용되는 정지 영상의 개수인 제 1 개수는 상기 제 2 위치 정보의 획득에 이용되는 정지 영상의 개수인 제 2 개수보다 작고, 상기 현재는 상기 제 2 단위 시간의 종료 시점에 대응될 수 있다.

또한, 상기 프로세서는 상기 제 2 단위 시간에 시간적으로 연속되고 후행하는 제 3 단위 시간에 대한 복수의 정지 영상인 제 3 정지 영상을 획득하고, 상기 제 3 정지 영상에 대한 샘플링을 수행함에 따라 상기 관심 영역에 대한 제 3 위치 정보를 획득하고, 상기 제 1 위치 정보, 상기 제 2 위치 정보 및 상기 제 3 위치 정보에 상이한 가중치를 적용하여 상기 현재의 위치를 결정할 수 있다.

본 개시의 제 3 측면에 따라 제 1 측면을 구현하기 위한 프로그램이 기록된 컴퓨터로 판독 가능한 비일시적 기록 매체를 포함할 수 있다.

본 개시의 일 실시 예에 따르면, 다수의 하드웨어를 이용하는 것이 아니라 영상 처리에 기초하여 위치 정보를 획득하기 때문에, 상대적으로 적은 비용으로 정확한 위치 정보를 획득할 수 있다.

본 개시의 효과들은 이상에서 언급된 효과로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.

도 1은 일 실시 예에 따른 디바이스 또는 서버가 시스템 상에서 구현되는 일 예를 도시하는 도면이다.
도 2는 일 실시 예에 따른 디바이스의 구성을 개략적으로 도시한 블록도이다.
도 3은 일 실시 예에 따른 디바이스가 동작하는 각 단계를 도시한 흐름도이다.
도 4는 일 실시 예에 따른 디바이스가 복수의 정지 영상을 이용해서 관심 영역에 대한 위치 정보를 획득하는 일 예를 설명하기 위한 도면이다.
도 5는 일 실시 예에 따른 디바이스가 3개 이상의 단위 시간에 대한 복수의 정지 영상을 이용해서 관심 영역에 대한 위치 정보를 획득하는 일 예를 설명하기 위한 도면이다.
도 6은 일 실시 예에 따른 디바이스가 복수의 정지 영상에 대한 샘플링을 통해서 관심 영역에 대한 위치 정보를 획득하는 일 예를 설명하기 위한 도면이다.
도 7은 일 실시 예에 따른 디바이스가 2개 이상의 단위 시간에 대한 복수의 정지 영상의 샘플링을 통해서 관심 영역에 대한 위치 정보를 획득하는 일 예를 설명하기 위한 도면이다.
도 8은 일 실시 예에 따른 디바이스가 복수의 정지 영상으로부터 획득되는 예상 위치에 기초하여 위치 정보를 획득하는 일 예를 설명하기 위한 도면이다.

본 개시에서 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술 되어 있는 실시 예들을 참조하면 명확해질 것이다. 그러나, 본 개시는 이하에서 개시되는 실시 예들에 제한되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시 예들은 개시가 완전 하도록 하고, 해당 기술 분야에 속하는 통상의 기술자에게 본 개시의 범주를 완전하게 알려주기 위해 제공되는 것이다.

본 명세서에서 사용된 용어는 실시 예들을 설명하기 위한 것이며 본 개시를 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소 외에 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다. 명세서 전체에 걸쳐 동일한 도면 부호는 동일한 구성 요소를 지칭하며, "및/또는"은 언급된 구성요소들의 각각 및 하나 이상의 모든 조합을 포함한다. 비록 "제1", "제2" 등이 다양한 구성요소들을 서술하기 위해서 사용되나, 이들 구성요소들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용하는 것이다. 따라서, 이하에서 언급되는 제1 구성요소는 본 개시의 기술적 사상 내에서 제2 구성요소일 수도 있음은 물론이다.

다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 해당 기술분야의 통상의 기술자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.

공간적으로 상대적인 용어인 "아래(below)", "아래(beneath)", "하부(lower)", "위(above)", "상부(upper)" 등은 도면에 도시되어 있는 바와 같이 하나의 구성요소와 다른 구성요소들과의 상관관계를 용이하게 기술하기 위해 사용될 수 있다. 공간적으로 상대적인 용어는 도면에 도시되어 있는 방향에 더하여 사용시 또는 동작 시 구성요소들의 서로 다른 방향을 포함하는 용어로 이해되어야 한다. 예를 들어, 도면에 도시되어 있는 구성요소를 뒤집을 경우, 다른 구성요소의 "아래(below)"또는 "아래(beneath)"로 기술된 구성요소는 다른 구성요소의 "위(above)"에 놓여질 수 있다. 따라서, 예시적인 용어인 "아래"는 아래와 위의 방향을 모두 포함할 수 있다. 구성요소는 다른 방향으로도 배향될 수 있으며, 이에 따라 공간적으로 상대적인 용어들은 배향에 따라 해석될 수 있다.

이하에서는 도면을 참조하여 실시 예들을 상세히 설명한다.

도 1은 일 실시 예에 따른 디바이스(100) 또는 서버가 시스템 상에서 구현되는 일 예를 도시하는 도면이다.

도 1에 도시된 바와 같이, 의료 정보 시스템은 디바이스(100), 외부 서버(130), 저장 매체(140), 통신 디바이스(150), 가상 서버(160), 사용자 단말(170) 및 네트워크 등을 포함할 수 있다.

그러나, 도 1에 도시된 구성요소들 외에 다른 범용적인 구성요소들이 의료 정보 시스템에 더 포함될 수 있음을 관련 기술 분야에서 통상의 지식을 가진 자라면 이해할 수 있다. 예를 들면, 의료 정보 시스템은 네트워크와 연동하여 동작하는 블록체인 서버(미도시)를 더 포함할 수 있다. 또는 다른 실시 예에 따를 경우, 도 1에 도시된 구성요소들 중 일부 구성요소는 생략될 수 있음을 관련 기술 분야에서 통상의 지식을 가진 자라면 이해할 수 있다.

일 실시 예에 따른 디바이스(100)는 수술 등 의료 행위와 관련된 정보를 다양한 소스로부터 획득할 수 있다. 예를 들면 디바이스(100)는 수술 등 의료 행위와 관련된 정보(예: 동영상)를 정보 획득 장치(미도시)로부터 획득할 수 있다. 정보 획득 장치(미도시) 는 촬영 장치, 녹음 장치, 생체 신호 획득 장치 등을 포함할 수 있으나, 이에 제한되지 않는다. 다른 예로 디바이스(100)는 수술 등 의료 행위와 관련된 정보(예: 동영상)를 네트워크로부터 획득할 수 있다.

생체 신호는 체온 신호, 맥박 신호, 호흡 신호, 혈압 신호, 근전도 신호, 뇌파 신호 등 생명체로부터 획득되는 신호를 제한 없이 포함할 수 있다. 정보 획득 장치(미도시)의 일 예인 촬영 장치는 수술실 상황을 전체적으로 촬영하는 제 1 촬영 장치(예: CCTV 등)와 수술 부위를 집중적으로 촬영하는 제 2 촬영 장치(예: 내시경 등) 등을 포함할 수 있으나, 이에 제한되지 않는다.

일 실시 예에 따른 디바이스(100)는 정보 획득 장치(미도시) 또는 네트워크로부터 수술 등 의료 행위와 관련된 영상(동영상, 정지영상 등)을 획득할 수 있다. 영상은 동영상과 정지 영상을 모두 포함하는 개념으로 이해될 수 있다. 디바이스(100)는 획득한 영상에 대한 영상 처리를 수행할 수 있다. 일 실시 예에 따른 영상 처리는 각각의 영상에 대한 네이밍, 인코딩, 저장, 전송, 편집, 메타 데이터 생성 등을 포함할 수 있으나, 이에 제한되지 않는다.

일 실시 예에 따른 디바이스(100)는 정보 획득 장치(미도시) 또는 네트워크로부터 획득한 의료 행위 관련 정보를 그대로 또는 갱신하여 네트워크로 전송할 수 있다. 디바이스(100)가 네트워크로 전송하는 전송 정보는 네트워크를 통해서 외부 디바이스(130, 140, 150, 160, 170)로 전송될 수 있다. 예를 들면, 디바이스(100)는 네트워크를 통해서 외부 서버(130), 저장 매체(140), 통신 디바이스(150), 가상 서버(160), 사용자 단말(170) 등으로 갱신된 동영상을 전송할 수 있다. 디바이스(100)는 외부 디바이스(130, 140, 150, 160, 170)로부터 다양한 정보(예: 피드백 정보, 갱신 요청 등)를 수신할 수 있다. 통신 디바이스(150)는 통신에 이용되는 디바이스를 제한 없이 의미할 수 있으며(예: 게이트웨이), 통신 디바이스(150)는 사용자 단말(180) 등 네트워크와 직접 연결되지 않는 디바이스와 통신할 수 있다.

일 실시 예에 따른 디바이스(100)는 입력부, 출력부 프로세서, 메모리 등을 포함할 수 있으며, 디스플레이 장치(미도시)도 포함할 수 있다. 예컨대, 사용자는 디스플레이 장치를 통해서 통신 상태, 메모리 사용 현황, 전력 상태(예: 배터리의 충전상태(State Of Charge), 외부 전력 공급 여부 등), 저장된 동영상에 대한 썸네일 영상, 현재 동작 중인 동작 모드 등을 등을 확인 할 수 있다. 한편, 디스플레이 장치는 액정 디스플레이(liquid crystal display), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display), 유기 발광 다이오드(organic light-emitting diode), 플렉시블 디스플레이(flexible display), 3차원 디스플레이(3D display), 전기영동 디스플레이(electrophoretic display) 등일 수 있다. 또한, 디스플레이 장치는 구현 형태에 따라 2개 이상의 디스플레이를 포함할 수 있다. 또한, 디스플레이의 터치패드가 레이어 구조를 이루어 터치 스크린으로 구성되는 경우, 디스플레이는 출력 장치 이외에 입력 장치로도 사용될 수 있다.

또한, 네트워크는 유선 통신 또는 무선 통신을 통해 상호 통신을 수행할 수 있다. 예컨대 네트워크는 일종의 서버로 구현될 수도 있으며, 와이파이 칩, 블루투스 칩, 무선 통신 칩, NFC 칩 등을 포함할 수 있다. 물론, 디바이스(100)는 와이파이 칩, 블루투스 칩, 무선 통신 칩, NFC 칩 등을 이용하여 각종 외부기기와 통신을 수행할 수 있다. 와이파이 칩, 블루투스 칩은 각각 Wi-Fi 방식, 블루투스 방식으로 통신을 수행할 수 있다. 와이파이 칩이나 블루투스 칩을 이용하는 경우에는 SSID 및 세션 키 등과 같은 각종 연결 정보를 먼저 송수신하여, 이를 이용하여 통신 연결한 후 각종 정보들을 송수신할 수 있다. 무선 통신 칩은 IEEE, 지그비, 3G(3rd Generation), 3GPP(3rd Generation Partnership Project), LTE(Long Term Evolution) 등과 같은 다양한 통신 규격에 따라 통신을 수행할 수 있다. NFC 칩은 135kHz, 13.56MHz, 433MHz, 860~960MHz, 2.45GHz 등과 같은 다양한 RF-ID 주파수 대역들 중에서 13.56MHz 대역을 사용하는 NFC(Near Field Communication) 방식으로 동작할 수 있다.

일 실시 예에 따른 입력부는 사용자가 디바이스(100)를 제어하기 위한 데이터를 입력하는 수단을 의미할 수 있다. 예를 들어, 입력부에는 키 패드(key pad), 돔 스위치 (dome switch), 터치 패드(접촉식 정전 용량 방식, 압력식 저항막 방식, 적외선 감지 방식, 표면 초음파 전도 방식, 적분식 장력 측정 방식, 피에조 효과 방식 등), 조그 휠, 조그 스위치 등이 있을 수 있으나 이에 한정되는 것은 아니다.

일 실시 예에 따른 출력부는 오디오 신호 또는 비디오 신호 또는 진동 신호를 출력할 수 있으며, 출력부는 디스플레이 장치, 음향 출력 장치, 및 진동 모터 등을 포함할 수 있다.

일 실시 예에 따른 사용자 단말(170)은 스마트폰(Smartphone), 스마트패드(SmartPad), 태블릿 PC 등 다양한 유무선 통신 디바이스를 포함할 수 있으나 이에 제한되지 않는다.

일 실시 예에 따른 디바이스(100)는 정보 획득 장치(미도시)로부터 획득한 의료 행위 관련 정보(예: 동영상)를 갱신할 수 있다. 예를 들면, 디바이스(100)는 정보 획득 장치(미도시)로부터 획득한 영상에 대한 네이밍, 인코딩, 저장, 전송, 편집, 메타 데이터 생성 등을 수행할 수 있다. 일 예로, 디바이스(100)는 획득한 영상의 메타 데이터(예: 생성 시간)을 이용하여 영상 파일의 네이밍을 수행할 수 있다. 다른 예로, 디바이스(100)는 정보 획득 장치(미도시)로부터 획득한 의료 행위와 관련된 영상을 분류할 수 있다. 디바이스(100)는 학습된 AI를 이용하여, 의료 행위와 관련된 영상을 수술 종류, 수술자, 수술 장소 등 다양한 기준에 기초하여 분류할 수 있다.

또한 도 1에서 디바이스(100)는 서버로 구현될 수도 있으며, 디바이스(100)가 구현될 수 있는 물리적 장치의 범위는 제한하여 해석되지 않는다.

도 2는 일 실시 예에 따른 디바이스(100)의 구성을 개략적으로 도시한 블록도이다.

도 2에 도시된 바와 같이, 일 실시 예에 따른 디바이스(100)는 수신부(210), 프로세서(220), 출력부(230) 및 메모리(240)를 포함할 수 있다. 그러나 도 2에 도시된 구성요소 모두가 디바이스(100)의 필수 구성요소인 것은 아니다. 도 2에 도시된 구성 요소보다 많은 구성 요소에 의해 디바이스(100)가 구현될 수도 있고, 도 2에 도시된 구성 요소보다 적은 구성 요소에 의해 디바이스(100)가 구현될 수도 있다.

예를 들어, 일 실시 예에 따른 디바이스(100)는 수신부(210), 프로세서(220), 출력부(230), 메모리(240) 외에 통신부(미도시) 또는 입력부(미도시)를 더 포함할 수도 있다. 또한 출력부(230)의 일 예로서 디스플레이(미도시)가 포함될 수 있다.

일 실시 예에 따른 수신부(210)는 제 1 단위 시간에 대한 복수의 정지 영상인 제 1 정지 영상을 획득할 수 있다. 일 실시 예에 따른 수신부(210)는 대상 동영상에 대해서 제 1 단위 시간에 대한 복수의 정지 영상인 제 1 정지 영상을 획득할 수 있다. 대상 동영상은 관심 영역을 포함하는 동영상을 폭넓게 의미할 수 있다.

일 실시 예에 따른 수신부(210)는 제 1 단위 시간에 시간적으로 연속되고 후행하는 제 2 단위 시간에 대한 복수의 정지 영상인 제 2 정지 영상을 획득할 수 있다. 제 2 단위 시간은 제 1 단위 시간에 시간적으로 연속되고 후행할 수 있다. 예를 들면 제 1 단위 시간이 대상 동영상의 최초 1초인 경우, 제 2 단위 시간은 대상 동영상의 최초 1초부터 최초 2초 간의 시간일 수 있다. 대상 동영상이 8 FPS인 경우, 제 1 단위 시간에 대한 제 1 정지 영상은 최초 8개의 정지 영상이고, 제 2 단위 시간에 대한 제 2 정지 영상은 최초 9번째부터 16번째 정지 영상일 수 있다.

일 실시 예에 따른 프로세서(220)는 제 1 정지 영상에 대한 샘플링을 수행함에 따라 관심 영역에 대한 제 1 위치 정보를 획득할 수 있다. 프로세서(220)는 제 1 정지 영상에 포함되는 8개의 정지 영상 중 일부의 정지 영상을 샘플링을 수행함에 따라 획득할 수 있다.

일 실시 예에 따른 프로세서(220)는 제 2 정지 영상에 대한 샘플링을 수행함에 따라 관심 영역에 대한 제 2 위치 정보를 획득할 수 있다. 프로세서(220)는 제 2 정지 영상에 포함되는 8개의 정지 영상 중 일부의 정지 영상을 샘플링을 수행함에 따라 획득할 수 있다.

일 실시 예에 따른 프로세서(220)는 제 1 위치 정보 및 제 2 위치 정보를 이용하여 관심 영역에 대한 현재의 위치를 결정할 수 있다. 이 경우 현재는 제 2단위 시간의 종료 시점에 대응될 수 있다.

일 실시 예에 따른 디바이스(100)는 제 1 위치 정보를 통해 결정된 제 1 위치와 제 2 위치 정보를 통해 결정된 제 2 위치에 서로 다른 가중치를 적용하여 관심 영역의 현재의 위치를 결정할 수 있다. 일 실시 예에 따를 때, 현재와 가까운 시점에 대응되는 위치 정보에 대해서 현재와 먼 시점에 대응되는 위치 정보보다 더 높은 가중치가 부여될 수 있다. 예를 들면, 제 1 위치의 좌표가 (0, 0)이고, 제 2 위치의 좌표가 (3, 0)일 때 디바이스(100)는 관심 영역의 위치를 (2, 0)으로 결정할 수 있다.

일 실시 예에 따른 프로세서(220)는 제 1 위치 정보, 제 2 위치 정보 및 제 3 위치 정보를 이용하여 관심 영역에 대한 현재의 위치를 결정할 수 있다. 일 실시 예에 따른 디바이스(100)는 제 1 위치 정보, 제 2 위치 정보 및 제 3 위치 정보에 상이한 가중치를 적용하여 현재의 위치를 결정할 수 있다. 일 실시 예에 따를 때, 디바이스(100)는 제 1 위치 정보에 적용되는 제 1 가중치, 제 2 위치 정보에 적용되는 제 2 가중치 및 제 3 위치 정보에 적용되는 제 3 가중치의 순서로 점차 높아지도록 제 1 가중치 내지 제 3 가중치를 결정할 수 있다. 이 경우 현재는 제 3 단위 시간의 종료 시점에 대응될 수 있다.

도 3은 일 실시 예에 따른 디바이스(100)가 동작하는 각 단계를 도시한 흐름도이다.

단계 S310을 참조하면, 일 실시 예에 따른 디바이스(100)는 제 1 단위 시간에 대한 복수의 정지 영상인 제 1 정지 영상을 획득할 수 있다.

일 실시 예에 따른 디바이스(100)는 대상 동영상에 대해서 제 1 단위 시간에 대한 복수의 정지 영상인 제 1 정지 영상을 획득할 수 있다. 대상 동영상은 관심 영역을 포함하는 동영상을 폭넓게 의미할 수 있다. 일 실시 예에 따른 영역은 픽셀과 같이 면적의 최소 단위일 수도 있고 복수의 픽셀과 같이 면적의 최소 단위의 결합일 수도 있다. 예를 들면, 영역은 포인트를 의미할 수도 있고 특정 위치에 대응되는 면적을 의미할 수도 있다.

일 실시 예에 따른 단위 시간은 1초, 0.5초 등 미리 정해진 시간 간격 의미할 수 있다. 설명의 편의를 위해 이하에서 단위 시간은 1초인 것을 가정하여 설명될 수 있다.

제 1 정지 영상은 제 1 단위 시간(예: 대상 동영상의 최초 1초) 동안 제 1 정지 영상을 획득할 수 있다. 예를 들어, 대상 동영상이 8 FPS(Frame Per Second)인 경우, 제 1 정지 영상은 8개일 수 있다. FPS는 동영상에 따라 달라질 수 있으나, 설명의 편의를 위해 이하에서는 8 FPS인 것을 가정하여 설명될 수 있다.

단계 S320을 참조하면, 일 실시 예에 따른 디바이스(100)는 제 1 단위 시간에 시간적으로 연속되고 후행하는 제 2 단위 시간에 대한 복수의 정지 영상인 제 2 정지 영상을 획득할 수 있다.

제 2 단위 시간은 제 1 단위 시간에 시간적으로 연속되고 후행할 수 있다. 예를 들면 제 1 단위 시간이 대상 동영상의 최초 1초인 경우, 제 2 단위 시간은 대상 동영상의 최초 1초부터 최초 2초 간의 시간일 수 있다. 대상 동영상이 8 FPS인 경우, 제 1 단위 시간에 대한 제 1 정지 영상은 최초 8개의 정지 영상이고, 제 2 단위 시간에 대한 제 2 정지 영상은 최초 9번째부터 16번째 정지 영상일 수 있다.

단계 S330을 참조하면, 일 실시 예에 따른 디바이스(100)는 제 1 정지 영상에 대한 샘플링을 수행함에 따라 관심 영역에 대한 제 1 위치 정보를 획득할 수 있다.

일 실시 예에 따른 디바이스(100)는 제 1 정지 영상에 포함되는 8개의 정지 영상 중 일부의 정지 영상을 샘플링을 수행함에 따라 획득할 수 있다.

제 1 정지 영상에 대한 샘플링은 제 1 정지 영상 각각으로부터 획득되는 관심 영역의 위치의 평균에 기초하여 수행될 수 있다. 예를 들면, 디바이스(100)는 8개의 정지 영상을 포함하는 제 1 정지 영상 각각에 대응되는 관심 영역의 위치가 평균 위치와 차이 나는 정도에 기초하여 샘플링을 수행할 수 있다.

일 예로, 평균 위치와의 차이에 따라 8개의 정지 영상을 포함하는 제 1 정지 영상에 대해 순서를 매겼을 때 평균 위치와 가장 큰 차이가 나는 위치에 대응하는 정지 영상이 샘플링에 따라 제외될 수 있다. 또는 평균 위치와의 차이에 기초하여 하나 이상의 정지 영상이 제외되어 제 1 샘플링 영상이 획득될 수 있다. 예를 들면, 제 1 정지 영상에 포함된 8개의 정지 영상 중 2개의 정지 영상이 제외된 6개의 정지 영상이 샘플링에 따라 획득될 수 있다. 제 1 정지 영상에 대한 샘플링을 수행함에 따라 획득되는 정지 영상이 제 1 샘플링 영상일 수 있으며, 여기서는 제 1 샘플링 영상이 6개의 정지 영상일 수 있다.

구체적인 샘플링 방식에 대해서는 도 6 내지 도 8을 참조할 수 있다.

일 실시 예에 따른 디바이스(100)는 샘플링으로 획득되는 일부의 정지 영상인 제 1 샘플링 영상을 이용하여 관심 영역에 대한 제 1 위치 정보를 획득할 수 있다.

일 실시 예에 따른 관심 영역은 복수의 포인트를 포함하는 포인트 클라우드에 대응될 수 있다. 관심 영역의 위치는 포인트 클라우드의 위치에 대응될 수 있다. 일 실시 예에 따른 디바이스(100)는 포인트 클라우드에 포함되는 복수의 포인트의 위치를 결정하고, 결정된 복수의 포인트의 위치를 관심 영역의 위치로 결정할 수 있다. 따라서 제 1 위치 정보는 포인트 클라우드의 제 1 단위 시간에 대한 위치를 나타낼 수 있다.

일 실시 예에 따른 위치 정보는 다양한 방식으로 획득될 수 있다. 예를 들면, 제 1 위치 정보는 뎁스 카메라를 이용하여 획득될 수 있다. 뎁스 카메라가 관심 영역에 대응되는 포인트의 위치를 결정하고, 결정된 포인트의 위치가 관심 영역의 위치로 결정될 수 있다. 그러나 위치 정보를 획득하는 방식이 뎁스 카메라를 사용하는 방식으로 제한되어 해석되는 것은 아니며, 위치 정보를 획득하는 다양한 방식이 존재할 수 있다.

단계 S340을 참조하면, 일 실시 예에 따른 디바이스(100) 제 2 정지 영상에 대한 샘플링을 수행함에 따라 관심 영역에 대한 제 2 위치 정보를 획득할 수 있다.

일 실시 예에 따른 디바이스(100)는 제 2 정지 영상에 포함되는 8개의 정지 영상 중 일부의 정지 영상을 샘플링을 수행함에 따라 획득할 수 있다.

제 2 정지 영상에 대한 샘플링은 제 2 정지 영상 각각으로부터 획득되는 관심 영역의 위치의 평균에 기초하여 수행될 수 있다. 예를 들면, 디바이스(100)는 8개의 정지 영상을 포함하는 제 2 정지 영상 각각에 대응되는 관심 영역의 위치가 평균 위치와 차이 나는 정도에 기초하여 샘플링을 수행할 수 있다.

일 예로, 평균 위치와의 차이에 따라 8개의 정지 영상을 포함하는 제 2 정지 영상에 대해 순서를 매겼을 때 평균 위치와 가장 큰 차이가 나는 위치에 대응하는 정지 영상이 샘플링에 따라 제외될 수 있다. 또는 평균 위치와의 차이에 기초하여 하나 이상의 정지 영상이 제외되어 제 2 샘플링 영상이 획득될 수 있다. 예를 들면, 제 2 정지 영상에 포함된 8개의 정지 영상 중 1개의 정지 영상이 제외된 7개의 정지 영상이 샘플링에 따라 획득될 수 있다. 제 2 정지 영상에 대한 샘플링을 수행함에 따라 획득되는 정지 영상이 제 2 샘플링 영상일 수 있으며, 여기서는 제 2 샘플링 영상이 7개의 정지 영상일 수 있다.

구체적인 샘플링 방식에 대해서는 도 6 내지 도 8을 참조할 수 있다.

일 실시 예에 따른 디바이스(100)는 샘플링으로 획득되는 일부의 정지 영상인 제 2 샘플링 영상을 이용하여 관심 영역에 대한 제 2 위치 정보를 획득할 수 있다.

일 실시 예에 따른 관심 영역은 복수의 포인트를 포함하는 포인트 클라우드에 대응될 수 있다. 관심 영역의 위치는 포인트 클라우드의 위치에 대응될 수 있다. 일 실시 예에 따른 디바이스(100)는 포인트 클라우드에 포함되는 복수의 포인트의 위치를 결정하고, 결정된 복수의 포인트의 위치를 관심 영역의 위치로 결정할 수 있다. 따라서 제 1 위치 정보는 포인트 클라우드의 제 2 단위 시간에 대한 위치를 나타낼 수 있다.

일 실시 예에 따른 위치 정보는 다양한 방식으로 획득될 수 있다. 예를 들면, 제 2 위치 정보는 뎁스 카메라를 이용하여 획득될 수 있다. 뎁스 카메라가 관심 영역에 대응되는 포인트의 위치를 결정하고, 결정된 포인트의 위치가 관심 영역의 위치로 결정될 수 있다. 그러나 위치 정보를 획득하는 방식이 뎁스 카메라를 사용하는 방식으로 제한되어 해석되는 것은 아니며, 위치 정보를 획득하는 다양한 방식이 존재할 수 있다.

도 3에 도시되지는 않았지만, 일 실시 예에 따른 디바이스(100)는 제 2 정지 영상에 시간적으로 연속되고 후행하는 제 3 단위 시간에 대한 복수의 정지 영상인 제 3 정지 영상을 획득할 수 있다.

제 3 단위 시간은 제 2 단위 시간에 시간적으로 연속되고 후행할 수 있다. 예를 들면 제 2 단위 시간이 대상 동영상의 최초 1초부터 2초까지의 시간인 경우, 제 3 단위 시간은 대상 동영상의 최초 2초부터 최초 3초 간의 시간일 수 있다. 대상 동영상이 8 FPS인 경우, 제 2 단위 시간에 대한 제 2 정지 영상은 최초 9번째부터 16번째 정지 영상이고, 제 3 단위 시간에 대한 제 3 정지 영상은 최초 17번째부터 24번째 정지 영상일 수 있다.

일 실시 예에 따른 디바이스(100)는 제 3 정지 영상에 포함되는 복수(예: 8개)의 정지 영상 중 일부의 정지 영상을 샘플링을 수행함에 따라 획득할 수 있다. 또한 일 실시 예에 따른 디바이스(100)는 제 3 정지 영상에 대한 샘플링을 수행함에 따라 관심 영역에 대한 제 3 위치 정보를 획득할 수 있다.

구체적으로 제 3 단위 시간에 대해서 샘플링이 수행되는 방법 또는 제 3 위치 정보를 획득하는 방법은 상술된 단계 S330 또는 단계 S340을 참조할 수 있다. 샘플링에 따라 획득되는 정지 영상의 개수는 단위 시간마다 달라질 수도 있고 동일할 수도 있다. 예를 들면, 제 1 위치 정보의 획득에 이용되는 정지 영상의 개수인 제 1 개수는 제 2 위치 정보의 획득에 이용되는 정지 영상의 개수인 제 2 개수보다 작을 수 있다. 다른 예로, 제 2 위치 정보의 획득에 이용되는 정지 영상의 개수인 제 2 개수는 제 3 위치 정보의 획득에 이용되는 정지 영상의 개수인 제 3 개수보다 작을 수 있다.

단계 S350을 참조하면, 일 실시 예에 따른 디바이스(100)는 제 1 위치 정보 및 제 2 위치 정보를 이용하여 관심 영역에 대한 현재의 위치를 결정할 수 있다. 이 경우 현재는 제 2단위 시간의 종료 시점에 대응될 수 있다.

일 실시 예에 따른 디바이스(100)는 제 1 위치 정보를 통해 결정된 제 1 위치와 제 2 위치 정보를 통해 결정된 제 2 위치에 서로 다른 가중치를 적용하여 관심 영역의 현재의 위치를 결정할 수 있다. 일 실시 예에 따를 때, 현재와 가까운 시점에 대응되는 위치 정보에 대해서 현재와 먼 시점에 대응되는 위치 정보보다 더 높은 가중치가 부여될 수 있다. 예를 들면, 제 1 위치의 좌표가 (0, 0)이고, 제 2 위치의 좌표가 (3, 0)일 때 디바이스(100)는 관심 영역의 위치를 (2, 0)으로 결정할 수 있다.

도 3에 도시되지는 않았지만, 일 실시 예에 따른 디바이스(100)는 제 1 위치 정보, 제 2 위치 정보 및 제 3 위치 정보를 이용하여 관심 영역에 대한 현재의 위치를 결정할 수 있다. 일 실시 예에 따른 디바이스(100)는 제 1 위치 정보, 제 2 위치 정보 및 제 3 위치 정보에 상이한 가중치를 적용하여 현재의 위치를 결정할 수 있다. 일 실시 예에 따를 때, 디바이스(100)는 제 1 위치 정보에 적용되는 제 1 가중치, 제 2 위치 정보에 적용되는 제 2 가중치 및 제 3 위치 정보에 적용되는 제 3 가중치의 순서로 점차 높아지도록 제 1 가중치 내지 제 3 가중치를 결정할 수 있다. 이 경우 현재는 제 3 단위 시간의 종료 시점에 대응될 수 있다.

도 4는 일 실시 예에 따른 디바이스(100)가 복수의 정지 영상을 이용해서 관심 영역에 대한 위치 정보를 획득하는 일 예를 설명하기 위한 도면이다.

일 실시 예에 따른 디바이스(100)는 제 1 단위 시간에 대한 복수의 정지 영상인 제 1 정지 영상(410)을 획득할 수 있다. 예를 들면 제 1 정지 영상(410)은 제 1-1 정지 영상(411) 내지 제 1-8 정지 영상(418)을 포함할 수 있다.

일 실시 예에 따른 디바이스(100)는 제 2 단위 시간에 대한 복수의 정지 영상인 제 2 정지 영상(420)을 획득할 수 있다. 예를 들면 제 2 정지 영상(420)은 제 2-1 정지 영상(421) 내지 제 2-8 정지 영상(428)을 포함할 수 있다.

일 실시 예에 따를 때, 현재는 제 2-8 정지 영상(428)에 대응하는 시점일 수 있다. 따라서 관심 영역의 현재의 위치는 제 2-8 정지 영상(428)에 포함되는 관심 영역의 위치일 수 있다. 그러나 디바이스(100)는 현재의 위치를 제 2-8 정지 영상(428) 뿐 아니라 제 1 정지 영상(410) 및 제 2 정지 영상(420)의 전부 또는 일부를 이용하여 결정할 수 있다.

일 실시 예에 따를 때, 현재는 제 2 정지 영상(420)에 대응하는 시점일 수 있다. 제 2 정지 영상(420)에 대응하는 시점은 제 2-1 정지 영상(421) 내지 제 2-8 정지 영상(428)이 획득되는 시점에 대한 연속적인 시간을 의미할 수 있다. 따라서 관심 영역의 현재의 위치는 제 2 정지 영상(420)에 포함되는 관심 영역의 위치일 수 있다. 그러나 디바이스(100)는 현재의 위치를 제 2 정지 영상(420) 뿐 아니라 제 1 정지 영상(410)을 추가적으로 이용하여 결정할 수 있다.

도 5는 일 실시 예에 따른 디바이스(100)가 3개 이상의 단위 시간에 대한 복수의 정지 영상을 이용해서 관심 영역에 대한 위치 정보를 획득하는 일 예를 설명하기 위한 도면이다.

일 실시 예에 따른 디바이스(100)는 제 1 단위 시간에 대한 복수의 정지 영상인 제 1 정지 영상(410)을 획득할 수 있다. 예를 들면 제 1 정지 영상(410)은 제 1-1 정지 영상(411) 내지 제 1-8 정지 영상(418)을 포함할 수 있다.

일 실시 예에 따른 디바이스(100)는 제 2 단위 시간에 대한 복수의 정지 영상인 제 2 정지 영상(420)을 획득할 수 있다. 예를 들면 제 2 정지 영상(420)은 제 2-1 정지 영상(421) 내지 제 2-8 정지 영상(428)을 포함할 수 있다.

일 실시 예에 따른 디바이스(100)는 제 3 단위 시간에 대한 복수의 정지 영상인 제 3 정지 영상(530)을 획득할 수 있다. 예를 들면 제 3 정지 영상(530)은 제 3-1 정지 영상(531) 내지 제 3-8 정지 영상(538)을 포함할 수 있다.

일 실시 예에 따를 때, 현재는 제 3-8 정지 영상(538)에 대응하는 시점일 수 있다. 따라서 관심 영역의 현재의 위치는 제 3-8 정지 영상(538)에 포함되는 관심 영역의 위치일 수 있다. 그러나 디바이스(100)는 현재의 위치를 제 3-8 정지 영상(538) 뿐 아니라 제 1 정지 영상(410), 제 2 정지 영상(420) 및 제 3 정지 영상(530)의 전부 또는 일부를 이용하여 결정할 수 있다.

일 실시 예에 따를 때, 현재는 제 3 정지 영상(530)에 대응하는 시점일 수 있다. 제 3 정지 영상(530)에 대응하는 시점은 제 3-1 정지 영상(531) 내지 제 3-8 정지 영상(538)이 획득되는 시점에 대한 연속적인 시간을 의미할 수 있다. 따라서 관심 영역의 현재의 위치는 제 3 정지 영상(530)에 포함되는 관심 영역의 위치일 수 있다. 그러나 디바이스(100)는 현재의 위치를 제 3 정지 영상(530) 뿐 아니라 제 1 정지 영상(410) 및 제 2 정지 영상(420)을 추가적으로 이용하여 결정할 수 있다.

도 6은 일 실시 예에 따른 디바이스(100)가 복수의 정지 영상에 대한 샘플링을 통해서 관심 영역에 대한 위치 정보를 획득하는 일 예를 설명하기 위한 도면이다.

일 실시 예에 따른 디바이스(100)는 제 1 단위 시간(620)에 대한 제 1 정지 영상(611 내지 618)에 대한 샘플링을 수행함에 따라 관심 영역에 대한 제 1 위치 정보를 획득할 수 있다.

일 실시 예에 따른 디바이스(100)는 제 1 정지 영상(611 내지 618)에 포함되는 8개의 정지 영상 중 일부의 정지 영상을 샘플링을 수행함에 따라 획득할 수 있다. 예를 들면, 디바이스(100)는 제 1 정지 영상(611 내지 618)에 대한 평균 위치(610)와의 차이에 기초하여 제 1-4 정지 영상(614) 및 제 1-8 정지 영상(618)을 샘플링에 따라 배제할 수 있다. 따라서 디바이스(100)는 제 1-1 정지 영상(611), 제 1-2 정지 영상(612), 제 1-3 정지 영상(613), 제 1-5 정지 영상(615), 제 1-6 정지 영상(616) 및 제 1-7 정지 영상(617)을 이용하여 제 1 위치 정보를 획득할 수 있다. 또한 디바이스(1000는 제 1 위치 정보를 이용하여 관심 영역의 제 1 단위 시간(620)에 대한 위치를 결정할 수 있다.

도 7은 일 실시 예에 따른 디바이스(100)가 2개 이상의 단위 시간에 대한 복수의 정지 영상의 샘플링을 통해서 관심 영역에 대한 위치 정보를 획득하는 일 예를 설명하기 위한 도면이다.

일 실시 예에 따른 디바이스(100)는 제 1 단위 시간(730)에 대한 제 1 정지 영상(711 내지 718)에 대한 샘플링을 수행함에 따라 관심 영역에 대한 제 1 위치 정보를 획득할 수 있다. 또한, 일 실시 예에 따른 디바이스(100)는 제 2 단위 시간(740)에 대한 제 2 정지 영상(721 내지 728)에 대한 샘플링을 수행함에 따라 관심 영역에 대한 제 2 위치 정보를 획득할 수 있다. 디바이스는 제 1 위치 정보 및 제 2 위치 정보를 이용하여 관심 영역에 대한 현재의 위치를 결정할 수 있다.

일 실시 예에 따른 디바이스(100)는 제 1 정지 영상(711 내지 718)에 포함되는 8개의 정지 영상 중 일부의 정지 영상을 샘플링을 수행함에 따라 획득할 수 있다. 예를 들면, 디바이스(100)는 제 1 정지 영상(711 내지 718)에 대한 평균 위치(710)와의 차이에 기초하여 제 1-4 정지 영상(714) 및 제 1-8 정지 영상(718)을 샘플링에 따라 배제할 수 있다. 따라서 디바이스(100)는 제 1-1 정지 영상(711), 제 1-2 정지 영상(712), 제 1-3 정지 영상(713), 제 1-5 정지 영상(715), 제 1-6 정지 영상(716) 및 제 1-7 정지 영상(717)을 이용하여 제 1 위치 정보를 획득할 수 있다.

샘플링이 수행되는 방식은 단위 시간에 따라 달라질 수 있다. 예를 들면, 디바이스(100)는 제 2 정지 영상(721 내지 728)에 포함되는 8개의 정지 영상에 대해서는 배제되는 정지 영상 없이 모두 이용하여 제 2 위치 정보를 획득할 수 있다. 일 실시 예에 따를 때, 제 2 정지 영상(721 내지 728)에 대한 평균 위치(720)와의 차이가 기설정값 이상인 정지 영상이 있는지 여부에 따라 배제되는 정지 영상의 개수가 결정될 수 있다.

도 7에 도시되지는 않았지만, 일 실시 예에 따른 디바이스(100)는 제 1 단위 시간(730) 및 제 2 단위 시간(740) 외의 추가적인 단위 시간에 대해서도 위치 정보를 획득하여 현재의 위치를 결정하기 위해 이용할 수 있다.

이하에서는 일 실시 예에 따라, 디바이스(100)가 제 1 단위 시간(730), 제 2 단위 시간(740), 제 3 단위 시간(미도시), 제 4 단위 시간(미도시) 및 제 5 단위 시간(미도시)을 이용하여 관심 영역의 현재의 위치를 결정하는 방법에 대해 설명한다.

일 실시 예에 따른 디바이스(100)는 제 1 단위 시간(730) 내지 제 5 단위 시간(미도시)에서 획득되는 위치 정보에 각각 상이한 가중치를 적용하여 현재의 위치를 결정할 수 있다.

예를 들면, 디바이스(100) 제 1 단위 시간(730) 내지 제 5 단위 시간(미도시)에서 각각 획득되는 제 1 위치 정보 내지 제 5 위치 정보에 점차 높아지도록 부여되는 가중치에 기초하여 관심 영역의 현재의 위치를 결정할 수 있다. 현재는 제 5 단위 시간에 대응되기 때문에 현재와 가까울수록 높은 가중치가 부여될 수 있다. 제 5 위치 정보에 가장 높은 가중치, 제 4 위치 정보에 2번째로 높은 가중치, 제 3 위치 정보에 3번째로 높은 가중치, 제 2 위치 정보에 4번재로 높은 가중치, 제 1 위치 정보에 5번째로 높은 가중치를 부여하고, 가중치가 부여된 제 1 위치 정보 내지 제 5 위치 정보에 기초하여 관심 영역의 현재의 위치가 결정될 수 있다.

일 실시 예에 따른 디바이스(100)는 제 1 단위 시간(730)에서 획득되는 제 1 개수의 정지 영상, 제 2 단위 시간(740)에서 획득되는 제 2 개수의 정지 영상, 제 3 단위 시간(미도시)에서 획득되는 제 3 개수의 정지 영상, 제 4 단위 시간(미도시)에서 획득되는 제 4 개수의 정지 영상 및 제 5 단위 시간(미도시)에서 획득되는 제 5 개수의 정지 영상을 이용해서 관심 영역의 현재의 위치를 결정할 수 있다. 일 실시 예에 따를 때, 제 1 개수보다 제 2 개수가 크고 제 2 개수보다 제 3 개수가 크고, 제 3 개수보다 제 4 개수가 크고 제 4 개수보다 제 5 개수가 클 수 있다. 제 5 단위 시간으로 갈수로 이용되는 정지 영사의 개수가 많아지기 때문에 현재의 위치를 결정함에 있어서, 제 5 위치 정보의 반영율이 제 1 위치 정보의 반영율 보다 높을 수 있다.

일 실시 예에 따른 디바이스(100)는 제 1 단위 시간(730) 내지 제 5 단위 시간(미도시)에서 획득되는 위치 정보에 대한 표준 편차를 이용하여 현재의 위치를 결정할 수 있다. 예를 들면, 디바이스(100) 제 1 단위 시간(730) 내지 제 5 단위 시간(미도시)에 각각 대응되는 제 1 표준 편차 내지 제 5 표준 편차에 반비례하도록 부여되는 가중치에 기초하여 관심 영역의 현재의 위치를 결정할 수 있다. 표준 편차가 작을 경우, 획득되는 위치 정보의 신뢰도가 높다고 볼 수 있기 때문에, 일 실시 예에 따른 디바이스(100)는 표준 편차가 작은 단위 시간으로부터 획득되는 위치 정보에 표준 편차가 큰 단위 시간으로부터 획득되는 위치정보보다 더 높은 가중치를 부여하여 관심 영역의 현재의 위치를 결정할 수 있다

도 8은 일 실시 예에 따른 디바이스(100)가 복수의 정지 영상으로부터 획득되는 예상 위치에 기초하여 위치 정보를 획득하는 일 예를 설명하기 위한 도면이다.

일 실시 예에 따른 디바이스(100)는 제 1 단위 시간(820)에 대한 제 1 정지 영상(811 내지 818)에 대한 샘플링을 수행함에 따라 관심 영역에 대한 제 1 위치 정보를 획득할 수 있다.

일 실시 예에 따른 디바이스(100)는 제 1 정지 영상(811 내지 818)에 포함되는 8개의 정지 영상 중 일부의 정지 영상을 샘플링을 수행함에 따라 획득할 수 있다. 예를 들면, 디바이스(100)는 제 1 정지 영상(811 내지 818)의 위치의 추세에 대한 예상 위치(810)와의 차이에 기초하여 제 1-2 정지 영상(812) 을 샘플링에 따라 배제할 수 있다. 절대적인 값만을 기준으로 했을 때에는 제 1-2 정지 영상(812) 보다 제 1-6 정지 영상(816)이 크지만 예상 위치(810)와의 차이 값을 기준으로 했을 때에는 제 1-6 정지 영상(816)보다 제 1-2 정지 영상(812)의 차이 값이 더 크다. 따라서 디바이스(100)는 제 1-6 정지 영상(816)이 아닌 제 1-2 정지 영상(812)을 샘플링에 따라 배제할 수 있다.

본 개시의 다양한 실시 예들은 기기(machine)(예를 들어, 디스플레이 장치 또는 컴퓨터)에 의해 읽을 수 있는 저장 매체(storage medium)(예를 들어, 메모리)에 저장된 하나 이상의 인스트럭션들을 포함하는 소프트웨어로서 구현될 수 있다. 예를 들면, 기기의 프로세서(예를 들어, 프로세서(220))는, 저장 매체로부터 저장된 하나 이상의 인스트럭션들 중 적어도 하나의 인스트럭션을 호출하고, 그것을 실행할 수 있다. 이것은 기기가 상기 호출된 적어도 하나의 인스트럭션에 따라 적어도 하나의 기능을 수행하도록 운영되는 것을 가능하게 한다. 상기 하나 이상의 인스트럭션들은 컴파일러에 의해 생성된 코드 또는 인터프리터에 의해 실행될 수 있는 코드를 포함할 수 있다. 기기로 읽을 수 있는 저장매체는, 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서, '비일시적'은 저장매체가 실재(tangible)하는 장치이고, 신호(signal)(예: 전자기파)를 포함하지 않는다는 것을 의미할 뿐이며, 이 용어는 데이터가 저장매체에 반영구적으로 저장되는 경우와 임시적으로 저장되는 경우를 구분하지 않는다.

일 실시 예에 따르면, 본 개시에 개시된 다양한 실시 예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory (CD-ROM))의 형태로 배포되거나, 또는 어플리케이션 스토어(예: 플레이 스토어TM)를 통해 또는 두 개의 사용자 장치들(예: 스마트폰들) 간에 직접, 온라인으로 배포(예: 다운로드 또는 업로드)될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 기기로 읽을 수 있는 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.

본 발명에 대하여 예시한 도면을 참조로 하여 설명하였으나 개시된 실시 예와 도면에 의해 한정되는 것은 아니며 본 실시 예와 관련된 기술 분야에서 통상의 지식을 가진 자는 상기된 기재의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 방법들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 실시 예를 설명하며 본 발명의 구성에 따른 작용 효과를 명시적으로 기재하여 설명하지 않았을지라도, 해당 구성에 의해 예측이 가능한 효과 또한 인정될 수 있다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.

100: 디바이스 190: 서버
210: 수신부 220: 프로세서
230: 출력부 240: 메모리
410: 제 1 정지 영상
420: 제 2 정지 영상
530: 제 3 정지 영상
611 내지 618: 제 1 정지 영상
711 내지 718: 제 1 정지 영상
721 내지 728: 제 2 정지 영상
811 내지 818: 제 1 정지 영상

Claims (13)

1. 관심 영역에 대한 위치 결정 방법에 있어서,
   제 1 단위 시간에 대한 복수의 정지 영상인 제 1 정지 영상을 획득하는 단계;
   상기 제 1 단위 시간에 시간적으로 연속되고 후행하는 제 2 단위 시간에 대한 복수의 정지 영상인 제 2 정지 영상을 획득하는 단계;
   상기 제 1 정지 영상에 대한 샘플링을 수행함에 따라 관심 영역에 대한 제 1 위치 정보를 획득하는 단계;
   상기 제 2 정지 영상에 대한 샘플링을 수행함에 따라 상기 관심 영역에 대한 제 2 위치 정보를 획득하는 단계; 및
   상기 제 1 위치 정보 및 상기 제 2 위치 정보를 이용하여 상기 관심 영역에 대한 현재의 위치를 결정하는 단계;를 포함하는, 방법.
2. 제 1 항에 있어서,
   상기 제 1 정지 영상에 대한 샘플링은 상기 제 1 정지 영상 각각으로부터 획득되는 상기 관심 영역의 위치의 평균에 기초하여 수행되는, 방법.
3. 제 1 항에 있어서,
   상기 관심 영역은 복수의 포인트를 포함하는 포인트 클라우드에 대응되고,
   상기 제 1 위치 정보 및 상기 제 2 위치 정보는 상기 포인트 클라우드의 위치 정보를 포함하는, 방법.
4. 제 1 항에 있어서,
   상기 제 1 위치 정보의 획득에 이용되는 정지 영상의 개수인 제 1 개수는 상기 제 2 위치 정보의 획득에 이용되는 정지 영상의 개수인 제 2 개수보다 작고,
   상기 현재는 상기 제 2 단위 시간의 종료 시점에 대응되는, 방법.
5. 제 1 항에 있어서,
   상기 제 1 위치 정보 및 상기 제 2 위치 정보는 뎁스 카메라를 이용하여 획득되는, 방법.
6. 제 1 항에 있어서,
   상기 제 2 단위 시간에 시간적으로 연속되고 후행하는 제 3 단위 시간에 대한 복수의 정지 영상인 제 3 정지 영상을 획득하는 단계; 및
   상기 제 3 정지 영상에 대한 샘플링을 수행함에 따라 상기 관심 영역에 대한 제 3 위치 정보를 획득하는 단계;를 더 포함하고,
   상기 현재의 위치를 결정하는 단계는 상기 제 1 위치 정보, 상기 제 2 위치 정보 및 상기 제 3 위치 정보에 상이한 가중치를 적용하여 상기 현재의 위치를 결정하는, 방법.
7. 제 6 항에 있어서,
   상기 현재의 위치를 결정하는 단계는
   상기 제 1 위치 정보에 적용되는 제 1 가중치, 상기 제 2 위치 정보에 적용되는 제 2 가중치 및 상기 제 3 위치 정보에 적용되는 제 3 가중치의 순서로 점차 높아지도록 상기 제 1 가중치 내지 상기 제 3 가중치를 결정하고,
   상기 현재는 상기 제 3 단위 시간의 종료 시점에 대응되는, 방법.
8. 관심 영역에 대한 위치 결정 디바이스에 있어서,
   제 1 단위 시간에 대한 복수의 정지 영상인 제 1 정지 영상을 획득하고, 상기 제 1 단위 시간에 시간적으로 연속되고 후행하는 제 2 단위 시간에 대한 복수의 정지 영상인 제 2 정지 영상을 획득하는 수신부; 및
   상기 제 1 정지 영상에 대한 샘플링을 수행함에 따라 관심 영역에 대한 제 1 위치 정보를 획득하고,
   상기 제 2 정지 영상에 대한 샘플링을 수행함에 따라 상기 관심 영역에 대한 제 2 위치 정보를 획득하고,
   상기 제 1 위치 정보 및 상기 제 2 위치 정보를 이용하여 상기 관심 영역에 대한 현재의 위치를 결정하는 프로세서;를 포함하는, 디바이스.
9. 제 8 항에 있어서,
   상기 제 1 정지 영상에 대한 샘플링은 상기 제 1 정지 영상 각각으로부터 획득되는 상기 관심 영역의 위치의 평균에 기초하여 수행되는, 디바이스.
10. 제 8 항에 있어서,
    상기 관심 영역은 복수의 포인트를 포함하는 포인트 클라우드에 대응되고,
    상기 제 1 위치 정보 및 상기 제 2 위치 정보는 상기 포인트 클라우드의 위치 정보를 포함하는, 디바이스.
11. 제 8 항에 있어서,
    상기 제 1 위치 정보의 획득에 이용되는 정지 영상의 개수인 제 1 개수는 상기 제 2 위치 정보의 획득에 이용되는 정지 영상의 개수인 제 2 개수보다 작고,
    상기 현재는 상기 제 2 단위 시간의 종료 시점에 대응되는, 디바이스.
12. 제 8 항에 있어서,
    상기 프로세서는
    상기 제 2 단위 시간에 시간적으로 연속되고 후행하는 제 3 단위 시간에 대한 복수의 정지 영상인 제 3 정지 영상을 획득하고,
    상기 제 3 정지 영상에 대한 샘플링을 수행함에 따라 상기 관심 영역에 대한 제 3 위치 정보를 획득하고,
    상기 제 1 위치 정보, 상기 제 2 위치 정보 및 상기 제 3 위치 정보에 상이한 가중치를 적용하여 상기 현재의 위치를 결정하는, 디바이스.
13. 제 1 항 내지 제 7 항 중 어느 한 항의 방법을 구현하기 위한 프로그램이 기록된 컴퓨터로 판독 가능한 비일시적 기록 매체.
    

Images