KR20180042242A - 3차원 모델 상에 물체를 디스플레이하기 위한 방법 - Google Patents

Abstract

본 발명은 정보 기술의 분야에 관한 것이다. 본 발명은 이미지의 프레임 상에서 관심 지점을 식별하여 그 좌표를 결정하는 단계를 포함하는, 비디오 카메라를 사용하여 형성된 이미지를 얻는 단계, 상기 비디오 카메라를 이동시키는 단계, 및 상기 이동의 파라미터에 관한 데이터를 수신하는 단계, 대응하는 관심 지점을 사용하여 상기 이미지 상에 디스플레이되는 실제 공간 물체가 발견되는 섹터에 대한 예상 가능한 공간 좌표를 연산하는 단계, 대응하는 관심 지점이 발견될 것으로 예상되는 각각의 표시된 섹터를 위한 프레임의 영역의 좌표를 연산하는 단계, 상기 프레임의 상기 표시된 영역의 경계 내에 상기 관심 지점에 대한 검색을 허용하는 단계, 상기 관심 지점이 발견되었다면, 대응하는 섹터의 공간 좌표를 메모리에 저장하는 단계, 공간 모델 상에서 그 대응하는 섹터에 관심 지점의 이미지를 연관시키는 단계, 상기 공간 모델의 평탄면 및/또는 곡면을 식별하는 단계, 추가적인 물체의 모델을 메모리로부터 추출하는 단계, 이를 제어하기 위한 신호를 형성하는 단계, 상기 추가적인 물체의 모델과 상기 공간 모델의 파라미터 사이의 상호 작용에 대한 결과를 연산하는 단계, 상기 비디오 카메라에 의해 형성된 이미지 상에 중첩된 상기 추가적인 물체의 이미지를 위한 신호를 형성하고, 이를 디스플레이에 출력하는 단계를 포함한다.

Description

3차원 모델 상에 물체를 디스플레이하기 위한 방법

본 발명은 정보 기술, 컴퓨터 기술, 즉 이미지 데이터의 프로세싱과 발생 및 컴퓨터 그래픽을 위한 이미지 프로세싱의 분야에 관한 것이며, 그리고 3D 모델을 이미지로 시각화하는 데 사용될 수 있다.

가장 근접한 기술적 프로토 타입은 빙하기 지형학(glacial geomorphology)을 맵핑하기 위한 방법이며, 위성에 의해 얻어지는 탐색될 섹터의 이미지를 취하는 단계; 탐색될 섹터의 고도(elevation)의 디지털 모드를 취하는 단계; 상기 디지털 고도 모델 상에서 평야 및 융기부를 식별하는 단계; 인공위성에 의해 얻어진 이미지에서 습지(marsh) 및 숲을 식별하는 단계; 및 식별된 평야, 융기부, 습지, 및 숲에 기초하여 빙하기 특징을 구비한 빙하기 맵을 형성하는 단계를 포함한다(RU 2519667 C2, cl. GO C11/06, CJО6T17/05 참조).

지형의 지도 제작 정보를 고려하여, 자연적인 프로세스를 모델링한 결과를 시각화하기 위해 알려진 방법이 실행될 수 있다.

알려진 방법의 단점은 디지털 고도 맵(elevation map)이 존재하는 지형 상에서 프로세스를 모델링한 결과만을 맵핑하는 그 제한적인 적용이다. 상기 알려진 방법은 지형에 연결되지 않은 이동 가능한 물체 또는 물체들의 표면 상에 시뮬레이션 결과를 디스플레이하는 데 사용될 수 없다.

알려진 해결책은 구성된 모델에서 추가적인 물체의 실행을 허용하지 않으며, 또한 추가적인 물체와 상기 모델과의 상호 작용의 결과를 결정한다.

이러한 단점은 상기 알려진 방법의 적용 범위를 제한한다.

본 발명의 기술적 결과는 탐색될 섹터 상에 추가적인 데이터를 포함하지 않고서도 3D 모델을 형성할 가능성을 제공함으로써, 이동 가능한 물체 또는 물체의 내부 공간의 3D 모델을 형성할 가능성을 제공함으로써, 그리고 상기 3D 모델과 다양한 물체의 모델과의 상호 작용의 결과를 얻을 가능성을 제공함으로써, 적용 범위의 확장이다.

이 결과는 비디오 카메라에 의해 형성된 이미지를 얻는 단계와 그리고 모델을 형성하는 단계로 구성된, 3D 모델 상에 물체를 디스플레이하는 방법에 의해 달성되며, 상기 방법은 이미지 프레임 상에 관심 지점(interest point)을 식별하고 그리고 상기 프레임 상에 그 좌표를 결정하는 단계, 상기 비디오 카메라를 이동하는 단계, 상기 비디오 카메라 이동의 결과로서 대응하는 관심 지점에 의해 상기 이미지 상에 디스플레이된, 실제 공간의 디테일(detail)을 찾는 것이 가능한 상기 섹터의 공간 좌표의 계산된 값에 기초하여, 상기 비디오 카메라 모션의 파라미터에 대해 데이터를 얻는 단계, 및 대응하는 관심 지점이 검출될 것으로 예상되는 각각의 섹터를 위해 상기 프레임 상에 영역의 좌표를 결정하는 단계로 구성되며, 상기 물체는 프레임 상의 특정한 영역 내에서 관심 지점을 검색하고, 그 위치는 관련 섹터의 메모리 3D 좌표에 저장되어, 열거된 동작을 나중에 실행함으로써 이들 섹터의 3D 좌표를 특정하며, 상기 3D 모델 상에서의 대응하는 섹터의 공간 좌표로부터의 관심 지점의 이미지는 상기 비디오 카메라의 모션의 궤적에서 상이한 지점으로부터 얻어진 이미지 프레임과 비교되며, 평탄면 및 곡면이 상기 3D 모델 상에 검출되며, 상기 추가적인 물체의 모델은 상기 메모리로부터 추출되고, 그 제어를 위한 신호가 상기 3D 모델 내에 형성되어, 상기 추가적인 물체 모델과 상기 3D 모델의 파라미터와의 상호 작용의 결과를 계산하고, 형성하여 디스플레이를 위해 출력하며, 이미지 신호는 실시간으로 비디오 카메라에 의해 형성된 이미지 상에 중첩된 추가적인 물체이다.

추가적으로:

- 관심 지점은 한 세트의 연속적인 이미지 프레임에 저장되는 특징적인 구성을 갖는 인접한 이미지 지점의 그룹이며,

- 프레임 상에서 관심 지점의 검색 영역은, 비디오 카메라의 광학 시스템의 파라미터를 고려하여 그 각도 좌표가 결정되는 3D 섹터에 대응하고,

- 상기 추가적인 물체의 이미지의 크기는 3D 모델 및/또는 사용자의 치수에 기초하여 수동으로 선택되며,

- 스케일링(scaling) 및/또는 회전, 및/또는 3D 변환, 및/또는 상기 추가적인 물체의 이미지의 상황 변환의 실행은 상기 3D 모델의 파라미터와 상호 작용하며,

- 프레임 분석 툴(tool)에 의해 발생된 비디오 카메라의 이동의 방향 및 크기의 추정값을 포함하는 신호를 얻는 단계,

- 자이로스코프 센서(gyroscopic sensor) 또는 속도 및 방향 센서 또는 가속 센서의 출력에서 발생된 비디오 카메라의 이동의 방향 및 크기의 추정값을 포함하는 신호의 형태인 비디오 카메라의 이동의 파라미터에 대한 데이터를 수신하는 단계,

이미지 형성 장치의 제어에 대한 사용자의 영향을 이용함으로써 상기 추가적인 물체 모델의 제어 신호를 형성하는 단계,

- 상기 비디오 카메라를 임의의 방향으로 및/또는 미리 결정된 추천에 따라 이동시키는 단계,

- 이전 프레임에서 연산된 상기 비디오 이미지와 일치하는, 섹터의 미세 조정된(refined) 3D 좌표로서 섹터의 3D 좌표만 저장하는 단계,

- 미리 결정된 물체의 이미지를 검출하고, 그 3D 특성을 3D 모델 내에 통합하는 단계,

- 비디오 카메라의 시야(eyeshot) 내에 속하는 것이 중단된 공간의 이들 실제 디테일에 대응하는 것을 포함하여, 모델의 단편(fragment)을 상기 메모리에 저장하는 단계,

- 섹터의 3D 좌표의 분석에 기초하여, 3D 모델 상에 평탄면 및/또는 곡면을 나타내는 단계,

- 다중 관심 지점에 걸쳐 있는 프레임의 섹션의 이미지 파라미터의 분석에 기초하여, 상기 3D 모델 상에 평탄면 및/또는 곡면을 나타내는 단계.

물체가 3D 모델 상에 디스플레이되는 방식이 도면의 도움을 받아 설명되어 있다.
도 1은 자동차 관련 게임에서의 방법의 일 실시예를 개략적으로 도시하고 있다.
도 2는 비디오 이미지의 3개의 프레임의 이미지 프로세싱의 결과로서 3D 좌표의 미세 조정의 프로세스를 개략적으로 도시하고 있다.
도 3은 관심 지점으로서 정의된 콘트라스트 지점의 특징적인 구성이 있는, 모니터 이미지를 구비한 디스플레이의 일부를 도시하고 있다.
도 4는 3D 모델 상에 물체를 디스플레이하는 방법을 실행하기 위한 이미지 형성 장치의 기능적 다이어그램을 도시하고 있다.
도 5는 프로세서 제어 프로그램의 블록도를 도시하고 있다.

도면에는 이하의 주요 용어가 있다.

1: 이미징 프로세싱 장치의 디스플레이, 2: 이미징 프로세싱 장치 카메라의 궤적, 3: 디스플레이된 장면의 표면, 4: 디스플레이된 장면의 원통면, 5: 디스플레이 상에 도시된 이미징 프로세싱 장치 상의 추가적인 물체의 이미지, 6, 7, 8: 비디오 카메라의 모션 경로의 다른 지점으로부터 각각 얻어진 제1, 제2, 및 제3 프레임, 9: 제1 프레임을 프로세싱한 결과로부터 계산된 장면 디테일에 대한 방향, 10: 관심 지점에 대응하는 장면의 디테일이 장면 프레임에 대응하는 궤적의 지점으로부터 관찰될 것으로 예상되는, 섹터의 각 치수(angular dimension), 11: 관심 지점에 대응하는 장면의 디테일이 관찰될 것으로 예상되는, 제3 프레임의 궤적의 지점으로부터 섹터의 각 치수, 12: 제3 프레임으로부터 연산된 장면 디테일의 미세 조정된 3D 좌표의 음영 영역, 13: 관심 지점으로서 정의된, 이미지를 형성하는 장면 디테일, 14: 특징적인 구성을 갖는 관심 지점을 식별하는 예, 15: 관심 지점을 식별하기 위한 계산 수단, 18: 프레임 상의 관심 지점의 좌표를 계산하기 위한 수단, 19: 대응하는 부분이 다음 프레임에서 관찰될 것으로 예상되는 섹터의 3D 좌표를 계산하기 위한 수단, 20: 프레임 상의 관심 지점의 예상된 좌표의 영역을 계산하기 위한 수단, 21: 3D 모델을 형성하는 수단, 22: 추가적인 물체의 모델을 추출하기 위한 수단, 23: 추가적인 물체와 3D 모델과의 상호 작용의 결과를 계산하기 위한 제어 본체 수단, 24: 모델 상호 작용을 위한 수단, 25: 최종 이미지 신호를 발생하기 위한 수단, 26: 이미지를 도시하기 위한 디스플레이, 27: 이미지 형성 및 추가적인 물체의 모델을 추출하는 시작 옵션, 28: 관심 지점의 검출, 29: 관심 지점의 좌표를 계산하는 단계, 30: 관심 지점이 검출될 것으로 예상되는 프레임의 영역의 좌표 및 섹터의 3D 좌표를 계산하는 단계, 31: 3D 모델의 존재를 체크하는 단계, 32: 3D 모델과 추가적인 물체의 모델과의 상호 작용의 결과를 계산하는 단계, 33, 34: 최종 이미지 신호를 형성하고, 이를 디스플레이 상에 각각 도시하는 단계, 35: 프로그램 완료 명령의 존재를 체크하는 단계, 36: 프로그램을 완료하는 단계, 37: 프레임의 예상된 영역에서 관심 지점을 찾기 위한 조건을 체크하는 단계, 38: 섹터의 3D 좌표를 특정하는 단계, 39: 다음 프레임으로 이동하는 단계.

3D 모델 상에 물체를 디스플레이하는 방법은, 관심 지점, 즉 이하의 잇따른 이미지 프레임의 세트 상에 계속되는 특징적인 구성을 갖는 인접한 이미지 지점의 그룹을 이미지 프레임 상에 나타내고, 또한 상기 프레임 상에 그 좌표를 결정하는, 비디오 카메라, 상기 카메라의 시야에서의 공간에 의해 형성된 이미지를 얻는 단계로 구성되어 있다. 임의의 방향으로 및/또는 미리 결정된 추천에 따라 비디오 카메라 및 상기 비디오 카메라의 모션의 파라미터에 대한 데이터를 이동하는 단계가 얻어져서, 상기 비디오 카메라의 이러한 이동의 결과로서 대응하는 관심 지점에 의해 이미지로 디스플레이되는 실제 공간의 디테일을 찾는 것이 가능한 그 기본 3D 좌표를 예측한다. 이 경우에, 비디오 카메라의 모션 파라미터에 대한 데이터는 비디오 프레임 대 프레임 분석 수단에 의해 형성된 비디오 카메라의 모션의 방향 및 양의 추정값을 포함하는 신호의 형태로 얻어지거나, 또는 자이로스코프 센서 또는 속도 및 방향 센서 또는 가속도 센서의 출력에서 발생된다.

또한, 프레임 상에서의 영역의 좌표는 대응하는 관심 지점이 검출될 것으로 예상되는 각각의 섹터에 대해 결정되며, 또한 관심 지점은 프레임 상의 특정한 영역 내에서 검색되고, 이것이 검출되었을 때, 대응하는 섹터의 3D 좌표는 상기 메모리에 저장된다. 이 경우에, 프레임 상에서의 검색 관심 지점 프레임의 영역은 광학 시스템, 즉 카메라 렌즈의 파라미터를 고려하여, 그 각도 좌표가 결정되는 3D 섹터에 대응한다.

또한, 다음 프레임이 프로세싱될 때, 이들 섹터의 3D 좌표는 상기 비디오 카메라의 모션 경로의 지점으로부터 얻어진 이미지의 후속 프레임 상에서의 상기 동작을 수행하고, 또한 3D 모델을 구성하기 위해 대응하는 섹터의 3D 좌표에 상기 관심 지점의 이미지를 비교함으로써 미세 조정된다. 이 경우에, 섹터의 특정된 3D 좌표로서, 섹터의 3D 좌표만 상기 비디오 이미지의 이전 프레임 상에 연산된 좌표와 일치한다.

또한, 평탄면 및/또는 굴곡면은 섹터의 3D 좌표 및/또는 이들 섹터에 대응하는 관심 지점의 세트를 둘러싸는 프레임의 섹션의 이미지 파라미터의 분석으로부터 3D 모델 상에 식별된다.

상기 모델의 단편은, 비디오 카메라의 시야에 들어오는 것이 중단된 공간의 실제 디테일에 대응하는 것을 포함하여, 메모리에 저장된다.

또한, 미리 결정된 물체의 이미지도 검출되고 인식되며, 상기 이미지는 메모리에 저장되고, 3D 특성이 3D 모델 내에 구축된다.

일부 단계에서, 상기 추가적인 물체의 모델은 메모리로부터 추출되고, 상기 3D 모델 내에서 그 제어를 위한 신호는 이미지 프로세싱 장치의 제어에 대한 사용자의 영향에 의해 형성된다. 이 시점까지 3D 모델이 이미 구축되었다면, 상기 추가적인 물체 모델과 상기 3D 모델의 파라미터와의 상호 작용의 결과가 계산된다. 상기 추가적인 물체의 이미지의 크기는 3D 모델 또는 사용자의 치수에 기초하여 수동으로 선택된다. 또한, 상기 추가적인 물체의 이미지의 스케일링 및/또는 회전 및/또는 3D 변환 및/또는 상황 변환은, 이것이 상기 3D 모델의 파라미터와 상호 작용할 때 수행된다.

상기 비디오 카메라에 의해 형성된 이미지 상에 중첩된 추가적인 물체의 이미지 신호가 형성되며, 그리고 디스플레이 상에 디스플레이된다.

추가적인 물체로 3D 모델 상에 물체를 맵핑하는 방법은 다음과 같이 실행된다.

그 시야에 캡처된, 사용자-이동 비디오 카메라 이미지 신호로 장면 공간을 형성하는 단계는, 다양한 디테일의 존재 및 개별적인 물체의 존재를 특징으로 한다. 이미지 프레임 상에서 그 단편의 식별은 특징적인 구성을 가지며 또한 관심 지점으로서 지정된 비디오 이미지의 연속적인 프레임의 세트 상에 제공된다. 관심 지점은 휘도 또는 컬러의 콘트라스트 전환의 존재를 특징으로 하며, 또한 예를 들어 비디오 카메라의 시야에 캡처된 물체의 반짝이는 가장자리에 또는 금속 표면의 벤딩(bending) 등에 대응할 수 있다.

상기 이미지 프레임 상에서의 관심 지점의 좌표가 결정된다.

상기 비디오 카메라는 장면의 내측으로 또는 둘레로 이동되며, 이는 3D 모델을 형성하도록 의도된다. 공간 또는 장면의 디테일의 3D 좌표가 연산되어, 이미지 프레임 상에 관심 지점으로서 디스플레이되고, 또한 카메라 이동의 상이한 지점으로부터 관찰된다. 이 경우, 상기 비디오 카메라의 광학 시스템으로부터의 데이터는 대응하는 장면 디테일에 대한 방향을 결정하고, 그리고 상기 비디오 카메라의 움직임에 의해 유발된 이 방향으로의 변화를 예측하는 데 사용된다.

이 예상을 발생시키기 위해, 이미 수행된 변위의 파라미터에 관한 데이터가 얻어지며, 이는 자이로스코프 센서의 출력으로부터 또는 속도 및 방향 센서로부터 변화하는 이미지의 저속 촬영(time-lapse) 분석의 적절한 알고리즘을 적용함으로써 얻어질 수 있다.

대응하는 공간 디테일이 검출될 것으로 예상되는 예측된 방향은, 비디오 카메라의 위치에 꼭지점(vertex)을 갖는 원뿔 형태의 섹터로서 형성된다.

초기 프레임은 카메라 렌즈의 초점 길이에 대한 데이터 및 상기 프레임 상에서의 대응하는 관심 지점의 좌표를 사용하여, 상기 관심 지점에 대응하는 장면의 디테일의 종횡 방향(aspect direction)만을 결정한다. 비디오 카메라의 모션 경로의 다른 지점으로부터 이미 만들어진 후속 프레임을 수신하면, 대응하는 장면 디테일에 대한 방향이 변경될 수 있으므로, 상기 프레임 상에서의 대응하는 관심 지점의 좌표도 변경된다. 동시에, 예상의 정확도가 더 낮을수록, 대응하는 장면 디테일의 예상되는 종횡 방향의 섹터가 더 넓어져야 한다.

예상되는 종횡 방향의 섹터는, 그 내부에서 대응하는 관심 지점이 검색되는 프레임 상에서의 검색 공간에 대응한다. 상기 검색 공간은 예상된 방향의 대응하는 섹터의 투영물이며, 또한 그 크기는 예상의 정확도에 따른다. 또한, 상기 관심 지점의 검색 공간의 크기는 비디오 카메라의 이동 속도에 의해 결정된다.

대응하는 검색 공간에서 관심 지점이 찾아졌을 때, 대응하는 검색 공간의 3D 공간의 좌표가 3D 모델의 요소로서 메모리에 저장된다. 관련의 검색 공간에서 관심 지점의 다중 검출의 프로세스에 있어서, 상기 섹터의 3D 좌표가 미세 조정되는데, 그 이유는 관찰이 공간의 다른 지점으로부터 발생하기 때문이다. 상기 섹터의 3D 좌표의 미세 조정은 그 감소를 의미하며, 이는 3D 모델의 정확도를 무한정 증가시키는 것을 허용한다.

이 경우에, 3D 좌표의 미세 조정은 공간의 고정된 부분에만 관여한다.

이 예상을 발생시키기 위해, 이미 수행된 변위의 파라미터에 대한 데이터를 얻으며, 이는 자이로스코프 센서의 출력으로부터 또는 속도 및 방향 센서로부터 변화하는 이미지의 저속 촬영의 적절한 알고리즘을 적용함으로써 얻어질 수 있다.

대응하는 공간 디테일이 검출될 것으로 예상되는 예측된 방향은, 비디오 카메라의 위치에서 꼭지점을 갖는 원뿔인 섹터로서 형성된다.

초기 프레임은 카메라 렌즈의 초점 길이에 대한 데이터 및 프레임 상에서의 대응하는 관심 지점의 좌표를 사용하여, 관심 지점에 대응하는 장면의 디테일의 관찰 방향만 결정한다. 비디오 카메라의 모션 경로의 다른 지점으로부터 이미 만들어진 후속 프레임을 수신하면, 대응하는 장면 디테일에 대한 방향이 변경될 수 있으므로, 상기 프레임 상에서의 대응하는 관심 지점의 좌표도 변경된다. 동시에, 예상의 정확도가 더 낮을수록, 대응하는 장면 디테일의 관찰의 예상된 방향의 섹터가 더 넓어져야 한다.

예상되는 관찰 방향의 섹터는 대응하는 관심 지점이 검색되는 프레임 상에서의 검색 공간에 대응한다. 상기 검색 공간은 예상된 방향의 대응하는 섹터의 투영물이며, 그 크기는 예상의 정확도에 따른다. 또한, 관심 지점의 검색 공간의 크기는 비디오 카메라의 이동 속도에 의해 결정된다.

관심 지점이 대응하는 검색 공간에서 검출되었을 때, 대응하는 검색 공간의 3D 좌표는 3D 모델의 요소로서 메모리에 저장된다. 관련의 검색 공간에서 관심 지점의 다중 검색의 프로세스에 있어서, 상기 섹터의 3D 좌표가 미세 조정되는데, 그 이유는 공간의 상이한 지점으로부터 관찰이 발생하기 때문이다. 상기 섹터의 3D 좌표의 미세 조정은 그 감소를 의미하며, 이는 3D 모델의 정밀도를 무한정으로 증가시키는 것을 허용한다.

이 경우 3D 좌표의 미세 조정은 공간의 고정된 부분에만 관여한다.

관심 지점에 대응하는 섹터의 3D 좌표의 세트가 3D 모델을 결정한다.

이어서, 상기 섹터의 3D 좌표는 프레임 상에서의 대응하는 섹션의 이미지 파라미터를 고려하여 분석된다. 일부 섹터의 좌표가 평탄도를 형성하고 또한 대응하는 이미지 영역의 컬러 및 휘도가 변경의 항상성(constancy) 또는 매끄러움을 특징으로 한다면, 대응하는 관심 지점에 의해 프레임 상에 디스플레이되는 대응하는 섹터에 의해 제한되는 평탄면을 구비한 모델의 단편이 있는 것으로 결론이 내려진다.

계산된 섹터 좌표는 비선형적으로 변할 수 있으며, 또한 예를 들어 원통형 표면을 특징으로 할 수 있으며, 그러면 대응하는 이미지 영역의 휘도 또한 한 방향으로 기하급수적으로 변할 것이다. 이러한 단편을 위해, 원통면의 존재에 대해 결론이 내려진다.

따라서 다양한 표면 특성을 구비하는 3D 모델의 단편이 식별될 수 있다.

또한, 미리 결정된 물체의 이미지, 예를 들어, 연필, 머그컵 등이 검출된다. 그리고 3D 특성이 3D 모델에 통합되었다.

모델을 구성한 후, 상기 이미지 프로세싱 장치의 제어부에 의해 대응하는 신호를 형성하라는 사용자의 명령에 따라, 상기 추가적인 물체의 모델이 선택되고 그리고 3D 모델의 내측에 위치된다. 상기 이미지 프로세싱 장치의 제어부는 기계적 및 터치 버튼 그리고 키(key), 조이스틱, 음성 입력 등이다.

추가적인 물체는 가상의 생명체와, 자동차와 같은 다양한 가상 물체 및 장치 모두일 수 있다.

상기 추가적인 물체의 모델은 어떤 특성을 특징으로 하며, 또한 어떤 동작을 수행하도록 프로그램되거나 또는 사용자에 의해 제어될 수 있으며, 이는 제어부의 도움을 받아 상기 추가적인 물체 모델에 의해 이들을 작업하기 위한 적절한 명령의 신호를 발생시킨다.

이미지 프로세싱 장치의 연산 수단은, 상기 추가적인 물체 모델의 특성과 3D 모델의 파라미터와의 상호 작용의 결과의 계산을 수행한다. 이러한 결과는 다양한 변위, 상기 추가적인 물체의 모델의 이미지 또는 3D 모델의 부품, 사운드 신호, 등의 변환이다.

실시간으로 비디오 카메라에 의해 형성된 비디오 이미지 및 그 위에 중첩되는 물체의 이미지를 포함하여, 최종 이미지의 신호가 발생된다.

3D 모델 상에 물체를 디스플레이하는 방법을 실행하기 위한 이미지 프로세싱 장치는 비디오 카메라를 포함하며, 상기 비디오 카메라의 출력은 관심 지점을 위치시키기 위한 수단의 대응하는 입력에 연결되고, 상기 관심 지점을 위치시키기 위한 수단의 출력은 관심 지점의 좌표를 계산하기 위한 수단의 입력에 연결되며, 3D 좌표 계산 수단을 통한 그 출력은 프레임 상에서 상기 관심 지점의 예상되는 좌표를 계산하기 위한 수단의 입력에 연결되고, 상기 관심 지점의 예상되는 좌표를 계산하기 위한 수단의 출력은 관심 지점 검출 수단의 대응하는 입력에 연결되며, 상기 관심 지점의 좌표를 계산하기 위한 수단의 출력은 3D 모델을 형성하기 위한 수단, 전자 메모리의 입력에 연결되고, 추가적인 물체 모델을 추출하는 수단을 통한 출력은 모델의 상호 작용의 결과를 계산하기 위한 수단의 입력에 연결되며, 상기 이미지 신호 발생 수단을 통한 출력은 상기 디스플레이의 입력에 연결된다. 이동의 파라미터는 섹터의 3D 좌표를 계산하기 위한 수단의 입력에 연결되고, 상기 제어부는 모델의 상호 작용의 결과를 계산하기 위한 수단의 입력에 연결된다.

이미지 프로세싱 장치는 다음과 같이 작동한다.

비디오 카메라의 출력으로부터의 디지털 이미지의 신호는 관심 지점을 위치시키는 수단에 도달하고, 여기서 나중에 관심 지점으로서 취해지는 이미지 단편이 식별된다. 관심 지점의 좌표를 계산하기 위한 수단은 상기 식별된 관심 지점의 좌표의 계산을 제공하며, 이에 기초하여 그리고 카메라 렌즈 및 카메라 이동 데이터의 파라미터를 고려하여, 상기 섹터의 3D 좌표를 계산함으로써 섹터의 3D 좌표가 계산되며, 관심 지점으로서 이미 고려된 공간의 디테일의 존재는 존재할 것으로 예상된다. 상기 섹터의 3D 좌표에 기초하여, 프레임에서 관심 지점 검출의 예상된 공간의 좌표가 계산된다.

검출된 관심 지점의 좌표에 기초하여, 그리고 카메라 렌즈의 파라미터를 고려하여, 3D 모델을 프로세싱하는 수단은 비디오 카메라의 시야 내에 속한 3D 장면에 대응하는 3D 모델을 구성한다.

또한, 3D 모델을 프로세싱하기 위한 수단은, 평탄면 또는 곡면의 검출을 위한 섹터의 3D 좌표의 분석을 제공한다.

제어부에 의해, 상기 추가적인 물체의 모델은 메모리로부터 추출되어, 상기 생성된 3D 모델에 배치되고, 제어된다.

모델 상호 작용의 결과를 계산하기 위한 수단은 3D 모델의 특성에 의해 결정되는 조건 하에서 추가적인 물체의 모델의 가능한 변위, 변환, 및 다른 동작의 계산을 제공한다. 상호 작용의 결과는 위치의 변화, 추가적인 물체의 이미지, 그 변환 사운드 등일 수 있다.

이미지 프로세싱 수단에 있어서, 상기 추가적인 물체의 이미지가 디스플레이 상에서의 시각화를 위해 제공된 3D 장면의 실시간 이미지 상에 중첩되는 최종 이미지 신호가 발생된다.

상기 이미지 프로세싱 장치의 연산 수단(15)은 프로그램을 실행하는 프로세서에 기초하여 이루어지며, 그 블록도가 도 5에 도시되어 있다. 이 구조적 체계는 하나의 관심 지점에 대해 상기 방법의 실행을 실현한다. 관심 지점의 세트에 대해 상기 방법을 실행하기 위해, 나머지 관심 지점에 대해 동일한 동작이 추가될 것이다.

프로그램은, 이미지에 추가적인 물체의 이미지를 위치시킬 뿐만 아니라, 카메라 출력으로부터 비디오 이미지를 얻고, 그리고 상기 메모리로부터 모델의 추가적인 물체를 추출하라는 명령을 형성함으로써 시작된다.

그 후, 다음 프레임 상에서 섹터의 3D 좌표 및 상기 관심 지점의 대기 공간 좌표를 계산할 뿐만 아니라, 상기 관심 지점을 식별하고, 그 좌표를 결정하는 동작이 뒤따른다.

또한, 3D 모델이 아직 생성되지 않았다면, 다음 프레임의 프로세싱으로 진행하고, 상기 3D 모델이 이미 구성되었다면, 상기 모델의 상호 작용의 결과가 계산된다.

최종 이미지 신호가 형성되어, 디스플레이 상에 도시된다.

프로그램 완료 명령의 존재가 입증되고, 상기 명령이 수신되었다면, 프로그램이 종료되며, 이러한 명령이 없다면, 프레임 상에서의 관심 지점의 예상된 위치의 이미 결정된 영역에서 상기 관심 지점의 발견으로 진행한다.

상기 프레임의 예상 영역에서 관심 지점이 감지되지 않았다면, 다음 프레임으로 이동한다. 상기 관심 지점이 프레임의 예상된 영역에서 검출되었다면, 관심 지점에 대응하는 3D 장면의 디테일이 위치되는 섹터의 3D 좌표가 미세 조정된다.

3D 모델 상에 물체가 디스플레이될 수 있는 방법은, 건물의 내부 공간을 포함하여, 지형 사이트에 대해 그리고 이동하는 물체에 대해 모두 수행될 수 있으며, 또한 특수한 표면 캐처(catcher)를 사용할 필요가 없다.

상기 물체가 3D 모델 상에 디스플레이되는 방법은 3D 모델을 구성하고, 다양한 물체와 상기 구성된 3D 모델의 특성과의 상호 작용을 시뮬레이션하는 것을 허용한다.

실시예 1

가상의 애완동물로서 기재될 수 있는 게임을 실행하는 프로세스에 있어서, 사용자는 가상 애완동물을 위치시키고자 하는 장면을 형성하는 물체를 위한 이미지 프로세싱 장치인 휴대폰의 비디오 카메라를 안내한다. 상기 장면은 다양한 물체 및 표면을 포함하고 있다.

카메라에 의해 캡처된 3D 장면의 이미지 신호는 휴대폰의 연산 설비 상에 수신되어, 프로세싱된다. 이미지 신호를 프로세싱하는 프로세스에 있어서, 특징적인 구성을 갖는 이미지 상에서 지점, 관심 지점을 식별하는 것이 가능하다. 관심 지점은 코너, 돌출부, 등과 같은 장면의 표면의 대비되는 디테일의 표현인 근처 이미지 픽셀의 집합이다.

이 경우에, 프레임 상에서의 관심 지점에 대응하는 3D 장면의 디테일에 대한 각도 값(φ)은, 예를 들어 다음 식에 따라 결정된다.

φ = arctg(d/f),

d: 광 축선으로부터의 이탈의 좌표.

f: 비디오 카메라의 광학 시스템의 초점 거리.

휴대폰의 카메라는 3D 모델의 생성을 가속화하기 위한, 소프트웨어에 의해 생성된 프롬프트에 따라 임의로 이동된다.

비디오 이미지의 프레임 대 프레임 분석의 결과로서, 디스플레이 상에 이미지를 계속 도시할 동안, 휴대폰의 비디오 카메라의 모션의 파라미터로 평가가 이루어진다.

변위 파라미터의 얻어진 평가에 기초하여, 각도 섹터가 예측되며, 여기서 관심 지점이 대응하는 장면의 디테일이 보여질 것으로 예상된다. 이들 코너 섹터는 비디오 이미지 프레임 상에서의 검색 공간에 대응한다. 특정된 검색 공간 내에서, 대응하는 관심 지점의 검색 및 발견이 수행되어, 대응하는 장면 디테일의 3D 좌표 영역이 계산된다.

비디오 카메라의 추가적인 이동 및 상이한 시야각(viewing angle)으로부터의 3D 좌표 계산은 대응하는 섹터의 3D 좌표의 정화(clarificatin)를 제공하며, 이에 기초하여 3D 모델이 형성된다.

3D 모델에 있어서, 평탄면 또는 곡면의 단편이 식별된다. 따라서 섹터의 일부의 좌표가 평탄도를 특징으로 하고 또한 대응하는 이미지가 균일한 휘도 및 컬러를 갖는다면, 이 모델 단편은 평탄면에 대응하여, 지점의 표시된 그룹의 윤곽에 평탄면의 특성의 일부를 할당하는 것으로 가정한다.

또한, 사용자의 명령에 따라, 적어도 하나의 애완동물이 메모리로부터 선택되어, 3D 모델에 의해 이미 기재된 이미지 상에 위치된다.

상기 애완동물은 그 동작이 늦지 않게 미리 프로그램된 어떤 생물의 모델이다. 상기 애완동물은 설정된 프로그램에 따라 움직이고, 성장하고, 소리를 내며, 장애물 등에 반응할 수 있다. 또한, 애완동물 모델 프로그램은 그 이미지의 다양한 변환을 가정한다.

상기 애완동물 모델 프로그램은 자율 이동과 함께, 휴대폰 제어의 도움을 받아 사용자의 제어를 가정한다.

비디오 카메라에 의해 캡처된 장면의 이미지 상에 중첩된 애완동물 이미지를 포함하는 최종 이미지 신호는, 도시를 위해 휴대폰의 디스플레이의 대응하는 입력에 적용된다.

실시예 2

자동차 테마의 게임을 실행하는 프로세스에 있어서, 사용자는 수평면 상에, 예를 들어 꽃병, 연필, 책, 및 다른 아이템과 같은 다양한 물체가 위치된 테이블 상에, 이미지 프로세싱 장치인 휴대폰 또는 스마트폰의 비디오 카메라를 안내한다.

비디오 카메라에 의해 발생된 비디오 이미지는 프로세싱을 위해 휴대폰의 연산 설비에 의해 수신된다. 비디오 이미지의 프로세싱 중, 이미지에서의 대조적인, 시간-안정적인, 다중-픽셀 물체의 검출이 그 관심 지점으로서 감지된다.

휴대폰 비디오 카메라가 이동하여, 수신된 프레임 상에서의 관심 지점에 대응하는 3D 장면의 부분의 좌표를 측정한다. 이 경우에, 비디오 카메라의 모션 파라미터는 휴대폰의 자이로 송신기(gyro transmitter)로부터 수신된 신호에 기초하여 계산된다.

관심 지점에 대응하는 섹터의 3D 좌표는, 후속 프레임의 이미지를 프로세싱한 결과로 연산되고, 미세 조정된다. 상기 비디오 카메라를 이동시키는 프로세스에서 미세 조정되어, 대응하는 관심 지점과 연관된 섹터의 3D 좌표는 3D 모델을 결정한다.

3D 모델 내에서 단편이 식별되며, 그 내부에서 상기 섹터의 좌표가 평탄면 또는 곡면으로서 특징된다. 이는, 예를 들어 테이블 또는 다른 물체의 표면에 대응할 수 있다.

인접한 지점의 그룹의 컬러가 균일하고 또한 그 윤곽의 형상이 직선의 가늘고 긴 구조를 갖는다면, 이런 지점의 그룹은 연필에 대응하고, 또한 특정된 지점의 그룹에 표면 위의 그 고도가 그 폭과 일치하는 고체 물체의 특성을 할당하는 것으로 가정한다.

사용자의 명령에서 3D 모델이 구성된 후, 이를 이미지에 출력하기 위해, 휴대폰에 저장된 세트로부터 차량이 선택된다. 선택된 차량, 예를 들어 SUV 는 프레임의 치수에 비례하는 초기 치수, 예를 들어 이미지 영역의 1/20 을 가지며, 이는 사용자에 의해 조정될 수 있다. 휴대폰 카메라의 위치가 변경되었을 때, 차량 이미지 치수는 관심 지점에 대응하는 섹터 또는 검출된 물체의 크기 사이의 거리에 비례하여 유지된다. 예를 들어, 캠코더가 꽃병이 놓인 테이블에 접근할 때, 상기 SUV 의 이미지는 그 크기가 꽃병 및/또는 테이블의 크기에 비례하여 유지되도록 형성된다.

그 후, 사용자는 전화기의 제어부를 사용하여 상기 이미지 내로 차량을 이동시키는 명령을 발생한다.

연산 수단은 차량 모델 파라미터와 상기 표시된 차량이 발생한 표면 파라미터와의 비교를 제공하고, 주어진 방향으로 이동을 수행하는 것이 가능한지의 여부를 결정한다. 이동이 가능하다면, 이동 차량의 이미지가 형성되고, 예를 들어 상기 차량의 치수를 초과하는 경로에서의 장벽의 존재로 인해 미리 결정된 이동이 가능하지 않다면, 비상 사태를 시각화한 장애물의 전방에 정지된 차량의 이미지가 형성된다.

장애물을 극복하는 상황에서, 차량 이미지는 차축 및 본체의 대응하는 변형, 경사, 회전 요소, 상기 모델에 의해 제공된 표면이 경사진 경우의 기울기(tilting), 등에 의해 형성된다. 따라서 예를 들어 자동차의 휘일의 직경은 그 경로에 놓인 연필을 극복하는 것을 허용할 수 있지만, 그러나 도중에 서있는 꽃병은 대처할 수 없는 장애물이 되고, 이는 차를 멈추게 한다.

메모리로부터 추출된 자동차의 모델은 어떤 파라미터, 속도 제한, 휘일 크기, 서스펜션 파라미터, 등을 특징으로 하며, 이는 예를 들어 굴곡부에서 자동차의 이동을 계산하고 또한 이동 중 그 이미지를 변경할 때, 또는 장애물을 극복할 때 사용된다.

게임 과정에서, 비디오 카메라에 의해 형성된 이미지 상에 차량 이미지의 중첩을 부과하고 그리고 도시를 위해 이를 휴대폰 디스플레이의 입력에 공급하는 비디오 신호가 발생된다.

이동하는 차량의 이미지에 반응하는 사용자는 이동의 방향을 수정하여, 휴대폰의 제어부를 사용하여 명령을 형성한다.

실시예 3

이미지 프로세싱 장치는 자동차에 장착되며, 또한 어려운 상황에서 운전자를 돕도록 설계되었다. 이는 비디오 카메라, 메모리를 구비한 프로세서, 및 모니터를 포함한다. 장면은 자동차의 앞이나 뒤의 도로 구간이다.

장애물을 극복하는 프로세스에 있어서, 카메라의 출력으로부터의 이미지는 연산 수단으로 이동하며, 여기서 상기 이미지의 관심 지점이 특징적인 휘도 및/또는 컬러 그리고 좌표를 갖는 일부 물체의 윤곽으로서 표시된다.

자동차의 이동 중, 변위, 속도, 및 방향을 특징으로 하는 신호가 프로세서 입력부에도 입력된다.

관심 지점에 대응하는 도로 구간의 3D 좌표의 계산은, 비디오 카메라의 시야에 캡처된 도로 구간의 3D 모델을 형성한다.

일부 도로 구간은 특징적인 특징부를 가질 수 있다. 따라서 웅덩이는 반사면으로서 디스플레이되고, 구덩이 및 작은 언덕(hummock)은 밝고 어두운 영역을 가지며, 이 영역에서는 도로 상에서의 이들 물체의 존재에 대한 결론을 도출하는 것이 가능하다. 또한 마킹 요소, 도로의 가장자리, 연석(curb), 가파른 경사면이나 내리막길, 나무 줄기, 등이 식별될 수 있다.

식별된 물체의 특성을 포함하는 3D 모델은 주어진 방향으로 자동차를 이동시키는 결과의 예측을 허용한다. 현재 방향 및 속도에 따라, 식별된 장애물 중 하나의 존재로 인해 위험한 결과가 발생할 수 있다면, 이 장애물은 위험에 따라 최종 이미지에서 컬러가 강조 표시된다.

결과적인 이미지는 비디오 카메라로부터 수신된 도로의 부분과, 몇 초 앞당겨 예상된 차량의 위치와, 그 위에 중첩된 할당된 위험 영역의 조합물이다. 이 최종 이미지가 디스플레이에 출력되므로, 필요하다면 운전자는 구동 파라미터를 변경할 수 있다.

이 예에 있어서, 상기 추가적인 물체의 모델은 차량의 기술적 특성 및 그 이동의 파라미터이며, 초기 좌표는 모션의 시작에서의 고정된 좌표이다.

3D 모델 상에 물체를 디스플레이하는 방법은 광학 정보를 전기 신호로 변환하는 수단, 연산 수단, 및 전자 메모리와 스크리닝 수단을 포함하여, 디지털 전자 데이터베이스의 표준 요소 및 구성 요소를 사용하여 실행될 수 있다.

따라서 본 발명은 고도 맵, 이동 가능한 물체의 3D 모델, 또는 물체의 내부 공간을 형성할 가능성과 같은 탐색되는 영역 상에서의 추가적인 데이터를 포함하지 않고서도 3D 모델의 형성을 허용함으로써 더 넓은 적용 분야를 가지며, 또한 상이한 물체 결과의 모델과의 3D 모델 상호 작용을 얻을 가능성을 제공한다.

Claims (14)

1. 비디오 카메라에 의해 형성된 이미지를 얻고 상기 모델을 형성하는 단계를 포함하는, 3D 모델 상에 물체를 디스플레이하기 위한 방법으로:
   이미지 프레임 상에서 관심 지점을 검출하고, 상기 프레임 상에 그 좌표를 결정하는 단계;
   실제 공간의 디테일을 찾는 것이 가능한 섹터의 3D 좌표가 예측되는 것에 기초하여, 상기 카메라, 상기 비디오 카메라를 이동시키는 파라미터에 대한 데이터를 이동시키는 단계;
   상기 비디오 카메라의 이동의 결과로서, 관심 지점에 따라 이미지를 디스플레이하는 단계;
   대응하는 관심 지점이 검출될 것으로 예상되는 각각의 섹터를 위한, 프레임에서의 영역을 조정하는 단계;
   상기 프레임 상에서의 상기 특정 영역 내에서 상기 관심 지점을 검색하고, 일단 검출되었다면 상기 대응하는 섹터의 3D 좌표를 메모리에 저장하는 단계;
   이동 궤적의 지점의 상기 비디오 카메라에 의해 얻어진 이미지의 후속의 프레임 상에 상기 단계들을 수행함으로써, 상기 예측된 섹터의 3D 좌표를 미세 조정하는 단계;
   그 각각의 섹터에서 관심 지점의 3D 좌표를 3D 모델에 병치시키고, 이에 따라 평탄면 및/또는 곡면을 식별하는 단계;
   상기 메모리로부터 보완 물체를 검색하고, 3D 모델 내에 그 제어를 위한 신호를 형성하는 단계;
   상기 보완 물체의 모델과 상기 3D 모델의 파라미터와의 상호 작용의 결과를 계산하는 단계; 및
   상기 비디오 카메라에 의해 형성된 이미지 상에 중첩된 상기 보완 물체의 이미지 신호를 형성하고 상기 디스플레이 상에 도시하도록 출력하는 단계를 포함하는, 물체 디스플레이 방법.
2. 청구항 1에 있어서,
   상기 관심 지점은 다수의 연속한 이미지 프레임 상에 지속되는 특징적인 구성을 갖는 인접한 이미지 지점의 그룹인, 방법.
3. 청구항 1에 있어서,
   상기 프레임 상의 상기 관심 지점의 검색 영역은 그 각도 좌표가 상기 비디오 카메라의 광학 시스템의 파라미터를 고려하여 결정되는 3D 섹터에 대응하는 것을 특징으로 하는 방법.
4. 청구항 1에 있어서,
   상기 보완 물체의 이미지 크기는 상기 3D 모델의 치수에 및/또는 사용자에 의해 수동으로 선택되는, 방법.
5. 청구항 1에 있어서,
   스케일링 및/또는 회전은, 이것이 3D 모델의 파라미터와 상호 작용할 때, 상기 보완 물체 이미지의 3D 변환 및/또는 상황 변환으로 수행되는 것을 특징으로 하는 방법.
6. 청구항 1에 있어서,
   데이터는, 상기 비디오 프레임 대 프레임 분석 수단에 의해 발생된 상기 비디오 카메라의 이동의 방향 및 크기의 추정값을 포함하는 신호의 형태로, 상기 비디오 카메라의 상기 이동 파라미터 상에 수신되는 것을 특징으로 하는 방법.
7. 청구항 1에 있어서,
   데이터는, 속도 및 방향 센서, 가속 센서 또는 출력된 자이로스코프 센서의 비디오 카메라의 방향 및 크기의 추정값을 포함하는 신호의 형태로, 상기 비디오 카메라의 이동 파라미터 상에 수신되는, 방법.
8. 청구항 1에 있어서,
   상기 보완 물체 모델의 제어 신호는 사용자의 동작에 의해 이미지 프로세싱 장치의 제어부 상에 형성되는, 방법.
9. 청구항 1에 있어서,
   상기 비디오 카메라의 이동은 임의의 방향으로 및/또는 미리 결정된 추천에 따라 수행되는, 방법.
10. 청구항 1에 있어서,
    이전 프레임 상에서 계산된 좌표와 동일한 섹터의 3D 좌표만 상기 섹터의 미세 조정된 3D 좌표로서 저장되는 것을 특징으로 하는 방법.
11. 청구항 1에 있어서,
    미리 결정된 물체의 이미지가 검출되고, 또한 그 3D 특성이 상기 3D 모델에 매립되는 것을 특징으로 하는 방법.
12. 청구항 1에 있어서,
    상기 모델의 단편은, 상기 비디오 카메라의 시야 내에 속하는 것이 중단된 공간의 실제 특징부에 대응하는 것을 포함하여, 메모리에 저장되는 것을 특징으로 하는 방법.
13. 청구항 1에 있어서,
    상기 평탄면 및 곡면은 상기 섹터의 3D 좌표의 분석에 기초하여 상기 3D 모델 상에 식별되는 것을 특징으로 하는 방법.
14. 청구항 1에 있어서,
    상기 3D 모델 상에서, 다수의 관심 지점을 둘러싸는 상기 프레임의 섹션의 이미지 파라미터의 분석에 기초하여, 평면 및/또는 곡면이 검출되는 것을 특징으로 하는 방법.
    
    
    

Images