KR20180011794A - 오브젝트 시각화 방법 - Google Patents

오브젝트 시각화 방법 Download PDF

Info

Publication number
KR20180011794A
KR20180011794A KR1020177036828A KR20177036828A KR20180011794A KR 20180011794 A KR20180011794 A KR 20180011794A KR 1020177036828 A KR1020177036828 A KR 1020177036828A KR 20177036828 A KR20177036828 A KR 20177036828A KR 20180011794 A KR20180011794 A KR 20180011794A
Authority
KR
South Korea
Prior art keywords
image
additional information
detected
captured image
entity
Prior art date
Application number
KR1020177036828A
Other languages
English (en)
Inventor
비탈리 비탈리비치 아베리아노브
안드레이 발레리비치 코미사로브
Original Assignee
오브셰스트보 에스 오그라니첸노이 오트베츠베노스튜 “라보라토리아 24”
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 오브셰스트보 에스 오그라니첸노이 오트베츠베노스튜 “라보라토리아 24” filed Critical 오브셰스트보 에스 오그라니첸노이 오트베츠베노스튜 “라보라토리아 24”
Publication of KR20180011794A publication Critical patent/KR20180011794A/ko

Links

Images

Classifications

    • G06K9/20—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G06K9/4652—
    • G06K9/6201—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Library & Information Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명은 정보 기술들 및 컴퓨터 기술의 분야에 관한 것으로서, 특히 이미지 데이터의 처리 및 생성, 및 컴퓨터 그래픽들에 대한 이미지들의 처리에 관한 것이고, 이미지 데이터의 탐색, 검색, 처리 및 표시를 위해 사용될 수 있다. 엔티티 시각화 방법은 디지털 이미지를 캡처하는 단계, 복수의 추가 정보 유닛들을 저장하는 전자 메모리로부터 추가 정보 유닛들을 수신하는 단계로서, 그 유닛들 각각이 미리 결정된 엔티티에 대응하는 단계, 및 동일한 것을 디지털 이미지상에 중첩하는, 복수의 추가 정보 유닛들 중 적어도 하나의 유닛을 표시하는 단계; 엔티이와 연관되는 추가 정보 이외에, 전기 메모리가 또한 대응하는 엔티티들의 표현들과 관련되는 데이터를 저장하는 단계; 각각의 캡처된 이미지 프레임에서, 적어도 하나의 엔티티가 전자 메모리로부터 수신되는 엔티티 표현 데이터를 사용하여 검출 및 인식되는 단계; 캡처된 이미지상의 검출된 엔티티의 좌표들을 계산하고, 디스플레이에 출력되는 캡처된 이미지상의 대응하는 엔티티 바로 근처에 추가적인 정보의 적어도 하나의 유닛을 표시하는 단계; 이전에 선택된 프레임들에서 검출되고 인식된 엔티티가 미리 결정된 시간 기간 동안에 후속 선택 프레임들에서 더 이상 검출되지 않으면, 엔티티가 캡처된 이미지에 존재하지 않는다는 결론을 내리고, 엔티티에 관련되는 추가 정보를 더 이상 출력하지 않는 단계; 시각화 장치의 디지털 카메라를 사용하여 이미지를 캡처하고, 동일한 것을 디스플레이에 출력하는 단계로 구성된다.

Description

오브젝트 시각화 방법
본 발명은 IT, 컴퓨터 기술, 즉 이미지 데이터를 처리 및 생성하는 컴퓨터 기술, 컴퓨터 그래픽들에 대한 이미지 처리에 관한 것으로서, 이미지 데이터를 탐색하고, 검색하고, 처리하고 표시하기 위해 사용될 수 있다.
기술적 본질에 관해 가장 근접한 것은 다음 단계들을 포함하는 이미지 캡처 방법이다: 디지털 이미지를 캡처하는 단계; 디지털 이미지가 캡처된 위치를 나타내는 이미지의 캡처링 포인트의 위치 정보를 수신하는 단계; 디지털 이미지가 캡처된 방향을 나타내는, 이미지의 캡처 방향을 나타내는 정보를 수신하는 단계; 복수의 추가 정보 아이템들이 복수의 부가 정보 아이템들을 저장하는 추가 정보 저장 장치로부터 수신되는 단계로서, 복수의 부가 정보 요소 내에서, 각각의 요소가 미리 결정된 오브젝트에 대응하고, 각각의 요소가 대응하는 오브젝트들의 위치를 나타내는 오브젝트 위치 정보를 포함하는 단계; 뷰 영역이 이미지 캡처 위치 정보에 의해 결정되고 이미지 캡처 방향 정보가 서브필드로 분할되고 서브필드들에 포함되는 위치들을 각각 나타내는 오브젝트들의 복수의 정보 아이템들을 포함하는 복수의 추가 정보 중에서 서브필드 중 대응하는 것에 설정되는 양을 초가하지 않는 양을 갖는 하나 이상의 추가 정보 요소에 대응하는 서브필드들 각각에 대해 선택되는 단계; 및 디지털 이미지상에 오버레이되는 복수의 추가 정보 요소로부터 대응하는 하나 이상의 요소를 표시하는 단계를 포함하며, 복수의 부가 정보 아이템들부터 대응하는 하나 이상의 요소들은 선택 단계에서 선택되는 방법(RU 2463663 C2, G06T19 / 00, G06T11 / 60 참조).
공지된 방법은 비디오 카메라에 의해 갭처된 지형 이미지상에 중첩되는 추가적인 랜드마크 정보를 시각화하고 필터링하기 위해 구현될 수 있다.
공지된 방법의 단점은 지형의 랜드마크들의 매핑에만 그것의 제한적인 응용이 있고 그것이 캡처의 방향 및 위치에 대한 데이터를 획득하는 것을 요구한다는 것이다. 공지된 방법은 이동 가능한 오브젝트들 또는 지형에 연결되지 않은 오브젝트들에 대한 추가 정보를 표시하기 위해 사용될 수 없다. 게다가, 이미지 캡처의 위치 및 방향에 대한 데이터를 획득하기 위한 필요성은 적절한 좌표 시스템들, 예를 들어, GPS 및 나침판의 존재를 암시하며, 이는 (특별히 고도 차이 또는 도심 상태들의 조건들에서) 충분히 정확하지 않다.
이들 단점들은 공지된 방법의 응용의 범위를 제한한다.
기술적 결과는 시각화된 오브젝트의 위치 측정의 정확도를 개선할 뿐만 아니라, 오브젝트 자체의 이미지 데이터에 기초하여 캡처된 이미지에 대한 오브젝트를 식별하는 능력을 제공함으로써 방법의 응용 영역을 확장시키는 것이다.
상술한 결과는 디지털 이미지를 캡처하는 단계, 복수의 추가 정보 요소들을 저장하는 전자 메모리로부터 추가 정보 요소들을 획득하는 단계로서, 그 각각이 미리 결정된 오브젝트에 대응하는 단계, 디지털 이미지상에 중첩되는 복수의 추가 정보 요소들 중 적어도 하나를 매핑하는 단계, 오브젝트에 대한 상기 추가 정보에 더하여 각각의 오브젝트들의 이미지 데이터를 전자 메모리에 더 저장하는 단계, 전자 메모리로부터 획득되는 오브젝트의 이미지 데이터를 사용하여 캡처된 이미지의 각각의 선택된 프레임에서 적어도 하나의 오브젝트를 검출 및 인식하는 단계, 캡처된 이미지상의 검출된 오브젝트의 좌표들을 계산하는 단계, 캡처된 이미지상의 대응하는 오브젝트에 가까이 근접하여 적어도 하나의 추가 정보 요소를 표시하는 단계를 포함하는 오브젝트 시각화 방법에 의해 달성된다. 선택된 프레임들 상에서 이전에 검출되고 인식된 오브젝트가 미리 결정된 시간 동안에 후속 선택 프레임 상에서 검출되는 것이 중지되었으면, 오브젝트가 캡처된 이미지에 오브젝트가 없다는 결론이 내려지고, 따라서, 오브젝트와 관련되는 추가 정보의 출력이 정지되며, 이미지 캡처는 시각화 장치의 디지털 카메라에 의해 수행되고 스크린에 출력된다.
더욱이:
- 오브젝트는 그것의 형상 및/또는 컬러 및/또는 텍스처의 이미지 데이터에 기초하여 인식되고;
- 오브젝트가 검출되고 인식되는 캡처된 이미지의 선택된 프레임은 n이 자연수 1, 2, 3, 4 ...인 비디오 이미지의 각각의 n 번째 프레임이거나 컴퓨팅 수단이 상기 프레임 상에서 오브젝트를 검출하고 인식할 준비가 될 때까지 형성되는 각각의 프레임이고;
- 오브젝트의 이미지 데이터는 적어도 일반 피처들 및 특수 피처들을 포함하며, 여기서 오브젝트 검출 및 인식은 공통 오브젝트 이미지 피처들을 사용하여 다음의 순서로 수행된다: 선택된 프레임 상에서 오브젝트를 검출하는 단계, 오브젝트 이미지들의 특수 피처들을 사용하여 선택된 프레임 상에서 검출된 오브젝트의 좌표들을 계산하며, 캡처된 이미지의 선택된 프레임에서 오브젝트 인식을 수행하는 단계;
- 이전 프레임들의 오브젝트의 좌표들에 기초하여 다음 프레임에서 오브젝트의 예상되는 좌표들을 계산하고 예상되는 오브젝트 좌표들의 설정에 의해 다음 프레임 상에서 오브젝트의 인식 영역을 제한한다. 반면에 후속 선택 프레임에서 지정된 제한 인식 영역의 오브젝트의 비 인식 시간이 미리 설정된 임계 값을 초과하면, 이때, 검출은 전체 선택된 프레임 상에서 다시 수행된다.
- 캡처된 이미지를 표시하는 것은 검출되고 인식된 오브젝트가 위치되는 영역을 스크린상에 표시하고;
- 인식된 오브젝트의 표시는 오브젝트의 이미지를 포함하는 이미지의 일부를 강조함으로써 수행되고;
- 이미지 캡처는 캡처된 이미지를 출력하기 위한 스크린을 포함하는 시각화 장치의 카메라에 의해 수행되고;
- 오브젝트 이미지 데이터가 생성되고 전자 메모리로 기록되는 것은 미리 수행된다.
오브젝트 시각화 방법은 도면들의 도움으로 설명되며, 여기서 도 1은 디지털 카메라에 기초한 오브젝트 시각화 방법을 실현하기 위한 장치의 블록도를 도시하고, 도 2는 오브젝트가 있는 실제 이미지 및 모바일 표시 장치상의 렌더링된 오브젝트의 이미지를 도시하고, 도 3은 시각화 장치 동작의 컴퓨팅 수단의 구조적 다이어그램을 도시하고, 도 4는 컴퓨팅 수단의 기능적 다이어그램을 도시한다.
다음의 핵심어들(keys)이 도면들에 이루어진다:
1 - 비디오 카메라, 2 - 컴퓨팅 수단, 3 - 서버, 4 - 디지털 디스플레이(스크린), 5 - 인터넷, 6 - 전자 메모리: 7 - 서버 통신 장치, 8 - 실제 오브젝트의 이미지, 9 - 오브젝트의 시각화된 이미지, 10 - 추가 정보, 11 - 모바일 시각화 장치, 12 - 이미지 캡처 및 표시 장치상에 표시, 13 - 전자 메모리에 대한 액세스 및 오브젝트의 이미지 데이터의 검색, 14 - 오브젝트를 검출하기 위한 디지털 이미지 분석, 15 - 캡처된 이미지상의 오브젝트 좌표들의 계산, 16 - 선택된 프레임들 상에서 오브젝트들의 검출 부재의 지속기간을 시간(Tmin)의 임계 값과 비교, 17 - 오브젝트 인식, 18 - 오브젝트 선택, 19 - 전자 메모리를 액세스하고 추가 정보를 추출, 20 - 표시를 위해 캡처된 이미지상에 추가 정보를 중첩하기 위한 신호의 형성, 21 - 추가 정보를 스크린상에 표시, 22 - 디지털 이미지 신호의 존재를 분석, 23 - 디지털 이미지가 부재한 경우 프로그램 종료, 24 - 다음 선택 프레임으로의 전환, 25 - 디지털 카메라(비디오 카메라), 26 - 오브젝트 이미지 데이터 검색, 27 - 비디오 이미지 프레임의 오브젝트 검출 수단, 28 - 프레임의 좌표 계산 수단, 29 - 다음 프레임에서 오브젝트의 예상되는 좌표들을 계산하는 수단, 30 - 전자 메모리로부터 추가 정보를 추출하는 수단, 31 - 추가 정보를 중첩하고 오브젝트를 강조하기 위한 신호를 생성하기 위한 수단, 32 - 카메라 출력으로부터의 디지털 이미지, 33 - 전자 메모리에 저장되는 오브젝트들의 이미지 데이터 및 추가 정보, 34 - 표시를 위한 오브젝트 시각화 신호.
오브젝트 시각화 방법의 본질은 오브젝트들의 이미지들 및 오브젝트들과 연관되는 다수의 추가 정보 요소들을 생성하고 - 상기 요소들 각각은 미리 결정된 오브젝트에 대응함 - 그들을 전자 메모리에 미리 저장하는 것이다.
이미지는 디지털 카메라 이미징 장치로 캡처되고 스크린에 출력되고, 그 다음, 캡처된 이미지의 각각의 선택된 프레임에서 적어도 하나의 오브젝트의 검출 및 식별은 전자 메모리로부터 획득되는 오브젝트 이미지 정보를 사용하여 그것의 형상 및/또는 컬러 및/또는 텍스처와 같은 이미지 데이터에 기초하여 수행되고, 캡처된 이미지에서 검출된 오브젝트의 좌표들은 계산되고, 디지털 이미지상에 중첩되는 캡처된 이미지상에 표시될 대응하는 오브젝트에 바로 인접하는 적어도 하나의 추가 정보 아이템이 메모리로부터 획득되고 표시된다. 이 경우에 있어서, 이전에 선택된 프레임들 상에서 검출되고 인식되는 오브젝트가 미리 결정된 시간의 기간 동안에 후속 선택된 프레임들 상에서 더 이상 검출되지 않으면, 그것은 캡처된 이미지상에 오브젝트가 없다는 결론이 내려지고 오브젝트와 연관되는 추가 정보의 출력을 중단한다.
이 경우에 있어서, 오브젝트가 검출되고 인식되는, 캡처된 이미지의 각각의 선택된 프레임은 n이 자연수 1, 2, 3, 4 ...인 비디오 이미지의 각각의 n 번째 프레임이거나 컴퓨팅 수단이 오브젝트의 검출 및 인식에 대해 준비될 때까지 형성되는 각각의 프레임이다.
오브젝트들의 이미지 데이터는 적어도, 모든 검출된 오브젝트들에 대해 전형적인 공통적인 특징들 및 특정 오브젝트에 대해서만 전형적인 특수 피처들을 포함한다. 오브젝트 이미들의 공통 피처들을 사용함으로써, 오브젝트는 선택된 프레임 상에서 검출되며, 그것의 전체 영역에서, 검출된 오브젝트의 좌표들은 선택된 프레임 상에서 결정되고, 그 다음, 오브젝트는 오브젝트 이미지들의 특수 피처들을 사용하여 캡처된 이미지의 선택된 프레임에서 인식된다.
이전에 선택된 프레임들 상에서 이미 검출된 오브젝트를 인식하는 경우, 인식은 프레임의 제한된 영역 상에서 수행되며, 그 좌표들은 이전에 선택된 프레임들 상에서 계산되는 오브젝트 좌표들에 기초하여 예측된다. 이 경우에 있어서, 후속 선택된 프레임들의 제한된 영역에서 오브젝트의 비 검출 시간이 미리 결정된 임계 값을 초과하면, 추가 검출이 선택된 프레임의 전체 영역 상에서 다시 수행된다.
스크린상에서 검출되고 인식된 오브젝트의 영역은 캡처된 이미지가 오브젝트의 이미지를 포함하는 이미지의 일부를 강조함으로써 표시되는 경우 표시된다.
이미지 캡처링은 캡처된 이미지를 출력하기 위한 스크린, 컴퓨팅 수단 및 전자 메모리를 포함하는 시각화 장치의 디지털 카메라에 의해 수행된다.
오브젝트 시각화 방법은 다음과 같이 구현된다.
시각화될 오브젝트들의 구성이 결정되고 그들의 이미지들이 상기 오브젝트들의 이미지들의 검출 및 인식의 프로세스에서의 사용을 위해 미리 생성된다. 오브젝트들의 이미지들은 캡처된 이미지상에서 오브젝트의 이미지의 검출 및 인식의 프로세스에서 사용되는, 대응하는 오브젝트에 대해 전형적인 이와 같은 오브젝트의 다수의 이미지 피처들을 포함한다. 이 경우에 있어서, 오브젝트들의 이미지들은 적어도 2개의 피처들의 그룹들을 나타내며, 그 중 하나는 모든 미리 설치된 오브젝트들에 대해 공통적, 전형적이다. 이러한 그룹의 피처들은 이미지에서 임의의 오브젝트의 존재, 즉 오브젝트의 검출을 결정하기 위해 사용된다. 다른 그룹의 피처들은 이미지에서 특정 오브젝트를 인식하기 위해 사용된다.
더욱이, 특정의 이전 식별된 오브젝트들과 관련되는 추가 정보의 배열은 텍스트, 이미지 또는 멀티미디어와 같은, 지정된 오브젝트들 중 하나와 연관되는 추가 정보 요소들의 형태로 생성되고 있다. 특정 오브젝트들과 추가 정보 요소들의 링크들에 대한 데이터와 함께 오브젝트들의 이미지 데이터 및 이들 오브젝트들에 대한 추가 정보는 시각화 장치와 연결되는 전자 메모리에 저장된다.
비주얼라이저(visualizer)의 카메라가 온 된 후에, 이미지는 그것에 의해 캡처되고 비주얼라이저의 스크린상에 표시된다. 캡처된 디지털 이미지는 컴퓨팅 수단에 입력 신호들로서 송신된다.
컴퓨팅 수단은 오브젝트들의 이전에 생성된 이미지들을 사용하여 캡처된 이미지상에서 미리 정의된 지정된 오브젝트들을 검출하고 인식하는 프로세스에서 전자 메모리를 액세스한다. 오브젝트 인식은 그것의 형상 및/또는 컬러 및/또는 텍스처를 포함하는 이미지 데이터에 기초하여, 각각의 선택된 비디오 프레임 상에서 수행된다. 각각의 선택된 프레임은 n이 자연수 1, 2, 3, 4 ...인 비디오 이미지의 모든 n 번째 프레임이다. 그러나, 계산 수단의 성능이 각각의 n 번째 프레임을 처리하기에 불충분하면, 이때, 선택된 프레임은 컴퓨팅 수단이 이전 처리 사이클을 종료하고 오브젝트 검출 및 인식을 위해 새로운 프레임을 처리할 준비가 될 때까지 형성되는 비디오 이미지의 각각의 프레임이다.
오브젝트들의 검출 및 인식은 수개의 단계들에서 수행되며, 먼저, 모든 오브젝트들에 대해 전형적인 이미지들의 공통 피처들을 사용하여, 오브젝트 검출이 전체 프레임 내에서, 선택된 프레임 상에서 수행된다. 검출의 사실은 특정 오브젝트가 검출된 것을 지정하는 것 없이, 오브젝트들 중 하나의 존재를 나타낸다. 다음, 검출된 오브젝트의 좌표들이 선택된 프레임 상에서 계산되고, 그 다음, 오브젝트 이미지들의 특수 피처들을 사용하여, 특정 오브젝트가 검출된 오브젝트의 좌표들을 고려하여, 캡처된 이미지의 선택된 프레임에서 인식된다.
비주얼라이저의 자원들을 절약하고, 오브젝트의 시각화의 속도를 증가시키기 위해, 이전에 선택된 프레임 상에서 이미 검출된 오브젝트의 인식은 선택된 프레임의 전체 영역에 걸쳐 수행되지 않지만, 그것의 제한된 영역 상에서만 수행된다. 이러한 영역의 좌표들은 이전에 선택된 프레임들 상의 계산된 오브젝트 좌표들의 값들에 기초하여 예측된다. 그러나, 후속 선택 프레임들의 지정된 제한 영역 상에서 오브젝트를 검출하는 시간이 미리 결정된 임계 값, 예를 들어, 캡처된 비디오의 100 프레임을 초과하는 것을 멈추면, 이때, 추가 검출이 선택된 프레임의 전체 영역 상에서 수행된다.
오브젝트들 중 하나의 인식에 대한 사실이 있으면, 이때, 전자 메모리에 저장되는 추가 정보의 배열로 전환하고 인식된 오브젝트와 연관되거나 연결되는 추가정보의 요소들을 검색한다.
다음, 검출된 오브젝트와 연관되는 것으로 미리 정의되는 복수의 추가 정보 요소들로부터 적어도 하나의 요소를 포함하는, 추가 정보의 디지털 이미지 신호가 생성되고 표시된다. 상기 추가 정보 요소들은 비주얼라이저의 비디오 카메라로부터 디지털 비디오 이미지에 걸쳐 오버레이된다. 표시된 이미지상 상에서 검출된 오브젝트는 오브젝트 위치 영역을 강조함으로써 표시된다.
스크린상의 추가 정보의 출력은 추가 정보가 대응하는 검출되고 인식된 오브젝트의 이미지의 영역에서 출력 이미지에 걸쳐 배치되도록 수행된다.
캡처된 이미지의 후속 프레임 상에서 이미 렌더링된 연관된 추가 정보를 갖는 오브젝트를 검출하는 것이 가능하지 않으면, 이때, 스크린상에 추가 정보를 표시하는 것이 미리 정의된 시간 동안 계속되고, 그 이후에, 오브젝트 이미지가 다시 검출되면, 오브젝트가 존재하는 것으로 결론이 내려지고 추가 정보의 출력이 계속된다. 오브젝트가 규정된 시간 내에 발견되지 않으면, 오브젝트가 캡처된 이미지상에 없는 것으로 결정되고 스크린상에 추가 정보를 표시하는 것이 종료된다.
비디오 이미지상에서 오브젝트의 인식은 그것의 외부 피처들에 의해 특정 오브젝트를 식별하는 능력을 제공하며, 이는 차례로 지형 또는 지도에 대한 임의의 참조 없이 방법을 구현하거나 이동하는 오브젝트들 또는 이동되는 오브젝트들을 식별하는 능력을 제공한다.
비디오 이미지상에서 직접 오브젝트를 검출 및 인식하고 프레임에서 이동하는 오브젝트의 좌표들을 추적함으로써, 이미지에서 오브젝트 위치 측정의 높은 정확도가 제공되고, 그것은 임의의 네비게이션 시스템들의 제한들에 의존하지 않는다.
비주얼라이저의 컴퓨팅 수단은 대응하는 운영 체제의 제어 하에서 동작하는, 프로세서에 기초하여 이루어진다. 오브젝트 시각화 방법을 구현하는 경우 컴퓨팅 수단의 동작의 방식은 다음의 주요 단계들을 포함한다(도 3).
실행의 시작은 비디오 카메라를 켜는 단계 및 비주얼라이저의 스크린상에 실시간으로 표시되는 디지털 이미지를 형성하는 단계를 수반한다. 생성된 디지털 이미지 컴퓨팅 수단의 입력에 공급되며, 이는 신호가 출현하자마자 전자 메모리를 액세스하기 시작한다. 여기에, 오브젝트들의 참조 이미지들은 전자 메모리에 저장된다. 상기 참조 이미지들은 오브젝트들 검출 및 인식을 위해 사용되고 있다. 오브젝트 검출은 각각의 선택된 비디오 프레임 상에서 반복된다.
오브젝트가 비디오 카메라에 의해 캡처된 이미지상에서 검출되면, 그것의 좌표들의 계산이 수행된다. 검출된 좌표들은 추가 프레임에서 예상되는 좌표들의 계산을 제공하는, 오브젝트 좌표 예측 수단의 동작을 위해 사용된다.
검출된 오브젝트가 계산된(computed) 프레임 좌표들 내에서 인식되는 경우, 검출된 오브젝트 이미지는 비디오 카메라의 시야에 있는 실제 오브젝트와 동일시된다.
후속 선택 프레임들의 인식은 프레임의 제한된 영역 상에서 수행되며, 그 좌표들은 오브젝트의 좌표들을 예측하는 수단에 의해 계산된다. 미리 설정된 시간(Tmin) 동안에, 프레임의 이러한 제한된 영역에서 오브젝트를 검출하는 것이 가능하지 않으면, 검출은 선택된 프레임의 전체 영역에 걸쳐 다시 수행된다. 이러한 방식으로, 프레임 내의 검출된 오브젝트의 이동은 동시에 감시된다.
컴퓨팅 수단은 검출되고 인식된 오브젝트와 연관되는 추가 정보를 추출하기 위해 전자 메모리에 어필한다.
계산된 오브젝트 좌표들은 또한 추가 정보 이미지들을 연관시키고 캡처된 이미지상에서 오브젝트의 이미지 영역을 선택하기 위해 사용된다.
캡처된 이미지에 대한 추가 정보의 출력 신호 및 중첩이 생성되고 추가 정보 는 출력 이미지에 대한 오브젝트 좌표들을 고려하여 스크린상에 표시된다.
현재 선택된 프레임에 대한 디지털 이미지를 분석한 결과로서, 오브젝트의 이미지가 검출될 수 없으면, 이미지 분석 프로세스는 다음 선택된 이미지 프레임의 처리로 계속된다. 이미지 분석은 대응하는 프로그램이 런칭되는 동안에 계속된다.
또한, 컴퓨팅 수단의 입력에서 디지털 이미지의 존재의 분석이 수행된다. 디지털 이미지 신호가 컴퓨팅 수단의 입력에 도달하면, 프로세스는 각각의 선택된 프레임에 대해 반복되어, 캡처된 이미지상의 오브젝트 이미지의 이동을 추적하고 시각화된 추가 정보의 대응하는 조정을 수행한다.
디지털 이미지 신호가 소멸하면 오브젝트 시각화의 프로세스가 종료되며, 이는 예를 들어 비디오 카메라를 분리하는 것을 의미한다. 프로그램을 종료하는 명령이 생성된다.
컴퓨팅 수단의 기능적 다이어그램(도 4)은 방법을 구현하는 복수의 수단의 요소들 사이에서의 상호관계들을 도시한다. 디지털 비디오 이미지는 오브젝트 검출 수단에 공급되며, 이는 또한 오브젝트 이미지 추출 수단의 출력으로부터 오브젝트들의 이미지 데이터를 수신한다. 검출 결과들은 좌표 계산 수단에 공급되며, 그 계산 결과는 다음 프레임 상의 오브젝트의 예상되는 좌표들을 계산하는 수단에서 분석된다. 현재 및 예상되는 좌표들은 인식 수단의 입력들에 공급되며, 비디오 이미지 및 이미지 데이터는 거기에 공급된다. 인식의 결과들에 기초하여, 추가 정보 추출 수단은 오브젝트와 연관되는 추가 정보를 검색하고 그것을 캡처된 비디오 이미지상에 중첩하는 추가 정보를 포함하는 신호를 형성하는 수단으로 그것을 지향시킨다.
실시예 1.
비주얼라이저는 전면 대향 비디오 카메라, 프로세서 기반 컴퓨팅 수단, 오브젝트 이미지들 및 추가 정보를 저장하는 전자 메모리, 및 스크린을 포함하는 모바일 장치이다(도 2).
오브젝트들 및 이들 오브젝트들과 연관되는 추가 정보의 이전 생성된 이미지 데이터는 모바일 비주얼라이저의 내장된 또는 이동 가능한 메모리에 입력된다.
오브젝트를 시각화하기 위해, 카메라는 표시될 오브젝트에 안내되고 이미지는 비디오 카메라를 사용하여 캡처된다. 이 경우에 있어서, 비디오 카메라 렌즈의 시야각 및 오브젝트에 대한 거리는 캡처된 이미지가 오브젝트의 대부분을 도시하거나 오브젝트가 전체적으로 표현되도록 선택된다. 캡처된 이미지는 모바일 표시 장치의 스크린상에 표시된다.
디지털 이미지 신호들은 또한 캡처된 이미지의 입력 신호들이 있는 경우, 캡처된 이미지상의 오브젝트를 검출하고 인식하기 위해 오브젝트들의 이미지 데이터를 검색하는, 전자 메모리를 어드레스하는 컴퓨팅 수단의 입력으로 지향된다. 컬러 및 밝기 차이들의 경계들, 컬러 및 컬러 상관들, 텍스처를 특징짓는 규칙적인 요소들의 존재 등에 의해 형성되는 윤곽선과 같은 오브젝트의 이미지의 피처들은 인식을 위해 사용된다.
모든 오브젝트들에 공통적인 오브젝트 피처들은 검출의 프로세스에서 사용된다. 식별의 결과는 선택된 프레임에서 오브젝트의 존재를 검출하고 있거나, 오브젝트의 부재를 검출하고 있는 것일 수 있다.
첫 번째 경우에서, 프레임 내의 오브젝트의 좌표들이 계산되고, 오브젝트 이미지들의 특수 피처들을 사용하여, 검출된 오브젝트가 인식된다.
수개의 이전에 선택된 프레임들에서 검출된 오브젝트의 좌표들은 후속 프레임에서 오브젝트의 좌표들을 예측하기 위해 사용되어, 예상되는 오브젝트 좌표들의 설정을 형성하며, 이는 비주얼라이저의 성능 요구사항들을 낮추는 것을 허용한다. 이 경우에 있어서, 인식은 프레임의 제한된 영역 또는 영역 내의 다음 프레임 상에서 수행된다. 오브젝트가 캡처된 이미지에서 식별되고 검출된 후에, 컴퓨팅 수단은 검출되고 식별된 오브젝트와 연관되는 추가 정보를 검색하기 위해 전자 메모리로 전환하고, 이는 표시된 캡처 이미지를 오버레이함으로써 표시된다. 추가 정보는 이미지들 및 멀티미디어 정보뿐만 아니라, 검출된 오브젝트와 관련되는 설명적이거나 서술적인 캐릭터를 갖는 문자들 및/또는 숫자들을 포함하는 텍스트이다.
추가 정보를 표시하는 것은 반투명한 투명도로 시각화되고 검출되고 식별된 오브젝트의 바로 근처에 출력된다. 오브젝트 자체의 이미지 영역은 이와 같은 방식으로 강조되어, 오브젝트의 이미지가 배경 이미지와 비교하여 더 밝게 된다.
추가 정보의 출력 동안에, 검출 및 식별이 멈추고 1초 이내에 재개되지 않으면, 이때, 추가 정보의 철회가 중단된다.
실시예 2.
비주얼라이저는 디지털 디스플레이, 컴퓨팅 수단, 전자 메모리 및 인터넷을 사용하는 무선 채널을 통해 컴퓨팅 수단에 접속하기 위한 모뎀인 서버 인터커플러(intercoupler)를 갖는 비디오 카메라를 형성하는 디지털 이미지 생성 매트릭스를 갖는 렌즈를 장착한 디지털 카메라이다(도 1). 서버는 오브젝트들의 이미지 데이터 및 추가 정보의 저장을 제공한다.
추가 정보뿐만 아니라, 그들의 검출 및 인식을 위한 오브젝트들의 이미지들은 인터넷을 통해 그것에 연결되고 거기에 저장되는 정보를 검색하는 능력과 함께, 미리 생성되고 서버에 저장된다.
촬영 프로세스 동안에, 카메라 렌즈가 장면 상으로 투사되고 이미지 캡처가 수행되는 동안에, 메트릭스에 의해 형성되는 비디오 이미지는 카메라 스크린상에 표시된다.
캡처된 디지털 이미지는 또한 서버에 인터넷을 통한 모뎀의 수단에 의해 연결되는 컴퓨팅 수단의 입력으로 송신된다. 캡처된 이미지는 컴퓨팅 수단에 의해 압축되고 이미지 처리가 이전에 생성되고 서버의 메모리에 저장되는 이미지들을 사용하여 이미지에 대한 오브젝트들의 피처들을 검출하기 위해 수행되는 서버로 전송된다.
오브젝트가 이미지에서 검출되고 그 다름 검출된 오브젝트와 연관되는 추가 정보를 인식하면, 대응하는 이미지는 전자 메모리로부터 추출되고 인터넷을 통해 모뎀 입력 및 그 다음 카메라의 전자 메모리로 송신된다.
카메라의 컴퓨팅 수단의 도움으로, 오브젝트의 이미지는 캡처된 이미지에 대해 인식되고, 추가 정보는 카메라의 전자 메모리로부터 오브젝트와 연관되고, 캡처된 이미지에 대한 추가 정보는 카메라의 스크린상에 표시된다. 이 경우에 있어서, 이미지는 검출되고 인식된 오브젝트가 더 밝은 라인들에 의해 형성되는 정사각형 또는 타원형 프레임으로 표시되고, 추가 정보가 오브젝트의 이미지의 바로 근처에서 이미지 상에 중첩되도록 시각화된다.
실시예 3.
비주얼라이저는 내장된 비디오 카메라, 전자 메모리를 갖는 컴퓨터 수단 및 스크린을 갖는 안경이다.
오브젝트들의 미리 생성된 이미지들 및 추가 정보의 배열은 비주얼라이저의 전자 메모리에 저장된다.
비주얼라이저 스크린상에 안경 프레임에 내장되는 전면 대향 비디오 카메라에 의해 캡처된 이미지가 표시된다. 캡처된 디지털 이미지는 또한 전자 메모리를 참조하여, 오브젝트 이미지들을 수신하고 캡처된 이미지상에 오브젝트들의 검출 및 인식을 제공하는 컴퓨팅 수단에 처리를 위해 송신된다. 오브젝트가 인식된 후에, 스크린상의 오브젝트 주위의 영역은 출력 캡처된 이미지를 오버랩하는 밝은 라인들에 의해 형성되는 직사각형의 프레임으로 선택되고 추가 정보는 전자 메모리로부터 추출되고 검출된 오브젝트의 바로 근처에 출력되는 캡처된 이미지 위에 중첩된다.
컴퓨터 수단은 캡처된 비디오 이미지상에 검출된 오브젝트의 좌표들의 계산을 제공한다. 그들은 오브젝트 선택 프레임 및 추가 정보의 시각화 좌표들을 선택하기 위해 사용되므로, 프레임의 위치 및 추가 정보의 배치는 오브젝트가 이미지에서 검출되는 동안에 그것이 움직임에 따라 오브젝트의 이미지를 동반한다.
추가 정보의 출력 동안에 이전에 검출된 오브젝트의 검출 및 인식이 멈추고 캡처된 비디오 이미지의 30개의 선택된 프레임들 이내에 재개되지 않으면, 추가 정보 및 오브젝트 선택 프레임의 출력은 중단된다.
비주얼라이저는 표준 전자 구성요소들: LED 디스플레이들, 프로세서들, 고체 상태 메모리 요소들, 모뎀들 등을 사용하여 구성될 수 있다.
따라서, 비주얼라이저는 시각화되는 오브젝트의 위치 측정 정확도를 개선할 뿐만 아니라, 오브젝트 자체의 이미지 데이터에 기초하여 캡처된 이미지에 대한 오브젝트를 식별하는 능력으로 인하여 더 넓은 범위의 응용을 갖는다.

Claims (9)

  1. 오브젝트 시각화 방법으로,
    디지털 이미지를 캡처하는 단계;
    복수의 추가 정보 요소들을 저장하는 전자 메모리로부터 추가 정보 아이템들을 획득하는 단계로서, 추가 정보 아이템들 각각은 미리 결정된 오브젝트에 대응하는, 단계;
    디지털 이미지에 중첩하는 복수의 추가 정보 요소들 중 적어도 하나를 표시하는 단계로서, 상기 오브젝트에 대한 추가 정보 이외에, 전자 메모리는 대응하는 오브젝트들의 이미지 데이터를 저장하는 것을 특징으로 하는, 단계;
    상기 캡처된 이미지의 각각의 선택된 프레임에서 적어도 하나의 오브젝트를 검출 및 인식하는 단계;
    상기 전자 메모리로부터 획득되는 상기 오브젝트의 상기 이미지 데이터를 사용하는 단계;
    상기 캡처된 이미지상의 상기 검출된 오브젝트의 좌표들을 계산하는 단계; 및
    상기 표시된 캡처된 이미지상의 상기 대응하는 오브젝트의 바로 근처에 적어도 하나의 추가 정보 요소를 표시하는 단계를 포함하며,
    상기 이전에 선택된 프레임들 상에서 검출되고 인식되는 오브젝트가 미리 결정된 시간 동안에 후속 선택된 프레임들 상에서 더 이상 검출되지 않으면, 상기 캡처된 이미지상에 오브젝트가 없다는 결론이 내려지고 그것이 상기 오브젝트와 연관되는 추가 정보의 출력을 정지하며, 상기 이미지 캡처는 상기 비주얼라이저의 디지털 카메라에 의해 수행되고 상기 스크린에 출력되는 오브젝트 시각화 방법.
  2. 제1항에 있어서,
    상기 오브젝트 인식은 그 형상 및/또는 컬러 및/또는 텍스처에 기초하여 수행되는 것을 특징으로 하는 오브젝트 시각화 방법.
  3. 제1항에 있어서,
    상기 오브젝트가 검출되고 인식되는 상기 캡처된 이미지의 상기 선택된 프레임이 n이 1, 2, 3, 4 ...의 자연수인 비디오 이미지의 각각의 n 번째 프레임 또는 상기 컴퓨팅 수단이 그것에 대한 오브젝트를 검출하고 인식할 준비가 될 때까지 형성되는 각각의 프레임을 포함하는 것을 특징으로 하는 오브젝트 시각화 방법.
  4. 제1항에 있어서,
    상기 오브젝트의 이미지 데이터가 적어도 공통 피처들 및 특수 피처들을 포함하는 한편, 오브젝트들의 상기 검출 및 인식이: 오브젝트 이미지들의 상기 공통 피처들을 사용하여 그들이 선택된 프레임 상에서 상기 오브젝트를 검출하고, 상기 오브젝트 이미지들의 상기 특수 피처들을 사용하여 상기 선택된 프레임 상에서 상기 검출된 오브젝트의 좌표들을 계산하고, 상기 캡처된 이미지의 상기 선택된 프레임에서 상기 오브젝트의 인식을 수행하는 시퀀스로 수행되는 것을 특징으로 하는 오브젝트 시각화 방법.
  5. 제1항에 있어서,
    다음 프레임의 상기 오브젝트의 예상되는 좌표들이 이전 프레임들의 상기 오브젝트의 좌표들에 기초하여 계산되고, 상기 예상되는 오브젝트 좌표들의 설정에 의해 다음 프레임 상에서 상기 오브젝트의 인식의 영역을 제한하며, 이어서 선택된 프레임들의 인식 시간이 미리 설정된 임계 값을 초과하면, 추가 검출이 전체 선택된 프레임 상에서 수행되는 것을 특징으로 하는 오브젝트 시각화 방법.
  6. 제1항에 있어서,
    상기 검출되고 인식된 오브젝트의 영역이 상기 캡처된 이미지가 출력되는 경우 상기 스크린상에 표시되는 것을 특징으로 하는 오브젝트 시각화 방법.
  7. 제1항에 있어서,
    상기 인식된 오브젝트가 상기 오브젝트의 이미지를 포함하는 이미지의 일부분을 강조하여 선택되는 것을 특징으로 하는 오브젝트 시각화 방법.
  8. 제1항에 있어서,
    상기 이미지 캡처가 상기 캡처된 이미지를 출력하는 스크린을 포함하는 상기 비주얼라이저의 카메라에 의해 수행되는 것을 특징으로 하는 오브젝트 시각화 방법.
  9. 제1항에 있어서,
    상기 오브젝트 이미지들의 생성 및 상기 전자 메모리로의 오브젝트 이미지들의 저장이 미리 수행되는 것을 특징으로 하는 오브젝트 시각화 방법.
KR1020177036828A 2015-05-26 2016-05-25 오브젝트 시각화 방법 KR20180011794A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
RU2015119725 2015-05-26
RU2015119725/08A RU2602386C1 (ru) 2015-05-26 2015-05-26 Способ визуализации объекта
PCT/RU2016/000315 WO2016190783A1 (ru) 2015-05-26 2016-05-25 Способ визуализации объекта

Publications (1)

Publication Number Publication Date
KR20180011794A true KR20180011794A (ko) 2018-02-02

Family

ID=57393490

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020177036828A KR20180011794A (ko) 2015-05-26 2016-05-25 오브젝트 시각화 방법

Country Status (6)

Country Link
US (1) US10347000B2 (ko)
EP (1) EP3306565A4 (ko)
KR (1) KR20180011794A (ko)
CN (1) CN107710280B (ko)
RU (1) RU2602386C1 (ko)
WO (1) WO2016190783A1 (ko)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111295879B (zh) * 2017-11-15 2021-08-03 村田机械株式会社 管理服务器、管理系统、管理方法以及记录介质
DE102019135676A1 (de) * 2018-12-26 2020-07-02 Htc Corporation Objektverfolgungssystem und objektverfolgungsverfahren
RU2716415C1 (ru) * 2019-02-04 2020-03-12 Общество с ограниченной ответственностью "Сити Консьерж" Способ интерактивной навигации на основе краудсорсинга с мультимедийным сопровождением и дополненной реальностью
JP7234718B2 (ja) * 2019-03-18 2023-03-08 富士フイルムビジネスイノベーション株式会社 情報処理装置、情報処理システム及びプログラム
KR102252110B1 (ko) 2019-08-07 2021-05-17 한국과학기술연구원 중첩된 가상 오브젝트의 용이하고 정확한 선택을 지원하는 사용자 인터페이스 장치 및 이의 제어 방법
CN110536154A (zh) * 2019-08-16 2019-12-03 北京达佳互联信息技术有限公司 视频码流分析方法、装置、电子设备及存储介质
KR20210045891A (ko) * 2019-10-17 2021-04-27 삼성전자주식회사 전자 장치 및 전자 장치의 화면 캡쳐 운용 방법
WO2021213339A1 (en) * 2020-04-22 2021-10-28 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Method and system for extracting and storing image metadata
CZ2021270A3 (cs) * 2021-06-01 2022-12-14 Marek MENSA Způsob interakce s nosným médiem zvukového obsahu, způsob interakce s nosičem rozšířené reality, nosné médium zvukového obsahu a způsob přehrávání zvukového obsahu uživatelskou periferií
CN115883864A (zh) * 2022-12-19 2023-03-31 国网河北省电力有限公司营销服务中心 一种记录多维数据的视频编解码方法、装置及终端设备

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004095374A1 (ja) * 2003-04-21 2004-11-04 Nec Corporation 映像オブジェクト認識装置および認識方法、映像アノテーション付与装置および付与方法ならびにプログラム
JP2005149409A (ja) * 2003-11-19 2005-06-09 Canon Inc 画像再生方法及び装置
US20060195858A1 (en) * 2004-04-15 2006-08-31 Yusuke Takahashi Video object recognition device and recognition method, video annotation giving device and giving method, and program
JP5184217B2 (ja) * 2007-05-31 2013-04-17 パナソニック株式会社 画像撮影装置、付加情報提供サーバ及び付加情報フィルタリングシステム
US9910866B2 (en) 2010-06-30 2018-03-06 Nokia Technologies Oy Methods, apparatuses and computer program products for automatically generating suggested information layers in augmented reality
US9569891B2 (en) * 2010-07-16 2017-02-14 Tyoterveyslaitos Method, an apparatus and an arrangement for visualizing information
JP2012065263A (ja) 2010-09-17 2012-03-29 Olympus Imaging Corp 撮影機器
US8447329B2 (en) * 2011-02-08 2013-05-21 Longsand Limited Method for spatially-accurate location of a device using audio-visual information
US20120201472A1 (en) * 2011-02-08 2012-08-09 Autonomy Corporation Ltd System for the tagging and augmentation of geographically-specific locations using a visual data stream
JP5765019B2 (ja) * 2011-03-31 2015-08-19 ソニー株式会社 表示制御装置、表示制御方法、およびプログラム
CN104067317A (zh) * 2011-09-08 2014-09-24 宝福特控股私人有限公司 用于在真实世界视频剪辑内对合成对象进行可视化的系统和方法
EP2610871A1 (en) * 2011-12-30 2013-07-03 Research In Motion Limited Methods and apparatus for use in providing object indicators during video recording or playback
JP5999105B2 (ja) * 2012-01-17 2016-09-28 ソニー株式会社 情報処理装置および方法、並びにプログラム
US9066200B1 (en) * 2012-05-10 2015-06-23 Longsand Limited User-generated content in a virtual reality environment
US20140176606A1 (en) * 2012-12-20 2014-06-26 Analytical Graphics Inc. Recording and visualizing images using augmented image data
WO2014201176A1 (en) * 2013-06-11 2014-12-18 Qualcomm Incorporated Interactive and automatic 3-d object scanning method for the purpose of database creation
JP6642968B2 (ja) * 2014-03-20 2020-02-12 キヤノン株式会社 情報処理装置、情報処理方法、プログラム

Also Published As

Publication number Publication date
CN107710280B (zh) 2022-06-03
CN107710280A (zh) 2018-02-16
US10347000B2 (en) 2019-07-09
WO2016190783A1 (ru) 2016-12-01
EP3306565A1 (en) 2018-04-11
RU2602386C1 (ru) 2016-11-20
US20180150967A1 (en) 2018-05-31
EP3306565A4 (en) 2019-01-02

Similar Documents

Publication Publication Date Title
CN107710280B (zh) 对象可视化方法
CN105518712B (zh) 基于字符识别的关键词通知方法及设备
JP2022036143A (ja) 物体追跡システム、物体追跡装置、および物体追跡方法
US10535160B2 (en) Markerless augmented reality (AR) system
CN104427252B (zh) 用于合成图像的方法及其电子设备
EP3140716B1 (en) Portable electronic equipment and method of controlling a portable electronic equipment
KR20130056309A (ko) 텍스트 기반 3ｄ 증강 현실
US20200236300A1 (en) Image processing system, image processing method, and program
US10168790B2 (en) Method and device for enabling virtual reality interaction with gesture control
JP2011146796A5 (ko)
CN111815675A (zh) 目标对象的跟踪方法及装置、电子设备和存储介质
KR102042793B1 (ko) 실제 장면의 화상을 가상 이미지와 오버레이하는 방법 및 장치, 그리고 모바일 디바이스
EP3973446A1 (en) Forensic video exploitation and analysis tools
CN114140832A (zh) 井下行人越界风险检测方法、装置、电子设备及存储介质
US11106949B2 (en) Action classification based on manipulated object movement
US20200097735A1 (en) System and Method for Display of Object Movement Scheme
RU2014101339A (ru) Навигация по видеопоследовательности через местоположение объекта
WO2014206274A1 (en) Method, apparatus and terminal device for processing multimedia photo-capture
KR20150086840A (ko) 복수개의 카메라를 이용한 휴대 장치 및 제어방법
KR20220002626A (ko) 픽쳐 기반의 다차원 정보 통합 방법 및 관련 기기
WO2022219780A1 (ja) 点検支援装置、点検支援システム、点検支援方法、及び点検支援プログラム
JP2002230527A (ja) 立体情報取得装置および立体情報取得方法ならびに立体情報取得プログラムを記録したコンピュータリーダブル記録媒体
US20230119032A1 (en) Display system and display method
US20210142481A1 (en) Method and System of Evaluating the Valid Analysis Region of a Specific Scene
KR102158751B1 (ko) 사용자 장치, 그 제어 방법 및 컴퓨터 프로그램이 기록된 기록매체

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E601 Decision to refuse application