KR20130085942A - 정보 처리 장치, 정보 처리 시스템, 및 프로그램 - Google Patents

정보 처리 장치, 정보 처리 시스템, 및 프로그램 Download PDF

Info

Publication number
KR20130085942A
KR20130085942A KR1020127029060A KR20127029060A KR20130085942A KR 20130085942 A KR20130085942 A KR 20130085942A KR 1020127029060 A KR1020127029060 A KR 1020127029060A KR 20127029060 A KR20127029060 A KR 20127029060A KR 20130085942 A KR20130085942 A KR 20130085942A
Authority
KR
South Korea
Prior art keywords
information
tag
tag information
observation
image data
Prior art date
Application number
KR1020127029060A
Other languages
English (en)
Inventor
다츠야 이가라시
Original Assignee
소니 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니 주식회사 filed Critical 소니 주식회사
Publication of KR20130085942A publication Critical patent/KR20130085942A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/433—Content storage operation, e.g. storage operation in response to a pause request, caching operations
    • H04N21/4334—Recording operations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/48—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/487—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using geographical or spatial information, e.g. location
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/5866—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, manually generated location and time information
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/587—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using geographical or spatial information, e.g. location
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/787—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using geographical or spatial information, e.g. location
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42202—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] environmental sensors, e.g. for detecting temperature, luminosity, pressure, earthquakes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8146—Monomedia components thereof involving graphical data, e.g. 3D object, 2D graphics
    • H04N21/8153—Monomedia components thereof involving graphical data, e.g. 3D object, 2D graphics comprising still images, e.g. texture, background image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • H04N9/8233—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal the additional signal being a character code signal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/004—Annotating, labelling

Abstract

영상 데이터를 촬영하는 이미징 장치의 일부에 대응하는 제1 정보 및 영상 데이터를 촬영하는 이미징 장치의 관측 시계에 대응하는 제2 정보를 획득하고, 제1 정보 및 제2 정보에 기초하여 태그 정보를 생성하는 정보 처리 장치.

Description

정보 처리 장치, 정보 처리 시스템, 및 프로그램{INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING SYSTEM, AND PROGRAM}
본 발명은 정보 처리 장치, 정보 처리 시스템, 및 프로그램에 관한 것이다.
텍스트를 사용하여 카메라에 의해 촬영된 비디오 상에 촬영 위치에 관한 정보를 중첩함으로써 현실 세계의 움직임들을 강화시키는 기술은 1990년대 초부터 급속히 연구되어 증강 현실(augmented reality (AR))로서 발전되었으며, 실제로 헤드 마운트 디스플레이(head mount display)를 사용하는 AR은 이미 군사용으로 사용되고 있다.
최근에, AR은 고성능 소형 전자 장치를 수반하는 카메라 및 GPS(global positioning system)의 기능을 구비한 단말 장치에 의해 구현된다. 이러한 AR의 예시에서, 사용자는 실제 비디오에 텍스트를 추가하고, AR 기술을 사용하여 네트워크를 통해 추가된 텍스트 정보를 다른 사용자들에게 제공한다. 앞서 설명한 바와 같이, AR은 정보 제공의 실질적인 목적뿐 아니라 하나의 타입의 통신 도구로서 사용된다. AR에 관한 기술로서, 예를 들어, 특허 문헌 1의 풍경 레이블링 시스템(landscape labeling system)이 있다.
특허 문헌 1의 풍경 레이블링 시스템은 비디오에 지형 기반 3차원 공간 좌표(earth-based three-dimensional spatial coordinate)에 도시된 구조의 위치와 관련된 태그를 중첩한다. 이에 따라, 이는, 태그에 도시된 정보가 태그와 관련된 구조의 명칭 등인 경우 상당히 적합할 수 있다.
일본 특허 제3225882호
그러나, 사용자가 태그로서 공유하고 싶은 정보에 대한 소정의 촬영 조건에 의해, 비디오가 촬영된 위치 및 비디오가 촬영된 방위각으로부터 관측된 비디오에만 의미 있는 정보가 있다. 앞서 설명한 정보를 공유하는 방법은 종래 기술에서 고려되고 있지 않지만, 잠정적으로 필요하다.
앞서 설명의 관측 지점에서, 촬영 비디오의 관측 시계 공간(field-of-view space)에서의 좌표들과 관련된 태그를 사용할 수 있는 신규하고 개선된 정보 처리 장치, 정보 처리 시스템, 및 프로그램을 제공하는 것이 바람직하다.
본 발명의 일 실시예는 영상 데이터를 촬영하는 이미징 장치의 위치에 대응하는 제1 정보 및 영상 데이터를 촬영하는 이미징 장치의 관측 시계에 대응하는 제2 정보를 획득하도록 구성된 획득부; 및 제1 정보 및 제2 정보에 기초하여 태그 정보를 생성하도록 구성된 프로세서를 포함하는 정보 처리 장치에 관한 것이다.
태그 정보는 이미징 장치의 위도 및 경도에 대응하는 정보, 이미징 장치의 고도에 대응하는 정보, 및 태그 정보에 포함된 이미징 장치에 대응하는 위치 정보의 정밀도를 나타내는 오류 정보 중 하나 이상을 포함하는 관측 지점 정보를 포함할 수 있다.
태그 정보는 이미징 장치의 방위각에 대응하는 정보, 이미징 장치의 관측 시계 각(field-of-view angle)에 대응하는 정보, 및 촬영된 영상 데이터의 높이 및 폭에 대응하는 정보 중 하나 이상을 포함하는 관측 시계 정보를 포함할 수 있다.
태그 정보는 촬영된 영상의 피사체와 이미징 장치 사이의 거리에 대응하는 정보, 표시된 영상 데이터 상에 태그가 표시될 위치를 식별하는 정보, 및 표시된 영상 데이터에 표시될 문자열 중 하나 이상을 포함하는 태그 정보를 포함할 수 있다.
본 발명의 다른 실시예는, 영상 데이터를 촬영하는 이미징 장치의 위치에 대응하는 제1 정보를 획득하는 단계; 영상 데이터를 촬영하는 이미징 장치의 관측 시계에 대응하는 제2 정보를 획득하는 단계; 및 프로세서에 의해, 제1 정보 및 제2 정보에 기초하여 태그 정보를 생성하는 단계를 포함하는 정보 처리 방법에 관한 것이다.
본 발명의 다른 실시예는, 컴퓨터 프로그램 명령어들을 포함하는 비일시적 컴퓨터 판독가능 매체로서, 컴퓨터 프로그램 명령어들이, 정보 처리 장치에 의해 실행되는 경우, 정보 처리 장치로 하여금, 영상 데이터를 촬영하는 이미징 장치의 위치에 대응하는 제1 정보를 획득하는 단계; 영상 데이터를 촬영하는 이미징 장치의 관측 시계에 대응하는 제2 정보를 획득하는 단계; 및 제1 정보 및 제2 정보에 기초하여 태그 정보를 생성하는 단계를 포함하는 방법을 수행하게 하는 비일시적 컴퓨터 판독가능 매체에 관한 것이다.
본 발명의 다른 실시예는, 재생된 영상 데이터에 대응하는 촬영 정보를 획득하도록 구성된 획득부; 및 저장된 태그 정보와 촬영 정보의 비교에 기초하여 태그 정보를 획득하고, 비교 결과에 기초하여 재생된 영상 데이터 상에 태그 정보를 중첩하도록 구성된 프로세서를 포함하는 정보 처리 장치에 관한 것이다.
촬영 정보는 재생된 영상 데이터를 촬영한 이미징 장치의 위치에 대응하는 위치 정보를 포함할 수 있으며, 프로세서는 이 위치 정보와 저장된 태그 정보에 포함된 위치 정보의 비교에 기초하여 태그 정보를 획득하도록 구성될 수 있다.
촬영 정보는 재생된 영상 데이터를 촬영한 이미징 장치의 관측 시계에 대응하는 관측 시계 정보를 포함할 수 있으며, 프로세서는 이 관측 시계 정보와 저장된 태그 정보에 포함된 관측 시계 정보의 비교에 기초하여 태그 정보를 획득하도록 구성될 수 있다.
촬영 정보는 재생된 영상 데이터를 촬영한 이미징 장치와 재생된 영상 데이터의 피사체 사이의 거리에 대응하는 범위 정보를 포함할 수 있다.
프로세서는 이 범위 정보와 저장된 태그 정보에 포함된 범위 정보의 비교에 기초하여 태그 정보를 획득하도록 구성될 수 있다.
본 발명의 다른 실시예는, 재생 영상 데이터에 대응하는 촬영 정보를 획득하는 단계; 이 촬영 정보와 메모리에 저장된 태그 정보의 비교에 기초하여 태그 정보를 획득하는 단계; 및 비교 결과에 기초하여, 재생된 영상 데이터 상에 태그 정보를 중첩하는 단계를 포함하는 정보 처리 방법에 관한 것이다.
본 발명의 다른 실시예는, 컴퓨터 프로그램 명령어들을 포함하는 비일시적 컴퓨터 판독가능 매체로서, 컴퓨터 프로그램 명령어들이, 정보 처리 장치에 의해 실행되는 경우, 정보 처리 장치로 하여금, 재생 영상 데이터에 대응하는 촬영 정보를 획득하는 단계; 이 촬영 정보와 메모리에 저장된 태그 정보의 비교에 기초하여 태그 정보를 획득하는 단계; 및 비교 결과에 기초하여 재생된 영상 데이터 상에 태그 정보를 중첩하는 단계를 수행하게 하는 비일시적 컴퓨터 판독가능 매체에 관한 것이다.
앞서 설명된 본 발명에 따르면, 촬영 비디오의 관측 시계 공간에서의 좌표들과 관련된 태그를 사용할 수 있는 신규하고 개선된 정보 처리 장치, 정보 처리 시스템, 및 프로그램을 제공할 수 있다.
도 1은 본 발명의 일 실시예에 따른 정보 처리 시스템의 개략적인 구성을 도시한 구성도이다.
도 2는 촬영 정보의 일례를 도시한 표이다.
도 3은 정보 처리 시스템의 유리한 효과들의 일례를 도시한 예시적인 도면이다.
도 4는 태그 정보 생성 장치의 기능 구성을 도시한 블록도이다.
도 5는 관계형 데이터베이스(relational database)가 사용되는 경우 태그 정보의 공간 모델을 도시한 예시적인 도면이다.
도 6은 관계형 데이터베이스에 의한 태그 정보의 표 정의 예시이다.
도 7은 데이터 센터의 구성도이다.
도 8은 키-값 타입 데이터 저장소의 개요의 예시적인 도면이다.
도 9는 키-값 타입 데이터 저장소가 사용되는 경우 태그 정보의 공간 모델을 도시한 예시적인 도면이다.
도 10은 태그 정보의 키 구성의 일례를 도시한 예시적인 도면이다.
도 11은 촬영 위치의 그리드의 일례를 도시한 예시적인 도면이다.
도 12는 관측 시계 정보 비트들(field-of-view information bits)의 예시적인 도면이다.
도 13은 관측 시계 정보의 비트 할당의 일례를 도시한 표이다.
도 14는 관측 지점 정보(point-of-view information)의 비트 할당의 일례를 도시한 표이다.
도 15는 가변 비트 시퀀스/문자 코드 변환표의 일례이다.
도 16은 가변 비트 시퀀스를 문자열로 변환하는 일례를 도시한 예시적인 도면이다.
도 17은 태그 정보의 자바(Java)(등록 상표)를 사용한 등급(class) 정의의 일례를 도시한 예시적인 도면이다.
도 18은 태그 정보 검색 방법(북위 35도)의 일례를 도시한 예시적인 도면이다.
도 19는 태그 정보 검색 방법(북위 60도)의 일례를 도시한 예시적인 도면이다.
도 20은 재생 장치의 기능 구성을 도시한 블록도이다.
도 21a는 태그 정보 검색 동작을 도시한 흐름도이다.
도 21b는 태그 정보 검색 동작을 도시한 흐름도이다.
도 22는 태그 정보를 비디오에 투영하는 것의 예시적인 도면이다.
도 23은 정보 처리 시스템이 적용된 서비스의 일례이다.
도 24는 정보 처리 시스템이 적용된 서비스의 다른 일례이다.
본 발명의 바람직한 실시예들은 첨부 도면들을 참조하여 이하 더 상세히 설명될 것이다. 본 명세서 및 도면들에서 실질적으로 동일한 기능 구성을 갖는 구성요소들은 동일한 참조 부호로 표시되며, 그에 대한 중복 설명은 생략한다.
설명은 다음의 순서로 진행된다.
1. 개요
2. 구성
3. 관계형 데이터베이스에 의한 태그 정보 관리 방법
4. 키-값 타입 데이터 저장소에 의한 태그 정보 관리 방법
5. 효과의 예시
6. 적용 예
<1. 개요>
우선, 본 발명의 일 실시예에 따른 정보 처리 시스템(10)의 개요가 도 1 내지 도 3을 사용하여 설명될 것이다. 도 1은 본 발명의 일 실시예에 따른 정보 처리 시스템(10)의 개요를 도시한 구성도이다. 도 2는 이미징 장치에 기록된 촬영 관련 보충 정보의 일례를 도시한 표이다. 도 3은 정보 처리 시스템(10)의 유리한 효과들의 일례를 도시한 예시적인 도면이다.
본 실시예에 따른 정보 처리 시스템(10)은, 비디오 콘텐츠를 촬영하는 이미징 장치(200), 사용자 조작에 응답하여 이미징 장치(200)로부터 입력된 콘텐츠(3000) 등에 태그를 할당하는 조작을 수신하는 정보 처리 장치인 단말 장치(300), 콘텐츠 촬영시 관측 시계 공간을 특정하기 위한 관측 시계 정보가 할당된 태그의 정보에 추가된 태그 정보를 생성하기 위한 정보 처리 장치인 태그 정보 생성 서버(100)를 구비한 데이터 센터(1000), 및 비디오 상에 데이터 센터(1000)에 의해 관리되는 태그 정보를 사용하여 태그를 중첩함으로써 재생을 수행하는 재생 장치(400)를 구비한다. 데이터 센터(1000) 내의 각 장치, 단말 장치(300), 및 재생 장치(400)는 네트워크(500)를 통해 각각 연결된다.
데이터 센터(1000)에는, 동영상 공유 서비스를 제공하는 서버 그룹이 설치된다. 단말 장치(300)는 비디오 콘텐츠를 비디오 분배 서버에 업로드할 수 있으며, 이 서버는 데이터 센터(1000) 내에 도시되어 있지 않다. 재생 장치(400)는 데이터 센터(1000) 내의 비디오 분배 서버로부터 분배된 비디오 콘텐츠를 다운로드하고 재생할 수 있다.
사용자는 USB(universal serial bus) 등을 사용하여 이미징 장치(200)를 단말 장치(300)에 연결하고, 단말 장치(300)의 애플리케이션 소프트웨어에 의해 이미징 장치(200)로부터 비디오(3000)의 콘텐츠 데이터를 수신한다. 이 때, 단말 장치(300)는 비디오(3000)의 콘텐츠 데이터와 함께 비디오(3000)에 대한 보충적인 촬영 정보를 수신한다. 사용자는 단말 장치(300)에 의해 비디오(3000) 및 비디오(3000)에 대한 보충 촬영 정보를 데이터 센터(1000) 내의 비디오 분배 서버에 업로드한다. 사용자는 단말기(300)에 의해 태그(600)를 비디오(3000)에 할당할 수 있다. 사용자는 단말 장치(300)에 의해 비디오(3000)에 할당된 태그(600)의 정보, 예를 들어 비디오에서의 태그(600)의 위치, 태그(600)의 문자열 정보 등을 데이터 센터(1000) 내의 태그 정보 생성 서버(100)에 업로드한다.
여기에서, 이미징 장치(200)는 예를 들어, GPS 기능 및 전자 나침반 기능을 가지며, 촬영 비디오에 대한 보충 촬영 정보로서 촬영 일시 및 초점 거리 등의 촬영 조건뿐 아니라 위치 정보 및 방위각 정보를 기록할 수 있다. AVCHD 표준 기반 비디오 카메라에서, 예를 들어 도 2에 도시된 촬영 정보는 MPEG2-TS의 기본 스트림(elementary stream (ES))의 사용자 데이터로서 기록된 수정 디지털 비디오 팩에 기록된다. 촬영 정보는 소정 시간 간격마다 주기적으로 기록된다.
하나의 단말 장치(300)만이 여기에 도시되어 있지만, 데이터 센터(1000)는 여러 단말 장치(300)로부터 액세스될 수 있다. 마찬가지로, 재생 장치(400)의 측면에서, 여러 재생 장치들(400)이 데이터 센서(1000)를 액세스할 수 있다.
재생 장치(400)는 비디오(3000)와 동일한 관측 지점 및 관측 시계로 촬영된 다른 비디오(4000) 상에 태그(600)가 중첩된 비디오를 재생한다. 도 1의 예시에서, “모토스 호수 위의 후지산”이라는 문자열 정보를 갖는 태그(600)가 비디오(4000) 상에 중첩되어 재생된다.
앞서 설명한 태그(600)에 의해 표시된 정보는 비디오(3000)가 촬영된 관측 지점으로부터 동일한 관측 시계 공간을 촬영함으로써 획득된 비디오에 대한 의미 있는 정보이다. 즉, 후지산이 모토스 호수 위에 있는 비디오가 아니라면, 예를 들어 후지산을 피사체로 나타낸 비디오에서도 태그(600)를 표시하는 것은 바람직하지 않다. 예를 들어, 도 3에 도시된 비디오(4005)는 고템바(Gotemba)로부터 촬영된 후지산 비디오이다. 이 경우, 모토스 호수는 비디오(4005)에서 보이지 않는다. 이에 따라, 태그(600)를 표시하는 것은 바람직하지 않다. 비디오(4010)는 비디오(3000)가 촬영된 위치라기보다는 후지산 근처의 위치로부터 촬영된 비디오이다. 이 경우, 비디오(4010) 및 비디오(3000)를 동일 방향 각도에서 촬영된 경우에도 비디오(4010)에 태그(600)를 표시하는 것은 바람직하지 않다. 비디오(4015)는 비디오(3000)와 동일한 촬영 위치에서 촬영된 비디오이다. 그러나, 비디오(4015)는 비디오(3000)와는 상이한 촬영 조건들을 가지며, 비디오(3000)보다 더 짧은 거리에 있는 장면을 촬영함으로써 획득되는 비디오이다. 이 경우에도, 모토스 호수가 비디오(4015)에 보이지 않기 때문에 태그(600)를 표시하는 것은 바람직하지 않다.
종래 기술의 시스템에서, 태그는 피사체의 지형 기반 3차원 공간 좌표에 레이블링된다. 이 경우에, 후지산의 지형 기반 3차원 공간 좌표 위치는 동일하기 때문에, 태그(600) 또한 도 3에 도시된 비디오(4005), 비디오(4010), 및 비디오(4015)와 같은 비디오 상에 중첩된다. 그러나, 태그(600)는 앞서 설명한 동일 관측 지점으로부터 동일 관측 시계를 촬영함으로써 획득되는 비디오에 대해 의미 있는 정보이다. 이러한 실시예에 따른 정보 처리 시스템(10)은 촬영 비디오의 관측 시계 공간 상의 좌표 위치와 태그를 관련시킴으로써 태그를 관리한다. 상이한 관측 지점 및 상이한 방위각을 갖는 비디오(4005), 상이한 관측 지점을 갖는 비디오(4010), 및 동일한 관측 지점 및 동일한 방위각을 갖지만 촬영 조건들이 상이하기 때문에 상이한 관측 시계 공간을 갖는 비디오(4015) 상에는, 태그(600)가 중첩되지 않는다.
이에 따라, 객체의 간단한 명칭뿐 아니라 관측 지점으로부터의 일정한 관측 시계 공간으로부터 보이는 복수의 객체들의 위치 관계에서의 의미 있는 정보가 태그로서 공유될 수 있다.
여기에서, 비디오 카메라는 이미징 장치(200)라고 도시되어 있지만, 본 발명은 이로 제한되지 않는다. 예를 들어, 이미징 장치(200)는 모바일 전화, 휴대용 음악 재생 장치, 휴대용 비디오 처리 장치, 또는 휴대용 게임 장치 등의 촬영 기능을 갖는 장치일 수 있다. 단말 장치(300)가 개인용 컴퓨터(PC)인 경우를 예시하였지만, 본 발명은 이 예시로 제한되지 않는다. 예를 들어, 단말 장치(300)는, 홈 비디오 처리 장치(DVD 리코더, 비디오 테이프 리코더 등), PDA(personal digital assistant), 홈 게임 장치, 가전 제품, 모바일 전화, 휴대용 음악 재생 장치, 휴대용 비디오 처리 장치, 또는 휴대용 게임 장치 등과 같이, 조작을 사용자가 입력하는 입력부 및 통신 기능을 갖는 임의의 정보 처리 장치일 수 있다. 또한, 이미징 장치(200)가 통신 기능을 가질 수 있고, 데이터 센터(1000) 내의 각각의 장치와 통신할 수 있다면, 이미징 장치(200) 자체가 단말 장치(300)의 기능을 가질 수도 있다.
여기에서, 콘텐츠는 비디오 콘텐츠, 정지 영상 콘텐츠, 또는 동영상 콘텐츠일 수 있다. 재생 장치(400)는 데이터 센터(1000)에 의해 제공되는 비디오 공유 서비스에 의해 분배되는 비디오 상에 태그를 중첩함으로써 재생을 수행하지만, 본 발명은 이 예시로 제한되지 않는다. 예를 들어, 재생 장치(400)는 로컬 저장부에 저장된 비디오 콘텐츠 상에 태그를 중첩함으로써 재생을 수행할 수 있다. 또한, 재생 장치(400)는 이미징 기능을 갖는 장치에서의 실시간 촬영 동안에 비디오 상에 태그를 중첩할 수 있다.
앞서 설명한 바와 같이, 본 실시예에 따른 정보 처리 시스템(10)은 콘텐츠가 촬영되는 관측 지점으로부터 관측 시계 공간 상의 좌표 위치와 태그를 관련시킴으로써 태그를 관리한다. 이에 따라, 재생 장치(400)에서의 동일 관측 지점으로부터 동일한 관측 시계 공간과 관련된 태그만이 중첩된다. 이에 따라, 이러한 태그 정보를 사용하면, 재생 장치(400)는 비디오가 촬영된 촬영 위치 및 소정의 촬영 조건에 의해 비디오가 촬영된 방위각으로부터 보이는 비디오에서만 의미 있는 정보를 적절하게 표시할 수 있다. 이 효과를 보여주는 태그 정보 생성 장치(100)의 기능 구성을 이하 설명할 것이다.
<2. 구성>
도 4는 태그 정보 생성 장치(100)의 기능 구성을 도시한 블록도이다. 태그 정보 생성 장치(100)는 통신부(110) 및 제어부(120)를 주로 구비한 정보 처리 장치이다. 태그 정보 생성 장치(100)는 비디오 분석 결과로부터 태그 정보를 생성한다.
여기에서, 태그 정보 생성 장치(100)에 생성된 태그 정보는 촬영 위치 정보, 촬영 위치로부터의 관측 시계에 관한 관측 시계 정보, 촬영 위치 정보 및 관측 시계 정보에 기초하여 특정된 관측 시계 공간에서의 좌표 위치, 및 태그 정보의 콘텐츠를 나타내는 문자열 정보를 포함하는 촬영 정보를 포함하는 정보이다.
앞서 설명한 태그 정보를 생성하기 위해, 태그 정보 생성 장치(100)의 제어부(120)는 관측 지점 정보 획득부(121), 관측 시계 정보 획득부(122), 및 태그 정보 생성부(124)의 기능을 주로 갖는다.
관측 지점 정보 획득부(121)는 콘텐츠를 촬영한 이미징 장치의 위치(이하, 관측 지점 위치라고 지칭함)를 나타내는 관측 지점 정보를 획득한다. 예를 들어, 관측 지점 정보 획득부(121)는 비디오 콘텐츠 데이터에 대한 보충 촬영 조건들을 나타내는 정보인 촬영 정보로부터 관측 지점 정보를 획득한다. 앞서 설명한 바와 같이, 촬영 정보는 이미징 장치(200)의 기능에 의해 기록된 정보이다. 예를 들어, 관측 지점 정보 획득부(121)는, 단말 장치(300)로부터 업데이트된 비디오를 저장하는 비디오 분배 서버에 저장된 비디오 콘텐츠 데이터에 대한 보충 촬영 정보로부터 관측 지점 정보를 추출하고 획득한다. 또한, 관측 지점 정보 획득부(121)는 비디오를 업로드한 단말 장치(300)로부터 비디오 콘텐츠를 직접 획득함으로써 관측 지점 정보를 획득할 수 있다.
여기에서, 시점 정보는, 예를 들어, 세계 측지 시스템(world geodetic system (WGS)) 등에 의해 표시되는 GPS 등의 위치 획득 장치로부터 획득되는 위도, 경도, 및 고도의 정보이다. 관측 지점 정보는 위치 정보의 오류 정밀도(error precision)의 정보를 포함할 수 있다.
관측 시계 정보 획득부(122)는 콘텐츠가 관측 지점 위치로부터 촬영된 경우 관측 시계 공간을 나타내는 관측 시계 정보를 획득한다. 예를 들어, 관측 시계 정보 획득부(122)는 비디오 콘텐츠 데이터에 대한 보충 촬영 정보로부터 관측 시계 정보를 획득한다.
여기서, 예를 들어 관측 시계 정보는 관측 지점 위치 및 관측 시계 각으로부터의 방위각의 정보를 포함한다. 예를 들어, 이미징 장치를 구비한 전자 나침반에 의해 획득되는 방위각 정보는 관측 지점 위치로부터의 방위각에서 사용된다. 관측 시계 각의 정보는 이미징 장치의 설정에 대응하는 값이 된다. 방위각 및 관측 시계 각의 정보는 비디오 콘텐츠 데이터에 대한 보충 촬영 정보로부터 획득된다.
태그 정보 생성부(124)는 관측 시계 공간의 관측 지점 정보, 관측 시계 정보, 및 심도 정보에 의해 특정되는 관측 시계 공간 상의 좌표 위치와 관련된 태그 정보를 생성한다. 예를 들어, 태그 정보 생성부(124)는, 통신부(110)를 통해 단말 장치(300)로부터 획득되는 태그의 문자열 정보, 비디오에서의 태그 위치 정보, 관측 지점 정보, 관측 시계 정보, 및 태그가 관측 지점으로부터 할당되는 객체까지의 거리 정보를 포함하는 태그 정보를 생성한다.
여기에서, 관측 시계 공간의 심도 정보는 콘텐츠에서의 촬영 객체까지의 거리이다. 피사체 거리의 측면에서, 예를 들어 피사체 거리의 값이 콘텐츠에 대한 보충 촬영 정보로부터 획득될 수 있다면, 획득된 피사체 거리 값이 사용된다. 콘텐츠의 촬영 정보에 기초하여 계산된 과초점 거리(hyper-focal distance)가 사용될 수 있다.
앞서 설명한 태그 정보 생성 장치(100)의 각각의 부분의 상세 동작은 태그 정보 관리 방법에 따라 다르다. 여기에서, 관계형 데이터베이스에 의한 가장 널리 사용된 관리 방법 및 대규모 데이터 관리 또는 분배 처리에 적합한 키-값 타입 데이터 저장소에 의한 관리 방법을 포함하는 2개의 관리 방법을 이하 각각 설명할 것이다.
<3. 관계형 데이터베이스에 의한 태그 정보 관리 방법>
우선, 관계형 데이터베이스에 의한 태그 정보 관리 방법은 도 5 및 도 6을 사용하여 설명될 것이다. 도 5는 태그 정보가 관계형 데이터베이스에 의해 관리되는 경우, 태그의 공간 모델의 일례를 도시한 예시적인 도면이다. 도 6은 도 5의 공간 모델에 의해 정의되는 태그 정보가 관리되는 관계형 데이터베이스의 표 정의의 일례를 도시한 예시적인 도면이다.
앞서 설명한 바와 같이 본 실시예에서, 태그가 추가된 비디오를 촬영하는 이미징 장치의 위치인 관측 지점에 기초하여 비디오의 관측 시계의 3차원 공간에 태그가 레이블링된다. 관측 지점은 WGS에 의해 표시되는 위도, 경도, 및 고도의 정보이다. 이 경우, 관측 지점은 위도 N1, 경도 E1, 및 고도 A1이다. 관측 시계의 3차원 공간 상의 위치는 2차원 관측 시계 평면 상의 위치에 의해 표현되는데, 이는, 수평 관측각 및 관측 지점으로부터의 거리에 의해 관측 시계 평면을 정의하고, 촬영 방향 벡터를 축으로서 사용하여 촬영 비디오의 중심점들이 서로 매칭되도록 촬영 비디오들을 수직 배치함으로써, 획득된다.
관측 시계 평면의 좌표는 수평 X축 및 수직 Y축에 의해 정의되며, 중심점은 (0, 0)이라고 지정된다. 영상의 수평 방향의 해상도 W는 수평 해상도가 된다. 태그의 관측 시계 평면의 위치는 (X, Y)에 의해 표현된다.
비디오의 관측 지점 위치, 관측 시계 각, 방위각, 및 관측 지점으로부터 태그가 추가된 객체까지의 짧은 거리의 조건들 하에서 데이터베이스로부터 검색을 수행함으로써 태그를 다른 비디오와 공유하고 태그를 중첩하여 사용할 수 있다. 위치 정보 및 방위각 정보에 추가하여, 관측 시계 각 및 관측 지점으로부터의 거리에 의한 태그 정보에 대한 검색은 관측자가 초점을 맞추는 피사체에 대한 태그 정보가 있는지 여부를 판단할 때 중요하다.
다음으로, 앞서 설명된 공간 모델에 의해 정의되는 태그 정보가 관리되는 관계형 데이터베이스의 표 정의의 일례는 도 6을 참조하여 설명될 것이다. 도 6의 표의 각각의 행은 정보 태그의 1 기록을 표시한다. 표의 열은 관측 지점 정보, 관측 시계 정보, 및 정보 태그의 3가지로 분류된다.
관측 지점 정보는 위도, 경도, 고도, 및 오류의 열들을 갖는다. 위도는 부동 소수점의 -90도 내지 90도 범위의 값을 갖는데, 북위는 양의 값으로 표현되며, 남위는 음의 값으로 표현된다. 경도는 부동 소수점의 -180도 내지 180도 범위의 값을 갖는데, 동경은 양의 값으로 표현되며, 남경은 음의 값으로 표현된다. 고도는 정수로서 표현되는 미터 값이다. 여기에서, 오류는 위치 정보의 정밀도가 미터 값으로 표현된 값이다. 오류는 GPS에서의 정밀도 저하율(dilution of precision (DOP))의 값으로부터 계산된다. 오류가 불명확하면, -1 값이 입력된다.
관측 시계 정보는 방위각, 관측 시계 각, 높이, 및 폭의 열들을 갖는다. 방위각은 촬영 방향각을 나타낸다. 방위각의 값은 부동 소수점에 의해 0도와 360도 사이에 있는데, 북쪽은 0도(360도)로 지정되고, 동쪽은 90도로 표현되고, 남쪽은 180도로 표현되고, 서쪽은 270도로 표현된다. 관측 시계 각은 부동 소수점 10진수의 도의 수(number of degrees)로서 표현된다. 높이와 폭은 촬영 비디오의 수평 및 수직 해상도이며, 픽셀 값으로 표현된다. 예를 들어, 완전 고선명 비디오에서, 수직 및 수평 해상도는 각각 1920 및 1080이다. 비디오 해상도는 콘텐츠 데이터에 대한 보충 촬영 정보로부터 획득될 수 있다. 관측 시계 각이 2T라면, 다음의 관계식을 얻는다.
tan T=(촬영 소자 프레임 사이즈)/(초점 거리)
정보 태그는 거리, X 좌표값, Y 좌표값, 및 태그 명칭의 열들을 갖는다. 거리는 관측 시계 공간 상의 관측 지점으로부터의 거리이며, 미터 단위로 정수로서 표현된다. X 좌표값 및 Y 좌표값은 도 5를 참조하여 설명된 관측 시계 평면 상의 위치이며, 픽셀 값들로서 표현된다. 태그 명칭은 문자열로 표현된다. 태그 명칭은 태그에 의해 공유될 정보이다.
태그 거리가 모든 태그에 대해 측정되지 않을 수 있다. 이에 따라, 촬영된 비디오의 피사체 거리가 간단히 태그 거리로서 사용된다. 피사체 거리의 경우, 동영상에서의 도 2에 도시된 촬영 관련 보충 정보의 피사체 거리 태그의 값 및 정지 영상에서의 EXIF 파일에 기록된 영상 정보의 피사체 거리 태그의 값이 사용될 수 있다. 피사체 거리가 앞서 설명한 정보로부터 획득되지 않으면, 다음의 수학식을 사용하여 계산된 과초점 거리가 태그 거리로서 사용될 수 있다.
허용가능 착락원 지름(Permissible Confusion Circle Diameter)=대각 영상 소자 사이즈(Diagonal Image Element Size)/허용가능 착락원 상수(Permissible Confusion Circle Constant)(=1300)
과초점 거리=(초점 거리*초점 거리)/(허용가능 착락원 지름*F값)(단위: mm)
35mm 변환의 초점 거리 “FocalLengthIn35mm”가 EXIF 정보에 기록된다면, 35mm 필름에서 이미징 소자의 대각 사이즈가 43.266615mm라고 알려져 있다. 이에 따라, 과초점 거리는 "ApertureValue" 태그에 기록된 조리개(aperture) F 값을 사용하여 계산된다.
또한, 촬영 비디오를 분석함으로써 각각의 피사체의 초점 거리에 관한 측정 기술을 사용하여 측정된 거리가 태그 거리로서 사용될 수 있다. 예를 들어, 3D 카메라와 같이 시차 정보(parallax information)를 기록할 수 있는 장치가 사용되면, 정보를 사용한 분석에 의해 획득된 값이 태그 거리로서 사용될 수 있다.
앞서 설명한 바와 같이, 도 5의 공간 모델에 따라 도 6의 표 정의의 관계형 데이터베이스를 사용하여 영상에 추가된 태그를 관리할 수 있다. 그러나, 앞서 설명한 바와 같은 관계형 데이터베이스의 특징은 대규모 데이터 관리 및 분배 처리를 용이하게 수행하지 않을 수 있다는 점이다. 여기에서, 관리될 객체로서 기능하는 정보량이 큰 경우, 적절한 클라우드 컴퓨팅 기술을 적용함으로써 태그 정보를 관리하는 방법이 다음에 제안된다.
<4. 키-값 타입 데이터 저장소에 의한 태그 정보 관리 방법>
도 7은 본 실시예에 따라 콘텐츠 공유 서비스를 제공하는 데이터 센터 내의 구성도이다. 비디오 콘텐츠 공유 서비스를 제공하기 위해, 대량의 업로드된 비디오 콘텐츠 데이터의 영상 변환 처리를 수행하고, 기록들을 관리하고, 다수의 사용자로부터의 비디오 콘텐츠 데이터에 대한 액세스를 수행하는 것이 필요하다. 이에 따라, 대규모 분배 처리 타입의 클라우드 컴퓨팅 기술을 사용하는 대규모 태그 정보 관리 방법이 제안된다.
데이터 센터(1000)는 복수의 웹 서버(170), 복수의 비디오 분배 서버(180), 복수의 태그 정보 관리 서버(190), 및 복수의 태그 정보 생성 서버(100)를 구비한다.
웹 서버(170)는 단말 장치(300)의 브라우저 상에 표시될 VR 정보 및 HTML 문서를 제공한다. 비디오 분배 서버(180)는 비디오를 재생 장치에 분배한다. 태그 정보 관리 서버(190)는 키-값 타입 데이터 저장소에서 태그 정보 생성 서버(100)에 의해 생성되는 태그 정보를 관리한다. 태그 정보 생성 서버(100)는 키-값 타입 데이터 저장소에서 관리되는 데 적합한 태그 정보를 생성한다. 단말 장치로부터의 대량의 콘텐츠 데이터 및 액세스를 철저히 처리하기 위한 클라우드 컴퓨팅 기술을 사용하는 것이 유익하다. 본 실시예에서, 분배 클라우드 컴퓨팅에 적합하다고 알려진 키-값 타입 데이터 저장소를 사용하여 태그 정보를 관리하는 방법이 사용된다.
도 8에 도시된 바와 같이, 키-값 타입 데이터 저장소는 키와 값의 쌍을 일렬로 갖는 단순한 표에 의해 데이터를 관리한다. 관계형 데이터베이스와 비교할 때, 키-값 타입 데이터 저장소는, 복잡한 데이터 구조 정의 또는 관계 함수를 사용하는 검색을 지원하지 않고, 키 값들에 기초하여 복수의 서버에 의해 대량의 데이터가 분배되고 처리될 수 있다는 특징을 갖는다. 최근에, 이러한 키-값 타입 데이터 저장소는 대량의 클라이언트를 타겟으로 하는 인터넷 서비스에 사용되기 시작했다.
키-값 타입 데이터 저장소에서, 표는 키 값들에 의해 분류되고 관리된다. 이에 따라, 고속 및 저부하 처리를 수행하기 위해, 관련 데이터가 표의 일부에 로컬화되기 위해 키 값의 포맷을 고려하는 것은 상당히 효과적이다.
(공간 모델)
도 9는 태그 정보가 본 실시예에서 키-값 타입 데이터 저장소에 의해 관리되는 경우 사용될 태그의 공간 좌표들을 도시한 공간 모델이다. 이러한 공간 모델에서, 태그 위치 정보는 관측 지점 위치 정보(위도 LANT, 경도 LNGT, 및 고도 ATTT) 및 관측 지점 위치로부터의 방위각 정보(수평 방위각(TTH) 및 수직 방위각(TTV))에 의해 표현된다.
도 5에 도시된 공간 모델 상의 좌표로부터 도 9에 도시된 공간 좌표로의 변환은 다음의 수학식에 의해 수행된다. 방위각이 정북을 가로지르는 경우에 보정이 필수적이다.
태그의 수평 방위각: TTH=TFH+TFW*(XT/WF-1/2)
태그의 수직 방위각: TTV=TFV+(TFW*HF/WF)*(1/2-YF/HF)
여기에서, 심볼들은 다음의 의미를 갖는다.
태그의 영상 평면에서의 좌표: (XT, YT)
영상의 촬영 수평 관측각: TFW
영상의 수평 픽셀 수: WF
영상의 수직 픽셀 수: HF
픽셀 종횡비(Pixel Aspect Ratio): 1:1
영상의 촬영 수평 방위각: TFH
영상의 촬영 수직 방위각: TFV
수직 방향의 방위각 정보는 하단 위치를 기본 점으로서 지정함으로써 0도 내지 180도의 값을 갖는다. 여기에서, 설명의 편의를 위해, 수평은 0도로 표현되고, 상방향(upper direction)은 양각으로 표현되고, 하방향(ground direction)은 음각으로 표현된다. 방위각 정보가 콘텐츠 데이터에 대한 보충 촬영 정보에 포함되지 않고 불명확하다면, 수직 방위각은 관측각 및 피사체 거리로부터 간단히 할당될 수 있다.
(관측 해시(View Hash))
태그 정보가 키-값 타입 데이터 저장소에 의해 관리된다면, 관측 지점 정보 및 관측 시계 정보가 키의 일부에 사용되고, 앞서 설명한 정보에 의해 데이터를 검색하는 것이 필요하다. 이에 따라, 이 경우에 제안된 관측 해시를 사용하여, 위도, 경도, 위치 정밀도, 관측 시계 각, 관측 시계 방향, 및 태그 거리를 문자열로 효율적으로 인코딩할 수 있다.
관측 해시 구성이 도 10에 도시된다. 관측 해시 비트 시퀀스에서는, 위치 정보, 위치 정밀도, 관측 시계 정보, 및 피사체 거리를 태그까지의 거리로서 나타내는 비트 시퀀스들이 순차적으로 배치된다. 위치 정보의 비트 시퀀스는 경도(-90도 내지 90도) 및 위도(-180도 내지 180도)의 좌표들이 해상도 정밀도에 의해 표현되는 값으로부터 생성된다. 해상도 정밀도의 비트 값이 R에 의해 표시되고, 비트의 위도 및 경도가 n 및 e에 의해 표시된다면, 해상도 정밀도에 의해 표현된 경도 N 및 위도 E의 값은 다음의 수학식으로부터 획득된다.
N=180*(n+90)/2R-1
E=360*(e+180)/2R
N 및 E의 값은 부동 소수점 10진수이며, n 및 e는 소수점 이하를 버린 정수 값으로서 설정된다. 경도의 해상도 정밀도는 정사각형에 가까운 분해 맵에 파티션을 설정하기 위해 위도의 해상도 시스템의 1/2로 설정된다.
도 10에 도시된 바와 같이, 위치 정보의 비트 시퀀스는 수학식에서 획득된 경도의 비트 시퀀스(E-bn, E-bn -1, ... E-b1, E-b0) 및 경도의 비트 시퀀스(N-bn -1, ... N-b1, N-b0)가 교대로 배치된 포맷을 갖는다. 여기에서, 최상위 비트는 각각 E-bn 및 N-bn -1이다.
지형 기반 지리적 파티션은 앞서 설명한 포맷으로 위치 정보의 비트 시퀀스를 설정함으로써 특정될 수 있고, 파티션의 일부는 작은 비트 시퀀스에 의해 표시될 수 있고, 또한 파티션의 길이가 표현될 수 있다. 본 실시예에서, GPS 위치 정밀도는 1미터 내지 100미터라고 간주되고, R은 22 내지 25의 값을 사용한다. 이 경우, 위치 정보는 최소 43비트 및 최대 49비트이다.
도 11은 위치 정보의 비트 수가 45인 경우 분할된 지리적 파티션의 일례를 도시한 예시적인 도면이다. 지리적 파티션의 북-남 방향의 길이는 경도와 무관하게 고정되어, 약 4.75미터이다. 한편, 지리적 파티션의 동서 방향의 길이는 위도에 의존하며, 도쿄(Tokyo) 등의 경도 35도 주위에서 3.86미터가 된다. 한편, 지리적 파티션의 동서 방향의 길이는 스톡홀름(Stockholm) 등의 위도 60도 주위에서 약 2.35미터가 된다.
위치 정밀도는 위치 정보의 비트 시퀀스에 의해 특정된 지리적 파티션의 북-남 방향의 거리에 곱해지는 값을 표시하는 비트 시퀀스에 의해 표현되는데, D-b7는 최상위 비트이며, D-b0는 최하위 비트이다. 위치 정보의 비트 시퀀스에 의해 특정된 지리적 파티션의 북-남 방향의 거리에 곱해지는 값이 1이면, 비트 시퀀스의 값은 0이다. 위치 정보의 비트 시퀀스에 의해 특정된 지리적 파티션의 북-남 방향의 거리에 곱해지는 값이 1보다 크고 2이상이면, 비트 시퀀스의 값은 1이 된다. 위치 정보의 비트 시퀀스에 의해 특정된 지리적 파티션의 북-남 방향의 거리에 곱해지는 값이 2보다 크고 4이하이면, 비트 시퀀스의 값은 3이 된다. 위치 정보의 비트 시퀀스에 의해 특정된 지리적 파티션의 북-남 방향의 거리를 곱하는 값이 4보다 크면, 비트 시퀀스의 값은 4가 된다. 위치 오류의 비트 수가 0이 된다.
관측 시계 정보는 태그 방위각이 속하는 관측 시계를 표시하는 정보이다. 도 12 및 도 13에 도시된 바와 같이, 관측 시계 정보는 4 내지 6 비트의 시퀀스이며, 해상도 정밀도에 의해 정동(true east)의 시작점을 갖는 시계 방향 방위각에서 360도의 좌표들을 분할함으로써 획득된 값을 나타내는 비트 시퀀스에 의해 표현된다. 정동의 시작점을 갖는 시계 방향 방위각의 도의 개수는 d에 의해 표현되고, 해상도 정밀도의 비트 정밀도가 A에 의해 표현되면, 관측 시계 정보 D는 다음 수학식에 의해 계산된다. 방위각은 다음의 설명에서의 편의를 위해 정북을 시작점으로 지정함으로써 표현되지만, 정동을 시작점으로 지정함으로써 변환되는 모든 값이 실제 사용된다.
D=360*d/2A
본 실시예에서, 해상도 정밀도의 비트 수는 3가지 타입으로 4, 5, 및 6이며, 비트 수는 관측 시계 각에 응답하여 달라질 수 있다. 360도의 공간은 비트 수에 의해 22.5도, 11.25도, 8.125도로 분할된다. 본 실시예에서, 비트 수는 태그가 추가된 영상의 촬영 관측각에 응답하여 변경된다. 관측각이 46도 이상이면, 4비트 정밀도가 할당될 수 있다. 관측각이 18도 이상 46도 미만이면, 5비트 정밀도가 할당될 수 있다. 관측각이 18도 미만이면, 6비트 정밀도가 할당될 수 있다. 비트 수는 360도의 공간이 22.5도, 11.25도, 및 8.125로 분할되는 상태로 어느 방위각에 속하는지를 나타낸다. 도 12는 4비트의 경우에 각각의 방위각의 비트 수를 도시한다. 예를 들어, 북-북서가 정보 태그의 수평 방위각으로 315도이면, 관측 시계 정보는 1101의 비트 값이 된다. 방위각 정보가 불명확하면, 비트 수가 0이 된다.
앞서 설명한 바와 같이, 관측 시계 정보의 비트 수를 관측 시계 각에 응답하여 상이하게 하고 키-값 타입 데이터의 키의 일부로서 비트에 의해 표현된 관측 시계 정보를 사용함으로써, 키에 포함된 관측 시계의 비트 수로부터 관측 시계 각의 정보를 인식할 수 있다. 관측 시계 각의 정보가 인식될 수 있기 때문에, 각각의 비디오 콘텐츠 내의 촬영 범위를 더욱 정확히 알 수 있다.
피사체 거리는 8비트의 미터 값에 의해 표현되고, 앞서 설명한 바와 같이 콘텐츠 데이터에 대한 보충 촬영 정보에 기초하여 피사체까지의 거리를 계산함으로써 획득된 값으로서 사용된다. 엄밀히 말하면, 촬영 영상의 과초점 거리가 태그 정보의 거리와 동일하지 않지만, 오류가 초기 거리 정보에 포함되도록 처리된다. 255미터 이상의 거리는 255라고 지정되며, 거리 정보가 불명확하면 비트 수는 0이 된다.
도 14는 위치 정보의 비트 수의 할당 방식을 도시한 예시적인 도면이다. 키-값 타입 데이터 저장소의 키에 의해 검색을 효율적으로 수행하기 위해, 태그 정보 검색 방식에 적합한 키 값을 결정하는 것이 효과적이다. 본 실시예에서, 태그 키 값을 구성하는 관측 해시의 위치 비트 수가 거리 정보 및 태그의 관측 시계 비트 수에 의해 변경된다. 예를 들어, 관측 시계 정보의 비트 수가 3이면, 태그가 추가된 비디오가 와이드 각으로 얻어진다. 피사체 거리가 멀다면(100m 이상), 위치 정보의 정밀도가 좋지 않은 경우에도 태그 정보가 사용될 수 있기 때문에 43 비트 위치 정보가 사용된다. 한편, 관측 시계 정보의 비트 수가 5이면, 즉 태그 정보가 슈퍼 망원경에 의해 촬영된 비디오에 추가되면, 위치 정보의 정밀도 또한 필요하기 때문에 모든 거리에서 사용된 위치 정보의 비트 수는 49이다. 앞서 설명된 바와 같이 위치 정보의 비트 수를 변경함으로써 유리한 태그 정보를 효율적으로 검색할 수 있다. 앞서 설명한 바와 같이 태그의 위치 오류가 위치 정보의 비트 수에 의존하기 때문에, 관측 해시의 위치 정보의 비트 수가 비교/대조의 관측 지점의 위치 정밀도에 의한 태그 정보의 검색에 사용된다고 결정할 수 있다. 태그 검색은 이하 더 상세히 설명할 것이다.
관측 해시를 구성하는 각각의 비트 시퀀스는 앞서 설명한 바와 같이 획득될 수 있다. 그러나, 비트 시퀀스를 키 값 타입 데이터 저장소의 키-값으로서 사용하거나, 비트 시퀀스를 URL 등으로서 사용하기 때문에, 문자열에 의한 표현을 처리하는 것이 용이하다. 이에 따라, 비트 시퀀스는 문자열로 인코딩된다. 예를 들어, 비트 시퀀스를 문자열로 인코딩하기 위해 BASE64를 사용하는 방법이 있다. 그러나, 본 실시예에서는, 데이터가 각각의 비트 시퀀스에 의존하는 키 값에 의해 분류될 수 있도록 가변 비트 시퀀스/문자 코드 변환 방식이 제안된다.
여기에서, 제안된 가변 비트 시퀀스/문자 코드 변환 방식은 가변 길이 비트 시퀀스를 연결함으로써 키가 생성되는 경우 각각의 비트 시퀀스의 세그먼트가 식별될 수 있다는 특징을 갖는다. 이에 따라, 이러한 방식을 사용하여 코드 문자로 변환된 비트 시퀀스가 직접 연결되는 경우에도, 각 정보의 세그먼트가 식별될 수 있다. 이에 따라, 비트 시퀀스가 키-값 타입 데이터 저장소의 키로서 사용되는 경우 정보 값에 기초하여 검색을 수행할 수 있다.
도 15는 가변 비트 시퀀스 인코딩/변환표의 일례를 도시한다. 이 변환 방식에서, 정보는 복수의 가변 길이 비트 시퀀스(0 또는 더 많은 비트)를 포함한다. 변환 방식은 비트 시퀀스의 경계를 식별하는 데 효과적이다. 이러한 변환 방식을 설명할 것이다. 각각의 가변 길이 비트 시퀀스에서, 프래그먼트들이 최상위 비트로부터 순차적으로 4비트 단위로 추출되고, 4비트 값에 대응하는 문자 코드(U 내지 z)에 의해 대체된다. 추출된 프래그먼트의 비트 수가 4미만이라면, 3개의 비트, 2개의 비트, 및 1개의 비트는 각각 문자 코드 (E 내지 T), (6 내지 D), (2 내지 5), 및 (0, 1)에 의해 각각 대체된다. 최종 추출된 프래그먼트의 4개의 비트 또는 대응 비트 시퀀스의 비트 개수가 0인 경우, 문자 코드 “-”(대시(dash))가 추가된다. 당연히, 여기에 도시된 변환표는 예시이다. 비트 시퀀스 및 코드 문자가 1대1 대응으로 정의되는 한, 다양한 타입의 변형된 예시들이 가능하다.
도 16은 변환 예시를 도시한다. 변환 전의 정보가 각각 "0111010010010" 및 "10010"인 2개의 비트 시퀀스를 포함하면, 변환 후의 문자열이 "im8W-"이다. 문자열에 변환된 것이 변환 방식에 의해 도 10에 도시된 관측 해시 값으로서 사용된다.
관측 해시에 의해, 임의의 정밀도로 분할된 관측 시계의 3차원 공간은 임의의 정밀도에 의해 분할된 지구 좌표계에 파티션의 중심을 관측 지점으로서 지정함으로써 고유하게 특정될 수 있다. 관측 해시를 사용하여 키-값 타입 데이터 저장소에서 태그 정보를 관리하는 방법을 설명할 것이다.
다음으로, 본 실시예에 따른 키-값 타입 데이터 저장소의 표를 설명할 것이다. 본 실시예에 사용되는 키-값 타입 데이터 저장소의 표는 도 8에 도시된 바와 같이 "키(Key)”값 및 “값(Value)" 값의 쌍을 형성한다. 도 17은 키-값 타입 데이터로서 태그 정보를 관리하는 데 사용되는 자바(등록 상표) 등급 정의를 도시한다. 태그 등급은 태그 정보를 나타내며, 내부 등급들인 키 등급 및 값 등급을 포함한다. 키 등급 및 값 등급의 쌍은 키-값으로서 데이터 저장소에서 관리된다.
키 등급의 실제 데이터는 가변 키이고, 이 키는 태그 정보로부터 생성된 문자열 타임스탬프, 문자열 타입, 및 관측 해시를 연결함으로써 획득되는 문자열이다. 타입은 동일한 뷰 해시 값의 태그 정보를 적절히 분류하는 데 사용된다. 본 실시예에서, 태그가 표시되는 우선순위는 타입 값으로 지정되는데, 0비트 우선순위 값은 도 15의 변환표에 의해 생성된 문자열이다. 주목적은 동일한 관측 해시 값의 태그 정보에 고유 키를 할당하는 것이다. 태그에 의해 생성된 일시는 자바(등록 상표)의 일자 등급과 동일한 8바이트 값에 의해 획득되며, 도 15의 변환표를 사용한 문자열에 의해 생성된다.
값 등급의 실제 데이터는 다음의 변수이다.
name: 태그 명칭의 문자 스트링
type: 태그 디스플레이의 우선순위(키 생성에 사용되는 것과 동일한 값)
timeStamp: 태그 생성 일시(키 생성에 사용된 것과 동일한 값)
tagPosition: 태그의 관측 지점 위치(예를 들어, 도 10의 LANT, LNGT, ATTT 등)
tagDirection: 관측 지점으로부터의 태그의 방위각(예를 들어, 도 10의 TTH 또는 TTV)
tagSource: 태그 정보가 생성되는 기반으로서 기능하는 영상 정보 및 태그의 스크린 정보
태그 소스 등급의 실제 데이터는 다음의 변수이다.
ImageSource: 영상 정보
tagX: 영상 평면의 태그의 X 좌표 값(예를 들어, 도 10의 XT)
tagY: 영상 평면의 태그의 Y 좌표 값(예를 들어, 도 10의 YT)
영상 소스 등급의 실제 데이터는 다음의 변수이다.
url: 영상 파일(정지 영상 또는 동영상)의 URL(unique resource locator)
imagePosition: 영상이 촬영된 관측 지점의 좌표(예를 들어, 도 9의 LANT, LNGT, ATTT 등)
imageDirection: 관측 지점부터 영상의 중심점까지의 방위각(예를 들어, 도 9의 TFH 또는 TFV)
scene: 영상 파일(정지 영상 또는 동영상)의 영상 정보
장면 등급의 실제 데이터는 다음의 변수이다.
frame: 프레임 값은 정지 영상의 경우 0이고, 영상 프레임은 동영상의 경우 시작점부터의 시간(msec)에 의해 표현된다.
angleHorizontal: 영상의 촬영 수평 관측각(예를 들어, 도 9의 TFW)
width: 영상의 수평 픽셀 수(예를 들어, 도 9의 WF)
height: 영상의 수직 픽셀 수(예를 들어, 도 9의 HF)
관측 위치의 실제 데이터는 다음의 변수이다.
latitude: 관측 지점의 위도
longitude: 관측 지점의 경도
altitude: 관측 지점의 고도(밀리미터 단위)
range: 관측 지점의 오류(밀리미터 단위)
관측 방향의 실제 데이터는 다음의 변수이다.
directionHorizontal: 관측 지점으로부터 객체 지점(object point)까지의 수평 방위각
directionVertical: 관측 지점으로부터 객체 지점까지의 수직 방위각
distance: 관측 지점으로부터 객체 지점까지의 거리(밀리미터 단위)
다음으로, 도 18 및 도 19는 태그 정보 검색의 일례를 도시한 예시적인 도면들이다. 도 18은 관측 지점 위치(도쿄와 동일한 북위 35도)로부터 50도의 관측각으로 정북이 촬영된 경우를 도시하지만, 관측 시계 방위각 및 관측각을 위해 도 13에 도시된 관측 시계 정보 비트들에 의해 특정된 관측 시계마다 태그가 발견된다. 이 예시에서, 25도로 분할된 4개의 관측 시계 분할 부분에 관한 관측 시계를 검색할 필요가 있다. 관측 시계 위치의 측정 오류가 위치 정보 비트들에 의해 특정된 파티션의 북-남 방향의 길이 이하인 경우에도, 관측 지점 위치가 파티션의 모서리에 존재하면 오류로 인해 실제로 주변 파티션에 위치할 수도 있다. 이에 따라, 특정 파티션 주변의 파티션을 검색할 필요가 있다. 오류가 3m인 경우, 모두 9개의 파티션들을 검색할 필요가 있다. 이 경우, 32(=4*8)번의 조작이 검색 중에 수행된다.
도 19는 관측 지점 위치가 스톡홀름 주변의 북위 60도인 예시를 도시한다. 이 경우, 파티션의 동-서 방향이 위 경우보다 짧기 때문에, 동일한 위치 오류 정밀도로도 더욱 넓은 범위의 파티션을 검색할 필요가 있다.
다음으로, 앞서 설명한 검색 처리를 수행하는 재생 장치의 기능 구성을 설명할 것이다. 도 20은 재생 장치(400)의 구성을 도시한 블록도이다. 재생 장치(400)는 주로 통신부(410), 제어부(420), 및 표시부(430)를 구비한다. 제어부(420)에는 분석부(421)의 기능, 검색부(422)의 기능, 중첩부(423)의 기능, 및 표시 제어부(424)의 기능이 있다.
통신부(410)는 인터넷과 같은 네트워크(500)를 통해 다른 장치와 통신하는 네트워크 인터페이스이다. 제어부(420)는 재생 장치(400)의 전체 동작을 제어한다. 예를 들어, 표시부(430)는 음극선관(CRT) 표시 장치, 액정 표시(LCD) 장치, 유기 발광 다이오드(OLED) 장치, 또는 램프와 같은 표시 장치를 포함한다.
분석부(421)에는 재생 장치(400)에 의해 재생될 콘텐츠를 분석하는 기능이 있다. 예를 들어, 분석부(421)에는 검색부(422)가 콘텐츠 데이터에 대한 보충 촬영 정보를 분석함으로써 태그 정보를 검색하는 데 필요한 정보를 획득하는 기능이 있다. 필요하다면, 분석부(421)에는 콘텐츠 비디오 자체를 분석하는 기능이 있을 수도 있다.
검색부(422)에는 데이터 센터(1000) 내의 데이터로부터 재생될 콘텐츠 데이터에 중첩될 태그 정보를 검색하는 기능이 있다. 여기에서, 검색부(422)는 키-값 타입 데이터 저장소에 저장된 태그 정보를 검색하는 데 적합한 검색 조건들을 생성하고, 데이터 센터(1000) 내의 태그 정보 관리 서버(190)에 검색 조건들을 송신하고, 검색 결과를 획득한다. 다음으로, 도 21을 사용하여 태그 정보 검색 처리를 상세히 설명할 것이다.
중첩부(423)는 검색부(422)에 의해 획득된 태그 정보로부터 재생될 비디오 콘텐츠에 태그를 중첩하는 처리를 수행한다. 이하, 중첩 처리를 상세히 설명할 것이다. 표시 제어부(424)에는 콘텐츠 데이터를 재생하는 기능이 있어서, 태그가 중첩부(423)에 의해 중첩되는 콘텐츠 데이터를 재생한다.
도 21은 태그 검색 동작을 도시한 흐름도이다. 키-값 타입 데이터 저장소에서, 키 값들은 키 값의 시작과 끝을 지정함으로써 범위 내에 배치될 수 있다. 이에 따라, ViewHashBegin 및 ViewHashEnd에 의한 키-값 타입 데이터 저장소의 검색 및 관측 시계 및 파티션의 검색은 촬영 영상의 피사체 거리의 범위, 방위각, 및 촬영 영상의 위치 정보로부터 반복된다. 이러한 관점에서, 앞서 설명한 바와 같이 키-값 타입 데이터 저장소에서 분산 처리를 수행하는 것은 용이하다. 이에 따라, 검색 요청이 수평적으로 수행되면, 검색 요청을 분배하고 처리할 수 있다.
재생 장치(400)가 객체로서 기능하는 영상의 촬영 정보를 획득하면 태그 정보 검색 처리가 먼저 시작된다(S103). 검색부(422)는 획득된 촬영 정보의 관측각의 정보로부터 관측 시계 비트 수를 결정한다(S106). 다음으로, 검색부(422)는 결정된 관측 시계 비트 수 및 촬영 정보로부터 획득된 거리의 정보로부터 검색될 그리드의 위치 비트 수를 결정한다(S109).
다음으로, 검색부(422)는 측정 오류 값이 그리드의 북-남 폭 이하인지 여부를 판단한다(S112). 단계(S112)에서의 판단에 의해 측정 오류가 그리드의 북-남 폭보다 크다고 판단하면, 검색 객체의 그리드를 특정할 수 없기 때문에 처리는 B로 이동함으로써 종결된다.
한편, 단계(S112)의 판단에 의해 측정 오류가 그리드의 북-남 폭 이하라고 판단되면, 검색부(422)는 검색될 그리드의 위치 정보를 계산하고, 위치 정보의 배치를 설정한다(S115). 검색부(422)는 관측각으로부터의 대응 관측 시계 및 관측 시계 비트를 계산하고 배치한다(S118).
검색부(422)는 Tags[]의 배치를 초기화하여 결과를 저장하고(S121), 거리 정밀도 값을 0으로 설정한다(S124). 다음으로, 검색부(422)는 도 21b로 이동함으로써 제1 관측 위치를 선택하고(S127), 검색 거리 범위를 결정한다(S130).
검색부(422)는 ViewHashBegin을 계산하고(S133), 및 ViewHashEnd를 계산한다(S136). 검색부(422)는 단계(S133) 및 단계(S136)에서 계산된 ViewHashBegin과 ViewHashEnd 사이의 범위의 태그를 검색한다.
구체적으로, 검색부(422)는 검색 조건들을 생성하고, 검색 조건들을 태그 정보 관리 서버(190)에 송신한다. 검색부(422)는 송신 검색 조건들을 만족시키는 검색 결과를 획득한다. 검색부(422)는 획득 검색 결과를 추가하여 Tags[]에 저장한다(S139).
모든 관측 방향이 검색되는지 여부가 판단되고(S142), 모든 관측 위치가 검색되는지 여부가 판단되며(S148), 검색이 완료될 때까지 단계(S130)로부터의 처리가 반복된다.
다음으로, 재생 장치(400)의 중첩부(423)에 의해 수행되는 중첩 처리를 도 22를 참조하여 설명할 것이다. 도 22는 검색에 의해 획득된 태그 정보를 다른 비디오에 중첩하는 방법을 도시한 예시적인 도면이다.
3개의 측면의 거리가 알려져 있으면, 포함된 각은 이들에 대한 코사인으로부터 획득될 수 있으며, 촬영 관측 지점으로부터 관측된 관측 시계에 투영된 태그의 방위각은 태그의 방위각 및 관측 지점 좌표로부터 다음의 수학식에 의해 획득될 수 있다.
투영된 태그의 수평 방위각:
Figure pct00001
, TSH>=TTH
Figure pct00002
, TSH<TTH
투영된 태그의 수직 방위각:
Figure pct00003
, TSV>=TTV
Figure pct00004
, TSV<TTV
여기에서, 정보가 다음 심볼들에 의해 표시된다.
태그의 위치 정보: LANT, LNGT, ATTT
촬영 지점의 위치 정보: LANS, LNGS, ATTS
관측 지점 사이의 수평 방향 거리: DDH
관측 지점 사이의 수직 방향 거리: DDV
태그의 수평 방위각: TTH
태그의 수직 방위각: TTV
태그 거리: DT
피사체 거리: DS
DDH가 2개의 관측 지점의 수평 거리이고, 수직 거리(DDV)는 관측 지점 사이의 표고 편차(elevation difference)없이 0이라면, DDHh는 2개의 지점들의 위도 및 경도로부터 Hubeny에 의해 획득된 거리이다. DSh는 촬영 영상의 피사체 거리이다. 여기에서, 과초점 거리가 사용되고, DTh는 태그 정보 거리이다. 수직 거리(DDV)가 0이기 때문에, 투영 수직 방위각은 태그의 수직 방위각과 동일해진다.
검색 태그가 촬영 비디오에 투영되면, 앞서 설명된 좌표 변환은 검색된 모든 태그들에 대해 수행되며, 촬영 관측각에 맞는 태그의 방위각만이 선택되고 투영된다. 태그 정보에 기초하여, 예를 들어 앞서 설명된 타입에 지정된 높은 우선순위를 갖는 것만이 표시되거나 필터링되어 표시된다.
투영된 태그의 수평 방위각 및 수직 방위각이 획득되면, 촬영 비디오의 영상 평면에서의 좌표가 다음의 수학식에서 획득될 수 있다.
투영 태그 위치 Xs=((TUH-TSH)/TSW+1/2)*WS
투영 태그 위치 Ys=(1/2-(TUV-TSV)/(TSW*HS/WS))*HS
촬영 비디오의 수평 관측각: TSW
촬영 비디오의 수평 픽셀 수: WS
촬영 비디오의 수직 픽셀 수: HS
픽셀 종횡비(Pixel Aspect Ratio): 1:1
촬영 방향의 수평 방위각: TSH
촬영 방향의 수직 방위각: TSV
<5. 효과의 예시>
키-값 타입 데이터 저장소에서 영상에 추가된 태그 정보를 관리하고, 다른 영상의 촬영 정보를 투영할 수 있는 태그 정보를 검색하고, 태그 정보를 중첩하여 표시하는 방법을 앞서 설명하였다.
이러한 구성에 따르면, 일정한 관측 지점 위치로부터 관측된 관측 시계 공간에서의 좌표와 관련된 태그 정보를 생성하고, 공유하고, 사용한다. 이로써, 소정의 촬영 조건에 의해, 비디오가 촬영된 위치 및 비디오가 촬영된 방위각으로부터 관측된 비디오에만 의미 있는 정보를 공유할 수 있다.
태그 정보, 관측 지점 위치 정보, 피사체 거리, 및 위치 정보의 오류 정밀도를 간략하게 표현할 수 있는 관측 해시가 새롭게 제안된다. 태그 정보가 관측 해시를 사용한 키-값 타입 데이터 저장소에 의해 관리되면, 태그 정보량이 많은 경우에도 빠른 속도 및 작은 처리 부하로 검색을 수행할 수 있다.
<6. 적용 예>
다음으로, 본 발명의 일 실시예에 따른 태그 정보 관리 방법을 적용함으로써 구현될 수 있는 서비스의 일례를 설명할 것이다.
예를 들어, 도 23은 실시간으로 비디오 카메라를 사용하는 풍경 샷의 비디오에 태그를 중첩하여 표시한 일례이다. 중첩될 비디오는 도 1에서 먼저 촬영되고 저장된 비디오 콘텐츠이지만, 본 발명은 이러한 예로 제한되지 않는다. 도 23에 도시된 바와 같이, 태그는 촬영 동안 비디오에 실시간으로 표시될 수 있다.
태그 정보는 앞서 설명한 실시예에서 인터넷 등의 네트워크를 통해 획득되지만, 본 발명은 이러한 예시로 제한되지 않는다. 예를 들어, 방문 목적지의 영역의 태그 정보가 이미징 장치 내의 저장부에 미리 저장되어 있으면, 네트워크에 대한 연결을 구축하지 않고 태그를 표시할 수 있다.
도 24는 지도 정보를 따라 미리 촬영된 비디오에 태그가 표시된 비디오(4025)를 표시하는 일례이다. 태그 정보는 태그 정보가 실시간 비디오에 중첩되는 경우 반드시 의미 있는 것은 아니다. 관측 풍경에 대한 객체가 무엇인지 알려져 있으면, 태그 정보는 이전 비디오에 중첩되어 표시될 수 있다. 이 구성에 따르면, 예를 들어 이미징 장치의 렌즈를 피사체로 향하게 하는 동작이 수행되지 않는 경우에도, 메일용 텍스팅 조작이 모바일 전화에서 수행되는 경우와 동일한 방식으로 자연스럽게 원하는 정보를 획득할 수 있다. 태그가 실시간 비디오에 중첩되는 경우 이미징 장치의 렌즈가 반드시 객체를 향하지만, 이러한 구성은 시간과 공간으로 인해, 앞서 설명한 동작을 수행하는 것이 어려운 경우 효과적이다.
도 24의 장치는 사진을 촬영하는데 적합한 곳의 정보를 사용자에게 통지할 수 있다. 예를 들어, 콘텐츠 데이터를 갖는 비디오 분배 서버(180)는 저장된 콘텐츠 데이터의 촬영 위치를 표시하는 관측 지점 정보를 분석함으로써 앞서 설명된 서비스를 구현할 수 있다. 예를 들어, 대량의 관측 지점 정보가 수집되는 곳이 사진을 촬영하는 데 적합할 가능성이 높다. 이에 따라, 이러한 정보는 촬영 위치를 추천하는 기능을 제공하는 데 사용될 수 있다.
본 발명의 바람직한 실시예들은 첨부 도면들을 참조하여 이하 더 상세히 설명될 것이다. 첨부된 청구항 또는 이들의 균등물의 범위 내에 있는 한, 다양한 변형예, 조합, 서브 조합, 및 변경이 설계 요구사항 및 그 밖의 요인들에 따라 발생할 수 있다는 점이 당업자에 의해 이해되어야 한다.
예를 들어, GPS 기능 및 방위각 기능은 디지털 스틸 카메라 및 디지털 비디오 카메라에 제공되고, 키-값 타입 데이터 저장소의 데이터가 본 실시예에서 PC를 사용하여 사용자에 의해 영상에 추가된 태그 및 기능들에 의해 파일 내에 기록된 촬영 정보로부터 생성되지만, 객체의 좌표 위치 및 이에 관한 정보, 예를 들어, 산의 명칭 등이 알려져 있는 경우 컴퓨터의 처리에 의해 일정한 관측 지점으로부터 태그 정보를 자동으로 생성할 수 있다.
태그 정보의 좌표에서 큰 오류를 갖는 태그 정보는 종래 기술에서 GPS의 관측 오류로 인해 사용되지 않을 수 있지만, 본 실시예에 따르면, 태그 정보의 인접 파티션에 존재하는 다른 태그를 용이하게 검색할 수 있고, 또한 태그 정보로부터의 태그 생성에 기초하여 영상 정보를 획득할 수 있다. 이에 따라, 태그의 위치 정보는, 태그 정보에 기초하여 영상을 분석하고, 객체를 근사화하고, 인접 파티션으로부터의 정확한 위치 정밀도를 갖는 영상을 검색함으로써 용이하게 보정될 수 있다.
본 실시예에서, 태그 정보의 좌표에서 큰 오류를 갖는 태그 정보는 GPS의 측정 오류로 인해 사용되지 않을 수 있다. 그러나, 본 실시예에 따르면, 태그 정보의 인접 파티션에 존재하는 다른 태그를 용이하게 검색할 수 있고, 또한 태그 정보로부터의 태그 생성에 기반한 영상 정보를 획득할 수 있기 때문에, 태그의 위치 정보는, 영상을 분석하고, 객체를 근사화하고, 인접한 파티션으로부터의 정확한 위치 정밀도를 갖는 영상을 검색함으로써 용이하게 보정될 수 있다.
태그 정보 검색을 수행하기 위해 촬영된 영상의 좌표 정보가 큰 GPS 측정 오류를 갖는다면 태그 정보가 사용되지 않을 수 있지만, 인접 파티션의 태그 정보는 촬영 영상의 좌표 정보로부터 검색될 수 있다. 이에 따라, 촬영 좌표 주변의 태그 정보에 기반한 영상의 특징 양과 촬영 영상의 정보를 비교함으로써 특징 양이 근사화된 영상의 좌표에 기초하여, 촬영 영상의 좌표 정보가 용이하게 보정될 수 있다. 이러한 방식은 실시간으로 촬영을 수행하는 비디오 카메라의 위치 정보의 보정에 적용될 수 있다.
콘텐츠에 대한 보충 촬영 정보로부터 관측 시계 공간의 심도 정보가 획득되거나 과초점 거리가 사용되는 일례가 앞서 설명한 실시예에서 설명되었지만, 본 발명은 이러한 예시로 제한되지 않는다. 예를 들어, 태그 거리와 같이 모든 분석 기술을 사용하여 획득될 수 있는 피사체까지의 거리를 표현할 수 있는 값이 사용될 수 있다.
본 명세서에서, 흐름도에 도시된 단계들은 설명된 시퀀스에 따라 연대순으로 실행된 처리뿐 아니라, 반드시 연대순으로 처리되는 것이 아닌, 수평적이고 개별적으로 실행되는 처리를 포함한다. 또한, 연대순으로 처리되는 단계들은 상황에 따라 적절하게 상이한 시퀀스로 수행될 수 있다.
100: 태그 정보 생성 서버 그룹
110: 통신부
120: 제어부
121: 관측 지점 정보 획득부
122: 관측 시계 정보 획득부
124: 태그 정보 생성부
200: 이미징 장치
300: 단말 장치
400: 재생 장치
410: 통신부
420: 제어부
421: 분석부
422: 검색부
423: 중첩부
424: 표시 제어부
430: 표시부
500: 네트워크

Claims (21)

  1. 정보 처리 장치로서,
    영상 데이터(image data)를 촬영(capture)하는 이미징 장치의 위치에 대응하는 제1 정보 및 상기 영상 데이터를 촬영하는 상기 이미징 장치의 관측 시계(field of view)에 대응하는 제2 정보를 획득하도록 구성된 획득부; 및
    상기 제1 정보 및 상기 제2 정보에 기초하여 태그 정보를 생성하도록 구성된 프로세서를 포함하는, 정보 처리 장치.
  2. 제1항에 있어서,
    상기 태그 정보는 상기 이미징 장치의 위도 및 경도에 대응하는 정보를 포함하는, 정보 처리 장치.
  3. 제1항에 있어서,
    상기 태그 정보는 상기 이미징 장치의 고도에 대응하는 정보를 포함하는, 정보 처리 장치.
  4. 제1항에 있어서,
    상기 태그 정보는 상기 태그 정보에 포함된 상기 이미징 장치에 대응하는 위치 정보의 정밀도를 나타내는 에러 정보를 포함하는, 정보 처리 장치.
  5. 제1항에 있어서,
    상기 태그 정보는 상기 이미징 장치의 방위각에 대응하는 정보를 포함하는, 정보 처리 장치.
  6. 제1항에 있어서,
    상기 태그 정보는 상기 이미징 장치의 관측 시계 각(field of view angle)에 대응하는 정보를 포함하는, 정보 처리 장치.
  7. 제1항에 있어서,
    상기 태그 정보는 촬영된 상기 영상 데이터의 높이 및 폭에 대응하는 정보를 포함하는, 정보 처리 장치.
  8. 제1항에 있어서,
    상기 태그 정보는 상기 이미징 장치와 촬영된 영상의 피사체 사이의 거리에 대응하는 정보를 포함하는, 정보 처리 장치.
  9. 제1항에 있어서,
    상기 태그 정보는 표시된 영상 데이터 상에 태그가 표시될 위치를 식별하는 정보를 포함하는, 정보 처리 장치.
  10. 제1항에 있어서,
    상기 태그 정보는 표시된 영상 데이터 상에 표시될 문자열을 포함하는, 정보 처리 장치.
  11. 정보 처리 방법으로서,
    영상 데이터를 촬영하는 이미징 장치의 위치에 대응하는 제1 정보를 획득하는 단계;
    상기 영상 데이터를 촬영하는 상기 이미징 장치의 관측 시계에 대응하는 제2 정보를 획득하는 단계; 및
    프로세서에 의해, 상기 제1 정보 및 상기 제2 정보에 기초하여 태그 정보를 생성하는 단계를 포함하는, 정보 처리 방법.
  12. 컴퓨터 프로그램 명령어들을 포함하는 비일시적(non-transitory) 컴퓨터 판독가능 매체로서,
    상기 컴퓨터 프로그램 명령어들은, 정보 처리 장치에 의해 실행되는 경우, 상기 정보 처리 장치로 하여금,
    영상 데이터를 촬영하는 이미징 장치의 위치에 대응하는 제1 정보를 획득하는 단계;
    상기 영상 데이터를 촬영하는 상기 이미징 장치의 관측 시계에 대응하는 제2 정보를 획득하는 단계; 및
    상기 제1 정보 및 상기 제2 정보에 기초하여 태그 정보를 생성하는 단계를 포함하는 방법을 수행하게 하는, 비일시적 컴퓨터 판독가능 매체.
  13. 정보 처리 장치로서,
    재생된 영상 데이터에 대응하는 촬영 정보를 획득하도록 구성된 획득부; 및
    저장된 태그 정보와 상기 촬영 정보의 비교에 기초하여 태그 정보를 획득하고, 상기 비교의 결과에 기초하여 상기 재생된 영상 데이터 상에 태그 정보를 중첩하도록 구성된 프로세서를 포함하는, 정보 처리 장치.
  14. 제13항에 있어서,
    상기 촬영 정보는 상기 재생된 영상 데이터를 촬영한 이미징 장치의 위치에 대응하는 위치 정보를 포함하는, 정보 처리 장치.
  15. 제14항에 있어서,
    상기 프로세서는 상기 위치 정보와 상기 저장된 태그 정보에 포함된 위치 정보의 비교에 기초하여 상기 태그 정보를 획득하도록 구성된, 정보 처리 장치.
  16. 제13항에 있어서,
    상기 촬영 정보는 상기 재생된 영상 데이터를 촬영한 이미징 장치의 관측 시계에 대응하는 관측 시계 정보를 포함하는, 정보 처리 장치.
  17. 제16항에 있어서,
    상기 프로세서는 상기 관측 시계 정보와 상기 저장된 태그 정보에 포함된 관측 시계 정보의 비교에 기초하여 상기 태그 정보를 획득하도록 구성된, 정보 처리 장치.
  18. 제13항에 있어서,
    상기 촬영 정보는 상기 재생된 영상 데이터를 촬영한 이미징 장치와 상기 재생된 영상 데이터의 피사체 사이의 거리에 대응하는 범위 정보를 포함하는, 정보 처리 장치.
  19. 제18항에 있어서,
    상기 프로세서는 상기 범위 정보와 상기 저장된 태그 정보에 포함된 범위 정보의 비교에 기초하여 상기 태그 정보를 획득하도록 구성된, 정보 처리 장치.
  20. 정보 처리 방법으로서,
    재생된 영상 데이터에 대응하는 촬영 정보를 획득하는 단계;
    메모리에 저장된 태그 정보와 상기 촬영 정보의 비교에 기초하여 태그 정보를 획득하는 단계; 및
    상기 비교의 결과에 기초하여 상기 재생된 영상 데이터 상에 태그 정보를 중첩하는 단계를 포함하는, 정보 처리 방법.
  21. 컴퓨터 프로그램 명령어들을 포함하는 비일시적 컴퓨터 판독가능 매체로서,
    상기 컴퓨터 프로그램 명령어들은, 정보 처리 장치에 의해 실행되는 경우, 상기 정보 처리 장치로 하여금,
    재생된 영상 데이터에 대응하는 촬영 정보를 획득하는 단계;
    메모리에 저장된 태그 정보와 상기 촬영 정보의 비교에 기초하여 태그 정보를 획득하는 단계; 및
    상기 비교의 결과에 기초하여 상기 재생된 영상 데이터 상에 태그 정보를 중첩하는 단계를 수행하게 하는, 비일시적 컴퓨터 판독가능 매체.
KR1020127029060A 2010-05-14 2011-04-25 정보 처리 장치, 정보 처리 시스템, 및 프로그램 KR20130085942A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2010111944A JP2011244058A (ja) 2010-05-14 2010-05-14 情報処理装置、情報処理システム、及びプログラム
JPJP-P-2010-111944 2010-05-14
PCT/JP2011/002407 WO2011142093A1 (en) 2010-05-14 2011-04-25 Information processing device, information processing system, and program

Publications (1)

Publication Number Publication Date
KR20130085942A true KR20130085942A (ko) 2013-07-30

Family

ID=44914154

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020127029060A KR20130085942A (ko) 2010-05-14 2011-04-25 정보 처리 장치, 정보 처리 시스템, 및 프로그램

Country Status (7)

Country Link
US (1) US9191693B2 (ko)
EP (1) EP2569933A4 (ko)
JP (1) JP2011244058A (ko)
KR (1) KR20130085942A (ko)
CN (1) CN102884400B (ko)
TW (1) TW201203170A (ko)
WO (1) WO2011142093A1 (ko)

Families Citing this family (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120085474A (ko) * 2011-01-24 2012-08-01 삼성전자주식회사 디지털 촬영 장치, 그 제어 방법, 및 컴퓨터 판독가능 저장매체
US9773285B2 (en) 2011-03-08 2017-09-26 Bank Of America Corporation Providing data associated with relationships between individuals and images
US9224166B2 (en) 2011-03-08 2015-12-29 Bank Of America Corporation Retrieving product information from embedded sensors via mobile device video analysis
US9317835B2 (en) 2011-03-08 2016-04-19 Bank Of America Corporation Populating budgets and/or wish lists using real-time video image analysis
US9317860B2 (en) 2011-03-08 2016-04-19 Bank Of America Corporation Collective network of augmented reality users
US20120233033A1 (en) * 2011-03-08 2012-09-13 Bank Of America Corporation Assessing environmental characteristics in a video stream captured by a mobile device
GB2489685B (en) * 2011-03-31 2017-01-25 Geovs Ltd A Display System
US9432564B2 (en) * 2011-06-30 2016-08-30 Nokia Corporation Method and apparatus for tagging information based on contextual criteria
US8952364B2 (en) * 2011-11-10 2015-02-10 Nitto Denko Corporation Light-emitting devices comprising nanostructures
JP6044079B2 (ja) 2012-02-06 2016-12-14 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
JP2013161390A (ja) * 2012-02-08 2013-08-19 Sony Corp サーバ、クライアント端末、システム、およびプログラム
WO2013150724A1 (ja) * 2012-04-03 2013-10-10 パナソニック株式会社 送信装置、再生装置及び送受信方法
JP6056178B2 (ja) 2012-04-11 2017-01-11 ソニー株式会社 情報処理装置、表示制御方法及びプログラム
JP5965773B2 (ja) * 2012-08-06 2016-08-10 株式会社Ｎｔｔファシリティーズ 変換装置、逆変換装置、変換システム、及びプログラム
US9294709B2 (en) * 2012-09-27 2016-03-22 JVC Kenwood Corporation Imaging device, image processing device, imaging method, image processing method, and computer program product
JP6157094B2 (ja) * 2012-11-21 2017-07-05 キヤノン株式会社 通信装置、設定装置、通信方法、設定方法、及び、プログラム
JP5450864B1 (ja) * 2013-02-01 2014-03-26 征治 久保 結合システム
US9602129B2 (en) * 2013-03-15 2017-03-21 International Business Machines Corporation Compactly storing geodetic points
US9719790B2 (en) 2013-03-15 2017-08-01 International Business Machines Corporation Mapping uncertain geometries to graticules
JP6225538B2 (ja) * 2013-07-24 2017-11-08 富士通株式会社 情報処理装置、システム、情報提供方法および情報提供プログラム
US9633083B2 (en) * 2013-12-05 2017-04-25 Lenovo (Singapore) Pte. Ltd. Organizing search results using smart tag inferences
KR102332752B1 (ko) * 2014-11-24 2021-11-30 삼성전자주식회사 지도 서비스를 제공하는 전자 장치 및 방법
US9858676B2 (en) * 2015-01-08 2018-01-02 International Business Machines Corporation Displaying location-based rules on augmented reality glasses
JP2016219980A (ja) * 2015-05-19 2016-12-22 株式会社パスコ 対象物情報表示装置
KR102647735B1 (ko) * 2015-06-11 2024-03-15 가시오게산키 가부시키가이샤 촬영 장치, 정보 취득 장치, 정보 취득 시스템, 송신 제어 방법, 정보 취득 방법 및 기록 매체에 저장된 컴퓨터 프로그램
WO2018035500A1 (en) * 2016-08-19 2018-02-22 Fyusion, Inc. Automatic tagging of dynamic objects on a multi-view digital representation
JP6989901B2 (ja) * 2017-03-06 2022-01-12 株式会社 ミックウェア 情報処理装置、情報処理システム及び情報処理プログラム
CN107101633A (zh) * 2017-04-13 2017-08-29 清华大学 一种可呈现疏散指令的智能穿戴设备及疏散指令呈现方法
CN107454329A (zh) * 2017-08-24 2017-12-08 北京小米移动软件有限公司 信息处理方法及设备
JP6771503B2 (ja) * 2018-03-27 2020-10-21 株式会社日立製作所 データ管理システム及び関連データ推薦方法
JP7087844B2 (ja) * 2018-08-31 2022-06-21 トヨタ自動車株式会社 画像処理装置、画像処理システム及び車両
CN109625265B (zh) * 2018-12-11 2022-03-18 青海三新农电有限责任公司 一种无人机同步一体化勘测设计系统
CN109979468B (zh) * 2019-03-05 2020-11-06 武汉三江中电科技有限责任公司 一种雷击光学路径监测系统及方法
JP7427615B2 (ja) 2021-01-04 2024-02-05 株式会社東芝 情報処理装置、情報処理方法およびプログラム
CN116805277B (zh) * 2023-08-18 2024-01-26 吉奥时空信息技术股份有限公司 一种视频监控目标节点像素坐标转换方法及系统

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3225882B2 (ja) 1997-03-27 2001-11-05 日本電信電話株式会社 景観ラベリングシステム
US6222583B1 (en) * 1997-03-27 2001-04-24 Nippon Telegraph And Telephone Corporation Device and system for labeling sight images
JP3695119B2 (ja) * 1998-03-05 2005-09-14 株式会社日立製作所 画像合成装置、及び画像合成方法を実現するプログラムを記録した記録媒体
JP4274656B2 (ja) * 1999-12-08 2009-06-10 カシオ計算機株式会社 カメラ装置及び被写体名称表示方法
JP2004333261A (ja) * 2003-05-07 2004-11-25 Fisheries Research Agency 水中観測記録装置及びその装置を用いて魚群情報をモニタリングする方法
JP4363642B2 (ja) 2004-07-02 2009-11-11 富士フイルム株式会社 地図表示システム及びデジタルカメラ
US7720436B2 (en) * 2006-01-09 2010-05-18 Nokia Corporation Displaying network objects in mobile devices based on geolocation
KR100775123B1 (ko) * 2006-09-15 2007-11-08 삼성전자주식회사 영상 객체 인덱싱 방법 및 이를 이용한 영상 객체 인덱싱시스템
JP5396708B2 (ja) * 2007-11-28 2014-01-22 株式会社ニコン 電子カメラ

Also Published As

Publication number Publication date
WO2011142093A1 (en) 2011-11-17
US9191693B2 (en) 2015-11-17
CN102884400B (zh) 2016-08-24
US20120320248A1 (en) 2012-12-20
EP2569933A1 (en) 2013-03-20
TW201203170A (en) 2012-01-16
EP2569933A4 (en) 2013-11-06
CN102884400A (zh) 2013-01-16
JP2011244058A (ja) 2011-12-01

Similar Documents

Publication Publication Date Title
KR20130085942A (ko) 정보 처리 장치, 정보 처리 시스템, 및 프로그램
US10473465B2 (en) System and method for creating, storing and utilizing images of a geographical location
US8200712B2 (en) System and method for generating a virtual tour on a display device
US7904483B2 (en) System and method for presenting geo-located objects
US9699375B2 (en) Method and apparatus for determining camera location information and/or camera pose information according to a global coordinate system
US8331611B2 (en) Overlay information over video
US10191635B1 (en) System and method of generating a view for a point of interest
JP2011248832A (ja) 画像収集システム、携帯端末、画像収集装置、及び画像収集方法
KR20110094970A (ko) 멀티미디어 컨텐츠의 태그 관리 방법 및 장치
KR20090064677A (ko) 위치 및 방향 정보에 기반한 지도 컨텐츠 서비스 장치 및서비스 방법

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid