KR20100013347A - 촬영된 영상에 음원 정보를 표시하는 카메라 시스템 - Google Patents

촬영된 영상에 음원 정보를 표시하는 카메라 시스템 Download PDF

Info

Publication number
KR20100013347A
KR20100013347A KR1020100005308A KR20100005308A KR20100013347A KR 20100013347 A KR20100013347 A KR 20100013347A KR 1020100005308 A KR1020100005308 A KR 1020100005308A KR 20100005308 A KR20100005308 A KR 20100005308A KR 20100013347 A KR20100013347 A KR 20100013347A
Authority
KR
South Korea
Prior art keywords
sound source
information
camera
image
extracting
Prior art date
Application number
KR1020100005308A
Other languages
English (en)
Other versions
KR100962552B1 (ko
Inventor
오광만
Original Assignee
(주)테슬라시스템
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)테슬라시스템 filed Critical (주)테슬라시스템
Priority to KR1020100005308A priority Critical patent/KR100962552B1/ko
Publication of KR20100013347A publication Critical patent/KR20100013347A/ko
Application granted granted Critical
Publication of KR100962552B1 publication Critical patent/KR100962552B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3626—Details of the output of route guidance instructions
    • G01C21/365—Guidance using head up displays or projectors, e.g. virtual vehicles or arrows projected on the windscreen or on the road itself
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S3/00—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received
    • G01S3/80—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received using ultrasonic, sonic or infrasonic waves
    • G01S3/802—Systems for determining direction or deviation from predetermined direction
    • G01S3/808—Systems for determining direction or deviation from predetermined direction using transducers spaced apart and measuring phase or time difference between signals therefrom, i.e. path-difference systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3626—Details of the output of route guidance instructions
    • G01C21/3635—Guidance using 3D or perspective road maps
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3667—Display of a road map
    • G01C21/3673—Labelling using text of road map data items, e.g. road names, POI names
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/2224—Studio circuitry; Studio devices; Studio equipment related to virtual studio applications
    • H04N5/2226—Determination of depth image, e.g. for foreground/background separation

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Studio Devices (AREA)
  • Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)

Abstract

본 발명은 소리를 찍는 카메라 시스템에 관한 것으로써, 더욱 상세하게는 소리센서와 이미지센서가 장착된 카메라 시스템에서 소리와 영상을 동시에 센싱하여 촬영된 영상에 음원 정보를 매핑하여 시각적으로 도시해 주는 카메라 시스템에 관한 것이다.
본 발명은, 촬영된 영상에 음원 정보를 표시하는 카메라 시스템에 있어서,
음원의 위치 및 방향을 추적하는 음원 센서(10); 음원 쪽의 영상을 촬영하는 카메라의 이미지 센서(30); 상기 카메라의 위치를 추출하는 GPS(20-1); 상기 카메라의 기준 좌표계를 추출하는 나침반(20-2); 상기 카메라의 뷰 방향과 뷰 각도를 추출하는 자이로 및 가속도 센서(20-3, 20-4); 상기 음원 센서(10)에서 출력되는 음원을 기반으로, 음원 정보를 추출하는 음원 정보 추출 모듈(300); 상기 이미지 센서(30)에서 출력되는 영상을 기반으로, 소실선 및 3차원 실마리를 추출하는 소실선 및 3차원 실마리 추출 모듈(310); 상기 GPS(20-1)과 나침반(20-2)에서 출력되는 정보를 기반으로, 카메라의 3차원 위치 및 기준 좌표계를 추출하는 카메라 위치 및 기준 좌표계 추출 모듈(320); 상기 자이로 및 가속도 센서(20-3, 20-4)에서 출력되는 정보를 기반으로, 카메라의 뷰 방향과 뷰 각도를 추출하는 카메라 뷰 방향 및 각도 추출 모듈(330); 상기 소실선 및 3차원 실마리 추출 모듈(310)과 카메라 위치 및 기준 좌표계 추출 모듈(320)과 카메라 뷰 방향 및 각도 추출 모듈(330)의 출력을 기반으로, 촬영된 영상에 있는 객체를 분리하고 이 객체의 3차원 위치 정보를 추출하는 객체 분리 및 3차원 정보 추출 모듈(350); 상기 음원 정보 추출 모듈(300)과 객체 분리 및 3차원 정보 추출 모듈(350)의 출력을 기반으로, 촬영된 영상에 음원을 매핑시키는 음원 및 영상 매핑 모듈(340); 음원 및 영상 매핑 모듈(340)의 출력을 기반으로, 촬영된 영상에 음원 정보 및 객체 정보를 화면에 표시하는 영상 및 정보 도시 모듈(360)을 포함하는 것을 특징으로 한다.

Description

촬영된 영상에 음원 정보를 표시하는 카메라 시스템{Camera System Providing Sound Source Information in the Photographed Image}
본 발명은 소리를 찍는 카메라 시스템에 관한 것으로써, 더욱 상세하게는 소리센서와 이미지센서가 장착된 카메라 시스템에서 소리와 영상을 동시에 센싱하여 촬영된 영상에 음원 정보를 매핑하여 시각적으로 도시해 주는 카메라 시스템에 관한 것이다.
국방 분야에서 철책선 경계자는 전방으로 침투하는 침입자의 위치를 파악하거나 총기류의 발사 위치를 파악하거나 적 탱크 또는 헬기의 위치 및 이동방향을 파악하여, 신속히 대처하는 것이 중요하다. 특히 소리를 발생시키는 동물, 사람 및 물체가 건물이나 지형물에 의해서 은폐 및 엄폐되어 있을 경우, 단순한 소리의 위치만을 갖고 음원의 정확한 정보의 인지가 어렵기 때문에 이를 보다 용이하게 찾을 수 있도록 하는 것이 매우 중요하다.
또한, 재난방지 및 테러방지 분야에서는 건물내의 저격수의 위치를 추적하는데 소리를 이용하는 경우가 많은데, 건물 내의 소리의 위치를 정확하게 추적하여 건물영상에 저격수의 위치를 도시함으로써 테러방지를 신속하게 처리할 수 있다.
또한, 음악용 방음실 제작 공정이나 자동차 방음 설계 공정이나 건물 위치 및 구조 설계 분야에서도 잡음이나 소음의 발생 위치를 파악하여, 관련 제작이나 설계에 반영하는 것도 매우 중요하다.
그런데, 종래기술에서는 음원의 위치나 방향, 종류 등의 음원 정보를 탐지하는 기술에 대해서는 다양한 개발이 이루어져 왔으나, 이렇게 탐지된 음원 정보를 사용자가 편리하게 이용할 수 있게 하는 기술은 아직 충분히 개발이 되어 있지 않은 실정이다.
본 발명은 상기와 같은 점을 고려하여, 사용자가 촬영한 영상에 음원 정보를 표시하여 사용자가 편리하게 음원에 대한 정보를 습득하여 활용하게 하는, 촬영된 영상에 음원 정보를 표시하는 카메라 시스템을 제공한다.
이상과 같은 기술적 과제를 달성하기 위하여, 본 발명에서는,
촬영된 영상에 음원 정보를 표시하는 카메라 시스템에 있어서,
음원의 위치 및 방향을 추적하는 음원 센서(10); 음원 쪽의 영상을 촬영하는 카메라의 이미지 센서(30); 상기 카메라의 위치를 추출하는 GPS(20-1); 상기 카메라의 기준 좌표계를 추출하는 나침반(20-2); 상기 카메라의 뷰방향과 뷰각도를 추출하는 자이로 및 가속도 센서(20-3, 20-4); 상기 음원 센서(10)에서 출력되는 음원을 기반으로, 음원 정보를 추출하는 음원 정보 추출 모듈(300); 상기 이미지 센서(30)에서 출력되는 영상을 기반으로, 소실선 및 3차원 실마리를 추출하는 소실선 및 3차원 실마리 추출 모듈(310); 상기 GPS(20-1)과 나침반(20-2)에서 출력되는 정보를 기반으로, 카메라의 3차원 위치 및 기준 좌표계를 추출하는 카메라 위치 및 기준 좌표계 추출 모듈(320); 상기 자이로 및 가속도 센서(20-3, 20-4)에서 출력되는 정보를 기반으로, 카메라의 뷰 방향과 뷰 각도를 추출하는 카메라 뷰 방향 및 각도 추출 모듈(330); 상기 소실선 및 3차원 실마리 추출 모듈(310)과 카메라 위치 및 기준 좌표계 추출 모듈(320)과 카메라 뷰 방향 및 각도 추출 모듈(330)의 출력을 기반으로, 촬영된 영상에 있는 객체를 분리하고 이 객체의 3차원 위치 정보를 추출하는 객체 분리 및 3차원 정보 추출 모듈(350); 상기 음원 정보 추출 모듈(300)과 객체 분리 및 3차원 정보 추출 모듈(350)의 출력을 기반으로, 촬영된 영상에 음원을 매핑시키는 음원 및 영상 매핑 모듈(340); 음원 및 영상 매핑 모듈(340)의 출력을 기반으로, 촬영된 영상에 음원 정보 및 객체 정보를 화면에 표시하는 영상 및 정보 도시 모듈(360)을 포함하는 것을 특징으로 한다.
이상과 같은 본 발명을 사용하면, 사용자가 촬영한 영상에 음원 정보를 표시하여 사용자가 편리하게 음원에 대한 정보를 습득하여 활용하게 하는, 촬영된 영상에 음원 정보를 표시하는 카메라 시스템을 제공하는 것이 가능해진다.
특히 소리를 발생시키는 동물, 사람, 및 물체가 건물이나 지형물에 의해서 은폐되어 있을 경우, 본 발명의 방법 및 시스템을 사용하면 용이하게 음원에 대한 정보를 인지할 수 있다.
도1은 본 발명을 국방 분야에 적용한 사례를 도시함.
도2는 본 발명을 적용하여 표시되는 메인화면과 보조화면을 도시함.
도3은 본 발명의 전체적인 구성을 도시함.
도4는 본 발명에서 음원의 위치를 표시하는 방법을 도시함.
도5는 본 발명에서 객체 정보를 표시하는 방법을 도시함.
도6은 본 발명에서 음원과 영상 정보의 도시를 위한 정보처리 및 매핑과정을 도시함.
도7은 본 발명에서 기준 좌표계를 설정하는 방법을 도시함.
도 1은 본 발명을 국방분야에 적용하여 전방에 위치하는 음원(탱크, 수류탄, 헬기, 동물, 간첩)들의 종류(탱크, 수류탄, 헬기, 동물, 간첩), 위치, 이동방향을 파악하는 것을 나타내는 도면이다.
카메라와 음원 추적장치가 일체화된 소리캠에서 전방의 영상을 촬영하고 전방에서 들려오는 각종 음향을 추적하여, 전방에 존재하는 음원의 위치를 도1의 우측 도면과 같이 촬영 영상에 매핑하여 표시하게 된다.
이때, 음원 추적은 공지의 다양한 음원추적 장치를 이용하게 되는데, 예를들면 2차원 또는 3차원 어레이 형태로 소리센서(예: 마이크)들이 배열된 음원 추적장치에서 각 마이크에 도달하는 소리의 위상차를 이용하여 음원의 3차원 위치를 파악한다.
이렇게 음원을 추적하면, 음원의 개수, 3차원 위치가 파악되고, 도플러 효과를 이용하면 음원의 이동방향 및 이동속도가 파악되며, 각 음원의 스펙트럼을 분석하고 노이즈 제거하는 등 다양한 신호처리 기술을 이용하여 음원의 종류와 크기를 알 수 있게 된다. 여기서 음원의 소리 크기는 신호의 세기, 즉 진폭을 통해서 알 수 있다.
다음으로, 이상과 같이 파악된 음원정보를 촬영된 영상에 표시하는 방법에 대해 도2를 참고로 하여 설명하기로 한다.
메인화면에는 카메라에서 촬영된 영상과 음원의 3차원 위치를 연동시켜 표시하고, 사용자가 메인화면에서 커서 등을 이용하여 특정 음원을 선택하면, 음원 관련 정보(예: 음원의 위치, 방향, 음원의 종류, 음원까지의 거리, 음원의 이동 방향, 음원의 이동속도 등)가 표시된다.
그리고, 보조화면에는 도2의 하단 왼쪽과 같이, 카메라의 현 위치와 뷰(view) 방향과 뷰(view) 앵글(각도)과 음원의 위치를 2차원적으로 표시되고, 도2의 하단 오른쪽과 같이 음원의 지도상의 위치가 2차원적으로 표시된다.
도2와 같이, 메인화면에는 촬영된 영상에, 음원 위치와, 선택된 음원 관련 정보를 표시하고, 보조화면에 카메라의 위치와 뷰 방향과 뷰 앵글과 함께 음원의 지도상의 위치를 표시하면, 사용자가 음원에 대한 다양한 정보를 인지할 수 있어서, 음원 관련 대응을 하기에 편리하게 된다.
다음으로 도2와 같이, 화면에 음원 관련 정보들을 표시하기 위한 본 발명의 전체적인 구성을 도3을 참고로 하여 설명하기로 한다.
음원 추적 센서(10)는 음원의 위치와 방향을 추적하는 센서이고, 예를들면 어레이 형태로 배열된 마이크들인데 각 마이크로 입력되는 음원의 위상차를 이용하게 된다.
이 음원 추적 센서(10)의 출력을 통해, 음원 위치 및 방향 추적 모듈(110)이 음원의 위치 및 방향을 추적하고, 음원 종류 추적 모듈(120)에 의해 각 음원의 스펙트럼을 분석하여 음원의 종류가 추적되며, 음원 이동 방향 추적 모듈(130)에 의해 도플러 효과를 이용하여 음원의 이동방향 및 이동속도가 파악되고, 음원의 소리 진폭에 따라서 음원의 소리 크기가 결정된다.
이때, 음원 인식 및 학습 모듈(140)은 실제 각 음원의 소리를 입력하여 스펙트럼 분석을 하여 각 음원별 스펙트럼을 본 발명의 장치에 인식시키고 학습시키는 모듈이다.
다음으로, 위치 및 방향 파악 센서(20)는 카메라가 촬영한 위치 및 촬영 방향(뷰 방향)을 추적하기 위한 센서로서, 내부에 GPS 수신장치와 디지털 나침반, 자이로/가속도 센서가 존재하여, GPS수신장치에 의해 카메라의 3차원 위치를 추출하고, 카메라 3차원 위치 추적 모듈(150)에 의해 카메라의 3차원 위치가 추적되고, 디지털 나침반에 의해 카메라의 기준 좌표계가 설정되고 자이로/가속도 센서에 의해 회전량 측정되어 카메라 촬영 방향 추적 모듈(160)에 의해 카메라의 촬영방향이 추적된다.
마지막으로, 영상촬영 시스템(30)은 카메라를 의미하는 것이고, 디지털 카메라나 카메라 기능 포함 휴대폰 등을 이용하여, 전방 음원 쪽을 촬영하여 촬영된 영상이 영상 획득 및 저장 모듈(180)에 의해 수신되어 저장되게 된다.
그리고, 음원 위치 및 영상 매핑 모듈(200)에 의해 도2의 상단의 메인화면과 같이 촬영된 영상에 음원들의 위치가 표시된다.
이때, 음원이 카메라의 뷰 앵글 내에 존재하는 경우와 벗어나 경우를 구별하기 위해 도2의 메인 화면에서 도4에서와 같이 음원의 위치를 표시하는 것도 가능하다. 이렇게 표시하면, 음원이 카메라의 뷰 앵글을 벗어나서 도2의 메인 화면에서 음원의 위치가 표시되지 않는 가능성을 방지할 수 있다.
도4와 같이 음원의 위치를 표시하면 사용자가 음원이 벗어난 것과 벗어난 방향을 인지하여 그 방향으로 다시 촬영을 하면 촬영된 영상에 음원의 위치가 정확하게 표시되게 된다.
또한, 2D맵 데이터 연동 모듈(210)에 의해, 도2의 하단과 같이, 2차원적으로 카메라의 현 위치와 뷰 방향과 뷰 앵글, 음원의 위치가 2차원적으로 화면에 표시되고, 각 음원들의 2차원 지도상의 위치가 화면에 표시된다.
사용자 인터페이스(220)는 예를들면 도2의 메인화면에서 사용자가 특정 음원을 선택할 수 있게 하는 기능과 같은 각종 메뉴를 사용자가 선택하게 하고, 사용자가 카메라 촬영 및 저장을 실행하게 한다.
한편, 부가적인 기능으로서, 도2의 메인화면에서 각 음원 인근에 있는 각종 객체(물체)(건물, 시설물 등)에 대한 정보(도5의 건물의 종류, 위치, 거리 등)를 화면에 표시하는 기능이 유용한데, 이를 위하여 정보 도시 모듈(190)은 도5에서와 같이, 카메라 영상을 통해 촬영된 객체를 분리하여 인식하고 카메라의 위치 및 방향 정보를 통해 카메라의 위치와 방향을 추출하여 객체의 3차원 좌표를 추출하여, 수치 맵 데이터 DB에서 이 3차원 좌표에 대응하는 객체 정보를 탐색하여, 도5의 우측 상단 또는 하단과 같이 표시한다. 또한, 사용자가 특정 영상의 특정 위치를 선택하면, 이 위치에 있는 객체들의 상세정보(건물 종류, 위치, 거리 등)가 수치 맵 데이터DB에서 탐색되어 도5의 중간 부분의 풍선모양처럼 표시되게 된다.
다음으로, 본 발명의 핵심요소인 음원과 영상 정보의 도시를 위한 정보처리 및 매핑과정은 도6을 참고로 하여 설명하기로 한다.
음원으로부터의 소리는 음원센서(10)에서 수집되어 음원 정보 추출 모듈(300)에 의해 분석되어서, 음원의 개수, 3차원 위치, 음원의 이동방향 및 이동속도, 음원의 종류와 크기와 같은 음원 정보가 파악된다.
또한, 영상은 카메라의 이미지 센서(30)에서 촬영되어서, 소실선 및 3차원 실마리 추출 모듈(310)에서 공지의 다양한 영상처리 기술 및 인식 기술(예:Tour in Picture 기술)을 이용하여 촬영된 영상에서 소실선 및 3차원 실마리가 추출된다.
그리고, GPS(20-1)에서의 위치 정보와 나침반(20-2)에 의해, 카메라 위치 추출 및 기준 좌표계 추출 모듈(320)에서 카메라의 3차원상의 위치와 기준 좌표계가 설정된다.
또한, 자이로 센서(20-3)와 가속도 센서(20-4)에 의해, 카메라의 뷰 방향과 뷰 각도 추출 모듈(330)에서 카메라의 뷰 방향과 뷰 각도(앵글)가 추출된다.
이제, 소실선 및 3차원 실마리 추출 모듈(310)에 의해 추출된 소실선 및 3차원 실마리 정보와, 카메라 위치 추출 및 기준 좌표계 추출 모듈(320)에 의해 추출된 카메라의 3차원상의 위치와 기준 좌표계 정보와, 카메라의 뷰 방향과 뷰 각도추출 모듈(330)에 의해 추출된 카메라의 뷰 방향과 뷰 각도 정보는, 객체 분리 및 3차원 정보 추출 모듈(350)에 전달되어 공지의 다양한 객체 분리 및 3차원 위치 정보 추출 방법에 의해 객체들이 분리되고 이 분리된 객체들에 대한 3차원 위치 정보가 추출된다.
다음으로, 음원 정보 추출 모듈(300)에서 추출된 음원 정보(음원의 개수, 3차원 위치, 음원의 이동방향 및 이동속도, 음원의 종류와 크기 등)와, 객체 분리 및 3차원 정보 추출 모듈(350)에서 추출된 객체 정보(분리된 객체들의 3차원 위치 정보)가, 음원 및 영상 매핑 모듈(340)에 전달되어 매핑된다.
마지막으로, 이렇게 매핑된 음원정보 및 객체 정보가 영상 및 정보 도시 모듈(360)에 전달되어, 도2에서와 같이 메인화면에 촬영된 영상과 함께 음원 정보가 표시되고, 보조화면에 현 위치와 뷰(view) 방향과 뷰(view) 앵글과 음원의 위치를 2차원적으로 표시되고, 음원의 지도상의 위치가 2차원적으로 표시되게 된다. 또한, 도5에서와 같이 도2의 메인화면에서 각 음원 인근에 있는 각종 객체에 대한 정보가 촬영된 화면 주변에 함께 표시되게 된다.
이제, 촬영된 카메라 영상에서 객체를 분리하고 객체의 거리 및 위치 등을 파악하는 방법에 대해 구체적으로 설명하기로 한다.
촬영된 카메라 영상에서 객체를 분리하고 객체의 거리 및 위치 등을 파악하기 위해서는 카메라의 현재 위치, 카메라가 객체를 찍는 방향에 대한 정보가 사전에 제공되어야 하고, 이러한 정보를 획득하기 위해서 도7과 같이 기준좌표계가 먼저 설정되어야 한다.
도7를 참고하면, GPS 수신장치(20-1)를 통해서 카메라 위치를 획득하여 기준 좌표계의 원점에 매핑시키고, 디지털 나침반(20-2)을 사용하여 축좌표계의 방향을 동서남북 방향과 일치시키며, 카메라의 기학적구조를 기반으로 카메라의 촬영방향 등을 사전에 축 좌표계에 매핑하여 카메라의 기준좌표계를 설정한다.
또한, 자이로 센서(20-3) 및 가속도 센서(20-4)를 통해서 카메라의 회전방향과 회전량을 측정하여, 실제 촬영시 카메라의 촬영방향(뷰 방향) 및 뷰 각도(view angle)를 계산한다.
상기의 카메라 시스템에 설정되어 있는 원점의 위치, 기준 좌표계, 뷰 방향, 뷰 앵글 등을 활용하여 촬영된 영상의 객체들에 대한 3차원 정보(3차원 위치 및 거리 정보)를 추출하게 된다.
촬영된 영상의 객체들에 대한 3차원 정보의 추출방법은 영상 내의 소실선, 3차원 실마리(원근감을 나타내는 각종 선 정보)등을 활용하여 객체를 분리하고 카메라로부터 거리를 계산하여 객체의 3차원 위치를 추출하게 된다. 이때 반드시 필요한 정보가 바로 상기의 카메라의 기준좌표계이다.
이상에서는 본 발명의 바람직한 실시예를 설명하였으나, 본 발명은 이상의 실시예에 한정되는 것이 아니라, 본 발명의 원리를 벗어나지 않는 범위 내에서 다양한 변형 및 변경이 가능하다는 점에 유의해야 한다.

Claims (11)

  1. 촬영된 영상에 음원 정보를 표시하는 카메라 시스템에 있어서,
    음원의 위치 및 방향을 추적하는 음원 센서(10);
    음원 쪽의 영상을 촬영하는 카메라의 이미지 센서(30);
    상기 카메라의 위치를 추출하는 GPS(20-1);
    상기 카메라의 기준 좌표계를 추출하는 나침반(20-2);
    상기 카메라의 뷰방향과 뷰각도를 추출하는 자이로 및 가속도 센서(20-3, 20-4);
    상기 음원 센서(10)에서 출력되는 음원을 기반으로, 음원 정보를 추출하는 음원 정보 추출 모듈(300);
    상기 이미지 센서(30)에서 출력되는 영상을 기반으로, 소실선 및 3차원 실마리를 추출하는 소실선 및 3차원 실마리 추출 모듈(310);
    상기 GPS(20-1)과 나침반(20-2)에서 출력되는 정보를 기반으로, 카메라의 3차원 위치 및 기준 좌표계를 추출하는 카메라 위치 및 기준 좌표계 추출 모듈(320);
    상기 자이로 및 가속도 센서(20-3, 20-4)에서 출력되는 정보를 기반으로, 카메라의 뷰 방향과 뷰 각도를 추출하는 카메라 뷰 방향 및 각도 추출 모듈(330);
    상기 소실선 및 3차원 실마리 추출 모듈(310)과 카메라 위치 및 기준 좌표계 추출 모듈(320)과 카메라 뷰 방향 및 각도 추출 모듈(330)의 출력을 기반으로, 촬영된 영상에 있는 객체를 분리하고 이 객체의 3차원 위치 정보를 추출하는 객체 분리 및 3차원 정보 추출 모듈(350);
    상기 음원 정보 추출 모듈(300)과 객체 분리 및 3차원 정보 추출 모듈(350)의 출력을 기반으로, 촬영된 영상에 음원을 매핑시키는 음원 및 영상 매핑 모듈(340);
    음원 및 영상 매핑 모듈(340)의 출력을 기반으로, 촬영된 영상에 음원 정보 및 객체 정보를 화면에 표시하는 영상 및 정보 도시 모듈(360)을 포함하는 것을 특징으로 하는, 촬영된 영상에 음원 정보를 표시하는 카메라 시스템.
  2. 제1항에 있어서,
    상기 음원 센서(10)는, 어레이 형태로 배열된 마이크들 것을 특징으로 하는, 촬영된 영상에 음원 정보를 표시하는 카메라 시스템.
  3. 제1항에 있어서,
    상기 음원 센서(10)에 의해 파악된 각 음원의 스펙트럼을 분석하여 음원의 종류가 파악되는 것을 특징으로 하는, 촬영된 영상에 음원 정보를 표시하는 카메라 시스템.
  4. 제1항에 있어서,
    도플러 효과를 이용하여 상기 음원 센서(10)부터 각 음원의 이동방향 및 이동속도가 파악되는 것을 특징으로 하는, 촬영된 영상에 음원 정보를 표시하는 카메라 시스템.
  5. 제1항에 있어서,
    상기 음원 정보는 음원의 위치이고, 이 음원의 위치는 카메라 뷰 앵글 내에 존재하는 경우와 벗어난 경우를 구별하여 표시되는 것을 특징으로 하는, 촬영된 영상에 음원 정보를 표시하는 카메라 시스템.
  6. 제1항에 있어서,
    상기 음원 정보와 함께 카메라의 뷰 방향과 뷰 앵글이 2차원적으로 화면에 표시되는 것을 특징으로 하는, 촬영된 영상에 음원 정보를 표시하는 카메라 시스템.
  7. 제1항에 있어서,
    상기 음원 정보는 카메라와 음원들의 위치이고, 이들이 2차원 지도상에 표시되는 것을 특징으로 하는, 촬영된 영상에 음원 정보를 표시하는 카메라 시스템.
  8. 제1항에 있어서,
    상기 객체 정보는, 음원들 인근에 존재하는 객체들에 대한 영상 정보인 것을 특징으로 하는, 촬영된 영상에 음원 정보를 표시하는 카메라 시스템.
  9. 제8항에 있어서,
    상기 객체 정보는, 상기 객체와 관련된 문자 정보를 더 포함하는 것을 특징으로 하는, 촬영된 영상에 음원 정보를 표시하는 카메라 시스템.
  10. 촬영된 영상에 음원 정보를 표시하는 방법에 있어서,
    음원 센서(10)에서 출력되는 음원을 기반으로, 음원 정보를 추출하는 음원 정보 추출 단계(300);
    이미지 센서(30)에서 출력되는 영상을 기반으로, 소실선 및 3차원 실마리를 추출하는 소실선 및 3차원 실마리 추출 단계(310);
    GPS(20-1)과 나침반(20-2)에서 출력되는 정보를 기반으로, 카메라의 3차원 위치 및 기준 좌표계를 추출하는 카메라 위치 및 기준 좌표계 추출 단계(320);
    자이로 및 가속도 센서(20-3, 20-4)에서 출력되는 정보를 기반으로, 카메라의 뷰 방향과 뷰 각도를 추출하는 카메라 뷰 방향 및 각도 추출 단계(330)
    상기 소실선 및 3차원 실마리 추출 단계(310)와 카메라 위치 및 기준 좌표계 추출 단계(320)와 카메라 뷰 방향 및 각도 추출 모듈(330)의 출력을 기반으로, 촬영된 영상에 있는 객체를 분리하고 이 객체의 3차원 위치 정보를 추출하는 객체 분리 및 3차원 정보 추출 단계(350);
    상기 음원 정보 추출 단계(300)와 객체 분리 및 3차원 정보 추출 단계(350)의 출력을 기반으로, 촬영된 영상에 음원을 매핑시키는 음원 및 영상 매핑 단계(340);
    음원 및 영상 매핑 단계(340)의 출력을 기반으로, 촬영된 영상에 음원 정보 및 객체 정보를 화면에 표시하는 영상 및 정보 도시 단계(360)를 포함하는 것을 특징으로 하는, 촬영된 영상에 음원 정보를 표시하는 방법.
  11. 촬영된 영상에 음원 정보를 표시하는 방법에 있어서,
    음원 센서(10)에서 출력되는 음원을 기반으로, 음원 정보를 추출하는 음원 정보 추출 단계;
    카메라의 기준 좌표계를 추출하는 기준 좌표계 추출 단계;
    상기의 추출된 카메라의 기준 좌표계를 기반으로, 카메라로 촬영된 영상에서 객체의 3차원 정보를 추출하는 단계;
    상기 추출된 객체의 3차원 정보를 상기 음원 정보와 연동시켜서 상기 촬영된 영상에 시각적으로 표시하는 단계를 포함하는 것을 특징으로 하는, 촬영된 영상에 음원 정보를 표시하는 방법.
KR1020100005308A 2010-01-20 2010-01-20 촬영된 영상에 음원 정보를 표시하는 카메라 시스템 KR100962552B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020100005308A KR100962552B1 (ko) 2010-01-20 2010-01-20 촬영된 영상에 음원 정보를 표시하는 카메라 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100005308A KR100962552B1 (ko) 2010-01-20 2010-01-20 촬영된 영상에 음원 정보를 표시하는 카메라 시스템

Publications (2)

Publication Number Publication Date
KR20100013347A true KR20100013347A (ko) 2010-02-09
KR100962552B1 KR100962552B1 (ko) 2010-06-11

Family

ID=42087341

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100005308A KR100962552B1 (ko) 2010-01-20 2010-01-20 촬영된 영상에 음원 정보를 표시하는 카메라 시스템

Country Status (1)

Country Link
KR (1) KR100962552B1 (ko)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2413615A2 (en) * 2010-07-28 2012-02-01 Pantech Co., Ltd. Apparatus and method for merging acoustic object information
KR101155610B1 (ko) * 2010-04-30 2012-06-13 주식회사 에스원 음원 위치 표시 장치 및 그 방법
KR101281129B1 (ko) * 2010-02-16 2013-07-05 윤재민 음장표시 디지털 비디오 레코더 시스템 및 그것의 운용 방법
KR101399881B1 (ko) * 2013-03-28 2014-05-27 현대제철 주식회사 소결 대차 누풍 탐지 장치
EP2810454A1 (en) * 2012-02-03 2014-12-10 Sony Corporation Information processing device, information processing method, and program
JP2016191633A (ja) * 2015-03-31 2016-11-10 株式会社熊谷組 診断装置
CN106124040A (zh) * 2016-05-18 2016-11-16 萨姆株式会社 噪声源可视化数据累积显示方法、数据处理装置及声学照相机系统
US9736580B2 (en) 2015-03-19 2017-08-15 Intel Corporation Acoustic camera based audio visual scene analysis
KR20190065656A (ko) * 2017-12-04 2019-06-12 이진경 외부 오디오 신호 식별 방법 및 그 장치
US11216165B2 (en) 2017-09-15 2022-01-04 Samsung Electronics Co., Ltd. Content processing method and electronic device for supporting same

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100838239B1 (ko) * 2007-04-17 2008-06-17 (주)에스엠인스트루먼트 음질 표시 장치, 음질 표시 방법, 음질 표시 프로그램을 기록한 컴퓨터로 읽을 수 있는 매체

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101281129B1 (ko) * 2010-02-16 2013-07-05 윤재민 음장표시 디지털 비디오 레코더 시스템 및 그것의 운용 방법
KR101155610B1 (ko) * 2010-04-30 2012-06-13 주식회사 에스원 음원 위치 표시 장치 및 그 방법
EP2413615A2 (en) * 2010-07-28 2012-02-01 Pantech Co., Ltd. Apparatus and method for merging acoustic object information
CN102404667A (zh) * 2010-07-28 2012-04-04 株式会社泛泰 融合声对象信息的设备和方法
EP2413615A3 (en) * 2010-07-28 2013-08-21 Pantech Co., Ltd. Apparatus and method for merging acoustic object information
EP2810454A1 (en) * 2012-02-03 2014-12-10 Sony Corporation Information processing device, information processing method, and program
EP3525486A1 (en) * 2012-02-03 2019-08-14 Sony Corporation Information processing device, information processing method, and program
KR101399881B1 (ko) * 2013-03-28 2014-05-27 현대제철 주식회사 소결 대차 누풍 탐지 장치
US9736580B2 (en) 2015-03-19 2017-08-15 Intel Corporation Acoustic camera based audio visual scene analysis
CN107223332A (zh) * 2015-03-19 2017-09-29 英特尔公司 基于声学相机的音频视觉场景分析
TWI616811B (zh) * 2015-03-19 2018-03-01 英特爾公司 用於聲學監測的系統、單晶片系統、行動計算裝置、電腦程式產品以及方法
CN107223332B (zh) * 2015-03-19 2021-02-05 英特尔公司 基于声学相机的音频视觉场景分析
JP2016191633A (ja) * 2015-03-31 2016-11-10 株式会社熊谷組 診断装置
CN106124040A (zh) * 2016-05-18 2016-11-16 萨姆株式会社 噪声源可视化数据累积显示方法、数据处理装置及声学照相机系统
CN106124040B (zh) * 2016-05-18 2020-11-13 萨姆株式会社 噪声源可视化数据累积显示方法、数据处理装置及声学照相机系统
US11216165B2 (en) 2017-09-15 2022-01-04 Samsung Electronics Co., Ltd. Content processing method and electronic device for supporting same
KR20190065656A (ko) * 2017-12-04 2019-06-12 이진경 외부 오디오 신호 식별 방법 및 그 장치

Also Published As

Publication number Publication date
KR100962552B1 (ko) 2010-06-11

Similar Documents

Publication Publication Date Title
KR100962552B1 (ko) 촬영된 영상에 음원 정보를 표시하는 카메라 시스템
JP6763448B2 (ja) 視覚強化ナビゲーション
US11112858B2 (en) Electronic device displays an image of an obstructed target
US20230392944A1 (en) Navigation methods and apparatus for the visually impaired
KR101295714B1 (ko) 3차원 증강 현실 제공 장치 및 방법
JP6258953B2 (ja) 単眼視覚ｓｌａｍのための高速初期化
JP2019067383A5 (ko)
CN103941223B (zh) 声源定位系统及其方法
KR101330805B1 (ko) 증강 현실 제공 장치 및 방법
CN107402000A (zh) 用于相对于测量仪器参照显示装置的系统和方法
KR100968837B1 (ko) 촬영된 객체에 대한 정보를 제공하는 휴대용 카메라 시스템
WO2014011346A1 (en) Sensor-aided wide-area localization on mobile devices
EP1887795A1 (en) Metadata adding apparatus and metadata adding method
CN111784765B (zh) 物体测量、虚拟对象处理方法及装置、介质和电子设备
CN109931945A (zh) Ar导航方法、装置、设备和存储介质
KR20160073025A (ko) 실측을 통한 증강현실기반의 객체 생성장치 및 그 방법
CN102446048A (zh) 信息处理设备以及信息处理方法
KR20180046803A (ko) 실제카메라 영상과 가상카메라 영상을 활용하여 넓은 시야각을 제공하는 무인선 관제시스템
CN109844600A (zh) 信息处理设备、信息处理方法和程序
US9292963B2 (en) Three-dimensional object model determination using a beacon
US20190026939A1 (en) Systems and methods for blind and visually impaired person environment navigation assistance
CN103903253A (zh) 一种可移动终端定位方法及系统
CN111652276A (zh) 一种全天候便携式多功能仿生定位定姿观瞄系统及方法
JP2023075236A (ja) 軌跡表示装置
KR100550430B1 (ko) 3차원 정보를 이용한 이동체의 주행 안내장치 및 방법

Legal Events

Date Code Title Description
A201 Request for examination
A302 Request for accelerated examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130603

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20140523

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20150603

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20160525

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20170427

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20180604

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20190603

Year of fee payment: 10