KR20230035299A - 광각 영상 처리 방법 및 이를 위한 장치 - Google Patents

광각 영상 처리 방법 및 이를 위한 장치 Download PDF

Info

Publication number
KR20230035299A
KR20230035299A KR1020230026946A KR20230026946A KR20230035299A KR 20230035299 A KR20230035299 A KR 20230035299A KR 1020230026946 A KR1020230026946 A KR 1020230026946A KR 20230026946 A KR20230026946 A KR 20230026946A KR 20230035299 A KR20230035299 A KR 20230035299A
Authority
KR
South Korea
Prior art keywords
metadata
view mode
interest
region
user input
Prior art date
Application number
KR1020230026946A
Other languages
English (en)
Inventor
정경전
김대환
심민정
Original Assignee
한화테크윈 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한화테크윈 주식회사 filed Critical 한화테크윈 주식회사
Priority to KR1020230026946A priority Critical patent/KR20230035299A/ko
Publication of KR20230035299A publication Critical patent/KR20230035299A/ko

Links

Images

Classifications

    • G06T3/12—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • G06T3/047—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/0012—Context preserving transformation, e.g. by using an importance map
    • G06T3/0018—Fisheye, wide-angle transformation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/0062—Panospheric to cylindrical image transformation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/001—Image restoration
    • G06T5/80—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00132—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture in a digital photofinishing system, i.e. a system where digital photographic images undergo typical photofinishing processing, e.g. printing ordering
    • H04N1/00161—Viewing or previewing
    • H04N1/00164—Viewing or previewing at a remote location
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00132—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture in a digital photofinishing system, i.e. a system where digital photographic images undergo typical photofinishing processing, e.g. printing ordering
    • H04N1/00167—Processing or editing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00132—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture in a digital photofinishing system, i.e. a system where digital photographic images undergo typical photofinishing processing, e.g. printing ordering
    • H04N1/00169—Digital image input
    • H04N1/00172—Digital image input directly from a still digital camera or from a storage medium mounted in a still digital camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N1/32101—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N1/32106—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title separate from the image data, e.g. in a different computer file
    • H04N1/32117—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title separate from the image data, e.g. in a different computer file in a separate transmission or protocol signal prior to or subsequent to the image data transmission, e.g. in digital identification signal [DIS], in non standard setup [NSS] or in non standard field [NSF]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4728—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Studio Devices (AREA)
  • Geometry (AREA)
  • Image Processing (AREA)

Abstract

본 발명의 일 실시예에 따른 광각 영상 처리 방법은 제1 클라이언트 단말에 의하여 광각 영상을 처리하는 방법에 있어서, 광각 카메라에서 촬영된 원본 영상을 수신하는 단계, 소정의 뷰 모드를 선택하는 사용자 입력을 수신하는 단계, 외부의 공유 메모리에, 상기 소정의 뷰 모드에 대응하는 메타데이터를 요청하는 단계, 상기 공유 메모리로부터, 상기 소정의 뷰 모드에 대응하는 메타데이터를 수신하는 단계, 및 상기 소정의 뷰 모드에 대응하는 메타데이터에 기초하여, 상기 원본 영상에서 적어도 하나의 관심 영역을 설정하는 단계를 포함한다.

Description

광각 영상 처리 방법 및 이를 위한 장치{METHOD AND APPARATUS FOR PROCESSING WIDE ANGLE IMAGE}
본 발명은 광각 영상 처리 방법 및 이를 위한 장치에 관한 것이다.
어안 카메라는 공공장소, 예컨대 기차역, 시장, 거리의 교차로, 및 에이전시, 도서관, 법정, 교도소 등의 공공빌딩을 모니터링하기 위하여 사용된다. 또한 어안 카메라는 민간부문, 예컨대 경보 시스템 또는 주의가 필요한 개인들을 감시하기 위해 사용된다. 어안 카메라는 실내 및 실외 애플리케이션 모두에 대하여 적합할 수 있다.
(특허문헌 1) 공개특허공보 특2000-0000080
본 발명의 일 실시예에 따른 광각 영상 처리 방법은 제1 클라이언트 단말에 의하여 광각 영상을 처리하는 방법에 있어서, 광각 카메라에서 촬영된 원본 영상을 수신하는 단계, 소정의 뷰 모드를 선택하는 사용자 입력을 수신하는 단계, 외부의 공유 메모리에, 상기 소정의 뷰 모드에 대응하는 메타데이터를 요청하는 단계, 상기 공유 메모리로부터, 상기 소정의 뷰 모드에 대응하는 메타데이터를 수신하는 단계, 및 상기 소정의 뷰 모드에 대응하는 메타데이터에 기초하여, 상기 원본 영상에서 적어도 하나의 관심 영역을 설정하는 단계를 포함한다.
본 실시예에서, 상기 소정의 뷰 모드에 대응하는 메타데이터는, 상기 적어도 하나의 관심 영역에 대한 가상 PTZ(pan tilt zoom) 값일 수 있다.
본 실시예에서, 상기 소정의 뷰 모드에 대응하는 메타데이터는, JSON(javascript object notation) 파일, XML(extensible markup language) 파일, 및 TXT(text) 파일 중 적어도 하나의 형식일 수 있다.
본 실시예에서, 상기 공유 메모리는 상기 광각 카메라에 내장될 수 있다.
본 실시예에서, 상기 공유 메모리는 상기 광각 카메라와 상이한 외부 서버에 구비될 수 있다.
본 실시예에서, 상기 소정의 뷰 모드는, 상기 원본 영상 및 상기 적어도 하나의 관심 영역의 왜곡을 보정한 적어도 하나의 보정 영상을 보여주는 모드일 수 있다.
본 실시예에서, 상기 적어도 하나의 관심 영역에 포함된 제1 관심 영역을 제2 관심 영역으로 변경하는 제1 사용자 입력을 수신하는 단계, 상기 제2 관심 영역을 공유하기 위한 제2 사용자 입력을 수신하는 단계, 상기 제2 사용자 입력에 대응하여, 상기 제2 관심 영역에 대한 메타데이터를 추출하는 단계, 상기 소정의 뷰 모드에 대응하는 메타데이터에 상기 제2 관심 영역에 대한 메타데이터를 추가하여, 상기 소정의 뷰 모드에 대응하는 메타데이터를 갱신하는 단계, 및 상기 공유 메모리에, 갱신된 소정의 뷰 모드에 대응하는 메타데이터를 전송하는 단계를 더 포함할 수 있다.
본 실시예에서, 상기 소정의 뷰 모드에 대응하는 메타데이터를 갱신하는 단계는, 상기 소정의 뷰 모드에 대응하는 메타데이터로부터 상기 제1 관심 영역에 대한 메타데이터를 삭제하는 단계를 더 포함할 수 있다.
본 실시예에서, 상기 공유 메모리로부터, 상기 소정의 뷰 모드에 대응하는 메타데이터를 수신하지 않는 경우에는, 상기 원본 영상에서 적어도 하나의 관심 영역을 선택하는 제1 사용자 입력을 수신하는 단계, 상기 적어도 하나의 관심 영역을 공유하기 위한 제2 사용자 입력을 수신하는 단계, 상기 제2 사용자 입력에 대응하여, 상기 적어도 하나의 관심 영역에 대한 메타데이터를 추출하는 단계, 상기 적어도 하나의 관심 영역에 대한 메타데이터를 이용하여 상기 소정의 뷰 모드에 대응하는 메타데이터를 생성하는 단계, 및 상기 공유 메모리에, 생성된 소정의 뷰 모드에 대응하는 메타데이터를 전송하는 단계를 더 포함할 수 있다.
본 실시예에서, 상기 제1 클라이언트 단말과 상이한 제2 클라이언트 단말에 의하여, 상기 광각 영상을 처리하기 위한 적어도 하나의 단계가 수행될 수 있다.
본 발명의 일 실시예에 따른 광각 영상 처리 장치는 소정의 뷰 모드를 선택하는 사용자 입력을 수신하는 사용자 인터페이스, 광각 카메라로부터 원본 영상을 수신하고, 외부의 공유 메모리에 상기 소정의 뷰 모드에 대응하는 메타데이터를 요청하고, 상기 공유 메모리로부터 상기 소정의 뷰 모드에 대응하는 메타데이터를 수신하는 통신 인터페이스, 및 상기 소정의 뷰 모드에 대응하는 메타데이터에 기초하여, 상기 원본 영상에서 적어도 하나의 관심 영역을 설정하는 프로세서를 포함하고, 상기 소정의 뷰 모드에 대응하는 메타데이터는, 상기 적어도 하나의 관심 영역에 대한 위치 값일 수 있다.
본 실시예에서, 상기 소정의 뷰 모드에 대응하는 메타데이터는, JSON(javascript object notation) 파일, XML(extensible markup language) 파일, 및 TXT(text) 파일 중 적어도 하나의 형식일 수 있다.
본 실시예에서, 상기 공유 메모리는 상기 광각 카메라 또는 상기 광각 카메라와 상이한 외부 서버에 구비될 수 있다.
본 실시예에서, 상기 소정의 뷰 모드는, 상기 원본 영상 및 상기 적어도 하나의 관심 영역의 왜곡을 보정한 적어도 하나의 보정 영상을 보여주는 모드일 수 있다.
본 실시예에서, 상기 사용자 인터페이스는, 상기 적어도 하나의 관심 영역에 포함된 제1 관심 영역을 제2 관심 영역으로 변경하는 제1 사용자 입력 및 상기 제2 관심 영역을 공유하기 위한 제2 사용자 입력을 수신하고, 상기 프로세서는, 상기 제2 사용자 입력에 대응하여 상기 제2 관심 영역에 대한 메타데이터를 추출하고, 상기 소정의 뷰 모드에 대응하는 메타데이터에 상기 제2 관심 영역에 대한 메타데이터를 추가함으로써 상기 소정의 뷰 모드에 대응하는 메타데이터를 갱신하고, 상기 통신 인터페이스는, 상기 공유 메모리에 갱신된 소정의 뷰 모드에 대응하는 메타데이터를 전송할 수 있다.
본 실시예에서, 상기 사용자 인터페이스는, 상기 소정의 뷰 모드의 관심 영역 히스토리를 요청하는 사용자 입력을 수신하고, 상기 통신 인터페이스는, 상기 공유 메모리에 상기 갱신된 소정의 뷰 모드에 대응하는 메타데이터를 요청하고, 상기 공유 메모리로부터 상기 갱신된 소정의 뷰 모드에 대응하는 메타데이터를 수신하고, 상기 프로세서는, 상기 갱신된 소정의 뷰 모드에 대응하는 메타데이터에 기초하여, 상기 원본 영상에서 상기 제1 관심 영역 및 상기 제2 관심 영역을 각각 시간의 흐름에 따라 화면에 보여줄 수 있다.
본 실시예에서, 상기 프로세서는, 상기 소정의 뷰 모드에 대응하는 메타데이터로부터 상기 제1 관심 영역에 대한 메타데이터를 삭제함으로써 상기 소정의 뷰 모드에 대응하는 메타데이터를 갱신할 수 있다.
본 실시예에서, 상기 통신 인터페이스가 상기 공유 메모리로부터 상기 소정의 뷰 모드에 대응하는 메타데이터를 수신하지 않으면, 상기 사용자 인터페이스는, 상기 원본 영상에서 적어도 하나의 관심 영역을 선택하는 제1 사용자 입력 및 상기 적어도 하나의 관심 영역을 공유하기 위한 제2 사용자 입력을 수신하고, 상기 프로세서는, 상기 제2 사용자 입력에 대응하여 상기 적어도 하나의 관심 영역에 대한 메타데이터를 추출하고, 상기 적어도 하나의 관심 영역에 대한 메타데이터를 이용하여 상기 소정의 뷰 모드에 대응하는 메타데이터를 생성하고, 상기 통신 인터페이스를 통해 상기 공유 메모리에 생성된 소정의 뷰 모드에 대응하는 메타데이터를 전송할 수 있다.
본 발명의 실시예들에 따르면, 하나의 장치에 의하여 원본 영상에서 설정된 관심 영역에 대한 메타데이터를 다른 장치와 공유할 수 있는 광각 영상 처리 기술을 제공할 수 있다.
또한, 본 발명의 실시예들에 따르면, 하나의 장치에 의하여 갱신된 관심 영역에 대한 메타데이터를 다른 장치와 공유할 수 있는 광각 영상 처리 기술을 제공할 수 있다.
또한, 본 발명의 실시예들에 따르면, 공유 가능한 갱신된 관심 영역에 대한 메타데이터를 이용하여, 원본 영상에서의 관심 영역의 변경 히스토리를 공유할 수 있는 광각 영상 처리 기술을 제공할 수 있다.
도 1은 일 실시예에 따른 광각 영상 처리 시스템을 설명하기 위한 도면이다.
도 2a 및 도 2b는 일 실시예에 따른 외부의 공유 메모리를 설명하기 위한 도면이다.
도 3은 일 실시예에 따른 광각 영상 처리 장치의 구성도이다.
도 4a 및 도 4b는 일 실시예에 따른 광각 영상 처리 방법을 설명하기 위한 도면이다.
도 5a, 도 5b, 및 도 5c는 다른 실시예에 따른 광각 영상 처리 방법을 설명하기 위한 도면이다.
도 6은 또 다른 실시예에 따른 광각 영상 처리 방법을 설명하기 위한 흐름도이다.
본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시 예를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
이하의 실시예에서, 제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 구성요소들은 용어들에 의해 한정되어서는 안 된다. 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
이하의 실시예에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 다수의 표현을 포함한다. 이하의 실시예에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
본 발명의 실시예들은 기능적인 블록 구성들 및 다양한 처리 단계들로 나타내어질 수 있다. 이러한 기능 블록들은 특정 기능들을 실행하는 다양한 개수의 하드웨어 또는/및 소프트웨어 구성들로 구현될 수 있다. 예를 들어, 본 발명의 실시예들은 하나 이상의 마이크로프로세서들의 제어 또는 다른 제어 장치들에 의해서 다양한 기능들을 실행할 수 있는, 메모리, 프로세싱, 로직(logic), 룩업 테이블(look-up table) 등과 같은 직접 회로 구성들을 채용할 수 있다. 본 발명의 실시예의 구성 요소들이 소프트웨어 프로그래밍 또는 소프트웨어 요소들로 실행될 수 있는 것과 유사하게, 본 발명의 실시예는 데이터 구조, 프로세스들, 루틴들 또는 다른 프로그래밍 구성들의 조합으로 구현되는 다양한 알고리즘을 포함하여, C, C++, 자바(Java), 어셈블러(assembler) 등과 같은 프로그래밍 또는 스크립팅 언어로 구현될 수 있다. 기능적인 측면들은 하나 이상의 프로세서들에서 실행되는 알고리즘으로 구현될 수 있다. 또한, 본 발명의 실시예들은 전자적인 환경 설정, 신호 처리, 및/또는 데이터 처리 등을 위하여 종래 기술을 채용할 수 있다. 매커니즘, 요소, 수단, 구성과 같은 용어는 넓게 사용될 수 있으며, 기계적이고 물리적인 구성들로서 한정되는 것은 아니다. 상기 용어는 프로세서 등과 연계하여 소프트웨어의 일련의 처리들(routines)의 의미를 포함할 수 있다.
도 1은 일 실시예에 따른 광각 영상 처리 시스템을 설명하기 위한 도면이다.
도 1을 참조하면, 광각 영상 처리 시스템은 광각 카메라(10) 및 클라이언트 단말(100)을 포함한다.
광각 카메라(10)는 감시 영역을 촬영하여 감시 영역에 대한 원본 영상을 획득한다. 광각 카메라(10)는 감시 또는 보안의 목적으로 감시 영역을 실시간으로 촬영할 수 있다.
광각 카메라(10)는 180도 이상의 화각을 가지는 어안 카메라(fisheye camera)일 수 있다. 광각 카메라(10)에서 촬영된 원본 영상(original image)은 광각 영상으로서 다양한 왜곡을 가질 수 있다.
광각 카메라(10)는 공유 메모리(20)를 포함할 수 있다. 공유 메모리(20)는 소정의 뷰 모드에 대응하는 메타데이터를 저장한다.
일 실시예에 따른 광각 영상 처리 장치는 클라이언트 단말(100)로 구현될 수 있다.
클라이언트 단말(100)은 광각 카메라(10)에서 촬영된 원본 영상을 수신하고, 원본 영상의 왜곡을 보정한 보정 영상을 출력한다.
상세하게는, 클라이언트 단말(100)은 광각 카메라(10)의 원본 영상을 수신하면, 공유 메모리(20)에 메타데이터를 요청한다. 그리고, 클라이언트 단말(100)은 공유 메모리(20)로부터 수신한 메타데이터에 기초하여, 원본 영상에서 적어도 하나의 관심 영역을 설정한다.
메타데이터는 광각 영상에서의 관심 영역의 위치 값을 가리킬 수 있다.
클라이언트 단말(100)은 공유 메모리(20)로부터 메타데이터를 수신하지 않으면, 원본 영상에서 적어도 하나의 관심 영역을 선택하는 사용자 입력 및 적어도 하나의 관심 영역에 대한 사용자 입력에 대응하여, 적어도 하나의 관심 영역에 대한 메타데이터를 생성할 수 있다. 그리고, 클라이언트 단말(100)은 새로 생성한 메타데이터를 공유 메모리(20)에 저장할 수 있다.
클라이언트 단말(100)은 하나 이상일 수 있다. 예를 들어, 클라이언트 단말(100)은 제1 클라이언트 단말(100a) 및 제2 클라이언트 단말(100b)을 포함할 수 있다. 제1 클라이언트 단말(100a)과 제2 클라이언트 단말(100b)은 본 실시예들에 따른 광각 영상 처리를 위한 적어도 하나의 단계를 동일하게 수행할 수 있다.
이하에서, 제1 클라이언트 단말(100a)과 제2 클라이언트 단말(100b)이 공유 메모리(20)에 저장된 메타데이터를 공유하는 실시예들에 대하여 상세하게 설명한다.
제1 클라이언트 단말(100a)은 광각 카메라(10)로부터 원본 영상을 수신하고, 공유 메모리(20)에 메타데이터를 요청할 수 있다. 제1 클라이언트 단말(100a)은 공유 메모리(20)로부터 메타데이터를 수신하면, 메타데이터에 기초하여 원본 영상에서 적어도 하나의 관심 영역을 설정할 수 있다.
제2 클라이언트 단말(100b) 역시 제1 클라이언트 단말(100a)이 수신한 메타데이터와 동일한 메타데이터를 공유 메모리(20)로부터 수신할 수 있다. 이때, 제2 클라이언트 단말(100b)이 원본 영상에서 설정한 적어도 하나의 관심 영역은, 제1 클라이언트 단말(100a)이 원본 영상에서 설정한 적어도 하나의 관심 영역과 동일할 수 있다.
한편, 제1 클라이언트 단말(100a)은 메타데이터에 기초하여 설정된 적어도 하나의 관심 영역을 변경할 수 있다. 이하에서, 이전의 관심 영역은 공유 메모리(20)에 저장된 메타데이터에 기초하여 설정되는 관심 영역을 의미한다.
예를 들어, 제1 클라이언트 단말(100a)은 이전의 관심 영역을 새로운 관심 영역으로 변경할 수 있다. 제1 클라이언트 단말(100a)은 상기 새로운 관심 영역을 공유하기 위한 사용자 입력에 대응하여, 상기 새로운 관심 영역의 위치 값을 추출할 수 있다. 제1 클라이언트 단말(100a)은 공유 메모리(20)로부터 수신한 메타데이터에 상기 새로운 관심 영역의 위치 값을 추가하고, 변경된 메타데이터를 공유 메모리(20)에 전송할 수 있다.
제1 클라이언트 단말(100a)로부터, 변경된 메타데이터를 수신한 공유 메모리(20)는, 메타데이터를 갱신할 수 있다.
일 실시예에 따른 공유 메모리(20)는, 상기 이전의 관심 영역의 위치 값과 관련하여 상기 새로운 관심 영역의 위치 값을 누적함으로써, 메타데이터를 갱신할 수 있다.
이때, 공유 메모리(20)는 상기 이전의 관심 영역의 위치 값과 제1 타임 스탬프(time stamp)를 함께 저장하고, 상기 새로운 관심 영역의 위치 값과 제2 타임 스탬프를 함께 저장할 수 있다. 제1 타임 스탬프는 상기 이전의 관심 영역의 설정 시간을 나타낼 수 있고, 제2 타임 스탬프는 상기 새로운 관심 영역의 설정 시간을 나타낼 수 있다.
이후, 제2 클라이언트 단말(100b)이 공유 메모리(20)에 메타데이터를 요청하면, 제2 클라이언트 단말(100b)은 갱신된 메타데이터를 공유 메모리(20)로부터 수신할 수 있다. 이때, 제2 클라이언트 단말(100b)은 갱신된 메타데이터에 기초하여 원본 영상에서 상기 새로운 관심 영역을 포함하는 적어도 하나의 관심 영역을 설정할 수 있다.
여기서, 제2 클라이언트 단말(100b)은 관심 영역 히스토리를 요청하는 사용자 입력에 대응하여, 공유 메모리(20)에 갱신된 메타데이터를 요청할 수 있다. 제2 클라이언트 단말(100a)은 갱신된 메타데이터에 기초하여, 상기 이전의 관심 영역 및 상기 새로운 관심 영역을 각각 시간의 흐름에 따라 화면에 표시할 수 있다.
예를 들어, 제2 클라이언트 단말(100a)은 상기 이전의 관심 영역 및 상기 새로운 관심 영역을, 제1 타임 스탬프 및 제2 타임 스탬프와 함께, 화면에 표시된 원본 영상 상에 표시할 수 있다.
다른 예를 들어, 제2 클라이언트 단말(100a)은 화면에 표시된 원본 영상 상에 상기 이전의 관심 영역 또는 상기 새로운 관심 영역을 표시하되, 상기 이전의 관심 영역을 먼저 표시한 다음, 상기 새로운 영역을 표시할 수 있다.
다른 실시예에 따른 공유 메모리(20)는, 상기 이전의 관심 영역의 위치 값을 삭제하고 상기 새로운 관심 영역의 위치 값을 추가함으로써, 메타데이터를 갱신할 수 있다.
도 2a 및 도 2b는 일 실시예에 따른 외부의 공유 메모리를 설명하기 위한 도면이다.
도 1 및 도 2a를 참조하면, 공유 메모리(20)는 통신 인터페이스(21), 프로세서(23), 및 메모리(25)를 포함한다.
공유 메모리(20)는 클라이언트 단말(100)이 접근할 수 있는 장치이다. 예를 들어, 제1 클라이언트 단말(100a) 및 제2 클라이언트 단말(100b)은 각각 공유 메모리(20)에 접근할 수 있다.
일 실시예에 따른 공유 메모리(20)는 광각 카메라(10)에 구비될 수 있다. 이때, 공유 메모리(20)의 통신 인터페이스(21)는 광각 카메라(10)의 통신 인터페이스일 수 있고, 공유 메모리(20)의 프로세서(23)는 광각 카메라(10)의 프로세서일 수 있고, 공유 메모리(20)의 메모리(25)는 광각 카메라(10)의 SD 메모리(secure digital memory)일 수 있으며, 이에 한정하지 않는다.
다른 실시예에 따른 공유 메모리(20)는 외부 서버에 구비될 수 있다. 이때, 공유 메모리(20)의 통신 인터페이스(21)는 외부 서버의 통신 인터페이스일 수 있고, 공유 메모리(20)의 프로세서(23)는 외부 서버의 프로세서일 수 있고, 공유 메모리(20)의 메모리(25)는 외부 서버의 데이터베이스일 수 있으며, 이에 한정하지 않는다.
통신 인터페이스(21)는 클라이언트 단말(100)로부터 메타데이터 요청을 수신하고, 클라이언트 단말(100)에 메타데이터를 전송한다.
일 실시예에 따른 통신 인터페이스(21)는 클라이언트 단말(100)에 좌표 데이터 형식의 메타데이터를 전송할 수 있다. 좌표 데이터 형식의 메타데이터는 가상 PTZ(pan tilt zoom) 값일 수 있다.
다른 실시예에 따른 통신 인터페이스(21)는 클라이언트 단말(100)에 파일 형식의 메타데이터를 전송할 수 있다. 파일 형식의 메타데이터는 가상 PTZ 값을 포함하는 JSON(javascript object notation) 파일, XML(extensible markup language) 파일, 및 TXT(text) 파일 중 적어도 하나일 수 있다.
프로세서(23)는 메타데이터를 메모리(25)에 기록할 수 있다.
프로세서(23)는 클라이언트 단말(100)에 의해 변경된 메타데이터에 기초하여, 메모리(25)에 저장된 메타데이터를 갱신할 수 있다.
상세하게는, 프로세서(23)는 새로운 관심 영역의 위치 값을 포함하는 메타데이터에 기초하여, 새로운 관심 영역의 설정 시간을 나타내는 제2 타임 스탬프를 생성할 수 있다.
일 실시예에 따른 프로세서(23)는 이전의 관심 영역의 위치 값 및 제1 타임 스탬프와 관련하여, 새로운 관심 영역의 위치 값 및 제2 타임 스탬프를 누적하여 메모리(25)에 저장할 수 있다.
다른 실시예에 따른 프로세서(23)는 메모리(25)로부터 이전의 관심 영역의 위치 값 및 제1 타임 스탬프를 삭제하고, 새로운 관심 영역의 위치 값 및 제2 타임 스탬프를 메모리(25)에 기록할 수 있다.
메모리(25)는 메타데이터를 저장한다.
상세하게는, 메모리(25)는 소정의 뷰 모드에 대응하는 메타데이터를 저장할 수 있다.
소정의 뷰 모드는 멀티 뷰(multi view) 즉, 원본 영상 및 적어도 하나의 관심 영역의 왜곡을 보정한 적어도 하나의 보정 영상 중 적어도 하나를 보여주는 모드일 수 있다. 예를 들어, 소정의 뷰 모드는 원본 영상 및 3개의 보정 영상을 보여주는 쿼드 뷰(quad view)일 수 있다.
소정의 뷰 모드에 대응하는 메타데이터는 소정의 뷰 모드에서 보여주는 적어도 하나의 보정 영상에 대응하는 적어도 하나의 관심 영역에 대한 메타데이터를 포함할 수 있다. 예를 들어, 쿼드 뷰 모드에 대응하는 메타데이터는 3개의 보정 영상에 대응하는 3개의 관심 영역에 대한 메타데이터 중 적어도 하나를 포함할 수 있다.
소정의 뷰 모드에 대응하는 메타데이터는, JSON(javascript object notation) 파일, XML(extensible markup language) 파일, 및 TXT(text) 파일 중 적어도 하나의 형식일 수 있다.
메타데이터는 관심 영역의 위치 값 및 관심 영역의 설정 시간을 나타내는 타임 스탬프를 포함할 수 있다.
일 실시예에 따른 메모리(25)는 도 2b와 같이 구조화된 메타데이터를 포함하는 JSON 파일을 저장할 수 있다.
도 2b를 참조하면, JSON 파일에는 소정의 뷰 모드에 대응하는 메타데이터가 뷰 모드의 식별 정보 및 관심 영역의 식별 정보에 기초하여 기록될 수 있다.
예를 들어, 쿼드 뷰 모드에 대응하는 메타데이터는, 제1 뷰 모드(ViewMode1)와, 제1 관심 영역(PTZ1), 제2 관심 영역(PTZ2), 및 제3 관심 영역(PTZ3)에 기초하여, JSON 파일에 기록될 수 있다.
도 3은 일 실시예에 따른 광각 영상 처리 장치의 구성도이다.
도 3을 참조하면, 클라이언트 단말(100)은 사용자 인터페이스(110), 통신 인터페이스(130), 프로세서(150), 메모리(170), 및 디스플레이 모듈(190)을 포함한다.
사용자 인터페이스(110)는 소정의 뷰 모드를 선택하는 사용자 입력을 수신한다. 예를 들어, 사용자 인터페이스(110)는 쿼드 뷰 모드를 선택하는 사용자 입력을 수신할 수 있다.
한편, 사용자 인터페이스(110)는 이전의 관심 영역을 새로운 관심 영역으로 변경하는 제1 사용자 입력 및 새로운 관심 영역을 공유하기 위한 제2 사용자 입력을 수신할 수 있다.
제1 사용자 입력은 이전의 관심 영역을 삭제하고 새로운 관심 영역을 추가하는 사용자 입력일 수 있다. 예를 들어, 제1 사용자 입력은, 화면에 표시된 원본 영상 상에서, 이전의 관심 영역에 대한 선택 및 새로운 관심 영역으로의 드래그 앤 드롭(drag and drop)일 수 있다.
제2 사용자 입력은 새로운 관심 영역에 대한 메타데이터를 공유 메모리(20)에 전송하는 사용자 입력일 수 있다. 예를 들어, 제2 사용자 입력은, 화면에 표시된 새로운 관심 영역의 왜곡을 보정한 새로운 보정 영상에 대한 마우스오버일 수 있다.
한편, 사용자 인터페이스(110)는 소정의 뷰 모드의 관심 영역 히스토리를 요청하는 사용자 입력을 수신할 수 있다. 예를 들어, 사용자 인터페이스(110)는 쿼드 뷰 모드의 관심 영역 히스토리를 요청하는 사용자 입력을 수신할 수 있다.
한편, 사용자 인터페이스(110)는 원본 영상에서 적어도 하나의 관심 영역을 선택하는 제3 사용자 입력을 수신할 수 있다. 예를 들어, 제3 사용자 입력은, 원본 영상의 어느 한 지점에 대한 선택일 수 있다.
사용자 인터페이스(110)는 키보드, 마우스, 버튼, 돔 스위치(dome switch), 조그 휠, 조그 스위치, 마이크, 포인터, 터치 패널 등과 같이 사용자가 원본 영상의 원하는 영역을 선택할 수 있도록 제공되는 입력 수단을 포함할 수 있다.
통신 인터페이스(130)는 광각 카메라(10)로부터 원본 영상을 수신하고, 외부의 공유 메모리(20)에 소정의 뷰 모드에 대응하는 메타데이터를 요청하고, 공유 메모리(20)로부터 소정의 뷰 모드에 대응하는 메타데이터를 수신한다. 예를 들어, 통신 인터페이스(130)는 공유 메모리(20)에 쿼드 뷰 모드에 대응하는 메타데이터를 요청하고, 공유 메모리(20)로부터 쿼드 뷰 모드에 대응하는 메타데이터를 수신할 수 있다.
쿼드 뷰 모드에 대응하는 메타데이터는, 3개의 관심 영역에 대한 메타데이터를 모두 포함하는 JSON 파일, 또는 3개의 관심 영역에 대한 메타데이터 중 하나의 관심 영역에 대한 메타데이터일 수 있다.
한편, 통신 인터페이스(130)는 공유 메모리(20)에 갱신된 소정의 뷰 모드에 대응하는 메타데이터를 전송할 수 있다.
갱신된 소정의 뷰 모드에 대응하는 메타데이터는, 공유 메모리(20)로부터 수신한 소정의 뷰 모드에 대응하는 메타데이터의 적어도 일부가 삭제 및/또는 추가된 메타데이터일 수 있다.
한편, 통신 인터페이스(130)는 공유 메모리(20)에 갱신된 소정의 뷰 모드에 대응하는 메타데이터를 요청하고, 공유 메모리(20)로부터 갱신된 소정의 뷰 모드에 대응하는 메타데이터를 수신할 수 있다.
통신 인터페이스(130)는 예를 들어, 무선 네트워크, 유선 네트워크, 인터넷과 같은 공용 네트워크, 사설 네트워크, 모바일 통신 네트워크용 광역 시스템(global system for mobile communications, GSM) 네트워크, 범용 패킷 무선 네트워크(general packet radio network, GPRS), 근거리 네트워크(local area network, LAN), 광역 네트워크(wide area network, WAN), 거대도시 네트워크(metropolitan area network, MAN), 셀룰러 네트워크, 공중 전화 교환 네트워크(public switched telephone network, PSTN), 개인 네트워크(personal area network), 블루투스(bluetooth), Wi-Fi 다이렉트(Wi-Fi Direct), 근거리장 통신(Near Field communication), 초 광 대역(Ultra Wide band), 이들의 조합, 또는 임의의 다른 네트워크를 통해 광각 카메라(10)와 통신할 수 있다.
프로세서(150)는 소정의 뷰 모드에 대응하는 메타데이터에 기초하여, 원본 영상에서 적어도 하나의 관심 영역을 설정한다. 예를 들어, 프로세서(150)는 공유 메모리(20)로부터 전송된 쿼드 뷰 모드에 대응하는 메타데이터에 기초하여, 원본 영상에서 3개의 관심 영역을 설정할 수 있다.
본 실시예에 따르면, 공유 메모리(20)로부터 전송된 메타데이터에 기초하여 원본 영상의 관심 영역을 설정함으로써, 다른 장치에 의해 설정된 원본 영상의 관심 영역을 공유할 수 있다.
한편, 프로세서(150)는 새로운 관심 영역을 공유하기 위한 제2 사용자 입력에 대응하여 새로운 관심 영역에 대한 메타데이터를 추출하고, 소정의 뷰 모드에 대응하는 메타데이터에 새로운 관심 영역에 대한 메타데이터를 추가함으로써, 소정의 뷰 모드에 대응하는 메타데이터를 갱신할 수 있다.
일 실시예에 따른 프로세서(150)는 쿼드 뷰 모드에 대응하는 메타데이터를 포함하는 JSON 파일에, 새로운 관심 영역에 대한 메타데이터를 추가함으로써, 쿼드 뷰 모드에 대응하는 메타데이터를 갱신할 수 있다.
다른 실시예에 따른 프로세서(150)는 이전의 관심 영역에 대한 메타데이터를 새로운 관심 영역에 대한 메타데이터로 변경함으로써, 쿼드 뷰 모드에 대응하는 메타데이터를 갱신할 수 있다.
한편, 프로세서(150)는 사용자 인터페이스(110)를 통해 제1 사용자 입력을 수신한 시점을 기준으로 소정의 시간이 경과하면, 새로운 관심 영역에 대한 메타데이터를 추출하고, 소정의 뷰 모드에 대응하는 메타데이터에 새로운 관심 영역에 대한 메타데이터를 추가함으로써, 소정의 뷰 모드에 대응하는 메타데이터를 갱신할 수 있다.
본 실시예에 따르면, 공유 메모리(20)에 저장된 메타데이터를 갱신함으로써, 원본 영상의 변경된 관심 영역을 다른 장치와 공유할 수 있다.
한편, 프로세서(150)는 갱신된 소정의 뷰 모드에 대응하는 메타데이터에 기초하여, 원본 영상에서 이전의 관심 영역 및 새로운 관심 영역을 각각 시간의 흐름에 따라 화면에 보여줄 수 있다. 이때, 갱신된 소정의 뷰 모드에 대응하는 메타데이터는, 이전의 관심 영역에 대한 메타데이터 및 새로운 관심 영역에 대한 메타데이터를 포함할 수 있다.
본 실시예에 따르면, 공유 메모리(20)에 저장된 갱신된 메타데이터를 통해, 원본 영상의 관심 영역의 변경 히스토리를 다른 장치와 공유할 수 있다.
한편, 프로세서(150)는 소정의 뷰 모드에 대응하는 메타데이터에 새로운 관심 영역에 대한 메타데이터를 추가하면서, 소정의 뷰 모드에 대응하는 메타데이터로부터 이전의 관심 영역에 대한 메타데이터를 삭제함으로써, 소정의 뷰 모드에 대응하는 메타데이터를 갱신할 수 있다.
한편, 프로세서(150)는 적어도 하나의 관심 영역을 선택하는 제3 사용자 입력에 대응하여, 적어도 하나의 관심 영역에 대한 메타데이터를 추출하고, 적어도 하나의 관심 영역에 대한 메타데이터를 이용하여 소정의 뷰 모드에 대응하는 메타데이터를 생성하고, 생성된 소정의 뷰 모드에 대응하는 메타데이터를 통신 인터페이스(110)를 통해 공유 메모리(20)에 전송할 수 있다.
프로세서(150)는, 통신 인터페이스(110)를 통해 외부의 공유 메모리(20)에 소정의 뷰 모드에 대응하는 메타데이터를 요청한 경우, 공유 메모리(20)로부터 소정의 뷰 모드에 대응하는 메타데이터를 수신하지 않는 경우, 소정의 뷰 모드에 대응하는 메타데이터를 생성할 수 있다.
본 실시예에 따르면, 원본 영상에서 설정된 관심 영역에 대한 메타데이터를 공유 메모리(20)에 저장함으로써, 다른 장치와 원본 영상의 관심 영역을 공유할 수 있다.
도 4a 및 도 4b는 일 실시예에 따른 광각 영상 처리 방법을 설명하기 위한 도면이다.
도 4a 및 도 4b를 참조하면, 광각 카메라(10)는 감시 영역을 촬영하여 광각 영상인 원본 영상을 획득한다(S101).
클라이언트 단말(100)은 광각 카메라(10)에서 촬영된 원본 영상(11)을 수신한다(S103)
한편, 클라이언트 단말(100)은 제1 뷰 모드를 선택하는 사용자 입력을 수신한다(S105). 예를 들어, 제1 뷰 모드는 쿼드 뷰 모드일 수 있다.
이어서, 클라이언트 단말(100)은 공유 메모리(20)가 구비된 광각 카메라(10)에 제1 뷰 모드에 대응하는 메타데이터를 요청한다(S107).
광각 카메라(10)는 클라이언트 단말(100)의 요청에 대응하여, 공유 메모리(20)에서 제1 뷰 모드에 대응하는 메타데이터를 검색한다(S109). 여기서, 광각 카메라(10)는 JSON 파일, XML 파일, 또는 TXT 파일에서 쿼드 뷰 모드에 대응하는 메타데이터를 검색할 수 있다.
이어서, 광각 카메라(10)는 클라이언트 단말(100)에 제1 뷰 모드에 대응하는 메타데이터를 전송한다(S111).
예를 들어, 쿼드 뷰 모드에 대응하는 메타데이터는, 3개의 보정 영상에 대응하는 3개의 관심 영역에 대한 메타데이터일 수 있다.
다른 예를 들어, 광각 카메라(10)는 쿼드 뷰 모드에 대응하는 메타데이터가 포함된 JSON 파일, XML 파일, 또는 TXT 파일을 클라이언트 단말(100)에 전송할 수 있다.
이어서, 클라이언트 단말(100)은 제1 뷰 모드에 대응하는 메타데이터에 기초하여, 원본 영상(11)에서 적어도 하나의 관심 영역을 설정한다(S113). 예를 들어, 클라이언트 단말(100)은 원본 영상(11)에서 제1 관심 영역(ROI1), 제2 관심 영역(ROI2), 및 제3 관심 영역(ROI3)을 설정할 수 있다.
이어서, 클라이언트 단말(100)은 적어도 하나의 관심 영역의 왜곡을 보정한 적어도 하나의 보정 영상을 생성한다(S115). 예를 들어, 클라이언트 단말(100)은 제1 관심 영역(ROI1)의 왜곡을 보정한 제1 보정 영상, 제2 관심 영역(ROI2)의 왜곡을 보정한 제2 보정 영상, 및 제3 관심 영역(ROI3)의 왜곡을 보정한 제3 보정 영상을 생성할 수 있다.
이어서, 클라이언트 단말(100)은 원본 영상 및 적어도 하나의 보정 영상을 표시한다(S117). 예를 들어, 클라이언트 단말(100)의 디스플레이 모듈(190)은 원본 영상(11) 및 제1 내지 제3 보정 영상을 화면(191)에 동시에 출력할 수 있다.
상세하게는, 디스플레이 모듈(190)은 원본 레이어(LO), 제1 레이어(L1), 제2 레이어(L2), 및 제3 레이어(L3)를 포함하는 쿼드 뷰를 제공할 수 있다. 이때, 원본 영상(11)이 원본 레이어(LO)에, 제1 보정 영상이 제1 레이어(L1)에, 제2 보정 영상이 제2 레이어(L2)에, 제3 보정 영상이 제3 레이어(L3)에 표시될 수 있다.
여기서 클라이언트 단말(100)은 복수개일 수 있으며, 본 실시예에 따라, 복수개의 클라이언트 단말(100)들이 공유 메모리(20)에 저장된 메타데이터에 기초하여, 원본 영상에서 동일한 관심 영역을 설정할 수 있다.
도 5a, 도 5b, 및 도 5c는 다른 실시예에 따른 광각 영상 처리 방법을 설명하기 위한 도면이다.
*도 4a, 도 4b, 도 5a, 및 도 5b를 참조하면, 클라이언트 단말(100)은 적어도 하나의 관심 영역에 포함된 이전의 관심 영역을 새로운 관심 영역으로 변경하는 제1 사용자 입력을 수신한다(S319). 예를 들어, 제1 사용자 입력은 원본 영상(11)에 표시된 제1 관심 영역(ROI1)을 선택하여 새로운 관심 영역으로 드래그 앤 드롭하는 사용자 제스처(gesture)일 수 있다.
도시하지 않았으나, 클라이언트 단말(100)은 새로운 관심 영역의 왜곡을 보정한 새로운 보정 영상을 제1 레이어(L1)에 표시할 수 있다.
이어서, 클라이언트 단말(100)은 새로운 관심 영역을 공유하기 위한 제2 사용자 입력을 수신한다(S321). 예를 들어, 제2 사용자 입력은 제1 레이어(L1)에 대한 마우스오버(132)일 수 있다.
이어서, 클라이언트 단말(100)은 제2 사용자 입력에 대응하여 새로운 관심 영역에 대한 메타데이터를 추출한다(S323).
한편, 클라이언트 단말(100)은, 제1 관심 영역(ROI1)을 선택하여 새로운 관심 영역으로 드래그 앤 드롭한 시점으로부터 소정의 시간이 경과하면, 새로운 관심 영역에 대한 메타데이터를 추출할 수 있다.
이어서, 클라이언트 단말(100)은 제1 뷰 모드에 대응하는 메타데이터에 새로운 관심 영역에 대한 메타데이터를 추가하여, 제1 뷰 모드에 대응하는 메타데이터를 갱신할 수 있다(S325).
일 실시예에 따르면, 클라이언트 단말(100)은 기존의 관심 영역에 대한 메타데이터 및 새로운 관심 영역에 대한 메타데이터를 누적함으로써, 제1 뷰 모드에 대응하는 메타데이터를 갱신할 수 있다.
다른 실시예에 따르면, 클라이언트 단말(100)은 기존의 관심 영역에 대한 메타데이터를 삭제하고, 새로운 관심 영역에 대한 메타데이터를 추가함으로써, 제1 뷰 모드에 대응하는 메타데이터를 갱신할 수 있다.
이어서, 클라이언트 단말(100)은 광각 카메라(10)에, 새로운 관심 영역에 대한 메타데이터가 추가된 제1 뷰 모드에 대응하는 메타데이터를 전송한다(S327).
예를 들어, 제1 뷰 모드에 대응하는 메타데이터는, 쿼드 뷰 모드에 대응하는 3개의 보정 영상에 대응하는 3개의 관심 영역에 대한 메타데이터일 수 있다.
다른 예를 들어, 제1 뷰 모드에 대응하는 메타데이터는, 쿼드 뷰 모드에 대응하는 메타데이터가 포함된 JSON 파일, XML 파일, 또는 TXT 파일일 수 있다.
한편, 클라이언트 단말(100)은 광각 카메라(10)에, 새로운 관심 영역에 대한 메타데이터를 전송할 수 있다.
이어서, 광각 카메라(10)는 제1 뷰 모드에 대응하는 메타데이터를 갱신한다(S329). 다시 말하면, 광각 카메라(10)는 내장된 공유 메모리(20)에 갱신된 제1 뷰 모드에 대응하는 메타데이터를 저장할 수 있다.
일 실시예에 따르면, 갱신된 제1 뷰 모드에 대응하는 메타데이터는 예컨대, 제1 관심 영역(ROI1)에 대하여, 기존의 관심 영역에 대한 메타데이터 및 새로운 관심 영역에 대한 메타데이터를 포함할 수 있다.
다른 실시예에 따르면, 갱신된 제1 뷰 모드에 대응하는 메타데이터는 예컨대, 제1 관심 영역(ROI1)에 대하여, 최근의 관심 영역에 대한 메타데이터를 포함할 수 있다.
이하에서의, 도 4a, 도 4b, 및 도 5c에 대한 설명은, 제1 뷰 모드에 대응하는 메타데이터가 기존의 관심 영역에 대한 메타데이터 및 새로운 관심 영역에 대한 메타데이터를 포함하는 경우에 한하여 적용될 수 있다.
도 4a, 도 4b, 및 도 5c를 참조하면, 클라이언트 단말(100)은 제1 뷰 모드의 관심 영역 히스토리를 요청하는 사용자 입력을 수신한다(S531).
이어서, 클라이언트 단말(100)이 광각 카메라(10)에 제1 뷰 모드에 대응하는 메타데이터를 요청하면(S533), 광각 카메라(10)는 공유 메모리(20)에서 제1 뷰 모드에 대응하는 메타데이터를 검색한다(S535).
이어서, 광각 카메라(10)는 검색된 제1 뷰 모드에 대응하는 메타데이터를 클라이언트 단말(100)에 전송한다(S537).
제1 뷰 모드에 대응하는 메타데이터를 수신한 클라이언트 단말(100)은, 제1 뷰 모드에 대응하는 메타데이터에 기초하여, 화면 상에 이전의 관심 영역 및 새로운 관심 영역을 시간의 흐름에 따라 디스플레이한다(S539).
도 6은 또 다른 실시예에 따른 광각 영상 처리 방법을 설명하기 위한 흐름도이다.
도 6을 참조하면, 광각 카메라(10)는 감시 영역을 촬영하여 광각 영상인 원본 영상을 획득한다(S701).
클라이언트 단말(100)은 광각 카메라(10)에서 촬영된 원본 영상을 수신하고(S703), 제1 뷰 모드를 선택하는 사용자 입력을 수신한다(S705). 예를 들어, 제1 뷰 모드는 쿼드 뷰 모드일 수 있다.
일 실시예에 따르면, 클라이언트 단말(100)은 제1 뷰 모드를 선택하는 사용자 입력에 대응하여, 화면에 원본 영상에서 적어도 하나의 관심 영역을 선택할 수 있는 사용자 인터페이스를 제공할 수 있다.
다른 실시예에 따르면, 클라이언트 단말(100)은 제1 뷰 모드를 선택하는 사용자 입력에 대응하여, 광각 카메라(10)에 제1 뷰 모드에 대응하는 메타데이터를 요청할 수 있다. 여기서, 광각 카메라(10)로부터 제1 뷰 모드에 대응하는 메타데이터를 수신하지 않는 경우에 한하여, 클라이언트 단말(100)은 화면에 원본 영상에서 적어도 하나의 관심 영역을 선택할 수 있는 사용자 인터페이스를 제공할 수 있다.
이어서, 클라이언트 단말(100)은 원본 영상에서 적어도 하나의 관심 영역을 선택하는 제1 사용자 입력을 수신한다(S713). 예를 들어, 클라이언트 단말(100)은 원본 영상에서, 제1 관심 영역(ROI1), 제2 관심 영역(ROI2), 및 제3 관심 영역(ROI3)을 선택하는 제1 사용자 입력을 수신할 수 있다.
이어서, 클라이언트 단말(100)은 적어도 하나의 관심 영역의 왜곡을 보정한 적어도 하나의 보정 영상을 생성한다(S715). 예를 들어, 클라이언트 단말(100)은 제1 관심 영역(ROI1)의 왜곡을 보정한 제1 보정 영상, 제2 관심 영역(ROI2)의 왜곡을 보정한 제2 보정 영상, 및 제3 관심 영역(ROI3)의 왜곡을 보정한 제3 보정 영상을 생성할 수 있다.
이어서, 클라이언트 단말(100)은 원본 영상 및 적어도 하나의 보정 영상을 표시한다(S717). 예를 들어, 클라이언트 단말(100)의 디스플레이 모듈(190)은 원본 영상 및 제1 내지 제3 보정 영상을 화면(191)에 동시에 출력할 수 있다.
이어서, 클라이언트 단말(100)은 적어도 하나의 보정 영상을 선택함으로써, 적어도 하나의 관심 영역을 공유하기 위한 제2 사용자 입력을 수신한다(S721). 예를 들어, 제2 사용자 입력은 제1 보정 영상에 대한 마우스오버(132)일 수 있다.
이어서, 클라이언트 단말(100)은 제2 사용자 입력에 대응하여, 적어도 하나의 관심 영역에 대한 메타데이터를 추출한다(S723). 예를 들어, 클라이언트 단말(100)은 제1 보정 영상에 대한 마우스오버(132)에 대응하여, 제1 보정 영상에 대한 메타데이터를 추출할 수 있다.
이어서, 클라이언트 단말(100)은 적어도 하나의 관심 영역에 대한 메타데이터를 이용하여 제1 뷰 모드에 대응하는 메타데이터를 생성한다(S725). 예를 들어, 클라이언트 단말(100)은 제1 보정 영상에 대한 메타데이터를 이용하여 쿼드 뷰 모드에 대응하는 메타데이터를 생성할 수 있다.
이어서, 클라이언트 단말(100)은 광각 카메라(10)에, 제1 뷰 모드에 대응하는 메타데이터를 전송한다(S727). 예를 들어, 클라이언트 단말(100)은 광각 카메라(10)에, 쿼드 뷰 모드에 대응하는 메타데이터를 전송할 수 있다.
이어서, 광각 카메라(10)는 제1 뷰 모드에 대응하는 메타데이터를 저장한다(S729). 다시 말하면, 광각 카메라(10)는 내장된 공유 메모리(20)에 제1 뷰 모드에 대응하는 메타데이터를 저장할 수 있다.
이제까지 본 발명에 대하여 바람직한 실시예를 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 본 발명을 구현할 수 있음을 이해할 것이다.
그러므로 상기 개시된 실시예는 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 특허청구범위에 의해 청구된 발명 및 청구된 발명과 균등한 발명들은 본 발명에 포함된 것으로 해석되어야 한다.
10: 광각 카메라
100: 클라이언트 단말
100a: 제1 클라이언트 단말
100b: 제2 클라이언트 단말

Claims (7)

  1. 클라이언트 단말에 의하여 광각 영상을 처리하는 방법에 있어서,
    광각 카메라에서 촬영된 원본 영상을 수신하는 단계;
    소정의 뷰 모드를 선택하는 제1 사용자 입력을 수신하는 단계;
    상기 원본 영상에서 적어도 하나의 관심 영역을 선택하는 제2 사용자 입력을 수신하는 단계;
    상기 제2 사용자 입력에 대응하여 상기 적어도 하나의 관심 영역의 왜곡을 보정한 적어도 하나의 보정 영상을 생성하는 단계;
    상기 적어도 하나의 관심 영역을 공유하기 위한 제3 사용자 입력을 수신하는 단계;
    상기 제3 사용자 입력에 대응하여 상기 적어도 하나의 관심 영역에 대한 메타데이터를 추출하는 단계;
    상기 적어도 하나의 관심 영역에 대한 메타데이터를 이용하여 상기 소정의 뷰 모드에 대응하는 메타데이터를 생성하는 단계;
    공유 메모리에, 상기 소정의 뷰 모드에 대응하는 메타데이터를 전송하는 단계;
    상기 소정의 뷰 모드를 선택하는 제4 사용자 입력에 대응하여, 상기 공유 메모리에 상기 소정의 뷰 모드에 대응하는 메타데이터를 요청하는 단계; 및
    상기 공유 메모리로부터 상기 소정의 뷰 모드에 대응하는 메타데이터를 수신하는 단계;를 포함하는, 광각 영상 처리 방법.
  2. 청구항 1에 있어서,
    상기 제1 사용자 입력에 대응하여 화면에 상기 원본 영상에서 상기 적어도 하나의 관심 영역을 선택할 수 있는 사용자 인터페이스를 제공하는 단계;를 더 포함하는, 광각 영상 처리 방법.
  3. 청구항 1에 있어서,
    상기 원본 영상 및 상기 적어도 하나의 보정 영상을 표시하는 단계;를 더 포함하고,
    상기 제3 사용자 입력은 상기 적어도 하나의 보정 영상을 선택하는 사용자 입력인, 광각 영상 처리 방법.
  4. 청구항 3에 있어서,
    상기 제3 사용자 입력은 상기 적어도 하나의 보정 영상에 대한 마우스오버인, 광각 영상 처리 방법.
  5. 청구항 1에 있어서,
    상기 소정의 뷰 모드는 상기 원본 영상 및 상기 적어도 하나의 보정 영상 중 적어도 하나를 보여주는 모드인, 광각 영상 처리 방법.
  6. 청구항 1에 있어서,
    상기 메타데이터는 광각 영상에서의 관심 영역의 위치 값을 가리키는, 광각 영상 처리 방법.
  7. 제1항에 있어서,
    상기 소정의 뷰 모드에 대응하는 메타데이터는, 상기 적어도 하나의 관심 영역에 대한 가상 PTZ(pan tilt zoom) 값인, 광각 영상 처리 방법.
KR1020230026946A 2016-09-29 2023-02-28 광각 영상 처리 방법 및 이를 위한 장치 KR20230035299A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020230026946A KR20230035299A (ko) 2016-09-29 2023-02-28 광각 영상 처리 방법 및 이를 위한 장치

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020160125587A KR102506581B1 (ko) 2016-09-29 2016-09-29 광각 영상 처리 방법 및 이를 위한 장치
KR1020230026946A KR20230035299A (ko) 2016-09-29 2023-02-28 광각 영상 처리 방법 및 이를 위한 장치

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020160125587A Division KR102506581B1 (ko) 2016-09-29 2016-09-29 광각 영상 처리 방법 및 이를 위한 장치

Publications (1)

Publication Number Publication Date
KR20230035299A true KR20230035299A (ko) 2023-03-13

Family

ID=61759859

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020160125587A KR102506581B1 (ko) 2016-09-29 2016-09-29 광각 영상 처리 방법 및 이를 위한 장치
KR1020230026946A KR20230035299A (ko) 2016-09-29 2023-02-28 광각 영상 처리 방법 및 이를 위한 장치

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020160125587A KR102506581B1 (ko) 2016-09-29 2016-09-29 광각 영상 처리 방법 및 이를 위한 장치

Country Status (3)

Country Link
US (1) US11039069B2 (ko)
KR (2) KR102506581B1 (ko)
WO (1) WO2018062602A1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023283034A1 (en) * 2021-07-06 2023-01-12 Canoo Technologies Inc. Fisheye collage transformation for road object detection or other object detection

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20000000080A (ko) 1999-09-08 2000-01-15 강범수 어안렌즈를 이용한 전방향 감시카메라
US20050058360A1 (en) * 2003-09-12 2005-03-17 Thomas Berkey Imaging system and method for displaying and/or recording undistorted wide-angle image data
EP2153641B2 (en) * 2007-04-13 2021-10-27 Ari M. Presler Digital cinema camera system for recording, editing and visualizing images
KR100917849B1 (ko) 2007-11-22 2009-09-18 파인트론 주식회사 디지털비디오레코더 설정 장치 및 방법
JP5109697B2 (ja) * 2008-02-07 2012-12-26 ソニー株式会社 画像送信装置、画像受信装置、画像送受信システム、画像送信プログラムおよび画像受信プログラム
KR101208427B1 (ko) 2008-12-22 2012-12-05 한국전자통신연구원 동기화된 다중 영상 취득을 위한 다중 카메라 제어 및 영상저장 장치 및 방법
KR100907741B1 (ko) 2009-04-01 2009-07-14 (주)세이비트텔레콤 아이피 카메라를 제어하는 방법 및 그 서버
US20120249821A1 (en) * 2011-04-04 2012-10-04 Canon Kabushiki Kaisha Image capture adjustment for post-capture processing
KR101284844B1 (ko) 2011-11-21 2013-07-10 유디피 아메리카스 인크. 사용자 인터페이스를 구비한 돔형 카메라 장치
US10769913B2 (en) 2011-12-22 2020-09-08 Pelco, Inc. Cloud-based video surveillance management system
KR20150012887A (ko) * 2013-07-26 2015-02-04 엘지전자 주식회사 이동 단말기 및 그의 촬영 객체 재배치 방법
WO2015014773A1 (en) 2013-07-29 2015-02-05 Koninklijke Kpn N.V. Providing tile video streams to a client
KR101391370B1 (ko) * 2013-12-31 2014-05-02 (주)진명아이앤씨 영상수집 및 분배 서버를 이용한 영상 다중전송시스템 및 그 방법
KR101530255B1 (ko) * 2014-09-04 2015-06-24 주식회사 다이나맥스 객체 자동 추적 장치가 구비된 cctv 시스템
US9817833B2 (en) * 2014-12-31 2017-11-14 Canon Information And Imaging Solutions, Inc. System and method for processing an electronic image file
US9769419B2 (en) * 2015-09-30 2017-09-19 Cisco Technology, Inc. Camera system for video conference endpoints
US20170134714A1 (en) * 2015-11-11 2017-05-11 Microsoft Technology Licensing, Llc Device and method for creating videoclips from omnidirectional video

Also Published As

Publication number Publication date
WO2018062602A1 (ko) 2018-04-05
KR102506581B1 (ko) 2023-03-06
US11039069B2 (en) 2021-06-15
US20190222755A1 (en) 2019-07-18
KR20180035467A (ko) 2018-04-06

Similar Documents

Publication Publication Date Title
EP3300017B1 (en) Method and apparatus for processing wide angle image
US11263697B2 (en) Remote claims adjuster
US9159169B2 (en) Image display apparatus, imaging apparatus, image display method, control method for imaging apparatus, and program
JP2017538978A (ja) 警報方法および装置
CN113569825B (zh) 视频监控方法、装置、电子设备和计算机可读介质
KR20130130544A (ko) 감시 영상 표시 방법 및 시스템
KR20230035299A (ko) 광각 영상 처리 방법 및 이를 위한 장치
JPWO2014027567A1 (ja) 画像処理システム、画像処理方法、及びプログラム
WO2022004153A1 (ja) 画像情報生成装置、方法およびプログラム
CN113918070A (zh) 同步显示方法、装置、可读存储介质及电子设备
KR101317428B1 (ko) 카메라(ｃｃｔｖ) 제어기능을 갖는 공간 정보 시스템 및 그 동작방법
US10877648B2 (en) Client device, monitoring system, method for displaying images on a screen and computer program
US9661278B2 (en) Imaging device, imaging system, and imaging method
JP2019079157A (ja) 制御システム及び方式
KR20190129592A (ko) 휴대 단말에서의 영상 제공 방법 및 그 장치
KR20190114223A (ko) 감시 시스템 및 그 동작 방법
WO2019061020A1 (zh) 图像生成方法、图像生成装置和机器可读存储介质
JP6306822B2 (ja) 画像処理装置、画像処理方法、および画像処理プログラム
KR101146665B1 (ko) 지역 검색 서비스에 기반한 광고 방법, 이를 이용한 지역 검색 서비스 제공 방법 및 지역 검색 서비스 제공 시스템
JP2015008432A (ja) 情報出力装置、画像処理装置、情報出力方法、画像処理方法及びプログラム
JP2016038682A (ja) 情報処理装置及びその制御方法、サーバ装置及びその制御方法、コンピュータプログラム
US20230206737A1 (en) Navigable 3d view of a premises alarm event
KR20200081026A (ko) 증강 현실 서비스를 제공하는 서버, 단말 및 방법
JP2019079192A (ja) 物件情報提供サーバ
CN114071015B (zh) 一种联动抓拍路径的确定方法、装置、介质及设备

Legal Events

Date Code Title Description
A107 Divisional application of patent
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right