KR102339710B1 - 영상 정보 표시 방법 및 전자 장치 - Google Patents

영상 정보 표시 방법 및 전자 장치 Download PDF

Info

Publication number
KR102339710B1
KR102339710B1 KR1020200046074A KR20200046074A KR102339710B1 KR 102339710 B1 KR102339710 B1 KR 102339710B1 KR 1020200046074 A KR1020200046074 A KR 1020200046074A KR 20200046074 A KR20200046074 A KR 20200046074A KR 102339710 B1 KR102339710 B1 KR 102339710B1
Authority
KR
South Korea
Prior art keywords
image
electronic device
related information
boundary line
processor
Prior art date
Application number
KR1020200046074A
Other languages
English (en)
Other versions
KR20210128187A (ko
Inventor
장형규
표성백
Original Assignee
(주)트루엔
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)트루엔 filed Critical (주)트루엔
Priority to KR1020200046074A priority Critical patent/KR102339710B1/ko
Publication of KR20210128187A publication Critical patent/KR20210128187A/ko
Application granted granted Critical
Publication of KR102339710B1 publication Critical patent/KR102339710B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N5/23229—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/62—Control of parameters via user interfaces
    • H04N5/23216—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/92—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N5/9201—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving the multiplexing of an additional signal and the video signal

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)

Abstract

다양한 실시예에 따르면, 전자 장치에 있어서, 통신 회로, 카메라 모듈, 상기 통신 회로 및 상기 카메라 모듈에 작동적으로 연결된 프로세서, 및 상기 프로세서와 작동적으로 연결된 메모리를 포함할 수 있다. 상기 메모리는, 실행 시에, 상기 프로세서가, 상기 카메라 모듈을 사용하여 촬영된 영상을 획득하고, 상기 영상에 대응하는 적어도 하나의 픽셀값을 측정하고, 상기 측정된 픽셀값을 기반으로 상기 영상에 포함된 적어도 하나의 경계선을 검출하고, 상기 검출된 경계선에 대응하는 기울기를 측정하고, 상기 측정된 기울기를 기반으로 상기 영상에 촬영 관련 정보를 추가하도록 하는 인스트럭션들을 저장할 수 있다. 그 밖에 다양한 실시예들이 가능할 수 있다.

Description

영상 정보 표시 방법 및 전자 장치 {METHOD AND ELECTRONIC DEVICE FOR DISPLAYING VIDEO INFORMATION}
본 발명의 다양한 실시 예는 영상 정보를 표시하는 방법 및 이를 구현한 전자 장치에 관한 것이다.
최근의 다양한 전자 장치(예: 카메라 장치)는 PTZ 카메라(pan-tilt-zoom camera)(예: 팬-틸트-줌 카메라)를 이용하여 주변 상황을 촬영할 수 있다. 전자 장치는 CCTV(closed circuit television)(예: 폐쇄 회로 텔레비전)를 포함할 수 있고, CCTV를 통해, 촬영된 영상 정보를 획득할 수 있다. 예를 들어, 전자 장치는 특정 장소에 특정 각도로 배치되어, 실시간으로 영상을 촬영할 수 있고, 상기 촬영된 영상을 다른 전자 장치(예: 서버(server))에 전송할 수 있다. 전자 장치는 카메라의 촬영 각도 및 렌즈의 줌 인(zoom-in)/줌 아웃(zoom-out)을 제어할 수 있다. 전자 장치는 촬영된 영상을 획득할 수 있고, 상기 획득된 영상을 다른 전자 장치로 전송하여 사용자에게 연속적으로 촬영된 영상을 실시간으로 제공하는 기술이 개발되고 있다.
전자 장치는 카메라를 적어도 부분적으로 제어하여, 영상을 촬영할 수 있고, 상기 촬영된 영상을 인코딩하여, 스트리밍으로 다른 전자 장치(예: 서버)에 실시간으로 제공할 수 있다.
대한민국 공개특허공보 제10-2016-0024143호(2016.03.04)
전자 장치(예: 카메라 장치, 및/또는 CCTV)는 카메라를 사용하여 촬영된 영상을 분석할 수 있다. 예를 들어, 전자 장치는 상기 영상에 대응하는 적어도 하나의 픽셀값을 측정할 수 있고, 상기 측정된 픽셀값을 기반으로 상기 영상을 분석할 수 있다. 전자 장치는 OSD(on screen display) 기술을 기반으로 상기 영상에 촬영과 관련된 정보를 추가할 수 있다. 예를 들어, 전자 장치는 디스플레이를 통해 상기 영상을 표시함에 있어서, 상기 영상의 촬영과 관련된 정보를 함께 표시할 수 있다. 상기 촬영과 관련된 정보는 해당 영상에 포함된 오브젝트의 위치 및 형태와 관계 없이, 해당 영상에 최초로 설정된 위치에 고정되어 표시될 수 있다. 예를 들어, 촬영 관련 정보는 영상에 포함된 오브젝트 및/또는 배경을 적어도 부분적으로 가리는 형태로 표시될 수 있다. 전자 장치는 카메라를 사용하여 촬영된 영상을 표시할 때, 촬영 관련 정보를 함께 표시할 수 있으나, 상기 촬영 관련 정보에 의해 영상에 포함된 오브젝트의 적어도 일부가 가려지게 되어 영상에 대한 사용자의 시인성이 저하될 수 있다.
본 발명의 다양한 실시예는 OSD 기술에 기반한 촬영 관련 정보가 포함된 영상을 사용자에게 제공함에 있어서, 영상에 포함된 적어도 하나의 경계선을 기반으로, 상기 촬영 관련 정보의 위치, 크기, 색상, 및 각도를 조정할 수 있다. 다양한 실시예에 따르면, OSD 기술에 기반한 촬영 관련 정보를 상기 촬영된 영상에 추가할 수 있고, 상기 촬영 관련 정보가 추가된 영상을 표시하는 방법 및 전자 장치를 제공할 수 있다.
다양한 실시예에 따르면, 전자 장치에 있어서, 통신 회로, 카메라 모듈, 상기 통신 회로 및 상기 카메라 모듈에 작동적으로 연결된 프로세서, 및 상기 프로세서와 작동적으로 연결된 메모리를 포함할 수 있다. 상기 메모리는, 실행 시에, 상기 프로세서가, 상기 카메라 모듈을 사용하여 촬영된 영상을 획득하고, 상기 영상에 대응하는 적어도 하나의 픽셀값을 측정하고, 상기 측정된 픽셀값을 기반으로 상기 영상에 포함된 적어도 하나의 경계선을 검출하고, 상기 검출된 경계선에 대응하는 기울기를 측정하고, 상기 측정된 기울기를 기반으로 상기 영상에 촬영 관련 정보를 추가하도록 하는 인스트럭션들을 저장할 수 있다.
다양한 실시예에 따르면, 영상 정보 표시 방법은, 카메라 모듈을 사용하여 촬영된 영상을 획득하는 동작, 상기 영상에 대응하는 적어도 하나의 픽셀값을 측정하는 동작, 상기 측정된 픽셀값을 기반으로 상기 영상에 포함된 적어도 하나의 경계선을 검출하는 동작, 상기 검출된 경계선에 대응하는 기울기를 측정하는 동작, 및 상기 측정된 기울기를 기반으로 상기 영상에 촬영 관련 정보를 추가하는 동작을 포함할 수 있다.
본 발명의 다양한 실시예들은 전자 장치가 카메라 모듈을 사용하여 영상을 촬영함에 있어서, OSD 기술에 기반한 촬영 관련 정보를 상기 영상에 추가할 수 있다. 일 실시예에 따르면, 전자 장치는 상기 영상에 대응하는 적어도 하나의 픽셀값을 측정할 수 있고, 상기 측정된 픽셀값을 기반으로 상기 영상에 포함된 적어도 하나의 경계선을 검출할 수 있다. 전자 장치는 상기 검출된 경계선에 대응하는 기울기를 기반으로, 상기 영상에 촬영 관련 정보를 추가할 수 있다. 일 실시예에 따르면, 전자 장치는 상기 검출된 경계선을 기반으로, 촬영 관련 정보의 표시 위치, 크기, 색상, 및 각도를 조정할 수 있고, 상기 영상에 상기 촬영 관련 정보를 추가하여 인코딩을 수행할 수 있다.
일 실시예에 따르면, 전자 장치는 상기 영상에 포함된 적어도 하나의 경계선을 기반으로 OSD 기술에 기반한 촬영 관련 정보(예: 텍스트, 아이콘, 및/또는 컨텐츠)를 상기 영상에 추가할 수 있다. 사용자는 상기 영상에 추가된 촬영 관련 정보를 기반으로 직관적으로 전자 장치가 촬영 중인 위치 및 상황을 확인할 수 있다. 일 실시예에 따르면, 영상에 촬영 관련 정보를 함께 표시함에 있어서, 사용자의 시인성이 저하되지 않도록 상기 영상의 경계선을 기반으로 촬영 관련 정보의 표시 위치를 조정할 수 있다. 전자 장치에서 촬영된 영상에 촬영 관련 정보가 함께 표시됨에 따라, 사용자는 촬영 현장의 상황을 용이하게 판단할 수 있다. 이 외에, 본 문서를 통해 직접적 또는 간접적으로 파악되는 다양한 효과들이 제공될 수 있다.
도면의 설명과 관련하여, 동일 또는 유사한 구성 요소에 대해서는 동일 또는 유사한 참조 부호가 사용될 수 있다.
도 1은 본 발명의 다양한 실시예들에 따른 전자 장치 및 외부 전자 장치를 포함하는 네트워크 환경을 도시한다.
도 2는 본 발명의 다양한 실시예에 따른 전자 장치 및 외부 전자 장치의 블록도이다.
도 3은 본 발명의 다양한 실시예에 따른 전자 장치의 카메라 모듈을 사용하여 촬영된 영상에 촬영 관련 정보를 추가하는 방법에 대한 흐름도이다.
도 4a는 본 발명의 다양한 실시예에 따른 전자 장치의 카메라 모듈을 사용하여 촬영된 영상을 도시한 도면이다.
도 4b는 본 발명의 다양한 실시예에 따른 촬영된 영상을 적어도 하나의 블록으로 구분한 도면이다.
도 4c는 본 발명의 다양한 실시예에 따른 적어도 하나의 블록에 대응하는 SAD 값을 기반으로 경계선의 양단 좌표를 검출한 도면이다.
도 4d는 본 발명의 다양한 실시예에 따른 적어도 하나의 경계선을 검출하고, 상기 검출된 경계선의 기울기를 확인하고, 상기 확인된 기울기를 기반으로 영상에 촬영 관련 정보를 추가한 도면이다.
도 5는 본 발명의 다양한 실시예에 따른 영상에 포함된 적어도 하나의 경계선을 검출하고, 상기 검출된 경계선을 기반으로 촬영 관련 정보를 추가하는 제 1 실시예를 도시한다.
도 6은 본 발명의 다양한 실시예에 따른 영상에 포함된 오브젝트에 대응하는 경계선을 검출하고, 상기 검출된 경계선을 기반으로 촬영 관련 정보를 추가하는 제 2 실시예를 도시한다.
도 1은 본 발명의 다양한 실시예들에 따른, 전자 장치(101) 및 외부 전자 장치(102)를 포함하는 네트워크 환경(100)을 도시한다.
도 1을 참조하면, 네트워크 환경(100)에서 전자 장치(101)는 제 1 네트워크(예: 근거리 무선 통신 네트워크)를 통하여 다른 전자 장치와 통신하거나, 또는 제 2 네트워크(예: 원거리 무선 통신 네트워크)를 통하여 외부 전자 장치(102)(예: 서버(server) 및/또는 복수 개의 전자 장치(101)로부터 전송된 영상을 관리하는 관리자 장치)와 통신할 수 있다. 일 실시예에 따르면, 전자 장치(101)는 복수 개일 수 있고, 각각의 전자 장치(101)는 외부 전자 장치(102)와 통신할 수 있다. 일 실시예에 따르면, 전자 장치(101)와 외부 전자 장치(102)는 직접(예: 유선) 통신 채널 또는 무선 통신 채널의 수립, 및/또는 수립된 통신 채널을 통한 통신을 수행할 수 있다. 예를 들어, 전자 장치(101)는 카메라(예: PTZ(pan-tilt-zoom) 카메라, ePTZ(embedded pan-tilt-zoom) 카메라, 및/또는 VPTZ(virtual pan-tilt-zoom) 카메라)를 포함한 전자 장치(예: CCTV(closed circuit television)(예: 폐쇄 회로 텔레비전))를 포함할 수 있다.
일 실시예에 따르면, 외부 전자 장치(102)(예: 서버)는 전자 장치(101)에 명령 및/또는 데이터를 전송하거나, 상기 전자 장치(101)로부터 명령 및/또는 데이터를 수신할 수 있다. 외부 전자 장치(102)는 상기 전자 장치(101)와 데이터를 교환할 수도 있고, 전자 장치(101)와 직접적으로 연결되어 데이터를 교환할 수도 있다. 예를 들어, 외부 전자 장치(102)는 전자 장치(101)에서 촬영된 영상 데이터를 수신할 수 있다. 외부 전자 장치(102)는 전자 장치(101)를 적어도 부분적으로 제어할 수 있다.
일 실시예에 따르면, 전자 장치(101)는 정지 영상 또는 동영상을 촬영하기 위한 카메라 모듈(예: 카메라, PTZ 카메라, ePTZ 카메라, 및/또는 VPTZ 카메라)을 포함할 수 있다. 전자 장치(101)는 CCTV(closed circuit television)(예: 폐쇄 회로 텔레비전) 및/또는 상/하/좌/우로 촬영 방향을 변경 가능한 카메라 모듈을 포함한 전자 장치를 포함할 수 있다. 예를 들어, 전자 장치(101)는 카메라 모듈을 사용하여, 적어도 하나의 오브젝트를 포함하는 특정 영역을 촬영할 수 있고, 상기 촬영된 영상을 인코딩하여 외부 전자 장치(102)로 스트리밍(streaming) 전송할 수 있다. 예를 들어, 외부 전자 장치(102)는 전자 장치(101)로부터 전송되는 인코딩된 영상 데이터의 스트리밍을 수신할 수 있고, 수신한 인코딩된 영상 데이터를 디코딩하여, 외부 전자 장치(102)에 연결된 표시 장치를 통해 영상을 표시할 수 있다. 예를 들어, 외부 전자 장치(102)는 전자 장치(101)에서 촬영된 영상을 재생하기 위한 특정 어플리케이션을 실행할 수 있고, 상기 특정 어플리케이션을 기반으로 상기 전자 장치(101)에서 촬영된 영상을 실시간으로 재생할 수 있다.
일 실시예에 따르면, 외부 전자 장치(102)는 전자 장치(101)에서 촬영된 영상을 실시간으로 수신할 수 있고, 상기 영상을 저장 장치(예: 메모리)에 저장할 수 있다. 일 실시예에 따르면, 외부 전자 장치(102)는 복수 개의 전자 장치(101)로부터 수신된 적어도 하나의 영상을 비교 및 분석할 수 있다. 예를 들어, 외부 전자 장치(102)는 동일한 특정 영역을 서로 다른 방향에서 촬영한 복수 개의 영상을 수신할 수 있고, 상기 복수 개의 영상을 하나의 화면을 통해 표시할 수 있다.
다른 실시예에 따르면, 외부 전자 장치(102)는 웹 페이지를 관리하여, 전자 장치(101)로부터 획득한 영상을 상기 웹 페이지에 업로드할 수 있다. 예를 들어, 외부 전자 장치(102)는 사용자가 상기 웹 페이지에 접속하여, 업로드된 영상을 다운로드할 수 있도록, 상기 웹 페이지를 관리할 수 있다. 예를 들어, 전자 장치(101)는 카메라 모듈을 사용하여 촬영된 영상을 인코딩할 수 있고, 실시간으로 상기 외부 전자 장치(102)에 상기 인코딩(encoding)된 영상 데이터를 전송할 수 있다. 외부 전자 장치(102)는 전자 장치(101)로부터 송신된, 상기 인코딩된 영상 데이터를 디코딩(decoding)할 수 있고, 외부 전자 장치(102)의 메모리에 저장할 수 있다. 외부 전자 장치(102)는 관리 중인 웹 페이지에 상기 디코딩된 영상 데이터를 업로드할 수 있다.
다른 실시예에 따르면, 사용자는 외부 전자 장치(102)에서 제공하는 웹 페이지를 통해, 상기 전자 장치(101)에서 촬영된 영상을 다운로드할 수 있다. 일 실시예에 따르면, 외부 전자 장치(102)는 웹 페이지 또는 어플리케이션 프로그램에 기록된 데이터(예: 전자 장치(101)에서 촬영된 영상 데이터)를 메모리(예: 저장 장치)에 저장할 수 있다.
다른 실시예에 따르면, 전자 장치(101)와 외부 전자 장치(102)는 기능적으로 연결될 수 있고, 상호 간에 명령 및/또는 데이터를 송신 또는 수신할 수 있다. 전자 장치(101)와 외부 전자 장치(102)는 적어도 하나의 동일한 구성 요소를 구비한 장치일 수 있다.
다른 실시예에 따르면, 외부 전자 장치(102)에서 실행되는 동작들의 전부 또는 일부는 전자 장치(101)에서 실행될 수 있다. 예를 들면, 외부 전자 장치(102)(예: 서버)가 어떤 기능이나 서비스를 자동으로, 또는 사용자 또는 다른 장치로부터의 요청에 반응하여, 수행해야 할 경우에, 외부 전자 장치(102)는 기능 및/또는 서비스를 자체적으로 실행시키는 대신에 또는 추가적으로, 하나 이상의 다른 전자 장치들에게 그 기능 또는 그 서비스의 적어도 일부를 수행하라고 요청할 수 있다. 상기 요청을 수신한 하나 이상의 다른 전자 장치들(예: 전자 장치(101))은 요청된 기능 또는 서비스의 적어도 일부, 또는 상기 요청과 관련된 추가 기능 또는 서비스를 실행하고, 그 실행의 결과를 외부 전자 장치(102)로 전달할 수 있다. 외부 전자 장치(102)는 상기 결과를, 그대로 또는 추가적으로 처리하여, 상기 요청에 대한 응답의 적어도 일부로서 제공할 수 있다. 이를 위하여, 예를 들면, 클라우드 컴퓨팅, 분산 컴퓨팅, 또는 클라이언트-서버 컴퓨팅 기술이 이용될 수 있다.
일 실시예에 따르면, 외부 전자 장치(102)는 복수의 전자 장치(101)와 통신을 수행할 수 있고, 상기 복수의 전자 장치(101)를 적어도 부분적으로 제어할 수 있다. 예를 들어, 외부 전자 장치(102)는 복수의 전자 장치(101)를 통해 획득한 복수의 영상들을 구분하여 표시할 수 있고, 복수의 전자 장치(101)들 중 적어도 하나를 선택하여, 원하는 촬영 장면을 확대 및 축소시켜 표시할 수 있다. 일 실시예에 따르면, 외부 전자 장치(102) 및 복수의 전자 장치(101)를 기반으로 하나의 시스템이 구성될 수 있다.
일 실시예에 따르면, 전자 장치(101)는 카메라를 사용하여 촬영된 영상을 인코딩할 수 있고, 상기 인코딩 과정을 통해 영상 데이터를 획득할 수 있다. 상기 영상 데이터는 디지털 이미지를 포함할 수 있다. 일 실시예에 따르면, 전자 장치(101)는 영상을 인코딩하여 외부 전자 장치(102)로 스트리밍 전송할 수 있고, 외부 전자 장치(102)는 상기 전송된 영상 데이터를 디코딩하고, 표시 장치(예: 디스플레이, display)를 통해 상기 디코딩된 영상 데이터를 표시할 수 있다. 일 실시예에 따르면, 외부 전자 장치(102)는 복수 개의 전자 장치(101)를 통해 실시간으로 영상을 획득할 수 있고, 상기 획득된 영상을 표시 장치를 통해 표시할 수 있다.
도 2는 본 발명의 다양한 실시예에 따른 전자 장치(101) 및 외부 전자 장치(102)의 블록도(200)이다.
일 실시예에 따르면, 전자 장치(101)는 프로세서(210), 통신 회로(220), 메모리(230), 카메라 모듈(240) 및/또는 센서 모듈(241)을 포함할 수 있다. 어떤 실시예에서는, 전자 장치(101)는, 이 구성요소들 중 적어도 하나의 구성 요소가 생략되거나, 하나 이상의 다른 구성 요소가 추가될 수 있다. 예를 들어, 적어도 하나의 구성 요소는 독립적으로 동작하는 외부 장치일 수 있다. 어떤 실시예에서는, 이 구성요소들 중 일부들은 하나의 통합된 회로로 구현될 수 있다. 일 실시예에 따르면, 외부 전자 장치(102)(예: 서버)는 프로세서(250), 메모리(261), 및/또는 통신 회로(262)를 포함할 수 있다.
일 실시예에 따르면, 전자 장치(101)는 카메라 모듈(240) (예: CCTV, PTZ 카메라, ePTZ 카메라, 및/또는 VPTZ 카메라)을 사용하여 특정 영역을 촬영할 수 있다. 일 실시예에 따르면, 전자 장치(101)는 특정 영역을 촬영할 수 있고, 상기 촬영된 영상을 인코딩하여 메모리(230)(예: 저장 장치, 및/또는 DVR(digital video recorder)에 저장할 수 있다. 일 실시예에 따르면, 메모리(230)는 전자 장치(101)에 기능적으로 연결된 외부 저장 장치(예: DVR)를 포함할 수 있다. 일 실시예에 따르면, 전자 장치(101)는 통신 회로(220)를 통해 외부 전자 장치(102)와 기능적으로 연결되어, 통신을 수행할 수 있고, 상기 인코딩된 영상 데이터를 전송할 수 있다. 일 실시예에 따르면, 외부 전자 장치(102)는 전자 장치(101)로부터 전송된 영상 데이터를 수신할 수 있고, 상기 영상 데이터를 디코딩하여 표시 장치(예: 디스플레이)를 통해, 상기 영상 데이터를 표시할 수 있다.
전자 장치(101)의 프로세서(210)는, 예를 들면, 소프트웨어(예: 프로그램, 어플리케이션)를 실행하여 프로세서(210)에 연결된 전자 장치(101)의 적어도 하나의 다른 구성요소(예: 하드웨어 또는 소프트웨어 구성요소)를 제어할 수 있고, 다양한 데이터 처리 또는 연산을 수행할 수 있다. 일 실시예에 따르면, 데이터 처리 또는 연산의 적어도 일부로서, 프로세서(210)는 다른 구성요소(예: 통신 회로(220))로부터 수신된 명령 또는 데이터를 메모리(230)(예: 휘발성 메모리)에 로드하고, 메모리(230)에 저장된 명령 또는 데이터를 처리하고, 결과 데이터를 메모리(230)(예: 비휘발성 메모리)에 저장할 수 있다. 일 실시예에 따르면, 프로세서(210)는 메인 프로세서(예: 중앙 처리 장치(CPU, central processing unit) 및/또는 어플리케이션 프로세서(AP, application processor)), 및/또는 이와는 독립적으로 또는 함께 운영 가능한 보조 프로세서(예: 그래픽 처리 장치(GPU, graphic processing unit), 이미지 시그널 프로세서(image signal processor), 센서 허브 프로세서(sensor hub processor), 및/또는 커뮤니케이션 프로세서(CP, communication processor))를 포함할 수 있다. 추가적으로 또는 대체적으로, 보조 프로세서는 메인 프로세서보다 저전력을 사용하거나, 또는 지정된 기능에 특화되도록 설정될 수 있다. 보조 프로세서는 메인 프로세서와 별개로, 또는 그 일부로서 구현될 수 있다.
일 실시예에 따르면, 프로세서(210)는 이미지 처리 모듈(211)을 포함할 수 있고, 이미지 처리 모듈(211)은 그래픽 처리 장치(GPU) 및/또는 이미지 시그널 프로세서를 포함할 수 있다. 일 실시예에 따르면, 이미지 처리 모듈(211)은 특정 이미지(예: 영상)를 분석할 수 있고, 상기 특정 이미지에 포함된 적어도 하나의 픽셀값을 측정할 수 있다. 일 실시예에 따르면, 이미지 처리 모듈(211)은 촬영된 영상에 대응하는 휘도(luminance) 정보, 밝기(brightness) 정보, 대비(contrast) 정보, RGB(red-green-blue) 정보, 크기 정보 및 상기 특정 이미지의 상/하 크기(size) 정보 중 적어도 하나의 정보를 추출할 수 있고, 상기 추출된 정보를 기반으로 상기 영상에 포함된 경계선을 검출할 수 있다. 예를 들어, 이미지 처리 모듈(211)은 상기 영상에 포함된 적어도 하나의 오브젝트와 배경 사이의 경계선을 검출할 수 있다. 예를 들어, 경계선은 상기 적어도 하나의 오브젝트와 배경이 구분되는 직선 또는 곡선을 포함할 수 있다. 일 실시예에 따르면, 이미지 처리 모듈(211)은 특정 이미지(예: 영상)를 적어도 하나의 영역으로 구분할 수 있고, 상기 적어도 하나의 영역에 대응하는 픽셀 값을 측정할 수 있고, 상기 측정된 픽셀 값을 기반으로 상기 특정 이미지에 포함된 적어도 하나의 경계선을 검출할 수 있다.
전자 장치(101)의 통신 회로(220)는, 전자 장치(101)와 외부 전자 장치(102)(예: 서버)간의 직접(예: 유선) 통신 채널 또는 무선 통신 채널의 수립, 및/또는 수립된 통신 채널을 통한 통신 수행을 지원할 수 있다. 통신 회로(220)는 프로세서(210)(예: 어플리케이션 프로세서)와 독립적으로 운영되고, 직접(예: 유선) 통신 또는 무선 통신을 지원하는 하나 이상의 커뮤니케이션 프로세서(CP)를 포함할 수 있다. 일 실시예에 따르면, 통신 회로(220)는 무선 통신 모듈(예: 셀룰러 통신 모듈, 근거리 무선 통신 모듈, 및/또는 GNSS(global navigation satellite system) 통신 모듈)을 포함할 수 있다. 통신 회로(220)는 제 1 네트워크(예: 블루투스, WiFi direct 또는 IrDA(infrared data association) 같은 근거리 통신 네트워크) 및/또는 제 2 네트워크(예: 셀룰러 네트워크, 인터넷, 및/또는 컴퓨터 네트워크(예: LAN 또는 WAN)와 같은 원거리 통신 네트워크)를 통하여 외부 전자 장치(102)와 통신할 수 있다. 이런 여러 종류의 통신 모듈들은 하나의 구성 요소(예: 단일 칩)로 통합되거나, 또는 서로 별도의 복수의 구성 요소들(예: 복수 칩들)로 구현될 수 있다. 통신 회로(220)는 가입자 식별 모듈(예: SIM 카드)에 저장된 가입자 정보(예: 국제 모바일 가입자 식별자(IMSI))를 이용하여 제 1 네트워크 및/또는 제 2 네트워크와 같은 통신 네트워크 내에서 외부 전자 장치(102)를 확인 및 인증할 수 있다.
전자 장치(101)의 메모리(230)는, 적어도 하나의 구성요소(예: 프로세서(210) 및/또는 센서 모듈(241))에 의해 사용되는 다양한 데이터를 저장할 수 있다. 데이터는, 예를 들어, 소프트웨어(예: 프로그램 및/또는 어플리케이션) 및, 이와 관련된 명령에 대한 입력 데이터 또는 출력 데이터를 포함할 수 있다. 메모리(230)는, 휘발성 메모리 및/또는 비휘발성 메모리를 포함할 수 있다. 일 실시예에 따르면, 메모리(230)는 촬영과 관련된 다양한 데이터를 저장할 수 있다. 일 실시예에 따르면, 전자 장치(101)의 프로세서(210)는 촬영된 영상을 인코딩하여 영상 데이터를 생성함에 있어서, 메모리(230)에 저장된 데이터(예: 전자 장치(101)의 현재 위치, 현재의 촬영과 관련된 정보, 카메라 모듈(240)의 설치 각도와 관련된 정보, 및/또는 카메라 모듈(240)의 렌즈 방향과 관련된 정보)를 적어도 부분적으로 포함시킬 수 있다. 일 실시예에 따르면, 프로세서(210)는 상기 인코딩된 영상 데이터를 메모리(230)에 저장할 수 있다. 다른 실시예에 따르면, 전자 장치(101)의 메모리(230)는 디지털 비디오 레코더(digital video recorder, DVR)(예: PVR(personal video recorder))를 포함할 수 있다. 디지털 비디오 레코더는 전자 장치(101)의 외부에 독립적으로 위치할 수 있고, 기능적으로 전자 장치(101)와 연결되어, 상기 전자 장치(101)에서 생성된 영상 데이터를 저장할 수 있다.
전자 장치(101)는 카메라 모듈(240)을 사용하여 특정 영역에 해당하는 정지 영상 및/또는 동영상을 촬영할 수 있다. 일 실시예에 따르면, 카메라 모듈(240)은 하나 이상의 렌즈들, 이미지 센서들, 이미지 시그널 프로세서들, 및/또는 플래시들을 포함할 수 있다. 일 실시예에 따르면, 전자 장치(101)의 프로세서(210)는 카메라 모듈(240)을 통해, 특정 영역을 촬영할 수 있고, 촬영된 이미지 및 영상을 인코딩(encoding)하여 디지털 이미지(예: 디지털 데이터)를 생성할 수 있다. 프로세서(210)는 상기 인코딩된 이미지 및 영상 데이터를 메모리(230)에 저장할 수 있다. 일 실시예에 따르면, 프로세서(210)는 통신 회로(220)를 통해, 상기 촬영된 이미지 및 영상을 외부 전자 장치(102)에 전송할 수 있다.
도시되진 않았지만, 전자 장치(101)는 표시 장치를 포함할 수 있다. 예를 들어, 표시 장치는 사용자에게 정보를 시각적으로 제공할 수 있다. 표시 장치는, 예를 들면, 터치스크린 디스플레이, 플렉서블(flexible) 디스플레이, 홀로그램(hologram) 장치, 및/또는 프로젝터(projector) 및 해당 장치를 제어하기 위한 제어 회로를 포함할 수 있다. 일 실시예에 따르면, 표시 장치는 터치를 감지하도록 설정된 터치 회로(touch circuitry), 및/또는 터치에 의해 발생되는 힘의 세기를 측정하도록 설정된 센서 회로(예: 압력 센서)를 포함할 수 있다. 예를 들어, 표시 장치는 전자 장치(101)에 포함되어 구성되거나, 독립적으로 외부 장치로 분리되어 구성될 수 있다. 표시 장치는 기능적으로 전자 장치(101)와 연결될 수 있고, 카메라 모듈(240)을 사용하여 촬영된 영상을 출력 및/또는 표시할 수 있다.
전자 장치(101)의 센서 모듈(241)은, 전자 장치(101)의 작동 상태(예: 전력 또는 온도), 및/또는 외부의 환경 상태(예: 사용자 상태)를 감지하고, 감지된 상태에 대응하는 전기 신호 및/또는 데이터 값을 생성할 수 있다. 일 실시예에 따르면, 센서 모듈(241)은, 예를 들면, 제스처 센서, 자이로 센서, 기압 센서, 마그네틱 센서, 가속도 센서, 그립 센서, 근접 센서, 컬러 센서, IR(infrared) 센서, 생체 센서, 온도 센서, 습도 센서, 및/또는 조도 센서를 포함할 수 있다.
일 실시예에 따르면, 전자 장치(101)는 통신 회로(220)를 통해 외부 전자 장치(102)와 통신을 수행할 수 있으며, 상기 외부 전자 장치(102)에 명령 및 데이터를 송신하거나, 상기 외부 전자 장치(102)로부터 명령 및 데이터를 수신할 수 있다. 일 실시예에 따르면, 전자 장치(101)는 카메라 모듈(240)을 사용하여 촬영된 적어도 하나의 영상을 획득할 수 있고, 프로세서(210)의 이미지 처리 모듈(211)을 사용하여 상기 적어도 하나의 영상을 분석할 수 있다. 일 실시예에 따르면, 전자 장치(101)는 분석 결과에 따라, 상기 적어도 하나의 영상에 OSD 기술에 기반한 촬영 관련 정보(예: 텍스트, 컨텐츠, 텍스트, 2D 이미지, 및/또는 3D 이미지)를 추가할 수 있다. 전자 장치(101)는 촬영된 영상을 인코딩하여 외부 전자 장치(102)로 스트리밍 전송할 수 있고, 외부 전자 장치(102)는 전자 장치(101)로부터 전송된 영상 데이터를 디코딩하여, 표시 장치를 통해 상기 영상을 표시할 수 있다.
외부 전자 장치(102)의 프로세서(250)는, 예를 들면, 소프트웨어(예: 프로그램, 어플리케이션)를 실행하여, 전자 장치(101)를 적어도 부분적으로 제어할 수 있고, 상기 전자 장치(101)에서 다양한 데이터 처리 또는 연산을 수행하도록 명령을 전달할 수 있다. 일 실시예에 따르면, 데이터 처리 또는 연산의 적어도 일부로서, 프로세서(250)는 전자 장치(101)에서 촬영된 영상 및 이미지를 획득할 수 있고, 상기 획득된 영상 및 이미지를 메모리(261)에 저장할 수 있다. 예를 들어, 메모리(261)는 디지털 비디오 레코더(digital video recorder, DVR)(예: PVR(personal video recorder))을 포함할 수 있다. 일 실시예에 따르면, 프로세서(250)는 통신 회로(262)를 사용하여, 전자 장치(101)에서 촬영된 영상 및 이미지를 상기 전자 장치(101)로부터 획득할 수 있다.
다른 실시예에 따르면, 외부 전자 장치(102)의 프로세서(250)는 전자 장치(101)에서 촬영된 영상을 분석하기 위한 그래픽 처리 장치(GPU) 및/또는 이미지 시그널 프로세서를 포함할 수도 있다. 다른 실시예에 따르면, 외부 전자 장치(102)는 전자 장치(101)를 통해 촬영된 영상 데이터(예: 촬영 영상을 인코딩한 영상 데이터)를 실시간으로 제공받을 수 있고, 상기 영상 데이터를 디코딩(decoding)하여 메모리(261)에 저장할 수 있다.
외부 전자 장치(102)의 메모리(261)는 전자 장치(101)에서 촬영된 영상 및 상기 영상을 분석하기 위한 다양한 데이터를 저장할 수 있다. 다른 실시예에 따르면, 외부 전자 장치(102)의 프로세서(250)는 전자 장치(101)에서 촬영된 영상을 인코딩할 수 있고, 인코딩 시, 메모리(261)에 저장된 다양한 데이터(예: 전자 장치(101)의 현재 위치, 시간 정보, 현재의 촬영과 관련된 정보, 카메라 모듈(240)의 설치 각도와 관련된 정보, 및/또는 카메라 모듈(240)의 렌즈 방향과 관련된 정보)를 적어도 부분적으로 포함시킬 수도 있다.
외부 전자 장치(102)의 통신 회로(262)는 전자 장치(101)와 유선 통신 채널 또는 무선 통신 채널을 수립할 수 있고, 상기 통신 채널을 통해 전자 장치(101)와 통신을 수행할 수 있다. 예를 들어, 전자 장치(101)는 외부 전자 장치(102)에 의해 적어도 부분적으로 제어될 수 있다. 외부 전자 장치(102)는 전자 장치(101)의 적어도 하나의 구성 요소를 부분적으로 제어할 수 있다.
다양한 실시예에 따르면, 전자 장치(101)는 외부 전자 장치(102)와 통신을 수행할 수 있고, 외부 전자 장치(102)에 의해, 적어도 부분적으로 제어될 수 있다. 전자 장치(101)는 카메라 모듈(240)을 사용하여 이미지 및 영상을 촬영할 수 있고, 상기 촬영된 이미지 및 영상(이하, 영상이라고 기재한다.)을 인코딩할 수 있다. 일 실시예에 따르면, 전자 장치(101)의 프로세서(210)는 상기 촬영된 영상을 분석할 수 있으며, 상기 영상에 대응하는 적어도 하나의 픽셀값을 측정하고, 상기 측정된 적어도 하나의 픽셀값을 기반으로 상기 영상에 포함된 적어도 하나의 경계선을 검출할 수 있다. 일 실시예에 따르면, 프로세서(210)는 상기 영상에 대응하는 휘도(luminance) 정보, 밝기(brightness) 정보, 대비(contrast) 정보, RGB(red-green-blue) 정보, 상기 영상에 포함된 적어도 하나의 오브젝트의 크기 정보 및/또는 상기 영상의 크기(size) 정보 중 적어도 하나를 획득할 수 있고, 상기 획득된 정보를 기반으로 상기 적어도 하나의 오브젝트 및 배경 사이에 형성된 적어도 하나의 경계선을 검출할 수 있다. 일 실시예에 따르면, 프로세서(210)는 적어도 하나의 영역을 기반으로 상기 영상을 구분할 수 있고, 상기 적어도 하나의 영역에 대응하는 픽셀값을 측정할 수 있다. 프로세서(210)는 상기 측정된 픽셀값을 기반으로 상기 적어도 하나의 오브젝트 및 배경 사이에 형성된 경계선을 검출할 수 있다. 일 실시예에 따르면, 프로세서(210)는 상기 검출된 경계선을 기반으로, OSD (on screen display) 기술에 기반한 촬영 관련 정보(예: 텍스트, 컨텐츠, 텍스트, 2D 이미지, 및/또는 3D 이미지)(예: 카메라가 설치된 위치 및 카메라가 촬영하고 있는 위치와 관련된 정보를 나타내는 가상의 오브젝트)를 상기 영상에 추가할 수 있다. 예를 들어, 프로세서(210)는 촬영된 영상을 인코딩 시, 상기 촬영 관련 정보를 상기 영상에 추가할 수 있다.
다양한 실시예에 따르면, 전자 장치(101)는 카메라 모듈(240)을 사용하여 촬영된 영상을 인코딩함에 있어서, OSD 기술에 기반한 촬영 관련 정보를 추가할 수 있다. 전자 장치(101)는 영상에 포함된 적어도 하나의 오브젝트와 배경 간의 경계선을 검출할 수 있고, 상기 검출된 경계선을 기반으로 상기 촬영 관련 정보의 표시 위치, 크기, 색상 및 각도 중 적어도 하나를 결정할 수 있고, 상기 영상에 상기 촬영 관련 정보를 추가할 수 있다. 전자 장치(101)는 상기 촬영 관련 정보가 포함된 영상을 외부 전자 장치(102)에 전송할 수 있다.
다른 실시예에 따르면, 전자 장치(101)는 카메라 모듈(240)을 사용하여 촬영된 영상을 외부 전자 장치(102)에 스트리밍 전송할 수 있다. 다른 실시예에 따르면, 외부 전자 장치(102)는 촬영 영상 및 상기 촬영과 관련된 다양한 정보를 획득할 수 있다. 다른 실시예에 따르면, 외부 전자 장치(102)는 상기 촬영 영상을 인코딩함에 있어서, 상기 촬영 영상에 촬영 관련 정보를 추가할 수 있다. 다른 실시예에 따르면, 외부 전자 장치(102)는 전자 장치(101)로부터 수신된 영상을 독립적으로 인코딩할 수 있고, 인코딩된 영상 데이터를 메모리(미도시)에 저장할 수 있다.
도 3은 본 발명의 다양한 실시예에 따른 전자 장치의 카메라 모듈을 사용하여 촬영된 영상에 촬영 관련 정보를 추가하는 방법에 대한 흐름도이다.
동작 301에서 전자 장치(예: 도 2의 전자 장치(101))의 프로세서(예: 도 2의 프로세서(210))는 카메라 모듈(예: 도 2의 카메라 모듈(240))에서 촬영된 영상을 획득할 수 있다. 전자 장치(101)는 통신 회로(예: 도 2의 통신 회로(220))를 통해 외부 전자 장치(102)와 통신을 수행할 수 있다. 일 실시예에 따르면, 전자 장치(101)는 외부 전자 장치(102)에 의해 적어도 부분적으로 제어될 수 있다. 예를 들어, 전자 장치(101)는 외부 전자 장치(102)의 제어 하에, 카메라 모듈(예: 도 2의 카메라 모듈(240))을 사용하여 촬영하고 있는 촬영 각도가 변경될 수 있다. 전자 장치(101)는 카메라 모듈(240)을 사용하여 주변의 영상 및 이미지를 촬영할 수 있다. 일 실시예에 따르면, 전자 장치(101)는 상기 카메라 모듈(240)을 사용하여 촬영된 영상 및 이미지(이하, 영상이라고 기재한다.)를 인코딩(encoding)하여 영상 데이터(예: 디지털 영상, 디지털 데이터)를 생성할 수 있다.
동작 303에서 전자 장치(101)는 상기 획득된 영상에 대응하는 적어도 하나의 픽셀값을 측정할 수 있다. 예를 들어, 전자 장치(101)는 촬영된 영상을 인코딩하여 영상 데이터를 생성할 수 있고, 상기 영상 데이터에 대응하는 적어도 하나의 픽셀값을 측정할 수 있다. 전자 장치(101)는 촬영된 영상에 포함된 적어도 하나의 오브젝트 및/또는 배경에 대응하는 적어도 하나의 픽셀값을 측정할 수 있다.
동작 305에서 전자 장치(101)는 상기 측정된 적어도 하나의 픽셀값을 기반으로 상기 영상에 포함된 적어도 하나의 경계선을 검출할 수 있다. 경계선은 상기 영상에 포함된 적어도 하나의 오브젝트와 배경 사이의 경계(border)를 나타내는 직선 또는 곡선을 포함할 수 있다. 예를 들어, 경계선은 상기 적어도 하나의 오브젝트의 외곽선을 포함할 수 있다. 적어도 하나의 오브젝트는 건물, 자동차, 나무와 같이, 특정 영역에 위치한 피사체를 포함할 수 있다. 일 실시예에 따르면, 전자 장치(101)는 특정 영역을 촬영할 수 있고, 촬영된 영상에는 적어도 하나의 오브젝트가 포함될 수 있다. 적어도 하나의 오브젝트는 2D(dimension) 형태의 오브젝트 및/또는 3D 형태의 오브젝트를 포함할 수 있다. 일 실시예에 따르면, 적어도 하나의 오브젝트는 사용자에 의해 설정된 특정 영역(area)(예: 특정 범위(range)) 및 특정 공간(space)을 포함할 수 있다. 일 실시예에 따르면, 적어도 하나의 오브젝트는 배경 이미지와 비교하여, 휘도(luminance) 정보, 밝기(brightness) 정보, 대비(contrast) 정보, 및/또는 RGB(red-green-blue) 정보 중 적어도 하나가 다를 수 있다.
일 실시예에 따르면, 전자 장치(101)의 프로세서(210)는 상기 영상에 대응하는 휘도 정보, 밝기 정보, 대비 정보, RGB 정보, 상기 적어도 하나의 오브젝트의 크기 정보 및/또는 영상의 크기 정보 중 적어도 하나를 획득할 수 있다. 프로세서(210)는 상기 획득된 정보를 기반으로 상기 영상에 포함된 적어도 하나의 경계선을 검출할 수 있다. 예를 들어, 상기 경계선은 상기 영상에 포함된 적어도 하나의 오브젝트와 배경을 구분하는 직선 및 곡선을 포함할 수 있다. 영상에 포함된 적어도 하나의 오브젝트에 대응하는 제 1 픽셀값과 상기 영상에 포함된 배경에 대응하는 제 2 픽셀값은 동일하지 않으며, 프로세서(210)는 상기 제 1 픽셀값과 상기 제 2 픽셀값을 기반으로 상기 적어도 하나의 오브젝트와 상기 배경 사이에 형성된 경계선을 검출할 수 있다.
일 실시예에 따르면, 전자 장치(101)의 프로세서(210)는 상기 영상을 적어도 하나의 영역을 기반으로 구분할 수 있고, 상기 적어도 하나의 영역에 대응하는 픽셀 값을 측정할 수 있다. 예를 들어, 프로세서(210)는 기준값과 상기 적어도 하나의 영역에 대응하는 픽셀 값과의 차이 값(예: SAD(sum of absolute difference) value, SAD 값)을 측정할 수 있다. 일 실시예에 따르면, 기준값은 [수학식 1]을 사용하여 측정될 수 있다.
Figure 112020039271165-pat00001
일 실시예에 따르면, 휘도값은 픽셀 값을 포함할 수 있다. 정적 가중치(A1) 및 동적 가중치(A2)는 픽셀 간 혼합 시 사용되는 계수를 의미할 수 있다. 정적 가중치(A1)는 정지된 영상에 적용되는 가중치를 포함하고, 동적 가중치(A2)는 지속적으로 변화하는 영상에 적용되는 가중치를 포함할 수 있다. 프로세서(210)는 적어도 하나의 오브젝트에 대응하는 휘도값 및 배경에 대응하는 휘도값을 측정할 수 있다. 일 실시예에 따르면, 기준값은 오브젝트의 휘도값에 정적 가중치(A1)를 반영한 제 1 측정값과 배경의 휘도값에 동적 가중치(A2)를 반영한 제 2 측정값을 합산하여 결정될 수 있다.
일 실시예에 따르면, 프로세서(210)는 상기 적어도 하나의 영역에 대응하는 픽셀 값과 상기 기준값과의 차이값(SAD 값)을 측정할 수 있다. 일 실시예에 따르면, 프로세서(210)는 차이값(SAD 값)을 기반으로 상기 영상에 포함된 적어도 하나의 오브젝트와 배경 사이에 형성된 경계선을 검출할 수 있다.
동작 307에서 프로세서(210)는 상기 검출된 경계선에 대응하는 기울기를 측정할 수 있다. 예를 들어, 프로세서(210)는 검출된 경계선의 시작 좌표 및 종료 좌표를 추출할 수 있다. 예를 들어, 경계선은 시작 좌표(예: (X1, Y1))와 종료 좌표(예: (X2, Y2))를 직선으로 연결한 선을 의미할 수 있다. 일 실시예에 따르면, 경계선에 대응하는 기울기는 [수학식 2]를 사용하여 측정할 수 있다.
Figure 112020039271165-pat00002
일 실시예에 따르면, height는 경계선의 높이(예: Y축에 대응되는 높이)(Y1-Y2)를 의미하고, width는 경계선의 너비(예: X축에 대응되는 너비)(X1-X2)를 의미할 수 있다. 일 실시예에 따르면, 프로세서(210)는 경계선에 대응하는 높이(Y1-Y2) 및 너비(X1-X2)를 측정할 수 있고, atan2 함수를 사용하여, 상기 경계선의 기울기를 측정할 수 있다.
동작 309에서 프로세서(210)는 상기 측정된 기울기에 대응하여 촬영 관련 정보를 영상에 추가하여 표시할 수 있다. 일 실시예에 따르면, 촬영 관련 정보의 표시 위치, 크기, 색상 및 각도 중 적어도 하나는 사용자에 의해 설정될 수 있고, 메모리(예: 도 2의 메모리(230))에 저장될 수 있다. 일 실시예에 따르면, 영상에 촬영 관련 정보를 추가함에 있어서, 프로세서(210)는 경계선의 기울기를 기반으로, 상기 촬영 관련 정보의 배치 위치를 결정할 수 있다. 예를 들어, 촬영 관련 정보는 상기 경계선의 좌측 또는 우측을 기준으로 영상에 포함될 수 있다. 일 실시예에 따르면, 촬영 관련 정보는 상기 영상에 포함된 적어도 하나의 오브젝트를 가리지 않는 형태로 표시될 수 있다. 촬영 관련 정보는 프로그램에 의해 가상으로 생성된 컨텐츠를 포함할 수 있다.
일 실시예에 따르면, 프로세서(210)는 상기 영상에 포함된 적어도 하나의 오브젝트에 대응하여 촬영 관련 정보를 설정할 수 있다. 예를 들어, 프로세서(210)는 상기 적어도 하나의 오브젝트를 인식하는 경우 상기 적어도 하나의 오브젝트에 대응하는 촬영 관련 정보를 영상에 추가하여 표시할 수 있다.
다양한 실시예에 따르면, 전자 장치(101)는 카메라 모듈(240)을 사용하여 영상을 획득할 수 있고, 상기 획득된 영상에 대응하는 적어도 하나의 픽셀값을 측정할 수 있다. 전자 장치(101)는 상기 측정된 픽셀값을 기반으로 상기 영상에 포함된 적어도 하나의 오브젝트와 배경 사이에 형성된 경계선을 검출할 수 있다. 전자 장치(101)는 상기 검출된 경계선에 대응하는 기울기를 측정할 수 있고, 상기 측정된 기울기를 기반으로 촬영 관련 정보를 영상에 추가하여 표시할 수 있다.
일 실시예에 따르면, 촬영 관련 정보는 상기 영상에 포함된 적어도 하나의 오브젝트와 배경 사이에 형성된 경계선에 기반하여 표시되므로, 상기 적어도 하나의 오브젝트를 가리지 않는 형태로 표시될 수 있다. 일 실시예에 따르면, 촬영 관련 정보는 사용자에 의해 설정된 정보 및 상기 경계선에 대응하는 기울기 정보를 포함할 수 있다. 예를 들어, 촬영 관련 정보는 상기 적어도 하나의 오브젝트와 관련된 정보(예: 오브젝트의 표시 위치, 오브젝트의 기울기 정보, 및/또는 오브젝트의 카테고리 정보) 및/또는 전자 장치(101)의 촬영 세팅에 관한 정보(예: 카메라가 설치된 위치 및 카메라가 촬영하고 있는 위치와 관련된 정보)를 포함할 수 있다.
다른 실시예에 따르면, 전자 장치(101)는 촬영된 영상에 포함된 적어도 하나의 오브젝트 및 배경을 구분할 수 있다. 예를 들어, 전자 장치(101)는 영상에 포함된 적어도 하나의 오브젝트를 확인할 수 있고, 상기 적어도 하나의 오브젝트에 대응하는 픽셀값을 측정할 수 있다. 다른 실시예에 따르면, 전자 장치(101)는 상기 적어도 하나의 오브젝트를 기반으로 상기 적어도 하나의 오브젝트와 배경 사이의 경계선을 확인할 수 있다.
도 4a는 본 발명의 다양한 실시예에 따른 전자 장치의 카메라 모듈을 사용하여 촬영된 영상을 도시한 도면이다.
도 4a를 참조하면, 전자 장치(예: 도 2의 전자 장치(101))는 카메라 모듈(예: 도 2의 카메라 모듈(240))을 사용하여 특정 영역의 영상(400)을 촬영할 수 있다. 상기 영상(400)에는 적어도 하나의 오브젝트(예: 상자(410))가 포함될 수 있다. 일 실시예에 따르면, 외부 전자 장치(예: 도 2의 외부 전자 장치(102), 서버(server))는 통신 회로(예: 도 2의 통신 회로(262))를 통해 전자 장치(101)를 적어도 부분적으로 제어할 수 있고, 상기 촬영된 영상(400)을 상기 전자 장치(101)로부터 수신할 수 있다. 전자 장치(101)의 프로세서(예: 도 2의 프로세서(210))는 상기 영상(400)을 확대하거나, 축소할 수 있고, 상기 영상에 포함된 적어도 하나의 경계선을 검출할 수 있다. 예를 들어, 경계선은 상기 영상에 포함된 적어도 하나의 오브젝트(410)와 배경을 구분하는 경계를 나타내는 직선을 포함할 수 있고, 상기 적어도 하나의 오브젝트의 외곽선을 포함할 수 있다. 도 4a를 참조하면, 영상에 포함된 경계선을 검출하는 과정을 설명하기 용이하도록 영상(400)의 일부 영역(420)을 확대하여 도시한다. 일 실시예에 따르면, 전자 장치(101)는 영상(400)의 전체 크기에 기반하여, 상기 적어도 하나의 경계선을 검출할 수 있다.
도 4b는 본 발명의 다양한 실시예에 따른 촬영된 영상(400)을 적어도 하나의 블록(block)으로 구분한 도면이다.
도 4b를 참조하면, 영상(400)의 일부 영역(420)을 기반으로 적어도 하나의 블록으로 구분하였으나, 이에 한정되지 않는다. 프로세서(210)는 영상(400)의 전체 크기를 기반으로 적어도 하나의 블록으로 구분할 수 있다. 일 실시예에 따르면, 프로세서(210)는 영상(400)을 적어도 하나의 블록을 기반으로 구분할 수 있고, 상기 적어도 하나의 블록에 대응하는 픽셀 값을 측정할 수 있다. 예를 들어, 프로세서(120)는 영상(400)에 대응하는 기준값을 설정할 수 있으며, 상기 기준값과 상기 적어도 하나의 블록에 대응하는 픽셀 값과의 차이값(예: SAD(sum of absolute difference) value, SAD 값)을 측정할 수 있다. 도 4b에 도시된 영상(400)의 일부 영역(420)에서 각각의 블록에 대응하는 차이값(예: SAD값)이 도시된다. 기준값을 설정하는 과정은 도 3의 동작 305를 설명하면서 전술하였으므로 생략한다.
일 실시예에 따르면, 프로세서(210)는 상기 적어도 하나의 블록에 대응하는 픽셀 값과 상기 기준값과의 차이값(SAD 값)을 측정할 수 있다. 일 실시예에 따르면, 프로세서(210)는 차이값(SAD 값)을 기반으로 영상에 포함된 적어도 하나의 경계선을 검출할 수 있다. 예를 들어, 프로세서(210)는 제 1 블록에 대응하는 제 1 SAD 값과 상기 제 1 블록의 주변(예: 상, 하, 좌, 우)에 인접한 제 2 블록에 대응하는 제 2 SAD 값과의 차이값을 계산할 수 있고, 상기 차이값이 설정된 임계값을 초과하는 경우 상기 제 1 블록 및 상기 제 2 블록 사이에 적어도 부분적으로 경계선이 위치하고 있음을 판단할 수 있다. 일 실시예에 따르면, 프로세서(210)는 상기 적어도 하나의 블록에 대응하는 SAD 값을 기반으로 영상에 포함된 적어도 하나의 경계선을 검출할 수 있다. 일 실시예에 따르면, 프로세서(210)는 상기 검출된 경계선의 양단(예: 일단, 타단)에 대응하는 좌표를 검출할 수 있다.
도 4c는 본 발명의 다양한 실시예에 따른 적어도 하나의 블록에 대응하는 SAD 값을 기반으로 경계선의 양단 좌표를 검출한 도면이다.
도 4c를 참조하면, 프로세서(210)는 상기 적어도 하나의 블록에 대응하는 SAD 값을 기반으로 경계선의 양단 좌표(예: 일단에 대응하는 제 1 좌표(421) 및 타단에 대응하는 제 2 좌표(422))를 검출할 수 있다. 예를 들어, 일단에 대응하는 제 1 좌표(421)는 경계선의 시작 좌표에 해당하고, 타단에 대응하는 제 2 좌표(422)는 경계서의 종료 좌표에 해당할 수 있다. 일 실시예에 따르면, 프로세서(210)는 제 1 좌표(421) 및 제 2 좌표(422)를 기반으로 적어도 하나의 경계선을 검출할 수 있다. 예를 들어, 제 1 좌표(421)를 시작 지점으로 하고, 제 2 좌표(422)를 종료 지점으로 설정하여, 프로세서(210)는 제 1 좌표(421)와 제 2 좌표(422)를 연결하는 직선을 경계선으로 결정할 수 있다.
일 실시예에 따르면, 프로세서(210)는 상기 검출된 경계선에 대응하는 기울기를 측정할 수 있다. 예를 들어, 경계선의 높이(height) 및 너비(width)를 검출할 수 있다. 예를 들어, X축을 기준으로 상기 제 1 좌표(421)와 상기 제 2 좌표(422)가 하나의 블록 크기만큼 떨어져 있으면, 상기 경계선의 너비는 1을 의미할 수 있고, 두 개의 블록 크기만큼 떨어져 있으면, 상기 경계선의 너비는 2를 의미할 수 있다. 일 실시예에 따르면, 프로세서(210)는 상기 제 1 좌표(421) 및 상기 제 2 좌표(422)를 기반으로 경계선의 높이(424)(예: 경계선의 세로 길이) 및 너비(423)(예: 경계선의 가로 길이)를 검출할 수 있다. 일 실시예에 따르면, 프로세서(210)는 상기 경계선의 높이(424) 및 너비(423)를 기반으로, 상기 경계선에 대응하는 기울기를 측정할 수 있다. 일 실시예에 따르면, 프로세서(210)는 상기 측정된 기울기를 기반으로, 상기 영상에 촬영 관련 정보를 추가할 수 있다.
도 4d는 본 발명의 다양한 실시예에 따른 적어도 하나의 경계선을 검출하고, 상기 검출된 경계선의 기울기를 확인하고, 상기 확인된 기울기를 기반으로 영상에 촬영 관련 정보를 추가한 도면이다.
도 4d를 참조하면, 전자 장치(101)의 프로세서(210)는 경계선(431)의 기울기를 측정할 수 있고, 상기 경계선(431)의 기울기를 기반으로 촬영 관련 정보(430)를 영상에 추가할 수 있다. 예를 들어, 촬영 관련 정보(430)는 컨텐츠, 텍스트, 2D 이미지, 및/또는 3D 이미지와 같은 형태로 구현될 수 있고, 카메라가 설치된 위치와 관련된 정보 및/또는 카메라가 촬영하고 있는 위치와 관련된 정보가 포함된 가상의 오브젝트를 포함할 수 있다. 촬영 관련 정보(430)는 컴퓨터 프로그램에 기반하여 생성된 컨텐츠를 포함할 수 있다. 일 실시예에 따르면, 프로세서(210)는 카메라 모듈(240)을 사용하여 촬영된 영상을 인코딩함에 있어서, 촬영 관련 정보(430)를 영상에 추가할 수 있다. 사용자는 영상을 확인할 때, 촬영 관련 정보(430)를 직관적으로 확인할 수 있고, 상기 영상을 촬영하는 상황을 용이하게 이해할 수 있다.
일 실시예에 따르면, 촬영 관련 정보(430)는 사용자에 의해 크기(size), 표시 위치, 색상, 및/또는 각도 중 적어도 하나가 설정될 수 있고, 상기 설정된 정보를 기반으로 영상에 추가되어 표시될 수 있다. 예를 들어, 프로세서(210)는 촬영 관련 정보(430)를 메모리(230)에 저장할 수 있다. 일 실시예에 따르면, 카메라 모듈(240)을 사용하여 영상을 촬영할 때, 프로세서(210)는 상기 메모리(230)에 저장된 촬영 관련 정보(430)를 로딩하여 상기 영상에 추가할 수 있다. 일 실시예에 따르면, 프로세서(210)는 상기 영상을 인코딩할 때, 촬영 관련 정보(430)를 추가할 수 있다.
다른 실시예에 따르면, 프로세서(210)는 영상에 포함된 적어도 하나의 오브젝트를 검출할 수 있고, 상기 적어도 하나의 오브젝트에 대응하는 촬영 관련 정보(430)를 생성할 수 있다. 예를 들어, 상기 적어도 하나의 오브젝트에 대응하는 촬영 관련 정보(430)는 상기 적어도 하나의 오브젝트를 나타내는 정보(예: 오브젝트의 종류, 경계선의 기울기 값, 오브젝트의 위치, 및/또는 오브젝트의 표시 위치)를 포함할 수 있다. 다른 실시예에 따르면, 프로세서(210)는 상기 적어도 하나의 오브젝트의 종류를 검출할 수 있고, 상기 적어도 하나의 오브젝트와 관련된 정보를 촬영 관련 정보로 생성하여, 상기 영상에 추가할 수 있다.
다른 실시예에 따르면, 전자 장치(101)는 적어도 하나의 오브젝트에 대응하는 경계선(431)의 기울기를 측정할 수 있고, 상기 측정된 기울기를 기반으로 촬영 관련 정보(430)(예: "택배 상자 0.0834°" 텍스트 정보)를 영상에 추가할 수 있다. 예를 들어, 촬영 관련 정보(430)는 오브젝트와 관련된 정보(예: 오브젝트의 종류) 및 기울기와 관련된 정보(예: 기울기 값)를 포함할 수 있다.
도 5는 본 발명의 다양한 실시예에 따른 영상에 포함된 적어도 하나의 경계선을 검출하고, 상기 검출된 경계선을 기반으로 촬영 관련 정보를 추가하는 제 1 실시예를 도시한다.
도 5를 참조하면, 전자 장치(예: 도 2의 전자 장치(101))는 카메라 모듈(예: 도 2의 카메라 모듈(240))을 사용하여 특정 영역에 대응하는 영상(500)을 촬영할 수 있다. 전자 장치(101)의 프로세서(예: 도 2의 프로세서(210))는 상기 획득된 영상(500)에 대응하는 적어도 하나의 픽셀값을 측정할 수 있다. 예를 들어, 상기 영상(500)에는 적어도 하나의 오브젝트(예: 피사체) 및 배경이 포함될 수 있고, 프로세서(210)는 상기 영상(500)에 대응하는 픽셀값을 측정할 수 있다. 일 실시예에 따르면, 사용자는 영상(500)의 일부 영역(예: 도 5의 장애인 전용 주차 공간, 제 1 영역(510))을 하나의 오브젝트로 설정할 수 있고, 전자 장치(101)의 프로세서(210)는 상기 설정된 오브젝트를 중심으로 적어도 하나의 픽셀값을 측정할 수 있다. 예를 들어, 적어도 하나의 오브젝트는 사용자에 의해 결정된 적어도 하나의 영역 및 공간을 포함할 수 있다. 도 5를 참조하면, 장애인 전용 주차 공간으로, 제 1 영역(510)이 적어도 하나의 오브젝트로 설정될 수 있다.
일 실시예에 따르면, 전자 장치(101)의 프로세서(210)는 상기 영상(500)에 대응하는 적어도 하나의 픽셀값을 측정할 수 있고, 상기 측정된 적어도 하나의 픽셀값을 기반으로 적어도 하나의 경계선(511)을 검출할 수 있다. 예를 들어, 경계선(511)은 상기 제 1 영역(510)과 배경에 해당하는 다른 영역을 구분하는 직선 및 곡선을 포함할 수 있다. 경계선(511)은 적어도 하나의 오브젝트(예: 제 1 영역(510))의 외곽선을 포함할 수 있다. 경계선(511)은 적어도 하나의 오브젝트에 대응하는 복수 개의 외곽선을 포함할 수 있다. 일 실시예에 따르면, 프로세서(210)는 상기 영상(500)에 대응하는 적어도 하나의 픽셀값을 측정할 수 있고, 상기 측정된 픽셀값을 기반으로 적어도 하나의 경계선을 검출할 수 있다.
일 실시예에 따르면, 프로세서(210)는 상기 경계선(511)에 대응하는 기울기를 측정할 수 있다. 예를 들어, 프로세서(210)는 상기 경계선(511)의 일단에 대응하는 제 1 좌표(512) 및 상기 경계선(511)의 타단에 대응하는 제 2 좌표(513)를 검출할 수 있다. 프로세서(210)는 상기 제 1 좌표(512)와 상기 제 2 좌표(513)를 연결하는 직선을 검출할 수 있고, 상기 직선을 기반으로 상기 경계선(511)에 대응하는 기울기를 측정할 수 있다.
일 실시예에 따르면, 프로세서(210)는 상기 측정된 기울기를 기반으로 촬영 관련 정보(520)를 영상(500)에 추가할 수 있다. 예를 들어, 프로세서(210)는 촬영된 영상을 인코딩함에 있어서, 촬영 관련 정보(520)를 영상에 추가할 수 있다. 일 실시예에 따르면, 프로세서(210)는 영상(500)에 촬영 관련 정보(520)(예: "장애인 전용 주차 공간" 텍스트 정보)를 추가할 수 있고, 상기 촬영 관련 정보(520)가 포함된 영상을 다른 전자 장치와 공유할 수 있다.
일 실시예에 따르면, 프로세서(210)는 상기 검출된 경계선을 기반으로 촬영 관련 정보(520)를 표시할 수 있다. 프로세서(210)는 설정에 따라, 촬영 관련 정보(520)의 위치, 크기, 색상 및 각도를 결정할 수 있다. 예를 들어, 사용자 및 개발자는 촬영 관련 정보(520)에 대한 설정 정보를 변경할 수 있다. 일 실시예에 따르면, 촬영 관련 정보(520)는 경계선의 기울기에 기반하여 각도가 결정될 수 있고, 상기 경계선의 길이에 대응하여, 크기가 결정될 수 있다.
도 6은 본 발명의 다양한 실시예에 따른 영상에 포함된 오브젝트에 대응하는 경계선을 검출하고, 상기 검출된 경계선을 기반으로 촬영 관련 정보를 추가하는 제 2 실시예를 도시한다.
도 6을 참조하면, 전자 장치(예: 도 2의 전자 장치(101))는 카메라 모듈(예: 도 2의 카메라 모듈(240))을 사용하여 영상(600)을 촬영할 수 있다. 전자 장치(101)의 프로세서(예: 도 2의 프로세서(210))는 상기 획득된 영상(600)에 포함된 적어도 하나의 오브젝트(예: 횡단 보도에 해당하는 제 1 영역(610))를 선별할 수 있다. 예를 들어, 적어도 하나의 오브젝트는 사용자에 의해 설정된 적어도 하나의 영역 및 공간을 포함할 수 있다. 도 6을 참조하면, 영상(600)에 포함된 횡단 보도 영역(예: 제 1 영역(610))이 적어도 하나의 오브젝트로 설정될 수 있다.
일 실시예에 따르면, 전자 장치(101)의 프로세서(210)는 영상(600)에서 제 1 영역(610)을 선별할 수 있고, 상기 제 1 영역(610)과 배경 사이에 형성된 경계선(611)을 검출할 수 있다. 예를 들어, 경계선(611)은 상기 제 1 영역(610)과 배경에 해당하는 다른 영역을 구분하는 직선 및 곡선을 포함할 수 있다. 경계선(611)은 적어도 하나의 오브젝트(예: 제 1 영역(610))의 외곽선을 포함할 수 있다. 경계선(611)은 적어도 하나의 오브젝트에 대응하는 외곽선을 포함할 수 있고, 상기 외곽선은 직선 또는 곡선을 포함할 수 있다. 경계선(611)은 복수 개의 외곽선 중 적어도 하나가 설정될 수 있다. 일 실시예에 따르면, 프로세서(210)는 상기 적어도 하나의 오브젝트(예: 제 1 영역(610))의 휘도 정보, 밝기 정보, 대비 정보, RGB 정보, 상기 적어도 하나의 오브젝트의 크기 정보 및 상기 영상의 크기 정보 중 적어도 하나를 기반으로, 상기 적어도 하나의 오브젝트에 대응하는 경계선(611)을 검출할 수 있다. 일 실시예에 따르면, 프로세서(210)는 상기 영상(600)에 대응하는 적어도 하나의 픽셀값을 측정할 수 있고, 상기 측정된 적어도 하나의 픽셀값을 기반으로 적어도 하나의 경계선을 검출할 수 있다.
일 실시예에 따르면, 프로세서(210)는 상기 경계선(611)에 대응하는 기울기를 측정할 수 있다. 예를 들어, 프로세서(210)는 상기 경계선(611)의 일단에 대응하는 제 1 좌표(612) 및 상기 경계선(611)의 타단에 대응하는 제 2 좌표(613)를 검출할 수 있다. 프로세서(210)는 상기 제 1 좌표(612)와 상기 제 2 좌표(613)를 연결하는 직선을 검출할 수 있고, 상기 직선을 기반으로 상기 경계선(611)에 대응하는 기울기를 측정할 수 있다.
일 실시예에 따르면, 프로세서(210)는 상기 측정된 기울기를 기반으로 촬영 관련 정보(620)를 영상(600)에 추가할 수 있다. 예를 들어, 프로세서(210)는 촬영된 영상을 인코딩함에 있어서, 촬영 관련 정보(620)를 영상에 추가할 수 있다. 촬영 관련 정보(620)는 사용자에 의해 결정될 수 있다.
다른 실시예에 따르면, 촬영 관련 정보(620)는 적어도 하나의 오브젝트(예: 제 1 영역(610))에 대응하여 설정될 수 있고, 상기 적어도 하나의 오브젝트(610)를 나타내는 정보(예: "우측 하단 횡단보도" 텍스트 정보)를 포함할 수 있다. 프로세서(210)는 상기 적어도 하나의 오브젝트(610)에 대응하는 경계선(611)을 기반으로 촬영 관련 정보(620)를 표시할 수 있다. 프로세서(210)는 설정에 따라, 촬영 관련 정보(620)의 위치, 크기, 색상 및 각도를 결정할 수 있다. 예를 들어, 사용자 및 개발자는 촬영 관련 정보(620)에 대한 설정 정보를 변경할 수 있다. 일 실시예에 따르면, 촬영 관련 정보(620)는 경계선의 기울기에 기반하여 각도가 결정될 수 있고, 상기 경계선의 길이에 대응하여, 크기(예: 가로 길이 및 세로 길이)가 결정될 수 있다. 다른 실시예에 따르면, 적어도 하나의 오브젝트(610)에 대응하는 촬영 관련 정보(620)는 미리 설정될 수 있고, 영상에 포함된 적어도 하나의 오브젝트(610)가 검출되면, 상기 촬영 관련 정보(620)가 상기 영상에 추가되어 표시될 수 있도록 설정될 수 있다.
다른 실시예에 따르면, 촬영 관련 정보(620)는 전자 장치(101)를 중심으로 설정된 거리 이내에 위치한 다른 전자 장치들에 공유될 수 있다. 예를 들어, 전자 장치(101)는 동일한 피사체를 촬영하고 있는 다른 전자 장치와 촬영 관련 정보(620)를 공유할 수 있다. 다른 실시예에 따르면, 전자 장치(101)는 적어도 하나의 오브젝트(610)를 촬영한 영상을 인코딩할 때, 전자 장치(101)는 상기 적어도 하나의 오브젝트(610)에 대응하는 촬영 관련 정보(620)를 상기 영상에 추가할 수 있다. 예를 들어, 다른 전자 장치에서 적어도 하나의 오브젝트(610)가 포함된 영상을 인코딩할 때, 다른 전자 장치는 상기 적어도 하나의 오브젝트(610)에 대응하는 촬영 관련 정보(620)를 상기 영상에 추가할 수 있다. 상기 촬영 관련 정보(620)는 전자 장치(101)로부터 공유된 정보일 수 있다.
일 실시예에 따르면, 전자 장치(101)는 촬영된 영상을 인코딩할 때, 상기 영상에 대응하는, 시간 정보, 장소 정보, 위치 정보, 카메라의 방향 정보, 카메라의 각도 정보, 렌즈와 지면 간의 각도 정보, 및/또는 다른 전자 장치의 이동과 관련된 정보 중 적어도 하나의 정보를 추가할 수 있다. 예를 들어, 전자 장치(101)는 영상 인코딩 시, 전술된 정보들 중 적어도 하나의 정보와 함께 상기 영상을 생성할 수 있다. 일 실시예에 따르면, 전자 장치(101)는 카메라 모듈(240)을 사용하여 촬영된 영상을 획득할 수 있고, 상기 획득된 영상에 포함된 정보들을 확인할 수 있다.
다른 실시예에 따르면, 전자 장치(101)는 상기 영상에 포함된 적어도 하나의 오브젝트를 검출할 수 있고, 상기 적어도 하나의 오브젝트에 대응하여 설정된 촬영 관련 정보를 확인할 수 있다.
일 실시예에 따르면, 전자 장치(101)는 촬영 관련 정보가 영상에 포함되도록 인코딩된 영상을 외부 전자 장치(102)(예: 서버)에 전송할 수 있다. 일 실시예에 따르면, 특정 위치에 대응하는 영상을 표시함에 있어서, 상기 영상에 포함된 적어도 하나의 경계선을 고려하여, 촬영 관련 정보가 추가되므로, 상기 영상에 대한 사용자의 시인성이 향상될 수 있다. 일 실시예에 따르면, 촬영 관련 정보는 상기 영상에 포함된 적어도 하나의 오브젝트를 가리지 않도록 상기 영상에 추가될 수 있다.
다양한 실시예에 따르면, 전자 장치(101)는 외부 전자 장치(102)와 통신을 수행할 수 있으며, 적어도 하나의 카메라 모듈(240)을 사용하여 특정 영역의 영상을 촬영할 수 있다. 외부 전자 장치(102)(예: 서버)는 복수 개의 전자 장치(101)들과 통신을 수행할 수 있다. 예를 들어, 외부 전자 장치(102)는 특정 지역에 설치된 복수 개의 전자 장치(101)들을 개별적으로 또는 통합적으로 제어할 수 있는 시스템을 구축할 수 있다. 일 실시예에 따르면, 외부 전자 장치(102)는 복수 개의 전자 장치(101)들 중 적어도 하나의 전자 장치(101)를 선택할 수 있고, 상기 선택된 전자 장치(101)에서 촬영된 영상을 표시 장치에 출력할 수 있다. 예를 들어, 외부 전자 장치(102)는 적어도 하나의 전자 장치(101)를 적어도 부분적으로 제어할 수 있는 중앙 제어 장치(central control device)를 포함할 수 있다.
일 실시예에 따르면, 전자 장치(101)는 카메라 모듈(240)을 사용하여 촬영된 영상을 인코딩함에 있어서, 촬영 관련 정보를 상기 촬영된 영상에 추가할 수 있다. 예를 들어, 촬영 관련 정보는 상기 전자 장치(101)가 배치된 위치 정보 및 상기 전자 장치(101)가 촬영하는 적어도 하나의 오브젝트와 관련된 정보를 포함할 수 있다. 촬영 관련 정보는 가상의 오브젝트로 구현될 수 있다. 일 실시예에 따르면, 전자 장치(101)는 촬영된 영상을 인코딩함에 있어서, 촬영 관련 정보를 추가할 수 있고, 사용자에게 직관적으로 촬영 중인 상황 및 상기 촬영과 관련된 다양한 정보를 함께 제공할 수 있다.
본 문서에 개시된 다양한 실시예들에 따른 전자 장치(예: 서버)는 다양한 형태의 장치가 될 수 있다. 전자 장치는, 예를 들면, 휴대용 통신 장치(예: 스마트폰), 컴퓨터 장치, 휴대용 멀티미디어 장치, 휴대용 의료 기기, 카메라, 웨어러블 장치, 또는 가전 장치를 포함할 수 있다. 본 문서의 실시예에 따른 전자 장치(예: 서버)는 전술한 기기들에 한정되지 않는다.
본 문서의 다양한 실시예들 및 이에 사용된 용어들은 본 문서에 기재된 기술적 특징들을 특정한 실시예들로 한정하려는 것이 아니며, 해당 실시예의 다양한 변경, 균등물, 또는 대체물을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 또는 관련된 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다. 아이템에 대응하는 명사의 단수 형은 관련된 문맥상 명백하게 다르게 지시하지 않는 한, 상기 아이템 한 개 또는 복수 개를 포함할 수 있다. 본 문서에서, "A 또는 B", "A 및 B 중 적어도 하나","A 또는 B 중 적어도 하나,""A, B 또는 C," "A, B 및 C 중 적어도 하나,"및 "A, B, 또는 C 중 적어도 하나"와 같은 문구들 각각은 그 문구들 중 해당하는 문구에 함께 나열된 항목들 중 어느 하나, 또는 그들의 모든 가능한 조합을 포함할 수 있다. "제 1", "제 2", 또는 "첫째" 또는 "둘째"와 같은 용어들은 단순히 해당 구성요소를 다른 해당 구성요소와 구분하기 위해 사용될 수 있으며, 해당 구성요소들을 다른 측면(예: 중요성 또는 순서)에서 한정하지 않는다. 어떤(예: 제 1) 구성요소가 다른(예: 제 2) 구성요소에, "기능적으로" 또는 "통신적으로"라는 용어와 함께 또는 이런 용어 없이, "커플드" 또는 "커넥티드"라고 언급된 경우, 그것은 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로(예: 유선으로), 무선으로, 또는 제 3 구성요소를 통하여 연결될 수 있다는 것을 의미한다.
본 문서에서 사용된 용어 "모듈"은 하드웨어, 소프트웨어 또는 펌웨어로 구현된 유닛을 포함할 수 있으며, 예를 들면, 로직, 논리 블록, 부품, 또는 회로 등의 용어와 상호 호환적으로 사용될 수 있다. 모듈은, 일체로 구성된 부품 또는 하나 또는 그 이상의 기능을 수행하는, 상기 부품의 최소 단위 또는 그 일부가 될 수 있다. 예를 들면, 일 실시예에 따르면, 모듈은 ASIC(application-specific integrated circuit)의 형태로 구현될 수 있다.
본 문서의 다양한 실시예들은 기기(machine)(예: 전자 장치(101)) 의해 읽을 수 있는 저장 매체(storage medium)(예: 내장 메모리 또는 외장 메모리)에 저장된 하나 이상의 명령어들을 포함하는 소프트웨어(예: 프로그램)로서 구현될 수 있다. 예를 들면, 기기(예: 전자 장치(101))의 프로세서(예: 프로세서(210))는, 저장 매체로부터 저장된 하나 이상의 명령어들 중 적어도 하나의 명령을 호출하고, 그것을 실행할 수 있다. 이것은 기기가 상기 호출된 적어도 하나의 명령어에 따라 적어도 하나의 기능을 수행하도록 운영되는 것을 가능하게 한다. 상기 하나 이상의 명령어들은 컴파일러에 의해 생성된 코드 또는 인터프리터에 의해 실행될 수 있는 코드를 포함할 수 있다. 기기로 읽을 수 있는 저장매체는, 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서, '비일시적'은 저장매체가 실재(tangible)하는 장치이고, 신호(signal)(예: 전자기파)를 포함하지 않는다는 것을 의미할 뿐이며, 이 용어는 데이터가 저장매체에 반영구적으로 저장되는 경우와 임시적으로 저장되는 경우를 구분하지 않는다.
일 실시예에 따르면, 본 문서에 개시된 다양한 실시예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory (CD-ROM))의 형태로 배포되거나, 또는 어플리케이션 스토어(예: 플레이 스토어TM)를 통해 또는 두 개의 사용자 장치들(예: 스마트폰들) 간에 직접, 온라인으로 배포(예: 다운로드 또는 업로드)될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 기기로 읽을 수 있는 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.
다양한 실시예들에 따르면, 상기 기술한 구성요소들의 각각의 구성요소(예: 모듈 또는 프로그램)는 단수 또는 복수의 개체를 포함할 수 있다. 다양한 실시예들에 따르면, 전술한 해당 구성요소들 중 하나 이상의 구성요소들 또는 동작들이 생략되거나, 또는 하나 이상의 다른 구성요소들 또는 동작들이 추가될 수 있다. 대체적으로 또는 추가적으로, 복수의 구성요소들(예: 모듈 또는 프로그램)은 하나의 구성요소로 통합될 수 있다. 이런 경우, 통합된 구성요소는 상기 복수의 구성요소들 각각의 구성요소의 하나 이상의 기능들을 상기 통합 이전에 상기 복수의 구성요소들 중 해당 구성요소에 의해 수행되는 것과 동일 또는 유사하게 수행할 수 있다. 다양한 실시예들에 따르면, 모듈, 프로그램 또는 다른 구성요소에 의해 수행되는 동작들은 순차적으로, 병렬적으로, 반복적으로, 또는 휴리스틱하게 실행되거나, 상기 동작들 중 하나 이상이 다른 순서로 실행되거나, 생략되거나, 또는 하나 이상의 다른 동작들이 추가될 수 있다.
그리고 본 명세서와 도면에 개시된 본 발명의 실시 예들은 본 발명의 실시예에 따른 기술 내용을 쉽게 설명하고 본 발명의 실시예의 이해를 돕기 위해 특정 예를 제시한 것일 뿐이며, 본 발명의 실시예의 범위를 한정하고자 하는 것은 아니다. 따라서 본 발명의 다양한 실시예의 범위는 여기에 개시된 실시 예들 이외에도 본 발명의 다양한 실시예의 기술적 사상을 바탕으로 도출되는 모든 변경 또는 변형된 형태가 본 발명의 다양한 실시예의 범위에 포함되는 것으로 해석되어야 한다.
100: 네트워크 환경 101: 전자 장치
102: 외부 전자 장치
210: 프로세서 211: 이미지 처리 모듈
220: 통신 회로 230: 메모리
240: 카메라 모듈 241: 센서 모듈
250: 외부 전자 장치(102)의 프로세서 261: 외부 전자 장치(102)의 메모리
262: 외부 전자 장치(102)의 통신 회로

Claims (20)

  1. 전자 장치에 있어서,
    통신 회로;
    카메라 모듈;
    상기 통신 회로 및 상기 카메라 모듈에 작동적으로 연결된 프로세서; 및
    상기 프로세서와 작동적으로 연결된 메모리를 포함하고,
    상기 메모리는, 실행 시에, 상기 프로세서가,
    상기 카메라 모듈을 사용하여 촬영된 영상을 획득하고,
    상기 영상을, 적어도 하나의 픽셀을 포함하는 복수의 블록 각각으로 구분하고,
    상기 복수의 블록 각각에 포함되는 적어도 하나의 픽셀의 휘도(luminance) 정보, 밝기(brightness) 정보, 대비(contrast) 정보, 및 RGB(red-green-blue) 정보 중 적어도 하나에 기초하여 상기 복수의 블록 각각의 픽셀값을 산출하고,
    상기 영상에 포함되는 오브젝트의 휘도값과 배경의 휘도값을 기초로 상기 영상의 기준값을 산출하고,
    상기 복수의 블록 각각의 픽셀값과 상기 기준값 사이의 차이에 기초한 상기 복수의 블록 각각의 SAD(sum of absolute difference)값을 산출하고,
    상기 복수의 블록 각각에 대해서, 상기 복수의 블록 각각의 SAD값과, 상기 복수의 블록 각각의 상하좌우에서 인접하는 복수의 다른 블록들의 SAD값 간의 차이값을 산출하고,
    상기 산출된 차이값이 미리 정해진 기준 차이값보다 큰 값을 가지게 되는 2개의 블록 사이를 경계선으로 특정하고,
    상기 특정된 경계선의 기울기를 산출하고,
    상기 산출된 기울기를 기반으로 상기 영상에 촬영 관련 정보를 추가하도록 하는 인스트럭션들을 저장하는 전자 장치.
  2. 삭제
  3. 삭제
  4. 제 1 항에 있어서,
    상기 인스트럭션들은, 상기 프로세서가,
    상기 영상에 포함된 적어도 하나의 오브젝트와 배경을 구분하고,
    상기 적어도 하나의 오브젝트에 대응하여 측정된 제 1 픽셀 값에 제 1 가중치를 적용하고,
    상기 배경에 대응하여 측정된 제 2 픽셀 값에 제 2 가중치를 적용하고,
    상기 제 1 픽셀 값 및 상기 제 2 픽셀 값을 기반으로 상기 적어도 하나의 오브젝트와 상기 배경 사이에 형성된 경계선을 검출하도록 하는 인스트럭션들을 저장하는 전자 장치.
  5. 제 1 항에 있어서,
    상기 인스트럭션들은, 상기 프로세서가,
    상기 경계선의 일단에 대응하는 제 1 좌표 및 상기 경계선의 타단에 대응하는 제 2 좌표를 검출하고,
    상기 제 1 좌표와 상기 제 2 좌표를 연결하는 직선을 검출하고,
    상기 검출된 직선을 기반으로 상기 경계선에 대응하는 기울기를 측정하도록 하는 인스트럭션들을 저장하는 전자 장치.
  6. 제 1 항에 있어서,
    상기 인스트럭션들은, 상기 프로세서가,
    상기 촬영 관련 정보의 표시 위치, 크기, 색상 및 각도를 설정하고,
    상기 설정된 촬영 관련 정보의 표시 위치, 크기, 색상 및 각도를 상기 메모리에 저장하도록 하는 인스트럭션들을 저장하는 전자 장치.
  7. 제 6 항에 있어서,
    상기 인스트럭션들은, 상기 프로세서가,
    상기 설정된 촬영 관련 정보의 표시 위치, 크기, 색상 및 각도를 기반으로 상기 영상에 상기 촬영 관련 정보를 추가하여 표시하도록 하는 인스트럭션들을 저장하는 전자 장치.
  8. 제 1 항에 있어서,
    상기 인스트럭션들은, 상기 프로세서가,
    상기 카메라 모듈을 사용하여 촬영된 영상에 상기 촬영 관련 정보를 추가하여 상기 영상을 인코딩하도록 하는 인스트럭션들을 저장하는 전자 장치.
  9. 제 8 항에 있어서,
    상기 촬영 관련 정보는 촬영 시간, 촬영 장소, 촬영 방향, 상기 카메라의 각도, 렌즈와 지면과의 각도, 및 상기 카메라의 이동 관련 정보 중 적어도 하나를 포함하는 전자 장치.
  10. 제 1 항에 있어서,
    상기 인스트럭션들은, 상기 프로세서가,
    상기 영상에 포함된 적어도 하나의 오브젝트를 확인하고,
    상기 적어도 하나의 오브젝트에 대응하여 오브젝트 관련 정보를 표시하도록 하는 인스트럭션들을 저장하는 전자 장치.
  11. 영상 정보 표시 방법에 있어서,
    카메라 모듈을 사용하여 촬영된 영상을 획득하는 동작;
    상기 영상을, 적어도 하나의 픽셀을 포함하는 복수의 블록 각각으로 구분하는 동작;
    상기 복수의 블록 각각에 포함되는 적어도 하나의 픽셀의 휘도(luminance) 정보, 밝기(brightness) 정보, 대비(contrast) 정보, 및 RGB(red-green-blue) 정보 중 적어도 하나에 기초하여 상기 복수의 블록 각각의 픽셀값을 산출하는 동작;
    상기 영상에 포함되는 오브젝트의 휘도값과 배경의 휘도값을 기초로 상기 영상의 기준값을 산출하는 동작;
    상기 복수의 블록 각각의 픽셀값과 상기 기준값 사이의 차이에 기초한 상기 복수의 블록 각각의 SAD(sum of absolute difference)값을 산출하는 동작;
    상기 복수의 블록 각각에 대해서, 상기 복수의 블록 각각의 SAD값과, 상기 복수의 블록 각각의 상하좌우에서 인접하는 복수의 다른 블록들의 SAD값 간의 차이값을 산출하는 동작;
    상기 산출된 차이값이 미리 정해진 기준 차이값보다 큰 값을 가지게 되는 2개의 블록 사이를 경계선으로 특정하는 동작;
    상기 특정된 경계선의 기울기를 산출하는 동작; 및
    상기 산출된 기울기를 기반으로 상기 영상에 촬영 관련 정보를 추가하는 동작; 을 포함하는 영상 정보 표시 방법.
  12. 삭제
  13. 삭제
  14. 제 11 항에 있어서,
    상기 경계선을 검출하는 동작은,
    상기 영상에 포함된 적어도 하나의 오브젝트와 배경을 구분하는 동작;
    상기 적어도 하나의 오브젝트에 대응하여 측정된 제 1 픽셀 값에 제 1 가중치를 적용하는 동작;
    상기 배경에 대응하여 측정된 제 2 픽셀 값에 제 2 가중치를 적용하는 동작; 및
    상기 제 1 픽셀 값 및 상기 제 2 픽셀 값을 기반으로 상기 적어도 하나의 오브젝트와 상기 배경 사이에 형성된 경계선을 검출하는 동작; 을 포함하는 영상 정보 표시 방법.
  15. 제 11 항에 있어서,
    상기 기울기를 측정하는 동작은,
    상기 경계선의 일단에 대응하는 제 1 좌표 및 상기 경계선의 타단에 대응하는 제 2 좌표를 검출하는 동작;
    상기 제 1 좌표와 상기 제 2 좌표를 연결하는 직선을 검출하는 동작; 및
    상기 검출된 직선을 기반으로 상기 경계선에 대응하는 기울기를 측정하는 동작; 을 포함하는 영상 정보 표시 방법.
  16. 제 11 항에 있어서,
    상기 촬영 관련 정보의 표시 위치, 크기, 색상 및 각도를 설정하는 동작; 및
    상기 설정된 촬영 관련 정보의 표시 위치, 크기, 색상 및 각도를 메모리에 저장하는 동작; 을 더 포함하는 영상 정보 표시 방법.
  17. 제 16 항에 있어서,
    상기 설정된 촬영 관련 정보의 표시 위치, 크기, 색상 및 각도를 기반으로 상기 영상에 상기 촬영 관련 정보를 추가하여 표시하는 동작; 을 더 포함하는 영상 정보 표시 방법.
  18. 제 11 항에 있어서,
    상기 카메라 모듈을 사용하여 촬영된 영상에 상기 촬영 관련 정보를 추가하여 상기 영상을 인코딩하는 동작; 을 더 포함하는 영상 정보 표시 방법.
  19. 제 18 항에 있어서,
    상기 촬영 관련 정보는 촬영 시간, 촬영 장소, 촬영 방향, 상기 카메라의 각도, 렌즈와 지면과의 각도, 및 상기 카메라의 이동 관련 정보 중 적어도 하나를 포함하는 것을 특징으로 하는 영상 정보 표시 방법.
  20. 제 11 항에 있어서,
    상기 영상에 포함된 적어도 하나의 오브젝트를 확인하는 동작; 및
    상기 적어도 하나의 오브젝트에 대응하여 오브젝트 관련 정보를 표시하는 동작; 을 더 포함하는 영상 정보 표시 방법.
KR1020200046074A 2020-04-16 2020-04-16 영상 정보 표시 방법 및 전자 장치 KR102339710B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200046074A KR102339710B1 (ko) 2020-04-16 2020-04-16 영상 정보 표시 방법 및 전자 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200046074A KR102339710B1 (ko) 2020-04-16 2020-04-16 영상 정보 표시 방법 및 전자 장치

Publications (2)

Publication Number Publication Date
KR20210128187A KR20210128187A (ko) 2021-10-26
KR102339710B1 true KR102339710B1 (ko) 2021-12-17

Family

ID=78268537

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200046074A KR102339710B1 (ko) 2020-04-16 2020-04-16 영상 정보 표시 방법 및 전자 장치

Country Status (1)

Country Link
KR (1) KR102339710B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230084978A (ko) * 2021-12-06 2023-06-13 삼성전자주식회사 라이다 장치를 포함하는 전자 장치 및 이의 동작 방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008226132A (ja) * 2007-03-15 2008-09-25 Fujitsu Ltd アンチエイリアシング処理方法およびアンチエイリアシング処理装置
JP2013077075A (ja) * 2011-09-29 2013-04-25 Furyu Kk 画像表示システム、学習システム、画像表示方法、および制御プログラム
JP2014165876A (ja) * 2013-02-27 2014-09-08 Nikon Corp 画像処理装置、撮像装置及び画像処理プログラム

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160024143A (ko) 2014-08-25 2016-03-04 삼성전자주식회사 영상 처리 방법 및 전자 장치

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008226132A (ja) * 2007-03-15 2008-09-25 Fujitsu Ltd アンチエイリアシング処理方法およびアンチエイリアシング処理装置
JP2013077075A (ja) * 2011-09-29 2013-04-25 Furyu Kk 画像表示システム、学習システム、画像表示方法、および制御プログラム
JP2014165876A (ja) * 2013-02-27 2014-09-08 Nikon Corp 画像処理装置、撮像装置及び画像処理プログラム

Also Published As

Publication number Publication date
KR20210128187A (ko) 2021-10-26

Similar Documents

Publication Publication Date Title
US9811910B1 (en) Cloud-based image improvement
US9007400B2 (en) Image processing device, image processing method and computer-readable medium
KR102124617B1 (ko) 이미지 합성 방법 및 그 전자 장치
US20160142680A1 (en) Image processing apparatus, image processing method, and storage medium
CN112911159B (zh) 图像呈现方法、图像获取设备及终端装置
US11017263B2 (en) Apparatus and method for recognizing object in image
KR102423295B1 (ko) 심도 맵을 이용하여 객체를 합성하기 위한 장치 및 그에 관한 방법
CN109671136B (zh) 图像处理设备及方法以及非暂时性计算机可读存储介质
US11062422B2 (en) Image processing apparatus, image communication system, image processing method, and recording medium
KR102339710B1 (ko) 영상 정보 표시 방법 및 전자 장치
US20220058887A1 (en) Augmented reality system and anchor display method thereof
CN110996078A (zh) 图像获取方法、终端及可读存储介质
CN112073640B (zh) 全景信息采集位姿获取方法及装置、系统
US9413477B2 (en) Screen detector
JP6777507B2 (ja) 画像処理装置および画像処理方法
CN108921097B (zh) 人眼视角检测方法、装置及计算机可读存储介质
CN113438432A (zh) 显示设备及其控制方法
KR20210101621A (ko) 카메라를 제어하는 방법 및 이를 지원하는 전자 장치
KR102633950B1 (ko) Cctv 영상을 이용하여 오브젝트의 속도를 측정하는방법 및 전자 장치
Mariappan et al. A design methodology of an embedded motion-detecting video surveillance system
KR102633942B1 (ko) 오브젝트의 속도를 보정하는 방법 및 전자 장치
US9311708B2 (en) Collaborative alignment of images
KR102252662B1 (ko) 이미지 맵과 연관되는 데이터를 생성하는 장치 및 그것의 동작 방법
US20210192679A1 (en) Electronic device and omni-directional image display method of electronic device
KR20110136019A (ko) 거리 차이를 통해 객체를 인식하는 증강현실 장치

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right