KR20180056124A - 전자 장치 및 그 이미지 처리 방법 - Google Patents

전자 장치 및 그 이미지 처리 방법 Download PDF

Info

Publication number
KR20180056124A
KR20180056124A KR1020160153965A KR20160153965A KR20180056124A KR 20180056124 A KR20180056124 A KR 20180056124A KR 1020160153965 A KR1020160153965 A KR 1020160153965A KR 20160153965 A KR20160153965 A KR 20160153965A KR 20180056124 A KR20180056124 A KR 20180056124A
Authority
KR
South Korea
Prior art keywords
dimensional image
image
dimensional
images
point
Prior art date
Application number
KR1020160153965A
Other languages
English (en)
Other versions
KR102551713B1 (ko
Inventor
김보은
김성현
이종인
김용덕
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020160153965A priority Critical patent/KR102551713B1/ko
Priority to EP17871987.8A priority patent/EP3520072A4/en
Priority to PCT/KR2017/012748 priority patent/WO2018093100A1/en
Priority to US15/811,963 priority patent/US10535147B2/en
Publication of KR20180056124A publication Critical patent/KR20180056124A/ko
Application granted granted Critical
Publication of KR102551713B1 publication Critical patent/KR102551713B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/12—Panospheric to cylindrical image transformations
    • G06T3/0043—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T3/0006—
    • G06T3/0062—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/02—Affine transformations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/06—Topological mapping of higher dimensional structures onto lower dimensional surfaces
    • G06T3/073—Transforming surfaces of revolution to planar images, e.g. cylindrical surfaces to planar images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Image Processing (AREA)
  • Geometry (AREA)

Abstract

전자 장치가 개시된다. 본 전자 장치는 스토리지 및 원본 이미지를 구(sphere)형의 3차원 이미지로 변환하고, 3차원 이미지 상의 복수의 포인트 각각을 기준으로 3차원 이미지를 평면으로 투사(projection)하여 각 포인트에 대응되는 복수의 2차원 이미지를 획득하여 스토리지에 저장하는 프로세서를 포함한다.

Description

전자 장치 및 그 이미지 처리 방법 { ELECTRONIC APPARATUS AND IMAGE PROCESSING METHOD THEREOF }
본 발명은 전자 장치 및 그 이미지 처리 방법에 대한 것으로, 더욱 상세하게는 3차원 이미지를 처리하는 전자 장치 및 그 이미지 처리 방법에 대한 것이다.
가상 현실(Virtual Reality, VR)에 대한 관심이 증대되면서 다양한 개인용 360도 촬영 기기가 출시되었다. 또한, 전방위 cctv, 블랙박스 등에 360도 영상 촬영 기기가 적용될 전망이다.
다양한 분야에서 360도 영상이 생성됨에 따라 이 영상들의 분석 필요성도 높아졌다. 예를 들어, cctv나 블랙박스 등에서는 이벤트 발생의 검출이나 객체 검출 및 추적이 필수적이다. 또한, HMD 뿐만 아니라 PC, TV 등 다양한 장치에서도 360도 컨텐츠의 감상이 가능하며, 자동 시점 이동 기능을 제공하기 위해서는 영상 분석이 필수적이다.
다만, 다양한 특징 검출 방법, 특징점 추출 방법, 영상 필터 적용 방법, 객체 검출 방법, 객체 추적 방법 등은 종래의 이미지에 대하여만 발전하였고, 360도 영상을 투사하여 생성하는 평면 이미지에 대하여는 미흡한 면이 있다.
예를 들어, 구 표면을 equirectangluar 투사하여 생성하는 equirectangular 이미지는 양 극점으로 갈수록 형상이 왜곡되고, 극점은 이미지의 가로 길이로 길게 늘어나게 된다. 그에 따라, 일반 영상에 이용되는 영상 분석 방법을 그대로 이용하면 equirectangular 이미지 자체가 가지는 왜곡에 의해 성능이 저하된다.
또한, 360도 영상의 경우, 구를 평면으로 펼치는 과정에서 불가피하게 가장자리 부분이 단절된다. 즉, equirectangular 이미지의 경우, 원래는 왼쪽과 오른쪽 가장자리 부분에 있는 물체가 연결된 것이며, 단절된 부분에서는 특징 검출과 객체 검출이 제대로 되지 않는다.
그에 따라, 360도 영상의 영상 분석 및 영상 처리의 성능을 향상시키기 위한 방안이 모색되고 있다.
본 발명은 상술한 필요성에 따른 것으로, 본 발명의 목적은 3차원 이미지를 왜곡 없이 처리하기 위한 전자 장치 및 그 이미지 처리 방법을 제공함에 있다.
이상과 같은 목적을 달성하기 위한 본 발명의 일 실시 예에 따르면, 전자 장치는 스토리지 및 원본 이미지를 구(sphere)형의 3차원 이미지로 변환하고, 상기 3차원 이미지 상의 복수의 포인트 각각을 기준으로 상기 3차원 이미지를 평면으로 투사(projection)하여 각 포인트에 대응되는 복수의 2차원 이미지를 획득하여 상기 스토리지에 저장하는 프로세서를 포함한다.
또한, 상기 프로세서는 상기 복수의 포인트 중 적어도 하나의 포인트에서 상기 3차원 이미지를 복수의 서로 다른 방향으로 투사하여, 상기 적어도 하나의 포인트에 대해 복수의 2차원 이미지를 획득할 수 있다.
그리고, 상기 프로세서는 상기 원본 이미지 내의 일 영역에 대한 이미지 분석이 개시되면, 상기 복수의 2차원 이미지 내에서 상기 일 영역이 각 2차원 이미지의 기설정된 영역 내에 위치한 2차원 이미지를 선택하여, 상기 선택된 2차원 이미지 내의 상기 일 영역에 대한 이미지 분석을 수행할 수 있다.
또한, 상기 프로세서는 상기 3차원 이미지를 복수의 영역으로 구분하고, 상기 복수의 영역별로 상기 포인트를 결정하며, 상기 결정된 포인트별로 해당 영역의 3차원 이미지를 평면으로 투사하여 상기 복수의 2차원 이미지를 획득할 수 있다.
그리고, 상기 프로세서는 상기 복수의 영역이 서로 중첩되도록 각 영역을 확장하고, 상기 결정된 포인트별로 확장된 영역의 3차원 이미지를 평면으로 투사하여 상기 복수의 2차원 이미지를 획득할 수 있다.
또한, 상기 프로세서는 상기 복수의 2차원 이미지 내에서 중첩되는 영역에 대한 이미지 처리가 수행된 이후에, 상기 복수의 2차원 이미지를 새로운 원본 이미지로 복원하는 경우, 상기 중첩되는 영역 내에서 서로 대응되는 픽셀들의 평균값, 중간값(median), 최대값 및 최소값 중 적어도 하나의 값을 이용하여 상기 새로운 원본 이미지를 복원할 수 있다.
그리고, 상기 프로세서는 상기 복수의 영역 간의 경계를 포함하는 복수의 추가 영역을 결정하고, 상기 복수의 추가 영역별로 추가 포인트를 결정하며, 상기 결정된 추가 포인트를 기준으로 해당 추가 영역의 3차원 이미지를 평면으로 투사하여 복수의 추가 2차원 이미지를 획득할 수 있다.
또한, 상기 프로세서는 상기 복수의 영역을 구분한 기준과 상이한 새로운 기준으로, 상기 3차원 이미지를 새로이 복수의 영역으로 구분하고, 상기 새로운 복수의 영역별로 상기 포인트를 결정하며, 상기 결정된 포인트별로 해당 영역의 3차원 이미지를 평면으로 투사하여 새로운 복수의 2차원 이미지를 획득하고, 이전의 복수의 2차원 이미지와 상기 새로운 복수의 2차원 이미지를 함께 이용하여 이미지 분석을 수행할 수 있다.
그리고, 상기 프로세서는 상기 복수의 2차원 이미지 중 하나의 2차원 이미지의 일 영역을, 해당 2차원 이미지의 일 측에 부가하여, 상기 2차원 이미지를 변경할 수 있다.
또한, 상기 스토리지는 연속적인 복수의 원본 이미지를 포함하는 원본 동영상을 저장하고, 상기 프로세서는 상기 복수의 원본 이미지를 각각 구형의 3차원 이미지로 변환하고, 변환된 각 3차원 이미지 중 하나인 제1 3차원 이미지에서 임의의 객체가 검출되면, 상기 객체가 검출된 제1 포인트를 기준으로 상기 제1 3차원 이미지를 평면으로 투사하여 제1 2차원 이미지를 획득하며, 상기 제1 3차원 이미지의 다음인 제2 3차원 이미지에서 상기 객체를 검출하고, 상기 제1 포인트 및 상기 객체가 검출된 제2 포인트 간의 거리가 기설정된 거리 이상이면 상기 제2 포인트를 기준으로 상기 제2 3차원 이미지를 평면으로 투사하여 제2 2차원 이미지를 획득하고, 상기 제1 포인트 및 상기 제2 포인트 간의 거리가 상기 기설정된 거리 미만이면, 상기 제1 포인트를 기준으로 상기 제2 3차원 이미지를 평면으로 투사하여 상기 제2 2차원 이미지를 획득할 수 있다.
그리고, 디스플레이를 더 포함하고, 상기 프로세서는 상기 복수의 2차원 이미지 중 하나의 기설정된 제1 영역을 디스플레이하도록 상기 디스플레이를 제어하고, 상기 복수의 2차원 이미지 중 각 2차원 이미지의 기설정된 제2 영역 내에 기설정된 오브젝트가 위치하는 2차원 이미지를 검출하며, 상기 검출된 2차원 이미지에 대한 정보를 상기 스토리지에 저장할 수 있다.
한편, 본 발명의 일 실시 예에 따르면, 전자 장치의 이미지 처리 방법은 원본 이미지를 구(sphere)형의 3차원 이미지로 변환하는 단계, 상기 3차원 이미지 상의 복수의 포인트 각각을 기준으로 상기 3차원 이미지를 평면으로 투사(projection)하여 각 포인트에 대응되는 복수의 2차원 이미지를 획득하는 단계 및 상기 원본 이미지 내의 일 영역에 대한 이미지 분석이 개시되면, 상기 복수의 2차원 이미지 내에서 상기 일 영역이 각 2차원 이미지의 기설정된 영역 내에 위치한 2차원 이미지를 선택하여, 상기 선택된 2차원 이미지 내의 상기 일 영역에 대한 이미지 분석을 수행하는 단계를 포함한다.
또한, 상기 획득하는 단계는 상기 복수의 포인트 중 적어도 하나의 포인트에서 상기 3차원 이미지를 복수의 서로 다른 방향으로 투사하여, 상기 적어도 하나의 포인트에 대해 복수의 2차원 이미지를 획득할 수 있다.
그리고, 상기 획득하는 단계는 상기 3차원 이미지를 복수의 영역으로 구분하고, 상기 복수의 영역별로 상기 포인트를 결정하며, 상기 결정된 포인트별로 해당 영역의 3차원 이미지를 평면으로 투사하여, 상기 복수의 2차원 이미지를 획득할 수 있다.
또한, 상기 획득하는 단계는 상기 복수의 영역이 서로 중첩되도록 각 영역을 확장하고, 상기 결정된 포인트별로 확장된 영역의 3차원 이미지를 평면으로 투사하여 상기 복수의 2차원 이미지를 획득할 수 있다.
그리고, 상기 복수의 2차원 이미지 내에서 중첩되는 영역에 대한 이미지 처리를 수행하는 단계 및 상기 복수의 2차원 이미지를 새로운 원본 이미지로 복원하는 경우, 상기 중첩되는 영역 내에서 서로 대응되는 픽셀들의 평균값, 중간값(median), 최대값 및 최소값 중 적어도 하나의 값을 이용하여 상기 새로운 원본 이미지를 복원하는 단계를 더 포함할 수 있다.
또한, 상기 획득하는 단계는 상기 복수의 영역 간의 경계를 포함하는 복수의 추가 영역을 결정하고, 상기 복수의 추가 영역별로 추가 포인트를 결정하며, 상기 결정된 추가 포인트를 기준으로 해당 추가 영역의 3차원 이미지를 평면으로 투사하여 복수의 추가 2차원 이미지를 획득할 수 있다.
그리고, 상기 획득하는 단계는 상기 복수의 영역을 구분한 기준과 상이한 새로운 기준으로, 상기 3차원 이미지를 새로이 복수의 영역으로 구분하고, 상기 새로운 복수의 영역별로 상기 포인트를 결정하며, 상기 결정된 포인트별로 해당 영역의 3차원 이미지를 평면으로 투사하여 새로운 복수의 2차원 이미지를 획득하고, 상기 분석을 수행하는 단계는 이전의 복수의 2차원 이미지와 상기 새로운 복수의 2차원 이미지를 함께 이용하여 이미지 분석을 수행할 수 있다.
또한, 상기 복수의 2차원 이미지 중 하나의 2차원 이미지의 일 영역을, 해당 2차원 이미지의 일 측에 부가하여, 상기 2차원 이미지를 변경하는 단계를 더 포함할 수 있다.
그리고, 상기 변환하는 단계는 연속적인 복수의 원본 이미지를 포함하는 원본 동영상에서, 상기 복수의 원본 이미지를 각각 구형의 3차원 이미지로 변환하고, 상기 획득하는 단계는 변환된 각 3차원 이미지 중 하나인 제1 3차원 이미지에서 임의의 객체가 검출되면, 상기 객체가 검출된 제1 포인트를 기준으로 상기 제1 3차원 이미지를 평면으로 투사하여 제1 2차원 이미지를 획득하며, 상기 제1 3차원 이미지의 다음인 제2 3차원 이미지에서 상기 객체를 검출하고, 상기 제1 포인트 및 상기 객체가 검출된 제2 포인트 간의 거리가 기설정된 거리 이상이면 상기 제2 포인트를 기준으로 상기 제2 3차원 이미지를 평면으로 투사하여 제2 2차원 이미지를 획득하고, 상기 제1 포인트 및 상기 제2 포인트 간의 거리가 상기 기설정된 거리 미만이면, 상기 제1 포인트를 기준으로 상기 제2 3차원 이미지를 평면으로 투사하여 상기 제2 2차원 이미지를 획득할 수 있다.
이상과 같은 본 발명의 다양한 실시 예에 따르면, 전자 장치는 3차원 이미지로부터 복수의 2차원 이미지를 획득하고, 복수의 2차원 이미지를 분석하여, 3차원 이미지 분석 시 발생할 수 있는 왜곡을 최소화할 수 있다.
도 1은 본 발명의 일 실시 예에 따른 전자 장치의 구성을 나타내는 블럭도이다.
도 2a 내지 도 2c는 본 발명의 이해를 돕기 위한 3차원 이미지를 설명하기 위한 도면들이다.
도 3a 내지 도 3d는 본 발명의 일 실시 예에 따른 원본 이미지 자체를 변환하는 경우를 설명하기 위한 도면이다.
도 4a 내지 도 4d는 본 발명의 다른 실시 예에 따른 원본 이미지 자체를 변환하는 경우를 설명하기 위한 도면이다.
도 5는 본 발명의 일 실시 예에 따른 2차원 이미지의 경계 영역을 분석하는 방법을 설명하기 위한 도면이다.
도 6은 본 발명의 일 실시 예에 따른 객체 추적 방법을 설명하기 위한 도면이다.
도 7은 본 발명의 일 실시 예에 따른 투사 시점에 대한 전자 장치의 동작을 설명하기 위한 도면이다.
도 8은 본 발명의 일 실시 예에 따른 이미지 처리 방법을 변경하는 방법을 설명하기 위한 도면이다.
도 9는 본 발명의 일 실시 예에 따른 이미지 분석 방법을 설명하기 위한 도면이다.
도 10은 본 발명의 일 실시 예에 따른 전자 장치의 이미지 처리 방법을 설명하기 위한 흐름도이다.
이하에서, 첨부된 도면을 이용하여 본 발명의 다양한 실시 예들에 대하여 구체적으로 설명한다.
도 1은 본 발명의 일 실시 예에 따른 전자 장치(100)의 구성을 나타내는 블럭도이다.
도 1에 도시된 바와 같이, 전자 장치(100)는 스토리지(110) 및 프로세서(120)를 포함한다.
전자 장치(100)는 이미지 또는 동영상의 분석 및 처리를 수행할 수 있는 장치일 수 있다. 예를 들어, 전자 장치(100)는 노트북, 데스크탑 PC, 스마트폰 등으로 구현될 수 있으며, 이미지 또는 동영상의 분석 및 처리가 가능한 장치라면 그 제한이 없다.
특히, 전자 장치(100)는 원본 이미지의 분석 및 처리를 수행할 수 있는 장치일 수 있다. 여기서, 원본 이미지는 복수의 서로 다른 시점에서 촬영된 복수의 이미지를 평면으로 변환한 VR(Virtual Reality) 이미지일 수 있다.
즉, 원본 이미지는 촬영자를 기준으로 전 방위가 포함되도록 복수의 이미지를 촬영하고, 촬영된 복수의 이미지를 스티칭(stitching)한 후 평면으로 변환한 이미지일 수 있다. 다만, 이에 한정되는 것은 아니며, 전 방위가 아닌 일부 방위만이 포함되도록 복수의 이미지를 촬영하여 원본 이미지를 생성할 수도 있다. 또한, 어안 렌즈 등을 이용하는 경우, 하나의 이미지를 촬영하여 원본 이미지를 생성할 수도 있다.
원본 이미지는 후술할 2차원 이미지의 일종일 수 있다. 다만, 이하에서는 설명의 편의를 위하여 원본 이미지와 2차원 이미지를 구별하여 설명한다.
복수의 서로 다른 시점에서 촬영된 복수의 이미지를 스티칭하면 구(sphere)형의 3차원 이미지가 생성되고, 3차원 이미지의 일 예를 도 2a에 도시하였다. 그리고, 도 2a의 3차원 이미지를 equirectangular 투사 방법을 통해 변환하면 2차원 이미지가 생성되고, 2차원 이미지의 일 예를 도 2b에 도시하였다.여기서, 3차원 이미지를 2차원 이미지로 변환하는 것을 투사(projection)한다고 하며, 3차원 이미지를 2차원 이미지로 변환하는 방법을 투사 방법이라고 한다.
도 2b에는 equirectangular 투사 방법을 나타냈으나, 이에 한정되는 것은 아니다. 예를 들어, rectilinear, cylindrical, mercator, stereographic, pannini 및 ours 등의 다양한 투사 방법을 이용하여 3차원 이미지를 2차원 이미지로 변환할 수도 있다.
도 2a의 3차원 이미지에서 표시된 원형 점들은 3차원 이미지가 평면으로 투사되면서 그 형태가 변경될 수 있다. 즉, 도 2a에 도시된 원형 점들은 도 2b의 2차원 이미지에서 상측 및 하측으로 갈수록 타원형으로 형태가 변경될 수 있다. 이는 3차원 이미지를 직사각형의 평면으로 도시함에 따라 발생하는 문제이며, 도 2b의 상측 및 하측으로 갈수록 왜곡이 심해질 수 있다.
다만, 다른 투사 방법을 이용하는 경우에는 왜곡이 발생하는 영역이 변경될 수도 있다. 이하에서는 설명의 편의를 위하여 equirectangular 투사 방법을 이용하는 것으로 설명한다. 다만, 다른 투사 방법을 이용하는 경우에도 본원의 기술이 적용될 수 있다.
한편, 전자 장치(100)는 디스플레이를 구비할 수 있고, 도 2c에 도시된 바와 같이 2차원 이미지의 일 영역을 디스플레이할 수 있다. 예를 들어, equirectangular 투사 방법을 이용하여 2차원 이미지가 생성된 경우, 전자 장치(100)는 2차원 이미지의 중심 영역을 디스플레이할 수 있다.구체적으로, 전자 장치(100)는 3차원 이미지의 특정 포인트에서 특정 방향으로 3차원 이미지를 평면으로 투사하여 2차원 이미지를 획득할 수 있다. 여기서, 특정 포인트는 투사 시점을 의미한다. 전자 장치(100)는 2차원 이미지의 투사 시점을 기준으로 기설정된 투사 각도만큼의 영역을 디스플레이할 수 있다.
여기서, 투사 각도는 3차원 이미지의 중심에서 사용자가 디스플레이하고자 하는 영역에 대한 각도일 수 있다. 다만, 사용자가 디스플레이하고자 하는 영역은 직사각형의 영역일 수 있고, 이 경우 투사 각도는 직사각형 영역의 상하 모서리와 3차원 이미지의 중심이 이루는 각도 및 직사각형 영역의 좌우 모서리와 3차원 이미지의 중심이 이루는 각도를 포함할 수 있다.
다만, 이에 한정되는 것은 아니며, 전자 장치(100)는 상술한 두 개의 각도 중 하나만을 입력받아 사용자가 디스플레이하고자 하는 영역을 결정할 수도 있다. 예를 들어, 전자 장치(100)는 사용자가 디스플레이하고자 하는 영역의 좌우 모서리와 3차원 이미지의 중심이 이루는 각도를 입력받으면, 디스플레이의 가로, 세로 비율에 기초하여 사용자가 디스플레이하고자 하는 영역을 결정할 수도 있다.
또는, 전자 장치(100)는 투사 시점 및 투사 각도에 기초하여 3차원 이미지의 일부 영역만을 평면으로 투사하여 2차원 이미지를 획득할 수 있다. 이 경우, 전자 장치(100)는 2차원 이미지 전체를 디스플레이할 수도 있다.
이상과 같이, 전자 장치(100)는 왜곡이 최소화된 2차원 이미지의 일부 영역을 디스플레이할 수 있다. 따라서, 투사 시점이 잘못된 경우, 사용자는 중요하지 않은 이미지만을 시청할 수도 있다. 예를 들어, 전자 장치(100)는 드라마의 주인공을 포함하는 영역을 디스플레이하지 않고, 배경만을 포함하는 영역을 디스플레이할 수도 있다.
이러한 문제점을 해결하기 위해 전자 장치(100)는 각 이미지를 분석할 수 있고, 이에 대한 구체적인 설명은 후술한다.
스토리지(110)는 프로세서(120)의 제어에 의해 원본 이미지를 저장할 수 있다. 원본 이미지는 전자 장치(100)가 아닌 외부 장치에서 생성된 이미지일 수 있다. 이 경우, 전자 장치(100)는 외부 장치로부터 원본 이미지를 수신하여 스토리지(110)로 저장할 수 있다. 또는, 전자 장치(100)는 적어도 하나의 카메라를 포함하고, 적어도 하나의 카메라를 이용하여 직접 촬영을 수행하며, 촬영된 적어도 하나의 이미지를 처리하여 원본 이미지를 생성할 수도 있다.
프로세서(120)는 원본 이미지를 분석할 수 있다. 예를 들어, 프로세서(120)는 원본 이미지에 대하여, 주변 픽셀과 독립적인 특징 추출, 주변 픽셀을 고려한 특징 추출, 픽셀 위치 정보를 이용한 계산, 객체 검출 및 객체 추적 중 적어도 하나의 이미지 분석을 수행할 수 있다. 다만, 이에 한정되는 것은 아니며, 프로세서(120)는 얼마든지 다른 종류의 이미지 처리를 수행할 수도 있다. 또한, 프로세서(120)는 동영상에 대하여도 동일한 방법으로 분석을 수행할 수 있다.
프로세서(120)는 원본 이미지에서 왜곡된 영역에 의한 영향을 최소화하고 이미지를 처리할 수 있다. 왜곡된 영역에 의한 영향을 최소화하는 방법은 크게 두 가지가 있을 수 있다.
먼저, 프로세서(120)는 원본 이미지에서 왜곡된 영역에 의한 영향을 최소화하기 위해 원본 이미지 자체를 변환할 수 있다. 구체적으로, 프로세서(120)는 원본 이미지를 3차원 이미지로 변환하고, 3차원 이미지 상의 복수의 포인트 각각을 기준으로 3차원 이미지를 평면으로 투사하여 각 포인트에 대응되는 복수의 2차원 이미지를 획득할 수 있다. 프로세서(120)는 복수의 2차원 이미지를 이용하여 왜곡된 영역에 의한 영향을 최소화하고 이미지를 분석할 수 있다.
또는, 프로세서(120)는 원본 이미지에서 왜곡된 영역에 의한 영향을 최소화하기 위해 이미지 처리 방법을 변경할 수 있다. 예를 들어, 필터를 이용하는 경우, 프로세서(120)는 원본 이미지에서 필터가 이용될 영역에 기초하여 필터를 변경하고, 변경된 필터를 원본 이미지에 적용할 수도 있다.
이상과 같이, 전자 장치(100)는 원본 이미지에서 왜곡된 영역에 의한 영향을 최소화하여 원본 이미지를 분석하거나 처리할 수 있다. 먼저, 왜곡된 영역에 의한 영향을 최소화하기 위해 원본 이미지 자체를 변환하는 경우를 실시 예 1로서 설명하고, 다음으로 왜곡된 영역에 의한 영향을 최소화하기 위해 이미지 처리 방법을 변경하는 경우를 실시 예 2로서 설명한다.
<실시 예 1 - 원본 이미지 자체를 변환하는 경우>
도 3a 내지 도 3d는 본 발명의 일 실시 예에 따른 원본 이미지 자체를 변환하는 경우를 설명하기 위한 도면이다.
먼저, 프로세서(120)는 도 3a에 도시된 바와 같이, 스토리지(110)에 저장되어 있는 원본 이미지를 3차원 이미지로 변환할 수 있다. 도 2b의 원본 이미지에 도시된 바와 같이, 원본 이미지의 가로는 구면 좌표계(spherical coordinate system)의 Υ에 대응되고, 세로는 구면 좌표계의 θ에 대응된다. 즉, 프로세서(120)는 좌표계를 변환하는 방법에 따라 원본 이미지를 3차원 이미지로 변환할 수 있으며, 이러한 내용은 공지된 기술이므로 구체적인 설명은 생략한다.
그리고, 프로세서(120)는 3차원 이미지 상의 복수의 포인트 각각을 기준으로 3차원 이미지를 평면으로 투사하여 각 포인트에 대응되는 복수의 2차원 이미지를 획득하여 스토리지(110)에 저장할 수 있다.
예를 들어, 프로세서(120)는 도 3b에 도시된 바와 같이, 3차원 이미지 상의 제1 포인트를 기준으로 3차원 이미지를 평면으로 투사하여 제1 포인트에 대응되는 2차원 이미지를 획득할 수 있다. 또는, 프로세서(120)는 3차원 이미지 상의 제2 포인트를 기준으로 3차원 이미지를 평면으로 투사하여 제2 포인트에 대응되는 2차원 이미지를 획득할 수도 있다.
프로세서(120)는 복수의 포인트 중 적어도 하나의 포인트에서 3차원 이미지를 복수의 서로 다른 방향으로 펼쳐서, 적어도 하나의 포인트에 대해 복수의 2차원 이미지를 획득할 수도 있다.
예를 들어, 프로세서(120)는 도 3b에 도시된 바와 같이, 3차원 이미지 상의 제1 포인트를 기준으로 3차원 이미지를 좌우 방향으로 투사하여 2차원 이미지를 획득할 수 있다. 이 경우, 3차원 이미지 상의 B 영역이 왜곡될 수 있고, A 영역의 왜곡은 최소화될 수 있다.
또는, 프로세서(120)는 도 3c에 도시된 바와 같이, 3차원 이미지 상의 제1 포인트를 기준으로 3차원 이미지를 상하 방향으로 투사하여 2차원 이미지를 획득할 수도 있다. 이 경우, 3차원 이미지 상의 왜곡되는 영역이 변경될 수 있다.
도 3b 및 도 3c의 2차원 이미지에서 음영 처리된 부분은 왜곡이 발생한 영역이고, 그 밖의 영역은 왜곡이 최소화된 영역이다. 여기서, 왜곡이 최소화된 영역은 왜곡이 거의 발생하지 않은 영역을 의미하며, 2차원 이미지의 중심 수평선으로부터 기설정된 거리 이내의 영역일 수 있다. 여기서, 기설정된 거리는 사용자에 의해 결정될 수 있다. 다만, 다른 투사 방법으로 2차원 이미지를 생성하는 경우 왜곡이 최소화된 영역이 변경될 수 있다.
도 3b의 2차원 이미지에서 왜곡된 영역(310-1, 320-1)은 도 3c의 2차원 이미지에서 왜곡이 최소화된 영역(310-2, 320-2)에 위치한다. 즉, 프로세서(120)는 투사 시점 및 3차원 이미지를 평면으로 투사하는 방향 중 적어도 하나를 변경하여 왜곡이 발생하는 영역을 변경할 수 있다.
프로세서(120)는 도 3d에 도시된 바와 같이, 도 3b 및 도 3c의 2차원 이미지 내에서 왜곡이 최소화된 영역(음영 처리되지 않은 영역)만을 이용하여 원본 이미지를 분석 또는 처리할 수 있다. 이때, 프로세서(120)는 투사 방법에 기초하여 원본 이미지 내에서 분석 또는 처리할 왜곡이 최소화된 영역을 결정할 수 있다.
또는, 프로세서(120)는 원본 이미지 내의 일 영역에 대한 분석이 개시되면, 복수의 2차원 이미지 내에서 일 영역이 각 2차원 이미지의 기설정된 영역 내에 위치한 2차원 이미지를 선택하여, 선택된 2차원 이미지 내의 일 영역에 대한 이미지 분석을 수행할 수도 있다.
도 3b 및 도 3c에서는 3차원 이미지에서 투사 시점 및 3차원 이미지를 평면으로 투사하는 방향 중 적어도 하나를 변경하는 것으로 설명하였으나, 이는 설명의 편의를 위한 것으로 이에 한정되는 것은 아니다.
예를 들어, 프로세서(120)는 도 3b의 3차원 이미지의 롤각, 방위각 및 피치각 중 적어도 하나의 각도만큼 회전한 후, 회전된 3차원 이미지를 2차원 이미지로 변환할 수도 있다. 여기서, 롤각은 수평면이 좌우로 기울어지는 각이고, 방위각은 수평면상에서 좌우방향으로 변하는 각이며, 피치각은 수평면이 상하로 기울어지는 각을 의미한다.
예를 들어, 프로세서(120)는 도 3b의 3차원 이미지를 방위각 90˚, 피치각 90˚만큼 회전한 후, 회전된 3차원 이미지를 2차원 이미지로 변환할 수도 있다. 이 경우, 프로세서(120)는 도 3c와 동일한 2차원 이미지를 생성할 수 있다.
도 4a 내지 도 4d는 본 발명의 다른 실시 예에 따른 원본 이미지 자체를 변환하는 경우를 설명하기 위한 도면이다.
도 4a에 도시된 바와 같이, 프로세서(120)는 3차원 이미지를 복수의 영역으로 구분할 수 있다. 예를 들어, 프로세서(120)는 구분된 복수의 영역이 정육면체의 각 면에 대응되도록, 3차원 이미지를 여섯 개의 동일한 크기의 영역으로 구분할 수 있다.
다만, 이에 한정되는 것은 아니며, 프로세서(120)는 3차원 이미지를 얼마든지 다른 형태 및 다른 개수의 영역으로 구분할 수도 있다. 특히, 프로세서(120)는 연산량 및 연산 시간 중 적어도 하나를 고려하여 3차원 이미지를 복수의 영역으로 구분할 수 있다.
그리고, 프로세서(120)는 복수의 영역별로 포인트를 결정할 수 있다. 각 포인트는 해당 영역 내에 위치할 수 있고, 투사 시점을 의미한다. 특히, 프로세서(120)는 복수의 영역 각각의 중심점을 포인트로 결정하여 왜곡을 최소화할 수 있다. 다만, 이에 한정되는 것은 아니며, 프로세서(120)는 복수의 영역 각각의 중심점이 아닌 다른 지점을 포인트로 결정할 수도 있다.
프로세서(120)는 결정된 포인트별로 해당 영역의 3차원 이미지를 평면으로 투사하여 복수의 2차원 이미지를 획득할 수 있다. 즉, 프로세서(120)는 복수의 영역 각각을 대응되는 포인트를 기준으로 투사하여 복수의 2차원 이미지를 획득할 수 있다.
프로세서(120)는 상술한 바와 같이, 다양한 투사 방법을 이용할 수 있으며, 투사 방법의 왜곡 정도 및 인접 영역과의 연결성 중 적어도 하나를 고려하여 투사 방법을 결정할 수 있다.
2차원 이미지는 3차원 이미지의 일부 영역에 대응되며, 하나의 2차원 이미지가 3차원 이미지 전체에 대응되는 것은 아니다. 즉, 도 3a 내지 도 3d와는 달리, 프로세서(120)는 3차원 이미지의 일부 영역을 투사하여 하나의 2차원 이미지를 생성할 수 있고, 이러한 과정을 반복하여 3차원 이미지 전체 영역에 대응되는 복수의 2차원 이미지를 생성할 수 있다.
도 4a의 우측 도면은 복수의 2차원 이미지가 연결된 이미지를 나타내며, 모든 영역이 왜곡이 최소화된 영역일 수 있다. 그에 따라, 프로세서(120)는 왜곡된 영역에 의한 영향을 최소화하여 이미지를 처리할 수 있다.
프로세서(120)는 도 4a의 우측 도면과 같이, 복수의 3차원 이미지가 연결된 이미지를 분석 또는 처리할 수 있다. 또는, 프로세서(120)는 복수의 3차원 이미지를 연결하지 않고, 개별적으로 분석 또는 처리할 수도 있다.
다만, 도 4a와 같이 분석 또는 처리하는 경우, 복수의 3차원 이미지 간의 경계 부분에 대한 분석 또는 처리가 정확하지 않을 수 있다. 예를 들어, 제1 2차원 이미지 및 제2 2차원 이미지 간의 경계에 사람 얼굴이 위치하여, 사람 얼굴의 일부는 제1 2차원 이미지에 포함되고, 사람 얼굴의 나머지는 제2 2차원 이미지에 포함되는 경우, 프로세서(120)는 사람 얼굴을 검출하지 못할 수도 있다.
그에 따라, 프로세서(120)는 도 4b에 도시된 바와 같이, 복수의 영역이 서로 중첩되도록 각 영역을 확장하고, 결정된 포인트별로 확장된 영역의 3차원 이미지를 평면으로 투사하여 복수의 2차원 이미지를 획득할 수도 있다. 여기서, 포인트의 결정은 도 4a의 방법과 동일할 수 있다.
예를 들어, 프로세서(120)는 복수의 영역 중 정면 영역(410)을 확장한 확장된 정면 영역(420)을 대응되는 포인트를 기준으로 평면으로 투사하여 2차원 이미지를 획득할 수 있다.
여기서, 대응되는 포인트는 정면 영역(410)을 기준으로 결정된 포인트일 수 있다. 또는, 프로세서(120)는 정면 영역(410)을 확장함에 따라 새로운 포인트를 결정할 수도 있다. 즉, 프로세서(120)는 확장된 정면 영역(420)에 기초하여 새로운 포인트를 결정할 수도 있다.
프로세서(120)는 정면 영역(410)을 확장한 방식과 동일하게 복수의 영역 중 나머지 영역을 확장할 수 있다. 프로세서(120)는 복수의 확장된 나머지 영역 각각에 대하여도 대응되는 포인트를 기준으로 평면으로 투사하여 복수의 나머지 2차원 이미지를 획득할 수 있다. 프로세서(120)는 복수의 2차원 이미지를 이용하여 이미지 분석 또는 처리를 수행할 수 있다.
다만, 복수의 영역을 각각 확장하는 경우, 중첩되는 영역이 발생할 수 있다. 이때, 프로세서(120)는 복수의 2차원 이미지를 연결하지 않고, 개별적으로 이미지 처리할 수 있기 때문에, 복수의 2차원 이미지를 처리하는 경우에는 문제가 발생하지 않을 수 있다. 다만, 복수의 2차원 이미지를 다시 3차원 이미지로 역변환하는 경우 또는 복수의 2차원 이미지를 연결하는 경우에는 문제가 발생할 수 있다.
즉, 프로세서(120)는 복수의 2차원 이미지를 이미지 처리한 후, 다시 3차원 이미지로 변환할 수 있다. 이때, 중첩되는 영역이 3차원 이미지로 변환되면서 동일한 좌표를 갖는 픽셀 값이 복수 개 발생할 수 있다. 복수 개의 픽셀 값이 동일한 경우에는 문제가 발생하지 않으나, 복수 개의 픽셀 값이 서로 다른 경우에는 어느 픽셀 값으로 3차원 이미지를 구성할지 문제될 수 있다.
또는, 프로세서(120)는 복수의 2차원 이미지를 연결하는 경우, 중첩되는 영역의 픽셀 값이 복수 개여서 어느 픽셀 값을 이용할지 문제될 수 있다.
그에 따라, 프로세서(120)는 복수의 2차원 이미지 내에서 중첩되는 영역에 대한 이미지 분석 또는 처리가 수행된 이후에, 복수의 2차원 이미지로부터 분석 결과 값을 가져오거나 복수의 2차원 이미지를 새로운 원본 이미지로 복원하는 경우, 중첩되는 영역 내에서 서로 대응되는 픽셀들의 평균값, 중간값(median), 최대값 및 최소값 중 적어도 하나의 값을 이용하여 분석 결과 값을 처리하거나 새로운 원본 이미지를 복원할 수 있다.
예를 들어, 제1 2차원 이미지 및 제2 2차원 이미지를 각각 3차원 이미지로 변환하는 경우, 제1 2차원 이미지 및 제2 2차원 이미지는 각각 3차원 이미지의 제1 일부 영역 및 제2 일부 영역을 형성할 수 있다. 제1 일부 영역 및 제2 일부 영역은 중첩되는 영역이 있을 수 있다.
프로세서(120)는 중첩되는 영역에서 (Υ, θ)에 대한 복수의 픽셀 값이 존재하는 경우, 복수의 픽셀 값의 평균값, 중간값(median), 최대값 및 최소값 중 적어도 하나의 값을 이용하여 해당 (Υ, θ)에 대한 값을 결정할 수 있다.
한편, 프로세서(120)는 복수의 2차원 이미지를 분석한 경우와 복수의 2차원 이미지를 처리한 경우에 따라 중첩되는 영역을 다르게 처리할 수도 있다.
예를 들어, 프로세서(120)는 복수의 2차원 이미지에 대하여 스무딩(smoothing)과 같은 처리를 수행한 경우에는, 상술한대로 복수의 픽셀 값의 평균값, 중간값(median), 최대값 및 최소값 중 적어도 하나의 값을 이용할 수 있다.
다만, 프로세서(120)는 복수의 2차원 이미지에 대하여 그래디언트(gradient)와 같은 분석을 수행한 경우에는, 복수의 픽셀 값의 평균값, 중간값(median), 최대값, 최소값 등을 이용하지 않을 수 있다. 이 경우, 프로세서(120)는 중첩된 영역을 디스플레이할 필요 없이, 분석 결과 자체를 이용할 수 있다. 또는, 프로세서(120)는 각 2차원 이미지의 분석 결과를 개별적으로 디스플레이할 수도 있다.
한편, 프로세서(120)는 도 4c에 도시된 바와 같이, 복수의 영역 간의 경계를 포함하는 복수의 추가 영역을 결정하고, 복수의 추가 영역별로 추가 포인트를 결정하며, 결정된 추가 포인트를 기준으로 해당 추가 영역의 3차원 이미지를 평면으로 투사하여 복수의 추가 2차원 이미지를 획득할 수도 있다. 여기서, 추가 포인트를 결정하는 방법은 도 4a의 방법과 동일할 수 있다.
상술한 바와 같이, 경계 영역의 이미지 분석 또는 처리에 어려움이 있을 수 있다. 다만, 프로세서(120)는 도 4c에 도시된 바와 같이, 경계 영역을 포함하는 추가 영역(430)에 대한 추가 2차원 이미지(440)를 획득하여, 경계 영역에 대한 이미지 분석 또는 처리를 수행할 수도 있다. 여기서, 추가 2차원 이미지(440)는 도 4a에서 생성된 2차원 이미지(450, 460)의 일부 영역을 포함할 수 있다.
또는, 프로세서(120)는 도 4d에 도시된 바와 같이, 복수의 영역을 구분한 기준과 상이한 새로운 기준으로, 3차원 이미지를 새로이 복수의 영역으로 구분할 수도 있다.
그리고, 프로세서(120)는 새로운 복수의 영역별로 포인트를 결정하며, 결정된 포인트별로 해당 영역의 3차원 이미지를 평면으로 투사하여 새로운 복수의 2차원 이미지를 획득하고, 이전의 복수의 2차원 이미지와 새로운 복수의 2차원 이미지를 함께 이용하여 이미지 분석 또는 처리를 수행할 수도 있다.
예를 들어, 프로세서(120)는 제1 경계선(470)을 따라 복수의 영역을 구분하여 복수의 2차원 이미지를 획득한 후, 제2 경계선(480)을 따라 복수의 영역을 구분하여 새로운 복수의 2차원 이미지를 획득할 수 있다. 이때, 제1 경계선(470)은 제2 경계선(480)과 서로 겹쳐지지 않도록 설정될 수 있다.
프로세서(120)는 도 4c 또는 도 4d와 같이 복수의 2차원 이미지를 생성하고, 복수의 2차원 이미지 내에서 중첩되는 영역에 대한 이미지 처리가 수행된 이후에, 복수의 2차원 이미지를 새로운 원본 이미지로 복원하는 경우, 중첩되는 영역 내에서 서로 대응되는 픽셀들의 평균값, 중간값(median), 최대값 및 최소값 중 적어도 하나의 값을 이용하여 새로운 원본 이미지를 복원할 수 있다.
도 4a와 같은 동작을 통해 프로세서(120)는 왜곡에 의한 영향을 최소화하여 이미지 분석 또는 처리를 수행할 수 있다. 그리고, 도 4b 내지 도 4d와 같은 동작을 통해 프로세서(120)는 이미지 분석 또는 처리에 있어서 경계 영역에서 발생할 수 있는 오류를 제거할 수 있다.
도 5는 본 발명의 일 실시 예에 따른 2차원 이미지의 경계 영역을 분석하는 방법을 설명하기 위한 도면이다.
상술한 바와 같이, 경계 부분에 대한 이미지 분석 또는 처리는 정확하지 않을 수 있다. 예를 들어, 도 5의 상측 도면과 같이, 좌측 경계 부분(510-1) 및 우측 경계 부분(510-2) 각각이 2차원 이미지의 좌측 및 우측으로 분리되어 있는 경우, 프로세서(120)는 사람을 검출할 수 없다.
그에 따라, 프로세서(120)는 복수의 2차원 이미지 중 하나의 2차원 이미지의 일 영역을, 해당 2차원 이미지의 일 측에 부가하여, 2차원 이미지를 변경할 수 있다.
예를 들어, 프로세서(120)는 도 5의 하측 도면과 같이, 2차원 이미지의 좌측 영역(520-1)을 복제하여 우측에 복제 영역(520-2)을 부가할 수 있다. 이 경우, 프로세서(120)는 사람을 검출할 수 있다.
여기서, 2차원 이미지의 좌측 영역(520-1)의 크기는 얼마든지 변경될 수 있다. 또한, 도 5에서는 좌우 방향으로 2차원 이미지를 확장하는 것으로 설명하였으나, 이에 한정되는 것은 아니다. 예를 들어, 프로세서(120)는 상하 방향으로 2차원 이미지를 확장하거나 상하좌우 방향으로 2차원 이미지를 확장할 수도 있다.
프로세서(120)는 도 5와 같이 2차원 이미지 내에서 확장되는 영역에 대한 이미지 처리가 수행된 이후에, 2차원 이미지를 새로운 원본 이미지로 복원하는 경우, 확장되는 영역 내에서 서로 대응되는 픽셀들의 평균값, 중간값(median), 최대값 및 최소값 중 적어도 하나의 값을 이용하여 새로운 원본 이미지를 복원할 수 있다.
도 6은 본 발명의 일 실시 예에 따른 객체 추적 방법을 설명하기 위한 도면이다. 여기서, 스토리지(110)는 프로세서(120)의 제어에 의해 연속적인 복수의 원본 이미지를 포함하는 원본 동영상을 저장할 수 있다. 도 6의 첫 번째 도면부터 세 번째 도면은 원본 동영상에서 연속적인 세 이미지를 나타낸다.
프로세서(120)는 복수의 원본 이미지를 각각 3차원 이미지로 변환하고, 변환된 각 3차원 이미지 중 하나인 제1 3차원 이미지에서 임의의 객체(610)가 검출되면, 객체(610)가 검출된 제1 포인트를 기준으로 제1 3차원 이미지를 평면으로 투사하여 제1 2차원 이미지(620)를 획득할 수 있다.
여기서, 제1 2차원 이미지는 도 6의 첫 번째 도면일 수 있다. 그리고, 객체(610)는 사용자에 의해 지정될 수도 있고, 사람과 같이 특정 객체를 검출하도록 설정되어 있을 수도 있다.
프로세서(120)는 도 6의 첫 번째 도면에서, 제1 3차원 이미지 전체가 아닌 일부 영역(620)만을 평면으로 투사하여 2차원 이미지를 생성할 수도 있다. 여기서, 프로세서(120)는 객체(610)가 검출된 제1 포인트를 기준으로 일부 영역(620)을 결정할 수 있다.
프로세서(120)는 제1 3차원 이미지의 다음인 제2 3차원 이미지에서 객체(610)를 검출할 수 있다.
프로세서(120)는 제1 포인트 및 객체가 검출된 제2 포인트 간의 거리가 기설정된 거리 미만이면, 제1 포인트를 기준으로 제2 3차원 이미지를 평면으로 투사하여 제2 2차원 이미지를 획득할 수 있다. 여기서, 제2 2차원 이미지는 도 6의 두 번째 도면일 수 있다.
또는, 프로세서(120)는 도 6의 두 번째 도면에서, 제2 3차원 이미지 전체가 아닌 일부 영역(620)만을 평면으로 투사한 2차원 이미지를 생성할 수도 있다.
한편, 프로세서(120)는 제1 포인트 및 제2 포인트 간의 거리가 기설정된 거리 이상이면 제2 포인트를 기준으로 제2 3차원 이미지를 평면으로 투사한 제2 2차원 이미지를 획득할 수도 있다.
또는, 프로세서(120)는 도 6의 두 번째 도면에서, 제2 3차원 이미지 전체가 아닌 일부 영역(630)만을 평면으로 투사한 2차원 이미지를 생성할 수도 있다.
도 6의 세 번째 도면은 제3 3차원 이미지가 평면으로 투사된 2차원 이미지를 나타내고, 이때도 도 6의 두 번째 도면과 마찬가지로 프로세서(120)는 객체의 위치에 따라 포인트 및 일부 영역 중 적어도 하나를 변경할 수 있다.
이상에서는 제1 포인트 및 제2 포인트 간의 거리를 기준으로 포인트를 변경하는 것으로 설명하였으나, 이에 한정되는 것은 아니다. 예를 들어, 프로세서(120)는 객체(610)가 일부 영역(620)의 기설정된 영역에 위치하는 경우, 포인트를 변경할 수도 있다. 도 6에서는 일부 영역(620, 630, 640)에서 기설정된 영역을 음영 표시하였다. 도 6에서 표시된 기설정된 영역은 설명의 편의를 위한 것으로 얼마든지 다른 위치일 수 있다.
또한, 프로세서(120)는 객체(610)의 속도에 따라 일부 영역의 크기, 투사 시점의 변경 정도, 투사 방법 및 투사 각도 중 적어도 하나를 변경할 수도 있다.
도 7은 본 발명의 일 실시 예에 따른 투사 시점에 대한 전자 장치(100)의 동작을 설명하기 위한 도면이다.
도 7의 좌측 도면은 원본 이미지를 나타낸다. 프로세서(120)는 원본 이미지를 3차원 이미지로 변환하고, 3차원 이미지를 평면으로 투사하여 2차원 이미지를 획득할 수 있다. 프로세서(120)는 도 7의 우측 도면에 도시된 바와 같이, 2차원 이미지의 일부 영역을 디스플레이할 수 있다.
이때, 프로세서(120)는 투사 시점, 투사 방향, 투사 각도 및 투사 방법 중 적어도 하나에 기초하여 2차원 이미지에서 디스플레이될 영역을 결정할 수 있다.
또한, 프로세서(120)는 3차원 이미지를 복수의 투사 시점 및 투사 방향에 기초하여 복수의 2차원 이미지를 획득할 수 있다. 프로세서(120)는 도 7의 하측 도면과 같이, 복수의 2차원 이미지 중 왜곡이 최소화된 영역만을 스토리지(110)에 저장할 수 있다. 스토리지(110)에 저장된 영역은 디스플레이되지 않는 상태일 수 있다.
프로세서(120)는 스토리지(110)에 저장된 복수의 2차원 이미지의 일부 영역을 분석하여 기설정된 객체를 검출할 수 있다. 예를 들어, 프로세서(120)는 복수의 2차원 이미지의 일부 영역에서 사람을 검출할 수 있고, 사람이 검출된 2차원 이미지를 스토리지(110)에 저장할 수 있다. 또한, 프로세서(120)는 사람이 검출된 2차원 이미지의 일부 영역에 대한 투사 시점, 투사 방향, 투사 각도 및 투사 방법 중 적어도 하나를 스토리지(110)로 저장할 수도 있다.
또는, 프로세서(120)는 원본 이미지 또는 3차원 이미지를 분석하여 투사 시점, 투사 방향, 투사 각도, 투사 방법 등을 결정하고, 결정된 정보를 스토리지(110)로 저장할 수도 있다.
예를 들어, 프로세서(120)는 3차원 이미지에서 기설정된 객체를 검출하고, 검출된 객체가 포함되도록 투사 시점, 투사 방향, 투사 각도, 투사 방법 등을 결정할 수 있다.
프로세서(120)는 스토리지(110)에 저장된 정보에 기초하여 사용자에게 투사 시점 등에 대한 정보를 제공할 수 있다. 예를 들어, 프로세서(120)는 도 7의 우측 도면과 같은 상태에서, 사람에 대한 투사 시점 정보 등을 제공할 수 있다. 이 경우, 해당 투사 시점을 선택하는 사용자 입력이 있으면, 프로세서(120)는 해당 투사 시점에 대응되도록 2차원 이미지의 일부 영역을 디스플레이할 수 있다.
이러한 구성은 동영상에 대하여도 동일하게 제공될 수 있다. 예를 들어, 프로세서(120)는 동영상을 디스플레이하는 중에 각 프레임에 대한 복수의 투사 시점 등에 대한 정보를 저장할 수 있다. 이후, 사용자가 동일한 동영상을 다시 재생하면, 프로세서(120)는 동영상을 디스플레이하며, 투사 시점 등에 대한 정보를 제공할 수 있다.
또는, 프로세서(120)는 현재 디스플레이 중인 프레임보다 이후의 프레임에 대하여 실시간으로 분석을 수행할 수도 있다. 이 경우, 프로세서(120)는 분석이 완료된 프레임을 디스플레이하며, 동시에 투사 시점 등에 대한 정보를 제공할 수 있다. 그에 따라, 사용자는 실시간으로 원하는 투사 시점에 대응되는 이미지를 시청할 수 있다.
이상에서는 전자 장치(100)가 원본 이미지 자체를 변환하여, 원본 이미지에서 왜곡된 영역에 의한 영향을 최소화하는 방법을 설명하였다. 이하에서는 전자 장치(100)가 이미지 처리 방법을 변경하여, 원본 이미지에서 왜곡된 영역에 의한 영향을 최소화하는 방법을 설명하도록 한다.
<실시 예 2 - 이미지 처리 방법을 변경하는 경우>
도 8은 본 발명의 일 실시 예에 따른 이미지 처리 방법을 변경하는 방법을 설명하기 위한 도면이다.
필터(마스트)는 이미지 분석을 위한 특징 추출 시 주변 픽셀과의 연관성에 관계된 정보가 필요할 경우 이용될 수 있으며, 이미지 전체에 적용될 수 있다. 예를 들어, 이미지의 경사도(gradient) 추출, 이미지 smoothing 처리, 객체 인식에서 샘플 필터와 인식하고자 하는 객체 사이의 유사도 판별 등의 경우에 필터가 이용될 수 있다.
다만, 원본 이미지의 경우에는 왜곡된 영역이 존재하기 때문에 필터를 이미지 전체에 적용하더라도 특징을 추출하지 못할 수 있다. 예를 들어, equirectangular 투사 방법으로 생성된 원본 이미지의 경우, 상측 및 하측으로 갈수록 왜곡이 심해질 수 있으며, 필터를 적용하더라도 왜곡된 영역에 의해 영향을 받게 된다.
그에 따라, 프로세서(120)는 원본 이미지에서 필터가 적용되는 위치 및 원본 이미지의 생성 방법 중 적어도 하나에 기초하여 필터의 형상을 변경할 수 있다. 여기서, 원본 이미지의 생성 방법은 3차원 이미지의 투사 방법을 의미한다.
예를 들어, 도 8에 도시된 바와 같이, equirectangular 투사 방법으로 투사된 원본 이미지의 경우, 상측 및 하측으로 갈수록 좌우로 늘어나는 점을 고려하여, 프로세서(120)는 필터의 형태를 변경할 수 있다. 즉, 도 8의 상측 도면과 같이 원본 이미지의 중간 영역에 위치하는 필터(810)는 도 8의 하측 도면과 같이 원본 이미지의 상측 영역에 위치하는 필터(820)로 형태가 변경될 수 있다.
도 8은 equirectangular 투사 방법으로 생성된 원본 이미지에 대한 예를 도시하였으나, 이에 한정되는 것은 아니며, 얼마든지 다른 투사 방법으로 생성된 원본 이미지에 대하여도 유사한 방법이 적용될 수 있다.
프로세서(120)는 필터 형태를 변경하면서 필터의 값 중 일부를 변경할 수 있고, 추가되는 값은 interpolation을 통해 그 값을 결정할 수도 있다.
이상에서는 전자 장치(100)가 이미지 처리 방법을 변경하여, 원본 이미지에서 왜곡된 영역에 의한 영향을 최소화하는 방법을 설명하였다. 특히, 필터를 위주로 설명하였으나, 얼마든지 다른 이미지 처리 방법에 대하여도 유사한 방법이 적용될 수 있다.도 9는 본 발명의 일 실시 예에 따른 이미지 분석 방법을 설명하기 위한 도면이다.
도 9에 도시된 바와 같이, 프로세서(120)는 객체 추적을 수행할 수 있다. 특히, 프로세서(120)는 다중 객체 추적 시 물체의 좌표를 통해 이동 경로를 파악하고 다음 프레임에서의 예상 위치를 계산할 수 있다. 이때, 프로세서(120)는 구면 좌표계를 이용하여 물체의 좌표를 추적할 수 있다.
예를 들어, 도 9의 좌측 도면과 같이 원본 이미지를 이용하는 경우, 제1 객체의 이동 거리(910-1)는 제2 객체의 이동 거리(920-1)와 동일할 수 있다. 이 경우, 원본 이미지 내에 존재하는 왜곡된 영역에 의해 각 객체의 이동 거리는 왜곡될 수 있다.
다만, 프로세서(120)는 구면 좌표계로 이동 거리를 산출할 수 있다. 즉, 프로세서(120)는 도 9의 우측 도면과 같이, 3차원 이미지로 제1 객체의 이동 거리(910-2) 및 제2 객체의 이동 거리(920-2)를 산출할 수 있고, 이 경우 제1 객체의 이동 거리(910-2)는 제2 객체의 이동 거리(920-2)보다 작아질 수 있다.
또한, 프로세서(120)는 객체의 이동 방향, 속도 등을 구면 좌표계를 이용하여 산출할 수도 있다. 원본 이미지를 3차원 이미지로 변환하는 방법 등에 대하여는 상술하였으므로 구체적인 설명은 생략한다.
그 밖에, 프로세서(120)는 원본 이미지에 대하여, 주변 픽셀과 독립적인 특징 추출, 주변 픽셀을 고려한 특징 추출, 픽셀 위치 정보를 이용한 계산 및 객체 검출 중 적어도 하나의 이미지 분석을 수행할 수 있다.
주변 픽셀과 독립적인 특징의 추출은 예를 들어, 이미지 segmentation에서 픽셀의 색상 정보 등의 추출일 수 있다. 이 경우, 프로세서(120)는 구면 좌표계를 이용할 수 있으며, (Υ, θ)를 양자화할 수 있다. 예를 들어, 프로세서(120)는 0도부터 360도 사이의 각도를 1920개의 구간으로 분할하여 정보를 저장할 수 있다. 양자화 과정에서 각도의 중첩이 발생하는 경우, 프로세서(120)는 상술한 중첩된 영역을 처리하는 방법으로 중첩된 영역을 처리할 수 있다.
프로세서(120)는 객체 검출 시에도 실시 예 1과 같은 방법을 이용하여 생성된 2차원 이미지를 이용할 수 있다. 즉, 프로세서(120)는 왜곡된 영역에 의한 영향이 최소화된 이미지를 이용하여 객체를 검출하고, 경계 영역을 보완하여 객체 검출의 효율을 향상시킬 수 있다.
도 10은 본 발명의 일 실시 예에 따른 전자 장치의 이미지 처리 방법을 설명하기 위한 흐름도이다.
먼저, 원본 이미지를 구(sphere)형의 3차원 이미지로 변환한다(S1010). 그리고, 3차원 이미지 상의 복수의 포인트 각각을 기준으로 3차원 이미지를 평면으로 투사(projection)하여 각 포인트에 대응되는 복수의 2차원 이미지를 획득한다(S1020). 그리고, 원본 이미지 내의 일 영역에 대한 이미지 분석이 개시되면, 복수의 2차원 이미지 내에서 일 영역이 각 2차원 이미지의 기설정된 영역 내에 위치한 2차원 이미지를 선택하여, 선택된 2차원 이미지 내의 일 영역에 대한 이미지 분석을 수행한다(S1030).
여기서, 획득하는 단계(S1020)는 복수의 포인트 중 적어도 하나의 포인트에서 3차원 이미지를 복수의 서로 다른 방향으로 펼쳐서, 적어도 하나의 포인트에 대해 복수의 2차원 이미지를 획득할 수 있다.
또한, 획득하는 단계(S1020)는 3차원 이미지를 복수의 영역으로 구분하고, 복수의 영역별로 포인트를 결정하며, 결정된 포인트별로 해당 영역의 3차원 이미지를 평면으로 투사하여 복수의 2차원 이미지를 획득할 수 있다.
그리고, 획득하는 단계(S1020)는 복수의 영역이 서로 중첩되도록 각 영역을 확장하고, 결정된 포인트별로 확장된 영역의 3차원 이미지를 평면으로 투사하여 복수의 2차원 이미지를 획득할 수 있다.
한편, 복수의 2차원 이미지 내에서 중첩되는 영역에 대한 이미지 처리를 수행하는 단계 및 복수의 2차원 이미지를 새로운 원본 이미지로 복원하는 경우, 중첩되는 영역 내에서 서로 대응되는 픽셀들의 평균값, 중간값(median), 최대값 및 최소값 중 적어도 하나의 값을 이용하여 새로운 원본 이미지를 복원하는 단계를 더 포함할 수 있다.
한편, 획득하는 단계(S1020)는 복수의 영역 간의 경계를 포함하는 복수의 추가 영역을 결정하고, 복수의 추가 영역별로 추가 포인트를 결정하며, 결정된 추가 포인트를 기준으로 해당 추가 영역의 3차원 이미지를 평면으로 투사하여 복수의 추가 2차원 이미지를 획득할 수 있다.
또한, 획득하는 단계(S1020)는 복수의 영역을 구분한 기준과 상이한 새로운 기준으로, 3차원 이미지를 새로이 복수의 영역으로 구분하고, 새로운 복수의 영역별로 포인트를 결정하며, 결정된 포인트별로 해당 영역의 3차원 이미지를 평면으로 투사하여 새로운 복수의 2차원 이미지를 획득하고, 분석을 수행하는 단계(S1030)는 이전의 복수의 2차원 이미지와 새로운 복수의 2차원 이미지를 함께 이용하여 이미지 분석을 수행할 수 있다.
한편, 복수의 2차원 이미지 중 하나의 2차원 이미지의 일 영역을, 해당 2차원 이미지의 일 측에 부가하여, 2차원 이미지를 변경하는 단계를 더 포함할 수 있다.
한편, 변환하는 단계(S1010)는 연속적인 복수의 원본 이미지를 포함하는 원본 동영상에서, 복수의 원본 이미지를 각각 구형의 3차원 이미지로 변환하고, 획득하는 단계(S1020)는 변환된 각 3차원 이미지 중 하나인 제1 3차원 이미지에서 임의의 객체가 검출되면, 객체가 검출된 제1 포인트를 기준으로 제1 3차원 이미지를 평면으로 투사하여 제1 2차원 이미지를 획득하며, 제1 3차원 이미지의 다음인 제2 3차원 이미지에서 객체를 검출하고, 제1 포인트 및 객체가 검출된 제2 포인트 간의 거리가 기설정된 거리 이상이면 제2 포인트를 기준으로 제2 3차원 이미지를 평면으로 투사하여 제2 2차원 이미지를 획득하고, 제1 포인트 및 제2 포인트 간의 거리가 기설정된 거리 미만이면, 제1 포인트를 기준으로 제2 3차원 이미지를 평면으로 투사하여 제2 2차원 이미지를 획득할 수 있다.
이상과 같은 본 발명의 다양한 실시 예에 따르면, 전자 장치는 3차원 이미지로부터 복수의 2차원 이미지를 획득하고, 복수의 2차원 이미지를 분석하여, 3차원 이미지 분석 시 발생할 수 있는 왜곡을 최소화할 수 있다.
한편, 이상에서는 이미지를 위주로 설명하였으나, 동영상에 대하여도 동일한 기술이 적용될 수 있다. 즉, 프로세서는 동영상의 각 프레임에 대하여 상술한 이미지를 분석, 처리하는 방법을 적용하여 동영상 전체를 분석할 수도 있다.
한편, 이러한 다양한 실시 예에 따른 방법들은 프로그래밍되어 각종 저장 매체에 저장될 수 있다. 이에 따라, 저장 매체를 실행하는 다양한 유형의 전자 장치에서 상술한 다양한 실시 예에 따른 방법들이 구현될 수 있다.
구체적으로는, 상술한 제어 방법을 순차적으로 수행하는 프로그램이 저장된 비일시적 판독 가능 매체(non-transitory computer readable medium)가 제공될 수 있다.
비일시적 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상술한 다양한 어플리케이션 또는 프로그램들은 CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM 등과 같은 비일시적 판독 가능 매체에 저장되어 제공될 수 있다.
또한, 이상에서는 본 발명의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.
100 : 전자 장치 110 : 스토리지
120 : 프로세서

Claims (20)

  1. 스토리지; 및
    원본 이미지를 구(sphere)형의 3차원 이미지로 변환하고, 상기 3차원 이미지 상의 복수의 포인트 각각을 기준으로 상기 3차원 이미지를 평면으로 투사(projection)하여 각 포인트에 대응되는 복수의 2차원 이미지를 획득하여 상기 스토리지에 저장하는 프로세서;를 포함하는 전자 장치.
  2. 제1항에 있어서,
    상기 프로세서는,
    상기 복수의 포인트 중 적어도 하나의 포인트에서 상기 3차원 이미지를 복수의 서로 다른 방향으로 투사하여, 상기 적어도 하나의 포인트에 대해 복수의 2차원 이미지를 획득하는, 전자 장치.
  3. 제1항 또는 제2항에 있어서,
    상기 프로세서는,
    상기 원본 이미지 내의 일 영역에 대한 이미지 분석이 개시되면, 상기 복수의 2차원 이미지 내에서 상기 일 영역이 각 2차원 이미지의 기설정된 영역 내에 위치한 2차원 이미지를 선택하여, 상기 선택된 2차원 이미지 내의 상기 일 영역에 대한 이미지 분석을 수행하는, 전자 장치.
  4. 제1항에 있어서,
    상기 프로세서는,
    상기 3차원 이미지를 복수의 영역으로 구분하고, 상기 복수의 영역별로 상기 포인트를 결정하며, 상기 결정된 포인트별로 해당 영역의 3차원 이미지를 평면으로 투사하여 상기 복수의 2차원 이미지를 획득하는, 전자 장치.
  5. 제4항에 있어서,
    상기 프로세서는,
    상기 복수의 영역이 서로 중첩되도록 각 영역을 확장하고, 상기 결정된 포인트별로 확장된 영역의 3차원 이미지를 평면으로 투사하여 상기 복수의 2차원 이미지를 획득하는, 전자 장치.
  6. 제5항에 있어서,
    상기 프로세서는,
    상기 복수의 2차원 이미지 내에서 중첩되는 영역에 대한 이미지 처리가 수행된 이후에, 상기 복수의 2차원 이미지를 새로운 원본 이미지로 복원하는 경우, 상기 중첩되는 영역 내에서 서로 대응되는 픽셀들의 평균값, 중간값(median), 최대값 및 최소값 중 적어도 하나의 값을 이용하여 상기 새로운 원본 이미지를 복원하는, 전자 장치.
  7. 제4항에 있어서,
    상기 프로세서는,
    상기 복수의 영역 간의 경계를 포함하는 복수의 추가 영역을 결정하고, 상기 복수의 추가 영역별로 추가 포인트를 결정하며, 상기 결정된 추가 포인트를 기준으로 해당 추가 영역의 3차원 이미지를 평면으로 투사하여 복수의 추가 2차원 이미지를 획득하는, 전자 장치.
  8. 제4항에 있어서,
    상기 프로세서는,
    상기 복수의 영역을 구분한 기준과 상이한 새로운 기준으로, 상기 3차원 이미지를 새로이 복수의 영역으로 구분하고, 상기 새로운 복수의 영역별로 상기 포인트를 결정하며, 상기 결정된 포인트별로 해당 영역의 3차원 이미지를 평면으로 투사하여 새로운 복수의 2차원 이미지를 획득하고, 이전의 복수의 2차원 이미지와 상기 새로운 복수의 2차원 이미지를 함께 이용하여 이미지 분석을 수행하는, 전자 장치.
  9. 제1항에 있어서,
    상기 프로세서는,
    상기 복수의 2차원 이미지 중 하나의 2차원 이미지의 일 영역을, 해당 2차원 이미지의 일 측에 부가하여, 상기 2차원 이미지를 변경하는, 전자 장치.
  10. 제1항에 있어서,
    상기 스토리지는, 연속적인 복수의 원본 이미지를 포함하는 원본 동영상을 저장하고,
    상기 프로세서는,
    상기 복수의 원본 이미지를 각각 구형의 3차원 이미지로 변환하고, 변환된 각 3차원 이미지 중 하나인 제1 3차원 이미지에서 임의의 객체가 검출되면, 상기 객체가 검출된 제1 포인트를 기준으로 상기 제1 3차원 이미지를 평면으로 투사하여 제1 2차원 이미지를 획득하며,
    상기 제1 3차원 이미지의 다음인 제2 3차원 이미지에서 상기 객체를 검출하고, 상기 제1 포인트 및 상기 객체가 검출된 제2 포인트 간의 거리가 기설정된 거리 이상이면 상기 제2 포인트를 기준으로 상기 제2 3차원 이미지를 평면으로 투사하여 제2 2차원 이미지를 획득하고, 상기 제1 포인트 및 상기 제2 포인트 간의 거리가 상기 기설정된 거리 미만이면, 상기 제1 포인트를 기준으로 상기 제2 3차원 이미지를 평면으로 투사하여 상기 제2 2차원 이미지를 획득하는, 전자 장치.
  11. 제1항에 있어서,
    디스플레이;를 더 포함하고,
    상기 프로세서는,
    상기 복수의 2차원 이미지 중 하나의 기설정된 제1 영역을 디스플레이하도록 상기 디스플레이를 제어하고, 상기 복수의 2차원 이미지 중 각 2차원 이미지의 기설정된 제2 영역 내에 기설정된 오브젝트가 위치하는 2차원 이미지를 검출하며, 상기 검출된 2차원 이미지에 대한 정보를 상기 스토리지에 저장하는, 전자 장치.
  12. 전자 장치의 이미지 처리 방법에 있어서,
    원본 이미지를 구(sphere)형의 3차원 이미지로 변환하는 단계;
    상기 3차원 이미지 상의 복수의 포인트 각각을 기준으로 상기 3차원 이미지를 평면으로 투사(projection)하여 각 포인트에 대응되는 복수의 2차원 이미지를 획득하는 단계; 및
    상기 원본 이미지 내의 일 영역에 대한 이미지 분석이 개시되면, 상기 복수의 2차원 이미지 내에서 상기 일 영역이 각 2차원 이미지의 기설정된 영역 내에 위치한 2차원 이미지를 선택하여, 상기 선택된 2차원 이미지 내의 상기 일 영역에 대한 이미지 분석을 수행하는 단계;를 포함하는 이미지 처리 방법.
  13. 제12항에 있어서,
    상기 획득하는 단계는,
    상기 복수의 포인트 중 적어도 하나의 포인트에서 상기 3차원 이미지를 복수의 서로 다른 방향으로 투사하여, 상기 적어도 하나의 포인트에 대해 복수의 2차원 이미지를 획득하는, 이미지 처리 방법.
  14. 제12항에 있어서,
    상기 획득하는 단계는,
    상기 3차원 이미지를 복수의 영역으로 구분하고, 상기 복수의 영역별로 상기 포인트를 결정하며, 상기 결정된 포인트별로 해당 영역의 3차원 이미지를 평면으로 투사하여, 상기 복수의 2차원 이미지를 획득하는, 이미지 처리 방법.
  15. 제14항에 있어서,
    상기 획득하는 단계는,
    상기 복수의 영역이 서로 중첩되도록 각 영역을 확장하고, 상기 결정된 포인트별로 확장된 영역의 3차원 이미지를 평면으로 투사하여 상기 복수의 2차원 이미지를 획득하는, 이미지 처리 방법.
  16. 제15항에 있어서,
    상기 복수의 2차원 이미지 내에서 중첩되는 영역에 대한 이미지 처리를 수행하는 단계; 및
    상기 복수의 2차원 이미지를 새로운 원본 이미지로 복원하는 경우, 상기 중첩되는 영역 내에서 서로 대응되는 픽셀들의 평균값, 중간값(median), 최대값 및 최소값 중 적어도 하나의 값을 이용하여 상기 새로운 원본 이미지를 복원하는 단계;를 더 포함하는, 이미지 처리 방법.
  17. 제14항에 있어서,
    상기 획득하는 단계는,
    상기 복수의 영역 간의 경계를 포함하는 복수의 추가 영역을 결정하고, 상기 복수의 추가 영역별로 추가 포인트를 결정하며, 상기 결정된 추가 포인트를 기준으로 해당 추가 영역의 3차원 이미지를 평면으로 투사하여 복수의 추가 2차원 이미지를 획득하는, 이미지 처리 방법.
  18. 제14항에 있어서,
    상기 획득하는 단계는,
    상기 복수의 영역을 구분한 기준과 상이한 새로운 기준으로, 상기 3차원 이미지를 새로이 복수의 영역으로 구분하고, 상기 새로운 복수의 영역별로 상기 포인트를 결정하며, 상기 결정된 포인트별로 해당 영역의 3차원 이미지를 평면으로 투사하여 새로운 복수의 2차원 이미지를 획득하고,
    상기 분석을 수행하는 단계는,
    이전의 복수의 2차원 이미지와 상기 새로운 복수의 2차원 이미지를 함께 이용하여 이미지 분석을 수행하는, 이미지 처리 방법.
  19. 제12항에 있어서,
    상기 복수의 2차원 이미지 중 하나의 2차원 이미지의 일 영역을, 해당 2차원 이미지의 일 측에 부가하여, 상기 2차원 이미지를 변경하는 단계;를 더 포함하는, 이미지 처리 방법.
  20. 제12항에 있어서,
    상기 변환하는 단계는,
    연속적인 복수의 원본 이미지를 포함하는 원본 동영상에서, 상기 복수의 원본 이미지를 각각 구형의 3차원 이미지로 변환하고,
    상기 획득하는 단계는,
    변환된 각 3차원 이미지 중 하나인 제1 3차원 이미지에서 임의의 객체가 검출되면, 상기 객체가 검출된 제1 포인트를 기준으로 상기 제1 3차원 이미지를 평면으로 투사하여 제1 2차원 이미지를 획득하며,
    상기 제1 3차원 이미지의 다음인 제2 3차원 이미지에서 상기 객체를 검출하고, 상기 제1 포인트 및 상기 객체가 검출된 제2 포인트 간의 거리가 기설정된 거리 이상이면 상기 제2 포인트를 기준으로 상기 제2 3차원 이미지를 평면으로 투사하여 제2 2차원 이미지를 획득하고, 상기 제1 포인트 및 상기 제2 포인트 간의 거리가 상기 기설정된 거리 미만이면, 상기 제1 포인트를 기준으로 상기 제2 3차원 이미지를 평면으로 투사하여 상기 제2 2차원 이미지를 획득하는, 이미지 처리 방법.
KR1020160153965A 2016-11-18 2016-11-18 전자 장치 및 그 이미지 처리 방법 KR102551713B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020160153965A KR102551713B1 (ko) 2016-11-18 2016-11-18 전자 장치 및 그 이미지 처리 방법
EP17871987.8A EP3520072A4 (en) 2016-11-18 2017-11-10 ELECTRONIC APPARATUS AND ITS IMAGE PROCESSING METHOD
PCT/KR2017/012748 WO2018093100A1 (en) 2016-11-18 2017-11-10 Electronic apparatus and method for processing image thereof
US15/811,963 US10535147B2 (en) 2016-11-18 2017-11-14 Electronic apparatus and method for processing image thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160153965A KR102551713B1 (ko) 2016-11-18 2016-11-18 전자 장치 및 그 이미지 처리 방법

Publications (2)

Publication Number Publication Date
KR20180056124A true KR20180056124A (ko) 2018-05-28
KR102551713B1 KR102551713B1 (ko) 2023-07-06

Family

ID=62146646

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160153965A KR102551713B1 (ko) 2016-11-18 2016-11-18 전자 장치 및 그 이미지 처리 방법

Country Status (4)

Country Link
US (1) US10535147B2 (ko)
EP (1) EP3520072A4 (ko)
KR (1) KR102551713B1 (ko)
WO (1) WO2018093100A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021040342A3 (ko) * 2019-08-23 2021-07-01 주식회사 예간아이티 2d 이미지를 활용하여 3d 컨텐츠를 생성하는 영상 처리 방법 및 영상 처리 장치

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10043237B2 (en) 2015-08-12 2018-08-07 Gopro, Inc. Equatorial stitching of hemispherical images in a spherical image capture system
KR102598082B1 (ko) * 2016-10-28 2023-11-03 삼성전자주식회사 영상 표시 장치, 모바일 장치 및 그 동작방법
KR20180051288A (ko) * 2016-11-08 2018-05-16 삼성전자주식회사 디스플레이 장치 및 그 제어 방법
CN108470379B (zh) * 2017-02-23 2021-12-07 株式会社理光 三维图像融合方法和装置
US11798126B2 (en) 2018-07-30 2023-10-24 Hewlett-Packard Development Company, L.P. Neural network identification of objects in 360-degree images
CN109767382B (zh) * 2019-01-21 2023-02-28 上海联影智能医疗科技有限公司 图像重建方法、装置、计算机设备和存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8896601B1 (en) * 2010-10-12 2014-11-25 Google Inc. Projecting geographic data from a spherical surface to two-dimensional cartesian space
US20150163447A1 (en) * 2013-12-09 2015-06-11 Cj Cgv Co., Ltd. Method for generating images for multi-projection theater and image management apparatus using the same
US20150172620A1 (en) * 2013-12-16 2015-06-18 National Chiao Tung University Optimal dynamic seam adjustment system and method for image stitching

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100758304B1 (ko) 2005-12-08 2007-09-12 한국전자통신연구원 다시점 파노라믹 비디오 콘텐츠의 제작방법 및 이에 따른콘텐츠의 재생방법
JP5887067B2 (ja) 2011-05-20 2016-03-16 東芝テリー株式会社 全方位監視画像処理システム
KR101272257B1 (ko) 2011-08-30 2013-06-19 에스엘 주식회사 차량의 주변 영상 보정 장치 및 방법
JP2013243610A (ja) 2012-05-22 2013-12-05 Tamron Co Ltd 画像データ送信装置、画像データ受信装置、画像データ伝送システム、画像データ送信方法、画像データ受信方法、送信画像データおよびプログラム
KR101277188B1 (ko) 2012-07-12 2013-06-20 (주)엠로드정보시스템 지능형 고화질 어안렌즈를 이용한 교차로 사고 감지 시스템
US9245373B2 (en) * 2012-12-04 2016-01-26 Nintendo Co., Ltd. Caching in map systems for displaying panoramic images
JP6434209B2 (ja) * 2013-12-20 2018-12-05 株式会社リコー 画像生成装置、画像生成方法、およびプログラム
US9570113B2 (en) * 2014-07-03 2017-02-14 Gopro, Inc. Automatic generation of video and directional audio from spherical content
KR101598036B1 (ko) 2014-08-08 2016-02-26 주식회사 월드텍 어안렌즈 이용한 동선 추적 장치
US10539669B2 (en) 2014-10-08 2020-01-21 Texas Instruments Incorporated Three dimensional (3D) tracking of objects in a radar system
US9454712B2 (en) 2014-10-08 2016-09-27 Adobe Systems Incorporated Saliency map computation
JP6541327B2 (ja) 2014-10-21 2019-07-10 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8896601B1 (en) * 2010-10-12 2014-11-25 Google Inc. Projecting geographic data from a spherical surface to two-dimensional cartesian space
US20150163447A1 (en) * 2013-12-09 2015-06-11 Cj Cgv Co., Ltd. Method for generating images for multi-projection theater and image management apparatus using the same
US20150172620A1 (en) * 2013-12-16 2015-06-18 National Chiao Tung University Optimal dynamic seam adjustment system and method for image stitching

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021040342A3 (ko) * 2019-08-23 2021-07-01 주식회사 예간아이티 2d 이미지를 활용하여 3d 컨텐츠를 생성하는 영상 처리 방법 및 영상 처리 장치

Also Published As

Publication number Publication date
US20180144488A1 (en) 2018-05-24
US10535147B2 (en) 2020-01-14
EP3520072A4 (en) 2019-09-11
WO2018093100A1 (en) 2018-05-24
EP3520072A1 (en) 2019-08-07
KR102551713B1 (ko) 2023-07-06

Similar Documents

Publication Publication Date Title
KR102551713B1 (ko) 전자 장치 및 그 이미지 처리 방법
US10701332B2 (en) Image processing apparatus, image processing method, image processing system, and storage medium
CA3018965C (en) Efficient determination of optical flow between images
US10368047B2 (en) Six-degree of freedom video playback of a single monoscopic 360-degree video
KR101055411B1 (ko) 입체 영상 생성 방법 및 그 장치
CN111243093A (zh) 三维人脸网格的生成方法、装置、设备及存储介质
Maugey et al. Saliency-based navigation in omnidirectional image
CN107798704B (zh) 一种用于增强现实的实时图像叠加方法及装置
US11620730B2 (en) Method for merging multiple images and post-processing of panorama
WO2019082797A1 (ja) 再構成方法および再構成装置
IL284840B (en) Damage detection using visual data from multiple viewing angles
JP2019509526A (ja) 多数のカメラを用いた最適の球形映像獲得方法
US11972556B2 (en) Mobile multi-camera multi-view capture
US20230394833A1 (en) Method, system and computer readable media for object detection coverage estimation
Schenkel et al. Natural scenes datasets for exploration in 6DOF navigation
JP6736422B2 (ja) 画像処理装置、画像処理の方法およびプログラム
CN113393566A (zh) 使用先验深度场景进行的基于深度的3d重建
US20220321859A1 (en) Real-time omnidirectional stereo matching method using multi-view fisheye lenses and system thereof
KR102587298B1 (ko) 멀티뷰 어안 렌즈들을 이용한 실시간 전방위 스테레오 매칭 방법 및 그 시스템
JP2018010359A (ja) 情報処理装置、情報処理方法、およびプログラム
WO2021190655A1 (en) Method for merging multiple images and post-processing of panorama
Agus et al. PEEP: Perceptually Enhanced Exploration of Pictures.
Herath et al. Unconstrained Segue Navigation for an Immersive Virtual Reality Experience
Ramachandran Elements of an image processing system: navigating through representation, shape matching and view synthesis
Reynolds et al. Swipe mosaics from video

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right