KR20190107494A - LED-to-Camera 시스템에서 데이터를 획득하는 방법 및 장치 - Google Patents

LED-to-Camera 시스템에서 데이터를 획득하는 방법 및 장치 Download PDF

Info

Publication number
KR20190107494A
KR20190107494A KR1020180028810A KR20180028810A KR20190107494A KR 20190107494 A KR20190107494 A KR 20190107494A KR 1020180028810 A KR1020180028810 A KR 1020180028810A KR 20180028810 A KR20180028810 A KR 20180028810A KR 20190107494 A KR20190107494 A KR 20190107494A
Authority
KR
South Korea
Prior art keywords
region
image
original image
interest
sampled
Prior art date
Application number
KR1020180028810A
Other languages
English (en)
Other versions
KR102031005B1 (ko
Inventor
정승환
염익준
김유성
Original Assignee
성균관대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 성균관대학교산학협력단 filed Critical 성균관대학교산학협력단
Priority to KR1020180028810A priority Critical patent/KR102031005B1/ko
Publication of KR20190107494A publication Critical patent/KR20190107494A/ko
Application granted granted Critical
Publication of KR102031005B1 publication Critical patent/KR102031005B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0117—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B10/00—Transmission systems employing electromagnetic waves other than radio-waves, e.g. infrared, visible or ultraviolet light, or employing corpuscular radiation, e.g. quantum communication
    • H04B10/11—Arrangements specific to free-space transmission, i.e. transmission through air or vacuum
    • H04B10/114—Indoor or close-range type systems
    • H04B10/116—Visible light communication
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B10/00—Transmission systems employing electromagnetic waves other than radio-waves, e.g. infrared, visible or ultraviolet light, or employing corpuscular radiation, e.g. quantum communication
    • H04B10/50—Transmitters
    • H04B10/501—Structural aspects
    • H04B10/502—LED transmitters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4728—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0102—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving the resampling of the incoming video signal

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Graphics (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

원본 영상을 획득하고, 상기 원본 영상을 소정 비율로 다운-샘플링하여 다운-샘플링된 영상을 획득하며, 상기 다운-샘플링된 영상에 기초하여, 상기 원본 영상에서 데이터가 포함된 영역인 관심 영역을 특정하고, 상기 관심 영역내의 영상을 디코딩하는 데이터 획득 방법 및 장치가 개시된다.

Description

LED-to-Camera 시스템에서 데이터를 획득하는 방법 및 장치{Method and apparatus for acquiring of data in LED-to-Camera system}
본 발명은 데이터를 획득하는 방법 및 장치에 관한 것으로, 특히, LED-to-Camera 시스템에서 데이터를 획득하는 방법 및 장치에 관한 것이다.
오늘날 정보 통신 기술의 급속한 발전에 힘입어 다양한 종류의 무선 통신 방법이 개발되고 있다. 최근, 이러한 무선 통신 방법 중 하나인 광-다이오드(Loght Emitted Diode)를 이용한 가시광 통신(Visible Light Communication)이 각광을 받고 있다.
가시광 통신은 LED로부터 송신되는 데이터를 카메라와 같은 다양한 장비를 이용하여 수신할 수 있다. 특히, 스마트 폰과 같은 휴대가 용이한 단말 기기의 보급이 확대됨에 따라, LED로부터 송신되는 영상을 촬영하여 데이터를 획득하는 LED-to-Camera 통신 방법이 주목을 받고 있다. 대부분의 스마트폰 카메라에서 사용되는 롤링셔터 방식을 이용하면 영상의 해상도가 클수록 더 많은 데이터를 수신할 수 있다. 그러나 영상으로부터 데이터의 위치를 검출하기 위해 소요되는 시간이 영상 해상도가 커질수록 크게 증가하므로, 데이터 전송 속도에 한계가 있고, 복잡한 연산으로 인하여 스마트폰과 같은 단말기기의 배터리 소모가 크다는 문제점이 있다.
상기의 문제점을 해결하기 위하여 본 발명의 목적은 다운-샘플링을 통하여 관심 영역(Region of Interest)의 검출 시간을 단축시켜 단말의 배터리 소모와 데이터 전송 속도를 향상시킨 데이터 획득 방법 및 장치를 제공하는 것이다.
본 발명이 해결하고자 하는 과제는 이상에서 언급한 과제(들)로 제한되지 않으며, 언급되지 않은 또 다른 과제(들)은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
상기의 목적을 달성하기 위한 본 발명의 일 실시예에 따른 데이터 획득 방법은, 원본 영상을 획득하는 단계; 상기 원본 영상을 소정 비율로 다운-샘플링하여 다운-샘플링된 영상을 획득하는 단계; 상기 다운-샘플링된 영상에 기초하여, 상기 원본 영상에서 데이터가 포함된 영역인 관심 영역을 특정하는 단계; 및 상기 관심 영역내의 영상을 디코딩하는 단계를 포함하는 것이다.
상기 다운-샘플링하는 단계는, 상기 원본 영상의 제 1 영역에서 제 1 열의 픽셀을 선택하고, 상기 제 1 영역과 인접한 제 2 영역에서 상기 제 1 열과 상이한 제 2 열의 픽셀을 선택하여, 다운-샘플링된 영상을 획득할 수 있다.
상기 다운-샘플링하는 단계는, 상기 원본 영상의 제 1 영역에서 랜덤한 픽셀을 선택하고, 상기 제 1 영역과 인접한 제 2 영역에서 랜덤한 픽셀을 선택하여 다운-샘플링된 영상을 획득할 수 있다.
상기 다운-샘플링하는 단계는, 이전 영상의 크기와 이전 영상에서의 관심 영역의 크기에 기초하여 상기 소정 비율을 결정하는 단계를 포함할 수 있다.
상기 관심 영역을 특정하는 단계는, 상기 관심 영역이 사각형인 경우, 상기 다운-샘플링된 영상에서 상기 관심 영역에 대응하는 영역인 대응 영역의 제 1 꼭지점의 좌표와 상기 제 1 꼭지점의 대각선에 위치하는 제 2 꼭지점의의 좌표를 획득하는 단계; 및 상기 제 1 꼭지점의 좌표 및 상기 제 2 꼭지점의 좌표와 상기 소정 비율에 기초하여 상기 관심 영역의 위치 정보를 획득하는 단계를 포함할 수 있다.
상기 관심 영역을 특정하는 단계는, 상기 관심 영역이 원인 경우, 상기 다운-샘플링된 영상에서 상기 관심 영역에 대응하는 영역인 대응 영역의 중심과 반지름을 획득하는 단계; 및 상기 중심 및 반지름과 상기 소정 비율에 기초하여 상기 관심 영역의 위치 정보를 획득하는 단계를 포함할 수 있다.
상기 원본 영상을 획득하는 단계는, 제 1 시점에서는 상기 원본 영상의 제 1 영역에 해당하는 부분을 촬영하고, 제 2 시점에서 상기 원본 영상의 제 2 영역에 해당하는 부분을 촬영하여 상기 원본 영상을 획득할 수 있다.
상기 원본 영상을 획득하는 단계는, LED로부터 방출되며 소정 시간 간격으로 광량이 변하는 광을 촬영하여 상기원본 영상을 획득할 수 있다.
상기 관심 영역을 특정하는 단계는, 상기 다운-샘플링된 영상을 블러링하는 단계; 상기 블러링된 영상내의 각각의 픽셀을 임계치와 비교하여 바이너리 변환을 수행하는 단계; 상기 바이너리 변환된 영상에서 윤곽선을 추출하는 단계; 및 상기 윤곽선에 기초하여 상기 관심 영역을 특정하는 단계를 포함할 수 있다.
상기의 목적을 달성하기 위한 본 발명의 다른 실시예에 따른 데이터 획득 장치는, 원본 영상을 획득하는 촬상부; 상기 원본 영상을 소정 비율로 다운-샘플링하여 다운-샘플링된 영상을 획득하는 다운샘플링부; 상기 다운-샘플링된 영상에 기초하여, 상기 원본 영상에서 데이터가 포함된 영역인 관심 영역을 특정하는 관심영역 결정부; 및 상기 관심 영역내의 영상을 디코딩하는 디코딩부를 포함하는 것이다.
본 발명의 일 실시예에서는 LED-to-Camera 시스템으로 데이터를 획득함에 있어서, 원본 영상을 다운-샘플링한 후 관심 영역을 결정함으로서 디코딩 과정에서 가장 많은 시간과 자원이 소모되는 관심 영역 결정 과정을 개선함으로서 데이터 전송 속도를 향상시킬 수 있고, 많은 연산량에 따른 배터리 소모를 감소시킨다.
또한, 다운-샘플링을 수행함에 있어서 지그재그 방식 또는 랜덤 방식으로 픽셀을 선택함으로서, 특정 열(또는 행)의 픽셀을 일률적으로 선택할 때에 나타날 수 있는 오류 발생 오류 발생 확률을 감소시킨다.
본 발명의 일 실시예에서는 LED-to-Camera 시스템으로 데이터를 획득함에 있어서 가장 많은 시간이 요구되는 관심 영역 검출을 원본 영상에서 직접 수행하지 않고, 다운-샘플링한 영상에서 빠르게 관심 영역을 검출한 후, 이를 기반으로 goed 관심 영역을 상기 소정 비율에 기초하여 원본 영상에서도 획득할 수 있음. 이를 통해 디코딩 과정에서 가장 많은 시간과 자원이 소모되는 관심 영역 결정 과정을 개선함으로서 데이터 전송 속도를 향상시킬 수 있고, 많은 연산량에 따른 배터리 소모를 감소시킨다.
도 1은 본 발명의 일 실시예에 따른 데이터 획득 장치(100)에 관한 블록도를 나타낸다.
도 2는 본 발명의 일 실시예에 따른 관심영역 결정부(130)가 관심 영역의 위치 정보를 획득하는 과정을 나타내는 도면이다.
도 3은 본 발명의 일 실시예에 따른 LED의 동작과 촬상부(110)에서 획득된 원본 영상의 관계를 나타내는 도면이다.
도 4는 본 발명의 일 실시예에 따른 다운샘플링부(120)에서 원본 영상을 랜덤 방식으로 다운-샘플링하는 과정을 나타낸다.
도 5는 본 발명의 일 실시예에 따른 다운샘플링부(120)에서 원본 영상을 지그재그 방식으로 다운-샘플링하는 과정을 나타낸다.
도 6은 본 발명의 일 실시예에 따른 원본 영상(610)과 다운-샘플링된 영상(620)을 비교하는 그림이다.
도 7은 본 발명의 일 실시예에 따른 다운-샘플링된 영상(720)의 대응 영역의 위치와 원본 영상(720)의 관심 영역의 위치를 비교하는 그림이다.
도 8은 본 발명의 일 실시예에 따른 데이터 획득 방법에 관한 흐름도를 나타낸다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.
제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 본 발명의 일 실시예에 따른 데이터 획득 장치(100)에 관한 블록도를 나타낸다.
본 발명의 일 실시예에 따른 데이터 획득 장치(100)는 촬상부(110), 다운샘플링부(120), 관심영역 추정부(130) 및 디코딩부(140)를 포함할 수 있다.
촬상부(110)는 원본 영상을 획득한다. LED-to-Camera 통신 시스템에서, LED는 전송하고자 하는 데이터에 따라 소정 시간 간격으로 LED의 광량을 변화시키며(예를 들면, LED ON/OFF) 촬상부(110)는 LED로부터 방출되는 광을 촬영하여 원본 영상을 획득할 수 있다.
촬상부(110)는 제 1 시점에서는 원본 영상의 제 1 영역에 해당하는 부분을 촬영하고, 제 2 시점에서 원본 영상의 제 2 영역에 해당하는 부분을 촬영하여 원본 영상을 획득할 수 있다. 예를 들어, 촬상부(100)는 Ling-By-Line(Row-By-Row) 방식으로 셔터를 순차적으로 개방하여 영상을 촬영하는 롤링 셔터(Rolling Shutter)방식을 사용하여 원본 영상을 획득할 수 있다.
다운샘플링부(120)는 원본 영상을 소정 비율로 다운-샘플링한다. 예를 들어, 원본 영상의 해상도가 15*15(픽셀)이며, 3*3 서브셀 단위로 하나의 픽셀을 선택하여 다운-샘플링을 수행하는 경우 다운-샘플링된 영상의 해상도는 5*5(픽셀)이 된다. 다운-샘플링 비율은 원본 영상과 다운-샘플링된 영상간의 크기 비율(예를 들면, 1/9크기로 다운 샘플링)로 표현되거나, 원본 영상에서 픽셀이 선택되는 단위(예를 들면, 3*3 서브셀 단위로 픽셀을 선택하여 다운-샘플링)로 표현되는 등 다양한 방식으로 표현될 수 있다.
또한, 다운-샘플링 비율은 실시예에 따라서 다양할 수 있다. 일 예로, 다운샘플링부(120)는 데이터를 획득하는 환경에 기초하여 다운-샘플링 비율을 결정할 수 있다. 예를 들어, 데이터 처리 장치(100)의 데이터 처리 능력이 낮거나 데이터 전송 속도가 느린 경우와 같이 데이터에 오류가 발생할 가능성이 높거나 빠른 데이터 처리가 불필요한 경우에는 다운-샘플링 비율을 낮춘다(즉, 원본 영상의 사이즈를 소폭 감소시킴). 반면, 데이터 처리 장치(100)의 데이터 처리 능력이 높거나 데이터 전송 속도가 빠른 경우와 같이 빠른 데이터 처리가 가능하거나 필요한 경우에는 다운-샘플링 비율을 높인다(즉, 원본 영상의 사이즈를 대폭 감소시킴). 다른 예로, 다운샘플링부(120)는 이전에 촬영한 영상의 크기와 해당 영상에서의 관심 영역(Resion of Interest)의 크기에 기초하여 다운-샘플링 비율을 결정할 수 있다. 이전 영상에서의 관심 영역 크기와 원본 영상의 크기를 비교하여, 관심 영역의 크기가 적절하게 선정된 것으로 판단되면 이전 영상에서 사용한 다운-샘플링 비율을 그대로 적용하고, 그렇지 않은 경우 다운-샘플링 비율을 적절히 변경한다.
다운샘플링부(120)는 다운-샘플링 비율에 따라 원본 영상을 동일한 크기의 복수의 영역으로 분할한 후, 각각의 영역에서 특정 픽셀의 값을 선택할 수 있다. 이 때, 각각의 영역에서 랜덤한 위치의 픽셀 값을 선택하거나, 지그재그 방식으로 픽셀 값을 선택할 수 있다. 다운샘플링부(120)에서 다운 샘플링된 영상을 획득하는 과정은 도 4 및 도 5에서 후술한다.
관심영역 추정부(130)는 다운-샘플링된 영상에서 관심 영역에 대응하는 대응 영역의 위치 정보를 회득하고, 대응 영역의 위치 정보와 다운-샘플링 비율에 기초하여 관심 영역을 추정한다. 본 명세서에서, 관심 영역은 원본 영상내에서 데이터가 포함된 영역(또는, 디코딩의 대상이 되는 영역)을 의미하며, 대응 영역은 다운-샘플링된 영상에서 관심 영역에 대응하는 영역을 의미한다.
관심영역 추정부(130)는 대응영역 검출부(미도시) 및 추정부(미도시)를 포함할 수 있다.
대응영역 검출부(미도시)는 다운-샘플링된 영상에서 대응 영역을 검출한다.
추정부(미도시)는 대응 영역의 위치와 다운-샘플링 비율에 기초하여 원본 영상에서 관심 영역을 추정한다.
관심영역 결정부(130)가 관심 영역의 위치 정보를 획득하는 과정은 실시예에 따라서 다양할 수 있다. 이하에서는, 관심영역 결정부(130)가 관심 영역의 위치 정보를 획득하는 과정을 도 2를 참고하여 설명한다. 그러나, 도 2에 도시된 과정은 예에 불과한 것으로 다운-샘플링 된 영상으로부터 관심 영역의 위치 정보를 획득할 수 있다면, 이들 과정 중 일부가 생략되거나 변경 또는 추가되어도 무방하다.
도 2는 본 발명의 일 실시예에 따른 관심영역 결정부(130)가 관심 영역의 위치 정보를 획득하는 과정을 나타내는 도면이다.
도 2에서 상단에 표시된 영상들은 원본 영상을 나타내며, 하단에 표시된 영상들은 다운-사이징 영상을 나타낸다.
도 2a에서는, 원본 영상을 소정 비율로 다운-샘플링하여 다운-샘플링된 영상을 획득한다. 실시 예에 따라서는 다운-샘플링 전(또는 후)에 원본 영상의 포멧을 변환할 수 있다. 예를 들어, 촬상부(110)를 통하여 RGB 또는 YUV포맷의 영상이 획득되면, 이를 디코딩에 용이한 CV(Computer Vision) 메트릭스 타입으로 변환할 수 있다.
도 2b에서는, 다운-샘플링 된 영상에 대하여 블러링을 수행한다.
도 2c에서는, 블러링된 영상에 대하여 이진 변환을 수행한다. 이진 변환은 픽셀 값을 '1' 또는 '0'으로 변환하는 것으로, 블러링된 영상내의 각각의 픽셀을 임계 값과 비교하여, 임계치 이상의 픽셀은 '1'(예를 들면, 흰색)의 값을 갖도록 변환하고, 임계치 미만의 픽셀은 '0'(예를 들면, 검은색)의 값을 갖도록 변환한다.
도 2d에서는, 컨-투어링(Contouring)과정을 통하여 이진 변환된 영상으로부터 외각선을 도출하며, 도출된 외각선은 원본 영상의 관심 영역에 대응하는 대응 영역으로 선택된다.
도 2e에서는, 대응 영역에 기초하여 원본 영상에서 관심 영역을 추정하고, 관심 영역내의 영상을 디코딩하여 데이터를 획득한다.
다시 도 1로 돌아가서, 관심 영역의 형태는 실시예에 따라서 다양할 수 있다.
관심 영역이 사각형인 경우 관심영역 추정부(130)는 대응 영역에 해당하는 사각형의 제 1 꼭지점의 좌표와, 제 1 꼭지점의 대각선에 위치하는 제 2 꼭지점의 좌표를 획득한다. 이 후, 제 1 꼭지점의 좌표와 제 2 꼭지점 좌표에 다운-샘플링 비율을 곱하여 관심 영역의 위치정보를 획득한다. 예를 들어, 다운-샘플링된 영상에서 (3,3)픽셀과 (6,6)픽셀로 구성되는 사각형의 내부가 대응 영역인 경우를 가정해보자. 다운-샘플링 비율이 30:30인 경우 원본 영상에서 (90,90)픽셀과 (180,180)픽셀이 관심 영역을 형성하는 사각형의 마주보는 꼭지점이 된다.
유사하게, 관심 영역이 원형인 경우 관심영역 추정부(130)는 대응 영역에 해당하는 원의 중심의 좌표와 반지름의 좌표를 획득한다. 예를 들어, 다운-샘플링된 영상에서 (30,30)픽셀이 원의 중심이며 반지름이 3픽셀인 원의 내부가 대응 영역이라고 가정하자. 다운-샘플링 비율이 30:30인 경우 원본 영상에서 (900,900)픽셀을 중심으로 반지름이 90픽셀인 원의 내부가 관심 영역이 된다.
디코딩부(140)는 관심 영역내의 영상을 디코딩하여 데이터를 획득한다. 디코딩부(140)는 LED가 데이터를 인코딩하는 방식에 따라 디코딩 방식을 결정한다.
도 3은 본 발명의 일 실시예에 따른 LED의 동작과 촬상부(110)에서 획득된 원본 영상의 관계를 나타내는 도면이다.
도 3에서 촬상부(110)는 롤링셔터 방식으로 원본 영상을 획득한다. 즉, 제 1 시점에 원본 영상의 제 1 부분을 획득하고, 제 2 시점에 원본 영상의 제 2 부분을 획득한다. 설명의 편의를 위하여, 원본 영상은 4개의 라인으로 구성되며, 촬상부(110)는 하나의 시점에 한 라인에 해당하는 영상을 획득하는 것으로 가정한다. 또한, LED는 턴-온/턴-오프의 패턴에 따라 데이터를 전달하며, LED가 턴-온/턴-오프 되는 주기는 쵤상부(110)가 한 라인의 영상을 획득하는 시간과 동일하거나 촬상부(110)에서 영상을 획득할 수 있도록 충분히 길다고 가정하자.
도 3의 상단은 LED의 동작을 나타내는 것으로, 우측 상단에 표시된 신호가 ON 영역에 있는 구간에서는 LED가 턴-온되고, OFF 영역에 있는 구간에서는 LED가 턴-오프 된다. 또한, 도 3의 하단은 LED에서 방출되는 광을 촬영하여 획득된 원본 영상(300)을 나타낸다.
도 3을 참고하면, (a)구간에서 LED는 턴-온되었으며, 촬상부(110)는 LED로부터 방출되는 광을 촬영하여 원본 영상(300)의 첫번째 라인을 획득한다. (a)구간에서 LED가 턴-온 되었으므로, 원본 영상(300)의 첫번째 라인은 밝게 표현된다.
(b)구간에서 LED는 턴-오프되었으며, 촬상부(110)는 LED로부터 방출되는 광을 촬영하여 원본 영상(300)의 두번째 라인을 획득한다. (b)구간에서 LED가 턴-오프 되었으므로, 원본 영상(300)의 두번째 라인은 어둡게 표현된다.
(c)구간에서 LED는 턴-오프되었으며, 촬상부(110)는 LED로부터 방출되는 광을 촬영하여 원본 영상(300)의 세번째 라인을 획득한다. (c)구간에서 LED가 턴-오프 되었으므로, 원본 영상(300)의 세번째 라인은 어둡게 표현된다.
(d)구간에서 LED는 턴-온되었으며, 촬상부(110)는 LED로부터 방출되는 광을 촬영하여 원본 영상(300)의 네번째 라인을 획득한다. (d)구간에서 LED가 턴-온 되었으므로, 원본 영상(300)의 네번째 라인은 밝게 표현된다.
결과적으로, 촬상부(110)는 라인별로 밝음-어두움-어두움-밝음으로 구성된 원본 영상(300)을 획득한다.
도 4는 본 발명의 일 실시예에 따른 다운샘플링부(120)에서 원본 영상을 랜덤 방식으로 다운-샘플링하는 과정을 나타낸다.
도 4의 좌측에 표시된 도면은 본 발명의 일 실시예에 따른 원본 영상(410)을 나타내며, 도 4의 우측에 표시된 도면은 다운-샘플링된 영상(420)을 나타낸다.
도 4에서 원본 영상(410)은 15*15픽셀로 구성되며, 3*3픽셀마다 하나의 픽셀을 선택하여 다운-샘플링한다. 따라서, 원본 영상(410)은 3*3픽셀 단위로 분할되며, 총 25개의 영역으로 분할된다. 도 4에서는, 각각의 영역에서 랜덤하게 하나의 픽셀을 선택하여 다운-샘플링된 영상(420)를 생성한다.
도 4를 참고하면, 다운샘플링부(120)는 첫번째 영역(411)에서 (3,3)픽셀을 선택하여, 다운-샘플링된 영상(420)의 (1,1)픽셀(421)로 결정한다.
또한, 다운샘플링부(120)는 두번째 영역(412)에서 (2,3)픽셀을 선택하여, 다운-샘플링된 영상(420)의 (1,2)픽셀(422)로 결정한다.
또한, 다운샘플링부(120)는 여섯번째 영역(416)에서 (2,2)픽셀을 선택하여, 다운-샘플링된 영상(420)의 (2,1)픽셀(426)로 결정한다.
도 5는 본 발명의 일 실시예에 따른 다운샘플링부(120)에서 원본 영상을 지그재그 방식으로 다운-샘플링하는 과정을 나타낸다. 지그재그 방식은 각각의 영역에서 다운-샘플링된 영상을 구성할 픽셀을 선택할 때, 지그재그 방식으로 선택함을 의미한다. 예를 들어, 첫번째 영역에서는 세번째 라인의 픽셀 중 하나를 선택하고, 두번째 영역에서는 두번째 라인의 픽셀 중 하나를 선택하며, 세 번째 영역에서는 첫번째 라인(또는 세번째 라인)의 픽셀 중 하나를 선택하는 방식이다. 이 경우, 특정 방향으로(예를 들면, 가로 방향)인접한 두 개의 영역에서는 각각 상이한 라인의 픽셀을 선택하게 된다. (예를 들면, 3-2-3-2-3-2...라인에서 픽셀을 선택하거나, 3-2-1-2-1...라인에서 픽셀을 선택)
도 5a는 본 발명의 일 실시예에 따른 다운샘플링부(120)에서 원본 영상을 지그재그 방식으로 다운-샘플링하는 일 예를 나타낸다.
도 5a의 좌측에 표시된 도면은 본 발명의 일 실시예에 따른 원본 영상(510)을 나타내며, 도 5a의 우측에 표시된 도면은 다운-샘플링된 영상(520)을 나타낸다.
도 5a에서 원본 영상(510)은 15*15픽셀로 구성되며, 3*3픽셀마다 하나의 픽셀을 선택하여 다운-샘플링한다. 따라서, 원본 영상(510)은 3*3픽셀 단위로 분할되며, 총 25개의 영역으로 분할된다.
도 5a를 참고하면, 다운샘플링부(120)는 첫번째 영역(511)에서 (3,3)픽셀을 선택하여, 다운-샘플링된 영상(520)의 (1,1)픽셀(521)로 결정한다.
다음으로, 다운샘플링부(120)는 다운-샘플링된 영상(520)의 (1,2)픽셀을 결정함에 있어서, 첫번째 영역(511)에서 선택된 픽셀과 다른 라인의 픽셀을 두번째 영역(512)에서 선택한다. 도 5에서는, 두 번째 영역(512)의 (2,3)픽셀을 다운-샘플링된 영상(520)의 (1,2)픽셀(522)로 선택한다.
다음으로, 다운샘플링부(120)는 다운-샘플링된 영상(520)의 (1,3)픽셀을 결정함에 있어서, 두번째 영역(512)에서 선택한 픽셀과 다른 라인에 위치하며, 첫번째 영역(5110)에서 선택한 픽셀과 동일한 라인에 위치하는 픽셀인 (3,3)픽셀을 선택하여, 다운-샘플링된 영상(520)의 (1,3)픽셀(523)로 결정한다.
유사하게, 다운샘플링부(120)는 여섯번째 영역(516)에서 (3,3)픽셀을 선택하여, 다운-샘플링된 영상(520)의 (2,1)픽셀(526)로 결정한다.
원본 영상의 각각의 영역에서 동일한 위치의 픽셀을 선택하여 다운-샘플링된 영상을 획득할 경우, 계속 밝은 픽셀이 선택되거나 계속 어두운 픽셀이 선택될 가능성을 배제할 수 없다. 그러나, 랜덤 방식이나 지그재그 방식으로 다운-샘플링된 영상을 획득하는 경우, 원본 영상에서 고른 분포로 다운-샘플링 영상에 포함될 픽셀을 선택할 수 있게 되어, 관심 영역을 검출하는 과정에서 발생할 수 있는 오류를 줄일 수 있다.
도 5b는 본 발명의 일 실시예에 따른 다운샘플링부(120)에서 원본 영상을 지그재그 방식으로 다운-샘플링하는 다른 예를 나타낸다.
도 5b를 참고하면, 다운샘플링부(120)는 첫번째 영역(531)에서 (3,3)픽셀을 선택하여, 다운-샘플링된 영상(520)의 (1,1)픽셀(541)로 결정한다.
다음으로, 다운샘플링부(120)는 다운-샘플링된 영상(520)의 (1,2)픽셀을 결정함에 있어서, 첫번째 영역(531)에서 선택된 픽셀과 다른 라인의 픽셀을 두번째 영역(532)에서 선택한다. 도 5b에서는, 두 번째 영역(532)의 (2,3)픽셀을 다운-샘플링된 영상(520)의 (1,2)픽셀(542)로 선택한다.
다음으로, 다운샘플링부(120)는 다운-샘플링된 영상(520)의 (1,3)픽셀을 결정함에 있어서, 두번째 영역(532)에서 선택한 픽셀과 다른 라인에 위치하는 픽셀인 (1,3)픽셀을 선택하여, 다운-샘플링된 영상(520)의 (1,3)픽셀(543)로 결정한다.
도 6은 본 발명의 일 실시예에 따른 원본 영상(610)과 다운-샘플링된 영상(620)을 비교하는 그림이다.
도 6a는 본 발명의 일 실시예에 따른 원본 영상(610)을 나타낸다. 도 6에서 원본 영상(610)은 4032*3024의 해상도를 갖는다.
도 6b는 본 발명의 일 실시예에 따른 다운-샘플링된 영상(620)을 나타낸다. 도 6에서 다운-샘플링된 영상(620)은 원본 영상에서 36*36 서브셀 단위마다 하나의 픽셀을 선택하여 다운-샘플링 한 것으로 112*84의 해상도를 갖는다.
도 7은 본 발명의 일 실시예에 따른 다운-샘플링된 영상(720)의 대응 영역의 위치와 원본 영상(720)의 관심 영역의 위치를 비교하는 그림이다.
도 7a는 본 발명의 일 실시예에 따른 다운-샘플링된 영상(720)을 나타낸다. 도 7a에서 다운-샘플링된 영상(720)은 112*84의 해상도를 가지며, 4032*3024크기의 원본 영상(710)에서 36*36 서브셀 단위마다 하나의 픽셀을 선택하여 다운-샘플링한 것이다.
도 7a를 참고하면, 다운-샘플링된 영상(720)에서 대응 영역은 사각형의 형태를 갖는다. 대응 영역을 구성하는 사각형 중 하나의 꼭지점인 제 1 꼭지점의 좌표는 (x1,y1)이고, 제 1 꼭지점의 대각선에 위치하는 제 2꼭지점의 좌표는 (x2,y2)이다.
도 7b는 본 발명의 일 실시예에 따른 원본 영상(710)를 나타낸다. 도 7a와 마찬가지로, 관심 영역은 사각형의 형태를 가진다.
관심 영역을 구성하는 사각형 중 하나의 꼭지점인 제 3 꼭지점의 좌표는 (x1',y1')이고, 제 3 꼭지점의 대각선에 위치하는 제 4 꼭지점의 좌표는 (x2',y2')이다. 이 때, x1' = x1*36, x2' = x2*36, y1' = y1*36, y2' = y2*36의 관계를 갖는다.
도 8은 본 발명의 일 실시예에 따른 데이터 획득 방법에 관한 흐름도를 나타낸다.
단계 s810에서, 정보가 포함된 광을 촬영하여 원본 영상을 획득한다. 예를 들어, 소정 시간 간격마다 LED에서 출사되는 광량을 변화시킴으로서 데이터를 전달하는 LED-to-Camera 시스템에서, 제 1 시점에서는 원본 영상의 제 1 영역에 해당하는 부분을 촬영하고, 제 2 시점에서 원본 영상의 제 2 영역에 해당하는 부분을 촬영하여 원본 영상을 획득할 수 있다. 이 때, LED에서 광량을 변화시키는 시간 간격은 LED와의 통신을 통하여 획득되거나, 사전에 디폴트로 설정될 수 있다.
단계 s820에서, 원본 영상을 소정 비율로 다운-샘플링하여 다운-샘플링된 영상을 획득한다. 원본 영상을 다운-샘플링하는 방법은 실시예에 따라서 다양할 수 있으며, 원본 영상을 복수의 영역으로 구분한 후 각각의 영역에서 랜덤 또는 지그재그 방식으로 픽셀을 선택하여 다운-샘플링된 영상을 획득할 수 있다.
단계 s830에서, 다운-샘플링 된 영상에 기초하여, 원본 영상에서 데이터가 포함된 영역인 관심 영역을 추정한다. 예를 들어, 다운-샘플링 된 영상에서 관심 영역에 대응하는 대응 영역의 위치 정보를 획득한 후, 다운 샘플링 비율에 기초하여 관심 영역의 위치를 결정할 수 있다.
단계 s840에서, 관심 영역내의 영상을 디코딩하여 데이터를 획득한다.
본 발명의 이점 및/또는 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성요소를 지칭한다.
지금까지 본 발명에 따른 구체적인 실시예에 관하여 설명하였으나, 본 발명의 범위에서 벗어나지 않는 한도 내에서는 여러 가지 변형이 가능함은 물론이다. 그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 안 되며, 후술하는 특허 청구의 범위뿐 아니라 이 특허 청구의 범위와 균등한 것들에 의해 정해져야 한다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 이는 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 따라서, 본 발명 사상은 아래에 기재된 특허청구범위에 의해서만 파악되어야 하고, 이의 균등 또는 등가적 변형 모두는 본 발명 사상의 범주에 속한다고 할 것이다.
100: 데이터 획득 장치
110: 촬상부
120: 다운샘플링부
130: 관심영역 추정부
140: 디코딩부

Claims (11)

  1. 원본 영상을 획득하는 단계;
    상기 원본 영상을 소정 비율로 다운-샘플링하여 다운-샘플링된 영상을 획득하는 단계;
    상기 다운-샘플링된 영상에 기초하여, 상기 원본 영상에서 데이터가 포함된 영역인 관심 영역을 추정하는 단계; 및
    상기 관심 영역내의 영상을 디코딩하는 단계를 포함하는 것을 특징으로 하는 데이터 획득 방법.
  2. 제 1항에 있어서, 상기 다운-샘플링하는 단계는,
    상기 원본 영상의 제 1 영역에서 제 1 열의 픽셀을 선택하고, 상기 제 1 영역과 인접한 제 2 영역에서 상기 제 1 열과 상이한 제 2 열의 픽셀을 선택하여, 다운-샘플링된 영상을 획득하는 것을 특징으로 하는 데이터 획득 방법.
  3. 제 1항에 있어서, 상기 다운-샘플링하는 단계는,
    상기 원본 영상의 제 1 영역에서 랜덤한 픽셀을 선택하고, 상기 제 1 영역과 인접한 제 2 영역에서 랜덤한 픽셀을 선택하여 다운-샘플링된 영상을 획득하는 것을 특징으로 하는 데이터 획득 방법.
  4. 제 1항에 있어서, 상기 다운-샘플링하는 단계는,
    이전 영상의 크기와 이전 영상에서의 관심 영역의 크기에 기초하여 상기 소정 비율을 결정하는 단계를 포함하는 것을 특징으로 하는 데이터 획득 방법.
  5. 제 1항에 있어서, 상기 관심 영역을 추정하는 단계는,
    상기 다운-샘플링된 영상에서 상기 관심 영역에 대응하는 영역인 대응 영역을 특정하는 단계; 및
    상기 대응 영역의 위치와 상기 소정 비율을 이용하여 상기 관심 영역을 추정하는 단계를 포함하는 것을 특징으로 하는 데이터 획득 방법.
  6. 제 1항에 있어서, 상기 관심 영역을 추정하는 단계는,
    상기 관심 영역이 사각형인 경우, 상기 다운-샘플링된 영상에서 상기 관심 영역에 대응하는 영역인 대응 영역의 제 1 꼭지점의 좌표와 상기 제 1 꼭지점의 대각선에 위치하는 제 2 꼭지점의 좌표를 획득하는 단계; 및
    상기 제 1 꼭지점의 좌표 및 상기 제 2 꼭지점의 좌표와 상기 소정 비율에 기초하여 상기 관심 영역의 위치 정보를 획득하는 단계를 포함하는 것을 특징으로 하는 데이터 획득 방법.
  7. 제 1항에 있어서, 상기 관심 영역을 추정하는 단계는,
    상기 관심 영역이 원인 경우, 상기 다운-샘플링된 영상에서 상기 관심 영역에 대응하는 영역인 대응 영역의 중심과 반지름을 획득하는 단계; 및
    상기 중심 및 반지름과 상기 소정 비율에 기초하여 상기 관심 영역의 위치 정보를 획득하는 단계를 포함하는 것을 특징으로 하는 데이터 획득 방법.
  8. 제 1항에 있어서, 상기 원본 영상을 획득하는 단계는,
    제 1 시점에서는 상기 원본 영상의 제 1 영역에 해당하는 부분을 촬영하고, 제 2 시점에서 상기 원본 영상의 제 2 영역에 해당하는 부분을 촬영하여 상기 원본 영상을 획득하는 것을 특징으로 하는 데이터 획득 방법.
  9. 제 1항에 있어서, 상기 원본 영상을 획득하는 단계는,
    LED로부터 방출되며 소정 시간 간격으로 광량이 변하는 광을 촬영하여 상기원본 영상을 획득하는 것을 특징으로 하는 데이터 획득 방법.
  10. 제 1항에 있어서, 상기 관심 영역을 추정하는 단계는,
    상기 다운-샘플링된 영상을 블러링하는 단계;
    상기 블러링된 영상내의 각각의 픽셀을 임계치와 비교하여 바이너리 변환을 수행하는 단계;
    상기 바이너리 변환된 영상에서 윤곽선을 추출하는 단계; 및
    상기 윤곽선에 기초하여 상기 관심 영역에 대응하는 대응 영역을 특정하는 단계; 및
    상기 대응 영역의 위치와 상기 소정 비율에 기초하여, 상기 관심 영역을 추정하는 단계를 포함하는 것을 특징으로 하는 데이터 획득 방법.
  11. 원본 영상을 획득하는 촬상부;
    상기 원본 영상을 소정 비율로 다운-샘플링하여 다운-샘플링된 영상을 획득하는 다운샘플링부;
    상기 다운-샘플링된 영상에 기초하여, 상기 원본 영상에서 데이터가 포함된 영역인 관심 영역을 특정하는 관심영역 추정부; 및
    상기 관심 영역내의 영상을 디코딩하는 디코딩부를 포함하는 것을 특징으로 하는 데이터 획득 장치.
KR1020180028810A 2018-03-12 2018-03-12 LED-to-Camera 시스템에서 데이터를 획득하는 방법 및 장치 KR102031005B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180028810A KR102031005B1 (ko) 2018-03-12 2018-03-12 LED-to-Camera 시스템에서 데이터를 획득하는 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180028810A KR102031005B1 (ko) 2018-03-12 2018-03-12 LED-to-Camera 시스템에서 데이터를 획득하는 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20190107494A true KR20190107494A (ko) 2019-09-20
KR102031005B1 KR102031005B1 (ko) 2019-10-11

Family

ID=68067451

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180028810A KR102031005B1 (ko) 2018-03-12 2018-03-12 LED-to-Camera 시스템에서 데이터를 획득하는 방법 및 장치

Country Status (1)

Country Link
KR (1) KR102031005B1 (ko)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150010518A (ko) * 2013-07-19 2015-01-28 삼성전자주식회사 적응적 샘플링에 기초한 계층적 움직임 예측 방법 및 움직임 예측 장치
KR20170058792A (ko) * 2015-11-19 2017-05-29 삼성전자주식회사 영상에서 움직임 벡터를 결정하는 방법 및 장치

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150010518A (ko) * 2013-07-19 2015-01-28 삼성전자주식회사 적응적 샘플링에 기초한 계층적 움직임 예측 방법 및 움직임 예측 장치
KR20170058792A (ko) * 2015-11-19 2017-05-29 삼성전자주식회사 영상에서 움직임 벡터를 결정하는 방법 및 장치

Also Published As

Publication number Publication date
KR102031005B1 (ko) 2019-10-11

Similar Documents

Publication Publication Date Title
JP5701182B2 (ja) 画像処理装置、画像処理方法及びコンピュータプログラム
WO2019085971A1 (zh) 图像中定位文本的方法、装置、电子设备和存储介质
WO2016079718A1 (en) Methods circuits devices assemblies systems and functionally associated computer executable code for image acquisition with depth estimation
US10354352B2 (en) Image processing apparatus, image processing method, and storage medium
JP2007531094A (ja) カメラ写真から得られる画像から原データを抽出する方法
US20150229839A1 (en) Adaptive data path for computer-vision applications
US10169629B2 (en) Decoding visual codes
CN111368819B (zh) 光斑检测方法和装置
CN106651797B (zh) 一种信号灯有效区域的确定方法和装置
CN107018407B (zh) 信息处理装置、评价用图、评价系统、以及性能评价方法
JP6779688B2 (ja) 画像処理装置、画像処理方法、コンピュータプログラム
CN107248139A (zh) 基于显著视觉和dmd阵列分区控制的压缩感知成像方法
CN106507079B (zh) 一种色彩还原方法和装置
CN110689014A (zh) 感兴趣区域的检测方法、装置、电子设备及可读存储介质
KR20220030877A (ko) 다양한 인트라-프레임 아날로그 비닝을 사용하는 이미지 센서
JP7030425B2 (ja) 画像処理装置、画像処理方法、プログラム
CN111160063B (zh) 一种物联网ipc二维码配网图像增强方法及系统
US7835552B2 (en) Image capturing apparatus and face area extraction method
KR102031005B1 (ko) LED-to-Camera 시스템에서 데이터를 획득하는 방법 및 장치
US10896344B2 (en) Information processing apparatus, information processing method, and computer program
CN110930340A (zh) 一种图像处理方法及装置
US9412036B2 (en) Methods and systems for object detection based on column-wise and row-wise sums of pixel values
US20150043829A1 (en) Image processing device, image processing method, and non-transitory recording medium
US20210074002A1 (en) Motion Image Integration Method and Motion Image Integration System Capable of Merging Motion Object Images
CN114677464A (zh) 图像处理方法、图像处理装置、计算机设备及存储介质

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right