KR20190053469A - 디스플레이 장치, 재생 판단 장치, 컨텐츠 재생 확인 방법 - Google Patents

디스플레이 장치, 재생 판단 장치, 컨텐츠 재생 확인 방법 Download PDF

Info

Publication number
KR20190053469A
KR20190053469A KR1020170149386A KR20170149386A KR20190053469A KR 20190053469 A KR20190053469 A KR 20190053469A KR 1020170149386 A KR1020170149386 A KR 1020170149386A KR 20170149386 A KR20170149386 A KR 20170149386A KR 20190053469 A KR20190053469 A KR 20190053469A
Authority
KR
South Korea
Prior art keywords
image
camera
content
content image
camera image
Prior art date
Application number
KR1020170149386A
Other languages
English (en)
Other versions
KR102429557B1 (ko
Inventor
허주
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020170149386A priority Critical patent/KR102429557B1/ko
Priority to US16/763,135 priority patent/US11089295B2/en
Priority to PCT/KR2018/012356 priority patent/WO2019093674A1/ko
Publication of KR20190053469A publication Critical patent/KR20190053469A/ko
Application granted granted Critical
Publication of KR102429557B1 publication Critical patent/KR102429557B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09F—DISPLAYING; ADVERTISING; SIGNS; LABELS OR NAME-PLATES; SEALS
    • G09F9/00—Indicating arrangements for variable information in which the information is built-up on a support by selection or combination of individual elements
    • G09F9/30—Indicating arrangements for variable information in which the information is built-up on a support by selection or combination of individual elements in which the desired character or characters are formed by combining individual elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/004—Diagnosis, testing or measuring for television systems or their details for digital television systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Biomedical Technology (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

디스플레이 장치에 재생되는 화면을 촬영한 영상을 분석하여 컨텐츠가 정상적으로 재생되고 있는지 여부를 자동으로 판단하는 디스플레이 장치, 재생 판단 장치 및 컨텐츠 재생 확인 방법을 제공한다.
일 실시예에 따른 디스플레이 장치는, 컨텐츠 영상을 표시하는 디스플레이부; 상기 디스플레이부가 촬영된 카메라 영상을 수신하는 통신부; 상기 컨텐츠 영상의 픽셀값과 상기 카메라 영상의 픽셀값을 이용하여 상기 컨텐츠 영상과 상기 카메라 영상을 비교하고, 상기 비교 결과에 기초하여 상기 컨텐츠 영상이 상기 디스플레이부에 정상적으로 표시되는지 여부를 판단하는 제어부;를 포함한다.

Description

디스플레이 장치, 재생 판단 장치, 컨텐츠 재생 확인 방법{DISPLAY APPARATUS, APPARATUS FOR PROOF OF PLAY, METHOD FOR PROOF OF PLAY OF CONTENTS}
개시된 발명은 컨텐츠의 재생 여부를 확인할 수 있는 디스플레이 장치, 재생 판단 장치 및 컨텐츠 재생 확인 방법에 관한 것이다.
잠재적인 소비자에게 광고를 제공하는 방식으로는, 방송 신호에 광고를 삽입하는 방식, 옥외에 설치된 대형 디스플레이 장치(LFD: Large Format Display)를 통해 광고 영상을 재생하는 방식 등이 있다.
전자의 방식은, 공중파 TV나 케이블 TV의 프로그램들 사이에 광고 영상을 삽입하여 재생시키는 방식으로서, TV를 시청할 수 있는 환경이면 어디에서든지 소비자에게 광고를 제공할 수 있다.
후자의 방식은, 지하철역, 영화관, 버스 정류장, 쇼핑몰 등과 같이 유동 인구가 많은 곳에 설치된 대형 디스플레이 장치(LFD)를 통해 광고 영상을 재생하여 해당 디스플레이 장치 주변의 소비자에게 광고를 제공할 수 있다.
대형 디스플레이 장치를 통해 광고 영상을 재생하는 경우, 지정된 디스플레이 장치에만 광고 영상이 재생되기 때문에 원격지의 광고주가 해당 디스플레이 장치에 광고 영상이 제대로 재생되고 있는지 여부를 파악하기가 어렵다.
따라서, 대형 디스플레이 장치에 광고 재생을 의뢰한 광고주에게 광고 영상이 사전 협의된 조건에 따라 정상적으로 재생되고 있음을 확인시켜 줄 수 있는 기술이 요구된다.
디스플레이 장치에 재생되는 화면을 촬영한 영상을 분석하여 컨텐츠가 정상적으로 재생되고 있는지 여부를 자동으로 판단하는 디스플레이 장치, 재생 판단 장치 및 컨텐츠 재생 확인 방법을 제공한다.
일 실시예에 따른 디스플레이 장치는, 컨텐츠 영상을 표시하는 디스플레이부; 상기 디스플레이부가 촬영된 카메라 영상을 수신하는 통신부; 상기 컨텐츠 영상의 픽셀값과 상기 카메라 영상의 픽셀값을 이용하여 상기 컨텐츠 영상과 상기 카메라 영상을 비교하고, 상기 비교 결과에 기초하여 상기 컨텐츠 영상이 상기 디스플레이부에 정상적으로 표시되는지 여부를 판단하는 제어부;를 포함한다.
상기 제어부는, 상기 컨텐츠 영상의 픽셀값의 평균 및 상기 카메라 영상의 픽셀값의 평균을 획득하고, 상기 컨텐츠 영상의 픽셀값의 평균과 상기 카메라 영상의 픽셀값의 평균을 비교하여 상기 컨텐츠 영상이 상기 디스플레이부에 정상적으로 표시되는지 여부를 판단할 수 있다.
상기 제어부는, 상기 컨텐츠 영상의 픽셀값의 평균과 상기 카메라 영상의 픽셀값의 평균의 오차가 미리 정해진 오차 범위 이내이면, 상기 컨텐츠 영상이 상기 디스플레이부에 정상적으로 표시되는 것으로 판단할 수 있다.
상기 픽셀값은, 상기 컨텐츠 영상에 적용된 컬러 스페이스에 의해 결정될 수 있다.
상기 제어부는, 상기 통신부를 제어하여 수직 동기화 신호, 네크워크 지연 시간, 프레임 간격 및 디스플레이 프로세싱 시간을 포함하는 정보 중 적어도 하나의 정보를 상기 카메라 영상을 촬영하는 카메라 장치에 전송할 수 있다.
상기 제어부는, 상기 디스플레이부에 표시되는 컨텐츠 영상과 상기 수신된 카메라 영상을 실시간으로 비교할 수 있다.
상기 디스플레이 장치 주변의 외광을 측정하는 외광 센서;를 더 포함할 수 있다.
상기 제어부는, 상기 카메라 영상으로부터 상기 측정된 외광을 제거하고, 상기 측정된 외광이 제거된 카메라 영상을 상기 컨텐츠 영상과 비교할 수 있다.
상기 제어부는, 상기 컨텐츠 영상으로부터 상기 측정된 외광을 제거하고, 상기 디스플레이부가 상기 측정된 외광이 제거된 컨텐츠 영상을 표시하도록 제어할 수 있다.
상기 디스플레이 장치와 상기 카메라 영상을 촬영하는 카메라 장치 사이의 장애물을 감지하는 근접 센서;를 더 포함할 수 있다.
상기 제어부는, 상기 근접 센서가 상기 장애물을 감지하면, 상기 통신부를 제어하여 상기 카메라 장치에 촬영 보류를 위한 신호를 전송할 수 있다.
상기 제어부는, 상기 근접 센서가 상기 장애물을 감지하면, 상기 컨텐츠 영상이 상기 디스플레이부에 정상적으로 표시되는지 여부에 대한 판단을 보류할 수 있다.
상기 제어부는, 베젤과 화면을 구분하기 위한 구분 영상을 표시하도록 상기 디스플레이부를 제어할 수 있다.
상기 제어부는, 상기 카메라 영상에서 구분 영상을 인식하고, 상기 인식된 구분 영상에 기초하여 화면 영역을 결정할 수 있다.
상기 제어부는, 상기 컨텐츠 영상이 표시된 디스플레이부가 촬영된 카메라 영상이 수신되면, 상기 수신된 카메라 영상에서 상기 화면 영역을 추출할 수 있다.
상기 컨텐츠 영상을 상기 컨텐츠 영상의 재생 시간과 함께 저장하는 저장부;를 더 포함할 수 있다.
상기 제어부는, 상기 카메라 영상을 상기 카메라 영상의 촬영 시간에 대응되는 재생 시간을 갖는 컨텐츠 영상과 비교할 수 있다.
상기 통신부는, 상기 컨텐츠 영상이 상기 디스플레이부에 정상적으로 표시되는지 여부에 대한 판단 결과를 관리 서버 또는 사용자 단말기에 전송할 수 있다.
일 실시예에 따른 재생 판단 장치는, 컨텐츠 영상이 표시된 화면을 촬영한 카메라 영상 및 상기 컨텐츠 영상이 입력되면, 상기 카메라 영상을 저장하는 메모리; 및 상기 컨텐츠 영상의 픽셀값과 상기 카메라 영상의 픽셀값을 이용하여 상기 컨텐츠 영상과 상기 카메라 영상을 비교하고, 상기 비교 결과에 기초하여 상기 컨텐츠 영상이 정상적으로 표시되는지 여부를 판단하는 프로세서;를 포함한다.
상기 프로세서는, 상기 컨텐츠 영상의 픽셀값의 평균 및 상기 카메라 영상의 픽셀값의 평균을 획득하고, 상기 컨텐츠 영상의 픽셀값의 평균과 상기 카메라 영상의 픽셀값의 평균을 비교하여 상기 컨텐츠 영상이 상기 디스플레이부에 정상적으로 표시되는지 여부를 판단할 수 있다.
상기 프로세서는, 상기 표시되는 컨텐츠 영상과 상기 수신된 카메라 영상을 실시간으로 비교할 수 있다.
상기 메모리는, 상기 컨텐츠 영상의 재생 시간을 더 저장하고, 상기 프로세서는, 상기 카메라 영상을 상기 카메라 영상의 촬영 시간에 대응되는 재생 시간을 갖는 컨텐츠 영상과 비교할 수 있다.
일 실시예에 따른 컨텐츠의 재생 판단 방법은 컨텐츠 영상이 표시된 화면을 촬영한 카메라 영상을 획득하고; 상기 컨텐츠 영상의 픽셀값과 상기 카메라 영상의 픽셀값을 이용하여 상기 컨텐츠 영상과 상기 카메라 영상을 비교하고; 상기 비교 결과에 기초하여 상기 컨텐츠 영상이 정상적으로 표시되는지 여부를 판단하는 것;을 포함한다.
상기 컨텐츠 영상과 상기 카메라 영상을 비교하는 것은, 상기 컨텐츠 영상의 픽셀값의 평균 및 상기 카메라 영상의 픽셀값의 평균을 획득하고, 상기 컨텐츠 영상의 픽셀값의 평균과 상기 카메라 영상의 픽셀값의 평균을 비교하는 것;을 포함할 수 있다.
상기 컨텐츠 영상이 정상적으로 표시되는지 여부를 판단하는 것은, 상기 컨텐츠 영상의 픽셀값의 평균과 상기 카메라 영상의 픽셀값의 평균의 오차가 미리 정해진 오차 범위 이내이면, 상기 컨텐츠 영상이 상기 디스플레이부에 정상적으로 표시되는 것으로 판단하는 것;을 포함할 수 있다.
상기 컨텐츠 영상과 상기 카메라 영상을 비교하는 것은, 상기 화면의 주변에서 측정된 외광을 상기 카메라 영상으로부터 제거하고, 상기 측정된 외광이 제거된 카메라 영상을 상기 컨텐츠 영상과 비교하는 것;을 포함할 수 있다.
일 실시예에 따른 디스플레이 장치, 서버 및 컨텐츠 재생 확인 방법에 의하면, 대형 디스플레이 장치에 재생되는 화면을 촬영한 영상을 분석하여 컨텐츠가 정상적으로 재생되고 있는지 여부를 자동으로 판단할 수 있다.
도 1 및 도 2는 일 실시예에 따른 디스플레이 장치의 외관을 개략적으로 나타낸 도면이다.
도 3은 일 실시예에 따른 디스플레이 장치를 촬영하는 카메라를 나타낸 도면이다.
도 4는 일 실시예에 따른 디스플레이 장치의 제어 블록도이다.
도 5는 일 실시예에 따른 디스플레이 장치와 카메라 장치 사이에 주고 받는 정보의 예시를 나타낸 도면이다.
도 6은 일 실시예에 따른 디스플레이 장치가 컨텐츠 영상과 카메라 영상을 비교하는 방법의 예시를 나타낸 도면이다.
도 7은 일 실시예에 따른 디스플레이 장치에 표시되는 구분 영상의 예시를 나타내는 도면이다.
도 8은 외광 센서를 더 포함하는 디스플레이 장치의 제어 블록도이다.
도 9는 외광 센서를 더 포함하는 디스플레이 장치의 외관을 나타낸 도면이다.
도 10은 근접 센서를 더 포함하는 디스플레이 장치의 제어 블록도이다.
도 11은 근접 센서를 더 포함하는 디스플레이 장치의 외관을 나타낸 도면이다.
도 12는 일 실시예에 따른 관리 서버의 제어 블록도이다.
도 13 은 일 실시예에 따른 관리 서버가 카메라 장치로부터 수신하는 정보의 예시를 나타낸 도면이다.
도 14는 일 실시예에 따른 관리 서버가 미리 저장된 컨텐츠 영상을 카메라 영상과 비교하는 예시에 관한 도면이다.
도 15는 일 실시예에 따른 카메라 장치의 제어 블록도이다.
도 16은 일 실시예에 따른 카메라 장치가 디스플레이 장치로부터 수신하는 정보의 예시를 나타낸 도면이다.
도 17은 일 실시예에 따른 카메라 장치가 재생되기로 예정된 컨텐츠 영상을 카메라 영상과 비교하는 예시에 관한 도면이다.
도 18은 일 실시예에 따른 컨텐츠 재생 판단 방법에 대한 순서도이다.
도 19는 일 실시예에 따른 컨텐츠의 재생 판단 방법에 있어서, 컨텐츠 영상과 카메라 영상을 비교하는 동작을 구체화한 순서도이다.
명세서 전체에 걸쳐 동일 참조 부호는 동일 구성요소를 지칭한다. 본 명세서가 실시예들의 모든 요소들을 설명하는 것은 아니며, 본 발명이 속하는 기술분야에서 일반적인 내용 또는 실시예들 간에 중복되는 내용은 생략한다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 직접적으로 연결되어 있는 경우뿐 아니라, 간접적으로 연결되어 있는 경우를 포함하고, 간접적인 연결은 무선 통신망을 통해 연결되는 것을 포함한다.
또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
단수의 표현은 문맥상 명백하게 예외가 있지 않는 한, 복수의 표현을 포함한다.
또한, "~부", "~기", "~블록", "~부재", "~모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미할 수 있다. 예를 들어, 상기 용어들은 FPGA (field-programmable gate array)/ ASIC (application specific integrated circuit) 등 적어도 하나의 하드웨어, 메모리에 저장된 적어도 하나의 소프트웨어 또는 프로세서에 의하여 처리되는 적어도 하나의 프로세스를 의미할 수 있다.
이하, 첨부된 도면을 참조하여 디스플레이 장치, 서버 및 컨텐츠 재생 확인 방법의 실시예를 상세하게 설명한다.
도 1 및 도 2는 일 실시예에 따른 디스플레이 장치의 외관을 개략적으로 나타낸 도면이고, 도 3은 일 실시예에 따른 디스플레이 장치를 촬영하는 카메라를 나타낸 도면이다.
도 1 및 도 2의 예시를 참조하면, 일 실시예에 따른 디스플레이 장치(100)는 건물 옥상이나 버스 정류장과 같은 옥외에 설치되는 대형 디스플레이 장치일 수 있다. 여기서, 옥외는 반드시 야외로 한정되는 것은 아니며, 지하철 역사 내부, 쇼핑몰, 영화관, 회사, 상점 등 실내이더라도 다수의 사람들이 드나들 수 있는 곳이면 일 실시예에 따른 디스플레이 장치(100)가 설치될 수 있다.
디스플레이 장치(100)는 광고주가 제공하는 컨텐츠 영상을 재생할 수 있다. 예를 들어, 디스플레이 장치(100)의 소유주 또는 관리자는 광고주와의 계약을 통해 광고주가 제공하는 컨텐츠 영상을 특정 시간에 재생할 수 있다. 이 경우, 광고주가 제공하는 컨텐츠 영상은 특정 위치의 디스플레이 장치(100)에서만 재생되므로, 원격지의 광고주가 디스플레이 장치(100)에서 컨텐츠 영상이 사전 협의된 조건에 따라 정상적으로 재생되고 있는지 여부를 확인하기 위한 수단이 요구된다.
따라서, 도 3에 도시된 바와 같이, 카메라 장치(30)로 디스플레이 장치(100)를 촬영하고, 촬영된 영상을 이용하여 컨텐츠 영상의 재생 여부를 판단할 수 있다.
기존에는 촬영된 영상을 사람이 직접 모니터링하여 컨텐츠 영상의 재생 여부를 판단하였으나, 이는 비용, 시간, 정확도 측면에서 비효율적이다. 일 실시예에 따른 디스플레이 장치(100)는 카메라 장치(30)로 촬영한 영상을 자동으로 분석하여 컨텐츠 영상의 재생 여부를 판단할 수 있다.
도 4는 일 실시예에 따른 디스플레이 장치의 제어 블록도이고, 도 5는 일 실시예에 따른 디스플레이 장치와 카메라 장치 사이에 주고 받는 정보의 예시를 나타낸 도면이다.
도 4를 참조하면, 디스플레이 장치(100)는 통신부(130), 저장부(150), 디스플레이부(140) 및 재생 판단 장치(110)를 포함한다.
통신부(130)는 디스플레이 장치(100)에 재생될 영상 및 디스플레이 장치(100)가 촬영된 카메라 영상을 입력받을 수 있다.
디스플레이 장치(100)에 재생될 영상은 컴퓨터나 DVD 플레이어와 같은 별도의 재생 기기로부터 입력받을 수 있다. 또는, 무선 통신 네트워크를 통해 입력받을 수도 있고, USB 등의 기록 매체로부터 입력받을 수도 있다.
카메라 장치(30)는 디스플레이 장치(100)를 촬영한 카메라 영상을 무선 통신 또는 유선 통신을 통해 디스플레이 장치(100)로 전송할 수 있다.
따라서, 통신부(130)는 기록 매체 또는 재생 기기와 접속되어 데이터를 전달받는 인터페이스 및 외부 기기와 무선 통신 또는 유선 통신을 수행하는 통신 모듈 중 적어도 하나를 포함할 수 있다.
통신부(130)는 무선 통신 모듈 및 근거리 통신 모듈 중 적어도 하나를 포함할 수 있다.
무선 통신 모듈은 와이파이(Wifi), 와이브로(Wireless broadband), GSM(Global System for Mobile Communication), CDMA(Code Division Multiple Access), WCDMA(Wideband Code Division Multiple Access), UMTS(Universal Mobile Telecommunications System), TDMA(Time Division Multiple Access), LTE(Long Term Evolution), 4세대 이동통신, 5세대 이동통신 등과 같은 무선 통신 방식으로 인터넷망과 연결될 수 있는 다양한 무선 통신 모듈 중 적어도 하나를 포함할 수 있다.
근거리 통신 모듈은 블루투스 모듈, 적외선 통신 모듈, RFID(Radio Frequency Identification) 통신 모듈, WLAN(Wireless Local Access Network) 통신 모듈, NFC 통신 모듈, 지그비(Zigbee) 통신 모듈 등 다양한 근거리 통신 모듈 중 적어도 하나를 포함할 수 있다.
또한, 통신부(130)는 USB 커넥터가 삽입되는 USB 포트, 재생 기기와 연결된 HDMI 등의 케이블이 삽입되는 케이블 포트 등의 인터페이스를 포함할 수도 있다.
통신부(130)를 통해 디스플레이 장치(100)에 입력되는 영상은 컨텐츠 영상일 수 있다. 당해 실시예에서 컨텐츠 영상은 광고, 방송, 안내, 홍보 등을 위한 컨텐츠를 포함하는 영상일 수 있다. 예를 들어, 컨텐츠 영상은 광고주와의 계약을 통해 광고주가 제공하는 광고 영상일 수 있다. 당해 실시예에서는 컨텐츠 영상에 포함되는 내용에 대해 제한을 두지 않는다.
저장부(150)는 통신부(130)를 통해 입력된 컨텐츠 영상 및 카메라 영상을비일시적 또는 일시적으로 저장할 수 있다.
저장부(150)는 전원이 차단되어도 저장된 데이터가 보존되는 비휘발성 메모리를 포함할 수 있다. 예를 들어, 저장부(150)는 ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM), 플래시 메모리, 하드 디스크 드라이브, 광 디스크 드라이브 등의 저장 매체 중 적어도 하나를 포함할 수 있다.
또한, 저장부(150)는 전원이 차단되면 저장된 데이터가 삭제되는 휘발성 메모리를 더 포함할 수 있다. 예를 들어, 저장부(150)는 DRAM(Dynamic Random Access Memory), SRAM(Static Random Access Memory) 등의 RAM 중 적어도 하나를 포함할 수 있다.
디스플레이부(140)는 디스플레이 장치(100)와 연결된 재생 기기로부터 입력되는 컨텐츠 영상을 표시할 수 있다. 또는, 저장부(150)에 저장된 타임 스케줄에 따라 정해진 시간에, 정해진 컨텐츠 영상을 표시할 수도 있다.
디스플레이부(140)는 액정 크리스탈 디스플레이(LCD) 패널, 플라즈마 디스플레이 패널(PDP), 발광 다이오드(LED) 디스플레이 패널, 유기 발광 다이오드(OLED) 디스플레이 패널, 퀀텀닷 발광 다이오드(QLED) 디스플레이 패널 등 다양한 종류의 디스플레이 패널 중 하나를 채용할 수 있으며, 당해 실시예에서는 디스플레이부(140)가 채용하는 패널의 종류에 대해 제한을 두지 않는다.
카메라 장치(30)가 디스플레이 장치(100)를 촬영하여 통신부(130)에 전송하면, 재생 판단 장치(110)는 통신부(130)가 수신한 영상을 이용하여, 컨텐츠 영상이 정상적으로 재생되고 있는지 여부를 판단할 수 있다. 개시된 발명의 실시예에서, 컨텐츠 영상이 정상적으로 재생된다는 것은, 디스플레이 장치(100)에서 재생 중인 컨텐츠 영상과 카메라 장치(30)가 촬영한 영상에 나타난 재생 화면이 일치하는 것을 의미할 수 있다. 디스플레이 장치(100)에서 재생 중인 컨텐츠 영상과 카메라 장치(30)가 촬영한 영상에 나타난 재생 화면이 일치하지 않으면, 재생 판단 장치(110)는 컨텐츠 영상이 정상적으로 재생되지 않는 것으로 판단할 수 있고, 이를 통해 사용자는 디스플레이 장치(100)에 결함이 생긴 것을 확인할 수 있다.
또는, 컨텐츠 영상이 정상적으로 재생된다는 것은, 정해진 시간에, 정해진 컨텐츠 영상이 재생되는 것을 의미할 수도 있다. 재생 판단 장치(110)의 구체적인 동작에 대해서는 후술하도록 한다.
재생 판단 장치(110)는 전술한 동작 및 후술할 동작을 수행하는 프로그램이 저장된 적어도 하나의 메모리 및 저장된 프로그램을 실행하는 적어도 하나의 프로세서를 포함할 수 있다. 예를 들어, 적어도 하나의 메모리는 서로 비교되는 컨텐츠 영상과 카메라 영상을 비일시적 또는 일시적으로 저장할 수 있고, 적어도 하나의 프로세서는 후술하는 내용에 따라 컨텐츠 영상의 픽셀값과 카메라 영상의 픽셀값을 비교할 수 있다.
제어부(120)는 디스플레이 장치(100)의 동작을 전반적으로 제어할 수 있고, 재생 판단 장치(110)를 포함할 수 있다.
제어부(120)는 후술하는 동작을 수행하는 프로그램이 저장된 적어도 하나의 메모리 및 저장된 프로그램을 실행하는 적어도 하나의 프로세서를 포함할 수 있다.
재생 판단 장치(110)의 동작을 수행하는데 사용되는 메모리 및 프로세서가 제어부(120)의 다른 동작을 수행하는데 사용될 수도 있고, 재생 판단 장치(110)의 동작을 수행하는데 사용되는 메모리 및 프로세서가 제어부(120)의 다른 동작을 수행하는데 사용되는 메모리 및 프로세서와 별개로 마련될 수도 있다. 또한, 재생 판단 장치(110) 또는 제어부(120)가 저장부(150)와 메모리를 공유하는 것도 가능하다.
제어부(120)는 재생 기기로부터 입력되거나, 저장부(150)에 저장된 컨텐츠 영상을 재생할 수 있다. 제어부(120)가 컨텐츠 영상에 디스플레이 프로세싱을 수행하여 디스플레이부(140)에 전달하면, 디스플레이부(140)는 디스플레이 프로세싱이 수행된 컨텐츠 영상을 표시할 수 있다. 당해 실시예에서는 컨텐츠 영상의 재생과 컨텐츠 영상의 표시가 동일한 의미로 사용될 수 있다.
도 5에 도시된 바와 같이, 제어부(120)는 ① 컨텐츠 영상을 재생하고, 디스플레이부(140)가 재생되는 컨텐츠 영상을 표시한다.
카메라 장치(30)는 ② 디스플레이 장치(100)를 촬영한다. 전술한 도 3에 도시된 바와 같이, 카메라 장치(30)는 디스플레이 장치(100)의 전면을 향하는 위치에 배치되어, 디스플레이부(140)에 표시되는 화면을 촬영할 수 있다. 후술하는 실시예에서는 영상이 재생되면서 디스플레이부(140)에 표시되는 화면을 재생 화면이라 하고, 카메라 장치(30)가 촬영한 영상은 카메라 영상이라 하기로 한다.
카메라 장치(30)는 디스플레이 장치(100)의 재생 화면을 촬영하여 획득한 ③ 카메라 영상을 디스플레이 장치(100)에 전송한다. 디스플레이 장치(100)의 통신부(130)가 카메라 영상을 수신하고, 재생 판단 장치(110)가 컨텐츠 영상과 카메라 영상을 비교하여 ④ 컨텐츠 영상이 정상적으로 재생되는지 여부를 자동으로 판단할 수 있다. 전술한 ① 내지 ④의 과정이 컨텐츠 영상을 구성하는 매 프레임마다 수행되는 것도 가능하고, 일정 시간 간격의 프레임마다 수행되는 것도 가능하다.
⑤ 판단 결과는 무선 네트워크를 통해 관리 서버(20) 또는 사용자 단말기(40)에 전송될 수 있다.
도 6은 일 실시예에 따른 디스플레이 장치가 컨텐츠 영상과 카메라 영상을 비교하는 방법의 예시를 나타낸 도면이다.
재생 판단 장치(110)는 컨텐츠 영상의 픽셀값과 카메라 영상의 픽셀값을비교하여 컨텐츠 영상의 재생 여부를 판단할 수 있다.
일 예로, 도 6 에 도시된 바와 같이, 컨텐츠 영상(Ico)이 mxn(m, n은 2 이상의 정수)의 픽셀 구조를 갖는 경우, 재생 판단 장치(110)는 mxn(=k)개의 전체 픽셀의 컬러 값, 즉 픽셀값에 대한 평균을 연산할 수 있다.
컨텐츠 영상(Ico)에 적용되는 컬러 스페이스(color space)에 따라 각 픽셀의 컬러 값이 달라질 수 있다. 컨텐츠 영상(Ico)에 적용되는 컬러 스페이스는 RGB 컬러 스페이스, YCbCr 컬러 스페이스, HSV 컬러 스페이스, CMYK 컬러 스페이스, CIE 컬러 스페이스, YIQ 컬러 스페이스 등의 다양한 컬러 스페이스 중 적어도 하나일 수 있다.
YCbCr 컬러 스페이스가 컨텐츠 영상에 적용되는 경우를 예로 들면, 컨텐츠 영상(Ico)을 구성하는 mxn(=k)개의 픽셀 각각은 Y값, Cb 값, Cr값을 갖는다. 전체 픽셀에 대한 Y값의 평균(Yavg)은 아래 [수학식 1]로 표현할 수 있고, Cb값의 평균(Cbavg)은 아래 [수학식 2]로 표현할 수 있으며, Cr값의 평균(Cravg)은 아래 [수학식 3]으로 표현할 수 있다.
[수학식 1]
Figure pat00001
[수학식 2]
Figure pat00002
[수학식 3]
Figure pat00003
재생 판단 장치(110)는 같은 방식으로 카메라 영상(Ica)에 대해서도 전체 픽셀의 컬러 값에 대한 평균을 연산할 수 있다. 카메라 영상(Ica)에 대한 Y값의 평균을 Y'avg라 하고, Cb 값의 평균을 Cb'avg라 하고, Cr 값의 평균을 Cr'avg라 하면, 재생 판단 장치(110)는 Yavg와 Y'avg를 비교하고, Cbavg와 Cb'avg를 비교하고, Cravg를 Cr'avg비교하여 컨텐츠 영상의 재생 여부를 판단할 수 있다.
예를 들어, 재생 판단 장치(110)는 컨텐츠 영상에 대한 Y값의 평균(Yavg)과 카메라 영상에 대한 Y값의 평균(Y'avg)의 오차가 미리 정해진 오차 범위 이내이고, 컨텐츠 영상에 대한 Cb값의 평균(Cbavg)과 카메라 영상에 대한 Cb값의 평균(Cb'avg)의 오차가 미리 정해진 오차 범위 이내이며, 컨텐츠 영상에 대한 Cr값의 평균(Cravg)과 카메라 영상에 대한 Cr값의 평균(Cr'avg)의 오차가 미리 정해진 오차 범위 이내이면, 컨텐츠 영상이 정상적으로 재생된 것으로 판단할 수 있다.
한편, 컨텐츠 영상의 픽셀 구조(mxn)와 카메라 영상의 픽셀 구조(m'xn')은 서로 다를 수도 있다(m=m', n=n'). 그러나, 재생 판단 장치(110)가 픽셀값의 평균을 사용하기 때문에 두 영상의 픽셀 구조가 서로 다른 경우에도 상호 간에 비교가 가능하게 된다.
컨텐츠 영상이 동영상인 경우, 컨텐츠 영상은 복수의 프레임 영상으로 구성될 수 있다. 재생 판단 장치(110)는 컨텐츠 영상이 동영상인 경우, 매 프레임마다 전술한 바와 같은 픽셀값의 비교를 수행할 수도 있고, 일정 시간 간격의 프레임마다 수행할 수도 있다.
하나의 컨텐츠 영상을 구성하는 복수의 프레임에 대해 픽셀값의 비교를 수행하는 경우, 모든 프레임에 대한 비교 결과가 오차 범위에 포함되어야 컨텐츠 영상이 정상적으로 재생된 것으로 판단할 수도 있고, 미리 정해진 비율 이상의 프레임에 대한 비교 결과가 오차 범위에 포함되면 컨텐츠 영상이 정상적으로 재생된 것으로 판단할 수도 있다.
픽셀값의 비교가 이루어지는 두 영상은 디스플레이 장치(100)에서 현재 재생 중인 컨텐츠 영상과 카메라 장치(30)에서 현재 촬영된 카메라 영상일 수 있다. 이 때, 컨텐츠 영상의 표시 시점과 카메라 영상의 촬영 시점을 동기화시킬 수 있다.
예를 들어, 제어부(120)가 통신부(130)를 통해 카메라 장치(30)에 V-sync 신호, 네트워크 지연 시간(Network delay time), 프레임 간격(interval) 및 디스플레이 프로세싱 시간을 전송할 수 있다. 여기서, 디스플레이 프로세싱 시간은 디스플레이 장치(100)에서 V-sync 신호를 포함한 데이터를 전송 후 화면이 정상적으로 출력되기까지의 시간을 나타낸다.
카메라 장치(30)는 전송된 V-sync 신호, 네트워크 지연 시간, 프레임 간격 및 디스플레이 프로세싱 시간에 기초하여 디스플레이 장치(100)에서의 화면의 출력과 카메라 장치(30)의 촬영의 시점을 동기화시킬 수 있다.
네트워크 지연 시간이 프레임 간격과 같거나 큰 경우 경우에는 몇 개의 프레임이 디스플레이 장치(100)에 표시될 동안 재생 화면을 촬영하지 않고, 디스플레이 장치(100)와 카메라 장치(30)의 통신 네트워크가 정상화될 때까지 대기할 수 있다.
또한, 디스플레이 프로세싱 시간이 네트워크 지연 시간보다 클 경우 카메라 장치(30)는 디스플레이 프로세싱 시간과 네트워크 지연 시간의 차이 만큼 대기하여 디스플레이 장치(100)에서 재생 화면이 출력된 후에 디스플레이 장치(100)를 촬영할 수 있다
픽셀값의 비교 역시 실시간으로 이루어지는 것도 가능하고, 재생된 컨텐츠 영상의 프레임마다 그에 대응되는 카메라 영상의 프레임을 대응시켜 저장하고, 컨텐츠 영상과 카메라 영상의 비교는 이후에 수행하는 것도 가능하다.
한편, 재생 판단 장치(110)는 미리 정해진 시간에 미리 정해진 컨텐츠 영상이 재생되는지 여부를 판단하는 것도 가능하다. 이 경우, 카메라 장치(30)가 카메라 영상을 전송할 때, 카메라 영상의 촬영 시간에 관한 정보를 함께 전송할 수 있다. 재생 판단 장치(110)는 카메라 영상의 촬영 시간에 대응되는 재생 시간을 갖는 컨텐츠 영상을 카메라 영상과 비교할 수 있다. 여기서, 카메라 영상의 촬영 시간에 대응되는 재생 시간을 갖는 컨텐츠 영상은 카메라 영상의 촬영 시간에 재생되는 것으로 정해진 컨텐츠 영상을 의미하고, 컨텐츠 영상의 재생 시간에 관한 정보는 저장부(150)에 타임 스케줄로 저장될 수 있다. 이 경우, 저장부(150)는 컨텐츠 영상과 컨텐츠 영상의 타임 스케줄을 저장할 수 있고, 컨텐츠 영상과 그의 타임 스케줄은 재생 기기 또는 무선 네트워크를 통해 제공받을 수 있다.
도 7은 일 실시예에 따른 디스플레이 장치에 표시되는 구분 영상의 예시를 나타내는 도면이다.
카메라 장치(30)와 디스플레이 장치(100)의 상대적인 위치, 카메라 장치(30)의 화각 등과 같은 변수에 따라, 카메라 영상에 재생 화면 외의 다른 부분이 포함되는 경우가 발생할 수 있다. 예를 들어, 도 7에 도시된 바와 같이, 카메라 장치(30)의 촬영 영역에 재생 화면 외에 디스플레이 장치(100)의 베젤(101)이 함께 포함되는 경우가 발생할 수 있다.
따라서, 디스플레이 장치(100)는 컨텐츠 영상을 재생하기 전에 재생 화면과 베젤(101)을 구분하기 위한 구분 영상(141)을 표시할 수 있다. 도 7의 예시와 같이 화면과 베젤(101)의 경계에만 특정 패턴이 표시될 수도 있고, 화면 전체에 특정 패턴이 표시될 수도 있으며, 화면과 베젤(101)의 경계 또는 화면 전체에 베젤(101)과 구별되는 특정 색이 표시될 수도 있다.
디스플레이 장치(100)가 구분 영상(141)을 표시하면, 카메라 장치(30)가 디스플레이 장치(100)를 촬영하고 카메라 영상을 디스플레이 장치(100)에 전송한다.
재생 판단 장치(110)는 카메라 영상에서 구분 영상(141)에 포함된 특정 패턴이나 특정 색을 인식한다. 구분 영상(141)에 관한 정보는 저장부(150)에 미리 저장될 수 있다.
재생 판단 장치(110)는 구분 영상(141)에 포함된 특정 패턴이나 특정 색을 인식함으로써, 카메라 영상에서 화면에 해당하는 영역(이하, 화면 영역이라 함)을 결정할 수 있다. 카메라 영상 내에서 화면 영역의 위치에 대한 정보를 저장할 수 있고, 카메라 장치(30)로부터 컨텐츠 영상이 촬영된 카메라 영상이 전송되면, 카메라 영상에서 화면 영역을 추출하고, 추출된 화면 영역에 대해 앞서 설명한 픽셀값의 비교를 수행할 수 있다.
또는, 사용자가 카메라 영상에서 수동으로 화면 영역을 지정하는 것도 가능하다. 이 경우, 구분 영상(141)이 촬영된 카메라 영상을 디스플레이부(140)에 표시하고, 디스플레이 장치(100)에 마련된 입력 장치를 이용하여 화면 영역을 지정할 수 있다. 또는, 사용자의 화면 영역 지정이 카메라 장치(30)에서 이루어지는 것도 가능하다.
화면 영역의 추출은 디스플레이 장치(100)와 카메라 장치(30)의 설치 시에 수행될 수 있고, 카메라 장치(30)의 설치 위치가 바뀔 때마다 수행될 수 있다. 또한, 카메라 장치(30)나 디스플레이 장치(100)의 설치 위치가 바뀌지 않더라도 주기적으로 수행되는 것도 가능하다.
도 8은 외광 센서를 더 포함하는 디스플레이 장치의 제어 블록도이고, 도 9는 외광 센서를 더 포함하는 디스플레이 장치의 외관을 나타낸 도면이다.
도 8 및 도 9를 참조하면, 디스플레이 장치(100)는 외광을 측정하는 외광 센서(171)를 더 포함할 수 있고, 외광 센서(171)는 디스플레이 장치(100)의 일 영역에 마련될 수 있다. 예를 들어, 베젤(101)의 일 영역에 외광 센서(171)가 설치될 수 있다.
디스플레이 장치(100)가 실외에 설치된 경우이든 실내에 설치된 경우이든 디스플레이 장치(100) 주변에는 외광이 존재할 수 있고, 외관이 존재하는 경우 카메라 장치(30)는 외광의 영향이 반영된 재생 화면을 촬영하게 된다.
디스플레이 장치(100)는 외광 센서(171)를 이용하여 외광을 측정하고, 카메라 장치(30)로부터 전송된 카메라 영상에서 외광의 영향을 제거하여 컨텐츠 영상과 비교할 수 있다. 또는, 제어부(120)가 디스플레이부(140)에 표시되는 컨텐츠 영상의 픽셀값을 측정된 외광의 컬러값만큼 낮추어 출력하는 방식으로 외광의 영향을 제거하는 것도 가능하다.
외광 센서(171)는 컬러 센서를 포함할 수 있다. 외광 센서(171)가 외광의 컬러값을 출력하면, 재생 판단 장치(110)는 카메라 영상에서 외광의 컬러값을 감산하거나, 컨텐츠 영상에 외광의 컬러 값을 합산하는 방식으로 두 영상의 비교에 반영되는 외광의 영향을 제거할 수 있다.
예를 들어, 외광 센서(171)가 외광의 컬러 값을 RGB값으로 출력하면, 재생 판단 장치(110)는 카메라 영상의 픽셀값에서 외광의 RGB 값을 감산할 수 있다. 카메라 영상에 적용되는 컬러 스페이스가 RGB컬러 스페이스가 아닌 경우에는 컬러 스페이스 변환을 통해 두 컬러 스페이스를 일치시킬 수 있다.
도 9의 예시에서는 외광 센서(171)가 하나 마련되는 경우를 예로 들었으나, 외광 센서(171)가 복수 개 마련될 수도 있음은 물론이다. 외광 센서(171)가 복수 개 마련되는 경우에는, 복수의 외광 센서(171)로부터 출력되는 컬러 값을 조합하여 외광의 컬러 값으로 사용할 수 있다. 예를 들어, 각각의 외광 센서(171)의 위치에 따라 가중치를 부여하고, 가중치 평균을 수행하여 컬러 값을 조합할 수 있다.
외광 센서(171)가 설치되는 위치 역시 도 9의 예시에 한정되지 않고, 베젤(101)의 모서리, 좌측, 우측, 하부 등 다양한 위치에 외광 센서(171)가 설치될 수 있다.
도 10은 근접 센서를 더 포함하는 디스플레이 장치의 제어 블록도이고, 도 11은 근접 센서를 더 포함하는 디스플레이 장치의 외관을 나타낸 도면이다.
도 10 및 도 11을 참조하면, 디스플레이 장치(100)는 디스플레이 장치(100)와 카메라 장치(30) 사이의 장애물을 감지하는 근접 센서(172)를 더 포함할 수 있고, 근접 센서(172)는 디스플레이 장치(100)의 일 영역에 마련될 수 있다. 예를 들어, 베젤(101)의 일 영역에 근접 센서(172)가 설치될 수 있다.
근접 센서(172)는 초음파 센서, 적외선 센서, 광센서 등의 장애물을 감지할 수 있는 센서 중 적어도 하나를 포함할 수 있다.
디스플레이 장치(100)와 카메라 장치(30)의 사이에 사람이 지나가는 등 장애물이 존재하면, 카메라 장치(30)가 촬영하는 카메라 영상에는 디스플레이 장치(100)의 재생 화면 외에 다른 장애물도 포함되고, 장애물이 재생 화면을 가릴 수 있다.
따라서, 근접 센서(172)가 장애물을 감지하면, 재생 판단 장치(110)에 장애물 감지 신호를 전달하고, 재생 판단 장치(110)는 카메라 영상과 컨텐츠 영상의 비교를 통한 재생 여부 판단을 보류할 수 있다.
또는, 근접 센서(172)가 장애물 감지 신호를 제어부(120)에 전달하고, 제어부(120)가 통신부(130)를 제어하여 카메라 장치(30)에 촬영 보류 신호를 전송하는 것도 가능하다.
전술한 바와 같이, 디스플레이 장치(100)와 카메라 장치(30) 사이에 장애물이 존재하는 경우에는 컨텐츠 영상의 재생 여부 판단을 보류함으로써, 잘못된 판단 결과가 나오는 것을 방지함과 동시에 불필요한 연산 동작을 줄일 수 있다.
제어부(120)는 통신부(130)를 제어하여 재생 판단 장치(110)의 컨텐츠 영상 재생 여부에 대한 판단 결과를 디스플레이 장치(100)를 관리하는 관리 서버(20) 또는 사용자의 단말기(40)에 전송할 수 있다. 이 때, 디스플레이 장치(100)를 식별하는 ID를 함께 전송할 수 있다. 디스플레이 장치(100)의 ID와 함께 재생 여부 판단 결과를 전송받은 관리 서버(20) 또는 단말기(40)에서는 컨텐츠 영상이 정상적으로 재생되었는지 여부를 확인할 수 있다. 또는, 특정 컨텐츠 영상이 정해진 시간에 정해진 디스플레이 장치에서 재생되었는지 여부를 확인할 수도 있다.
관리 서버(20)는 복수의 디스플레이 장치(100)를 통합적으로 관리하는 장치로서, 복수의 디스플레이 장치(100)에서 재생되는 복수의 컨텐츠 영상 및 이들의 타임 스케줄에 관한 정보를 저장하고 관리할 수 있다.
관리 서버(20)는 컨텐츠 영상의 재생 여부 판단 결과에 기초하여 디스플레이 장치(100)의 결함 여부를 확인할 수 있다. 예를 들어, 디스플레이 장치(100)에서 재생 중인 컨텐츠 영상과 카메라 장치(30)가 촬영한 카메라 영상이 일치하지 않는 경우에는, 디스플레이 장치(100)에 결함이 발생한 것으로 판단하고, 적절한 조치를 취할 수 있다.
또한, 관리 서버(20)는 디스플레이 장치(100)로부터 전송된 컨텐츠 영상의 재생 여부 판단 결과를 해당 컨텐츠 영상에 대응되는 사용자의 단말기(40)에 전송할 수도 있다. 예를 들어, 컨텐츠 영상에 대응되는 사용자의 단말기(40)는 해당 컨텐츠 영상을 제공한 광고주의 단말기일 수 있다. 관리 서버(20)는 컨텐츠 영상마다 그에 대응되는 단말기(40)의 정보를 미리 저장할 수 있다.
또는, 디스플레이 장치(100)가 컨텐츠 영상에 대응되는 단말기(40)에 직접 재생 여부 판단 결과를 전송하는 것도 가능하다. 이 경우, 저장부(150)는 컨텐츠 영상마다 그에 대응되는 단말기(40)에 관한 정보를 매칭시켜 저장할 수 있다.
전술한 실시예에서는 디스플레이 장치(100)가 컨텐츠 영상의 재생 여부를 판단하는 경우에 대해 설명하였다. 다른 실시예에 따르면, 컨텐츠 영상의 재생 여부를 판단하는 재생 판단 장치가 관리 서버에 마련되는 것도 가능하다. 이하, 컨텐츠 영상의 재생 여부를 판단하는 관리 서버의 실시예를 설명한다.
도 12는 일 실시예에 따른 관리 서버의 제어 블록도이고, 도 13 은 일 실시예에 따른 관리 서버가 카메라 장치로부터 수신하는 정보의 예시를 나타낸 도면이다.
도 12를 참조하면, 관리 서버(200)는 통신부(230), 저장부(250) 및 재생 판단 장치(210)를 포함한다.
통신부(230)는 디스플레이 장치(10)에 표시되는 컨텐츠 영상 및 디스플레이 장치(10)가 촬영된 카메라 영상을 수신할 수 있다. 카메라 영상에 관한 설명은 전술한 실시예에서와 같다. 당해 실시예에서의 디스플레이 장치(10)는 전술한 디스플레이 장치(100)를 포함할 수 있다.
통신부(230)는 무선 통신 모듈을 포함할 수 있다. 무선 통신 모듈에 관한 설명 역시 전술한 실시예에서와 동일하므로 생략한다.
재생 판단 장치(210)는 카메라 영상과 컨텐츠 영상을 비교하여, 컨텐츠 영상이 정상적으로 재생되는지 여부를 판단할 수 있다. 또는, 정해진 시간에, 정해진 디스플레이 장치에, 정해진 컨텐츠 영상이 재생되는지 여부를 판단하는 것도 가능하다.
재생 판단 장치(210)는 전술한 동작 및 후술할 동작을 수행하는 프로그램이 저장된 적어도 하나의 메모리 및 저장된 프로그램을 실행하는 적어도 하나의 프로세서를 포함할 수 있다.
제어부(220)는 관리 서버(200)의 동작을 전반적으로 제어할 수 있고, 재생 판단 장치(210)를 포함할 수 있다.
제어부(220)는 후술하는 동작을 수행하는 프로그램이 저장된 적어도 하나의 메모리 및 저장된 프로그램을 실행하는 적어도 하나의 프로세서를 포함할 수 있다.
재생 판단 장치(210)의 동작을 수행하는데 사용되는 메모리 및 프로세서가 제어부(220)의 다른 동작을 수행하는데 사용될 수도 있고, 재생 판단 장치(210)의 동작을 수행하는데 사용되는 메모리 및 프로세서가 제어부(210)의 다른 동작을 수행하는데 사용되는 메모리 및 프로세서와 별개로 마련될 수도 있다. 또한, 제어부(220) 또는 재생 판단 장치(210)가 저장부(250)와 메모리를 공유하는 것도 가능하다.
저장부(250)는 디스플레이 장치(10)에 관한 정보(ID, 설치 위치 등), 카메라 장치(30)에 관한 정보(ID, 설치 위치 등)를 저장할 수 있다.
도 13에 도시된 바와 같이, 디스플레이 장치(10)는 ① 표시될 컨텐츠 영상을 관리 서버(20)에 전송하고, ② 디스플레이부(14)에 컨텐츠 영상을 표시한다. 컨텐츠 영상의 전송과 표시가 동시에 수행되는 것도 가능하고, 순서가 바뀌는 것도 가능하다. 컨텐츠 영상의 전송 시에 디스플레이 장치(10)는 자신의 ID를 함께 전송할 수 있다. 또한, 디스플레이 장치(10)가 컨텐츠 영상을 그대로 전송하는 것도 가능하고, 앞서 설명한 프레임 별 픽셀값의 평균을 연산하여 전송하는 것도 가능하다.
카메라 장치(30)는 ③ 디스플레이 장치(10)를 촬영한다. 전술한 도 3에서 설명한 바와 같이, 카메라 장치(30)는 디스플레이 장치(10)의 전면을 향하는 위치에 배치되어, 디스플레이부(14)에 표시되는 재생 화면을 촬영할 수 있다.
카메라 장치(30)는 디스플레이 장치(10)의 재생 화면을 촬영하여 획득한 ④ 카메라 영상을 관리 서버(200)에 전송할 수 있다. 카메라 장치(30)는 카메라 영상을 자신의 ID와 함께 전송할 수 있고, 실시예에 따라 카메라 영상의 촬영 시간과 함께 전송하는 것도 가능하다.
관리 서버(200)의 통신부(230)가 컨텐츠 영상과 카메라 영상을 수신하고, 재생 판단 장치(210)가 컨텐츠 영상과 카메라 영상을 비교하여 ⑤ 컨텐츠 영상이 정상적으로 재생되는지 여부를 자동으로 판단할 수 있다. 재생 판단 장치(210)가 비교하는 컨텐츠 영상 및 카메라 영상은 서로 대응되는 ID를 갖는 디스플레이 장치(10) 및 카메라 장치(30)로부터 전송된 것이다. 예를 들어, 저장부(250)에는 디스플레이 장치(10)의 ID가 해당 디스플레이 장치(10)를 촬영하는 카메라 장치(30)의 ID와 대응되어 저장될 수 있다. 또는, 디스플레이 장치(10) 또는 카메라 장치(30)가 컨텐츠 영상 또는 카메라 영상을 전송할 때 대응되는 카메라 장치(30)의 ID 또는 디스플레이 장치(10)의 ID를 함께 전송하는 것도 가능하다.
재생 판단 장치(210)가 컨텐츠 영상과 카메라 영상을 비교하는 동작에 관한 설명은 앞서 재생 판단 장치(110)에 대해 설명한 바와 같다.
당해 실시예와 같이, 컨텐츠의 재생 여부 판단을 관리 서버(200)에서 수행하는 경우에도, 디스플레이 장치(10)는 카메라 장치(30)에 V-sync 신호, 프레임 간격, 디스플레이 프로세싱 시간 등을 전송할 수 있고, 카메라 장치(30)는 전송된 정보에 기초하여 디스플레이 장치(10)의 화면 출력에 동기화되어 카메라 영상을 촬영할 수 있다.
컨텐츠 영상의 재생 여부에 대한 판단 결과는 사용자 단말기(40)로 전송될 수도 있고, 판단 결과에 기초하여 장치의 수리 등 적절한 조치가 이루어질 수도 있다. 예를 들어, 컨텐츠 영상이 정상적으로 재생되지 않는 것으로 판단된 경우, 제어부(220)는 저장부(250)에 저장된 디스플레이 장치(10)의 위치에 관한 정보를 관리자에게 제공할 수 있고, 관리자는 해당 디스플레이 장치(10)를 수리하는 등의 조치를 취할 수 있다.
전술한 ① 내지 ④의 과정이 컨텐츠 영상을 구성하는 매 프레임마다 수행되는 것도 가능하고, 일정 시간 간격의 프레임마다 수행되는 것도 가능하다.
한편, 디스플레이 장치(10)가 앞서 디스플레이 장치(100)의 실시예에서 설명한 외광 센서(171)나 근접 센서(172)를 포함할 수 있다. 이 경우, 디스플레이 장치(10)는 외광 센서(171)의 출력 또는 근접 센서(172)의 출력을 카메라 장치(30) 또는 관리 서버(200)에 전송할 수 있다.
예를 들어, 디스플레이 장치(10)는 외광 센서(171)의 출력을 관리 서버(200)에 전송할 수 있고, 관리 서버(200)의 재생 판단 장치(210)는 컨텐츠 영상과 카메라 영상의 비교 시에 외광 센서(171)의 출력을 반영함으로써, 카메라 영상에 나타난 외광의 영향을 제거할 수 있다.
또한, 디스플레이 장치(10)가 근접 센서(172)의 출력을 카메라 장치(30)에 전송하는 경우, 디스플레이 장치(10)와 카메라 장치(30) 사이에 장애물이 존재할 때에는, 카메라 장치(30)가 화면의 촬영을 보류할 수 있다.
또한, 디스플레이 장치(10)가 근접 센서(172)의 출력을 관리 서버(200)에 전송하는 경우, 재생 판단 장치(210)가 디스플레이 장치(10)와 카메라 장치(30) 사이에 장애물이 존재할 때 촬영된 카메라 영상은 컨텐츠의 재생 여부 판단에 사용하지 않을 수 있다.
또는, 관리 서버(200)의 저장부(250)가 컨텐츠 영상, 해당 컨텐츠 영상을 어느 디스플레이 장치(10)에서 재생할 것인지에 관한 정보, 언제 재생할 것인지에 관한 정보(타임 스케줄) 등을 미리 저장하고, 카메라 장치(30)가 촬영한 카메라 영상을 미리 저장된 컨텐츠 영상과 비교하여, 정해진 시간에, 정해진 컨텐츠 영상이, 정해진 디스플레이 장치(10)에서 재생되었는지 여부를 판단하는 것도 가능하다. 이하, 도 14를 참조하여 구체적으로 설명한다.
도 14는 일 실시예에 따른 관리 서버가 미리 저장된 컨텐츠 영상을 카메라 영상과 비교하는 예시에 관한 도면이다.
도 14의 예시를 참조하면, 디스플레이 장치(10)는 컨텐츠 영상을 재생하고, 디스플레이부(14)가 재생되는 ① 컨텐츠 영상을 표시한다. 디스플레이 장치(10)에는 타임 스케줄에 따라 정해진 시간에, 정해진 컨텐츠 영상이 재생될 수 있다.
카메라 장치(30)는 ② 디스플레이 장치(10)를 촬영한다. 카메라 장치(30)는 디스플레이부(14)에 표시되는 재생 화면을 촬영할 수 있다.
카메라 장치(30)는 디스플레이 장치(100)의 재생 화면을 촬영하여 획득한 ③ 카메라 영상을 관리 서버(200)에 전송할 수 있고, 이 때 카메라 영상의 촬영 시간과 자신의 ID를 함께 전송할 수 있다.
카메라 영상과 컨텐츠 영상의 전송은 관리 서버(200)가 컨텐츠 영상의 재생 여부를 판단하기 전에만 이루어지면 되고, 전송 순서에는 제한을 두지 않는다. 다만, 카메라 영상의 전송과 재생 여부 판단이 실시간으로 이루어지는 경우에는 컨텐츠 영상의 전송이 카메라 영상의 전송 이전에 이루어지는 것으로 한다.
관리 서버(200)의 통신부(230)가 카메라 영상과 컨텐츠 영상을 수신하고, 재생 판단 장치(210)가 컨텐츠 영상과 카메라 영상을 비교하여 ④ 정해진 시간에, 정해진 컨텐츠 영상이, 정해진 디스플레이 장치에서 재생되는지 여부를 자동으로 판단할 수 있다.
이 경우, 저장부(250)는 디스플레이 장치(10) 별로 해당 디스플레이 장치(10)의ID와 해당 디스플레이 장치(10)를 촬영하는 카메라 장치(30)의 ID를 서로 대응시켜 저장할 수 있다. 또한, 디스플레이 장치(10) 별로 해당 디스플레이 장치(10)에 재생되기로 정해진 컨텐츠 영상들과 컨텐츠 영상 별 타임 스케줄을 대응시켜 저장할 수 있다.
또는, 카메라 장치(30)가 카메라 영상을 전송할 때, 자신의 ID와 함께 자신이 촬영하는 디스플레이 장치(10)의 ID를 함께 전송하는 것도 가능하다. 이 경우, 관리 서버(200)의 저장부(250)에 카메라 장치(30)의 ID가 저장되지 않더라도, 재생 판단 장치(210)가 카메라 장치(30)의 ID와 함께 전송된 디스플레이 장치(10)의 ID를 저장부(250)에서 검색하여 필요한 컨텐츠 영상을 검색할 수 있다.
재생 판단 장치(210)가 컨텐츠 영상과 카메라 영상을 비교하는 동작은 전술한 실시예에서와 동일하다. 재생 판단 장치(210)가 컨텐츠 영상의 재생 여부를 판단하면, 제어부(220)는 재생 여부의 판단 결과를 해당 컨텐츠 영상에 대응되는 사용자의 단말기(40)에 전송할 수 있다.
전술한 도 12내지 도 14의 실시예에서는 관리 서버가 컨텐츠 영상의 재생 여부를 판단하는 경우에 대해 설명하였다. 다른 실시예에 따르면, 컨텐츠 영상의 재생 여부를 판단하는 재생 판단 장치가 카메라 장치에 마련되는 것도 가능하다. 이하, 컨텐츠 영상의 재생 여부를 판단하는 카메라 장치의 실시예를 설명한다.
도 15는 일 실시예에 따른 카메라 장치의 제어 블록도이고, 도 16은 일 실시예에 따른 카메라 장치가 디스플레이 장치로부터 수신하는 정보의 예시를 나타낸 도면이다.
도 15를 참조하면, 카메라 장치(300)는 촬영부(380), 통신부(330), 저장부(350) 및 재생 판단 장치(310)를 포함한다.
촬영부(380)는 CMOS 이미지 센서, CCD 이미지 센서와 같은 이미지 센서를 채용하여 영상을 촬영한다. 촬영된 영상은 재생 판단 장치(310)에 전달된다.
통신부(330)는 디스플레이 장치(10)로부터 컨텐츠 영상, V-sync 신호, 프레임 간격, 디스플레이 프로세싱 시간 등의 정보를 수신할 수 있다.
통신부(330)는 무선 통신 모듈을 포함할 수 있다. 무선 통신 모듈에 관한 설명은 전술한 실시예에서와 동일하므로 생략한다.
재생 판단 장치(310)는 카메라 영상과 컨텐츠 영상을 비교하여, 컨텐츠 영상이 정상적으로 재생되는지 여부를 판단할 수 있다. 또는, 정해진 시간에, 정해진 디스플레이 장치에, 정해진 컨텐츠 영상이 재생되는지 여부를 판단할 수 있다.
제어부(320)는 전술한 동작 및 후술하는 동작을 수행하는 프로그램이 저장된 적어도 하나의 메모리 및 저장된 프로그램을 실행하는 적어도 하나의 프로세서를 포함할 수 있다.
제어부(320)는 카메라 장치(300)의 동작을 전반적으로 제어할 수 있고, 재생 판단 장치(310)를 포함할 수 있다.
제어부(320)는 후술하는 동작을 수행하는 프로그램이 저장된 적어도 하나의 메모리 및 저장된 프로그램을 실행하는 적어도 하나의 프로세서를 포함할 수 있다.
재생 판단 장치(310)의 동작을 수행하는데 사용되는 메모리 및 프로세서가 제어부(320)의 다른 동작을 수행하는데 사용될 수도 있고, 재생 판단 장치(310)의 동작을 수행하는데 사용되는 메모리 및 프로세서가 제어부(310)의 다른 동작을 수행하는데 사용되는 메모리 및 프로세서와 별개로 마련될 수도 있다. 또한, 재생 판단 장치(310) 또는 제어부(320)가 저장부(350)와 메모리를 공유하는 것도 가느하다.
저장부(350)는 촬영된 카메라 영상 및 컨텐츠 영상의 재생 여부 판단 결과를 비일시적 또는 일시적으로 저장할 수 있다.
도 16을 참조하면, 디스플레이 장치(10)는 ① 표시될 컨텐츠 영상을 카메라 장치(30)로 전송한다. 이 때, V-sync 신호, 네트워크 지연 시간, 프레임 간격(interval) 및 디스플레이 프로세싱 시간도 전송할 수 있다.
디스플레이 장치(10)는 컨텐츠 영상에 디스플레이 프로세싱을 수행하고, ② 디스플레이부(14)에 컨텐츠 영상을 표시한다. 표시되는 컨텐층 영상은 디스플레이 프로세싱이 수행된 영상이다.
카메라 장치(300)의 촬영부(380)가 ③ 디스플레이 장치(10)를 촬영한다. 예를 들어, 카메라 장치(30)는 전송된 V-sync 신호, 네트워크 지연 시간, 프레임 간격 및 디스플레이 프로세싱 시간에 기초하여 디스플레이 장치(10)에서의 화면의 출력과 카메라 장치(300)의 촬영의 시점을 동기화시킬 수 있다.
네트워크 지연 시간이 프레임 간격과 같거나 큰 경우 경우에는 몇 개의 프레임이 디스플레이 장치(100)에 표시될 동안 재생 화면을 촬영하지 않고, 디스플레이 장치(100)와 카메라 장치(30)의 통신 네트워크가 정상화될 때까지 대기할 수 있다.
또한, 디스플레이 프로세싱 시간이 네트워크 지연 시간보다 클 경우 디스플레이 프로세싱 시간과 네트워크 지연 시간의 차이 만큼 대기하여 디스플레이 장치(100)에서 재생 화면이 출력된 후 디스플레이 장치(10)를 촬영할 수 있다.
재생 판단 장치(310)가 컨텐츠 영상과 카메라 영상을 비교하여 ④ 컨텐츠 영상이 정상적으로 재생되는지 여부를 자동으로 판단할 수 있다.
픽셀값의 비교가 실시간으로 이루어지는 것도 가능하고, 전송된 컨텐츠 영상의 프레임마다 그에 대응되는 카메라 영상의 프레임을 대응시켜 저장하고, 컨텐츠 영상과 카메라 영상의 비교는 이후에 수행하는 것도 가능하다.
컨텐츠 영상이 복수의 프레임으로 구성된 동영상인 경우에, 전술한 ① 내지 ④의 과정이 매 프레임마다 수행될 수도 있고, 일정 시간 간격을 갖는 프레임마다 수행될 수도 있다.
재생 판단 장치(310)가 컨텐츠 영상의 재생 여부를 판단하면, 통신부(330)가 재생 여부의 판단 결과를 무선 네트워크를 통해 관리 서버(20) 또는 해당 컨텐츠 영상에 대응되는 사용자 단말기(40)에 전송할 수 있다.
전술한 바와 같이, 관리 서버(20)는 컨텐츠 영상마다 그에 대응되는 단말기(40)의 정보를 미리 저장할 수 있다. 관리 서버(20)가 카메라 장치(300)로부터 컨텐츠 영상의 재생 여부 판단 결과를 수신하면, 해당 컨텐츠 영상에 대응되는 사용자의 단말기(40)에 재생 여부 판단 결과를 전송할 수 있다.
또는, 카메라 장치(300)가 컨텐츠 영상에 대응되는 단말기(40)에 직접 재생 여부 판단 결과를 전송하는 것도 가능하다. 이 경우, 저장부(350)는 컨텐츠 영상마다 그에 대응되는 단말기(40)에 관한 정보를 매칭시켜 저장할 수 있다.
한편, 디스플레이 장치(10)가 앞서 디스플레이 장치(100)의 실시예에서 설명한 외광 센서(171)나 근접 센서(172)를 포함할 수 있다. 이 경우, 디스플레이 장치(10)는 외광 센서(171)의 출력 또는 근접 센서(172)의 출력을 카메라 장치(300)에 전송할 수 있다.
예를 들어, 디스플레이 장치(10)는 외광 센서(171)의 출력을 카메라 장치(300)에 전송할 수 있고, 카메라 장치(300)의 재생 판단 장치(310)는 컨텐츠 영상과 카메라 영상의 비교 시에 외광 센서(171)의 출력을 반영함으로써, 카메라 영상에 나타난 외광의 영향을 제거할 수 있다.
또한, 디스플레이 장치(10)가 근접 센서(172)의 출력을 카메라 장치(300)에 전송하는 경우, 디스플레이 장치(10)와 카메라 장치(300) 사이에 장애물이 존재할 때에는, 카메라 장치(300)가 화면의 촬영을 보류하거나 컨텐츠 영상의 재생 여부에 대한 판단을 보류할 수 있다.
또한, 디스플레이 장치(10)에 전술한 도 7에 도시된 바와 같은 구분 영상(141)이 표시되면, 촬영부(380)가 구분 영상(141)이 표시된 화면을 촬영하고, 재생 판단 장치(310)는 카메라 영상에서 구분 영상(141)에 포함된 특정 패턴이나 특정 색을 인식한다. 구분 영상(141)에 관한 정보는 저장부(350)에 미리 저장될 수 있다.
재생 판단 장치(310)는 구분 영상(141)에 포함된 특정 패턴이나 특정 색을 인식함으로써, 화면 영역을 추출할 수 있다. 이후에, 촬영부(380)가 카메라 영상을 전달하면, 카메라 영상에서 화면 영역을 추출하고, 추출된 화면 영역에 대해 앞서 설명한 픽셀값의 비교를 수행할 수 있다.
화면 영역의 추출은 디스플레이 장치(10)와 카메라 장치(300)의 설치 시에 수행될 수 있고, 카메라 장치(300)의 설치 위치가 바뀔 때마다 수행될 수 있다. 또한, 카메라 장치(300)나 디스플레이 장치(10)의 설치 위치가 바뀌지 않더라도 주기적으로 수행되는 것도 가능하다.
한편, 카메라 장치(30)가 촬영한 카메라 영상을 이용하여, 정해진 시간에, 정해진 컨텐츠 영상이, 정해진 디스플레이 장치(10)에서 재생되는지 여부를 판단하는 것도 가능하다. 이하, 도 17을 참조하여 구체적으로 설명한다.
도 17은 일 실시예에 따른 카메라 장치가 재생되기로 예정된 컨텐츠 영상을 카메라 영상과 비교하는 예시에 관한 도면이다.
도 17의 예시를 참조하면, 디스플레이 장치(10)는 ① 컨텐츠 영상을 표시한다. 디스플레이 장치(10)는 저장된 타임 스케줄에 따라 정해진 시간에, 정해진 컨텐츠 영상을 재생할 수 있다.
카메라 장치(300)는 ② 디스플레이 장치(10)를 촬영한다. 카메라 장치(30)는 디스플레이부(14)에 표시되는 재생 화면을 촬영할 수 있다.
카메라 장치(300)는 디스플레이 장치(100)의 재생 화면을 촬영하여 획득한 ③ 카메라 영상과 컨텐츠 영상을 비교하여 정해진 시간에, 정해진 컨텐츠 영상이 재생되는지 여부를 자동으로 판단할 수 있다.
카메라 장치(300)는 관리 서버(20) 또는 디스플레이 장치(10)로부터 컨텐츠 영상 및 컨텐츠 영상의 타임 스케줄을 제공받을 수 있다. 카메라 장치(300)가 촬영하는 디스플레이 장치(10)에서 재생되기로 정해진 컨텐츠 영상이 복수인 경우에는, 복수의 컨텐츠 영상을 각각의 타임 스케줄과 함께 제공받을 수 있다. 저장부(350)는 제공된 정보를 비일시적 또는 일시적으로 저장할 수 있다.
재생 판단 장치(310)는 카메라 영상의 촬영 시간에 대응되는 타임 스케줄을 갖는 컨텐츠 영상을 저장부(350)에서 검색한다. 검색된 컨텐츠 영상을 카메라 영상과 비교하여 해당 컨텐츠 영상의 재생 여부를 판단할 수 있다. 컨텐츠 영상의 재생 여부 판단에 관한 구체적인 설명은 전술한 실시예에서 설명한 바와 같다.
전술한 실시예에 따른 재생 판단 장치(110, 210, 310)의 동작이 사용자 단말기(40)에서 수행되는 것도 가능하다. 이 경우, 외부의 서버에 마련된 기록 매체에 전술한 재생 판단 장치(110, 210, 310)의 동작을 수행하는 재생 판단 프로그램이 저장될 수 있고, 사용자 단말기(40)가 외부의 서버로부터 재생 판단 프로그램을 다운로드 받아 설치할 수 있다.
이하, 일 실시예에 따른 컨텐츠 재생 판단 방법에 대해 설명한다. 일 실시예에 따른 컨텐츠 재생 판단 방법은 전술한 실시예에 따른 디스플레이 장치(100), 관리 서버(200) 및 카메라 장치(300) 중 적어도 하나에 의해 실행될 수 있다. 따라서, 전술한 도 1 내지 도 17에 대한 설명은 특별한 언급이 없더라도 일 실시예에 따른 컨텐츠 재생 판단 방법에도 적용될 수 있다.
도 18은 일 실시예에 따른 컨텐츠 재생 판단 방법에 대한 순서도이다.
도 18을 참조하면, 카메라 영상을 획득한다(600). 카메라 영상은 디스플레이 장치(10, 100)의 화면을 향하여 설치된 카메라 장치(30, 300)가 촬영한 영상이다. 당해 실시예에 따른 컨텐츠 재생 판단 방법을 디스플레이 장치(100) 또는 관리 서버(200)에서 수행하는 경우에는 카메라 장치(30)로부터 카메라 영상을 수신함으로써 획득할 수 있고, 카메라 장치(300)에서 수행하는 경우에는 카메라 장치(300)의 촬영부(380)가 디스플레이 장치(10)의 화면을 촬영함으로써 카메라 영상을 획득할 수 있다.
카메라 영상을 촬영함에 있어서, 디스플레이 장치(10, 100)는 카메라 장치(30, 300)에 V-sync 신호, 네트워크 지연 시간, 프레임 간격, 디스플레이 프로세싱 시간 등의 정보를 전송할 수 있고, 카메라 장치(30)는 전송된 정보에 기초하여 디스플레이 장치(10)의 화면 출력에 동기화되어 카메라 영상을 촬영할 수 있다.
컨텐츠 영상과 카메라 영상을 비교한다(601). 컨텐츠 영상은 디스플레이 장치(10, 100) 또는 관리 서버(20, 200)로부터 제공될 수 있다. 컨텐츠 영상의 픽셀값과 카메라 영상의 픽셀값을 비교할 수 있고, 현재 디스플레이 장치(10, 100)에서 재생 중인 컨텐츠 영상과 현재 카메라 장치(30, 300)가 촬영한 카메라 영상을 비교할 수 있다.
또는, 카메라 영상의 촬영 시간에 재생되기로 정해진 컨텐츠 영상을 카메라 영상과 비교하는 것도 가능하다.
컨텐츠 영상과 카메라 영상의 오차가 미리 정해진 오차 범위 이내이면(602의 예), 컨텐츠 영상이 재생된 것으로 판단하고(603), 오차 범위 이내가 아니면(602의 아니오), 컨텐츠 영상이 재생되지 않은 것으로 판단(604)할 수 있다.
컨텐츠 영상이 동영상인 경우, 재생 판단 장치(110, 210, 310)는 매 프레임마다 전술한 바와 같은 픽셀값의 비교를 수행할 수도 있고, 일정 시간 간격의 프레임마다 수행할 수도 있다.
하나의 컨텐츠 영상을 구성하는 복수의 프레임에 대해 픽셀값의 비교를 수행하는 경우, 모든 프레임에 대한 비교 결과가 오차 범위에 포함되어야 해당 컨텐츠 영상이 재생된 것으로 판단할 수도 있고, 미리 정해진 비율 이상의 프레임에 대한 비교 결과가 오차 범위에 포함되면 해당 컨텐츠 영상이 재생된 것으로 판단할 수도 있다.
컨텐츠 영상의 재생 여부 판단 결과를 전송한다(605). 컨텐츠 영상의 재생 여부 판단이 디스플레이 장치(100) 또는 카메라 장치(300)에서 실행된 경우, 통신부(130, 330)는 관리 서버(20) 또는 사용자 단말기(40)에 재생 여부 판단 결과를 전송할 수 있고, 관리 서버(200)에서 실행된 경우, 통신부(230)는 사용자 단말기(40)에 재생 여부 판단 결과를 전송할 수 있다.
한편, 카메라 장치(30, 300)의 촬영 영역에 재생 화면 외에 디스플레이 장치(10, 100)의 베젤(101)이 함께 포함되는 경우가 발생할 수 있다.
따라서, 디스플레이 장치(100)는 컨텐츠 영상을 재생하기 전에 재생 화면과 베젤(101)을 구분하기 위한 구분 영상(141)을 표시할 수 있다. 구분 영상(141)에 관한 설명은 도 7에서 설명한 바와 같다. 디스플레이 장치(10, 100)가 구분 영상(141)을 표시하면, 카메라 장치(30, 300)가 디스플레이 장치(10, 100)를 촬영하고 재생 판단 장치(110, 210, 310)는 카메라 영상에서 구분 영상(141)에 포함된 특정 패턴이나 특정 색을 인식함으로써, 카메라 영상에서 화면 영역을 추출할 수 있다. 이후에, 디스플레이 장치(10, 100)에 컨텐츠 영상이 재생되고, 카메라 장치(30, 300)가 재생 화면을 촬영하면, 재생 판단 장치(110, 210, 310)는 카메라 영상에서 화면 영역을 추출하고, 추출된 화면 영역에 대해 픽셀값의 비교를 수행할 수 있다.
도 19는 일 실시예에 따른 컨텐츠의 재생 판단 방법에 있어서, 컨텐츠 영상과 카메라 영상을 비교하는 동작을 구체화한 순서도이다.
도 19를 참조하면, 카메라 영상을 획득한다(610). 전술한 바와 같이, 당해 실시예에 따른 컨텐츠 재생 판단 방법을 디스플레이 장치(100) 또는 관리 서버(200)에서 수행하는 경우에는 카메라 장치(30)로부터 카메라 영상을 수신함으로써 획득할 수 있고, 카메라 장치(300)에서 수행하는 경우에는 카메라 장치(300)의 촬영부(380)가 디스플레이 장치(10)의 화면을 촬영함으로써 카메라 영상을 획득할 수 있다.
컨텐츠 영상의 픽셀값의 평균을 획득하고(611), 카메라 영상의 픽셀값의 평균을 획득한다(612). 컨텐츠 영상의 픽셀값 평균과 카메라 영상의 픽셀값 평균의 연산 순서에는 제한이 없다. 두 값이 동시에 연산되는 것도 가능하다. 재생 판단 장치(110, 210, 310)는 전술한 도 6에 도시된 바와 같이, 컨텐츠 영상을 구성하는 mxn(=k)개의 전체 픽셀의 컬러 값(픽셀값)에 대한 평균을 연산할 수 있고, 카메라 영상에 대해서도 같은 방식으로 전체 픽셀의 컬러 값에 대한 평균을 연산할 수 있다.
컨텐츠 영상의 픽셀값 평균과 카메라 영상의 픽셀값 평균을 비교하고(613), 두 평균의 오차가 미리 정해진 오차 범위 이내이면(614의 예), 컨텐츠 영상이 재생된 것으로 판단한다(615). 오차 범위 이내가 아니면(614의 아니오), 컨텐츠 영상이 재생되지 않은 것으로 판단한다(616). 이 때, 재생 판단 장치(110, 210, 310)는 현재 디스플레이 장치(10, 100)에서 재생 중인 컨텐츠 영상과 현재 카메라 장치(30, 300)가 촬영한 카메라 영상을 비교할 수 있다.
또는, 카메라 영상의 촬영 시간에 대응되는 재생 시간을 갖는 컨텐츠 영상을 카메라 영상과 비교할 수도 있다.
컨텐츠 영상의 재생 여부 판단 결과를 전송한다(617). 컨텐츠 영상의 재생 여부 판단이 디스플레이 장치(100) 또는 카메라 장치(300)에서 실행된 경우, 통신부(130, 330)는 관리 서버(20) 또는 사용자 단말기(40)에 재생 여부 판단 결과를 전송할 수 있고, 관리 서버(200)에서 실행된 경우, 통신부(230)는 사용자 단말기(40)에 재생 여부 판단 결과를 전송할 수 있다.
한편, 디스플레이 장치(10, 100)에 외광 센서(171)가 마련되어 디스플레이 장치(10, 100) 주변의 외광을 측정하는 경우, 재생 판단 장치(110, 210, 310)는 카메라 영상에서 외광의 영향을 제거하여 컨텐츠 영상과 비교할 수 있다.
외광 센서(171)는 컬러 센서를 포함할 수 있다. 외광 센서(171)가 외광의 컬러값을 출력하면, 재생 판단 장치(110, 210, 310)는 카메라 영상에서 외광의 컬러값을 감산하거나, 컨텐츠 영상에 외광의 컬러값을 합산하는 방식으로 두 영상의 비교에 반영되는 외광의 영향을 제거할 수 있다. 또는, 디스플레이 장치(10, 100)가 디스플레이부(14, 140)에 표시되는 컨텐츠 영상의 픽셀값을 측정된 외광의 컬러값만큼 낮추어 출력하는 방식으로 외광의 영향을 제거하는 것도 가능하다.
또한, 디스플레이 장치(10, 100)는 디스플레이 장치(10, 100)와 카메라 장치(30, 300) 사이의 장애물을 감지하는 근접 센서(172)를 포함하는 것도 가능하다.
근접 센서(172)가 장애물을 감지하면, 재생 판단 장치(110, 210, 310)에 장애물 감지 신호가 전달되고, 장애물 감지 신호가 전달되면 재생 판단 장치(110, 210, 310)는 카메라 영상과 컨텐츠 영상의 비교를 통한 재생 여부 판단을 보류할 수 있다. 또는, 장애물 감지 신호가 카메라 장치(30, 300)에 전달되어 재생 화면의 촬영을 보류하는 것도 가능하다.
전술한 실시예에 따르면, 카메라 장치가 디스플레이 장치의 화면을 촬영하여 획득한 카메라 영상과 컨텐츠 영상을 비교하여, 컨텐츠 영상이 정상적으로 재생되는지 여부를 자동으로 판단할 수 있다. 이로써, 재생 여부의 판단을 수작업으로 수행하는 경우와 비교하여 비용을 절감하고 판단의 정확도를 높일 수 있으며, 판단에 소요되는 시간을 줄일 수 있다.
또한, 컨텐츠 영상이 정해진 시간에, 정해진 디스플레이 장치에 재생되는지 여부도 판단할 수 있다. 이로써, 컨텐츠 영상의 재생을 의뢰한 광고주에게 편리하고 정확한 재생 확인 방법을 제공할 수 있다.
10, 100: 디스플레이 장치
20, 200: 관리 서버
30, 300: 카메라 장치
110, 210, 310: 재생 판단 장치
120, 220, 320: 제어부
14, 140: 디스플레이부
150, 250, 350: 저장부
130, 230, 330: 통신부
380: 촬영부

Claims (26)

  1. 컨텐츠 영상을 표시하는 디스플레이부;
    상기 디스플레이부가 촬영된 카메라 영상을 수신하는 통신부;
    상기 컨텐츠 영상의 픽셀값과 상기 카메라 영상의 픽셀값을 이용하여 상기 컨텐츠 영상과 상기 카메라 영상을 비교하고, 상기 비교 결과에 기초하여 상기 컨텐츠 영상이 상기 디스플레이부에 정상적으로 표시되는지 여부를 판단하는 제어부;를 포함하는 디스플레이 장치.
  2. 제 1 항에 있어서,
    상기 제어부는,
    상기 컨텐츠 영상의 픽셀값의 평균 및 상기 카메라 영상의 픽셀값의 평균을 획득하고, 상기 컨텐츠 영상의 픽셀값의 평균과 상기 카메라 영상의 픽셀값의 평균을 비교하여 상기 컨텐츠 영상이 상기 디스플레이부에 정상적으로 표시되는지 여부를 판단하는 디스플레이 장치.
  3. 제 2 항에 있어서,
    상기 제어부는,
    상기 컨텐츠 영상의 픽셀값의 평균과 상기 카메라 영상의 픽셀값의 평균의 오차가 미리 정해진 오차 범위 이내이면, 상기 컨텐츠 영상이 상기 디스플레이부에 정상적으로 표시되는 것으로 판단하는 디스플레이 장치.
  4. 제 1 항에 있어서,
    상기 픽셀값은,
    상기 컨텐츠 영상에 적용된 컬러 스페이스에 의해 결정되는 디스플레이 장치.
  5. 제 1 항에 있어서,
    상기 제어부는,
    상기 통신부를 제어하여 수직 동기화 신호, 네크워크 지연 시간, 프레임 간격 및 디스플레이 프로세싱 시간을 포함하는 정보 중 적어도 하나의 정보를 상기 카메라 영상을 촬영하는 카메라 장치에 전송하는 디스플레이 장치.
  6. 제 1 항에 있어서,
    상기 제어부는,
    상기 디스플레이부에 표시되는 컨텐츠 영상과 상기 수신된 카메라 영상을 실시간으로 비교하는 디스플레이 장치.
  7. 제 1 항에 있어서,
    상기 디스플레이 장치 주변의 외광을 측정하는 외광 센서;를 더 포함하는 디스플레이 장치.
  8. 제 7 항에 있어서,
    상기 제어부는,
    상기 카메라 영상으로부터 상기 측정된 외광을 제거하고, 상기 측정된 외광이 제거된 카메라 영상을 상기 컨텐츠 영상과 비교하는 디스플레이 장치.
  9. 제 7 항에 있어서,
    상기 제어부는,
    상기 컨텐츠 영상으로부터 상기 측정된 외광을 제거하고, 상기 디스플레이부가 상기 측정된 외광이 제거된 컨텐츠 영상을 표시하도록 제어하는 디스플레이 장치.
  10. 제 1 항에 있어서,
    상기 디스플레이 장치와 상기 카메라 영상을 촬영하는 카메라 장치 사이의 장애물을 감지하는 근접 센서;를 더 포함하는 디스플레이 장치.
  11. 제 10 항에 있어서,
    상기 제어부는,
    상기 근접 센서가 상기 장애물을 감지하면, 상기 통신부를 제어하여 상기 카메라 장치에 촬영 보류를 위한 신호를 전송하는 디스플레이 장치.
  12. 제 10 항에 있어서,
    상기 제어부는,
    상기 근접 센서가 상기 장애물을 감지하면, 상기 컨텐츠 영상이 상기 디스플레이부에 정상적으로 표시되는지 여부에 대한 판단을 보류하는 디스플레이 장치.
  13. 제 1 항에 있어서,
    상기 제어부는,
    베젤과 화면을 구분하기 위한 구분 영상을 표시하도록 상기 디스플레이부를 제어하는 디스플레이 장치.
  14. 제 13 항에 있어서,
    상기 제어부는,
    상기 카메라 영상에서 구분 영상을 인식하고, 상기 인식된 구분 영상에 기초하여 화면 영역을 결정하는 디스플레이 장치.
  15. 제 14 항에 있어서,
    상기 제어부는,
    상기 컨텐츠 영상이 표시된 디스플레이부가 촬영된 카메라 영상이 수신되면, 상기 수신된 카메라 영상에서 상기 화면 영역을 추출하는 디스플레이 장치.
  16. 제 1 항에 있어서,
    상기 컨텐츠 영상을 상기 컨텐츠 영상의 재생 시간과 함께 저장하는 저장부;를 더 포함하는 디스플레이 장치.
  17. 제 16 항에 있어서,
    상기 제어부는,
    상기 카메라 영상을 상기 카메라 영상의 촬영 시간에 대응되는 재생 시간을 갖는 컨텐츠 영상과 비교하는 디스플레이 장치.
  18. 제 1 항에 있어서,
    상기 통신부는,
    상기 컨텐츠 영상이 상기 디스플레이부에 정상적으로 표시되는지 여부에 대한 판단 결과를 관리 서버 또는 사용자 단말기에 전송하는 디스플레이 장치.
  19. 컨텐츠 영상이 표시된 화면을 촬영한 카메라 영상 및 상기 컨텐츠 영상이 입력되면, 상기 카메라 영상을 저장하는 메모리;
    상기 컨텐츠 영상의 픽셀값과 상기 카메라 영상의 픽셀값을 이용하여 상기 컨텐츠 영상과 상기 카메라 영상을 비교하고, 상기 비교 결과에 기초하여 상기 컨텐츠 영상이 정상적으로 표시되는지 여부를 판단하는 프로세서;를 포함하는 재생 판단 장치.
  20. 제 19 항에 있어서,
    상기 프로세서는,
    상기 컨텐츠 영상의 픽셀값의 평균 및 상기 카메라 영상의 픽셀값의 평균을 획득하고, 상기 컨텐츠 영상의 픽셀값의 평균과 상기 카메라 영상의 픽셀값의 평균을 비교하여 상기 컨텐츠 영상이 상기 디스플레이부에 정상적으로 표시되는지 여부를 판단하는 재생 판단 장치.
  21. 제 19 항에 있어서,
    상기 프로세서는,
    상기 표시되는 컨텐츠 영상과 상기 수신된 카메라 영상을 실시간으로 비교하는 재생 판단 장치.
  22. 제 19항에 있어서,
    상기 메모리는,
    상기 컨텐츠 영상의 재생 시간을 더 저장하고,
    상기 프로세서는,
    상기 카메라 영상을 상기 카메라 영상의 촬영 시간에 대응되는 재생 시간을 갖는 컨텐츠 영상과 비교하는 재생 판단 장치.
  23. 컨텐츠 영상이 표시된 화면을 촬영한 카메라 영상을 획득하고;
    상기 컨텐츠 영상의 픽셀값과 상기 카메라 영상의 픽셀값을 이용하여 상기 컨텐츠 영상과 상기 카메라 영상을 비교하고;
    상기 비교 결과에 기초하여 상기 컨텐츠 영상이 정상적으로 표시되는지 여부를 판단하는 것;을 포함하는 컨텐츠의 재생 판단 방법.
  24. 제 23 항에 있어서,
    상기 컨텐츠 영상과 상기 카메라 영상을 비교하는 것은,
    상기 컨텐츠 영상의 픽셀값의 평균 및 상기 카메라 영상의 픽셀값의 평균을 획득하고, 상기 컨텐츠 영상의 픽셀값의 평균과 상기 카메라 영상의 픽셀값의 평균을 비교하는 것;을 포함하는 컨텐츠의 재생 판단 방법.
  25. 제 24 항에 있어서,
    상기 컨텐츠 영상이 정상적으로 표시되는지 여부를 판단하는 것은,
    상기 컨텐츠 영상의 픽셀값의 평균과 상기 카메라 영상의 픽셀값의 평균의 오차가 미리 정해진 오차 범위 이내이면, 상기 컨텐츠 영상이 상기 디스플레이부에 정상적으로 표시되는 것으로 판단하는 것;을 포함하는 컨텐츠의 재생 판단 방법.
  26. 제 23 항에 있어서,
    상기 컨텐츠 영상과 상기 카메라 영상을 비교하는 것은,
    상기 화면의 주변에서 측정된 외광을 상기 카메라 영상으로부터 제거하고, 상기 측정된 외광이 제거된 카메라 영상을 상기 컨텐츠 영상과 비교하는 것;을 포함하는 컨텐츠의 재생 판단 방법.
KR1020170149386A 2017-11-10 2017-11-10 디스플레이 장치, 재생 판단 장치, 컨텐츠 재생 확인 방법 KR102429557B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020170149386A KR102429557B1 (ko) 2017-11-10 2017-11-10 디스플레이 장치, 재생 판단 장치, 컨텐츠 재생 확인 방법
US16/763,135 US11089295B2 (en) 2017-11-10 2018-10-18 Display apparatus, apparatus for proof of play, and method for proof of play of contents
PCT/KR2018/012356 WO2019093674A1 (ko) 2017-11-10 2018-10-18 디스플레이 장치, 재생 판단 장치, 컨텐츠 재생 확인 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170149386A KR102429557B1 (ko) 2017-11-10 2017-11-10 디스플레이 장치, 재생 판단 장치, 컨텐츠 재생 확인 방법

Publications (2)

Publication Number Publication Date
KR20190053469A true KR20190053469A (ko) 2019-05-20
KR102429557B1 KR102429557B1 (ko) 2022-08-05

Family

ID=66438580

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170149386A KR102429557B1 (ko) 2017-11-10 2017-11-10 디스플레이 장치, 재생 판단 장치, 컨텐츠 재생 확인 방법

Country Status (3)

Country Link
US (1) US11089295B2 (ko)
KR (1) KR102429557B1 (ko)
WO (1) WO2019093674A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102286470B1 (ko) * 2020-05-26 2021-08-04 박영기 원본 영상 정보 및 표출 촬상 정보 유사도 분석을 통한 led 디지털 사이니지 불량 감지 시스템
KR102643646B1 (ko) * 2023-07-13 2024-03-05 주식회사 시스메이트 영상정보 디스플레이 자동감시 시스템 및 영상정보 디스플레이 자동감시방법

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021167139A1 (ko) * 2020-02-21 2021-08-26 주식회사 모토브 영상을 디스플레이하는 장치, 방법 및 시스템

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6984039B2 (en) * 2003-12-01 2006-01-10 Eastman Kodak Company Laser projector having silhouette blanking for objects in the output light path
KR20110098239A (ko) * 2010-02-26 2011-09-01 이상은 광고 연동 서비스 제공 방법 및 시스템과 이를 위한 기록매체
KR20130010782A (ko) * 2011-07-19 2013-01-29 현대아이비티주식회사 디스플레이 상태 감시 장치 및 시스템
US20130339992A1 (en) * 2011-03-18 2013-12-19 Mitsubishi Electric Corporation In-train information display apparatus, in-train information display system, and advertisement display result determining method
KR20160112279A (ko) * 2015-03-18 2016-09-28 디노플러스 (주) 영화 상영상태 감지시스템

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030039854A (ko) 2001-11-16 2003-05-22 강성연 인터넷을 이용한 광고 시스템
KR100366198B1 (ko) 2002-05-01 2002-12-31 이영재 대형 옥외 광고물의 원격 모니터링 시스템
KR100545057B1 (ko) 2003-10-31 2006-01-24 고정찬 웹 기반 미디어 광고 효과의 정량적 산출 및 광고 제어시스템
KR20060028467A (ko) 2006-03-10 2006-03-29 이갑형 웹카메라가 연결된 전광판의 광고 방법 및 장치
JP6470567B2 (ja) 2014-02-03 2019-02-13 株式会社プロスパークリエイティブ 画像検査装置及び画像検査プログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6984039B2 (en) * 2003-12-01 2006-01-10 Eastman Kodak Company Laser projector having silhouette blanking for objects in the output light path
KR20110098239A (ko) * 2010-02-26 2011-09-01 이상은 광고 연동 서비스 제공 방법 및 시스템과 이를 위한 기록매체
US20130339992A1 (en) * 2011-03-18 2013-12-19 Mitsubishi Electric Corporation In-train information display apparatus, in-train information display system, and advertisement display result determining method
KR20130010782A (ko) * 2011-07-19 2013-01-29 현대아이비티주식회사 디스플레이 상태 감시 장치 및 시스템
KR20160112279A (ko) * 2015-03-18 2016-09-28 디노플러스 (주) 영화 상영상태 감지시스템

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102286470B1 (ko) * 2020-05-26 2021-08-04 박영기 원본 영상 정보 및 표출 촬상 정보 유사도 분석을 통한 led 디지털 사이니지 불량 감지 시스템
KR102643646B1 (ko) * 2023-07-13 2024-03-05 주식회사 시스메이트 영상정보 디스플레이 자동감시 시스템 및 영상정보 디스플레이 자동감시방법

Also Published As

Publication number Publication date
KR102429557B1 (ko) 2022-08-05
US20200275091A1 (en) 2020-08-27
WO2019093674A1 (ko) 2019-05-16
US11089295B2 (en) 2021-08-10

Similar Documents

Publication Publication Date Title
US20240062578A1 (en) Imaging apparatus and imaging system
KR102489402B1 (ko) 디스플레이 장치 및 그의 영상 표시 방법
US9236027B2 (en) Display system and computer-readable medium
US20210217157A1 (en) Display Device Failure Detection Method, Device and System
US12054066B2 (en) Systems and methods for identifying characteristics of electric vehicles
CN104834866A (zh) 一种通过自动识别场景来保护私密信息的方法及装置
CN105898246A (zh) 智能家居系统
KR102429557B1 (ko) 디스플레이 장치, 재생 판단 장치, 컨텐츠 재생 확인 방법
US9640142B2 (en) Apparatus for detecting region of interest and method thereof
US20150139488A1 (en) Method and system of identifying non-distinctive images/objects in a digital video and tracking such images/objects using temporal and spatial queues
KR20160088129A (ko) 다중 비디오써머리제공방법 및 장치
KR101238989B1 (ko) 어안카메라의 다면영상분석을 통한 주차가능면 실시간 감지시스템 및 그 감지방법
CN103376921A (zh) 激光标注系统及标注方法
CN103946871A (zh) 图像处理装置、图像识别装置、图像识别方法以及程序
US20180144494A1 (en) Information processing device, information processing method, and program
US20130182080A1 (en) Camera testing device and method for testing camera
US10750080B2 (en) Information processing device, information processing method, and program
US20190075370A1 (en) Display apparatus, content managing apparatus, content managing system, and content managing method
KR20150111428A (ko) 디지털 사이니지 장치 및 그 구동방법
US9805390B2 (en) Display control apparatus, display control method, and program
KR101676484B1 (ko) 광고 연동 서비스 제공 방법
KR101658047B1 (ko) 광고 연동 서비스 제공 방법
CN106998442A (zh) 智能家居系统
JP2009281830A (ja) 複数ディスプレイ設置設定装置、方法、プログラム、及びシステム
US12217645B2 (en) Calibration system for display apparatus and operating method thereof

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20171110

PG1501 Laying open of application
A201 Request for examination
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20201105

Comment text: Request for Examination of Application

Patent event code: PA02011R01I

Patent event date: 20171110

Comment text: Patent Application

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20211201

Patent event code: PE09021S01D

AMND Amendment
E601 Decision to refuse application
PE0601 Decision on rejection of patent

Patent event date: 20220302

Comment text: Decision to Refuse Application

Patent event code: PE06012S01D

Patent event date: 20211201

Comment text: Notification of reason for refusal

Patent event code: PE06011S01I

AMND Amendment
PX0901 Re-examination

Patent event code: PX09011S01I

Patent event date: 20220302

Comment text: Decision to Refuse Application

Patent event code: PX09012R01I

Patent event date: 20220127

Comment text: Amendment to Specification, etc.

PX0701 Decision of registration after re-examination

Patent event date: 20220502

Comment text: Decision to Grant Registration

Patent event code: PX07013S01D

Patent event date: 20220401

Comment text: Amendment to Specification, etc.

Patent event code: PX07012R01I

Patent event date: 20220302

Comment text: Decision to Refuse Application

Patent event code: PX07011S01I

Patent event date: 20220127

Comment text: Amendment to Specification, etc.

Patent event code: PX07012R01I

X701 Decision to grant (after re-examination)
GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20220801

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20220802

End annual number: 3

Start annual number: 1

PG1601 Publication of registration