KR20220031168A - 디스플레이장치 및 그 제어방법 - Google Patents

Abstract

디스플레이장치는, 디스플레이와, 외부장치와 통신하게 마련된 인터페이스와, 인터페이스를 통해 외부장치의 상대방과 영상통화를 수행하기 위해 카메라에 의해 캡쳐된 사용자의 영상을 디스플레이에 표시하고, 영상에 사용자와 상이한 오브젝트가 포함되는 것에 기초하여 오브젝트가 영상통화에 연관되는지 여부를 식별하고, 오브젝트가 영상통화에 연관되는지 여부에 대응하여, 영상 내에서 오브젝트에 대응하는 영역에 노출차단 처리를 선택적으로 수행하는 프로세서를 포함한다.

Description

디스플레이장치 및 그 제어방법 {DISPLAY APPARATUS AND CONTROL METHOD THEREOF}

본 발명은 수신되는 데이터를 처리하여 영상을 표시 가능한 디스플레이장치 및 그 제어방법에 관한 것으로서, 상세하게는 하나 이상의 외부장치의 상대방과 영상통화를 수행하도록 사용자의 모습을 촬영하여 영상으로 표시하는 디스플레이장치 및 그 제어방법에 관한 것이다.

소정의 정보를 특정 프로세스에 따라서 연산 및 처리하기 위해, 연산을 위한 CPU, 칩셋, 메모리 등의 전자부품들을 기본적으로 포함하는 전자장치는, 처리 대상이 되는 정보 또는 사용 용도가 무엇인지에 따라서 다양한 종류로 구분될 수 있다. 예를 들면, 전자장치에는 범용의 정보를 처리하는 PC나 서버 등의 정보처리장치, 영상데이터를 처리하는 영상처리장치, 오디오를 처리하는 오디오장치, 가정 내 잡무를 수행하는 생활가전 등이 있다. 영상처리장치는 처리된 영상데이터를 자체 구비한 디스플레이 패널(display panel) 상에 영상으로 표시하는 디스플레이장치로 구현될 수 있다.

디스플레이장치는 단순히 수신되는 영상데이터를 처리하여 영상을 표시하는 기본적인 역할 이외에도, 광역 네트워크를 통한 외부장치와의 통신에 기반하여 보다 확장된 기능을 수행할 수 있다. 이러한 기능의 예시로는 영상통화가 있다. 영상통화에서, 디스플레이장치는 카메라를 통해 사용자의 모습을 촬영하여 영상데이터를 생성하고, 마이크로폰을 통해 사용자의 음성을 획득하여 음성데이터를 생성한다. 디스플레이장치는 사용자의 영상데이터 및 음성데이터를 디스플레이장치에서 출력하는 한편, 영상통화의 상대측인 외부장치에 전송함으로써 동일 데이터가 외부장치에서 출력되도록 한다. 반대로, 디스플레이장치 또한 외부장치로부터 수신되는 상대방의 영상데이터 및 음성데이터를 출력한다. 이로써, 디스플레이장치 및 외부장치를 통해 사용자 및 상대방 사이의 영상통화가 이루어진다.

영상통화를 수행하는 디스플레이장치의 종류, 영상통화 시 카메라로부터 사용자의 이격 거리 등의 여러 요인에 따라서, 영상통화 동안에 프라이버시의 노출이 문제가 될 수 있다. 예를 들면, 카메라를 사용자의 얼굴에 가까이 하는 모바일장치를 사용하는 경우와, 사용자가 카메라로부터 상대적으로 멀리 떨어져 있는 TV 등의 고정형 디스플레이장치를 사용하는 경우 모두, 프라이버시 노출 문제가 발생할 수 있다. 후자의 경우는 전자의 경우에 비해 사용자를 촬영하는 카메라의 화각(angle of view)가 넓어지므로, 카메라가 촬영한 영상데이터에서 사용자가 아닌 배경의 영역 또한 넓어진다. 이 때문에 후자의 경우가 사용자가 의도하지 않게 프라이버시가 노출될 위험이 더 커지는데, 예를 들어 영상통화를 하는 사용자 이외에 다른 사람이 불시에 배경의 영역 내로 들어옴으로써 영상을 통해 상대측에 노출될 수도 있다.

이러한 점을 고려하여, 영상통화 시 발생할 수 있는 프라이버시 노출을 최소화하는 디스플레이장치가 요구될 수 있다.

본 발명의 실시예에 따른 디스플레이장치는, 디스플레이와, 외부장치와 통신하게 마련된 인터페이스와, 상기 인터페이스를 통해 상기 외부장치의 상대방과 영상통화를 수행하기 위해 카메라에 의해 캡쳐된 사용자의 영상을 상기 디스플레이에 표시하고, 상기 영상에 상기 사용자와 상이한 오브젝트가 포함되는 것에 기초하여 상기 오브젝트가 상기 영상통화에 연관되는지 여부를 식별하고, 상기 오브젝트가 상기 영상통화에 연관되는지 여부에 대응하여, 상기 영상 내에서 상기 오브젝트에 대응하는 영역에 노출차단 처리를 선택적으로 수행하는 프로세서를 포함한다.

또한, 상기 프로세서는, 상기 영상에서 상기 오브젝트에 대응하는 영역에 상기 노출차단 처리를 수행하고, 상기 오브젝트가 상기 영상통화에 연관되는 것으로 식별되는 것에 기초하여 상기 노출차단 처리를 해제할 수 있다.

또한, 상기 프로세서는, 상기 오브젝트가 상기 사용자와 상이한 상기 영상통화의 신규 사용자인 것에 기초하여 상기 오브젝트가 상기 영상통화에 연관되는지 여부를 식별할 수 있다.

또한, 상기 영상통화에 연관된 통화자 계정의 리스트를 저장하는 저장부를 더 포함하고, 상기 프로세서는, 상기 신규 사용자를 상기 저장부에 저장된 상기 리스트에서 검색할 수 있다.

또한, 상기 프로세서는, 상기 오브젝트의 시선이 상기 카메라를 향하는 것으로 식별되는 것에 기초하여 상기 오브젝트가 상기 신규 사용자인 것으로 식별할 수 있다.

또한, 상기 프로세서는, 상기 오브젝트가 기 정의된 움직임을 취하는 것으로 식별되는 것에 기초하여 상기 오브젝트가 상기 신규 사용자인 것으로 식별할 수 있다.

또한, 상기 프로세서는, 상기 오브젝트에 대응하는 영역에 상기 노출차단 처리가 수행된 상기 영상이 표시될 때에, 상기 오브젝트가 기 정의된 움직임을 취하는 것으로 식별되는 것에 기초하여 상기 노출차단 처리를 해제할 수 있다.

또한, 상기 프로세서는, 상기 영상에 상기 영상통화와 관련된 어떠한 사용자도 없다고 식별되는 것에 기초하여 상기 영상 전체에 대해 상기 노출차단 처리를 수행할 수 있다.

또한, 상기 프로세서는, 상기 오브젝트에 대응하는 영역을 블러 처리함으로써 상기 노출차단 처리를 수행할 수 있다.

또한, 상기 프로세서는, 상기 오브젝트에 대응하는 영역에 기 정의된 이미지를 오버레이시킴으로써 상기 노출차단 처리를 수행할 수 있다.

또한, 상기 프로세서는, 상기 오브젝트에 대응하는 영역의 해상도를 낮춤으로써 상기 노출차단 처리를 수행할 수 있다.

또한, 상기 프로세서는, 상기 오브젝트에 대응하는 영역의 투명도를 높임으로써 상기 노출차단 처리를 수행할 수 있다.

또한, 상기 프로세서는, 상기 오브젝트에 관련된 오디오를 뮤트 처리함으로써 상기 노출차단 처리를 수행할 수 있다.

또한, 본 발명의 실시예에 따른 디스플레이장치의 제어방법은, 외부장치의 상대방과 영상통화를 수행하기 위해 카메라에 의해 캡쳐된 사용자의 영상을 표시하는 단계와, 상기 영상에 상기 사용자와 상이한 오브젝트가 포함되는 것에 기초하여 상기 오브젝트가 상기 영상통화에 연관되는지 여부를 식별하는 단계와, 상기 오브젝트가 상기 영상통화에 연관되는지 여부에 대응하여, 상기 영상 내에서 상기 오브젝트에 대응하는 영역에 노출차단 처리를 선택적으로 수행하는 단계를 포함한다.

도 1은 디스플레이장치 및 외부장치 사이에 영상통화가 이루어지는 모습을 나타내는 예시도이다.
도 2는 디스플레이장치의 구성 블록도이다.
도 3은 디스플레이장치의 제어방법을 나타내는 플로우차트이다.
도 4는 디스플레이장치의 카메라의 화각을 나타내는 예시도이다.
도 5는 디스플레이장치가 영상에 노출차단 처리를 수행하는 경우를 나타내는 예시도이다.
도 6은 영상에 노출차단 처리를 수행하지 않는 경우를 나타내는 예시도이다.
도 7은 디스플레이장치가 제2사용자의 영상통화 연관 여부를 판단하는 기준을 나타내는 예시도이다.
도 8은 디스플레이장치가 제2사용자의 제스처에 대응하여 선택적으로 노출차단 처리를 해제하는 원리를 나타내는 예시도이다.
도 9는 디스플레이장치가 제2사용자의 제스처에 대응하여 선택적으로 노출차단 처리를 수행하는 원리를 나타내는 예시도이다.
도 10은 디스플레이장치에서 복수의 사용자 중 일부가 카메라의 화각 범위 밖으로 벗어난 경우를 나타내는 예시도이다.
도 11은 디스플레이장치에서 모든 사용자가 카메라의 화각 범위 밖으로 벗어난 경우를 나타내는 예시도이다.
도 12는 디스플레이장치 전방에서 사용자의 위치 별 이격 거리를 나타내는 예시도이다.
도 13은 디스플레이장치가 영상의 배경에 노출차단 처리를 하는 경우를 나타내는 예시도이다.

이하에서는 첨부도면을 참조하여 본 발명에 따른 실시예들에 관해 상세히 설명한다. 각 도면을 참조하여 설명하는 실시예들은 특별한 언급이 없는 한 상호 배타적인 구성이 아니며, 하나의 장치 내에서 복수 개의 실시예가 선택적으로 조합되어 구현될 수 있다. 이러한 복수의 실시예의 조합은 본 발명의 기술분야에서 숙련된 기술자가 본 발명의 사상을 구현함에 있어서 임의로 선택되어 적용될 수 있다.

만일, 실시예에서 제1구성요소, 제2구성요소 등과 같이 서수를 포함하는 용어가 있다면, 이러한 용어는 다양한 구성요소들을 설명하기 위해 사용되는 것이며, 용어는 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용되는 바, 이들 구성요소는 용어에 의해 그 의미가 한정되지 않는다. 실시예에서 사용하는 용어는 해당 실시예를 설명하기 위해 적용되는 것으로서, 본 발명의 사상을 한정하지 않는다.

또한, 본 명세서에서의 복수의 구성요소 중 "적어도 하나(at least one)"라는 표현이 나오는 경우에, 본 표현은 복수의 구성요소 전체 뿐만 아니라, 복수의 구성요소 중 나머지를 배제한 각 하나 혹은 이들의 조합 모두를 지칭한다.

도 1은 디스플레이장치 및 외부장치 사이에 영상통화가 이루어지는 모습을 나타내는 예시도이다.

도 1에 도시된 바와 같이, 본 실시예에 따른 디스플레이장치(100)는 예를 들면 TV로 구현된다. 다만, 디스플레이장치(100)는 TV 이외에도 화면 상에 영상을 표시할 수 있고, 외부장치(200)와 통신 가능한 다양한 종류의 장치로 구현될 수 있는 바, 예를 들면 TV, 모니터, 디지털 사이니지(signage), 전자칠판, 전자액자 등을 포함하는 고정형 디스플레이장치이거나; 스마트폰, 태블릿기기, 휴대용 멀티미디어 재생기기 등을 포함하는 모바일기기이거나; 냉장고, 세탁기, 의류관리기기, 공기조화기 등 디스플레이를 가진 생활가전이거나; 디스플레이를 가지고 IoT 환경을 구축하는 게이트웨이, 허브, 호스트장치 등으로 구현될 수 있다.

디스플레이장치(100)는 외부장치(200)와 데이터를 송수신함으로써 영상통화를 수행할 수 있다. 외부장치(200)는 디스플레이장치(100)와 같이 영상을 표시 가능한 장치로 구현된다. 본 실시예에서는 디스플레이장치(100) 및 외부장치(200)가 일대 일로 영상통화를 수행하는 것으로 설명하지만, 복수의 외부장치(200)와 함께 영상통화를 수행할 수도 있다. 디스플레이장치(100)는 카메라를 통해 사용자(10)의 모습을 촬영함으로써 영상데이터를 획득하는 한편, 마이크로폰을 통해 사용자(10)의 음성을 수집함으로써 음성데이터를 획득한다. 디스플레이장치(100)는 획득한 영상데이터에 기초하여 사용자(10)의 영상(101)을 표시하고, 획득한 음성데이터를 음향으로 출력한다. 그리고, 디스플레이장치(100)는 획득한 영상데이터 및 음성데이터를 외부장치(200)에 전송한다. 이에, 외부장치(200)는 수신한 영상데이터에 기초하여 사용자(10)의 영상(202)을 표시하고, 수신한 음성데이터를 음향으로 출력한다. 즉, 디스플레이장치(100)에 표시되는 영상(101) 및 외부장치(200)에 표시되는 영상(202)은, 동일한 영상데이터에 기초한다.

동일한 원리로, 외부장치(200)는 사용자(10)와 영상통화를 수행하는 상대방(20)의 모습 및 음성에 관한 데이터를 획득한다. 외부장치(200)는 영상데이터에 기초하여 상대방(20)의 모습의 영상(201)을 표시하는 한편, 영상데이터를 디스플레이장치(100)에 전송함으로써 디스플레이장치(100)에서 동일한 영상(102)이 표시되도록 한다.

이와 같은 방법에 따라서, 디스플레이장치(100)의 사용자(10) 및 외부장치(200)의 상대방(20) 사이에 영상통화가 이루어진다.

이하, 디스플레이장치(100)의 구성에 관해 설명한다.

도 2는 디스플레이장치의 구성 블록도이다.

도 2에 도시된 바와 같이, 디스플레이장치(100)는 동작을 위해 다양한 하드웨어 요소들을 포함한다. 본 실시예에서의 디스플레이장치(100)는 디스플레이부(120)가 별개의 장치로 분리되어 있지 않은 구조이지만, 이는 하나의 예시에 불과함을 밝힌다. 설계 방식에 따라서는, 디스플레이부(120)를 제외한 디스플레이장치(100)의 나머지 하드웨어들이 영상처리 디바이스를 구성하고, 디스플레이부(120)가 별도의 장치로 분리된 형태의 디스플레이장치(100)도 가능하다.

디스플레이장치(100)는 인터페이스부(110)를 포함할 수 있다. 인터페이스부(110)는 디스플레이장치(100)가 다양한 종류의 외부장치(200)와 통신을 수행하고, 또한 데이터를 송수신하기 위한 인터페이스 회로를 포함한다. 인터페이스부(110)는 연결 방식에 따라서, 유선 통신연결을 위한 하나 이상의 유선인터페이스부(111)와, 무선 통신연결을 위한 하나 이상의 무선인터페이스부(112)를 포함한다.

유선인터페이스부(111)는 기 정의된 전송규격의 케이블이 접속되는 커넥터 또는 포트를 포함한다. 예를 들면, 유선인터페이스부(111)는 방송신호를 수신하도록 지상파 또는 위성방송 안테나에 접속되거나 케이블방송의 케이블이 접속되는 포트를 포함한다. 또는, 유선인터페이스부(111)는 다양한 영상처리장치와 접속하도록 HDMI, DP(DisplayPort), DVI, 컴포넌트, 컴포지트, S-Video, 썬더볼트(Thunderbolt) 등 다양한 유선전송규격의 케이블이 접속되는 포트를 포함한다. 또는, 유선인터페이스부(111)는 USB 기기와 접속하기 위한 USB 규격의 포트를 포함한다. 또는, 유선인터페이스부(111)는 광케이블이 접속되는 광포트를 포함한다. 또는, 유선인터페이스부(111)는 외부 마이크로폰이 접속되는 오디오 입력 포트와, 헤드셋, 이어폰, 외부 스피커 등이 접속되는 오디오 출력 포트를 포함한다. 또는, 유선인터페이스부(111)는 광역 네트워크에 접속하기 위해 게이트웨이, 라우터, 허브 등에 접속하는 이더넷 포트를 포함한다.

무선인터페이스부(112)는 다양한 종류의 무선통신 프로토콜에 대응하는 통신모듈, 통신칩 등의 구성요소들 중 적어도 하나 이상을 포함하는 양방향 통신회로를 포함한다. 예를 들면, 무선인터페이스부(112)는 와이파이(Wi-Fi) 방식에 따라서 AP(Access Point)와 무선통신을 수행하는 와이파이 통신칩과, 블루투스, Zigbee, Z-Wave, WirelessHD, WiGig, NFC 등의 무선통신을 수행하는 통신칩, IR 통신을 위한 IR 모듈, 모바일기기와 이동통신을 수행하는 이동통신칩 등을 포함한다.

디스플레이장치(100)는 디스플레이부(120)를 포함할 수 있다. 디스플레이부(120)는 프로세서(180)에 의해 처리되는 영상신호를 영상으로 표시하기 위한 화면을 형성한다. 디스플레이부(120)는 디스플레이 패널을 포함하는데, 디스플레이 패널의 구조에는 여러 가지 설계방식이 적용될 수 있다. 예를 들면, 디스플레이부(120)는 액정과 같은 수광형 구조의 디스플레이 패널 및 이에 광을 제공하는 백라이트를 포함할 수 있다. 또는, 디스플레이부(120)는 OLED와 같은 자발광 구조의 디스플레이 패널을 포함할 수 있다. 또는, 디스플레이부(120)는 복수의 마이크로 LED 모듈이 타일 형태로 조합되어 대화면을 형성하는 구조일 수도 있다.

디스플레이장치(100)는 사용자입력부(130)를 포함할 수 있다. 사용자입력부(130)는 사용자의 입력을 수행하기 위해 사용자가 조작할 수 있도록 마련된 다양한 종류의 사용자 입력 인터페이스 관련 회로를 포함한다. 사용자입력부(130)는 디스플레이장치(100)의 종류에 따라서 여러 가지 형태의 구성이 가능하며, 예를 들면 디스플레이장치(100)의 기계 버튼부 또는 전자 버튼부, 터치패드, 다양한 종류의 센서, 디스플레이부(120)에 설치된 터치스크린, 디스플레이장치(100)와 분리된 리모트 컨트롤러 등이 있다.

디스플레이장치(100)는 저장부(140)를 포함할 수 있다. 저장부(140)는 디지털화된 데이터를 저장한다. 저장부(140)는 전원의 제공 유무와 무관하게 데이터를 보존할 수 있는 비휘발성 속성의 스토리지(storage)와, 프로세서(180)에 의해 처리되기 위한 데이터가 로딩되며 전원이 제공되지 않으면 데이터를 보존할 수 없는 휘발성 속성의 메모리(memory)를 포함한다. 스토리지에는 플래시메모리(flash-memory), HDD(hard-disc drive), SSD(solid-state drive) ROM(Read Only Memory) 등이 있으며, 메모리에는 버퍼(buffer), 램(RAM; Random Access Memory) 등이 있다.

디스플레이장치(100)는 스피커(150)를 포함할 수 있다. 스피커(150)는 프로세서(180)에 의해 처리되는 오디오신호를 음향으로 출력한다. 스피커(150)는 디스플레이장치(100)에 설치되거나, 디스플레이부(120)에 설치되거나, 또는 별도의 장치로 마련될 수도 있다. 스피커(150)가 별도의 장치로 마련되는 경우, 스피커(150)는 인터페이스부(110)를 통해 연결된다.

디스플레이장치(100)는 카메라(160)를 포함할 수 있다. 카메라(160)는 CCD(Charge-Coupled Device), CMOS(Complementary Metal-Oxide Semiconductor) 등과 같은 소자를 사용함으로써, 디스플레이장치(100)의 외부 환경을 촬영하여 영상데이터를 생성한다. 카메라(160)는 이와 같이 생성되는 영상데이터를 프로세서(180)에 전달한다.

디스플레이장치(100)는 마이크로폰(170)을 포함할 수 있다. 마이크로폰(170)은 디스플레이장치(100)의 주변 환경에서 발생하는 소리를 수집하여 오디오데이터를 생성한다. 마이크로폰(170)은 이와 같이 생성되는 오디오데이터를 프로세서(180)에 전달한다. 본 실시예에서는, 카메라(160) 및 마이크로폰(170)이 사용자입력부(130)와 별개의 구성요소인 것으로 설명하였다. 그러나, 설계 방식에 따라서는 카메라(160) 또는 마이크로폰(170)이 사용자입력부(130)에 포함되는 구성으로 간주될 수도 있다.

한편, 본 실시예에서는, 디스플레이장치(100)가 카메라(160) 및 마이크로폰(170)을 포함하는 경우에 관해 설명하였다. 그러나, 설계 방식에 따라서는 카메라(160) 또는 마이크로폰(170)이 디스플레이장치(100)의 구성요소가 아니라 별개의 장치일 수도 있다. 즉, 디스플레이장치(100)는 주변 환경을 촬영한 영상데이터 또는 주변 환경의 소리를 수집한 오디오데이터를, 통신 가능한 별도의 장치(예를 들면, 카메라를 가진 촬영장치, 마이크로폰이 구비된 장치 등)로부터 획득할 수도 있다. 이 경우에, 디스플레이장치(100)는 해당 장치로부터 인터페이스부(110)를 통해 영상데이터 또는 오디오데이터를 수신한다.

디스플레이장치(100)는 프로세서(180)를 포함할 수 있다. 프로세서(180)는 인쇄회로기판 상에 장착되는 CPU, 칩셋, 버퍼, 회로 등으로 구현되는 하나 이상의 하드웨어 프로세서를 포함하며, 설계 방식에 따라서는 SOC(system on chip)로 구현될 수도 있다. 프로세서(180)는 영상컨텐트를 영상으로 표시하기 위해 디멀티플렉서, 디코더, 스케일러, 오디오 DSP(Digital Signal Processor), 앰프 등의 다양한 프로세스에 대응하는 모듈들을 포함한다. 여기서, 이러한 모듈들 중 일부 또는 전체가 SOC로 구현될 수 있다. 예를 들면, 디멀티플렉서, 디코더, 스케일러 등 영상처리와 관련된 모듈이 영상처리 SOC로 구현되고, 오디오 DSP는 SOC와 별도의 칩셋으로 구현되는 것이 가능하다.

프로세서(180)는 소정의 사용자가 영상통화를 수행하는 동안, 카메라(160)에 의해 촬영된 사용자의 영상데이터를 처리하여 디스플레이부(120)에 영상으로 표시하는 한편, 해당 영상데이터를 인터페이스부(110)를 통해 외부장치(200)에 전송한다. 또한, 프로세서(180)는 마이크로폰(170)에 의해 수집된 사용자의 음성데이터를 처리하여 스피커(150)를 통해 음향으로 출력하는 한편, 해당 음성데이터를 인터페이스부(110)를 통해 외부장치(200)에 전송한다.

이러한 영상통화가 수행되는 과정에서, 사용자가 의도하지 않은 프라이버시의 노출이 발생할 수 있다. 프라이버시는, 디스플레이부(120) 및 외부장치(200)에 표시되는 영상을 통해, 또는 스피커(150) 및 외부장치(200)에서 출력되는 음향을 통해 노출될 수 있다. 본 실시예에 따른 프로세서(180)는 영상통화 시 프라이버시 노출을 방지하기 위한 동작을 수행하는 바, 이하 이러한 실시예에 관해 설명한다.

도 3은 디스플레이장치의 제어방법을 나타내는 플로우차트이다.

도 2 및 도 3에 도시된 바와 같이, 하기 동작은 디스플레이장치(100)의 프로세서(180)에 의해 수행된다.

310 단계에서 디스플레이장치(100)는 영상통화를 위해 외부장치(200)에 통신 연결한다.

320 단계에서 디스플레이장치(100)는 디스플레이장치(100)의 사용자의 영상데이터를 획득한다. 사용자의 영상데이터는 디스플레이장치(100)가 구비한 카메라(160)로부터 획득될 수 있고, 또는 별도의 장치로부터 수신될 수도 있다.

330 단계에서 디스플레이장치(100)는 사용자의 영상데이터에 기반하여 사용자의 영상을 표시하고, 사용자의 영상데이터를 외부장치(200)에 전송한다.

340 단계에서 디스플레이장치(100)는 영상에 사용자가 아닌 오브젝트가 포함되는 것을 감지한다. 여기서, 사용자가 아닌 오브젝트는, 예를 들면 사용자가 아닌 다른 사람에 대응하는 오브젝트일 수 있다.

350 단계에서 디스플레이장치(100)는 해당 오브젝트가 영상통화에 연관되는지 여부를 식별한다. 오브젝트가 영상통화에 연관되는지 여부를 식별하기 위한 기준은 설계 방식에 따라서 다양하게 지정될 수 있으며, 본 기준의 몇 가지 예시에 관해서는 후술한다.

오브젝트가 영상통화에 연관되지 않는 것으로 식별되면(350 단계에서 "No"), 360 단계에서 디스플레이장치(100)는 영상 내 오브젝트에 대응하는 영역에 기 정의된 노출차단 처리가 수행되도록 영상데이터를 처리한다. 노출차단 처리는 프라이버시의 노출을 차단하도록 사전에 마련된 처리로서, 구체적인 예시에 관해서는 후술한다. 반면에, 오브젝트가 영상통화에 연관되는 것으로 식별되면(350 단계에서 "Yes"), 디스플레이장치(100)는 노출차단 처리를 수행하지 않고 영상통화를 수행한다.

이와 같이, 디스플레이장치(100)는 영상 내에서 영상통화를 수행하는 사용자 이외의 사람이 불시에 나타나는 경우에, 해당 사람이 영상통화에 연관되지 않는다고 식별되면 디스플레이장치(100) 및 외부장치(200)에서 표시되는 영상에서 해당 사람의 노출을 차단시킨다. 이로써, 본 실시예에 따르면 영상통화 시 의도치 않게 발생할 수 있는 프라이버시의 노출을 차단할 수 있다.

한편, 이상 설명한 동작은 인공지능(Artificial Intelligence)에 의해 적어도 일부가 수행될 수 있다. 예를 들면, 디스플레이장치(100)의 프로세서(180)는 상기와 같이 영상 내에서 사용자를 식별하는 동작, 영상 내에서 사용자가 아닌 오브젝트를 식별하는 동작, 또는 오브젝트가 영상통화에 연관되는지 여부를 식별하는 동작 등을 수행하기 위한 데이터 분석, 처리, 및 결과 정보 생성 중 적어도 일부를 규칙 기반 또는 인공지능 알고리즘으로서 기계학습, 신경망 네트워크(neural network), 또는 딥러닝 알고리즘 중 적어도 하나를 이용하여 수행할 수 있다.

일 예로, 디스플레이장치(100)의 프로세서(180)는 학습부 및 인식부의 기능을 함께 수행할 수 있다. 학습부는 학습된 신경망 네트워크를 생성하는 기능을 수행하고, 인식부는 학습된 신경망 네트워크를 이용하여 데이터를 인식(또는, 추론, 예측, 추정, 판단)하는 기능을 수행할 수 있다. 학습부는 신경망 네트워크를 생성하거나 갱신할 수 있다. 학습부는 신경망 네트워크를 생성하기 위해서 학습 데이터를 획득할 수 있다. 일 예로, 학습부는 학습 데이터를 디스플레이장치(100)의 저장부 또는 외부로부터 획득할 수 있다. 학습 데이터는, 신경망 네트워크의 학습을 위해 이용되는 데이터일 수 있으며, 상기한 동작을 수행한 데이터를 학습데이터로 이용하여 신경망 네트워크를 학습시킬 수 있다.

학습부는 학습 데이터를 이용하여 신경망 네트워크를 학습시키기 전에, 획득된 학습 데이터에 대하여 전처리 작업을 수행하거나, 또는 복수 개의 학습 데이터들 중에서 학습에 이용될 데이터를 선별할 수 있다. 일 예로, 학습부는 학습 데이터를 기 설정된 포맷으로 가공하거나, 필터링하거나, 또는 노이즈를 추가/제거하여 학습에 적절한 데이터의 형태로 가공할 수 있다. 학습부는 전처리된 학습 데이터를 이용하여 상기한 동작을 수행하도록 설정된 신경망 네트워크를 생성할 수 있다.

학습된 신경망 네트워크는, 복수의 신경망 네트워크(또는, 레이어)들로 구성될 수 있다. 복수의 신경망 네트워크의 노드들은 가중치를 가지며, 복수의 신경망 네트워크들은 일 신경망 네트워크의 출력 값이 다른 신경망 네트워크의 입력 값으로 이용되도록 서로 연결될 수 있다. 신경망 네트워크의 예로는, CNN (Convolutional Neural Network), DNN (Deep Neural Network), RNN (Recurrent Neural Network), RBM (Restricted Boltzmann Machine), DBN (Deep Belief Network), BRDNN (Bidirectional Recurrent Deep Neural Network) 및 심층 Q-네트워크 (Deep Q-Networks)과 같은 모델을 포함할 수 있다.

한편 인식부는 상기한 동작을 수행하기 위해, 타겟 데이터를 획득할 수 있다. 타겟 데이터는 디스플레이장치(100)의 저장부(140) 또는 외부로부터 획득된 것일 수 있다. 타겟 데이터는 신경망 네트워크의 인식 대상이 되는 데이터일 수 있다. 인식부는 타겟 데이터를 학습된 신경망 네트워크에 적용하기 전에, 획득된 타겟 데이터에 대하여 전처리 작업을 수행하거나, 또는 복수 개의 타겟 데이터들 중에서 인식에 이용될 데이터를 선별할 수 있다. 일 예로, 인식부는 타겟 데이터를 기 설정된 포맷으로 가공하거나, 필터링 하거나, 또는 노이즈를 추가/제거하여 인식에 적절한 데이터의 형태로 가공할 수 있다. 인식부는 전처리된 타겟 데이터를 신경망 네트워크에 적용함으로써, 신경망 네트워크로부터 출력되는 출력값을 획득할 수 있다. 인식부는 출력값과 함께, 확률값 또는 신뢰도값을 획득할 수 있다.

한편, 디스플레이장치(100)가 영상데이터에 기반한 영상을 표시하는 시점(예를 들면 360 단계)은, 디스플레이장치(100)가 카메라(160)의 촬영에 의한 영상데이터를 획득하는 시점보다 소정 시간의 지연이 발생한다. 이 시간의 지연은, 디스플레이장치(100)에서 수행되는 데이터의 전달 및 처리 과정에서 발생하는 것이기도 하지만, 카메라(160)가 감지하는 화각의 범위 및 영상의 폭 사이의 관계에 따른 것일 수도 있다. 디스플레이장치(100)는 이 시간의 지연을 활용하여, 우선적으로 오브젝트에 노출차단 처리를 수행한 이후, 해당 오브젝트가 처리 대상이 아니라고 식별되면 노출차단 처리를 해제할 수도 있다. 이하, 카메라(160)의 화각 및 영상의 폭 사이의 관계에 관해 설명한다.

도 4는 디스플레이장치의 카메라의 화각을 나타내는 예시도이다.

도 4에 도시된 바와 같이, 디스플레이장치(100)는 영상통화 시에 카메라(160)에 의해 소정의 제1사용자(10)를 촬영하여 제1사용자(10)의 영상(101)을 표시한다. 여기서, 제1사용자(10)는 영상통화에 연관되는 통화자이다. 카메라(160)가 촬영 가능한 공간의 각도의 한계를, 해당 카메라(160)의 화각이라고 지칭한다. 설명을 간결하게 하기 위해, 본 실시예에서는 화각의 예시 중에서 좌우방향에 따른 화각의 경우에 관해 설명한다.

디스플레이장치(100)는 카메라(160)에 의해 촬영된 영상데이터를 처리하여 영상(101)을 표시하는데, 영상(101)에 표시되는 범위는 카메라(160)의 화각에 의한 범위보다 작다. 즉, 카메라(160)의 화각을 V, 영상(101)에 표시되는 범위의 각도를 V1라고 할 때, V>V1이 된다. 디스플레이장치(100)는 카메라(160)의 화각에 포함되는 영역 중에서, 제1사용자(10)의 좌측 영역 및 제1사용자(10)의 우측 영역을 잘라내고, 제1사용자(10)를 포함하는 중앙 영역을 추출하여 영상(101)을 표시한다. 제1사용자(10)를 포함하는 중앙 영역에 대응하는 범위의 각도를 V1, 제1사용자(10)의 좌측 영역에 대응하는 범위의 각도를 V2, 제1사용자(10)의 우측 영역에 대응하는 범위의 각도를 V3라고 할 때, V=V1+V2+V3가 된다.

만일 카메라(160)에 의해 각도 V2, V3에 대응하는 영역에 제2사용자(30)가 새로 감지되는 경우를 고려한다. 본 영역에 있는 제2사용자(30)가 카메라(160)에 최초 감지되는 시점에서는, 제2사용자(30)가 영상통화에 연관되는지 여부는 아직 식별되지 않으며, 표시되는 영상(101) 내에 제2사용자(30)는 아직 나타나지 않는다. 즉, 카메라(160)에 의해 제2사용자(30)가 최초 감지되는(보다 정확하게는, 카메라(160)에 의해 촬영된 영상데이터로부터 제2사용자(30)가 최초 식별되는) 제1시점과, 영상(101)에 제2사용자(30)가 나타나는 제2시점 사이에는 소정의 시간 간격이 존재한다.

본 실시예에 따른 디스플레이장치(100)는 카메라(160)에 의해 촬영되는 영상데이터에 대해, 제1시점에 일단 영상(101)에서 제2사용자(30)에 대응하는 영역에 대한 노출차단 처리를 수행한다. 이후, 디스플레이장치(100)는 상기한 시간 간격 동안에, 제2사용자(30)가 영상통화에 연관되는지 여부를 식별한다. 디스플레이장치(100)는 제2사용자(30)가 영상통화에 연관되지 않는 것으로 식별되면 상기한 노출차단 처리를 계속 수행하고, 제2사용자(30)가 영상통화에 연관되는 것으로 식별되면 상기한 노출차단 처리를 해제한다. 이로써, 디스플레이장치(100)는 가능한 한 사용자가 노출차단 처리를 실시간으로 느끼도록 제공할 수 있다.

이하, 노출차단 처리를 수행하는 경우(도 3의 360 단계 참조)의 영상(101)의 예시에 관해 설명한다.

도 5는 디스플레이장치가 영상에 노출차단 처리를 수행하는 경우를 나타내는 예시도이다.

도 5에 도시된 바와 같이, 디스플레이장치(100)는 영상통화 동안에 카메라(160)에 의해 제1사용자(10)를 포함한 주변 환경을 촬영하여, 주변 환경을 나타내는 영상(510)을 표시한다. 본 실시예에서는 디스플레이장치(100)에 제1사용자(10)에 관한 영상(510)을 표시하고 있는 것으로 표현하고 있지만, 이는 본 발명의 실시예에 연관된 내용만을 간결하게 나타내기 위한 것이다. 디스플레이장치(100)는 제1사용자(10)에 관한 영상(510)과 함께, 영상통화의 상대방에 관한 영상(예를 들어 도 1의 102번)을 표시할 수 있다.

영상(510)이 표시되는 동안에 카메라(160)에 의해 제2사용자(30)가 새로 감지되고, 감지된 제2사용자(30)가 영상통화에 연관되지 않은 것으로 식별되면, 디스플레이장치(100)는 영상(510)에서 제2사용자(30)에 대응하는 영역(511)에 대해 노출차단 처리를 수행한다. 여기서, 제2사용자(30)에 대응하는 영역(511)은, 영상(510) 내에서 적어도 제2사용자(30)에 대응하는 오브젝트를 포함하는 영역으로서, 해당 오브젝트 주위의 배경 일부를 더 포함할 수도 있다.

노출차단 처리는, 표시되는 영상(510)을 통해 제2사용자(30)가 노출되는 것을 방지하기 위한 것이므로, 설계 방식에 따라서 다양한 영상처리 방법이 적용될 수 있다.

노출차단의 한 가지 예시로서, 디스플레이장치(100)는 제2사용자(30)에 대응하는 영역(511)에 블러(blur) 처리를 수행할 수 있다. 블러는 이미지의 초점을 탈초점 상태로 함으로써, 이미지를 전체적으로 흐릿하게 하여 오브젝트의 윤곽의 인식이 곤란하도록 처리하는 방법이다. 블러 처리된 이미지는 그 윤곽이 모호해지므로, 이미지를 보는 사람은 이미지 내에서 특정 오브젝트를 인식하기가 곤란해진다.

다른 예시로서, 디스플레이장치(100)는 제2사용자(30)에 대응하는 영역(511)에 기 정의된 이미지를 오버레이시킬 수 있다. 즉, 디스플레이장치(100)는 해당 영역(511)을 노출차단용으로 미리 마련된 이미지로 덮음으로써, 영상(510)에서 제2사용자(30)를 식별할 수 없도록 한다.

다른 예시로서, 디스플레이장치(100)는 제2사용자(30)에 대응하는 영역(511)의 해상도를 영상(510)의 타 영역에 비해 낮출 수 있다. 소정 이미지의 해상도가 낮아지면 해당 이미지 내에서 전경 및 배경의 구분이 곤란해지는 효과가 있다.

다른 예시로서, 디스플레이장치(100)는 제2사용자(30)에 대응하는 영역(511)의 투명도를 높일 수 있다. 디스플레이장치(100)는 해당 영역(511)의 투명도를 높여서, 영상(510) 내에서 제2사용자(30)의 윤곽이 인식되기 곤란하도록 한다. 이상 설명한 예시들 이외에도, 다양한 방법이 노출차단의 방법으로 적용될 수 있다.

이하, 노출차단 처리를 수행하지 않는 경우의 예시에 관해 설명한다.

도 6은 영상에 노출차단 처리를 수행하지 않는 경우를 나타내는 예시도이다.

도 6에 도시된 바와 같이, 디스플레이장치(100)는 영상통화 동안에 카메라(160)에 의해 제1사용자(10)를 포함한 주변 환경을 촬영하여, 주변 환경을 나타내는 영상(610)을 표시한다. 영상(610)이 표시되는 동안에 카메라(160)에 의해 제2사용자(30)가 새로 감지되고, 감지된 제2사용자(30)가 영상통화에 연관되는 것으로 식별되면, 디스플레이장치(100)는 영상(610)에서 제2사용자(30)에 대응하는 영역에 대해 노출차단 처리를 수행하지 않는다. 또는, 이미 영상(610)에서 제2사용자(30)에 대응하는 영역에 대해 노출차단 처리가 수행된 경우에, 디스플레이장치(100)는 영상(610)에서 해당 노출차단 처리를 해제한다. 즉, 영상(610)에는 제1사용자(10)의 모습 및 제2사용자(30)의 모습이 함께 나타나게 된다.

한편, 앞선 실시예에서 설명한 노출차단 처리의 방법 및 예시는, 영상에 관련된 것이다. 그러나, 영상통화는 통상적으로 시각정보 및 청각정보가 모두 관여되므로, 노출차단 처리는 영상에만 한정되지 않는다. 즉, 노출차단 처리는 새로 감지된 제2사용자(30)의 음성에 관련된 처리방법을 포함할 수 있다.

예를 들어, 디스플레이장치(100)는 영상통화 동안 제2사용자(30)를 새로 감지한다. 디스플레이장치(100)는 감지된 제2사용자(30)가 영상통화에 연관되는 것으로 식별하면, 수집되는 제2사용자(30)의 음성이 음향으로 출력되도록 허용한다.

반면, 디스플레이장치(100)는 제2사용자(30)가 영상통화에 연관되는 것으로 식별하면, 수집되는 제2사용자(30)의 음성이 음향으로 출력되는 것을 차단한다. 즉, 디스플레이장치(100)는 제2사용자(30)의 음성을 뮤트(mute) 처리한다. 또는, 디스플레이장치(100)는 제2사용자(30)의 음성을 완전히 뮤트 처리하지 않고, 기 정의된 레벨만큼 제2사용자(30)의 음성의 음향출력을 낮출 수도 있다.

한편, 디스플레이장치(100)가 제2사용자(30)가 영상통화에 연관되는지 여부를 식별하기 위해, 설계 방식에 따라서 다양한 방법이 적용될 수 있다. 이하, 제2사용자(30)의 영상통화 관련 여부를 식별하는 예시에 관해 설명한다(도 3의 350 단계 참조).

도 7은 디스플레이장치가 제2사용자의 영상통화 연관 여부를 판단하는 기준을 나타내는 예시도이다.

도 7에 도시된 바와 같이, 디스플레이장치(100)는 제1사용자가 영상통화를 하는 동안에 새로 제2사용자를 감지할 수 있다(710). 이 경우에, 디스플레이장치(100)는 사전에 정의된 판단 기준(720)에 기초하여, 제2사용자가 영상통화에 연관되는 것으로 식별하거나(730), 아니면 제2사용자가 영상통화에 연관되지 않은 것으로 식별할 수 있다(740). 여기서, 적용되는 판단 기준(720)은 디스플레이장치(100)의 설계 방식에 따라서 다양한 방법이 적용될 수 있으므로, 어느 한 가지로 한정되지 않는다. 이하, 판단 기준(720)의 몇 가지 예시에 관해 설명한다. 디스플레이장치(100)는 설계 방식에 따라서 어느 하나의 판단 기준(720)을 사용할 수 있고, 둘 이상의 판단 기준(720)을 함께 사용할 수도 있다.

판단 기준(720)의 한 가지 예시로서, 영상통화에 연관된 통화자들의 리스트(721)가 사전에 마련될 수 있다. 본 리스트(721)는 영상통화에 연관되는 하나 이상의 사용자의 ID를 포함할 수 있다. 디스플레이장치(100)는 영상 내에서 식별된 제2사용자의 ID가 리스트(721)에 있는지 검색한다. 디스플레이장치(100)는 제2사용자의 ID가 리스트(721)에 있으면 제2사용자가 영상통화에 연관되는 것으로 식별하고, 제2사용자의 ID가 리스트(721)에 없으면 제2사용자가 영상통화에 연관되지 않은 것으로 식별할 수 있다.

디스플레이장치(100)는 제2사용자의 ID가 리스트(721)에 없는데, 다른 방법을 통해 제2사용자가 영상통화에 연관되는 것으로 식별되면, 제2사용자의 ID를 리스트(721)에 기록함으로써 리스트(721)를 업데이트할 수 있다. 반대로, 디스플레이장치(100)는 제2사용자의 ID가 리스트(721)에 있는데, 다른 방법을 통해 제2사용자가 영상통화에 연관되지 않는 것으로 식별되면, 제2사용자의 ID를 리스트(721)로부터 삭제함으로써 리스트(721)를 업데이트할 수도 있다.

여기서, 리스트(721)는 사용자의 직접 입력을 통해 업데이트될 수도 있다. 또는, AI(722)를 활용하여 리스트(721)가 업데이트될 수도 있다. 디스플레이장치(100)는 AI(722)를 통해 제2사용자의 얼굴 및 목소리의 학습을 수행하고, 다양한 방법을 통해 제2사용자의 영상통화 연관 여부를 식별하여 식별 결과를 리스트(721)에 업데이트할 수도 있다.

AI(722)를 활용한 제2사용자의 학습 방법으로는, 예를 들면 얼굴 인식(facial recognition), 화자 인식(speaker recognition), 음성 위치 추정 알고리즘 등 다양한 방법이 사용될 수 있다. 디스플레이장치(100)는 사전에 등록된 얼굴 정보 및 음성 정보의 DB에 기초하여, 획득한 제2사용자의 얼굴 정보 및 음성 정보를 매칭시켜, 제2사용자를 식별할 수 있다.

얼굴 정보 및 음성 정보의 DB의 사전 구축과 관련하여, 디스플레이장치(100)는 영상통화의 시작 전 단계에서 참여자의 얼굴 및 음성을 기록하여 DB 또는 모델에 등록할 수 있다. 모델의 용량이 큰 경우에, 디스플레이장치(100)는 영상을 서버에 전송하고, 서버로부터 인식 결과를 수신할 수도 있다.

리스트(721)에 제2사용자를 통화자로 등록시키는 방법은 다양하게 마련된다. 예를 들어, 디스플레이장치(100)는 영상통화의 개시 시점부터 감지되는 사람은 자동으로 리스트(721)에 통화자로 등록시킬 수 있다. 이후, 디스플레이장치(100)는 새로 감지되는 사람을 영상통화 연관 여부에 따라서 리스트(721)에 등록시킨다.

판단 기준(720)의 다른 예시로서, AI(722)가 사용될 수 있다. AI(722)에 적용할 패러미터가 무엇인가에 따라서 AI(722)의 식별 결과가 다양하게 마련될 수 있다.

예를 들면, 디스플레이장치(100)는 AI(722)를 사용하여, 카메라에 의해 촬영된 영상 내에서 제2사용자의 시선이 향하는 방향을 추적할 수 있다. 디스플레이장치(100)는 제2사용자의 시선이 카메라를 기 설정된 시간 동안 또는 기 설정된 회수 이상 향하는 것으로 분석되면 제2사용자가 영상통화에 연관되는 것으로 식별하고, 그렇지 않다고 분석되면 제2사용자가 영상통화에 연관되지 않는 것으로 식별할 수 있다.

또는, 디스플레이장치(100)는 AI(722)를 사용하여, 마이크로폰에 수집되는 제2사용자의 음성의 컨텍스트(context)를 분석하고, 컨텍스트의 분석 결과에 따라서 제2사용자의 영상통화 연관 여부를 식별할 수도 있다. 제2사용자의 음성은 음성인식기술을 통해 텍스트로 변환되고, AI(722)를 통해 제2사용자의 텍스트가 문맥상 영상통화의 상대방과 대화하는 내용인지 여부가 식별될 수 있다. 디스플레이장치(100)는 제2사용자의 음성의 분석 결과, 제2사용자가 상대방과 대화하는 것으로 식별되면 제2사용자가 영상통화에 연관되는 것으로 식별하고, 그렇지 않다고 분석되면 제2사용자가 영상통화에 연관되지 않는 것으로 식별할 수 있다.

이상 실시예들에서 설명한 바와 같은 AI(722)의 동작은, 디스플레이장치(100) 또는 이와 통신하는 서버에 탑재될 수 있다. AI(722)는 기계 학습 알고리즘을 활용하여 다양한 제반 시스템에 적용될 수 있다. AI 시스템은 인간 수준 내지는 인간 수준에 버금가는 지능을 구현하는 컴퓨터 시스템으로서, 기계, 장치 또는 시스템이 자율적으로 학습하고 판단하며, 사용 경험의 누적에 기반하여 인식률 및 판단 정확도가 향상되는 시스템이다. AI 기술은 입력되는 데이터들의 특징을 스스로 분류하고 학습하는 알고리즘을 이용한 기계학습 기술 및 알고리즘을 활용하여, 인간의 두뇌의 인지, 판단 등의 기능을 모사하는 요소 기술들로 구성된다.

요소 기술들은, 예를 들면 인간의 언어와 문자를 인식하는 언어적 이해 기술, 사물을 인간의 시각처럼 인식하는 시각적 이해 기술, 정보를 판단하여 논리적으로 추론하고 예측하는 추론 및 예측 기술, 인간의 경험 정보를 지식 데이터로 처리하는 지식 표현 기술, 차량의 자율 주행이나 로봇의 움직임을 제어하는 동작 제어 기술 중 적어도 어느 하나를 포함한다. 여기서, 언어적인 이해는 인간의 언어 또는 문자를 인식하고 응용 처리하는 기술로서, 자연어의 처리, 기계 번역, 대화 시스템, 질의 응답, 음성 인식 및 합성 등을 포함한다. 추론 예측은 정보를 판단하여 논리적으로 예측하는 기술로서, 지식 및 확률 기반 추론, 최적화 예측, 선호 기반 계획, 추천 등을 포함한다. 지식 표현은 인간의 경험 정보를 지식 데이터로 자동화 처리하는 기술로서, 데이터의 생성 및 분류와 같은 지식 구축, 데이터의 활용과 같은 지식 관리 등을 포함한다.

판단 기준(720)의 다른 예시로서, 제스처 감지 결과(723)가 사용될 수 있다. 디스플레이장치(100)는 카메라에 의해 촬영되는 영상데이터 내에서 제2사용자의 제스처 동작을 식별할 수 있다. 디스플레이장치(100)는 제2사용자가 사전 정의된 제스처를 수행하는 것으로 식별되면 제2사용자가 영상통화에 연관되는 것으로 식별하고, 그렇지 않다고 분석되면 제2사용자가 영상통화에 연관되지 않는 것으로 식별할 수 있다.

이하, 제스처 감지 결과(723)를 사용하는 예시에 관해 설명한다.

도 8은 디스플레이장치가 제2사용자의 제스처에 대응하여 선택적으로 노출차단 처리를 해제하는 원리를 나타내는 예시도이다.

도 8에 도시된 바와 같이, 디스플레이장치(100)는 제1사용자(10)가 영상통화를 진행하는 동안 제1사용자(10)를 포함하는 영상을 표시한다. 영상통화 도중에 새로 제2사용자(30)가 감지되고 제2사용자(30)가 영상통화에 연관되지 않는다고 식별되면, 디스플레이장치(100)는 소정 시점 T1에, 제2사용자(30)에 대한 노출차단 처리(811)가 수행된 영상(810)을 표시한다. 본 영상(810)은 제1사용자(10)에 대응하는 오브젝트 및 제2사용자(30)에 대응하는 오브젝트를 포함한다. 제1사용자(10)에 대응하는 오브젝트는 노출차단 처리가 수행되지 않은 반면, 제2사용자(30)에 대응하는 오브젝트에 대해서는 노출차단 처리가 수행된다.

그런데, 시점 T1 이후에, 제2사용자(30)가 사전 정의된 제스처를 수행하는 경우를 고려한다. 본 제스처는 영상통화에 연관됨을 나타내도록 미리 정의된 것이다. 디스플레이장치(100)는 제2사용자(30)가 해당 제스처를 수행하는 것으로 식별되면, 시점 T2에서, 제2사용자(30)에 대한 노출차단 처리(811)를 해제시켜 영상(820)을 표시한다. 즉, 디스플레이장치(100)는 초기에 제2사용자(30)가 영상통화에 연관되지 않는다고 식별하여 노출차단 처리(811)를 수행했다고 해도, 이후 제2사용자(30)가 특정 제스처를 취하는 것으로 감지되면 제2사용자(30)가 영상통화에 연관되는 것으로 식별할 수 있다.

그런데, 제스처가 반드시 영상통화에 연관되는 경우에만 정의되는 것은 아니며, 반대로 영상통화에 연관되지 않는 경우에도 정의될 수 있다. 이하, 이러한 실시예에 관해 설명한다.

도 9는 디스플레이장치가 제2사용자의 제스처에 대응하여 선택적으로 노출차단 처리를 수행하는 원리를 나타내는 예시도이다.

도 9에 도시된 바와 같이, 디스플레이장치(100)는 제1사용자(10)가 영상통화를 진행하는 동안 제1사용자(10)를 포함하는 영상을 표시한다. 영상통화 도중에 새로 제2사용자(30)가 감지되고 제2사용자(30)가 영상통화에 연관되는 것으로 식별되면, 디스플레이장치(100)는 소정 시점 T1에, 제1사용자(10)와 함께 제2사용자(30)가 나타나는 영상(910)을 표시한다. 본 영상(910)에서는 제1사용자(10)의 경우와 동일하게, 제2사용자(30)에 대응하는 오브젝트에 노출차단 처리가 수행되지 않는다.

그런데, 시점 T1 이후에, 제2사용자(30)가 사전 정의된 제스처를 수행하는 경우를 고려한다. 본 제스처는 영상통화에 연관되지 않음을 나타내도록 미리 정의된 것이다. 디스플레이장치(100)는 제2사용자(30)가 해당 제스처를 수행하는 것으로 식별되면, 시점 T2에서, 제2사용자(30)에 대응하는 오브젝트에 대한 노출차단 처리(921)를 수행하여 영상(920)을 표시한다.

이와 같이, 제스처는 제2사용자(30)가 영상통화에 연관되는 것을 나타내도록 정의될 수도 있고, 반대로 영상통화에 연관되지 않는 것을 나타내도록 정의될 수도 있다.

한편, 초기에 복수의 사용자가 영상통화를 수행하다가, 모든 사용자가 카메라의 화각 범위 밖으로 벗어나는 경우도 있다. 이하, 이러한 실시예에 관해 설명한다.

도 10은 디스플레이장치에서 복수의 사용자 중 일부가 카메라의 화각 범위 밖으로 벗어난 경우를 나타내는 예시도이다.

도 10에 도시된 바와 같이, 디스플레이장치(100)는 복수의 사용자, 예를 들면 제1사용자(10) 및 제2사용자(30) 두 명이 영상통화를 할 때, 영상(1000)을 표시한다. 본 영상(1000)은, 초기에 제1사용자(10) 및 제2사용자(30)가 카메라(160)의 화각 범위(V) 내에 있는 경우에, 제1사용자(10) 대응 오브젝트 및 제2사용자(30) 대응 오브젝트를 함께 포함한다.

이후, 제1사용자(10)가 카메라(160)의 화각 범위(V) 내에 있는 반면에 제2사용자(30)가 카메라(160)의 화각 범위(V) 밖으로 벗어나도록 이동하는 경우를 고려한다. 카메라(160)에는 제2사용자(30)가 더 이상 촬영되지 않으므로, 영상(1000)은 제1사용자(10) 대응 오브젝트만을 포함하게 된다. 이상의 과정에서, 디스플레이장치(100)는 영상통화를 위한 통상적인 동작 이외에 추가적인 동작을 수행하지는 않는다.

도 11은 디스플레이장치에서 모든 사용자가 카메라의 화각 범위 밖으로 벗어난 경우를 나타내는 예시도이다.

도 11에 도시된 바와 같이, 제1사용자(10)마저 카메라(160)의 화각 범위(V)를 벗어나게 되면, 카메라(160)의 화각 범위(V) 내에는 영상통화를 수행하는 어떠한 사람도 없게 된다. 디스플레이장치(100)는 카메라(160)를 통해 이러한 상태를 감지하면(그리고, 영상통화가 종료된 것이 아니라면), 영상(1100) 전체에 노출차단 처리를 수행한다. 노출차단 처리의 예시는 앞선 실시예에서 설명한 바와 같다.

카메라(160)의 화각 범위(V) 내에 어떠한 사람도 없다고 해도, 영상통화가 종료된 것이 아니라면 카메라(160)는 촬영을 계속하게 되고, 촬영에 의한 영상데이터에는 디스플레이장치(100)의 주변 환경이 나타나게 될 것이다. 디스플레이장치(100)는 영상(1100) 전체에 노출차단 처리를 함으로써, 카메라(160)의 촬영에 의한 영상데이터가 영상통화의 상대측에 전달되더라도 프라이버시의 노출이 최소화되도록 한다.

본 실시예는 영상통화의 통화자가 복수가 아니라 단일 통화자인 경우에도 동일하게 적용된다. 즉, 초기부터 제1사용자(10)만이 영상통화를 수행하였으며, 이후 제1사용자(10)가 카메라(160)의 화각 범위(V)를 벗어난다고 감지되면, 디스플레이장치(100)는 영상(1100) 전체에 노출차단 처리를 수행한다.

한편, 디스플레이장치(100)는 특정 조건을 만족하는 경우에 노출차단 처리 여부를 판단하도록 할 수 있다. 즉, 디스플레이장치(100)는 도 3의 350 단계를 무조건 수행할 수도 있지만, 설계 방식에 따라서는 특정 조건에 따라서 도 3의 350 단계를 수행하거나 또는 수행하지 않을 수 있다. 이하, 이러한 실시예에 관해 설명한다.

도 12는 디스플레이장치 전방에서 사용자의 위치 별 이격 거리를 나타내는 예시도이다.

도 12에 도시된 바와 같이, 디스플레이장치(100)는 카메라(160)에 의해 카메라(160) 전방에 있는 사용자(10)를 촬영한다. 디스플레이장치(100)는 카메라(160)에 의해 촬영된 영상데이터에서, 디스플레이장치(100) 또는 카메라(160)로부터 사용자(10)가 이격된 거리를 산출할 수 있다. 사용자(10)의 이격 거리는 다양한 방법에 의해 산출될 수 있으며, 예시로서 AI가 활용될 수 있다. 디스플레이장치(100)는 영상데이터에서 사용자(10) 대응 오브젝트를 식별하고, 해당 오브젝트의 뎁스(depth) 분석을 통해 사용자(10)의 이격 거리를 산출할 수 있다. 또는, 카메라(160)가 복수 개인 경우에, 디스플레이장치(100)는 삼각법을 사용하여 사용자(10)의 이격 거리를 산출할 수도 있다. 또는, 초음파 센서가 구비된 경우에, 디스플레이장치(100)는 센서로부터 방사된 초음파가 사용자(10)에 의해 반사되어 센서에 도달하는 시간을 계측하고, 계측 결과를 기반으로 사용자(10)의 이격 거리를 산출할 수도 있다.

카메라(160) 및 사용자(10) 사이의 거리와, 영상통화 시 표시되는 영상의 관련성을 고려하면 다음과 같다. 사용자(10)의 이격 거리가 상대적으로 가깝다면, 영상 내에서 사용자(10)의 모습은 상대적으로 넓은 면적을 점유한다. 이 경우에는 영상에서 사용자(10) 모습이 아닌 배경을 통한 프라이버시의 노출 위험은 상대적으로 적다고 예상된다. 반면에, 사용자(10)의 이격 거리가 상대적으로 멀다면, 영상 내에서 사용자(10)의 모습은 상대적으로 적은 면적을 점유한다. 이 경우에 영상 내에서 배경이 넓어지므로, 프라이버시 노출 위험은 상대적으로 높아진다.

이러한 점을 고려하여, 디스플레이장치(100)는 디스플레이장치(100) 또는 카메라(160)로부터의 이격 거리 Dt를 사전에 문턱값으로 정의한다. 디스플레이장치(100)는 사용자(10)의 이격 거리를 산출하고, 사용자(10)의 이격 거리가 Dt보다 가까운 D1이면 노출차단 처리에 관한 판단을 수행하지 않으며, 사용자(10)의 이격 거리가 Dt보다 먼 D2이면 노출차단 처리에 관한 판단을 수행한다.

또는, 디스플레이장치(100)는 사용자(10)의 이격 거리가 아니라, 카메라(160)에 의해 촬영되는 영상통화용 영상 내에서 사용자(10) 대응 오브젝트의 면적 비율에 따라서 선택적으로 노출차단 처리에 관한 판단을 수행할 수도 있다. 디스플레이장치(100)는 영상통화용 영상 내에서 사용자(10) 대응 오브젝트의 면적 비율이 사전 정의된 문턱값보다 크면(즉, 배경의 면적 비율이 상대적으로 작으면) 노출차단 처리에 관한 판단을 수행하지 않으며, 사용자(10) 대응 오브젝트의 면적 비율이 문턱값보다 작으면(즉, 배경의 면적 비율이 상대적으로 크면) 노출차단 처리에 관한 판단을 수행할 수도 있다.

또는, 디스플레이장치(100)는 영상통화용 영상의 표시가 타 장치로 전환되는 것을 감지할 수 있다. 예를 들어 사용자(10)가 모바일장치인 디스플레이장치(100)를 사용하여 영상통화를 하다가, 디스플레이장치(100)를 TV 위에 거치시켜 영상통화를 진행하는 경우를 고려한다. 디스플레이장치(100)를 TV 위에 거치시킴에 따라서, 영상은 디스플레이장치(100)로부터 TV로 전환되어 표시되게 된다. 디스플레이장치(100)를 사용하여 영상통화를 하는 경우에는 사용자(10)가 디스플레이장치(100)에 근접하지만, 디스플레이장치(100)를 TV 위에 거치시켜 영상통화를 하는 경우에는 사용자(10)가 디스플레이장치(100)로부터 상대적으로 멀어지게 된다. 이러한 점을 고려하여, 디스플레이장치(100)는 영상통화 동안에 영상의 표시가 타 장치로 전환되는 것을 감지하면 노출차단 처리에 관한 판단을 수행하고, 그렇지 않으면 해당 판단을 수행하지 않는다.

또는, 디스플레이장치(100)는 모바일장치인 경우에 움직임 여부를 감지할 수 있다. 모바일장치인 디스플레이장치(100)는 영상통화 시 사용자(10)가 손으로 파지하므로, 디스플레이장치(100)가 구비한 가속도센서, 자이로센서 등에 의해 움직임이 감지된다. 그런데, 디스플레이장치(100)를 소정 위치에 거치시키면 움직임은 감지되지 않는다. 이에, 디스플레이장치(100)는 영상통화 동안에 디스플레이장치(100)의 움직임이 감지되지 않으면 노출차단 처리에 관한 판단을 수행하고, 디스플레이장치(100)의 움직임이 감지되면 노출차단 처리에 관한 판단을 수행하지 않는다.

이와 같이, 노출차단 처리 여부를 판단할 것인가에 관한 조건은 다양한 예시가 적용될 수 있다.

한편, 앞선 실시예들에서는 영상의 노출차단 처리를 새로 감지된 사용자의 대응 영역에 대해서만 적용하는 경우에 관해 설명하였다. 그러나, 영상통화 동안에 새로운 사용자가 감지되지 않더라도, 영상통화를 수행하는 사용자 이외의 영역(즉, 배경)에 대해 노출차단 처리가 수행될 수 있다. 이하, 이러한 실시예에 관해 설명한다.

도 13은 디스플레이장치가 영상의 배경에 노출차단 처리를 하는 경우를 나타내는 예시도이다.

도 13에 도시된 바와 같이, 디스플레이장치(100)는 영상통화가 수행되는 동안 카메라(160)에 의해 사용자(10)를 촬영하여 사용자(10)가 나타나는 영상(1300)을 표시한다. 본 영상(1300)은 적어도 사용자(10)에 대응하는 영역을 포함하는 전경(1310)과, 전경(1310)을 제외한 나머지 영역인 배경(1320)으로 구분된다. 디스플레이장치(100)는 AI 등에 기초한 다양한 영상분석방법을 통해 전경(1310)과 배경(1320)을 구분할 수 있다. 따라서, 사용자(10)가 카메라(160) 앞에서 이동하면서 영상통화를 하더라도, 디스플레이장치(100)는 카메라(160)에 의한 영상데이터의 각 영상프레임마다 배경(1320)을 식별할 수 있다.

디스플레이장치(100)는 식별된 배경(1320)에 노출차단 처리를 수행하고, 전경(1310)에 노출차단 처리를 수행하지 않는다. 즉, 영상(1300)은 영상처리를 수행하는 사용자(10)를 그대로 나타내는 반면에, 배경(1320)에 노출차단 처리가 됨으로써 프라이버시 노출을 최소화시킨다.

본 발명의 예시적 실시예에 따른 방법들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 이러한 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 예를 들어, 컴퓨터 판독 가능 매체는 삭제 가능 또는 재기록 가능 여부와 상관없이, USB 메모리장치와 같은 비휘발성 저장 장치, 또는 예를 들어 RAM, ROM, 플래시메모리, 메모리 칩, 집적 회로와 같은 메모리, 또는 예를 들어 CD, DVD, 자기 디스크 또는 자기 테이프 등과 같은 광학 또는 자기적으로 기록 가능함과 동시에 기계(예를 들어, 컴퓨터)로 읽을 수 있는 저장 매체에 저장될 수 있다. 이동 단말 내에 포함될 수 있는 메모리는 본 발명의 실시 예들을 구현하는 지시들을 포함하는 프로그램 또는 프로그램들을 저장하기에 적합한 기계로 읽을 수 있는 저장 매체의 한 예임을 알 수 있을 것이다. 본 저장 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어의 기술 분야에서 숙련된 기술자에게 공지되어 사용 가능한 것일 수도 있다. 또는, 본 컴퓨터 프로그램 명령은 컴퓨터 프로그램 프로덕트에 의해 구현될 수도 있다.

100 : 디스플레이장치
110 : 인터페이스부
120 : 디스플레이부
150 : 스피커
160 : 카메라
170 : 마이크로폰
180 : 프로세서
200 : 외부장치

Claims (20)

1. 디스플레이장치에 있어서,
   디스플레이와,
   외부장치와 통신하게 마련된 인터페이스와,
   상기 인터페이스를 통해 상기 외부장치의 상대방과 영상통화를 수행하기 위해 카메라에 의해 캡쳐된 사용자의 영상을 상기 디스플레이에 표시하고,
   상기 영상에 상기 사용자와 상이한 오브젝트가 포함되는 것에 기초하여 상기 오브젝트가 상기 영상통화에 연관되는지 여부를 식별하고,
   상기 오브젝트가 상기 영상통화에 연관되는지 여부에 대응하여, 상기 영상 내에서 상기 오브젝트에 대응하는 영역에 노출차단 처리를 선택적으로 수행하는 프로세서를 포함하는 디스플레이장치.
2. 제1항에 있어서,
   상기 프로세서는, 상기 영상에서 상기 오브젝트에 대응하는 영역에 상기 노출차단 처리를 수행하고, 상기 오브젝트가 상기 영상통화에 연관되는 것으로 식별되는 것에 기초하여 상기 노출차단 처리를 해제하는 디스플레이장치.
3. 제1항에 있어서,
   상기 프로세서는, 상기 오브젝트가 상기 사용자와 상이한 상기 영상통화의 신규 사용자인 것에 기초하여 상기 오브젝트가 상기 영상통화에 연관되는지 여부를 식별하는 디스플레이장치.
4. 제3항에 있어서,
   상기 영상통화에 연관된 통화자 계정의 리스트를 저장하는 저장부를 더 포함하고,
   상기 프로세서는, 상기 신규 사용자를 상기 저장부에 저장된 상기 리스트에서 검색하는 디스플레이장치.
5. 제3항에 있어서,
   상기 프로세서는, 상기 오브젝트의 시선이 상기 카메라를 향하는 것으로 식별되는 것에 기초하여 상기 오브젝트가 상기 신규 사용자인 것으로 식별하는 디스플레이장치.
6. 제3항에 있어서,
   상기 프로세서는, 상기 오브젝트가 기 정의된 움직임을 취하는 것으로 식별되는 것에 기초하여 상기 오브젝트가 상기 신규 사용자인 것으로 식별하는 디스플레이장치.
7. 제3항에 있어서,
   상기 프로세서는, 상기 오브젝트에 대응하는 영역에 상기 노출차단 처리가 수행된 상기 영상이 표시될 때에, 상기 오브젝트가 기 정의된 움직임을 취하는 것으로 식별되는 것에 기초하여 상기 노출차단 처리를 해제하는 디스플레이장치.
8. 제1항에 있어서,
   상기 프로세서는, 상기 영상에 상기 영상통화와 관련된 어떠한 사용자도 없다고 식별되는 것에 기초하여 상기 영상 전체에 대해 상기 노출차단 처리를 수행하는 디스플레이장치.
9. 제1항에 있어서,
   상기 프로세서는, 상기 오브젝트에 대응하는 영역을 블러 처리함으로써 상기 노출차단 처리를 수행하는 디스플레이장치.
10. 제1항에 있어서,
    상기 프로세서는, 상기 오브젝트에 대응하는 영역에 기 정의된 이미지를 오버레이시킴으로써 상기 노출차단 처리를 수행하는 디스플레이장치.
11. 제1항에 있어서,
    상기 프로세서는, 상기 오브젝트에 대응하는 영역의 해상도를 낮춤으로써 상기 노출차단 처리를 수행하는 디스플레이장치.
12. 제1항에 있어서,
    상기 프로세서는, 상기 오브젝트에 대응하는 영역의 투명도를 높임으로써 상기 노출차단 처리를 수행하는 디스플레이장치.
13. 제1항에 있어서,
    상기 프로세서는, 상기 오브젝트에 관련된 오디오를 뮤트 처리함으로써 상기 노출차단 처리를 수행하는 디스플레이장치.
14. 디스플레이장치의 제어방법에 있어서,
    외부장치의 상대방과 영상통화를 수행하기 위해 카메라에 의해 캡쳐된 사용자의 영상을 표시하는 단계와,
    상기 영상에 상기 사용자와 상이한 오브젝트가 포함되는 것에 기초하여 상기 오브젝트가 상기 영상통화에 연관되는지 여부를 식별하는 단계와,
    상기 오브젝트가 상기 영상통화에 연관되는지 여부에 대응하여, 상기 영상 내에서 상기 오브젝트에 대응하는 영역에 노출차단 처리를 선택적으로 수행하는 단계를 포함하는 디스플레이장치의 제어방법.
15. 제14항에 있어서,
    상기 영상에서 상기 오브젝트에 대응하는 영역에 상기 노출차단 처리를 수행하고, 상기 오브젝트가 상기 영상통화에 연관되는 것으로 식별되는 것에 기초하여 상기 노출차단 처리를 해제하는 디스플레이장치의 제어방법.
16. 제14항에 있어서,
    상기 오브젝트가 상기 사용자와 상이한 상기 영상통화의 신규 사용자인 것에 기초하여 상기 오브젝트가 상기 영상통화에 연관되는지 여부를 식별하는 디스플레이장치의 제어방법.
17. 제16항에 있어서,
    상기 영상통화에 연관된 통화자 계정의 리스트에서, 상기 신규 사용자를 검색하는 디스플레이장치의 제어방법.
18. 제16항에 있어서,
    상기 오브젝트의 시선이 상기 카메라를 향하는 것으로 식별되는 것에 기초하여 상기 오브젝트가 상기 신규 사용자인 것으로 식별하는 디스플레이장치의 제어방법.
19. 제16항에 있어서,
    상기 오브젝트가 기 정의된 움직임을 취하는 것으로 식별되는 것에 기초하여 상기 오브젝트가 상기 신규 사용자인 것으로 식별하는 디스플레이장치의 제어방법.
20. 제16항에 있어서,
    상기 오브젝트에 대응하는 영역에 상기 노출차단 처리가 수행된 상기 영상이 표시될 때에, 상기 오브젝트가 기 정의된 움직임을 취하는 것으로 식별되는 것에 기초하여 상기 노출차단 처리를 해제하는 디스플레이장치의 제어방법.

Images