KR20170114822A - 표시 제어 시스템, 방법 및 컴퓨터 판독 가능한 기록 매체 - Google Patents
표시 제어 시스템, 방법 및 컴퓨터 판독 가능한 기록 매체 Download PDFInfo
- Publication number
- KR20170114822A KR20170114822A KR1020160042396A KR20160042396A KR20170114822A KR 20170114822 A KR20170114822 A KR 20170114822A KR 1020160042396 A KR1020160042396 A KR 1020160042396A KR 20160042396 A KR20160042396 A KR 20160042396A KR 20170114822 A KR20170114822 A KR 20170114822A
- Authority
- KR
- South Korea
- Prior art keywords
- image
- user
- control
- time
- face region
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 31
- 230000008859 change Effects 0.000 claims abstract description 39
- 230000002093 peripheral effect Effects 0.000 claims abstract description 11
- 230000004044 response Effects 0.000 claims description 11
- 238000001514 detection method Methods 0.000 description 16
- 210000001061 forehead Anatomy 0.000 description 12
- 238000004364 calculation method Methods 0.000 description 7
- 241000282414 Homo sapiens Species 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000001815 facial effect Effects 0.000 description 4
- 230000033001 locomotion Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000010295 mobile communication Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000000513 principal component analysis Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
- G06F3/005—Input arrangements through a video camera
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/048—Indexing scheme relating to G06F3/048
- G06F2203/04806—Zoom, i.e. interaction techniques or interactors for controlling the zooming operation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Controls And Circuits For Display Device (AREA)
- Studio Devices (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
표시 제어 시스템, 방법 및 컴퓨터 판독 가능한 기록 매체가 개시된다. 본 발명의 일 실시예에 따른 표시 제어 시스템은, 이미지 또는 영상을 표시하는 표시부, 사용자 및 상기 사용자 주변 영상을 촬영하는 촬영부, 상기 사용자의 얼굴 영역을 검출하는 얼굴 영역 검출부, 상기 얼굴 영역의 크기 및 기준 좌표를 산출하는 연산부 및 상기 얼굴 영역의 크기 및 상기 기준 좌표의 시간에 따른 변화에 대응하여, 상기 표시부에 표시되는 이미지 또는 영상에 대한 PTZ 제어를 수행하는 제어부를 포함한다.
Description
본 발명은 표시 제어 시스템, 방법 및 컴퓨터 판독 가능한 기록 매체에 관한 것으로, 보다 구체적으로는 사용자의 시선 변화에 따라 표시되는 화면에 대한 PTZ 제어를 수행하는 표시 제어 시스템, 방법 및 컴퓨터 판독 가능한 기록 매체에 관한 것이다.
최근 미디어와 인간이 서로 친화적으로 쉽게 상호작용(HCI, Human Computer Interface)하도록 하는 기술이 급속도로 발전하고 있다. 특히, 영상을 캡쳐 또는 재생하는 장치의 성능 진화 및 저렴해진 가격으로 인하여, 영상을 편집 도는 가공할 수 있는 이미지 처리 시스템이 데스크탑에서도 가능해지기 시작했다.
그 결과, 사용자의 고유성, 상태, 의도, 표정 등이 드러나는 얼굴이 포함된 이미지를 컴퓨터로 인식 또는 처리하는 기술이 비전(vision) 기반의 HCI 분야에서 주요한 과제가 되었다.
이와 관련하여, 사용자의 움직임을 반영한 표시 제어 방법에 관한 연구도 활발하게 진행되고 있으며, 이러한 연구는 사용자로 하여금 보다 현실감 있는 영상을 제공하는 것을 목적으로 한다.
도 1은 표시 장치를 이용하여 이미지 또는 동영상을 감상하는 사용자를 예시적으로 나타내는 도면이다. 상기 사용자의 움직임을 반영하는 표시 장치는 도 1에 도시되는 표시 장치(모니터)와 함께 상기 사용자를 바라보는 위치에 설치되는 카메라를 이용하여 상기 사용자를 촬영하고, 촬영된 영상을 분석하여 상기 표시 장치에 표시되는 영상을 제어할 수 있다.
현재까지 개발된 기술들은 그 실현 가능성 및 효과를 차치하더라도 복잡한 연산 과정을 필요로 하며, 이에 따라 프로세서의 연산 부담이 가중되고 신속한 데이터 처리에 문제가 발생할 수 있다.
본 발명은 사용자의 시선 변화에 대응하여 표시 화면을 제어함으로써 보다 현실감 있고 입체적인 화면을 표시할 수 있는 표시 제어 시스템, 방법 및 컴퓨터 판독 가능한 기록 매체를 제공하는 것을 목적으로 한다.
본 발명의 일 실시예에 따른 표시 제어 시스템은, 이미지 또는 영상을 표시하는 표시부, 사용자 및 상기 사용자 주변 영상을 촬영하는 촬영부, 상기 사용자의 얼굴 영역을 검출하는 얼굴 영역 검출부, 상기 얼굴 영역의 크기 및 기준 좌표를 산출하는 연산부 및 상기 얼굴 영역의 크기 및 상기 기준 좌표의 시간에 따른 변화에 대응하여, 상기 표시부에 표시되는 이미지 또는 영상에 대한 PTZ 제어를 수행하는 제어부를 포함한다.
또한, 상기 제어부는 제1 시점 및 제2 시점에서의 상기 얼굴 영역의 크기가 변화하는 경우, 줌-인 (Zoom-In) 또는 줌-아웃 (Zoom-Out) 제어를 수행할 수 있다.
또한, 상기 제어부는 제1 시점 및 제2 시점에서의 상기 기준 좌표의 x 좌표가 변화하는 경우, 팬 (Pan) 제어를 수행할 수 있으며, 상기 제어부는 제1 시점 및 제2 시점에서의 상기 기준 좌표의 y 좌표가 변화하는 경우, 틸트 (Tilt) 제어를 수행할 수 있다.
한편, 본 발명의 다른 실시예에 따른 표시 제어 시스템은, 영상을 촬영하는 카메라 및 상기 카메라와 유선 또는 무선으로 연결되어 상기 카메라로부터 영상을 수신하는 사용자 단말 장치를 포함하는 영상 표시 제어 시스템으로서, 상기 사용자 단말 장치는, 상기 카메라로부터 수신되는 영상을 표시하는 표시부, 사용자 및 상기 사용자 주변 영상을 촬영하는 촬영부, 상기 사용자의 얼굴 영역을 검출하는 얼굴 영역 검출부, 상기 얼굴 영역의 크기 및 기준 좌표를 산출하는 연산부 및 상기 얼굴 영역의 크기 및 상기 기준 좌표의 시간에 따른 변화에 대응하여, 상기 카메라에 대한 PTZ 제어를 수행하는 제어부를 포함한다.
또한, 상기 제어부는 제1 시점 및 제2 시점에서의 상기 얼굴 영역의 크기가 변화하는 경우, 줌-인 (Zoom-In) 또는 줌-아웃 (Zoom-Out) 제어를 수행할 수 있다.
또한, 상기 제어부는 제1 시점 및 제2 시점에서의 상기 기준 좌표의 x 좌표가 변화하는 경우, 팬 (Pan) 제어를 수행할 수 있으며, 상기 제어부는 제1 시점 및 제2 시점에서의 상기 기준 좌표의 y 좌표가 변화하는 경우, 틸트 (Tilt) 제어를 수행할 수 있다.
한편, 본 발명의 일 실시예에 따른 표시 제어 방법은, 이미지 또는 영상을 표시하는 표시부를 포함하는 사용자 단말 장치를 이용하는 영상 표시 제어 방법으로서, 사용자 및 상기 사용자 주변 영상을 촬영하는 단계, 상기 사용자의 얼굴 영역을 검출하는 단계, 상기 얼굴 영역의 크기 및 기준 좌표를 산출하는 단계 및 상기 얼굴 영역의 크기 및 상기 기준 좌표의 시간에 따른 변화에 대응하여, 상기 표시부에 표시되는 이미지 또는 영상에 대한 PTZ 제어를 수행하는 단계를 포함한다.
또한, 상기 PTZ 제어 수행 단계에서는, 제1 시점 및 제2 시점에서의 상기 얼굴 영역의 크기가 변화하는 경우, 줌-인 (Zoom-In) 또는 줌-아웃 (Zoom-Out) 제어를 수행할 수 있다.
또한, 상기 PTZ 제어 수행 단계에서는, 제1 시점 및 제2 시점에서의 상기 기준 좌표의 x 좌표가 변화하는 경우, 팬 (Pan) 제어를 수행할 수 있으며, 상기 PTZ 제어 수행 단계에서는, 제1 시점 및 제2 시점에서의 상기 기준 좌표의 y 좌표가 변화하는 경우, 틸트 (Tilt) 제어를 수행할 수 있다.
또한, 본 발명에 따른 영상 표시 제어 방법을 실행하기 위한 프로그램이 기록되어 있는 컴퓨터 판독 가능한 기록 매체가 제공될 수 있다.
본 발명은 사용자의 시선 변화에 대응하여 표시 화면을 제어함으로써 보다 현실감 있고 입체적인 화면을 표시할 수 있는 표시 제어 시스템, 방법 및 컴퓨터 판독 가능한 기록 매체를 제공할 수 있다.
도 1은 표시 장치를 이용하여 이미지 또는 동영상을 감상하는 사용자를 예시적으로 나타내는 도면이다.
도 2는 본 발명의 일 실시예에 따른 표시 제어 시스템의 구성을 개략적으로 나타내는 도면이다.
도 3 내지 도 5는 표시 화면에 대한 사용자 시선의 변화에 대응하여 수행되는 화면 제어를 예시적으로 나타내는 도면이다.
도 6은 원격지에 배치되는 카메라와 연결되는 사용자 단말기를 사용하는 사용자를 예시적으로 나타내는 도면이다.
도 7은 본 발명의 다른 실시예에 따른 표시 제어 시스템의 구성을 개략적으로 나타내는 도면이다.
도 8은 본 발명의 일 실시예에 따른 표시 제어 방법의 흐름을 개략적으로 나타내는 순서도이다.
도 2는 본 발명의 일 실시예에 따른 표시 제어 시스템의 구성을 개략적으로 나타내는 도면이다.
도 3 내지 도 5는 표시 화면에 대한 사용자 시선의 변화에 대응하여 수행되는 화면 제어를 예시적으로 나타내는 도면이다.
도 6은 원격지에 배치되는 카메라와 연결되는 사용자 단말기를 사용하는 사용자를 예시적으로 나타내는 도면이다.
도 7은 본 발명의 다른 실시예에 따른 표시 제어 시스템의 구성을 개략적으로 나타내는 도면이다.
도 8은 본 발명의 일 실시예에 따른 표시 제어 방법의 흐름을 개략적으로 나타내는 순서도이다.
이하, 첨부된 도면을 참조하여 본 발명을 상세히 설명하도록 한다. 또한, 본 명세서 및 도면에 있어서, 실질적으로 동일한 구성을 갖는 구성 요소에 대해서는, 동일한 부호를 사용함으로써 중복 설명을 생략한다.
본 명세서에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, “포함하다” 또는 “가지다” 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다. 제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
도 2는 본 발명의 일 실시예에 따른 표시 제어 시스템의 구성을 개략적으로 나타내는 도면이다. 도 2를 참조하면, 본 발명의 일 실시예에 따른 표시 제어 시스템(100)은, 표시부(110), 촬영부(120), 얼굴 영역 검출부(130), 연산부(140) 및 제어부(150)를 포함한다.
표시부(110)는 이미지 또는 영상을 표시한다. 본 발명에 따른 표시 제어 시스템(100)은 상기 이미지 또는 영상을 표시할 수 있는 표시부(110)를 포함함과 동시에, 유?무선 통신을 통해 외부로부터 데이터를 수신할 수 있으며, 상기 데이터는 상기 이미지 또는 영상을 포함할 수 있다. 표시부(110)는 상기 데이터에 포함된 이미지 또는 영상을 표시할 수 있다.
또는, 상기 표시 제어 시스템(100)은 이미지 또는 영상을 저장하는 메모리 장치(미도시)를 포함할 수 있으며, 표시부(110)는 상기 메모리 장치에 저장된 이미지 또는 영상을 표시할 수 있다.
촬영부(120)는 사용자 및 상기 사용자 주변 영상을 촬영한다. 상기 표시 제어 시스템(100)이 스마트폰과 같은 이동통신 단말기를 포함하는 경우, 상기 이동통신 단말기는 단말기 전면과 후면에 각각 이미지 및/또는 동영상을 촬영할 수 있는 카메라를 구비할 수 있다. 이때, 촬영부(120)는 상기 이동통신 단말기의 전면 카메라를 포함할 수 있다.
또는, 상기 표시 제어 시스템(100)이 데스크 탑 또는 노트북을 포함하는 경우, 촬영부(120)는 데스크 탑에 연결되어 상기 데스크 탑을 사용하는 사용자를 촬영할 수 있는 웹 카메라(Web Camera)일 수 있으며, 또는 상기 노트북의 모니터에 구비되는 카메라일 수 있다.
얼굴 영역 검출부(130)는 상기 사용자의 얼굴 영역을 검출한다. 촬영부(120)에서 촬영되는 영상은 얼굴 영역 검출부(130)로 제공되며, 얼굴 영역 검출부(130)는 촬영부(120)에서 촬영되는 영상에서 상기 사용자의 얼굴 영역만을 검출한다.
얼굴 영역을 검출하는 것은 얼굴 인식 또는 안면 인식과 관련될 수 있으며, 얼굴 인식과 관련된 알고리즘은 다양하게 존재하며, 고유 얼굴을 이용하는 주성분 분석, 선형 감별 분석, Fisherface 알고리즘을 이용하는 탄성 무리 그래프 매칭 분석 등이 이용될 수 있다. 한편, 본 발명에 따른 표시 제어 시스템(100)에서 사용하는 얼굴 인식 방법은 어느 한 가지 방법으로 제한되지 않으며, 영상에 포함되는 사람의 얼굴 영역을 검출할 수 있는 어떠한 알고리즘도 사용될 수 있다.
얼굴 영역 검출부(130)에서 검출되는 상기 사용자의 얼굴 영역은 이마를 제외한 눈, 코, 입, 턱을 포함하는 영역일 수 있으며, 또는 상기 사용자의 이마 영역까지 포함할 수 있다. 또는, 상기 사용자의 목까지 포함하는 영역이 얼굴 영역으로 검출될 수도 있다.
다만, 얼굴 영역 검출부(130)에서 검출되는 상기 사용자의 얼굴 영역은 시간에 따라 항상 동일한 요소를 포함하는 것으로 이해할 수 있다. 상기 얼굴 영역이 상기 사용자의 눈, 코, 입, 턱 및 이마를 포함하도록 설정된 경우에는 시간의 흐름에도 불구하고, 얼굴 영역 검출부(130)에서 검출되는 상기 사용자의 얼굴 영역은 항상 눈, 코, 입, 턱 및 이마를 포함한다.
연산부(140)는 상기 얼굴 영역의 크기 및 기준 좌표를 산출한다. 촬영부(120)에서 촬영되는 영상은 m×n 개의 픽셀(pixel)로 이루어질 수 있으며, 상기 얼굴 영역의 크기는 상기 얼굴 영역에 해당하는 픽셀의 개수를 이용하여 산출될 수 있다.
상기 기준 좌표는 상기 얼굴 영역에 포함되는 모든 픽셀의 평균 좌표 값에 대응할 수 있으며, 또는 상기 모든 픽셀의 중간 좌표 값에 대응할 수도 있다. 상기 좌표 값 또는 상기 중간 좌표 값은 상기 얼굴 영역에 포함되는 픽셀들의 x 좌표 값, y 좌표 값을 이용하여 계산될 수 있다.
제어부(150)는 상기 얼굴 영역의 크기 및 상기 기준 좌표의 시간에 따른 변화에 대응하여, 상기 표시부에 표시되는 이미지 또는 영상에 대한 PTZ 제어를 수행한다.
촬영부(120)에서 촬영되는 영상은 초당 정해진 개수의 프레임(frame)을 포함하며, 각각의 프레임은 m×n 개의 픽셀로 이루어질 수 있다. 얼굴 영역 검출부(130)는 상기 프레임 각각으로부터 상기 사용자의 얼굴 영역을 검출하고, 연산부(140)는 얼굴 영역 검출부(130)에서 검출되는 상기 사용자의 얼굴 영역으로부터 상기 얼굴 영역의 크기와 기준 좌표를 산출한다.
상기 얼굴 영역의 크기 및 상기 기준 좌표의 시간에 따른 변화는 프레임의 변화에 따른 변화로 이해할 수 있으며, 제어부(150)는 이러한 변화에 대응하여 표시부(110)를 통해 표시되는 이미지 또는 영상에 대한 PTZ 제어를 수행한다.
상기 PTZ 제어는 Pan, Tilt, Zoom 제어를 의미하며, Pan 제어는 x 축 방향, Tilt 제어는 y 축 방향, Zoom 제어는 z 축 방향의 제어를 의미한다. 이하, 도 3 내지 도 5를 참조하여 제어부(150)의 PTZ 제어 동작을 보다 구체적으로 설명하도록 한다.
도 3 내지 도 5는 표시 화면에 대한 사용자 시선의 변화에 대응하여 수행되는 화면 제어를 예시적으로 나타낸다.
먼저, 도 3은, 도 2를 참조로 하여 설명한 촬영부(120)를 기준으로 사용자가 멀어지는 경우, 제어부(150)에 의해 Zooom 제어가 수행되는 경우를 예시적으로 나타낸다.
도 3(a) 및 도 3(b)는 각각 제1 시점(t1) 및 제2 시점(t2)에서 촬영된 영상으로부터 검출된 상기 사용자의 얼굴 영역을 나타내며, 도 3(c) 및 도 3(d)는 각각 도 3(a) 및 도 3(b)의 얼굴 영역의 크기 변화에 대응하는 표시부(110)를 통해 표시되는 이미지 또는 영상의 변화를 나타낸다. 여기서, 상기 제1 시점(t1)은 상기 제2 시점(t2)보다 시간적으로 앞서는 것으로 이해할 수 있다.
도 3(a) 및 도 3(b)를 참조하면, 제2 시점(t2)에서 검출된 상기 사용자의 얼굴 영역의 크기는 제1 시점(t1)에서 검출된 상기 사용자의 얼굴 영역의 크기보다 작고, 상기 얼굴 영역의 기준 좌표는 동일하다.
이러한 경우, 제어부(150)는 상기 사용자가 촬영부(120)에서 멀어지는 방향으로 이동한 것으로 판단할 수 있다. 즉, 제어부(150)는 상기 사용자의 시선이 촬영부(120)에서 멀어지는 방향으로 이동한 것으로 판단할 수 있으며, 제어부(150)는 이에 대응하여 표시부(110)에 표시되는 이미지 또는 영상에 대한 줌(Zoom) 제어를 수행한다.
도 3(c) 및 도 3(d)를 참조하면, 제2 시점(t2)에서 표시되는 이미지 또는 영상은 제1 시점(t1)에서 표시되는 이미지 또는 영상보다 더 넓은 영역을 포함한다. 도 3(d)에서 쇄선 영역(A)은 제1 시점(t1)에서 표시되는 이미지 또는 영상의 영역을 의미한다.
도 3은 상기 사용자의 얼굴 영역의 크기가 작아지는 경우 줌-아웃(Zoom-Out) 제어가 수행되는 것을 예로써 도시하며, 이와 반대로 상기 사용자의 얼굴 영역의 크기가 커지는 경우에는 제어부(150)는 상기 사용자가 촬영부(120)에 가까워지는 방향으로 이동한 것으로 판단하고, 이에 따라 표시부(110) 표시되는 이미지 또는 영상에 대해 줌-인(Zoom-In) 제어를 수행할 수 있다.
도 4는, 촬영부(120)를 기준으로 사용자가 오른쪽으로 이동하는 경우, 제어부(150)에 의해 Pan 제어가 수행되는 경우를 예시적으로 나타낸다.
도 4(a) 및 도 4(b)는 각각 제1 시점(t1) 및 제2 시점(t2)에서 촬영된 영상으로부터 검출된 상기 사용자의 얼굴 영역을 나타내며, 도 4(c) 및 도 4(d)는 각각 도 4(a) 및 도 4(b)의 얼굴 영역의 기준 좌표 변화에 대응하는 표시부(110)를 통해 표시되는 이미지 또는 영상의 변화를 나타낸다. 여기서, 상기 제1 시점(t1)은 상기 제2 시점(t2)보다 시간적으로 앞서는 것으로 이해할 수 있으며, 도 3에서 예로써 설명한 제1 시점 및 제2 시점과 다른 시점을 의미하는 것으로 이해할 수 있다.
도 4(a) 및 도 4(b)를 참조하면, 제2 시점(t2)에서 검출된 상기 사용자의 얼굴 영역의 기준 좌표의 x 좌표는 제1 시점(t1)에서 검출된 상기 사용자의 얼굴 영역의 기준 좌표의 x 좌표보다 오른쪽에 위치하며, 상기 제1 시점(t1)과 상기 제2 시점(t2)에서 기준 좌표의 y 좌표 및 상기 얼굴 영역의 크기는 동일하다. 여기서, 상기 얼굴 영역의 기준 좌표는 도 2를 참조로 하여 설명한 바와 같이, 상기 얼굴 영역에 포함되는 픽셀의 평균 좌표 또는 중간 좌표일 수 있으며, 상기 얼굴 영역 내에 존재한다.
이러한 경우, 제어부(150)는 상기 사용자가 촬영부(120)를 기준으로 오른쪽으로 이동한 것으로 판단할 수 있다. 즉, 제어부(150)는 상기 사용자의 눈의 위치가 촬영부(120)를 기준으로 오른쪽으로 이동하여 왼쪽을 바라보고 있는 것으로 판단할 수 있으며, 제어부(150)는 이에 대응하여 표시부(110)에 표시되는 이미지 또는 영상에 대한 팬(Pan) 제어를 수행한다.
도 4(c) 및 도 4(d)를 참조하면, 제2 시점(t2)에서 표시되는 이미지 또는 영상은 제1 시점(t1)에서 표시되는 이미지 또는 영상의 왼쪽 부분을 더 포함하고, 오른쪽 부분은 제1 시점(t1)에서 보다 작은 영역을 포함한다. 즉, 제어부(150)는 실제 사용자의 시선 변화에 대응하여 이전 시점에서 표시되지 않은 영역을 새롭게 표시하고, 이전 시점에서 표시된 영역은 더 이상 표시되지 않도록 이미지 또는 영상 표시를 제어할 수 있다.
도 4는 상기 사용자의 얼굴 영역이 오른쪽으로 이동하는 경우 팬-레프트(Pan-Left) 제어가 수행되는 것을 예로써 도시하며, 이와 반대로 상기 사용자의 얼굴 영역이 왼쪽으로 이동하는 경우에는 제어부(150)는 상기 사용자의 눈의 위치가 촬영부(120)를 기준으로 왼쪽으로 이동하여 오른쪽을 바라보고 있는 것으로 판단하고, 이에 따라 표시부(110) 표시되는 이미지 또는 영상에 대해 팬-라이트(Pan-Right) 제어를 수행할 수 있다.
도 5는, 촬영부(120)를 기준으로 사용자가 아래쪽으로 이동하는 경우, 제어부(150)에 의해 Tilt 제어가 수행되는 경우를 예시적으로 나타낸다.
도 5(a) 및 도 5(b)는 각각 제1 시점(t1) 및 제2 시점(t2)에서 촬영된 영상으로부터 검출된 상기 사용자의 얼굴 영역을 나타내며, 도 5(c) 및 도 5(d)는 각각 도 5(a) 및 도 5(b)의 얼굴 영역의 기준 좌표 변화에 대응하는 표시부(110)를 통해 표시되는 이미지 또는 영상의 변화를 나타낸다. 여기서, 상기 제1 시점(t1)은 상기 제2 시점(t2)보다 시간적으로 앞서는 것으로 이해할 수 있으며, 도 3 및 도 4에서 예로써 설명한 제1 시점 및 제2 시점과 다른 시점을 의미하는 것으로 이해할 수 있다.
도 5(a) 및 도 5(b)를 참조하면, 제2 시점(t2)에서 검출된 상기 사용자의 얼굴 영역의 기준 좌표의 y 좌표는 제1 시점(t1)에서 검출된 상기 사용자의 얼굴 영역의 기준 좌표의 y 좌표보다 아래쪽에 위치하며, 상기 제1 시점(t1)과 상기 제2 시점(t2)에서 기준 좌표의 x 좌표 및 상기 얼굴 영역의 크기는 동일하다. 여기서, 상기 얼굴 영역의 기준 좌표는 도 2를 참조로 하여 설명한 바와 같이, 상기 얼굴 영역에 포함되는 픽셀의 평균 좌표 또는 중간 좌표일 수 있으며, 상기 얼굴 영역 내에 존재한다.
이러한 경우, 제어부(150)는 상기 사용자가 촬영부(120)를 기준으로 아래쪽으로 이동한 것으로 판단할 수 있다. 즉, 제어부(150)는 상기 사용자의 눈의 위치가 촬영부(120)를 기준으로 아래쪽으로 이동하여 위쪽을 바라보고 있는 것으로 판단할 수 있으며, 제어부(150)는 이에 대응하여 표시부(110)에 표시되는 이미지 또는 영상에 대한 틸트(Tilt) 제어를 수행한다.
도 5(c) 및 도 5(d)를 참조하면, 제2 시점(t2)에서 표시되는 이미지 또는 영상은 제1 시점(t1)에서 표시되는 이미지 또는 영상의 위쪽 부분을 더 포함하고, 아래쪽 부분은 제1 시점(t1)에서 보다 작은 영역을 포함한다. 즉, 제어부(150)는 실제 사용자의 시선 변화에 대응하여 이전 시점에서 표시되지 않은 영역을 새롭게 표시하고, 이전 시점에서 표시된 영역은 더 이상 표시되지 않도록 이미지 또는 영상 표시를 제어할 수 있다.
도 5는 상기 사용자의 얼굴 영역이 아래쪽으로 이동하는 경우 틸트-업(Tilt-Up) 제어가 수행되는 것을 예로써 도시하며, 이와 반대로 상기 사용자의 얼굴 영역이 위쪽으로 이동하는 경우에는 제어부(150)는 상기 사용자의 눈의 위치가 촬영부(120)를 기준으로 위쪽으로 이동하여 아래쪽을 바라보고 있는 것으로 판단하고, 이에 따라 표시부(110) 표시되는 이미지 또는 영상에 대해 틸트-다운(Tilt-Down) 제어를 수행할 수 있다.
제어부(150)는 연산부(140)에서 산출되는 상기 사용자의 얼굴 영역의 크기와 상기 얼굴 영역의 기준 좌표의 변화에 따라 이미지 및/또는 영상에 대한 PTZ 동작을 제어함으로써, 상기 사용자는 보다 현실감 있는 영상을 감상할 수 있다.
한편, 앞선 예시에서는 사용자의 시선이 단순히 x-축, y-축 또는 z-축 한 방향으로 이동하는 경우를 예로써 설명하였으나, 이는 설명의 편의를 위한 것에 불과하며, 제어부(150)는 사용자 시선의 이동을 x-y-z 축에 대해 복합적으로 판단할 수 있으며, 이에 대응하여 이미지 및/또는 영상에 대한 PTZ 제어를 수행할 수 있다.
또한, 표시부(110)를 통해 표시되는 이미지 및/또는 영상은 제어부(150)에 의해 PTZ 제어될 수 있어야 하므로, 표시부(110)에는 상기 이미지 및/또는 영상의 일부만 표시될 수 있다.
예를 들어, 상기 이미지 및/또는 영상의 크기가 M×N 인 경우, 표시부(110)를 통해 표시되는 상기 이미지 및/또는 영상은 M×N 보다 작은 m×n 크기로 표시될 수 있다.
도 6은 원격 지에 배치되는 카메라와 연결되는 사용자 단말 장치를 사용하는 사용자를 예시적으로 나타내는 도면이다.
도 6을 참조하면, 사용자 단말 장치(310)와 카메라(210)는 본 발명의 다른 실시예에 따른 표시 제어 시스템(500)에 포함된다. 사용자 단말 장치(310)와 카메라(210)는 유?무선 통신을 이용하여 서로 데이터를 주고 받을 수 있으며, 카메라(210)에서 촬영된 이미지 및/또는 영상은 사용자 단말 장치(310)로 전송될 수 있으며, 사용자 단말 장치(310)는 카메라(210)의 동작을 제어하기 위한 제어 신호를 전송할 수 있다.
한편, 사용자 단말 장치(310)는 카메라(210)로부터 전송되는 이미지 및/또는 영상을 표시하기 위한 표시 화면과 사용자 및 주변 영상을 촬영할 수 있는 전면 카메라를 포함할 수 있다.
도 7은 본 발명의 다른 실시예에 따른 표시 제어 시스템의 구성을 개략적으로 나타내는 도면이다. 도 7에 도시되는 표시 제어 시스템(500)은 도 6을 참조로 하여 설명한 사용자 단말 장치(310)와 카메라(210)를 포함한다.
보다 구체적으로, 본 발명의 다른 실시예에 따른 표시 제어 시스템(500)은, 영상을 촬영하는 카메라(210) 및 카메라(210)와 유선 또는 무선으로 연결되어 카메라(210)로부터 영상을 수신하는 사용자 단말 장치(310)를 포함한다.
그리고, 사용자 단말 장치(310)는 표시부(311), 촬영부(312), 얼굴 영역 검출부(313), 연산부(314) 및 제어부(315)를 포함한다.
표시부(311)는 카메라(210)로부터 수신되는 영상을 표시한다. 여기서, 카메라(210)에서 촬영되어 수신되는 영상은 정지 영상을 포함하는 개념으로 이해할 수 있다. 또한, 카메라(210)에서 촬영되는 영상은 실시간으로 사용자 단말 장치(310)로 수신되며, 수신된 영상은 표시부(311)를 통하여 실시간으로 표시될 수 있다.
촬영부(312)는 사용자 단말 장치(310)를 사용하는 사용자 및 상기 사용자 주변 영상을 촬영한다. 사용자 단말 장치(310)가 도 6에 도시되는 바와 같은 스마트폰, PDA 등을 포함하는 경우, 촬영부(312)는 상기 스마트폰, PDA 등에 포함되는 전면 카메라일 수 있다.
또는, 사용자 단말 장치(310)가 데스크 탑 또는 노트북을 포함하는 경우, 촬영부(312)는 데스크 탑에 연결되어 상기 데스크 탑을 사용하는 사용자를 촬영할 수 있는 웹 카메라(Web Camera)일 수 있으며, 또는 상기 노트북의 모니터에 구비되는 카메라일 수 있다.
얼굴 영역 검출부(313)는 상기 사용자의 얼굴 영역을 검출한다. 촬영부(312)에서 촬영되는 영상은 얼굴 영역 검출부(313)로 제공되며, 얼굴 영역 검출부(313)는 촬영부(312)에서 촬영되는 영상에서 상기 사용자의 얼굴 영역만을 검출한다.
영상에서 사람의 얼굴 영역을 검출하는 알고리즘은 다양하게 존재하며, 본 발명에 따른 표시 제어 시스템(500)은 특정한 얼굴 영역 검출 알고리즘에 의해 제한되어 해석되지 않는다.
얼굴 영역 검출부(313)에서 검출되는 상기 사용자의 얼굴 영역은 이마를 제외한 눈, 코, 입, 턱을 포함하는 영역일 수 있으며, 또는 상기 사용자의 이마 영역까지 포함할 수 있다. 또는, 상기 사용자의 목까지 포함하는 영역이 얼굴 영역으로 검출될 수도 있다.
다만, 얼굴 영역 검출부(313)에서 검출되는 상기 사용자의 얼굴 영역은 시간에 따라 항상 동일한 요소를 포함하는 것으로 이해할 수 있다. 상기 얼굴 영역이 상기 사용자의 눈, 코, 입, 턱 및 이마를 포함하도록 설정된 경우에는 시간의 흐름에도 불구하고, 얼굴 영역 검출부(313)에서 검출되는 상기 사용자의 얼굴 영역은 항상 눈, 코, 입, 턱 및 이마를 포함한다.
연산부(314)는 상기 얼굴 영역의 크기 및 기준 좌표를 산출한다. 촬영부(312)에서 촬영되는 영상은 m×n 개의 픽셀(pixel)로 이루어질 수 있으며, 상기 얼굴 영역의 크기는 상기 얼굴 영역에 해당하는 픽셀의 개수를 이용하여 산출될 수 있다.
상기 기준 좌표는 상기 얼굴 영역에 포함되는 모든 픽셀의 평균 좌표 값에 대응할 수 있으며, 또는 상기 모든 픽셀의 중간 좌표 값에 대응할 수도 있다. 상기 좌표 값 또는 상기 중간 좌표 값은 상기 얼굴 영역에 포함되는 픽셀들의 x 좌표 값, y 좌표 값을 이용하여 계산될 수 있다.
제어부(315)는 상기 얼굴 영역의 크기 및 상기 기준 좌표의 시간에 따른 변화에 대응하여, 카메라(210) 대한 PTZ 제어를 수행한다.
촬영부(312)에서 촬영되는 영상은 초당 정해진 개수의 프레임(frame)을 포함하며, 각각의 프레임은 m×n 개의 픽셀로 이루어질 수 있다. 얼굴 영역 검출부(313)는 상기 프레임 각각으로부터 상기 사용자의 얼굴 영역을 검출하고, 연산부(314)는 얼굴 영역 검출부(313)에서 검출되는 상기 사용자의 얼굴 영역으로부터 상기 얼굴 영역의 크기와 기준 좌표를 산출한다.
상기 얼굴 영역의 크기 및 상기 기준 좌표의 시간에 따른 변화는 프레임의 변화에 따른 변화로 이해할 수 있으며, 제어부(315)는 이러한 변화에 대응하여 카메라(210)에 대한 PTZ 제어를 수행한다.
즉, 상기 표시 제어 시스템(500)에 포함되는 카메라(210)는 팬(Pan)-틸트(Tilt)-줌(Zoom) 동작 가능하며, 제어부(315)는 사용자 단말 장치(310)와 카메라(210)를 연결하는 통신 수단을 이용하여, 카메라(210)에 대한 PTZ 제어를 수행하는 제어 신호를 전송할 수 있으며, 카메라(210)는 제어부(315)에서 전송되는 상기 제어 신호에 대응하여 PTZ 동작하게 된다.
따라서, 사용자 단말 장치(310)는 카메라(210)의 동작을 제어할 수 있는 상기 제어 신호를 생성하여 출력하는 소프트웨어를 포함할 수 있다.
카메라(210)에 대한 PTZ 제어는 도 3 내지 도 5를 참조로 하여 설명한 이미지 및/또는 영상에 대한 PTZ 제어와 실질적으로 동일한 것으로 이해할 수 있다.
예를 들어, 제1 시점(t1) 및 제2 시점(t2)에서의 상기 사용자의 얼굴 영역의 크기가 변화하는 경우, 제어부(315)는 카메라(210)를 줌-인(Zoom-In) 또는 줌-아웃(Zoom-Out) 동작하도록 제어할 수 있다.
상기 사용자의 얼굴 영역의 크기가 시간의 흐름에 따라 커지는 것으로 판단되면, 제어부(315)는 상기 사용자의 시선이 표시부(311)를 통해 표시되는 이미지 및/또는 영상에 가까워지는 것으로 판단하고, 이에 대응하여 카메라(210)로 하여금 줌-인(Zoom-In) 동작하도록 제어할 수 있다.
또는, 제1 시점(t1) 및 제2 시점(t2)에서의 상기 기준 좌표의 x 좌표가 변화하는 경우, 제어부(315)는 카메라(210)를 팬-레프트(Pan-Left) 또는 팬-라이트(Pan-Right) 동작하도록 제어할 수 있다.
상기 사용자의 얼굴 영역의 기준 좌표의 x 좌표가 시간의 흐름에 따라 오른쪽으로 이동하는 경우, 제어부(315)는 상기 사용자의 시선이 왼쪽을 향하는 것으로 판단하고, 이에 대응하여 카메라(210)로 하여금 팬-레프트(Pan-Left) 동작하도록 제어할 수 있다.
이에 따라, 카메라(210)는 이전 시점의 영상보다 더 왼쪽의 영상을 촬영하고, 촬영된 영상은 실시간으로 사용자 단말 장치(310)로 전송되어 표시부(311)를 통해 상기 사용자에게 표시된다.
또는, 제1 시점(t1) 및 제2 시점(t2)에서의 상기 기준 좌표의 y 좌표가 변화하는 경우, 제어부(315)는 카메라(210)를 틸트-업(Tilt-Up) 또는 틸트-다운(Tilt-Down) 동작하도록 제어할 수 있다.
상기 사용자의 얼굴 영역의 기준 좌표의 y 좌표가 시간의 흐름에 따라 위쪽으로 이동하는 경우, 제어부(315)는 상기 사용자의 시선이 아래쪽을 향하는 것으로 판단하고, 이에 대응하여 카메라(210)로 하여금 틸트-다운(Tilt-Down) 동작하도록 제어할 수 있다.
이에 따라, 카메라(210)는 이전 시점의 영상보다 더 아래쪽의 영상을 촬영하고, 촬영된 영상은 실시간으로 사용자 단말 장치(310)로 전송되어 표시부(311)를 통해 상기 사용자에게 표시된다.
제어부(315)는 연산부(314)에서 산출되는 상기 사용자의 얼굴 영역의 크기와 상기 얼굴 영역의 기준 좌표의 변화에 따라 카메라(210)의 PTZ 동작을 제어하고, 카메라(210)가 촬영하는 영상은 실시간으로 표시부(311)를 통해 표시됨으로써, 상기 사용자는 보다 현실감 있는 영상을 감상할 수 있다.
한편, 앞선 예시에서는 사용자의 시선이 단순히 x-축, y-축 또는 z-축 한 방향으로 이동하는 경우를 예로써 설명하였으나, 이는 설명의 편의를 위한 것에 불과하며, 제어부(315)는 사용자 시선의 이동을 x-y-z 축에 대해 복합적으로 판단할 수 있으며, 이에 대응하여 카메라(210)에 대한 PTZ 제어를 수행할 수 있다.
도 8은 본 발명의 일 실시예에 따른 표시 제어 방법의 흐름을 개략적으로 나타내는 순서도이다.
도 8을 참조하면, 본 발명의 일 실시예에 따른 표시 제어 방법은, 이미지 또는 영상을 표시하는 표시부를 포함하는 사용자 단말 장치를 이용하는 영상 표시 제어 방법으로서, 사용자 및 주변 영상 촬영 단계(S110), 얼굴 영역 검출 단계(S120), 얼굴 영역 크기 및 기준 좌표 산출 단계(S130) 및 PTZ 제어 단계(S140)를 포함한다.
사용자 및 주변 영상 촬영 단계(S110)에서는 상기 사용자 단말 장치에 포함되는 카메라를 이용하여 상기 사용자 단말 장치를 사용하는 상기 사용자 및 상기 사용자 주변의 영상을 촬영한다. 이때, 상기 카메라는 상기 표시부와 함께 상기 사용자 단말 장치의 전면에 포함되는 것으로 이해할 수 있다.
얼굴 영역 검출 단계(S120)에서는 상기 카메라를 이용하여 획득되는 상기 사용자 및 상기 사용자 주변의 영상으로부터 상기 사용자의 얼굴 영역을 검출한다. 도 2 및 도 7을 참조로 하여 설명한 바와 같이, 영상에서 사람의 얼굴 영역을 검출하는 알고리즘은 다양하게 존재하며, 본 발명에 따른 표시 제어 방법은 특정한 얼굴 영역 검출 알고리즘에 의해 제한되어 해석되지 않는다.
얼굴 영역 검출 단계(S120)에서 검출되는 상기 사용자의 얼굴 영역은 이마를 제외한 눈, 코, 입, 턱을 포함하는 영역일 수 있으며, 또는 상기 사용자의 이마 영역까지 포함할 수 있다. 또는, 상기 사용자의 목까지 포함하는 영역이 얼굴 영역으로 검출될 수도 있다.
다만, 얼굴 영역 검출 단계(S120)에서 검출되는 상기 사용자의 얼굴 영역은 시간에 따라 항상 동일한 요소를 포함하는 것으로 이해할 수 있다. 상기 얼굴 영역이 상기 사용자의 눈, 코, 입, 턱 및 이마를 포함하도록 설정된 경우에는 시간의 흐름에도 불구하고, 얼굴 영역 검출 단계(S120)에서 검출되는 상기 사용자의 얼굴 영역은 항상 눈, 코, 입, 턱 및 이마를 포함한다.
얼굴 영역 크기 및 기준 좌표 산출 단계(S130)에서는 상기 얼굴 영역의 크기 및 상기 얼굴 영역의 기준 좌표를 산출한다. 상기 카메라를 이용하여 촬영되는 영상은 m×n 개의 픽셀(pixel)로 이루어질 수 있으며, 상기 얼굴 영역의 크기는 상기 얼굴 영역에 해당하는 픽셀의 개수를 이용하여 산출될 수 있다.
상기 기준 좌표는 상기 얼굴 영역에 포함되는 모든 픽셀의 평균 좌표 값에 대응할 수 있으며, 또는 상기 모든 픽셀의 중간 좌표 값에 대응할 수도 있다. 상기 좌표 값 또는 상기 중간 좌표 값은 상기 얼굴 영역에 포함되는 픽셀들의 x 좌표 값, y 좌표 값을 이용하여 계산될 수 있다.
PTZ 제어 단계(S140)에서는 상기 얼굴 영역의 크기 및 상기 기준 좌표의 시간에 따른 변화에 대응하여, 상기 표시부에 표시되는 이미지 또는 영상에 대한 PTZ 제어를 수행한다.
상기 카메라에서 촬영되는 영상은 초당 정해진 개수의 프레임(frame)을 포함하며, 각각의 프레임은 m×n 개의 픽셀로 이루어질 수 있다. 얼굴 영역 검출 단계(S120)는 상기 프레임 각각으로부터 상기 사용자의 얼굴 영역을 검출하고, 얼굴 영역 크기 및 기준 좌표 산출 단계(S130)에서는 얼굴 영역 검출 단계(S120)에서 검출되는 상기 사용자의 얼굴 영역으로부터 상기 얼굴 영역의 크기와 기준 좌표를 산출한다.
상기 얼굴 영역의 크기 및 상기 기준 좌표의 시간에 따른 변화는 프레임의 변화에 따른 변화로 이해할 수 있으며, PTZ 제어 단계(S140)는 이러한 변화에 대응하여 상기 표시부를 통해 표시되는 이미지 또는 영상에 대한 PTZ 제어를 수행한다.
한편, PTZ 제어 단계(S140)에서는 시간의 흐름에 따른 상기 사용자의 얼굴 크기의 변화 또는 상기 사용자의 시선의 변화에 대응하여 상기 표시부를 통해 표시되는 이미지 및/또는 영상에 대한 PTZ 제어를 수행하며, 구체적으로는 도 3 내지 도 5를 참조로 하여 설명한 바와 같다.
예를 들어, 제1 시점(t1) 및 제2 시점(t2)에서의 상기 사용자의 얼굴 영역의 크기가 변화하는 경우, PTZ 제어 단계(S140)에서는 상기 표시부를 통해 표시되는 이미지 및/또는 영상을 줌-인(Zoom-In) 또는 줌-아웃(Zoom-Out) 제어할 수 있다.
상기 사용자의 얼굴 영역의 크기가 시간의 흐름에 따라 커지는 것으로 판단되면, PTZ 제어 단계(S140)에서는 상기 사용자의 시선이 상기 표시부를 통해 표시되는 이미지 및/또는 영상에 가까워지는 것으로 판단하고, 상기 이미지 및/또는 영상을 줌-인(Zoom-In) 제어할 수 있다.
또는, 제1 시점(t1) 및 제2 시점(t2)에서의 상기 기준 좌표의 x 좌표가 변화하는 경우, PTZ 제어 단계(S140)에서는 상기 표시부를 통해 표시되는 이미지 및/또는 영상을 팬-레프트(Pan-Left) 또는 팬-라이트(Pan-Right) 제어할 수 있다.
상기 사용자의 얼굴 영역의 기준 좌표의 x 좌표가 시간의 흐름에 따라 오른쪽으로 이동하는 경우, PTZ 제어 단계(S140)에서는 상기 사용자의 시선이 왼쪽을 향하는 것으로 판단하고, 이에 대응하여 상기 이미지 및/또는 영상을 팬-레프트(Pan-Left) 제어할 수 있다.
또는, 제1 시점(t1) 및 제2 시점(t2)에서의 상기 기준 좌표의 y 좌표가 변화하는 경우, PTZ 제어 단계(S140)에서는 상기 표시부를 통해 표시되는 이미지 및/또는 영상을 틸트-업(Tilt-Up) 또는 틸트-다운(Tilt-Down) 제어할 수 있다.
상기 사용자의 얼굴 영역의 기준 좌표의 y 좌표가 시간의 흐름에 따라 위쪽으로 이동하는 경우, PTZ 제어 단계(S140)에서는 상기 사용자의 시선이 아래쪽을 향하는 것으로 판단하고, 이에 대응하여 상기 이미지 및/또는 영상을 틸트-다운(Tilt-Down) 제어할 수 있다.
PTZ 제어 단계(S140)에서는 얼굴 영역 크기 및 기준 좌표 산출 단계(S130)에서 산출되는 상기 사용자의 얼굴 영역의 크기와 상기 얼굴 영역의 기준 좌표의 변화에 따라 상기 표시부를 통해 표시되는 이미지 및/또는 영상에 대한 PTZ 동작을 제어함으로써, 상기 사용자는 보다 현실감 있는 영상을 감상할 수 있다.
한편, 앞선 예시에서는 사용자의 시선이 단순히 x-축, y-축 또는 z-축 한 방향으로 이동하는 경우를 예로써 설명하였으나, 이는 설명의 편의를 위한 것에 불과하며, PTZ 제어 단계(S140)에서는 사용자 시선의 이동을 x-y-z 축에 대해 복합적으로 판단할 수 있으며, 이에 대응하여 사용자가 감상하는 이미지 및/또는 영상에 대한 PTZ 제어를 수행할 수 있다.
한편, 본 발명은 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터가 읽을 수 있는 코드로 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다.
컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장 장치 등이 있으며, 또한 캐리어 웨이브(예를 들어, 인터넷을 통한 전송)의 형태로 구현하는 것을 포함한다.
또한, 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술 분야의 프로그래머들에 의하여 용이하게 추론될 수 있다.
본 발명에 따른 방법을 구성하는 단계들에 대하여 명백하게 순서를 기재하거나 반하는 기재가 없다면, 상기 단계들은 적당한 순서로 행해질 수 있다. 반드시 상기 단계들의 기재 순서에 따라 본 발명이 한정되는 것은 아니다. 본 발명에서 모든 예들 또는 예시적인 용어(예를 들어, 등등)의 사용은 단순히 본 발명을 상세히 설명하기 위한 것으로서 특허청구범위에 의해 한정되지 않는 이상 상기 예들 또는 예시적인 용어로 인해 본 발명의 범위가 한정되는 것은 아니다. 또한 해당 기술 분야의 통상의 기술자는 다양한 수정, 조합 및 변경이 부가된 특허청구범위 또는 그 균등물의 범주 내에서 설계 조건 및 팩터(factor)에 따라 구성될 수 있음을 알 수 있다.
지금까지 본 발명에 대하여 그 바람직한 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.
100, 500: 표시 제어 시스템
110, 311: 표시부
120, 312: 촬영부 130, 313: 얼굴 영역 검출부
140, 314: 연산부 150, 315: 제어부
210: 카메라 310: 사용자 단말 장치
120, 312: 촬영부 130, 313: 얼굴 영역 검출부
140, 314: 연산부 150, 315: 제어부
210: 카메라 310: 사용자 단말 장치
Claims (13)
- 이미지 또는 영상을 표시하는 표시부;
사용자 및 상기 사용자 주변 영상을 촬영하는 촬영부;
상기 사용자의 얼굴 영역을 검출하는 얼굴 영역 검출부;
상기 얼굴 영역의 크기 및 기준 좌표를 산출하는 연산부; 및
상기 얼굴 영역의 크기 및 상기 기준 좌표의 시간에 따른 변화에 대응하여, 상기 표시부에 표시되는 이미지 또는 영상에 대한 PTZ 제어를 수행하는 제어부;
를 포함하는 표시 제어 시스템. - 제1항에 있어서,
상기 제어부는 제1 시점 및 제2 시점에서의 상기 얼굴 영역의 크기가 변화하는 경우, 줌-인 (Zoom-In) 또는 줌-아웃 (Zoom-Out) 제어를 수행하는 표시 제어 시스템. - 제1항에 있어서,
상기 제어부는 제1 시점 및 제2 시점에서의 상기 기준 좌표의 x 좌표가 변화하는 경우, 팬 (Pan) 제어를 수행하는 표시 제어 시스템. - 제1항에 있어서,
상기 제어부는 제1 시점 및 제2 시점에서의 상기 기준 좌표의 y 좌표가 변화하는 경우, 틸트 (Tilt) 제어를 수행하는 표시 제어 시스템. - 영상을 촬영하는 카메라; 및
상기 카메라와 유선 또는 무선으로 연결되어 상기 카메라로부터 영상을 수신하는 사용자 단말 장치;
를 포함하는 영상 표시 제어 시스템으로서, 상기 사용자 단말 장치는,
상기 카메라로부터 수신되는 영상을 표시하는 표시부;
사용자 및 상기 사용자 주변 영상을 촬영하는 촬영부;
상기 사용자의 얼굴 영역을 검출하는 얼굴 영역 검출부;
상기 얼굴 영역의 크기 및 기준 좌표를 산출하는 연산부; 및
상기 얼굴 영역의 크기 및 상기 기준 좌표의 시간에 따른 변화에 대응하여, 상기 카메라에 대한 PTZ 제어를 수행하는 제어부;
를 포함하는 표시 제어 시스템. - 제5항에 있어서,
상기 제어부는 제1 시점 및 제2 시점에서의 상기 얼굴 영역의 크기가 변화하는 경우, 줌-인 (Zoom-In) 또는 줌-아웃 (Zoom-Out) 제어를 수행하는 표시 제어 시스템. - 제5항에 있어서,
상기 제어부는 제1 시점 및 제2 시점에서의 상기 기준 좌표의 x 좌표가 변화하는 경우, 팬 (Pan) 제어를 수행하는 표시 제어 시스템. - 제5항에 있어서,
상기 제어부는 제1 시점 및 제2 시점에서의 상기 기준 좌표의 y 좌표가 변화하는 경우, 틸트 (Tilt) 제어를 수행하는 표시 제어 시스템. - 이미지 또는 영상을 표시하는 표시부를 포함하는 사용자 단말 장치를 이용하는 영상 표시 제어 방법으로서,
사용자 및 상기 사용자 주변 영상을 촬영하는 단계;
상기 사용자의 얼굴 영역을 검출하는 단계;
상기 얼굴 영역의 크기 및 기준 좌표를 산출하는 단계; 및
상기 얼굴 영역의 크기 및 상기 기준 좌표의 시간에 따른 변화에 대응하여, 상기 표시부에 표시되는 이미지 또는 영상에 대한 PTZ 제어를 수행하는 단계;
를 포함하는 표시 제어 방법. - 제9항에 있어서,
상기 PTZ 제어 수행 단계에서는, 제1 시점 및 제2 시점에서의 상기 얼굴 영역의 크기가 변화하는 경우, 줌-인 (Zoom-In) 또는 줌-아웃 (Zoom-Out) 제어를 수행하는 표시 제어 방법. - 제9항에 있어서,
상기 PTZ 제어 수행 단계에서는, 제1 시점 및 제2 시점에서의 상기 기준 좌표의 x 좌표가 변화하는 경우, 팬 (Pan) 제어를 수행하는 표시 제어 방법. - 제9항에 있어서,
상기 PTZ 제어 수행 단계에서는, 제1 시점 및 제2 시점에서의 상기 기준 좌표의 y 좌표가 변화하는 경우, 틸트 (Tilt) 제어를 수행하는 표시 제어 방법. - 제9항 내지 제12항 중 어느 한 항에 따른 방법을 실행하기 위한 프로그램이 기록되어 있는 컴퓨터 판독 가능한 기록 매체.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020160042396A KR102596487B1 (ko) | 2016-04-06 | 2016-04-06 | 표시 제어 시스템, 방법 및 컴퓨터 판독 가능한 기록 매체 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020160042396A KR102596487B1 (ko) | 2016-04-06 | 2016-04-06 | 표시 제어 시스템, 방법 및 컴퓨터 판독 가능한 기록 매체 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20170114822A true KR20170114822A (ko) | 2017-10-16 |
| KR102596487B1 KR102596487B1 (ko) | 2023-11-01 |
Family
ID=60295568
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020160042396A KR102596487B1 (ko) | 2016-04-06 | 2016-04-06 | 표시 제어 시스템, 방법 및 컴퓨터 판독 가능한 기록 매체 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102596487B1 (ko) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20120038546A1 (en) * | 2010-08-10 | 2012-02-16 | Daryl Cromer | Gesture control |
| US20120287163A1 (en) * | 2011-05-10 | 2012-11-15 | Apple Inc. | Scaling of Visual Content Based Upon User Proximity |
| KR20140079947A (ko) * | 2012-12-20 | 2014-06-30 | 한국전자통신연구원 | 차량용 영상 녹화 장치 및 차량용 영상 녹화 방법 |
| KR101471846B1 (ko) * | 2014-03-28 | 2014-12-12 | 주식회사 로보티어 | Fx 감시카메라를 제어하는 콘트롤박스 및 fx 보안 시스템 및 fx 보안시스템 제어방법 |
| KR20150039463A (ko) * | 2013-10-02 | 2015-04-10 | 삼성전자주식회사 | 3d 디스플레이장치 및 3d영상처리방법 |
| KR101533686B1 (ko) * | 2014-06-30 | 2015-07-09 | 숭실대학교산학협력단 | 시선 추적 장치 및 방법, 이를 수행하기 위한 기록매체 |
| KR20150137368A (ko) * | 2014-05-29 | 2015-12-09 | 한화테크윈 주식회사 | 카메라 제어장치 |
-
2016
- 2016-04-06 KR KR1020160042396A patent/KR102596487B1/ko active IP Right Grant
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20120038546A1 (en) * | 2010-08-10 | 2012-02-16 | Daryl Cromer | Gesture control |
| US20120287163A1 (en) * | 2011-05-10 | 2012-11-15 | Apple Inc. | Scaling of Visual Content Based Upon User Proximity |
| KR20140079947A (ko) * | 2012-12-20 | 2014-06-30 | 한국전자통신연구원 | 차량용 영상 녹화 장치 및 차량용 영상 녹화 방법 |
| KR20150039463A (ko) * | 2013-10-02 | 2015-04-10 | 삼성전자주식회사 | 3d 디스플레이장치 및 3d영상처리방법 |
| KR101471846B1 (ko) * | 2014-03-28 | 2014-12-12 | 주식회사 로보티어 | Fx 감시카메라를 제어하는 콘트롤박스 및 fx 보안 시스템 및 fx 보안시스템 제어방법 |
| KR20150137368A (ko) * | 2014-05-29 | 2015-12-09 | 한화테크윈 주식회사 | 카메라 제어장치 |
| KR101533686B1 (ko) * | 2014-06-30 | 2015-07-09 | 숭실대학교산학협력단 | 시선 추적 장치 및 방법, 이를 수행하기 위한 기록매체 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR102596487B1 (ko) | 2023-11-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108958473B (zh) | 眼球追踪方法、电子装置及非暂态电脑可读取记录媒体 | |
| US10157477B2 (en) | Robust head pose estimation with a depth camera | |
| US10755438B2 (en) | Robust head pose estimation with a depth camera | |
| KR102291461B1 (ko) | 디스플레이를 위한 캡처된 이미지의 시각을 조정하는 기술들 | |
| US20170316582A1 (en) | Robust Head Pose Estimation with a Depth Camera | |
| US11487354B2 (en) | Information processing apparatus, information processing method, and program | |
| JP6359572B2 (ja) | 画像送信装置、情報処理端末、画像送信方法、情報処理方法、プログラム及び情報記憶媒体 | |
| US11716539B2 (en) | Image processing device and electronic device | |
| JP6096654B2 (ja) | 画像の記録方法、電子機器およびコンピュータ・プログラム | |
| US9065975B2 (en) | Method and apparatus for hands-free control of a far end camera | |
| CN115623185A (zh) | 虚拟现实模拟器以及计算机可读取记录介质 | |
| JP2010112979A (ja) | インタラクティブ看板システム | |
| KR101931295B1 (ko) | 원격지 영상 재생 장치 | |
| EP3702008A1 (en) | Displaying a viewport of a virtual space | |
| JP2017173455A (ja) | 情報処理装置、情報処理方法及びプログラム | |
| KR102596487B1 (ko) | 표시 제어 시스템, 방법 및 컴퓨터 판독 가능한 기록 매체 | |
| CN110892705A (zh) | 通过判断最佳状况来进行拍摄的方法及执行该方法的装置 | |
| JP4831750B2 (ja) | コミュニケーション誘発システム | |
| WO2018168825A1 (ja) | 画像処理装置および電子機器 | |
| US11775063B1 (en) | Display device and display method | |
| WO2018083757A1 (ja) | 画像提供装置、画像提供方法、プログラム、ならびに、非一時的なコンピュータ読取可能な情報記録媒体 | |
| KR102650349B1 (ko) | Xr 디바이스 및 그 제어 방법 | |
| WO2018168824A1 (ja) | 画像処理装置および電子機器 | |
| JP2016220148A (ja) | 制御装置、制御方法、システム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| N231 | Notification of change of applicant | ||
| E902 | Notification of reason for refusal | ||
| E90F | Notification of reason for final refusal | ||
| E701 | Decision to grant or registration of patent right |