KR102333598B1 - 객체의 후면 정보 제공 장치 및 그 방법 - Google Patents

객체의 후면 정보 제공 장치 및 그 방법 Download PDF

Info

Publication number
KR102333598B1
KR102333598B1 KR1020190114221A KR20190114221A KR102333598B1 KR 102333598 B1 KR102333598 B1 KR 102333598B1 KR 1020190114221 A KR1020190114221 A KR 1020190114221A KR 20190114221 A KR20190114221 A KR 20190114221A KR 102333598 B1 KR102333598 B1 KR 102333598B1
Authority
KR
South Korea
Prior art keywords
image
user
gaze
unit
surrounding
Prior art date
Application number
KR1020190114221A
Other languages
English (en)
Other versions
KR20210032779A (ko
Inventor
김필재
Original Assignee
김필재
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 김필재 filed Critical 김필재
Priority to KR1020190114221A priority Critical patent/KR102333598B1/ko
Priority to PCT/KR2020/008066 priority patent/WO2021054580A1/ko
Publication of KR20210032779A publication Critical patent/KR20210032779A/ko
Application granted granted Critical
Publication of KR102333598B1 publication Critical patent/KR102333598B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/388—Volumetric displays, i.e. systems where the image is built up from picture elements distributed through a volume
    • H04N13/39—Volumetric displays, i.e. systems where the image is built up from picture elements distributed through a volume the picture elements emitting light at places where a pair of light beams intersect in a transparent material

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

본 발명은 객체의 후면 정보 제공 장치 및 그 방법을 개시한다. 즉, 본 발명은 객체와 관련한 전방위 주변 영상을 획득하고, 사용자의 시선을 실시간으로 추적하고, 상기 추적되는 사용자의 시선에 대응하여 상기 획득된 주변 영상에서 사각지대에 해당하는 영역에 대한 차폐 영상을 생성하고, 상기 생성된 차폐 영상을 상기 객체의 일측에 구비된 디스플레이부를 통해 표시함으로써, 사용자는 불투명한 물체가 없다고 느끼거나 또는 그에 상응하는 수준으로 불투명한 물체의 후면 정보를 확인할 수 있다.

Description

객체의 후면 정보 제공 장치 및 그 방법{Apparatus for providing backward information of object and method thereof}
본 발명은 객체의 후면 정보 제공 장치 및 그 방법에 관한 것으로서, 특히 객체와 관련한 전방위 주변 영상을 획득하고, 사용자의 시선을 실시간으로 추적하고, 상기 추적되는 사용자의 시선에 대응하여 상기 획득된 주변 영상에서 사각지대에 해당하는 영역에 대한 차폐 영상을 생성하고, 상기 생성된 차폐 영상을 상기 객체의 일측에 구비된 디스플레이부를 통해 표시하는 객체의 후면 정보 제공 장치 및 그 방법에 관한 것이다.
객체의 후면의 정보를 사용자에게 제공하게 되면, 이미지 센서의 소실점과 사용자의 안구의 소실점 간의 차이로 인해 이질감이 생기게 되며, 그로 인해 사용자는 후면의 정보를 왜곡되게 인식하게 되고, 이로 인해 사용자는 이질감 또는 후면의 정보가 아닌 다른 정보로 인식하게 된다.
한국공개특허 제10-2017-0126149호 [제목: 차량용 전방필러 영상 제공 시스템]
본 발명의 목적은 객체와 관련한 전방위 주변 영상을 획득하고, 사용자의 시선을 실시간으로 추적하고, 상기 추적되는 사용자의 시선에 대응하여 상기 획득된 주변 영상에서 사각지대에 해당하는 영역에 대한 차폐 영상을 생성하고, 상기 생성된 차폐 영상을 상기 객체의 일측에 구비된 디스플레이부를 통해 표시하는 객체의 후면 정보 제공 장치 및 그 방법을 제공하는 데 있다.
본 발명의 다른 목적은 1인 또는 다수의 사용자의 시선 변화 또는 양안 위치에 따라 실시간으로 차폐 영상을 변환하여 디스플레이부를 통해 외부 상황을 입체 영상으로 제공하는 객체의 후면 정보 제공 장치 및 그 방법을 제공하는 데 있다.
본 발명의 실시예에 따른 객체의 후면 정보 제공 장치는 객체 전면에 위치한 사용자에 대해서 사용자의 시선 방향에서 상기 객체에 의해 차폐되는 사각지대를 포함하는 상기 객체 주변의 주변 영상을 획득하는 입체 스캐닝부; 상기 객체 전면에 위치한 사용자의 시선을 추적하는 시선 추적부; 상기 추적된 사용자의 시선에 대응하여 상기 획득된 주변 영상에서 상기 객체에 의한 사각지대에 해당하는 영역에 대한 차폐 영상을 생성하는 제어부; 및 상기 생성된 차폐 영상을 표시하는 디스플레이부를 포함할 수 있다.
본 발명과 관련된 일 예로서 상기 입체 스캐닝부는, 상기 객체의 타측에 구성되며, 상기 객체의 전면에 위치한 사용자가 상기 객체를 바라볼 때 상기 객체에 의해 생성되는 사각지대를 포함하는 상기 주변 영상을 획득할 수 있다.
본 발명과 관련된 일 예로서 상기 시선 추적부는, 상기 객체의 일측에 구성되며, 상기 객체의 전면에 위치한 사용자를 포함하는 사용자 영상을 획득하고, 상기 획득된 사용자 영상에서 상기 사용자를 인식하고, 상기 인식된 사용자의 시선을 실시간으로 추적할 수 있다.
본 발명과 관련된 일 예로서 상기 제어부는, 상기 시선 추적부에 의해 획득된 사용자 영상을 근거로 사용자의 시선에 따른 좌표 정보를 출력하는 양안 추적 모듈; 상기 입체 스캐닝부로부터 획득된 주변 영상을 근거로 각 프레임별 상기 좌표 정보에 대응하는 영역을 추출하는 영상 제어 모듈; 및 상기 주변 영상에서 상기 추출된 영역에 대한 영상을 상기 차폐 영상으로 상기 디스플레이부에 제공하는 영상 생성 모듈을 포함할 수 있다.
본 발명과 관련된 일 예로서 상기 양안 추적 모듈은, 상기 사용자 영상에 대해 이진화 처리를 수행하여 사용자 얼굴 및 양안에 대한 폐곡선을 생성하는 전처리부; 상기 생성된 폐곡선이 이루는 얼굴 영역에서 양안 부분을 검출하는 눈 검출부; 및 상기 검출된 양안 부분에 따른 좌표 정보를 산출하는 좌표 산출부를 포함할 수 있다.
본 발명과 관련된 일 예로서 상기 영상 제어 모듈은, 상기 주변 영상을 일정 프레임 단위로 임시 저장하는 주변 영상 입력부; 상기 임시 저장된 주변 영상의 대표 프레임의 전체 영역에 대해 상기 산출된 좌표 정보를 매핑하여 포커스를 설정하는 포커스 설정부; 및 상기 설정된 포커스를 기준으로 상기 객체에 의한 사각지대에 대응하는 영역을 추출하는 영역 추출부를 포함할 수 있다.
본 발명의 실시예에 따른 객체의 후면 정보 제공 방법은 입체 스캐닝부에 의해, 객체 전면에 위치한 사용자에 대해서 사용자의 시선 방향에서 상기 객체에 의해 차폐되는 사각지대를 포함하는 상기 객체 주변의 주변 영상을 획득하는 단계; 시선 추적부에 의해, 상기 객체 전면에 위치한 사용자의 시선을 추적하는 단계; 제어부에 의해, 상기 추적된 사용자의 시선에 대응하여 상기 획득된 주변 영상에서 상기 객체에 의한 사각지대에 해당하는 영역에 대한 차폐 영상을 생성하는 단계; 및 디스플레이부에 의해, 상기 생성된 차폐 영상을 표시하는 단계를 포함할 수 있다.
본 발명과 관련된 일 예로서 상기 차폐 영상을 생성하는 단계는, 상기 시선 추적부를 통해 획득된 사용자가 포함된 사용자 영상에 대해 이진화 처리를 수행하여 사용자 얼굴 및 양안에 대한 폐곡선을 생성하는 과정; 상기 생성된 폐곡선이 이루는 얼굴 영역에서 양안 부분을 검출하는 과정; 상기 검출된 양안 부분에 따른 좌표 정보를 산출하는 과정; 상기 입체 스캐닝부를 통해 획득된 주변 영상을 일정 프레임 단위로 임시 저장하는 과정; 상기 임시 저장된 주변 영상의 대표 프레임의 전체 영역에 대해 상기 산출된 좌표 정보를 매핑하여 포커스를 설정하는 과정; 상기 설정된 포커스를 기준으로 상기 객체에 의한 사각지대에 대응하는 영역을 추출하는 과정; 및 상기 주변 영상에서 상기 추출된 객체에 의한 사각지대에 대응하는 영역에 대한 영상인 차폐 영상을 생성하는 과정을 포함할 수 있다.
본 발명과 관련된 일 예로서 상기 좌표 정보는, 사용자와 양안 서로 간의 거리 및 상기 사용자와 상기 디스플레이부 간의 거리를 포함할 수 있다.
본 발명은 객체와 관련한 전방위 주변 영상을 획득하고, 사용자의 시선을 실시간으로 추적하고, 상기 추적되는 사용자의 시선에 대응하여 상기 획득된 주변 영상에서 사각지대에 해당하는 영역에 대한 차폐 영상을 생성하고, 상기 생성된 차폐 영상을 상기 객체의 일측에 구비된 디스플레이부를 통해 표시함으로써, 사용자는 불투명한 물체가 없다고 느끼거나 또는 그에 상응하는 수준으로 불투명한 물체의 후면 정보를 확인할 수 있는 효과가 있다.
또한, 본 발명은 1인 또는 다수의 사용자의 시선 변화 또는 양안 위치에 따라 실시간으로 차폐 영상을 변환하여 디스플레이부를 통해 외부 상황을 입체 영상으로 제공함으로써, 후면 정보 제공에 따른 사용자가 느끼는 이질감을 없애거나 감소시키고, 사용자의 만족도를 높일 수 있는 효과가 있다.
도 1은 본 발명의 실시예에 따른 객체의 후면 정보 제공 장치의 구성을 나타낸 블록도이다.
도 2는 본 발명의 실시예에 따른 제어부의 구성을 나타낸 블록도이다.
도 3은 본 발명의 실시예에 따른 객체의 후면 정보 제공 장치의 차폐 영상을 추출하는 방식을 나타낸 도이다.
도 4는 본 발명의 실시예에 따른 객체의 후면 정보 제공 방법을 나타낸 흐름도이다.
도 5는 본 발명의 실시예에 따른 사용자의 시선에 따른 영상의 예를 나타낸 도이다.
도 6은 본 발명의 실시예에 따른 사용자의 시선에 따른 객체에 의해 차폐되는 사각지대를 포함하는 주변 영상의 예를 나타낸 도이다.
도 7은 본 발명의 실시예에 따른 객체에 의한 차폐 영상의 예를 나타낸 도이다.
도 8은 본 발명의 실시예에 따른 차폐 영상이 표시되는 디스플레이부의 화면 예를 나타낸 도이다.
본 발명에서 사용되는 기술적 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아님을 유의해야 한다. 또한, 본 발명에서 사용되는 기술적 용어는 본 발명에서 특별히 다른 의미로 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 의미로 해석되어야 하며, 과도하게 포괄적인 의미로 해석되거나, 과도하게 축소된 의미로 해석되지 않아야 한다. 또한, 본 발명에서 사용되는 기술적인 용어가 본 발명의 사상을 정확하게 표현하지 못하는 잘못된 기술적 용어일 때에는 당업자가 올바르게 이해할 수 있는 기술적 용어로 대체되어 이해되어야 할 것이다. 또한, 본 발명에서 사용되는 일반적인 용어는 사전에 정의되어 있는 바에 따라, 또는 전후 문맥상에 따라 해석되어야 하며, 과도하게 축소된 의미로 해석되지 않아야 한다.
또한, 본 발명에서 사용되는 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한 복수의 표현을 포함한다. 본 발명에서 "구성된다" 또는 "포함한다" 등의 용어는 발명에 기재된 여러 구성 요소들 또는 여러 단계를 반드시 모두 포함하는 것으로 해석되지 않아야 하며, 그 중 일부 구성 요소들 또는 일부 단계들은 포함되지 않을 수도 있고, 또는 추가적인 구성 요소 또는 단계들을 더 포함할 수 있는 것으로 해석되어야 한다.
또한, 본 발명에서 사용되는 제 1, 제 2 등과 같이 서수를 포함하는 용어는 구성 요소들을 설명하는데 사용될 수 있지만, 구성 요소들은 용어들에 의해 한정되어서는 안 된다. 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제 1 구성 요소는 제 2 구성 요소로 명명될 수 있고, 유사하게 제 2 구성 요소도 제 1 구성 요소로 명명될 수 있다.
이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성 요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.
또한, 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 발명의 사상을 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 발명의 사상이 제한되는 것으로 해석되어서는 아니 됨을 유의해야 한다.
도 1은 본 발명의 실시예에 따른 객체의 후면 정보 제공 장치(10)의 구성을 나타낸 블록도이다.
도 1에 도시한 바와 같이, 객체의 후면 정보 제공 장치(10)는 입체 스캐닝부(100), 시선 추적부(200), 제어부(300) 및 디스플레이부(400)로 구성된다. 도 1에 도시된 객체의 후면 정보 제공 장치(10)의 구성 요소 모두가 필수 구성 요소인 것은 아니며, 도 1에 도시된 구성 요소보다 많은 구성 요소에 의해 객체의 후면 정보 제공 장치(10)가 구현될 수도 있고, 그보다 적은 구성 요소에 의해서도 객체의 후면 정보 제공 장치(10)가 구현될 수도 있다.
상기 객체의 후면 정보 제공 장치(10)는 다른 단말들과의 통신 기능을 수행하기 위한 통신부(미도시), 다양한 정보 및 프로그램(또는 애플리케이션)을 저장하기 위한 저장부(미도시), 다양한 정보 및 프로그램 실행 결과에 대응하는 음성 정보를 출력하기 위한 음성 출력부(미도시), 주변의 객체를 감지하고 해당 객체의 움직임을 감지하기 위한 센서부(미도시) 등을 포함할 수 있다.
상기 입체 스캐닝부(또는 입체 스캐닝 장치)(100)는 특정 객체의 주변에 구성(또는 배치/형성)한다. 여기서, 상기 객체는 불투명 물체(또는 불투명 사물)일 수 있다.
또한, 상기 입체 스캐닝부(100)는 TOF(Time-Of-Flight) 방식 카메라, SL(Structured Light) 방식 센서, CCD 이미지 센서(또는 카메라 모듈/카메라), 360도 전방향에 대한 영상 정보를 획득할 수 있는 스테레오 비전 방식 카메라(또는 스테레오 카메라)로 구성한다.
또한, 상기 입체 스캐닝부(100)는 객체 전면에 위치한 사용자에 대해서 사용자의 시선 방향(또는 사용자에 대향하는 객체 후면 방향)에서 해당 객체에 의해 차폐되는 사각지대를 포함하는 해당 객체 주변의 주변 영상(또는 객체 후면의 주변 영상/주변 영상 정보/객체 주변의 전방위 주변 영상)을 획득(또는 촬영)한다.
즉, 특정 객체의 타측(또는 객체 후면)에 구성된 상기 입체 스캐닝부(100)는 상기 객체의 전면에 위치한 사용자가 해당 객체를 바라보는 경우 상기 객체에 의해 생성되는 사각지대를 포함하는 해당 객체 주변의 주변 영상(또는 객체 후면의 주변 영상/주변 영상 정보/객체 주변의 전방위 주변 영상)을 획득한다.
이때, 상기 입체 스캐닝부(100)는 해당 객체 주변의 전방위에 대한 주변 영상을 획득하기 위해서 상기 객체(또는 상기 객체 주변)에 복수로 구성되어, 해당 객체 주변의 전방위 주변 영상을 획득할 수 있다.
이와 같이, 상기 입체 스캐닝부(100)는 상기 객체 주변의 사용자를 기준으로 사용자가 바라보는 시점에 대응하는 주변 상황을 촬영하는데 유리한 위치에 하나 이상이 설치될 수 있다.
또한, 상기 입체 스캐닝부(100)는 상기 사용자가 바라보는 지점에 대응하는 주변 상황을 촬영하여 상기 제어부(300)에 제공하며, 어안렌즈 등을 이용하여 상기 사용자의 시야보다 적어도 넓은 영역에 대한 주변 영상을 획득할 수 있고, 상기 획득된 주변 영상을 상기 제어부(300)에 제공할 수 있다.
또한, 상기 입체 스캐닝부(100)로 라이다(radar)가 이용되는 경우, 탑재된 센서를 회전시켜 광각의 주변 영상을 획득할 수 있다. 이에 따라, 상기 입체 스캐닝부(100)는 평면 영상뿐만 아니라 공간 정보를 갖는 입체 영상도 획득할 수 있다.
이와 같이, 상기 입체 스캐닝부(100)는 상기 객체의 일측에서 상기 객체의 타측에 의해 형성되는 사각지대를 촬영하여 주변 영상을 획득할 수 있다.
상기 시선 추적부(또는 아이트래킹 장치)(200)는 상기 특정 객체의 주변에 구성(또는 배치/형성)한다.
또한, 상기 시선 추적부(200)는 TOF 방식 카메라, SL 방식 센서, CCD 이미지 센서(또는 카메라 모듈/카메라), 360도 전방향에 대한 영상 정보를 획득할 수 있는 스테레오 비전 방식 카메라(또는 스테레오 카메라)로 구성한다.
또한, 상기 시선 추적부(200)는 상기 객체 전면에 위치한 사용자의 시선을 실시간으로 추적(또는 측정/감지)한다. 이때, 상기 시선 추적부(200)는 공지의 영상 추적 기법이 적용되어 사용자의 눈 위치, 시선, 시각 방향, 머리 방향 등을 감지할 수 있다.
즉, 상기 특정 객체의 일측(또는 객체 전면)에 구성된 상기 시선 추적부(200)는 영상 통화 모드, 촬영 모드, 영상회의 모드 등에서 이미지 센서(카메라 모듈 또는 카메라)에 의해 얻어지는 정지영상 또는 동영상 등의 화상 프레임을 처리한다. 즉, 코덱(CODEC)에 따라 상기 이미지 센서에 의해 얻어지는 해당 화상 데이터들을 각 규격에 맞도록 인코딩/디코딩한다. 일 예로, 상기 시선 추적부(200)는 상기 객체의 전면에 위치한 사용자를 포함하는 사용자 영상(또는 사용자 영상 정보)을 촬영하고, 그 촬영된 사용자 영상(피사체 영상)에 대응하는 비디오 신호를 출력한다. 또한, 상기 시선 추적부(200)는 상기 획득된 사용자 영상에서 상기 사용자를 인식하고, 상기 인식된 사용자의 시선을 실시간으로 추적한다.
이때, 상기 시선 추적부(200)는 해당 객체 주변의 전방위에 위치하는 객체 주변의 사용자를 감지하고, 감지된 사용자의 시선을 실시간으로 추적하기 위해서 상기 객체(또는 상기 객체 주변)에 복수로 구성되어, 해당 객체 주변에 위치한 개별 사용자의 시선을 각각 추적할 수 있다.
이러한 시선 추적부(200)는 사용자의 시선을 감지하여 상기 제어부(300)에 제공함으로써, 상기 제어부(300)가 해당 객체 주변의 사용자의 시선에 따른 사각지대에 대응하는 영역을 검출할 수 있도록 한다.
이는 상기 객체에 의한 사각지대에 대응하는 주변 상황은 사용자의 눈의 위치에 따라 달라짐에 따라, 차폐 형상이 고정된 영상인 경우 해당 객체의 후면으로 보이는 주변 상황과 이질감이 발생하는 문제를 개선하기 위한 기능이다. 즉, 이러한 문제를 개선하기 위해, 본 발명의 실시예에 따른 객체의 후면 정보 제공 장치(10)는 상기 시선 추적부(200)를 통해 사용자의 시선을 감지하고, 현재 시선에 대응하도록 주변 영상 내 일정 영역을 설정하여 차폐 영상을 생성 및 표시함으로써 더욱 자연스러운 영상을 사용자가 볼 수 있도록 한다.
이와 같이, 상기 입체 스캐닝부(100)에 의해 획득되는 주변 영상은 사용자의 시야에 대응하는 영역보다 넓은 영역을 갖는 영상이고, 상기 객체를 기준으로 상기 객체로부터 일정 거리 이격된 특정 위치에서 해당 객체를 바라보는 사용자의 시선에 대응하는(또는 일치하는) 방향과 관련한 영상이며, 상기 시선 추적부(200)에 의해 획득되는 사용자 영상은 상기 객체를 기준으로 상기 객체로부터 일정 거리 이격된 특정 위치에 위치한 해당 사용자를 포함하는 영상(또는 상기 사용자의 시선에 대향하는 방향과 관련한 영상)일 수 있다.
상기 제어부(또는 영상 처리부)(controller, 또는 MCU(microcontroller unit)(300)는 상기 객체의 후면 정보 제공 장치(10)가 구성되는 특정 객체의 일측에 배치(또는 구성/형성)한다.
또한, 상기 제어부(300)는 상기 객체의 후면 정보 제공 장치(10)의 전반적인 제어 기능을 실행한다.
또한, 상기 제어부(300)는 상기 저장부(미도시)에 저장된 프로그램 및 데이터를 이용하여 객체의 후면 정보 제공 장치(10)의 전반적인 제어 기능을 실행한다. 상기 제어부(300)는 RAM, ROM, CPU, GPU, 버스를 포함할 수 있으며, RAM, ROM, CPU, GPU 등은 버스를 통해 서로 연결될 수 있다. CPU는 상기 저장부에 액세스하여, 상기 저장부에 저장된 O/S를 이용하여 부팅을 수행할 수 있으며, 상기 저장부에 저장된 각종 프로그램, 콘텐츠, 데이터 등을 이용하여 다양한 동작을 수행할 수 있다.
도 2에 도시한 바와 같이, 상기 제어부(300)는 양안 추적 모듈(310), 영상 제어 모듈(320) 및 영상 생성 모듈(330)로 구성된다. 도 2에 도시된 제어부(300)의 구성 요소 모두가 필수 구성 요소인 것은 아니며, 도 2에 도시된 구성 요소보다 많은 구성 요소에 의해 제어부(300)가 구현될 수도 있고, 그보다 적은 구성 요소에 의해서도 제어부(300)가 구현될 수도 있다.
상기 양안 추적 모듈(310)은 상기 시선 추적부(200)에 의해 획득된 사용자 영상(tck)을 입력받아 사용자의 시선에 따른 좌표 정보를 출력(또는 사용자의 시선이 향하는 좌표 정보를 산출)한다.
또한, 상기 도 2에 도시한 바와 같이, 상기 양안 추적 모듈(310)은 전처리부(311), 눈 검출부(312) 및 좌표 산출부(313)로 구성된다.
상기 전처리부(311)는 상기 시선 추적부(200)에 의해 획득된 사용자가 포함된 사용자 영상(tck)에 대해 이진화 처리를 수행하여 사용자 얼굴 및 양안에 대한 폐곡선을 생성(또는 도출)한다.
즉, 상기 전처리부(311)는 상기 사용자 영상에 대하여 이진화 기법을 적용하여 영상 내 각 화소들의 계조를 0 그레이(gray) 또는 255 그레이의 두 이진화된 값으로 변환함으로써 전처리를 수행할 수 있다. 이진화된 영상에서 얼굴 부분 및 양안 부분은 각각 폐곡선을 이루게 된다.
또한, 상기 전처리부(311)는 이진화 과정을 통해 사용자의 얼굴 및 눈 부분을 제외한 다른 부위를 배제할 수 있다. 이러한 이진화 과정에서는 소정의 임계값이 이용되어, 영상 내 임계값 이상의 계조는 흑색으로 이진화되고, 영상 내 임계값 미만의 계조는 백색으로 이진화될 수 있고, 설계자는 주변의 조도 등을 참조하여 적절한 임계값을 설정할 수 있다.
상기 눈 검출부(312)는 상기 생성된 폐곡선이 이루는 얼굴 영역에서 양안 부분을 검출한다.
즉, 상기 눈 검출부(312)는 상기 전처리된 영상 내 폐곡선을 식별하여 사용자의 얼굴 부분을 식별(또는 인식)하고, 상기 식별된 사용자의 얼굴 부분 내에 인접한 두 폐곡선을 식별하여 사용자의 양안을 검출할 수 있다.
상기 좌표 산출부(313)는 상기 검출된 양안 부분에 따른 좌표 정보를 산출한다. 여기서, 상기 좌표 정보는 사용자의 양안 서로 간의 거리, 상기 사용자와 디스플레이부(400)(또는 상기 객체) 간의 거리 등을 포함한다.
즉, 상기 좌표 산출부(313)는 상기 눈 검출부(312)에 의해 식별된 양안에 대한 좌표 정보를 산출할 수 있고, 사용자의 시선 방향을 포함하는 좌표 정보를 상기 제어부(130)에 제공한다.
상기 영상 제어 모듈(320)은 상기 입체 스캐닝부(100)에 의해 획득된 주변 영상(img_i)을 입력받아 각 프레임별 좌표 정보에 대응하는 영역을 추출한다.
즉, 상기 영상 제어 모듈(320)은 추정된 사용자의 시선 방향에 따라, 현재 사용자의 시선이 향하는 외부 상황에 대한 영상을 추출한다.
또한, 상기 도 2에 도시한 바와 같이, 상기 영상 제어 모듈(320)은 주변 영상 입력부(321), 포커스 설정부(322) 및 영역 추출부(323)로 구성된다.
상기 주변 영상 입력부(321)는 상기 입체 스캐닝부(100)에 의해 획득된 주변 영상을 입력받아 일정 프레임 단위로 저장부(미도시)에 임시 저장한다.
즉, 상기 주변 영상 입력부(321)는 상기 입체 스캐닝부(110)로부터 실시간으로 주변 영상(img_i)을 입력받아 일정한 프레임 단위로 임시 저장할 수 있고, 실시간으로 입력되는 주변 영상(img_i)을 일정한 프레임 단위로 임시 저장하고, 그 프레임에서 대표 프레임, 일 예로, 최초 프레임에 대해 좌표 정보를 매핑하여 차폐 영상(video)에 대응하는 영역을 추출할 수 있다.
상기 포커스 설정부(322)는 상기 주변 영상의 대표 프레임의 전체 영역에 대해 상기 산출된 좌표 정보를 매핑하여(또는 적용하여) 포커스(또는 초점)를 설정한다.
즉, 상기 포커스 설정부(322)는 상기 임시 저장된 주변 영상(img_i)의 대표 프레임 상에 좌표 정보에 따른 시선 방향을 매핑함으로써, 사용자의 시선이 상기 주변 영상(img_i)에서 어느 영역에 포커스가 맞추어져 있는지 설정(또는 확인)할 수 있다.
상기 영역 추출부(323)는 상기 설정된 포커스를 기준으로 하여 상기 객체에 의한 사각지대에 대응하는 영역을 추출한다.
즉, 상기 영역 추출부(323)는 사용자의 포커스에 따라 상기 주변 영상에서 상기 객체에 의한 사각지대가 어느 영역인지 판단하여 추출할 수 있다. 상기 사용자의 포커스는 상기 객체를 향하거나 또는, 상기 객체의 좌측 또는 우측을 향할 수 있으며, 그에 따라 실제 눈으로 볼 수 있는 부분과 상기 객체에 의해 가려져 보이지 않는 부분이 존재하게 된다. 상기 영역 추출부(323)는 상기 설정된 포커스를 기준으로 하여 상기 주변 영상에서 상기 객체에 의한 사각지대에 대응하는 영역을 추출한다.
상기 영상 생성 모듈(330)은 상기 주변 영상에서 상기 영상 제어 모듈(320)에 의해 설정된 영역에 대한 영상을 차폐 영상으로 상기 디스플레이부(400)에 제공한다.
즉, 상기 영상 생성 모듈(330)은 상기 주변 영상에서 상기 추출된 객체에 의한 사각지대에 대응하는 영역에 대한 영상인 차폐 영상을 생성한다. 이때, 상기 영상 생성 모듈(330)은 상기 디스플레이부(400)의 화면 크기, 상기 디스플레이부(400)의 가장자리 영역(또는 베젤 영역) 등을 고려하여, 상기 생성되는 차폐 영상의 크기(또는 해상도)를 조절할 수 있다.
또한, 상기 영상 생성 모듈(330)은 전체 주변 영상에서 상기 영상 제어 모듈(320)에 의해 추출된 사각지대에 대한 영역에 대응하는 부분에 대한 영상 또는 패턴을 포함하는 차폐 영상(video)을 생성하여 상기 디스플레이부(400)에 출력할 수 있다.
또한, 상기 영상 생성 모듈(330)은 상기 디스플레이부(400)가 입체 영상을 구현하는 3D 디스플레이인 경우, 상기 좌표 정보를 참조하여 상기 디스플레이부(400)를 기준으로 양안의 위치 및 거리에 따라 좌안 영상과 우안 영상이 각각 사용자의 좌안 및 우안에 입사되도록 좌안 영상과 우안 영상이 표시되는 화소를 좌방향 또는 우방향으로 쉬프트하여 변환된 영상을 상기 디스플레이부(400)에 입력함으로써, 상기 사용자의 얼굴 및 시선의 이동에 따라 이질감 없는 입체 영상(또는 3D 콘텐츠)을 표시할 수 있다.
이와 같이, 상기 영상 생성 모듈(330)은 사용자의 시선 추적 결과를 실시간으로 반영하여 사각지대에 대한 영역에 따른 차폐 영상을 생성할 수 있다.
또한, 상기 감지된 사용자의 시선 방향 및 시선 위치에 대한 정보를 근거로 해당 사용자의 시선이 일측으로 움직이는 경우, 상기 제어부(300)(또는 상기 영상 생성 모듈(330))는 상기 움직이는 사용자의 시선 방향 및 시선 위치를 상기 차폐 영상에 반영하여, 해당 사용자의 시선 방향 및 시선 위치의 움직임 변화에 대응하여 변화된 좌표 정보에 대응하는 반대 방향으로 움직인 차폐 영상을 생성할 수 있다.
예를 들어 정면을 바라보고 있던 상태에서 왼쪽으로 5cm 정도 움직이는 경우, 상기 제어부(300)는 상기 차폐 영상을 해당 움직임 변화(예를 들어 왼쪽으로 5cm)에 대응하는 반대 방향으로 5cm 정도 움직인 상태로 보정된 차폐 영상을 생성하여, 이전 차폐 영상에 비해서 사용자의 시선 움직임 변화에 반대되는 방향으로 보정된 차폐 영상을 상기 디스플레이부(400)를 통해 표시할 수 있다.
이와 같이, 상기 제어부(300)는 상기 입체 스캐닝부(100) 및 상기 시선 추적부(200)로부터 주변 영상과 사용자 영상을 수신하고, 이에 기초하여 상기 객체에 의해 발생하는 사각지대에 대응하는 차폐 영상을 생성하여 상기 디스플레이부(400)에 출력할 수 있다.
이러한 상기 제어부(300)는 소정의 인쇄회로기판 상에 탑재되는 프로그래밍된 MCU, 메모리 소자 등으로 구현될 수 있고, 상기 객체의 후면 정보 제공 장치(10)가 구비되는 상기 객체의 일측에 실장될 수 있으나, 그 위치가 특정 공간으로 한정되는 것은 아니다.
또한, 상기 제어부(300)는 상기 입체 스캐닝부(100)로부터 상기 객체의 외측에서 외부 상황을 촬영한 주변 영상을 제공받고, 상기 시선 추적부(200)로부터 사용자의 시선을 추천한 사용자 영상을 제공받을 수 있다. 여기서, 상기 주변 영상은 적어도 사용자의 시야에 대응하는 영역보다 넓은 영역을 갖는 영상이며, 상기 제어부(300)는 상기 사용자 영상으로부터 사용자 시선에 따른 좌표 정보를 산출하고, 상기 주변 영상에 상기 산출된 좌표 정보를 매칭함으로써, 현재 사용자의 시선에 따른 상기 객체의 사각지대에 대응하는 영역을 추출하고, 상기 주변 영상에서 상기 추출된 영역에 대한 영상인 차폐 영상을 상기 디스플레이부(400)에 출력할 수 있다.
또한, 상기 입체 스캐닝부(100) 및 상기 시선 추적부(200)에 의해 상기 객체 주변의 전방위에 대응하는 복수의 주변 영상 및 복수의 사용자 영상이 획득되는 경우, 상기 제어부(300)는 상기 사용자의 시선에 대응하는 주변 영상 및 사용자 영상을 각각 확인하고, 상기 확인된 주변 영상 및 사용자 영상을 근거로 상기 사용자의 시선에 따라 상기 객체에 의한 사각지대에 대응하는 차폐 영상을 생성할 수도 있다.
본 발명의 실시예에서는 상기 객체 주변에 위치한 1인 사용자의 시선 변화에 따른 차폐 영상을 상기 디스플레이부(400)를 통해 표시하는 것을 설명하고 있으나, 이에 한정되는 것은 아니며, 복수의 사용자의 시선 변화에 따른 복수의 차폐 영상을 상기 디스플레이부(400) 또는 복수의 디스플레이부(400)를 통해 표시할 수도 있다.
상기 디스플레이부(또는 표시부)(400)는 특정 객체의 일측(또는 주변)에 구성(또는 배치/형성)한다.
또한, 상기 디스플레이부(400)는 상기 제어부(300)의 제어에 의해 상기 저장부에 저장된 사용자 인터페이스 및/또는 그래픽 사용자 인터페이스를 이용하여 다양한 메뉴 화면 등과 같은 다양한 콘텐츠를 표시할 수 있다. 여기서, 상기 디스플레이부(400)에 표시되는 콘텐츠는 다양한 텍스트 또는 이미지 데이터(각종 정보 데이터 포함)와 아이콘, 리스트 메뉴, 콤보 박스 등의 데이터를 포함하는 메뉴 화면 등을 포함한다. 또한, 상기 디스플레이부(400)는 터치 스크린 일 수 있다.
또한, 상기 디스플레이부(400)는 액정 디스플레이(Liquid Crystal Display: LCD), 박막 트랜지스터 액정 디스플레이(Thin Film Transistor-Liquid Crystal Display: TFT LCD), 유기 발광 다이오드(Organic Light-Emitting Diode: OLED), 전기영동 디스플레이(ElectroPhoretic Display: EPD), 플렉시블 디스플레이(Flexible Display), 전자잉크 디스플레이(e-ink display), LED(Light Emitting Diode) 중에서 적어도 하나를 포함할 수 있다.
또한, 상기 객체의 전면에 구성된 상기 디스플레이부(140)는 상기 제어부(130)에 의해 생성된 상기 차폐 영상을 표시한다. 이때, 상기 디스플레이부(140)는 상기 시선 추적부(120)에 따른 사용자의 시선 추적 결과를 고려하여 상기 제어부(130)에 의해 실시간으로 생성되는 상기 차폐 영상을 표시할 수 있다.
상기 디스플레이부(400)로 플렉시블 디스플레이를 이용하는 경우, 상기 객체가 굴곡이 형성되는 경우에도 그 형태에 따라 상기 플렉시블 디스플레이가 휘어진 상태로 상기 객체에 부착(또는 배치/고정)될 수 있다.
이와 같이, 상기 객체의 후면 정보 제공 장치(10)는 사용자의 시선을 실시간으로 추적하여 좌표 정보를 산출하고, 실시간으로 변경되는 외부 상황에 대한 주변 영상에서 사용자의 시선에 적합한 상기 객체의 사각지대의 차폐 영상을 상기 플렉시블 디스플레이(400)에 매칭되는 곡면 뷰포트(viewport)로 출력할 수 있다.
또한, 상기 디스플레이부(400)는 일반적인 2D 디스플레이부뿐만 아니라, 사용자의 좌안 및 우안에 대응하여 각각 서로 다른 영상을 표시하는 3D 입체 디스플레이 장치가 이용될 수 있다.
이 경우, 상기 입체 스캐닝부(100)는 공간 정보를 갖는 주변 영상을 획득하여 상기 제어부(300)에 제공하고, 상기 제어부(300)는 상기 시선 추적부(200)가 추적한 사용자의 시선에 대응하여 좌안 영상 및 우안 영상을 화면상에 화소 단위로 쉬프트(shift)하여 실시간으로 변환된 차폐 영상을 상기 디스플레이부(400)에 제공함으로써, 번짐 현상이 최소화된 무안경 방식의 입체 영상을 구현할 수도 있다.
이와 같이, 상기 디스플레이부(400)는 상기 객체의 영상에 대응하고, 좌안 및 우안에 서로 다른 영상을 표시하여 입체 영상을 구현할 수 있다.
또한, 이와 같이, 상기 디스플레이부(400)는 외부 상황을 2D 평면 영상뿐만 아니라, 양안 시차에 따른 3D 입체 영상으로 표시할 수 있다.
본 발명의 실시예에 따른 객체의 후면 정보 제공 장치(10)는 사용자들이 객체와 관련한 외부 상황에 대하여 사각지대가 최소화된 환경을 제공할 수 있어, 사각지대에 의한 사고 발생을 방지할 수 있다.
도 3은 본 발명의 실시예에 따른 객체의 후면 정보 제공 장치(10)의 차폐 영상을 추출하는 방식을 나타낸 도이다.
상기 도 3에 도시된 바와 같이, 사용자(350)가 특정 객체(360) 방향을 바라보는 외부 상황에 대하여 가시영역(A1) 및 상기 객체(360)에 의한 사각지대 즉, 비가시영역(B1)이 형성된다. 이에 따라 사용자(350)는 상기 비가시영역(B1)에 대한 외부 상황을 확인할 수 없다.
이러한 문제를 개선하기 위해, 본 발명의 실시예에 따른 상기 객체의 후면 정보 제공 장치(10)는 상기 객체(360)의 타측으로 상기 입체 스캐닝부(100)를 구성하고, 상기 객체(360)의 일측으로 상기 시선 추적부(200)를 구성하고, 상기 입체 스캐닝부(100)가 촬영한 비가시영역(B1)에 대응하는 차폐 영상을 상기 객체(360)의 일측에 구성된 디스플레이부(400)를 통해 표시함으로써, 사용자(350)가 전체 외부 상황(A1+B1)을 확인할 수 있도록 한다.
또한, 상기 객체의 후면 정보 제공 장치(10)에서는 사용자(350)의 얼굴의 위치가 변경되거나 또는, 시선 방향이 변경될 경우, 상기 가시영역(A1) 및 상기 비가시영역(B1)이 달라짐에 따라, 변경된 방향에 따라 차폐 영상을 재생성(또는 변환)하여 상기 디스플레이부(400)를 통해 표시할 수 있다.
즉, 상기 입체 스캐닝부(100)는 외부 상황에 대하여 상기 사용자(350)의 가시영역(A1)보다 적어도 확장된 범위의 제 11 영역(A2) 및 제 12 영역(B2)을 촬영한 주변 영상을 제공하고, 상기 제어부(300)는 추적된 사용자(350)의 얼굴 위치 및 시선에 대응하여 전체 주변 영상(A2+B2)에서 상기 제 12 영역(B2)의 위치를 조정하여 상기 디스플레이부(400)에 표시한다.
이와 같이, 객체와 관련한 전방위 주변 영상을 획득하고, 사용자의 시선을 실시간으로 추적하고, 상기 추적되는 사용자의 시선에 대응하여 상기 획득된 주변 영상에서 사각지대에 해당하는 영역에 대한 차폐 영상을 생성하고, 상기 생성된 차폐 영상을 상기 객체의 일측에 구비된 디스플레이부를 통해 표시할 수 있다.
또한, 이와 같이, 1인 또는 다수의 사용자의 시선 변화 또는 양안 위치에 따라 실시간으로 차폐 영상을 변환하여 디스플레이부를 통해 외부 상황을 입체 영상으로 제공할 수 있다.
이하에서는, 본 발명에 따른 객체의 후면 정보 제공 방법을 도 1 내지 도 8을 참조하여 상세히 설명한다.
도 4는 본 발명의 실시예에 따른 객체의 후면 정보 제공 방법을 나타낸 흐름도이다.
먼저, 입체 스캐닝부(100)는 객체 전면에 위치한 사용자에 대해서 사용자의 시선 방향(또는 사용자에 대향하는 객체 후면 방향)에서 해당 객체에 의해 차폐되는 사각지대를 포함하는 해당 객체 주변의 주변 영상(또는 객체 후면의 주변 영상/주변 영상 정보/객체 주변의 전방위 주변 영상)을 획득(또는 촬영)한다.
즉, 특정 객체의 타측(또는 객체 후면)에 구성된 상기 입체 스캐닝부(100)는 상기 객체의 전면에 위치한 사용자가 해당 객체를 바라보는 경우 상기 객체에 의해 생성되는 사각지대를 포함하는 해당 객체 주변의 주변 영상(또는 객체 후면의 주변 영상/주변 영상 정보/객체 주변의 전방위 주변 영상)을 획득한다.
일 예로, 도 5에 도시된 바와 같이, 제 1 사용자가 도로상의 쓰레기통의 전면에 위치한 상태에서 해당 쓰레기통 및 나무 방향(510)을 바라볼 때, 도 6에 도시된 바와 같이, 제 1 입체 스캐닝부(100)는 상기 제 1 사용자가 바라보는 쓰레기통 및 나무 방향에서 상기 쓰레기통에 의해 차폐되는 제 1 사각지대를 포함하는 제 1 주변 영상(600)을 획득한다(S410).
또한, 시선 추적부(200)는 객체 전면에 위치한 사용자의 시선을 실시간으로 추적(또는 측정/감지)한다.
즉, 상기 특정 객체의 일측(또는 객체 전면)에 구성된 상기 시선 추적부(200)는 상기 객체의 전면에 위치한 사용자를 포함하는 사용자 영상(또는 사용자 영상 정보)을 획득하고, 상기 획득된 사용자 영상에서 상기 사용자를 인식하고, 상기 인식된 사용자의 시선을 실시간으로 추적한다.
이와 같이, 상기 입체 스캐닝부(100)에 의해 획득되는 주변 영상은 사용자의 시야에 대응하는 영역보다 넓은 영역을 갖는 영상이고, 상기 객체를 기준으로 상기 객체로부터 일정 거리 이격된 특정 위치에서 해당 객체를 바라보는 사용자의 시선에 대응하는(또는 일치하는) 방향과 관련한 영상이며, 상기 시선 추적부(200)에 의해 획득되는 사용자 영상은 상기 객체를 기준으로 상기 객체로부터 일정 거리 이격된 특정 위치에 위치한 해당 사용자를 포함하는 영상(또는 상기 사용자의 시선에 대향하는 방향과 관련한 영상)일 수 있다.
일 예로, 상기 도 5에 도시된 바와 같이, 상기 제 1 사용자가 도로상의 쓰레기통의 전면에 위치한 상태에서 상기 쓰레기통의 전면에 구성된 제 1 시선 추적부(200)는 상기 쓰레기통으로부터 미리 설정된 거리 이내(또는 해당 제 1 시선 추적부(200)의 촬영 범위 이내)에서 상기 제 1 사용자를 포함하는 제 1 사용자 영상을 획득한다.
또한, 상기 제 1 시선 추적부는 상기 제 1 사용자 영상 내에서 제 1 사용자를 인식(또는 감지)하고, 상기 인식된 제 1 사용자의 시선을 추적한다(S420).
이후, 제어부(300)는 상기 추적된 사용자의 시선에 대응하여 상기 획득된 주변 영상에서 상기 객체에 의한 사각지대에 해당하는 영역에 대한 차폐 영상을 생성(또는 추출)한다.
즉, 상기 제어부(300)는 상기 시선 추적부(200)를 통해 획득된 사용자가 포함된 사용자 영상에 대해 이진화 처리를 수행하여 사용자 얼굴 및 양안에 대한 폐곡선을 생성(또는 도출)한다.
또한, 상기 제어부(300)는 상기 생성된 폐곡선이 이루는 얼굴 영역에서 양안 부분을 검출한다.
또한, 상기 제어부(300)는 상기 검출된 양안 부분에 따른 좌표 정보를 산출한다. 여기서, 상기 좌표 정보는 사용자의 양안 서로 간의 거리, 상기 사용자와 디스플레이부(400)(또는 상기 객체) 간의 거리 등을 포함한다.
또한, 상기 제어부(300)는 상기 입체 스캐닝부(100)를 통해 획득된 주변 영상을 일정 프레임 단위로 저장부(미도시)에 임시 저장한다.
또한, 상기 제어부(300)는 주변 영상의 대표 프레임의 전체 영역에 대해 상기 산출된 좌표 정보를 매핑하여(또는 적용하여) 포커스를 설정한다.
또한, 상기 제어부(300)는 상기 설정된 포커스를 기준으로 하여 상기 객체에 의한 사각지대에 대응하는 영역을 추출하고, 상기 주변 영상에서 상기 추출된 객체에 의한 사각지대에 대응하는 영역에 대한 영상인 차폐 영상을 생성한다. 이때, 상기 제어부(300)는 디스플레이부(400)의 화면 크기를 고려하여, 상기 생성되는 차폐 영상의 크기(또는 해상도)를 조절할 수 있다.
일 예로, 상기 제어부(300)는 상기 획득된 제 1 사용자 영상에 대해 이진화 처리를 수행하여 제 1 사용자 얼굴 및 양안에 대한 폐곡선을 생성하고, 상기 생성된 폐곡선이 이루는 얼굴 영역 상에서 양안 부분을 검출하고, 상기 검출된 양안 부분에 따른 제 1 좌표 정보를 산출한다.
또한, 상기 제어부(300)는 상기 획득된 제 1 주변 영상(600)을 미리 설정된 프레임 단위로 상기 저장부에 임시 저장하고, 상기 제 1 주변 영상(600)의 대표 프레임의 전체 영역에 대해 상기 산출된 제 1 좌표 정보를 매핑하여 포커스를 설정한 후, 상기 설정된 포커스를 기준으로 상기 쓰레기통에 의한 제 1 사각지대에 대응하는 제 1 영역을 추출하고, 도 7에 도시된 바와 같이, 상기 획득된 제 1 주변 영상(600) 중에서 상기 추출된 제 1 영역에 대한 영상인 제 1 차폐 영상(700)을 생성한다(S430).
이후, 상기 객체의 전면에 구성된 상기 디스플레이부(400)는 상기 제어부(300)에 의해 생성된 상기 차폐 영상을 표시한다. 이때, 상기 디스플레이부(400)는 상기 시선 추적부(200)에 따른 사용자의 시선 추적 결과를 고려하여 상기 제어부(300)에 의해 실시간으로 생성되는 상기 차폐 영상을 표시할 수 있다.
일 예로, 도 8에 도시된 바와 같이, 상기 제 1 사용자가 상기 쓰레기통 방향을 쳐다보고 있는 상태에서 제 1 디스플레이부(400)는 상기 제어부(300)에 의해 생성된 제 1 차폐 영상(700)을 표시한다(S440).
본 발명의 실시예는 앞서 설명된 바와 같이, 객체와 관련한 전방위 주변 영상을 획득하고, 사용자의 시선을 실시간으로 추적하고, 상기 추적되는 사용자의 시선에 대응하여 상기 획득된 주변 영상에서 사각지대에 해당하는 영역에 대한 차폐 영상을 생성하고, 상기 생성된 차폐 영상을 상기 객체의 일측에 구비된 디스플레이부를 통해 표시하여, 사용자는 불투명한 물체가 없다고 느끼거나 또는 그에 상응하는 수준으로 불투명한 물체의 후면 정보를 확인할 수 있다.
또한, 본 발명의 실시예는 앞서 설명된 바와 같이, 1인 또는 다수의 사용자의 시선 변화 또는 양안 위치에 따라 실시간으로 차폐 영상을 변환하여 디스플레이부를 통해 외부 상황을 입체 영상으로 제공하여, 후면 정보 제공에 따른 사용자가 느끼는 이질감을 없애거나 감소시키고, 사용자의 만족도를 높일 수 있다.
전술된 내용은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
10: 객체의 후면 정보 제공 장치 100: 입체 스캐닝부
200: 시선 추적부 300: 제어부
400: 디스플레이부 310: 양안 추적 모듈
320: 영상 제어 모듈 330: 영상 생성 모듈
311: 전처리부 312: 눈 검출부
313: 좌표 산출부 321: 주변 영상 입력부
322: 포커스 설정부 323: 영역 추출부

Claims (9)

  1. 객체 전면에 위치한 사용자에 대해서 사용자의 시선 방향에서 상기 객체에 의해 차폐되는 사각지대를 포함하는 상기 객체 주변의 주변 영상을 획득하는 입체 스캐닝부;
    상기 객체 전면에 위치한 사용자의 시선을 실시간으로 추적하는 시선 추적부;
    상기 추적된 사용자의 시선에 대응하여 상기 획득된 주변 영상에서 상기 객체에 의한 사각지대에 해당하는 영역에 대한 차폐 영상을 생성하는 제어부; 및
    상기 생성된 차폐 영상을 표시하는 디스플레이부를 포함하고,
    상기 시선 추적부는 영상 추적 기법이 적용되어 사용자의 눈 위치, 시선, 시각 방향 및 머리 방향을 감지하고,
    상기 제어부가 생성하는 차폐 영상은 좌안 영상 및 우안 영상을 화면상에 화소 단위로 쉬프트하여 실시간으로 변환되고,
    상기 제어부는,
    상기 시선 추적부에 의해 획득된 사용자 영상을 근거로 사용자의 시선에 따른 좌표 정보를 출력하는 양안 추적 모듈;
    상기 입체 스캐닝부로부터 획득된 주변 영상을 근거로 각 프레임별 상기 좌표 정보에 대응하는 영역을 추출하는 영상 제어 모듈; 및
    상기 주변 영상에서 상기 추출된 영역에 대한 영상을 상기 차폐 영상으로 상기 디스플레이부에 제공하는 영상 생성 모듈을 포함하고,
    상기 양안 추적 모듈은,
    상기 사용자 영상에 대해 이진화 처리를 수행하여 사용자 얼굴 및 양안에 대한 폐곡선을 생성하는 전처리부;
    상기 생성된 폐곡선이 이루는 얼굴 영역에서 양안 부분을 검출하는 눈 검출부; 및
    상기 검출된 양안 부분에 따른 좌표 정보를 산출하는 좌표 산출부를 포함하고,
    상기 좌표 정보는,
    사용자의 양안 서로 간의 거리 및 상기 사용자와 상기 디스플레이부 간의 거리를 포함하고,
    상기 입체 스캐닝부는,
    상기 객체의 타측에 구성되며, 상기 객체 전면에 위치한 사용자가 상기 객체를 바라볼 때 상기 객체에 의해 생성되는 사각지대를 포함하는 상기 주변 영상을 획득하며,
    상기 주변 영상은 상기 객체 전면에 위치한 사용자의 시야에 대응하는 영역보다 넓은 영역을 갖는 영상인 것을 특징으로 하는 객체의 후면 정보 제공 장치.
  2. 삭제
  3. 제 1 항에 있어서,
    상기 시선 추적부는,
    상기 객체의 일측에 구성되며, 상기 객체 전면에 위치한 사용자를 포함하는 사용자 영상을 획득하고, 상기 획득된 사용자 영상에서 상기 사용자를 인식하고, 상기 인식된 사용자의 시선을 실시간으로 추적하는 것을 특징으로 하는 객체의 후면 정보 제공 장치.
  4. 삭제
  5. 삭제
  6. 제 1 항에 있어서,
    상기 영상 제어 모듈은,
    상기 주변 영상을 일정 프레임 단위로 임시 저장하는 주변 영상 입력부;
    상기 임시 저장된 주변 영상의 대표 프레임의 전체 영역에 대해 상기 산출된 좌표 정보를 매핑하여 포커스를 설정하는 포커스 설정부; 및
    상기 설정된 포커스를 기준으로 상기 객체에 의한 사각지대에 대응하는 영역을 추출하는 영역 추출부를 포함하는 것을 특징으로 하는 객체의 후면 정보 제공 장치.
  7. 입체 스캐닝부에 의해, 객체 전면에 위치한 사용자에 대해서 사용자의 시선 방향에서 상기 객체에 의해 차폐되는 사각지대를 포함하는 상기 객체 주변의 주변 영상을 획득하는 단계;
    시선 추적부에 의해, 상기 객체 전면에 위치한 사용자의 시선을 실시간으로 추적하는 단계;
    제어부에 의해, 상기 추적된 사용자의 시선에 대응하여 상기 획득된 주변 영상에서 상기 객체에 의한 사각지대에 해당하는 영역에 대한 차폐 영상을 생성하는 단계; 및
    디스플레이부에 의해, 상기 생성된 차폐 영상을 표시하는 단계를 포함하고,
    상기 시선 추적부는 영상 추적 기법이 적용되어 사용자의 눈 위치, 시선, 시각 방향 및 머리 방향을 감지하고,
    상기 제어부에 의해 생성하는 차폐 영상은 좌안 영상 및 우안 영상을 화면상에 화소 단위로 쉬프트하여 실시간으로 변환되고,
    상기 차폐 영상을 생성하는 단계는,
    상기 시선 추적부를 통해 획득된 사용자가 포함된 사용자 영상에 대해 이진화 처리를 수행하여 사용자 얼굴 및 양안에 대한 폐곡선을 생성하는 과정;
    상기 생성된 폐곡선이 이루는 얼굴 영역에서 양안 부분을 검출하는 과정;
    상기 검출된 양안 부분에 따른 좌표 정보를 산출하는 과정;
    상기 입체 스캐닝부를 통해 획득된 주변 영상을 일정 프레임 단위로 임시 저장하는 과정;
    상기 임시 저장된 주변 영상의 대표 프레임의 전체 영역에 대해 상기 산출된 좌표 정보를 매핑하여 포커스를 설정하는 과정;
    상기 설정된 포커스를 기준으로 상기 객체에 의한 사각지대에 대응하는 영역을 추출하는 과정; 및
    상기 주변 영상에서 상기 추출된 객체에 의한 사각지대에 대응하는 영역에 대한 영상인 차폐 영상을 생성하는 과정을 포함하고,
    상기 좌표 정보는,
    사용자의 양안 서로 간의 거리 및 상기 사용자와 상기 디스플레이부 간의 거리를 포함하며,
    상기 주변 영상은 상기 객체 전면에 위치한 사용자의 시야에 대응하는 영역보다 넓은 영역을 갖는 영상인 것을 특징으로 하는 객체의 후면 정보 제공 방법.
  8. 삭제
  9. 삭제
KR1020190114221A 2019-09-17 2019-09-17 객체의 후면 정보 제공 장치 및 그 방법 KR102333598B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020190114221A KR102333598B1 (ko) 2019-09-17 2019-09-17 객체의 후면 정보 제공 장치 및 그 방법
PCT/KR2020/008066 WO2021054580A1 (ko) 2019-09-17 2020-06-22 객체의 후면 정보 제공 장치 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190114221A KR102333598B1 (ko) 2019-09-17 2019-09-17 객체의 후면 정보 제공 장치 및 그 방법

Publications (2)

Publication Number Publication Date
KR20210032779A KR20210032779A (ko) 2021-03-25
KR102333598B1 true KR102333598B1 (ko) 2021-12-01

Family

ID=74883808

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190114221A KR102333598B1 (ko) 2019-09-17 2019-09-17 객체의 후면 정보 제공 장치 및 그 방법

Country Status (2)

Country Link
KR (1) KR102333598B1 (ko)
WO (1) WO2021054580A1 (ko)

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100693412B1 (ko) * 2005-05-16 2007-03-09 주식회사 아이디테크 영상에서 감시대상의 눈을 검출하는 방법
KR101332253B1 (ko) * 2011-12-13 2013-12-02 현대자동차주식회사 사각지대를 발생시키지 않는 영상출력장치
KR20150114589A (ko) * 2014-04-01 2015-10-13 주식회사 유비벨록스모바일 피사체 재구성을 위한 장치 및 방법
KR20160003355A (ko) * 2014-06-30 2016-01-11 주식회사 유니에보 3차원 입체 영상 처리 방법 및 시스템
KR20170126149A (ko) 2016-05-09 2017-11-17 주식회사 서연전자 차량용 전방필러 영상 제공 시스템
WO2017212720A1 (ja) * 2016-06-08 2017-12-14 株式会社ソニー・インタラクティブエンタテインメント 画像生成装置および画像生成方法
KR102019257B1 (ko) * 2017-10-11 2019-09-06 윤만구 차량의 에이 필러 프레임의 사각지대 영상을 제공하기 위한 프레임 영상 표시 장치

Also Published As

Publication number Publication date
KR20210032779A (ko) 2021-03-25
WO2021054580A1 (ko) 2021-03-25

Similar Documents

Publication Publication Date Title
US10943409B2 (en) Information processing apparatus, information processing method, and program for correcting display information drawn in a plurality of buffers
EP3195595B1 (en) Technologies for adjusting a perspective of a captured image for display
US10805543B2 (en) Display method, system and computer-readable recording medium thereof
US9995578B2 (en) Image depth perception device
US9838673B2 (en) Method and apparatus for adjusting viewing area, and device capable of three-dimension displaying video signal
US20100046837A1 (en) Generation of depth map for an image
WO2016064435A1 (en) System and method for immersive and interactive multimedia generation
EP1869639A2 (en) Method and device for three-dimensional rendering
US12112449B2 (en) Camera-based transparent display
CN112672139A (zh) 投影显示方法、装置及计算机可读存储介质
US9355436B2 (en) Method, system and computer program product for enhancing a depth map
US11749141B2 (en) Information processing apparatus, information processing method, and recording medium
US20230316810A1 (en) Three-dimensional (3d) facial feature tracking for autostereoscopic telepresence systems
US20160180514A1 (en) Image processing method and electronic device thereof
US10586392B2 (en) Image display apparatus using foveated rendering
RU2768013C2 (ru) Способ и устройство для предоставления информации пользователю, наблюдающему мультивидовое содержание
US20230396750A1 (en) Dynamic resolution of depth conflicts in telepresence
CN113552942A (zh) 一种基于光照强度显示虚拟对象的方法及设备
KR20200002028A (ko) 깊이 맵을 처리하기 위한 장치 및 방법
KR102333598B1 (ko) 객체의 후면 정보 제공 장치 및 그 방법
US11189047B2 (en) Gaze based rendering for audience engagement
CN117707330A (zh) 一种电子设备及眼动跟踪方法
EP3416380A1 (en) Method and apparatus for generating a positioning zone to observe a multi view content

Legal Events

Date Code Title Description
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right