KR20180136132A - 실사이미지 디스플레이 방식의 동작인식 컨트롤 시스템 및 방법 - Google Patents

실사이미지 디스플레이 방식의 동작인식 컨트롤 시스템 및 방법 Download PDF

Info

Publication number
KR20180136132A
KR20180136132A KR1020170074694A KR20170074694A KR20180136132A KR 20180136132 A KR20180136132 A KR 20180136132A KR 1020170074694 A KR1020170074694 A KR 1020170074694A KR 20170074694 A KR20170074694 A KR 20170074694A KR 20180136132 A KR20180136132 A KR 20180136132A
Authority
KR
South Korea
Prior art keywords
image
visible light
display
infrared
subject
Prior art date
Application number
KR1020170074694A
Other languages
English (en)
Other versions
KR101957417B1 (ko
Inventor
스티븐 상근 오
이철영
Original Assignee
(주)이더블유비엠
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)이더블유비엠 filed Critical (주)이더블유비엠
Priority to KR1020170074694A priority Critical patent/KR101957417B1/ko
Publication of KR20180136132A publication Critical patent/KR20180136132A/ko
Application granted granted Critical
Publication of KR101957417B1 publication Critical patent/KR101957417B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06K9/00362—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H04N5/2253—
    • H04N5/2254—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/30—Transforming light or analogous information into electric information
    • H04N5/33—Transforming infrared radiation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Processing Or Creating Images (AREA)

Abstract

피사체를 촬상하여 다수의 프레임의 실사이미지인 가시광선 이미지를 생성하는 카메라 수단을 포함하는 정보추출수단과, 상기 피사체의 동작에 따라 제어되는 컨텐츠를 저장하는 컨텐츠 저장수단과, 상기 실사이미지로부터 추출된 정보에 의해 상기 피사체의 동작을 인식하는 동작인식 컨트롤수단과, 상기 컨텐츠의 배경이미지 내에 상기 가시광선 이미지를 표시하는 일반 디스플레이 영역을 구비하는 디스플레 이 수단을 포함하여 이루어지는 실사이미지 디스플레이 방식의 동작인식 컨트롤 시스템에 있어서, 상기 디스플레이 수단 내에, 상기 배경이미지와 상기 가시광선 이미지가 함께 표시되는 상기 일반 디스플레이 영역과는 별도로, 상기 배경이미지가 배제되고 상기 실사이미지만 표시되는 미리 정해진 선명 디스플레이 영역이 구비됨을 특징으로 한다.

Description

실사이미지 디스플레이 방식의 동작인식 컨트롤 시스템 및 방법 {MOTION RECOGNITION CONTROL SYSTEM AND METHOD FOR SEPARATELY DISPLAYING SHOT IMAGE}
본 발명은, 실사이미지 디스플레이 방식의 동작인식 컨트롤 시스템 및 방법에 관한 것이다.
증강현실(AR) 기기 또는 가상현실(VR) 기기 등의 정보처리기기의 컨트롤에 있어서, 촬상되는 피사체의 동작을 동작인식 컨트롤 엔진에서 인식하여, 그 동작에 해당되는 이벤트를 어플리케이션에 전달 내지 발생시키는 구성이 알려져 있다. 이때 고글 등의 디스플레이에는, 동작하는 피사체의 이미지가 배경이미지와 함께 디스플레이되도록 구성된 경우가 있다.
예컨대 증강현실이나 가상현실 기기의 디스플레이에 나타나 있는 어떤 대상체, 예컨대 사과(apple)나 총(gun)을 만지기 위하여 손을 뻗으면, 촬상장치에서 손을 피사체로 하여 촬상하여 이미지를 생성하고, 다수의 프레임에 걸쳐 촬상되는 이미지들 속의 손의 형상과 위치를 추적하면서, 상기 디스플레이에 나타내도록 구성될 수 있다. 즉, 배경이미지 위에서 피사체의 이미지가 유저의 동작에 따라 움직임으로써 증강현실이나 가상현실에서의 조작성이 보증되고 향상된다. 다만, 피사체로서 손을 예로 들고 있지만, 본 발명은 이에 한하는 것이 아니고, 예컨대 피사체로서 인체 전체가 적용되는 기술에도 본 발명은 적용될 수 있다.
이때, 디스플레이에 표시되는 피사체의 이미지는, 피사체의 위치 및 형상, 자세 등을 반영하여, 예컨대 사각, 삼각, 원 등의 간단한 도형의 연속결합으로 간략화하여 표시하는 모델화한 모델이미지로 표시될 수도 있고, 단순히 촬상장치에서 촬상된 그대로의 실사이미지로 표시될 수도 있다. 모델이미지에 의한 표시는, 주름이나 굴곡 등을 간략화 또는 생략 처리함으로써, 디스플레이에 표시할 데이터를 현격히 줄임으로써 디스플레이 처리속도를 향상시킬 수 있는 장점이 있지만, 전처리에 의해 모델화를 수행해야 하므로 고성능 프로세서를 필요로 하고, 디스플레이되는 피사체가 현실의 피사체의 디테일을 반영하지 못함으로써 현실감을 괴리시킨다는 단점이 있다. 이와 반대로, 실사이미지에 의한 표시는, 디스플레이되는 데이터가 촬상된 그대로의 실제의 이미지이므로 해상도가 높을 때에는 디스플레이 처리에 부하를 발생시킬 수 있다는 단점이 있지만, 실사 그대로의 영상데이터를 디스플레이에 투영함으로써 전처리의 필요가 없고, 현실의 피사체를 그대로 반영한 매우 친밀한 일체감을 일으킨다는 장점이 있다.
하기 특허문헌의 기술은, '가상훈련 시스템을 제어하는 방법에 있어서, 가상훈련 시스템에 로그인하기 위한 인증모션정보를 제어부가 모션감지센서로부터 전달받아 상기 가상훈련 시스템에 로그인하는 단계; 및 상기 가상훈련 시스템이 로그인되면, 출력부를 통해 가상훈련 선택요청정보를 화면상에 출력하며, 출력한 상기 가상훈련 선택요청정보에 기반하여 센싱된 가상훈련 선택모션정보가 상기 모션감지센서로부터 상기 제어부로 입력되면, 상기 제어부는 입력된 가상훈련 선택요청정보에 대응되는 가상훈련 콘텐츠를 실행하도록 가상훈련 실행부를 제어하는 단계;를 포함하는 것을 특징으로 하는 동작인식 기반의 가상훈련 시스템 제어방법'을 개시하고 있다.
특허등록 10-1401656 공보
상기 특허문헌의 도 3a, 도 3b, 도 6, 도 7을 참조하면, 이들의 증강현실 또는 가상현실에 쓰이는 카메라 출력 이미지에 대한 종래의 컨트롤 디스플레이 구현방식은, 가상의 그래픽 콘텐츠에 사용자 신체의 일부를 찍어서 뿌려주는 방식임을 알 수 있다. 따라서, 촬상되는 피사체의 이미지가 또렷해야 디스플레이되는 이미지도 또렷해진다.
그런데, 이러한 시스템에서 카메라의 조리개(F) 값이 매우 높은 경우가 아니면, 실사 이미지 전체 또는 일부가 흐릿하게 디스플레이될 수 있고, 상기 특허문헌의 도 3a, 도 3b, 도 6, 도 7이 이러한 예를 잘 나타내고 있다. 예컨대 조도가 낮으면 이러한 현상이 특히 심해진다. 즉, 종래의 기술의 흐릿한 디스플레이는, 피사체 촬상에 사용되는 카메라가, 가시광선용의 높지 않은 조리개 값이 채용된 것이 원인이다.
게다가 배경이미지와 실사이미지가 함께 디스플레이되어 있을 뿐이므로, 배경이미지와 실사이미지가 서로 질감이나 색상, 명도 등에 있어서 유사할 경우에는, 실사이미지의 식별이 곤란하다는 문제가 있다. 이는 예컨대, 증강현실 또는 가상현실의 컨텐츠 내에서, 예컨대 상대방 유저를 상대로 하여 가위 바위 보를 하는 경우와 같이, 미묘한 피사체의 동작이나 자세, 형상이 정확히 구분되어야 하는 경우에 있어서, 촬상된 실사이미지로부터 컨트롤부 내의 동작인식 컨트롤 엔진이 피사체의 프레임 이미지들로부터 동작을 인식하는 것은 별론으로 하고, 유저가 그러한 실사이미지의 형태, 특히 상대방 유저의 실사이미지의 형태를 식별하지 못하는 것은, 컨텐츠에 따라서는 매우 불합리한 상황을 초래한다. 따라서, 종래기술에 의한 흐릿한 실사이미지의 디스플레이와 함께, 이러한 실사이미지가 컨텐츠의 배경과 함께 디스플레이된다는 점도 개선의 여지가 있는 것이다.
본 발명은, 상기 종래기술의 문제를 해소하기 위해 이루어진 것으로서, 증강현실 또는 가상현실의 컨텐츠 배경이미지와 함께 피사체의 실사이미지가 동작인식 기술에 의해 디스플레이되면서, 디스플레이의 일부의 별도영역에는 상기 피사체의 실사이미지만이 디스플레이되어, 유저의 실사이미지에 대한 시인성을 향상시키도록 한, 실사이미지 디스플레이 방식의 동작인식 컨트롤 시스템 및 방법을 제공하고자 하는 것이다.
또한, 상기 별도영역에 디스플레이되는 실사이미지는, 가시광선 정보와 동시 추출된 적외선 정보를 포함하도록 함으로써, 낮은 조도하에서도 시인성이 개선되고, 배경이미지와 질감, 색상, 명도 등이 유사한 경우에도 시인성이 개선되는, 실사이미지 디스플레이 방식의 동작인식 컨트롤 시스템 및 방법을 제공하고자 하는 것이다.
또한, 상기 별도영역에 디스플레이되는 실사이미지는, 가시광선 정보와 동시에 적외선 정보를 추출하고, 이들 가시광선 정보와 적외선 정보를 함께 디스플레이함으로써, 낮은 조도하에서도 시인성이 개선되고, 배경이미지와 질감, 색상, 명도 등이 유사한 경우에도 시인성이 개선되는, 실사이미지 디스플레이 방식의 동작인식 컨트롤 시스템 및 방법을 제공하고자 하는 것이다.
또한, 상기 가시광선 정보와 적외선 정보를 동시에 추출하는 것은 이중조리개(DA, Dual Aperture) 단일 렌즈(Single Lens) 4-컬러 센서 카메라를 포함하는 정보추출장치에 의해 이루어지는, 실사이미지 디스플레이 방식의 동작인식 컨트롤 시스템 및 방법을 제공하고자 하는 것이다.
그리고 배경이미지와 함께 디스플레이되는 실사이미지는 가시광선 정보에 의해 처리되고, 별도영역에 표시되는 실사이미지는 가시광선 정보와 적외선 정보의 혼용에 의해 처리되며, 동작인식은 가시광선 정보와 적외선 정보로부터 깊이맵 모듈에 의해 추출된 깊이정보에 의해 처리되는, 실사이미지 디스플레이 방식의 동작인식 컨트롤 시스템 및 방법을 제공하고자 하는 것이다.
상기 과제를 해결하기 위한 본 발명의 실사이미지 디스플레이 방식의 동작인식 컨트롤 시스템은, 피사체를 촬상하여 다수의 프레임의 실사이미지인 가시광선 이미지를 생성하는 카메라 수단을 포함하는 정보추출수단과, 상기 피사체의 동작에 따라 제어되는 컨텐츠를 저장하는 컨텐츠 저장수단과, 상기 실사이미지로부터 추출된 정보에 의해 상기 피사체의 동작을 인식하는 동작인식 컨트롤수단과, 상기 컨텐츠의 배경이미지 내에 상기 가시광선 이미지를 표시하는 일반 디스플레이 영역을 구비하는 디스플레이 수단을 포함하여 이루어지는 실사이미지 디스플레이 방식의 동작인식 컨트롤 시스템에 있어서, 상기 디스플레이 수단 내에, 상기 배경이미지와 상기 가시광선 이미지가 함께 표시되는 상기 일반 디스플레이 영역과는 별도로, 상기 배경이미지가 배제되고 상기 실사이미지만 표시되는 미리 정해진 선명 디스플레이 영역이 구비됨을 특징으로 한다.
여기서, 상기 실사이미지로서, 상기 가시광선 이미지와 별개의 이미지로서 적외선 정보를 가지는 적외선 이미지가 더 촬상되고, 상기 가시광선 이미지와 상기 적외선 이미지는, 동시 생성됨이 바람직하다.
여기서, 상기 카메라 수단은, 상기 가시광선 이미지를 생성하는 가시광선 촬상수단과, 상기 가시광선 촬상수단과 별개의 촬상수단으로서 상기 적외선 이미지를 생성하는 적외선 촬상수단을 포함하여 이루어질 수 있다.
또는, 상기 카메라 수단은, 이중조리개 (DA, Dual Aperture) 단일렌즈(Single Lens) 4-컬러 센서 카메라를 포함하여 이루어질 수 있다.
이때, 상기 정보추출수단은, 상기 카메라 수단인 상기 이중조리개(DA, Dual Aperture) 단일렌즈(Single Lens) 4-컬러 센서 카메라로부터 얻어진 상기 가시광선 이미지 및 상기 적외선 이미지로부터 깊이정보를 추출하는 깊이맵 수단을 포함하여 이루어짐이 바람직하다.
이때, 상기 동작인식 컨트롤수단은, 상기 깊이정보에 의해 상기 실사이미지 내에서 상기 피사체의 검출과 추적을 행하여 동작을 인식하도록 제어될 수 있다.
그리고 상기 선명 디스플레이 영역 내에 표시되는 상기 실사이미지는, 적어도 상기 적외선 이미지를 포함하여 이루어짐이 바람직하다.
한편, 상기 과제를 해결하기 위한 본 발명의 실사이미지 디스플레이 방식의 동작인식 컨트롤 방법은, 피사체를 촬상하여 다수의 프레임의 실사이미지인 가시광선 이미지를 생성하는 카메라 과정을 포함하는 정보추출단계와, 상기 피사체의 동작에 따라 제어되는 컨텐츠를 저장하는 컨텐츠 저장단계와, 상기 실사이미지로부터 추출된 정보에 의해 상기 피사체의 동작을 인식하는 동작인식 컨트롤단계와, 상기 컨텐츠의 배경이미지 내에 상기 가시광선 이미지를 표시하는 일반 디스플레이 과정을 구비하는 디스플레이 단계를 포함하여 이루어지는 실사이미지 디스플레이 방식의 동작인식 컨트롤 방법에 있어서, 상기 디스플레이 단계 내에, 상기 배경이미지와 상기 가시광선 이미지가 함께 표시되는 상기 일반 디스플레이 과정과는 별도로, 상기 배경이미지가 배제되고 상기 실사이미지만 표시되는 미리 정해진 선명 디스플레이 과정이 구비됨을 특징으로 한다.
본 발명에 의하면, 증강현실 또는 가상현실의 컨텐츠 배경이미지와 함께 피사체의 실사이미지가 동작인식 기술에 의해 디스플레이되면서, 디스플레이의 일부의 별도영역에는 상기 피사체의 실사이미지만이 디스플레이되어, 유저의 실사이미지에 대한 시인성을 향상시키도록 한, 실사이미지 디스플레이 방식의 동작인식 컨트롤 시스템 및 방법이 제공된다.
또한, 상기 별도영역에 디스플레이되는 실사이미지는, 가시광선 정보와 동시 추출된 적외선 정보를 포함하도록 함으로써, 낮은 조도하에서도 시인성이 개선되고, 배경이미지와 질감, 색상, 명도 등이 유사한 경우에도 시인성이 개선되는, 실사이미지 디스플레이 방식의 동작인식 컨트롤 시스템 및 방법이 제공된다.
또한, 상기 별도영역에 디스플레이되는 실사이미지는, 가시광선 정보와 동시에 적외선 정보를 추출하고, 이들 가시광선 정보와 적외선 정보를 함께 디스플레이함으로써, 낮은 조도하에서도 시인성이 개선되고, 배경이미지와 질감, 색상, 명도 등이 유사한 경우에도 시인성이 개선되는, 실사이미지 디스플레이 방식의 동작인식 컨트롤 시스템 및 방법이 제공된다.
또한, 상기 가시광선 정보와 적외선 정보를 동시에 추출하는 것은 이중조리개(DA, Dual Aperture) 단일 렌즈(Single Lens) 4-컬러 센서 카메라를 포함하는 정보추출장치에 의해 이루어지는, 실사이미지 디스플레이 방식의 동작인식 컨트롤 시스템 및 방법이 제공된다.
그리고 배경이미지와 함께 디스플레이되는 실사이미지는 가시광선 정보에 의해 처리되고, 별도영역에 표시되는 실사이미지는 가시광선 정보와 적외선 정보의 혼용에 의해 처리되며, 동작인식은 가시광선 정보와 적외선 정보로부터 깊이맵 모듈에 의해 추출된 깊이정보에 의해 처리되는, 실사이미지 디스플레이 방식의 동작인식 컨트롤 시스템 및 방법이 제공된다.
도 1은, 본 발명의 일 실시예에 따른 실사이미지 디스플레이 방식의 동작인식 컨트롤 시스템의 개략구성과 데이터를 나타내는 블럭도이다.
도 2는, 유저의 손을 피사체로 하여 컨텐츠 배경이미지에 실사이미지가 함께 나타나는 일반 디스플레이와, 배경이미지 없이 실사이미지만 나타나는 선명 디스플레이의 예시형태를 설명하기 위한 예시사진이다.
도 3은, 도 2의 디스플레이 부분의 확대사진이다.
이하, 본 발명의 바람직한 실시예에 대해 첨부도면을 참조하면서 상세히 설명한다. 다만, 동일구조에 의하여 동일기능을 가지는 요소에 대해서는, 도면이 달라지더라도 동일부호를 유지함으로써, 그 상세한 설명을 생략하는 경우가 있다. 또한, 연결된다고 하는 것은, 그 중간에 매체를 경유하는 개념을 포함한다. 그리고 어떤 기능블럭은, 다른 기능블럭에 흡수되어 구성되거나, 다른 복수의 블럭으로 분할되어 구현될 수 있다.
<제1 실시예 - 일반 디스플레이와 선명 디스플레이 영역>
본 발명의 실사이미지 디스플레이 방식의 동작인식 컨트롤 시스템은, 도 1과 같이, 정보추출수단(11)과, 컨텐츠 저장수단( 미도시 )과, 동작인식 컨트롤수단(14c)과, 디스플레이 수단(13)을 포함하여 이루어지고, 선명 디스플레이(14b) 영역이 구비됨을 특징으로 한다.
상기 정보추출수단(11)은, 피사체(10)를 촬상하여 다수의 프레임의 실사이미지인 가시광선 이미지(12a)를 생성하는 카메라 수단(11a)을 포함하는 수단이다. 상기 정보추출수단(11)은, 촬영 및 이미지 추출장치로서, 예컨대 가시광선, 적외선, 깊이정보 등을 동시에 추출하는 이중조리개(Dual Aperture) 단일렌즈 깊이정보 추출장치로 이루어질 수 있다.
상기 컨텐츠 저장수단( 미도시 )은, 상기 피사체(10)의 동작에 따라 제어되는 컨텐츠를 저장하는 수단이다. 컨텐츠는 예컨대 증강현실이나 가상현실의 내용으로 이루어지고, 유저의 인터랙션이 중요 요소가 된다.
상기 동작인식 컨트롤수단(14c)은, 상기 실사이미지로부터 추출된 정보에 의해 상기 피사체(10)의 동작을 인식하는 수단이다. 동작인식은, 피사체로부터 대상을 식별하고, 그 형태, 자세 및 위치를 추적하는 방식으로 이루어진다.
상기 디스플레이 수단(13)은, 상기 컨텐츠의 배경이미지 내에 상기 가시광선 이미지(12a)를 표시하는 일반 디스플레이(14a) 영역을 구비하는 수단이다. 증강현실이나 가상현실의 디스플레이로서는, 고글 형태의 디스플레이를 포함한다.
상기 선명 디스플레이(14b) 영역은, 상기 디스플레이 수단(13) 내에, 상기 배경이미지와 상기 가시광선 이미지(12a)가 함께 표시되는 상기 일반 디스플레이(14a) 영역과는 별도로, 상기 배경이미지가 배제되고 상기 실사이미지만 표시되는 미리 정해진 영역이다. 배경이미지 없이 실사이미지만 표시되므로, 배경이미지와의 간섭에 의한 시인성 저하가 해소된다.
<동작 및 효과>
증강현실이나 가상현실 기기에서는, 유저와 기기의 컨텐츠 사이의 인터랙션을 위하여, 유저의 동작을 입력받음으로써 컨텐츠의 진행을 제어한다. 유저의 동작은, 정보추출수단(11) 내의 촬상수단, 즉 카메라 수단(11a)에 의해 생성된 실사이미지의 처리에 의해 인식된다.
실사이미지로서 가시광선(RGB) 이미지가 촬상될 수 있다. 이중조리개(DA, Dual Aperture) 카메라 또는 일반 가시광선 카메라에서 가시광선 채널은, 중간 정도의 조리개(F) 값의 필터로 구성된다. 그러므로 촬영된 실사이미지는 초점이 맞은 영역만 선명하고, 그렇지 않은 영역은 흐리게 디스플레이에 나타난다.
반면에, 실사이미지로서의 적외선(IR) 이미지가 촬상될 수 있다. DA 카메라에서 적외선 채널은 높은 조리개(F) 값의 필터로 구성된다. 그러므로 이미지 전체의 선명도가 높다.
본 발명에서는, 이 점을 이용하여, 디스플레이 수단의 일부를 별도로 선명 디스플레이 영역으로 할당하고, 유저의 손동작과 같이 유저가 선명도를 원하는 대상에 대해 실사이미지를 여기에 디스플레이할 수 있다.
도 2에 예시된 것처럼, 도 1에 나타난 기술을 예컨대 증강현실(AR) 또는 가상현실(VR) 시스템을 구성한 경우, 선명한 적외선 채널의 실사이미지를 별도의 영역에 디스플레이하도록 구현할 수 있다.
도 3은, 도 2의 예시를 확대하여 나타낸 것이다. 여기서, 전체 디스플레이인 일반 컨트롤 디스플레이(14a)는, 실사이미지와 배경이미지 그래픽의 합성으로 이루어져 있으나, 이 합성 안에 포함되어 나타나 있는 손동작이 실사이미지는, 가시광선 채널로 디스플레이되어 있어서, 선명도가 낮음을 알 수 있다. 그러므로, 별도의 디스플레이 영역인 선명도 강화 디스플레이(14b)(검은색 동그라미 내부)에, 적외선 채널의 출력 실사이미지를 뿌려서, 사용자가 선명한 실사이미지를 볼 수 있도록 한 것이다.
이로써 유저가 정확한 실사이미지를 시인할 수 있게 된다.
<적외선 동시촬상>
한편, 상기 실사이미지로서, 상기 가시광선 이미지(12a)와 별개의 이미지로서 적외선 정보를 가지는 적외선 이미지(12b)가 더 촬상되도록 구성될 수 있다. 여기서, 상기 가시광선 이미지(12a)와 상기 적외선 이미지(12b)는, 동시 생성됨이 바람직하다.
실사이미지는 정보처리기기의 제어에 이용되는 것이므로, 가시광선 이미지와 적외선 이미지는 동시에 생성되어야 한다. 그리고 가능한 한 동일 시점(視點)에서 생성됨이 바람직하다.
<동시촬상을 위한 별도수단>
적외선 이미지의 생성을 위해, 상기 카메라 수단(11a)은, 상기 가시광선 이미지(12a)를 생성하는 가시광선 촬상수단( 미도시 )과, 상기 가시광선 촬상수단과 별개의 촬상수단으로서 상기 적외선 이미지(12b)를 생성하는 적외선 촬상수단(미도시)을 포함하여 이루어질 수 있다.
이처럼, 별도의 수단에 의해 가시광선 이미지와 적외선 이미지가 동시에 얻어지므로, 가시광선 촬상용 일반 카메라에 적외선 촬상용 부재를 추가함으로써, 본 발명의 기술을 실시할 수 있도록 개조할 수 있다.
<동시촬상을 위한 단일수단>
적외선 이미지의 생성을 위해, 상기 카메라 수단(11a)은, 이중조리개 (DA, Dual Aperture) 단일렌즈(Single Lens) 4-컬러 센서 카메라를 포함하여 이루어질 수 있다.
이처럼, 하나의 수단에 의해 가시광선 이미지와 적외선 이미자가 동시에 얻어지므로, 정확히 단일시점(視點)에 의한 동시촬상이 가능하다. 특히 단일렌즈에 의해 동일 광학경로를 통해 피사체의 광선이 촬상소자의 가시광선 영역과 적외선 영역으로 수광되고, 이중조리개에 의해 촬상소자의 가시광선 영역과 적외선 영역으로 분할되어 촬상되므로, 가시광선 이미지와 적외선 이미지는 최상의 정밀한 정합이 가능하다.
가시광선 이미지와 적외선 이미지가 함께 요구되는 본 발명의 기술에는, 신기술인 이중조리개(Dual Aperture) 단일렌즈(Single Lens) 카메라 솔루션의 이중조리개(Dual Aperture) 단일렌즈(Single Lens) 4-컬러 센서 카메라 깊이정보 추출장치(11)가 이용될 수 있다. 이 장치에서는, 가시광선, 적외선, 깊이정보가 동시에 출력된다. 본 발명에서는, 이 강점을 이용하여 복잡한 하드웨어 장비 없이 기존의 디스플레이 영역(13) 한 부분인 선명 디스플레이(14b)에 선명한 적외선 이미지를 별도로 뿌려주는 구성을 채용하고 있다.
본 발명은, 초점이 맞은(all-in-focus) 적외선 이미지를 이용하여 선명한 이미지를 별도로 제공하기 위함이며, 이중조리개(DA) 방식에서는 이미 적외선을 큰 F 값(깊은 심도)의 필터로 구현하므로, 하드웨어의 폼팩터(form factor)를 크게 늘이지 않고도, 추가 비용이 거의 없이 본 발명의 구현이 가능하다. 그러나, 앞서 언급한 바와 같이, DA 방식을 쓰지 않고, 별도의 적외선 장치를 추가하여도 좋고, 이와 같은 별도의 적외선 장치에 의해 선명도 개선 영역을 구현하는 것을 본 발명은 배제하지 않는다.
<DA 카메라에 의한 구체적 구성>
DA 카메라를 구비하는 경우에, 상기 정보추출수단(11)은, 상기 카메라 수단(11a)인 상기 이중조리개(DA, Dual Aperture) 단일렌즈(Single Lens) 4-컬러 센서 카메라로부터 얻어진 상기 가시광선 이미지(12a) 및 상기 적외선 이미지(12b)로부터 깊이정보(12c)를 추출하는 깊이맵 수단(11b)을 포함하여 이루어짐이 바람직하다.
이로써, 도 1의 흐름도에서 나타난 이중조리개(Dual Aperture) 단일렌즈(Single Lens) 기반의 다중 이미지 출력 장치를 이용하여, 가시광선, 적외선 및 깊이정보를 동시에 정보처리기기, 예컨대 AR/VR 기기의 입력 및 출력에 활용할 수 있다.
이처럼 이중조리개 단일렌즈 4-컬러 센서 카메라에 의한 가시광선 이미지와 적외선 이미지는, 정합의 정밀도가 극히 높으므로, 깊이정보도 매우 높은 정밀도로 얻어진다. 즉, 정보추출수단(11)에서 깊이정보는, DA 카메라로부터의 가시광선 이미지, 적외선 이미지와 함께 추출되어, 3차원 손동작 인식 프로그램의 입력으로 쓰일 수 있다.
이중조리개(DA) 단일렌즈 카메라로 깊이를 추출하는 기술은, 본 출원인인 ㈜이더블유비엠이 칩(SoC)과 솔루션을 개발하였고, 여기서는 가시광선, 적외선 및 깊이정보가 모두 출력된다. 따라서, 증강현실(AR)/가상현실(VR) 용 동작인식 컨트롤 장치의 입력으로 필요한 채널들을 모두 활용할 수 있다. 그러므로, 본 발명에서 제시하는 기술은, 이 중에서 적외선(IR) 채널을 다시 사용하여, 위에 기술한 바와 같이 선명한 이미지가 필요한 부분에 쓸 수 있도록 활용하는 것이다.
이때, 상기 동작인식 컨트롤수단(14c)은, 상기 깊이정보(12c)에 의해 상기 실사이미지 내에서 상기 피사체(10)의 검출과 추적을 행하여 동작을 인식하도록 제어됨이 바람직하다.
DA 카메라에 의한 가시광선 이미지와 적외선 이미지의 높은 정합도로 인해 이로부터 추출된 깊이정보가 높은 정밀도로 얻어지므로, 깊이정보를 이용한 피사체의 검출과 추척이 높은 정밀도로 얻어진다.
또한, 적외선 이미지를 이용하므로, 낮은 조도의 피사체에 대해서도 높은 인식률을 달성할 수 있다.
<적외선 이미지에 의한 선명 디스플레이>
상기 선명 디스플레이(14b) 영역 내에 표시되는 상기 실사이미지는, 적어도 상기 적외선 이미지(12b)를 포함하여 이루어짐이 바람직하다.
즉, 도 2 또는 도 3의 사진 및 도 1의 블럭도에 나타난 것처럼, 이미 일반 디스플레이(14a)에 출력되고 있는 실사이미지를 별도의 선명 디스플레이(14b) 영역에, 그 장면에 해당하는 선명한 적외선 이미지(12b)를 적용하여, 동시에 출력할 수 있다. 상기 선명 디스플레이(14b)에 표시되는 실사이미지는, 적외선 이미지(12b)만으로 이루어져도 좋고, 가시광선 이미지(12a)와 적외선 이미지(12b)가 중첩되어 표시되어도 좋으며, 중첩의 비율은 임의적으로 용도에 따라 조절될 수 있다. 적외선 이미지(12b)의 비율이 증가할수록 선명도가 향상되고, 가시광선 이미지(12a)의 비율이 증가할수록 채도가 향상될 수 있다.
이로써, 가위 바위 보와 같은, 정확한 피사체의 동작이나 자세, 형상이 요구되는 컨텐츠의 경우에도, 서로 인터랙션하는 유저 상호간에 상대방의 피사체의 동작을 정확히 확인할 수 있고, 낮은 조도에도 시인성이 향상되며, 배경이미지와 간섭되어 질감이나 색상, 명도 등에서 유사할 경우에도 시인성이 향상된다.
이와 같은 원리로 선명한 적외선 이미지를 가시광선과 중복하여 출력함으로써 선명도 높은 실사이미지를 별도로 디스플레이하는 구성은, 그 카메라 수단(11a)가 이중조리개(Dual Aperture) 단일렌즈(Single Lens) 기반의 장치가 아니라 해도 적외선 이미지를 획득할 수 있다면 본 발명에 적용될 수 있다.
<방법의 발명>
한편, 본 발명의 실사이미지 디스플레이 방식의 동작인식 컨트롤 방법은, 정보추출단계(11)와, 컨텐츠 저장단계( 미도시 )와, 동작인식 컨트롤단계(14c)와, 디스 플레이 단계(13)를 포함하여 이루어지고, 선명 디스플레이(14b) 과정이 구비됨을 특징으로 한다.
상기 정보추출단계(11)는, 피사체(10)를 촬상하여 다수의 프레임의 실사이미지인 가시광선 이미지(12a)를 생성하는 카메라 과정(11a)을 포함하는 단계이다.
상기 컨텐츠 저장단계( 미도시 )는, 상기 피사체(10)의 동작에 따라 제어되는 컨텐츠를 저장하는 단계이다.
상기 동작인식 컨트롤단계(14c)는, 상기 실사이미지로부터 추출된 정보에 의해 상기 피사체(10)의 동작을 인식하는 단계이다.
상기 디스플레이 단계(13)는, 상기 컨텐츠의 배경이미지 내에 상기 가시광선 이미지(12a)를 표시하는 일반 디스플레이(14a) 과정을 구비하는 단계이다.
상기 선명 디스플레이(14b) 과정은, 상기 디스플레이 단계(13) 내에, 상기 배경이미지와 상기 가시광선 이미지(12a)가 함께 표시되는 상기 일반 디스플레이(14a) 과정과는 별도로, 상기 배경이미지가 배제되고 상기 실사이미지만 표시되는 미리 정해진 과정이다.
이상, 본 발명을 특정 실시예를 중심으로 설명하였으나, 본 발명은 이에 한정되는 것이 아니다. 청구범위에 기재된 범위 내에서 당업자에 의하여 이루어진 변형, 개량, 변경은 모두, 본 발명의 범위에 속하는 것으로 해석되어야 한다.
예컨대, 도 2나 도 3 에 나타난 별도의 선명 디스플레이(14b) 영역은, 특정 형태, 예컨대 원형이 아니라 해도, 디스플레이 영역을 분리하여 특정 부분의 선명도를 적외선을 이용하여 높이는 것이라면 다른 형태라도 본 발명에 속한다.
그리고 적외선 채널을 이용하여 특정 피사체의 실사이미지의 선명도를 높인 디스플레이를 별도 영역으로 구현하는 디스플레이 기술은, 그 피사체가 유저의 신체의 일부가 아니라 해도, 모두 본 특허에 해당된다.
본 발명은, 실사이미지 디스플레이 방식의 동작인식 컨트롤 시스템 및 방법의 산업에 이용될 수 있다.
10: 피사체
11: 정보추출장치
11a: DA 카메라 모듈
11b: DA 깊이맵 모듈
12a: 가시광선 이미지
12b: 적외선 이미지
12c: 깊이정보
13: AR/VR 디스플레이
14a: 일반 디스를레이(컨트롤)
14b: 선명 디스플레이(선명도 강화)
14c: 동작인식 컨트롤 엔진

Claims (8)

  1. 피사체를 촬상하여 다수의 프레임의 실사이미지인 가시광선 이미지를 생성하는 카메라 수단을 포함하는 정보추출수단과,
    상기 피사체의 동작에 따라 제어되는 컨텐츠를 저장하는 컨텐츠 저장수단과,
    상기 실사이미지로부터 추출된 정보에 의해 상기 피사체의 동작을 인식하는 동작인식 컨트롤수단과,
    상기 컨텐츠의 배경이미지 내에 상기 가시광선 이미지를 표시하는 일반 디스플레이 영역을 구비하는 디스플레이 수단
    을 포함하여 이루어지는 실사이미지 디스플레이 방식의 동작인식 컨트롤 시스템에 있어서,
    상기 디스플레이 수단 내에, 상기 배경이미지와 상기 가시광선 이미지가 함께 표시되는 상기 일반 디스플레이 영역과는 별도로, 상기 배경이미지가 배제되고 상기 실사이미지만 표시되는 미리 정해진 선명 디스플레이 영역이 구비됨
    을 특징으로 하는 실사이미지 디스플레이 방식의 동작인식 컨트롤 시스템.
  2. 청구항 1에 있어서,
    상기 실사이미지로서, 상기 가시광선 이미지와 별개의 이미지로서 적외선 정보를 가지는 적외선 이미지가 더 촬상되고,
    상기 가시광선 이미지와 상기 적외선 이미지는, 동시 생성됨
    을 특징으로 하는 실사이미지 디스플레이 방식의 동작인식 컨트롤 시스템.
  3. 청구항 2에 있어서,
    상기 카메라 수단은, 상기 가시광선 이미지를 생성하는 가시광선 촬상수단과, 상기 가시광선 촬상수단과 별개의 촬상수단으로서 상기 적외선 이미지를 생성하는 적외선 촬상수단을 포함하여 이루어짐
    을 특징으로 하는 실사이미지 디스플레이 방식의 동작인식 컨트롤 시스템.
  4. 청구항 2에 있어서,
    상기 카메라 수단은, 이중조리개 (DA, Dual Aperture) 단일렌즈(Single Lens) 4-컬러 센서 카메라를 포함하여 이루어짐
    을 특징으로 하는 실사이미지 디스플레이 방식의 동작인식 컨트롤 시스템.
  5. 청구항 4에 있어서,
    상기 정보추출수단은, 상기 카메라 수단인 상기 이중조리개(DA, Dual Aperture) 단일렌즈(Single Lens) 4-컬러 센서 카메라로부터 얻어진 상기 가시광선 이미지 및 상기 적외선 이미지로부터 깊이정보를 추출하는 깊이맵 수단을 포함하여 이루어짐
    을 특징으로 하는 실사이미지 디스플레이 방식의 동작인식 컨트롤 시스템.
  6. 청구항 5에 있어서,
    상기 동작인식 컨트롤수단은, 상기 깊이정보에 의해 상기 실사이미지 내에서 상기 피사체의 검출과 추적을 행하여 동작을 인식하도록 제어됨
    을 특징으로 하는 실사이미지 디스플레이 방식의 동작인식 컨트롤 시스템.
  7. 청구항 2에 있어서,
    상기 선명 디스플레이 영역 내에 표시되는 상기 실사이미지는, 적어도 상기 적외선 이미지를 포함하여 이루어짐
    을 특징으로 하는 실사이미지 디스플레이 방식의 동작인식 컨트롤 시스템.
  8. 피사체를 촬상하여 다수의 프레임의 실사이미지인 가시광선 이미지를 생성하는 카메라 과정을 포함하는 정보추출단계와,
    상기 피사체의 동작에 따라 제어되는 컨텐츠를 저장하는 컨텐츠 저장단계와,
    상기 실사이미지로부터 추출된 정보에 의해 상기 피사체의 동작을 인식하는 동작인식 컨트롤단계와,
    상기 컨텐츠의 배경이미지 내에 상기 가시광선 이미지를 표시하는 일반 디스플레이 과정을 구비하는 디스플레이 단계
    를 포함하여 이루어지는 실사이미지 디스플레이 방식의 동작인식 컨트롤 방법에 있어서,
    상기 디스플레이 단계 내에, 상기 배경이미지와 상기 가시광선 이미지가 함께 표시되는 상기 일반 디스플레이 과정과는 별도로, 상기 배경이미지가 배제되고 상기 실사이미지만 표시되는 미리 정해진 선명 디스플레이 과정이 구비됨
    을 특징으로 하는 실사이미지 디스플레이 방식의 동작인식 컨트롤 방법.
KR1020170074694A 2017-06-14 2017-06-14 실사이미지 디스플레이 방식의 동작인식 컨트롤 시스템 및 방법 KR101957417B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170074694A KR101957417B1 (ko) 2017-06-14 2017-06-14 실사이미지 디스플레이 방식의 동작인식 컨트롤 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170074694A KR101957417B1 (ko) 2017-06-14 2017-06-14 실사이미지 디스플레이 방식의 동작인식 컨트롤 시스템 및 방법

Publications (2)

Publication Number Publication Date
KR20180136132A true KR20180136132A (ko) 2018-12-24
KR101957417B1 KR101957417B1 (ko) 2019-03-12

Family

ID=65010262

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170074694A KR101957417B1 (ko) 2017-06-14 2017-06-14 실사이미지 디스플레이 방식의 동작인식 컨트롤 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR101957417B1 (ko)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100027976A (ko) * 2008-09-02 2010-03-11 삼성전자주식회사 이동 장치에서 제스처 및 움직임 기반 내비게이션 및 3차원 가상 콘텐츠와의 인터랙션
KR20140035244A (ko) * 2012-09-10 2014-03-21 한국전자통신연구원 사용자 인터페이싱 장치 및 방법, 그리고 이를 이용하는 단말 장치
KR101401656B1 (ko) 2012-12-27 2014-06-02 전자부품연구원 동작인식 기반의 가상훈련 시스템 및 그 제어방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100027976A (ko) * 2008-09-02 2010-03-11 삼성전자주식회사 이동 장치에서 제스처 및 움직임 기반 내비게이션 및 3차원 가상 콘텐츠와의 인터랙션
KR20140035244A (ko) * 2012-09-10 2014-03-21 한국전자통신연구원 사용자 인터페이싱 장치 및 방법, 그리고 이를 이용하는 단말 장치
KR101401656B1 (ko) 2012-12-27 2014-06-02 전자부품연구원 동작인식 기반의 가상훈련 시스템 및 그 제어방법

Also Published As

Publication number Publication date
KR101957417B1 (ko) 2019-03-12

Similar Documents

Publication Publication Date Title
US11100664B2 (en) Depth-aware photo editing
CN109615703B (zh) 增强现实的图像展示方法、装置及设备
CN104052938B (zh) 用于利用三维叠加的多光谱成像的设备和方法
US20140176591A1 (en) Low-latency fusing of color image data
CN111935393A (zh) 拍摄方法、装置、电子设备和存储介质
JP2014238731A (ja) 画像処理装置、画像処理システム、および画像処理方法
US10185394B2 (en) Gaze direction mapping
CN105611267B (zh) 现实世界和虚拟世界图像基于深度和色度信息的合并
US20190266798A1 (en) Apparatus and method for performing real object detection and control using a virtual reality head mounted display system
WO2011152634A2 (ko) 모니터 기반 증강현실 시스템
JP2024032826A (ja) 情報処理装置、情報処理方法、及びプログラム
JP2024029047A (ja) ディスプレイ検出装置、そのための方法、およびコンピュータ読み取り可能媒体
CN112073640B (zh) 全景信息采集位姿获取方法及装置、系统
CN113870213A (zh) 图像显示方法、装置、存储介质以及电子设备
JP2020514937A (ja) ベクタを用いた拡張現実画像の実現方法
KR101414362B1 (ko) 영상인지 기반 공간 베젤 인터페이스 방법 및 장치
KR101957417B1 (ko) 실사이미지 디스플레이 방식의 동작인식 컨트롤 시스템 및 방법
US20210350625A1 (en) Augmenting live images of a scene for occlusion
KR20210003515A (ko) 인터렉티브모드를지원하는증강현실구현장치
KR102028726B1 (ko) 공간 내의 물체 운동 분석 장치 및 그 제어 방법
KR20180017897A (ko) 스티커 영상을 위한 오브젝트 추출 방법 및 그 장치
US11269405B2 (en) Gaze direction mapping
CN111754543A (zh) 图像处理方法、装置及系统
CN107589834A (zh) 终端设备操作方法及装置、终端设备
KR20230051138A (ko) 거리 센싱을 이용한 증강현실 제공 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant