KR20180121259A - 카메라 탑재형 컴퓨터의 거리검출장치 및 그 방법 - Google Patents

카메라 탑재형 컴퓨터의 거리검출장치 및 그 방법 Download PDF

Info

Publication number
KR20180121259A
KR20180121259A KR1020170055742A KR20170055742A KR20180121259A KR 20180121259 A KR20180121259 A KR 20180121259A KR 1020170055742 A KR1020170055742 A KR 1020170055742A KR 20170055742 A KR20170055742 A KR 20170055742A KR 20180121259 A KR20180121259 A KR 20180121259A
Authority
KR
South Korea
Prior art keywords
camera
image
web camera
target
distance
Prior art date
Application number
KR1020170055742A
Other languages
English (en)
Inventor
이동준
Original Assignee
(주)대우루컴즈
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)대우루컴즈 filed Critical (주)대우루컴즈
Priority to KR1020170055742A priority Critical patent/KR20180121259A/ko
Publication of KR20180121259A publication Critical patent/KR20180121259A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

본 발명은 카메라가 탑재된 올인원 컴퓨터에서 단일 카메라에서 촬영되는 목표물의 이미지정보를 이용하여 단일 카메라에서 목표물까지의 거리를 검출하도록 하는 카메라 탑재형 컴퓨터의 거리검출장치 및 그 방법에 관한 것이다.
이를 구현하기 위한 본 발명에 따른 카메라 탑재형 컴퓨터의 거리검출장치는, 컴퓨터 모니터에 설치되어 전방에 위치한 목표물을 촬영하여 이미지를 획득하는 웹카메라; 상기 웹카메라로부터 수신하여 이미지정보를 생성하는 이미지처리부; 상기 웹카메라로 촬영한 이미지로부터 초점거리 및 굴절률에 해당하는 내부 파라미터를 검출하여 저장하는 내부 파라미터 설정부; 카메라 좌표계와 월드 좌표계 사이의 회전이동 및 평행이동 변환관계를 측정하여 저장하는 외부 파라미터 설정부; 상기 웹카메라로부터 상기 목표물까지의 수평거리정보를 입력받아 상기 외부 파라미터 저장부에 저장하는 외부 파라미터 입력부; 상기 웹카메라에서 촬영된 이미지로부터 목표물을 인식한 후, 내부 파라미터 설정부와 외부 파라미터 설정부 및 외부 파라미터 입력부를 통해 입력되는 파라미터들을 이용하여 상기 목표물의 특정 높이에 있는 특징점의 위치좌표와 특징점까지의 거리를 산출하는 위치정보 산출부;를 포함하여 이루어져 있다.

Description

카메라 탑재형 컴퓨터의 거리검출장치 및 그 방법{DISTANCE DETECTING DEVICE OF CAMERA MOUNTED COMPUTER AND ITS METHOD}
본 발명은 단일 카메라에서 촬영되는 목표물의 이미지정보를 이용하여 단일 카메라에서 목표물까지의 거리를 검출하도록 하는 카메라 탑재형 컴퓨터의 거리검출장치 및 그 방법에 관한 것으로, 더욱 상세하게는 컴퓨터 또는 컴퓨터 모니터에 탑재된 카메라를 이용하여 컴퓨터 모니터의 전방에 위치하고 있는 목표물까지의 거리를 검출할 수 있도록 하는 카메라 탑재형 컴퓨터의 거리검출장치 및 그 방법 에 관한 것이다.
일반적으로 개인용 컴퓨터 특히 모니터는 사용자가 잘 볼 수 있도록 책상 위에 올려놓고 사용자는 책상 앞의 의자나 바닥에 앉아 모니터를 보면서 조작하게 된다. 만약 컴퓨터에서 사용자의 얼굴 및 눈의 위치를 안다면, 예컨대 사용자의 컴퓨터 사용상태에 따라 모니터를 절전 제어하거나, 사용자가 응시하고 있는 위치에 대응하여 적절한 컨텐츠를 제공하는 등 다양한 방향으로 응용이 가능하다.
무선으로 특정 목표물까지의 거리를 자동으로 측정하는 기술로는 전파나 레이저 신호를 목표물에 발사한 후 반사 신호를 감지하는 장치가 알려져 있으나, 이는 원거리까지 측정할 수 있는 장점이 있지만 전파나 레이저 신호를 발사하기 위한 별도의 장치를 필요로 하여 설치비용이 증가한다.
이와 달리 카메라로 목표물을 촬영한 이미지를 분석하여 카메라로부터 목표물까지의 거리를 측정하는 기술이 개시되어 있다. 또한 컴퓨터에는 인터넷을 통해 화상을 전송하여 화상통화를 하거나 화상회의를 할 수 있도록 웹카메라가 설치될 수 있다. 따라서 컴퓨터에 설치되는 웹카메라를 이용하여 전방의 목표물 특히 사용자를 촬영하여 사용자에 대한 위치정보를 획득할 수 있다.
그런데, 카메라를 이용하여 목표물의 위치 정보나 거리 정보를 파악하기 위해서는 3차원의 정보가 추출되어야 하는 바, 카메라에서 촬영된 이미지는 2차원 정보로 이루어지기 때문에 2개 이상의 카메라에서 동시에 촬영한 이미지를 양안시차에 따라 조합하여 3차원 정보를 생성하여야만 목표물의 위치 정보와 거리 정보를 제공할 수 있다.
이와 같이 카메라를 이용한 위치 검출 장치는 3차원 정보를 추출하기 위하여 반드시 2개 이상의 카메라가 필요하고, 2개 이상의 카메라로부터 수집된 영상을 조합하여 목표물의 위치 및 거리 정보를 추출해야 하기 때문에 구조가 복잡해지고 이미지 처리수단도 복잡해지는 단점이 있다.
대한민국 공개특허공보 10-2009-0022486(2009년03월04일 공개)
본 발명은 상기한 사정을 감안하여 발명한 것으로, 컴퓨터 모니터에 설치되어 있는 단일의 웹카메라를 이용하여 웹카메라 전방에 있는 목표물의 소정 높이에 있는 특징점의 위치좌표와 특징점까지의 거리를 검출할 수 있도록 된 카메라 탑재형 컴퓨터의 거리검출장치 및 그 방법을 제공하고자 함에 발명의 목적이 있다.
상기한 목적을 실현하기 위한 본 발명에 따른 카메라 탑재형 컴퓨터의 거리검출장치는, 컴퓨터 모니터에 설치되어 전방에 위치한 목표물을 촬영하여 이미지를 획득하는 웹카메라; 상기 웹카메라로부터 수신하여 이미지정보를 생성하는 이미지처리부; 상기 웹카메라로 촬영한 이미지로부터 초점거리 및 굴절률에 해당하는 내부 파라미터를 검출하여 저장하는 내부 파라미터 설정부; 카메라 좌표계와 월드 좌표계 사이의 회전이동 및 평행이동 변환관계를 측정하여 저장하는 외부 파라미터 설정부; 상기 웹카메라로부터 상기 목표물까지의 수평거리정보를 입력받아 상기 외부 파라미터 저장부에 저장하는 외부 파라미터 입력부; 상기 웹카메라에서 촬영된 이미지로부터 목표물을 인식한 후, 내부 파라미터 설정부와 외부 파라미터 설정부 및 외부 파라미터 입력부를 통해 입력되는 파라미터들을 이용하여 상기 목표물의 특정 높이에 있는 특징점의 위치좌표와 특징점까지의 거리를 산출하는 위치정보 산출부;를 포함하여 이루어져 있다.
상기 외부 파라미터 입력부를 통해 입력되는 파라미터는 웹카메라에서 목표물까지의 수평거리임을 특징으로 한다.
상기 이미지에 포함된 목표물의 윤곽을 추출하여 위치정보를 검출하고자 하는 특징점의 위치를 판단하는 윤곽추출부를 추가로 구비하고, 상기 위치정보 산출부는 상기 웹카메라에서 상기 특징점까지의 거리를 검출하는 것을 특징으로 한다.
본 발명에 따른 카메라 탑재형 컴퓨터의 거리검출방법은, 컴퓨터 모니터에 설치되는 웹카메라와 관련된 내부 파라미터와 외부 파라미터가 설정되어 있는지 여부를 판단하는 단계; 상기 판단단계에서 내부 파라미터와 외부 파라미터가 설정되어 있지 않으면, 설정되어 있지 않은 파라미터를 설정하도록 하는 단계; 상기 판단단계에서 내부 파라미터와 외부 파라미터가 설정되어 있으면, 웹카메라를 동작시켜 전방에 있는 목표물을 촬영하여 목표물의 이미지를 획득하는 단계; 상기 목표물의 이미지를 처리하여 이미지정보를 생성하는 단계; 상기 이미지정보를 이용하여 목표물의 윤곽을 추출하고, 추출된 윤곽으로부터 위치정보를 알고자 하는 특징점의 이미지평면상 좌표를 추출하는 단계; 상기 이미지평면상 특징점의 좌표를 통해 특징점의 3차원 월드 좌표를 산출하는 단계; 상기 특징점의 3차원 월드 좌표를 통해 웹카메라에서 특징점까지의 거리정보를 산출하는 단계; 상기 웹카메라에서 특징점까지의 거리정보를 이용하여 응용프로그램을 구동하는 단계;를 포함하여 이루어져 있다.
상기와 같은 본 발명은 컴퓨터 모니터에 설치되어 있는 단일의 웹카메라를 이용하여 웹카메라 전방에 있는 목표물의 소정 높이에 있는 특징점의 위치좌표, 예컨대 사용자의 눈의 위치를 검출하여 사용자의 눈의 위치에 따라 모니터를 절전하거나 적절한 컨텐츠를 제공하는 등 다양한 응용 기능을 제공할 수 있는 효과가 있다.
도 1은 본 발명에 따른 카메라 탑재형 컴퓨터의 거리검출장치의 구성도,
도 2는 본 발명에 따른 카메라 탑재형 컴퓨터의 거리검출장치의 사용상태도,
도 3은 본 발명에 따라 외부 파라미터를 설정하는 동작을 설명하기 위한 도면,
도 4의 (a)는 본 발명에 따라 측정하고자 하는 목표물의 특정 지점이 정규 이미지평면(Normalized image plane)과 카메라의 이미지센서 평면에 해당하는 이미지평면에 투영되는 위치의 상관관계를 나타내는 도면,
도 4의 (b)는 카메라 좌표계와 이미지좌표계 및 월드 좌표계의 관계를 나타내는 도면,
도 5는 본 발명에 따라 3차원 공간상의 한 점을 이미지평면과 정규 이미지평면에 투영시켜 삼각비에 따라 거리를 구하는 방법을 설명하기 위한 도면,
도 6은 본 발명에 따른 카메라 탑재형 컴퓨터의 거리검출방법을 설명하기 위한 흐름도.
본 발명을 충분히 이해하기 위해서 본 발명의 바람직한 실시예를 첨부 도면을 참조하여 설명한다. 본 실시예는 당업계에서 평균적인 지식을 가진 자에게 본 발명을 보다 완전하게 설명하기 위하여 제공되는 것으로, 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 공지 기능 및 구성에 대한 상세한 기술은 생략된다.
도 1은 본 발명에 따른 카메라 탑재형 컴퓨터의 거리검출장치의 구성도를 나타내고, 도 2는 본 발명에 따른 카메라 탑재형 컴퓨터의 거리검출장치의 사용상태도를 나타낸다.
도시된 바와 같이, 웹카메라(10)는 주로 컴퓨터 모니터(12)의 상단에 설치되어 전방의 목표물을 촬영하게 되며, 촬영된 2차원 이미지는 위치검출부(20)로 전송되고, 위치검출부(20)에서는 수신된 2차원 이미지를 분석하여 웹카메라(10)로부터 목표물까지의 위치정보 특히 목표물에서 특정 높이에 있는 특징점의 3차원 위치좌표를 검출하게 된다. 여기서 목표물이란 예를 들어 웹카메라(10)의 전방에서 컴퓨터를 조작하는 사용자를 의미하고, 특정 높이에 있는 특징점이란 사용자의 눈의 위치를 의미할 수 있다.
상기 위치검출부(20)에서 검출된 목표물의 특징점에 대한 위치정보는 응용프로그램구동부(30)로 전송되어 응용프로그램을 구동하게 된다. 즉, 응용프로그램구동부(30)에서는 사용자의 눈의 위치에 따라 예컨대 응용프로그램으로서 절전프로그램을 구동하거나 소정의 컨텐츠를 디스플레이할 수 있다.
이를 위해 상기 위치검출부(20)는 이미지 처리부(21), 내부 파라미터 설정부(22), 외부 파라미터 설정부(23), 외부 파라미터 입력부(24), 위치정보 산출부(25) 및 윤곽추출부(26)를 포함하여 이루어질 수 있다.
이미지처리부(21)는 상기 웹카메라(10)가 촬영한 영상신호를 수신하여 이미지정보를 생성하는 동작을 한다.
내부 파라미터 설정부(22)는 상기 웹카메라(10)로 촬영한 이미지로부터 초점거리 및 굴절률에 해당하는 내부 파라미터를 검출하여 저장하는 동작을 하고, 카메라 캘리브레이션으로 측정하며 내부 파라미터 값은 변하지 않는다.
외부 파라미터 설정부(23)는 카메라 좌표계와 월드 좌표계 사이의 회전이동 및 평행이동 변환관계를 측정하여 저장하는 동작을 하는데, 외부 파라미터는 카메라 좌표계와 월드 좌표계 사이의 변환관계를 설명하는 파라미터로서, 두 좌표계 사이의 회전이동(ratation) 및 평행이동(translation) 변환으로 표시된다. 상기 외부 파라미터는 웹카메라(10) 고유의 파라미터가 아니기 때문에 웹카메라(10)의 설치위치와 설치방향에 따라 달라지고 월드 좌표계를 어떻게 정의하는지에 따라 달라지는 값이다.
외부 파라미터는 예컨대 도 3의 (a)와 같이 한변의 길이가 1인 정사각형 마크를 바닥에 놓고 웹카메라(10)로 촬영하여 도 3의 (b)와 같은 영상을 획득하였을 때 정사각형의 각 꼭지점들에 대한 이미지좌표를 구한 후, 사각형 꼭지점들의 3차원 월드 좌표와 2차원 이미지좌표 쌍들을 이동 변환 행렬로 산출할 수 있다.
즉, 3차원 공간상의 한 점 P에 대한 월드좌표를 Pw=(xw, yw, zw), 카메라 좌표계에서 봤을 때의 좌표를 Pc=(xc,yc,zc)라 할 때 다음 관계식이 성립된다.
Pc = RPw + T
Pw = R-1(Pc - T)
이때, 웹카메라의 3차원 위치(월드좌표)는 카메라 좌표계의 원점에 대응하는 월드좌표이므로 다음같이이 계산된다.
Camerapos = R-1(0 - T) = -R-1T
다음으로, 웹카메라(10)의 3차원 자세정보는 다음과 같이 산출될 수 있다.
먼저, 웹카메라(10)의 팬(pan)과 틸트(tilt)는 카메라의 광학축에 대한 월드좌표를 구하면 된다. 자세정보를 구하는데 있어서 평행이동은 관계가 없는 요소이기 때문에 회전변환만을 고려하여 카메라 광학축 벡터 Zc=(0,0,1)에 대한 월드좌표 Zw는 다음과 같이 산출된다.
Zw = R- 1Zc = [zx, zy, zz]T
이렇게 계산된 광학축에 대한 월드좌표를 Zw=(zx, zy, zz)라 하면 카메라의 팬(
Figure pat00001
), 틸트(
Figure pat00002
)는 다음과 같이 산출된다.
Figure pat00003
= atan2(zy, zx) -
Figure pat00004
Figure pat00005
= atan2(zz,
Figure pat00006
) -
Figure pat00007
피치(pitch), 롤(roll), 요(yaw) 관점에서 보면 위와 같이 산출된 틸트는 피치, 팬은 요에 해당한다.
다음으로 웹카메라(10)의 롤 각은 카메라 좌표계의 X축 벡터 Xc=(1,0,0)에 대한 월드좌표 벡터 Xw=(xx, xy, xz)와 월드좌표계의 X축을 Z축을 중심으로
Figure pat00008
pan 만큼 회전시킨 Xpan 사이의 회전각으로 산출된다.(단, 롤은 카메라의 광학축을 기준으로 한 회전각으로서, 카메라와 같은 방향을 바라볼 때 반시계 방향이 +방향이다.)
Figure pat00009
=
Figure pat00010
c =
Figure pat00011
Figure pat00012
=
Figure pat00013
Figure pat00014
=
Figure pat00015
Figure pat00016
단,
Figure pat00017
함수는 ( )안의 값이 양수이면 1, 음수이면 -1인 부호함수이다.
외부 파라미터는 웹카메라(10)를 컴퓨터 모니터(12)의 소정 높이에 장착하였을 경우, 웹카메라(10)와 기지 평면 사이의 수직 높이와 웹카메라(10)와 기지 평면과의 경사면에서 발생된 틸트각(
Figure pat00018
)으로 구성되며, 웹카메라(10)가 대부분 특정 위치에 고정 설치되기 때문에 이미지 촬영시 변화될 수 있는 기지 평면과의 틸트각(
Figure pat00019
)을 변수로 하여 설정될 수 있다.
이상과 같이 어떤 목표물에 대한 월드좌표-이미지좌표 대응쌍을 4개만 알면 웹카메라(10)에 대한 모든 위치 및 3차원 자세정보를 파악할 수 있다.
다음은 월드좌표계 상의 특징점의 좌표(X,Y,Z)를 이미지평면인 픽셀좌표계상의 좌표(x,y)로 변환하는 동작에 대해 설명한다.
도 4의 (a)는 본 발명에 따라 측정하고자 하는 목표물의 특정 지점이 정규 이미지평면(Normalized image plane)과 카메라의 이미지센서 평면에 해당하는 이미지평면에 투영되는 위치의 상관관계를 나타내고, 도 4의 (b)는 카메라 좌표계와 이미지좌표계 및 월드 좌표계의 관계를 나타낸다.
정규 이미지평면(Normalized image plane)은 웹카메라(10)의 초점으로부터 거리가 1인 가상의 이미지를 나타내고, 이미지 평면은 웹카메라(10)에서 이미지가 맺히는 CCD 또는 CMOS 등의 이미지센서가 이루는 평면을 의미한다.
이때, 내부 파라미터와 외부 파라미터를 감안하여 3차원 공간상의 월드좌표 (X,Y,Z)를 이미지평면에 투영시키는 관계식은 다음과 같다.
Figure pat00020
여기서, s는 스케일을 나타내고, A는 카메라 내부 파라미터 행렬을 나타내는 것으로 정규 이미지평면상의 좌표를 픽셀 좌표로 바꾸어준다. 행렬 A에서 fx와 fy는 초점거리(focal length)를 나타내고, cx와 cy는 주점(principal point)을 나타내며, skew_c 는 tanα로서 비대칭계수(skew coefficient)를 나타낸다.
또한
Figure pat00021
는 월드 좌표계를 카메라 좌표계로 바꾸는 리지드(rigid) 변환행렬로서, 외부 파라미터를 나타낸다.
한편, 외부 파라미터 입력부(24)는 사용자에 의해 상기 웹카메라(10)로부터 상기 목표물까지의 수평거리정보를 입력받아 상기 외부 파라미터 설정부(23)에 저장하는 사용자 인터페이스이다. 사용자가 외부 파라미터 입력부(24)를 통해 웹카메라(10)로부터 상기 목표물까지의 수평거리정보를 입력하는 이유는 도 5에 도시된 바와 같이 웹카메라를 광학축 기준으로 위로 보았을 때 월드 좌표계 상의 점 P(X,Y,Z)는 이미지좌표계에서 점
Figure pat00022
에 투영되고, 정규 이미지평면에서 점
Figure pat00023
에 투영된다. 이때, 이미지평면에서의 X좌표와 Y좌표는 이미지센서의 픽셀의 위치에 의해 알 수 있으므로 이미지평면과 정규 이미지평면 및 월드 좌표계에서의 실제 위치에 대해 삼각비를 이용하여 월드 좌표계 상의 점 P의 높이를 산출할 수 있는 것이다.
위치정보 산출부(25)는 상기 웹카메라(10)에서 촬영된 이미지로부터 특징점을 인식한 후, 내부 파라미터 설정부(22)와 외부 파라미터 설정부(23) 및 외부 파라미터 입력부(24)를 통해 입력되는 파라미터들을 이용하여 상기 특징점의 위치좌표를 산출한다.
이와 더불어, 위치정보 산출부(25)에서 위치를 산출하고자 하는 특징점의 영역을 찾을 수 있도록 윤곽추출부(26)가 구비될 수 있다. 상기 윤곽추출부(26)는 상기 웹카메라(10)가 촬영한 이미지에 포함된 목표물의 윤곽을 추출하여 위치정보를 검출하고자 하는 특징점의 위치를 판단한다. 예컨대 사용자의 눈의 위치를 특징점으로 판단하고자 하는 경우 웹카메라(10)가 사용자를 촬영한 이미지로부터 얼굴과 눈, 코, 귀, 입 등의 윤곽을 추출한 후 이를 기초로 눈의 위치를 판단하도록 하고, 눈의 위치를 특징점으로 하여 웹카메라(10)로부터 눈까지 거리, 방향 등을 판단한다.
다음에는 도 6에 의거 본 발명에 따라 웹카메라(10)가 전방의 목표물을 촬영하고 위치검출부(20)에서 목표물의 2차원 이미지로부터 목표물에서 특정 높이에 있는 특징점의 3차원 거리정보를 검출하는 방법에 대해 설명한다.
먼저, 컴퓨터 모니터에 설치되는 웹카메라(10)를 구동하여 거리를 검출하고자 할 때 웹카메라(10)와 관련된 내부 파라미터와 외부 파라미터가 설정되어 있는지 여부를 판단한다.
상기 판단단계에서 내부 파라미터와 외부 파라미터가 설정되어 있지 않으면, 설정되어 있지 않은 파라미터를 먼저 설정하도록 한다. 여기서 웹카메라(10)의 내부 파리미터는 웹카메라(10)의 제조당시 측정되어 내부 파라미터 설정부(22)에 저장되어 있는 값이며, 외부 파라미터는 웹카메라(10)의 설치조건에 따라 변경되며, 웹카메라(10)의 설치위치가 변경되지 않으면 한번 측정되어 저장된 정보를 재차 측정하지 않고 거리검출시마다 이용할 수 있다. 또한 외부 파라미터 중에서 웹카메라(10)와 목표물까지의 거리정보는 사용자가 외부 파라미터 입력부(24)를 통해 입력하게 되며, 예컨대 목표물이 사용자이고 사용자가 웹카메라(10) 전방에서 일정한 곳에 위치한다고 하면 웹카메라(10)와 목표물까지의 거리정보는 한번 입력된 정보를 반복사용할 수 있다. 이는 외부 파라미터 입력부(24)의 사용자 인터페이스를 통해 설정될 수 있다.
한편, 위치정보 산출부(25)에서는 상기 판단단계에서 내부 파라미터와 외부 파라미터가 설정되어 있는 것으로 판단되면, 웹카메라(10)를 동작시켜 전방에 있는 목표물을 촬영하여 목표물의 이미지를 획득하고, 상기 목표물의 이미지를 처리하여 이미지정보를 생성한다.
이로부터 위치정보 산출부(25)에서는 상기 이미지정보를 이용하여 목표물의 윤곽을 추출하고, 추출된 윤곽으로부터 위치정보를 알고자 하는 특징점의 이미지평면상 좌표를 추출하며, 상기 이미지평면상 특징점의 좌표를 통해 특징점의 3차원 월드 좌표를 산출한 후, 상기 특징점의 3차원 월드 좌표를 통해 웹카메라(10)에서 특징점까지의 거리정보를 산출한다.
이에 따라 응용프로그램 구동부(30)에서는 웹카메라(10)에서 목표물의 특징점까지의 거리정보를 이용하여 응용프로그램을 구동하여 소정의 기능을 구현하거나 서비스를 제공할 수 있다.
이와 같이, 컴퓨터 모니터의 웹카메라(10)를 이용하여 촬영하는 목표물이 있는 위치는 실체 3차원 공간이지만 웹카메라(10)로 촬영한 이미지는 2차원이다. 하지만 웹카메라(10)의 이미지센서와 목표물과의 거리, 이미지 센서가 이루는 각 등 웹카메라(10) 내부의 기구적 수치를 알면 2차원 이미지로부터 3차원의 위치정보를 유추하고, 이로부터 다양한 응용기능을 제공할 수 있다. 응용기능으로서는 목표물인 사용자가 전방에서 이탈하였거나 소정시간 이상 모니터를 주시하고 있는 않은 것으로 판단되면 모니터를 절전모드로 동작시키는 기능이나, 모니터(12)에서 사용자가 주시하고 있는 위치에 특정 콘텐츠를 디스플레이하는 등의 기능이 해당될 수 있다.
10 - 웹카메라, 12 -- 컴퓨터 모니터,
20 - 위치검출부, 21 -- 이미지 처리부,
22 -- 내부 파라미터 설정부, 23 -- 외부 파라미터 설정부,
24 -- 외부 파라미터 입력부, 25 -- 위치정보 산출부,
26 - 윤곽추출부, 30 - 응용프로그램구동부.

Claims (5)

  1. 컴퓨터 모니터에 설치되어 전방에 위치한 목표물을 촬영하여 이미지를 획득하는 웹카메라;
    상기 웹카메라로부터 수신하여 이미지정보를 생성하는 이미지처리부;
    상기 웹카메라로 촬영한 이미지로부터 초점거리 및 굴절률에 해당하는 내부 파라미터를 검출하여 저장하는 내부 파라미터 설정부;
    카메라 좌표계와 월드 좌표계 사이의 회전이동 및 평행이동 변환관계를 측정하여 저장하는 외부 파라미터 설정부;
    상기 웹카메라로부터 상기 목표물까지의 수평거리정보를 입력받아 상기 외부 파라미터 저장부에 저장하는 외부 파라미터 입력부;
    상기 웹카메라에서 촬영된 이미지로부터 목표물을 인식한 후, 내부 파라미터 설정부와 외부 파라미터 설정부 및 외부 파라미터 입력부를 통해 입력되는 파라미터들을 이용하여 상기 목표물의 특정 높이에 있는 특징점의 위치좌표와 특징점까지의 거리를 산출하는 위치정보 산출부;를 포함하여 이루어진 카메라 탑재형 컴퓨터의 거리검출장치.
  2. 제1항에 있어서,
    상기 외부 파라미터 입력부를 통해 입력되는 파라미터는 웹카메라에서 목표물까지의 수평거리임을 특징으로 하는 카메라 탑재형 컴퓨터의 거리검출장치.
  3. 제1항 또는 제2항에 있어서,
    상기 이미지에 포함된 목표물의 윤곽을 추출하여 위치정보를 검출하고자 하는 특징점의 위치를 판단하는 윤곽추출부를 추가로 구비하고, 상기 위치정보 산출부는 상기 웹카메라에서 상기 특징점까지의 거리를 검출하는 것을 특징으로 하는 카메라 탑재형 컴퓨터의 거리검출장치.
  4. 제3항에 있어서,
    상기 위치정보 산출부는 아래의 수학식에 의해 내부 파라미터와 외부 파라미터를 감안하여 3차원 공간상의 월드좌표 (X,Y,Z)를 이미지평면에 투영시키는 것을 특징으로 하는 카메라 탑재형 컴퓨터의 거리검출장치.

    Figure pat00024

    여기서, s는 스케일, A는 카메라 내부 파라미터 행렬, fx와 fy는 초점거리(focal length), cx와 cy는 주점(principal point), skew_c 는 비대칭계수(skew coefficient),
    Figure pat00025
    는 외부 파라미터를 나타낸다.
  5. 컴퓨터 모니터에 설치되는 웹카메라와 관련된 내부 파라미터와 외부 파라미터가 설정되어 있는지 여부를 판단하는 단계;
    상기 판단단계에서 내부 파라미터와 외부 파라미터가 설정되어 있지 않으면, 설정되어 있지 않은 파라미터를 설정하도록 하는 단계;
    상기 판단단계에서 내부 파라미터와 외부 파라미터가 설정되어 있으면, 웹카메라를 동작시켜 전방에 있는 목표물을 촬영하여 목표물의 이미지를 획득하는 단계;
    상기 목표물의 이미지를 처리하여 이미지정보를 생성하는 단계;
    상기 이미지정보를 이용하여 목표물의 윤곽을 추출하고, 추출된 윤곽으로부터 위치정보를 알고자 하는 특징점의 이미지평면상 좌표를 추출하는 단계;
    상기 이미지평면상 특징점의 좌표를 통해 특징점의 3차원 월드 좌표를 산출하는 단계;
    상기 특징점의 3차원 월드 좌표를 통해 웹카메라에서 특징점까지의 거리정보를 산출하는 단계;
    상기 웹카메라에서 특징점까지의 거리정보를 이용하여 응용프로그램을 구동하는 단계;를 포함하는 카메라 탑재형 컴퓨터의 거리검출방법.
KR1020170055742A 2017-04-28 2017-04-28 카메라 탑재형 컴퓨터의 거리검출장치 및 그 방법 KR20180121259A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170055742A KR20180121259A (ko) 2017-04-28 2017-04-28 카메라 탑재형 컴퓨터의 거리검출장치 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170055742A KR20180121259A (ko) 2017-04-28 2017-04-28 카메라 탑재형 컴퓨터의 거리검출장치 및 그 방법

Publications (1)

Publication Number Publication Date
KR20180121259A true KR20180121259A (ko) 2018-11-07

Family

ID=64363100

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170055742A KR20180121259A (ko) 2017-04-28 2017-04-28 카메라 탑재형 컴퓨터의 거리검출장치 및 그 방법

Country Status (1)

Country Link
KR (1) KR20180121259A (ko)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110443218A (zh) * 2019-08-13 2019-11-12 北京百度网讯科技有限公司 一种人物检测方法和装置
CN112818990A (zh) * 2021-01-29 2021-05-18 中国人民解放军军事科学院国防科技创新研究院 目标检测框的生成方法、图像数据自动标注方法及系统
KR20210057964A (ko) * 2019-11-13 2021-05-24 울산대학교 산학협력단 촬영장비를 구비한 이동체의 위치정보를 판단하는 방법 및 시스템
CN113391644A (zh) * 2021-06-11 2021-09-14 中新国际联合研究院 一种基于图像信息熵的无人机拍摄距离半自动寻优方法
CN113724324A (zh) * 2021-08-30 2021-11-30 杭州华橙软件技术有限公司 云台的控制方法、装置、存储介质及电子装置
KR102481756B1 (ko) * 2021-12-09 2022-12-27 주식회사 커브서프 윤곽점 변환 장치 및 그 방법

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110443218A (zh) * 2019-08-13 2019-11-12 北京百度网讯科技有限公司 一种人物检测方法和装置
CN110443218B (zh) * 2019-08-13 2022-01-28 北京百度网讯科技有限公司 一种人物检测方法和装置
KR20210057964A (ko) * 2019-11-13 2021-05-24 울산대학교 산학협력단 촬영장비를 구비한 이동체의 위치정보를 판단하는 방법 및 시스템
CN112818990A (zh) * 2021-01-29 2021-05-18 中国人民解放军军事科学院国防科技创新研究院 目标检测框的生成方法、图像数据自动标注方法及系统
CN112818990B (zh) * 2021-01-29 2023-08-22 中国人民解放军军事科学院国防科技创新研究院 目标检测框的生成方法、图像数据自动标注方法及系统
CN113391644A (zh) * 2021-06-11 2021-09-14 中新国际联合研究院 一种基于图像信息熵的无人机拍摄距离半自动寻优方法
CN113391644B (zh) * 2021-06-11 2022-06-17 中新国际联合研究院 一种基于图像信息熵的无人机拍摄距离半自动寻优方法
CN113724324A (zh) * 2021-08-30 2021-11-30 杭州华橙软件技术有限公司 云台的控制方法、装置、存储介质及电子装置
CN113724324B (zh) * 2021-08-30 2023-12-19 杭州华橙软件技术有限公司 云台的控制方法、装置、存储介质及电子装置
KR102481756B1 (ko) * 2021-12-09 2022-12-27 주식회사 커브서프 윤곽점 변환 장치 및 그 방법
WO2023106472A1 (ko) * 2021-12-09 2023-06-15 주식회사 커브서프 윤곽점 변환 장치 및 그 방법

Similar Documents

Publication Publication Date Title
KR20180121259A (ko) 카메라 탑재형 컴퓨터의 거리검출장치 및 그 방법
TWI547828B (zh) 感測器與投射器之校準技術
CN111344644B (zh) 用于基于运动的自动图像捕获的技术
EP2531980B1 (en) Depth camera compatibility
CN104885098B (zh) 基于移动装置的文本检测及跟踪
KR102111935B1 (ko) 표시 제어장치, 표시 제어방법 및 프로그램
RU2502136C2 (ru) Комбинированная система захвата объекта и отображающее устройство и связанный способ
CA2786436C (en) Depth camera compatibility
US20170374331A1 (en) Auto keystone correction and auto focus adjustment
WO2017020150A1 (zh) 一种图像处理方法、装置及摄像机
JP2009118415A (ja) 鳥瞰画像生成装置および方法
KR102472156B1 (ko) 전자 장치 및 그 깊이 정보 생성 방법
TW201520904A (zh) 基於表示標的之影像判定區隔邊界之技術
JP2020042772A (ja) 深度マップに対して画像位置合せを行って深度データを最適化することができる深度データ処理システム
CN112135034A (zh) 基于超声波的拍照方法、装置、电子设备及存储介质
KR101703013B1 (ko) 3차원 스캐너 및 스캐닝 방법
KR101523046B1 (ko) 영상처리기반의 거리 측정장치
CN107113417B (zh) 将图像投影到对象上
JP6866467B2 (ja) ジェスチャー認識装置、ジェスチャー認識方法、ジェスチャー認識装置を備えたプロジェクタおよび映像信号供給装置
CN114026610A (zh) 用于障碍物检测的设备和方法
JP2008015815A (ja) 画像処理装置、および画像処理プログラム
US20200211278A1 (en) 3d model generation system and method
CN112073640B (zh) 全景信息采集位姿获取方法及装置、系统
JP6483661B2 (ja) 撮像制御装置、撮像制御方法およびプログラム
JP6452658B2 (ja) 情報処理装置、およびその制御方法ならびにプログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application