KR20210003032A - 전자 장치 및 그 제어 방법 - Google Patents

전자 장치 및 그 제어 방법 Download PDF

Info

Publication number
KR20210003032A
KR20210003032A KR1020190151982A KR20190151982A KR20210003032A KR 20210003032 A KR20210003032 A KR 20210003032A KR 1020190151982 A KR1020190151982 A KR 1020190151982A KR 20190151982 A KR20190151982 A KR 20190151982A KR 20210003032 A KR20210003032 A KR 20210003032A
Authority
KR
South Korea
Prior art keywords
reflected light
sensor
reflected
distance
light
Prior art date
Application number
KR1020190151982A
Other languages
English (en)
Inventor
황보민수
홍현석
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to US16/833,777 priority Critical patent/US11644571B2/en
Priority to EP20834978.7A priority patent/EP3935412B1/en
Priority to CN202080042406.XA priority patent/CN114026462A/zh
Priority to PCT/KR2020/004791 priority patent/WO2021002569A1/en
Publication of KR20210003032A publication Critical patent/KR20210003032A/ko

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/90Lidar systems specially adapted for specific applications for mapping or imaging using synthetic aperture techniques

Abstract

전자 장치가 개시된다. 본 전자 장치는 주행부, 광을 조사하기 위한 광원, 상기 광에 기초한 반사광을 수신하기 위한 제1 센서, 상기 전자 장치의 이동 거리를 감지하기 위한 제2 센서 및 상기 광원에 의해 조사된 상기 광에 기초하여 반사광이 상기 제1 센서에 포함된 복수의 픽셀 중에서 제1 픽셀들에 수신되면, 상기 반사광을 수신한 제1 픽셀들의 위치에 기초하여 제1 거리를 판단하고, 상기 주행부의 구동에 따라, 상기 반사광이 상기 제1 센서에 포함된 복수의 픽셀 중에서 제2 픽셀들에 수신되면, 상기 반사광을 수신한 제2 픽셀들의 위치에 기초하여 제2 거리를 판단하며, 상기 제1 및 제2 거리의 차이를 연산하고, 상기 연산에 의해 획득한 거리 및 상기 제2 센서를 통해 판단된 상기 전자 장치의 이동 거리에 기초하여, 상기 반사광이 물체에 의해 반사된 반사광인지 또는 상기 물체에 반사된 후 다른 물체에 의해 재반사된 반사광인지를 판단하는 프로세서를 포함한다.

Description

전자 장치 및 그 제어 방법 {ERECTRONIC APPARATUS AND CONTRL METHOD THEREOF}
본 개시는 전자 장치 및 그 제어 방법에 관한 것으로, 보다 상세하게는 물체를 감지할 수 있는 전자 장치 및 그 제어 방법에 관한 것이다.
전자 기술의 발달로 다양한 전자 장치가 개발되고 있다. 특히, 최근에는 사람을 대신해 운전을 수행하는 자율 주행 차량, 스스로 물품을 분류하고, 목적지까지 물품을 운반하는 자동 경로 차량(Automated Guided Vehicle) 및 가정 내 공간을 주행하면서 청소를 수행하는 로봇 청소기 등의 전자 장치가 개발되고 있다.
한편, 이와 같은 전자 장치는 주행 중 물체와의 충돌을 방지하기 위해, 전자 장치 주변의 물체나 물체와의 거리를 감지할 필요가 있다. 이를 위해, 특히 최근에는 광원 기반의 센서(가령, 이미지 센서나 라이다 센서 등)를 탑재한 전자 장치가 개발되고 있다.
그런데, 광원 기반의 센서를 탑재한 종래의 전자 장치는 광의 조사 후, 반사광이 수신되면, 전자 장치 주변에 물체가 존재하는 것으로 인식하였다. 그러나, 반사광은 물체로부터 직접적으로 반사된 광이 아니라, 물체에 반사된 후 다른 물체(가령, 바닥이나 벽면 등)에 재반사 된 광이 될 수도 있다. 후자의 경우, 종래의 전자 장치는 실제 존재하지도 않는 물체를 존재하는 것으로 인식하는 문제가 있었다.
본 개시는 상술한 문제점을 해결하기 위해 안출된 것으로서, 본 개시의 목적은 물체의 의해 반사된 반사광 및 물체에 반사된 후 다른 물체(가령, 바닥이나 벽면 등)에 의해 재반사된 반사광을 구분할 수 있는 전자 장치 및 그 제어 방법을 제공함에 있다.
이상과 같은 목적을 달성하기 위한 본 개시의 일 실시 예에 따른 전자 장치는, 주행부, 광을 조사하기 위한 광원, 상기 광에 기초한 반사광을 수신하기 위한 제1 센서, 상기 전자 장치의 이동 거리를 감지하기 위한 제2 센서 및 상기 광원에 의해 조사된 상기 광에 기초하여 반사광이 상기 제1 센서에 포함된 복수의 픽셀 중에서 제1 픽셀들에 수신되면, 상기 반사광을 수신한 제1 픽셀들의 위치에 기초하여 제1 거리를 판단하고, 상기 주행부의 구동에 따라, 상기 반사광이 상기 제1 센서에 포함된 복수의 픽셀 중에서 제2 픽셀들에 수신되면, 상기 반사광을 수신한 제2 픽셀들의 위치에 기초하여 제2 거리를 판단하며, 상기 제1 및 제2 거리의 차이를 연산하고, 상기 연산에 의해 획득한 거리 및 상기 제2 센서를 통해 판단된 상기 전자 장치의 이동 거리에 기초하여, 상기 반사광이 물체에 의해 반사된 반사광인지 또는 상기 물체에 반사된 후 다른 물체에 의해 재반사된 반사광인지를 판단하는 프로세서를 포함할 수 있다.
그리고, 본 개시는 상기 복수의 픽셀의 로우 별로 서로 다른 거리가 매칭된 거리에 대한 정보를 저장하는 메모리를 더 포함하고, 상기 프로세서는, 상기 반사광을 수신한 제1 픽셀들의 로우 및 상기 거리에 대한 정보에 기초하여, 상기 제1 거리를 판단하고, 상기 반사광을 수신한 제2 픽셀들의 로우 및 상기 거리에 대한 정보에 기초하여, 상기 제2 거리를 판단할 수 있다.
그리고, 상기 프로세서는, 상기 연산에 의해 획득한 거리와 상기 제2 센서를 통해 판단된 상기 전자 장치의 이동 거리의 차이가 기설정된 임계 값 이하인 경우, 상기 반사광을 상기 물체에 의해 반사된 반사광으로 판단하고, 상기 연산에 의해 획득한 거리와 상기 제2 센서를 통해 판단된 상기 전자 장치의 이동 거리의 차이가 기설정된 임계 값을 초과하는 경우, 상기 반사광을 상기 다른 물체에 의해 재반사된 반사광으로 판단할 수 있다.
그리고, 상기 프로세서는, 상기 제1 센서에 포함된 복수의 픽셀 중에서, 기설정된 밝기 값 이상의 밝기 값을 가진 픽셀들을 상기 반사광을 수신한 픽셀로 판단할 수 있다.
그리고, 상기 제1 센서에 포함된 복수의 픽셀은, 반사광이 수신되는 양에 따라 상이한 크기의 전기적 신호를 출력하고, 상기 프로세서는, 상기 제1 센서에 포함된 복수의 픽셀 중에서 기설정된 크기 이상의 전기적 신호를 출력하는 픽셀들을 판단하고, 상기 판단된 픽셀들을 상기 반사광을 수신한 픽셀들로 판단할 수 있다.
그리고, 상기 프로세서는, 상기 제1 센서에 포함된 복수의 픽셀 중에서, 동일한 컬럼의 서로 다른 로우의 픽셀들에 반사광이 수신되는 경우, 상기 전자 장치의 이동 거리를 감지하기 위한 상기 제2 센서를 구동할 수 있다.
한편, 본 개시의 일 실시 예에 따른 전자 장치의 제어 방법은, 광원에 의해 조사된 광에 기초하여 반사광이 제1 센서에 포함된 복수의 픽셀 중에서 제1 픽셀들에 수신되면, 상기 반사광을 수신한 제1 픽셀들의 로우에 기초하여 제1 거리를 판단하는 단계, 주행부의 구동에 따라, 상기 반사광이 제1 센서에 포함된 복수의 픽셀 중에서 제2 픽셀들에 수신되면, 상기 반사광을 수신한 제2 픽셀들의 로우에 기초하여 제2 거리를 판단하는 단계, 상기 제1 및 제2 거리의 차이를 연산하는 단계 및 상기 연산에 의해 획득한 거리 및 제2 센서를 통해 판단된 전자 장치의 이동 거리에 기초하여, 상기 반사광이 물체에 의해 반사된 반사광인지 또는 상기 물체에 의해 반사된 후 다른 물체에 의해 재반사된 반사광인지를 판단하는 단계를 포함할 수 있다.
그리고, 상기 제1 거리를 판단하는 단계는, 상기 반사광을 수신한 제1 픽셀들의 로우 및 상기 복수의 픽셀의 로우 별로 서로 다른 거리가 매칭된 거리에 대한 정보에 기초하여, 상기 제1 거리를 판단하고, 상기 제2 거리를 판단하는 단계는, 상기 반사광을 수신한 제2 픽셀들의 로우 및 상기 거리에 대한 정보에 기초하여, 상기 제2 거리를 판단할 수 있다.
그리고, 상기 판단하는 단계는, 상기 연산에 의해 획득한 거리와 상기 제2 센서를 통해 판단된 상기 전자 장치의 이동 거리의 차이가 기설정된 임계 값 이하인 경우, 상기 반사광을 상기 물체에 의해 반사된 반사광으로 판단하고, 상기 연산에 의해 획득한 거리와 상기 제2 센서를 통해 판단된 상기 전자 장치의 이동 거리의 차이가 기설정된 임계 값을 초과하는 경우, 상기 반사광을 상기 다른 물체에 의해 재반사된 반사광으로 판단할 수 있다.
그리고, 본 개시는 상기 제1 센서에 포함된 복수의 픽셀 중에서, 기설정된 밝기 값 이상의 밝기 값을 가진 픽셀들을 상기 반사광을 수신한 픽셀로 판단하는 단계를 더 포함할 수 있다.
그리고, 본 개시는 상기 제1 센서에 포함된 복수의 픽셀 중에서 기설정된 크기 이상의 전기적 신호를 출력하는 픽셀들을 판단하고, 상기 판단된 픽셀들을 상기 반사광을 수신한 픽셀들로 판단하는 단계를 더 포함할 수 있다.
그리고, 본 개시는 상기 제1 센서에 포함된 복수의 픽셀 중에서, 동일한 컬럼의 서로 다른 로우의 픽셀들에 반사광이 수신되는 경우, 상기 전자 장치의 이동 거리를 판단하기 위해 상기 제2 센서를 구동하는 단계를 더 포함할 수 있다.
한편, 본 개시의 일 실시 예에 따른 전자 장치는, 특정 패턴을 갖는 광을 조사하기 위한 광원, 상기 광에 기초한 반사광을 수신하기 위한 센서 및 상기 광원에 의해 조사된 상기 광에 기초하여 반사광이 상기 센서에 수신되면, 상기 특정 패턴 및 상기 센서에 수신된 반사광이 갖는 패턴에 기초하여 상기 반사광이 물체에 의해 반사된 반사광인지 또는 상기 물체에 반사된 후 다른 물체에 의해 재반사된 반사광인지를 판단하는 프로세서를 포함할 수 있다.
그리고, 상기 프로세서는, 상기 반사광이 상기 특정 패턴을 갖는 경우, 상기 반사광을 상기 물체에 의해 반사된 반사광으로 판단하고, 상기 반사광이 상기 특정 패턴과 대칭된 패턴을 갖는 경우, 상기 반사광을 상기 다른 물체에 의해 재반사된 반사광으로 판단할 수 있다.
여기에서, 상기 특정 패턴은, 상하가 비대칭인 패턴, 좌우가 비대칭인 패턴 또는 상하좌우가 비대칭인 패턴 중 적어도 하나이고, 상기 프로세서는, 상기 반사광이 상기 특정 패턴과 대칭된 패턴을 갖는 경우, 상기 반사광을 상기 다른 물체에 의해 재반사된 반사광으로 판단할 수 있다.
이상과 같은 본 개시의 다양한 실시 예에 따르면, 물체의 의해 반사된 반사광 및 물체에 반사된 후 다른 물체(가령, 바닥이나 벽면 등)에 의해 재반사된 반사광을 구분할 수 있는 전자 장치 및 그 제어 방법이 제공될 수 있다.
도 1은 본 개시의 일 실시 예에 따른 전자 장치를 개략적으로 설명하기 위한 도면이다.
도 2a는 본 개시의 일 실시 예에 따른 전자 장치의 블록도이다.
도 2b는 본 개시의 일 실시 예에 따른 전자 장치의 동작을 설명하기 위한 흐름도이다.
도 3a는 본 개시의 일 실시 예에 따른 전자 장치가 광을 조사하는 실시 예를 설명하기 위한 도면이다.
도 3b는 본 개시의 일 실시 예에 따른 센서에 수신된 반사광을 도시한 도면이다.
도 4는 본 개시의 일 실시 예에 따른 픽셀의 로우 별로 매칭된 거리에 대한 정보를 도시한 도면이다.
도 5a는 본 개시의 일 실시 예에 따른 전자 장치가 복수의 반사광을 수신하는 실시 예를 설명하기 위한 도면이다.
도 5b는 본 개시의 일 실시 예에 따른 센서에 수신된 반사광을 도시한 도면이다.
도 6a는 본 개시의 일 실시 예에 따른 전자 장치의 블록도이다.
도 6b는 본 개시의 일 실시 예에 따른 전자 장치의 동작을 설명하기 위한 흐름도이다.
도 7은 본 개시의 일 실시 예에 따른 전자 장치가 제1 및 제2 위치에서 광을 조사하는 실시 예를 설명하기 위한 도면이다.
도 8a는 본 개시의 일 실시 예에 따른 제1 위치에서 수신된 반사광을 도시한 도면이다.
도 8b는 본 개시의 일 실시 예에 따른 제2 위치에서 수신된 반사광을 도시한 도면이다.
도 9a는 본 개시의 일 실시 예에 따른 전자 장치를 설명하기 위한 블록도이다.
도 9b는 본 개시의 일 실시 예에 따른 전자 장치를 동작을 설명하기 위한 흐름도이다.
도 10a는 본 개시의 일 실시 예에 따른 삼각 패턴의 반사광을 설명하기 위한 도면이다.
도 10b는 본 개시의 일 실시 예에 따른 역삼각 패턴의 반사광을 설명하기 위한 도면이다.
도 11은 본 개시의 일 실시 예에 따른 센서에 수신된 복수의 반사광을 도시한 도면이다.
도 12은 본 개시의 일 실시 예에 따른 전자 장치를 설명하기 위한 블록도이다.
도 13은 본 개시의 일 실시 예에 따른 센서가 복수로 구현되는 경우의 실시 예를 설명하기 위한 도면이다.
도 14는 본 개시의 일 실시 예에 따른 적외선 센서를 이용하여 물체에 반사된 후 바닥 등에 의해 재반사된 광을 판단하는 실시 예를 설명하기 위한 도면이다.
도 15는 본 개시의 일 실시 예에 따른 스테레오 카메라를 이용하여 바닥 등에 의해 반사광을 판단하는 실시 예를 설명하기 위한 도면이다.
도 16a는 본 개시의 일 실시 예에 따른 전자 장치를 설명하기 위한 상세 블록도이다.
도 16b는 본 개시의 일 실시 예에 따른 센서 모듈을 포함하는 전자 장치를 설명하기 위한 상세 블록도이다.
먼저, 본 명세서 및 청구범위에서 사용되는 용어는 본 개시의 기능을 고려하여 일반적인 용어들을 선택하였다. 하지만, 이러한 용어들은 당 분야에 종사하는 기술자의 의도나 법률적 또는 기술적 해석 및 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 일부 용어는 출원인이 임의로 선정한 용어도 있다. 이러한 용어에 대해서는 본 명세서에서 정의된 의미로 해석될 수 있으며, 구체적인 용어 정의가 없으면 본 명세서의 전반적인 내용 및 당해 기술 분야의 통상적인 기술 상식을 토대로 해석될 수도 있다.
또한, 본 개시를 설명함에 있어서, 관련된 공지 기능 혹은 구성에 대한 구체적인 설명이 본 개시의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우, 그에 대한 상세한 설명은 축약하거나 생략한다.
나아가, 이하 첨부 도면들 및 첨부 도면들에 기재된 내용들을 참조하여 본 개시의 실시 예를 상세하게 설명하지만, 본 개시가 실시 예들에 의해 제한되거나 한정되는 것은 아니다.
이하, 첨부된 도면을 참조하여 본 개시를 상세히 설명한다.
도 1은 본 개시의 일 실시 예에 따른 전자 장치를 개략적으로 설명하기 위한 도면이다.
본 개시의 일 실시 예에 따른 전자 장치(100)는 사람을 대신해 운전을 수행할 수 있는 자율 주행 차량, 스스로 물품을 분류하고 목적지까지 물품을 운반할 수 있는 자동 경로 차량(Automated Guided Vehicle) 또는 가정 내 공간을 주행하면서 청소 작업을 수행할 수 있는 로봇 청소기 중 하나가 될 수 있다.
다만, 이에 한정되는 것은 아니고, 전자 장치(100)는 건물 내 공간을 주행하면서 공기 정화 작업을 수행할 수 있는 로봇, 가정 내 공간을 주행하며 의류 정리, 설거지 등의 작업을 수행할 수 있는 가사 지원형 로봇, 빌딩 내 공간을 주행하며 경비를 수행할 수 있는 경비형 로봇 또는 매장의 안내나 제품 설명, 제품 시연 등을 수행할 수 있는 로봇 등과 같은 다양한 전자 장치로 구현될 수 있다.
도 1에 도시된 바와 같이, 전자 장치(100)는 전자 장치(100) 주변에서 물체(210)가 감지되는 경우, 물체(210)와의 충돌을 피하기 위해 주행 방향을 변경할 수 있다. 이를 위해, 전자 장치(100)는 조사된 광(10)에 기초하여, 전자 장치(100) 주변의 물체를 감지하고, 감지된 물체와의 거리를 판단할 수 있다. 이하 도 2a 내지 도 4를 참조하여 설명한다.
도 2a는 본 개시의 일 실시 예에 따른 전자 장치의 블록도이고, 도 2b는 본 개시의 일 실시 예에 따른 전자 장치의 동작을 설명하기 위한 흐름도이다.
도 2a를 참조하면, 본 개시의 일 실시 예에 따른 전자 장치(100)는 광원(111), 센서(112), 메모리(120), 주행부(130), 조작부(140) 및 프로세서(150)를 포함할 수 있다. 다만, 이는 일 실시 예에 따른 구성으로서, 전자 장치(100)는 상술한 구성 중 일부 구성을 제외하고 구현되거나, 상술한 구성 외 다른 구성을 더 포함하여 구현될 수도 있다.
전자 장치(100)는 광원(111)을 통해 광을 조사(S210)할 수 있다. 구체적으로, 전자 장치(100)의 프로세서(150)는 광을 조사하도록 광원(111)을 제어하고, 광원(111)은 프로세서(150)의 제어에 따라 광을 조사할 수 있다. 일 예로, 프로세서(150)는 전자 장치(100)의 전원을 온하기 위한 사용자 명령이나 전자 장치(100)를 이동시키기 위한 사용자 명령이 수신되면, 광을 조사하도록 광원(111)을 제어할 수 있다.
여기에서, 광이 조사되는 형태는 예를 들어 부채꼴 형태가 될 수 있으나 반드시 이에 한정되는 것은 아니고, 광의 조사 형태는 삼각형 형태 등 다양한 형태가 될 수 있다.
그리고, 전자 장치(100)는 광원(111)을 통해 조사한 광의 반사광을 센서(112)를 통해 수신할 수 있다. 일 예로, 광원(111)에 의해 조사된 광이 물체에 의해 반사되는 경우, 전자 장치(100)의 센서(112)에는 반사광이 수신될 수 있다.
여기에서, 센서(112)는 복수의 픽셀을 포함하는 이미지 센서로 구현될 수 있다. 일 예로, 센서(112)는 복수의 픽셀이 집적된 사각형 형상의 평판으로 형성될 수 있으나, 반드시 이에 한정되는 것은 아니다.
예를 들어, 도 3a에 도시된 바와 같이, 제1 물체(210) 및 제2 물체(220)가 위치하는 방향으로 광이 조사된 경우, 센서(112)에는 도 3b에 도시된 바와 같이, 복수의 반사광이 수신될 수 있다. 도 3b에서 제1 반사광(211)은 제1 물체(210)에 의해 반사된 반사광이고, 제2 반사광(221)은 제2 물체(220)에 의해 반사된 반사광이며, 그 외 반사광은 벽면에 의해 반사된 반사광이 될 수 있다.
전자 장치(100)는 광원(111)에 의해 조사된 광에 기초한 반사광이 센서(112)에 수신되면, 센서(112)에 포함된 복수의 픽셀 중에서 반사광을 수신한 픽셀을 판단(S220)할 수 있다.
구체적으로, 프로세서(150)는 센서(112)에 포함된 복수의 픽셀 중에서 기설정된 밝기 값 이상의 밝기 값을 가진 픽셀을 반사광을 수신한 픽셀로 판단할 수 있다. 보다 구체적으로, 센서(112)에 포함된 복수의 픽셀은 광의 수신 정도에 따라 상이한 크기의 전기적 신호를 출력할 수 있다. 이를 위해, 센서(112)에 포함된 복수의 픽셀은 빛 에너지를 전기적 신호를 변환하기 위한 포토 다이오드를 포함할 수 있다. 그리고, 프로세서(150)는 센서(112)에 의해 출력된 전기적 신호를 디지털 신호로 변환하도록 ADC(Analog to Digital Converter)(미도시)를 제어하고, ADC로부터 수신한 디지털 신호에 기초하여, 센서(112)에 포함된 복수의 픽셀 중에서 기설정된 밝기 값 이상의 밝기 값을 가진 픽셀을 판단할 수 있다. 즉, 프로세서(150)는 ADC로부터 수신한 디지털 신호의 크기에 기초하여, 기설정된 크기 이상의 전기적 신호를 출력한 픽셀을 반사광을 수신한 픽셀로 판단할 수 있다. 한편, 여기서는 프로세서(150)가 별개의 ADC로부터 디지털 신호를 수신하는 것으로 설명하였으나, 디지털 신호는 센서(112)로부터 수신될 수도 있다. 이 경우, 센서(112)는 센서(112)에 구비된 ADC를 통해 전기적 신호를 디지털 신호로 변환하여 프로세서(150)로 출력할 수 있다.
한편, 이는 일 실시 예로서, 프로세서(150)는 다양한 방법을 통해 센서(112)에 포함된 복수의 픽셀 중에서 반사광을 수신한 픽셀을 판단할 수 있다 일 예로, 프로세서(150)는 센서(112)에 포함된 복수의 픽셀로부터 수신한 전기적 신호에 기초하여 이미지를 생성하고, 이미지 분석을 통해, 센서(112)에 포함된 복수의 픽셀 중 반사광을 수신한 픽셀을 판단할 수 있다. 구체적으로, 프로세서(150)는 복수의 픽셀에 의해 출력된 전기적 신호에 기초하여 이미지를 생성하고, 생성한 이미지에 오브젝트 검출 알고리즘(일 예로, 엣지 검출 알고리즘 등)을 적용하여 이미지에서 반사광을 식별할 수 있다. 그리고, 이미지를 구성하는 복수의 픽셀 중에서, 식별된 반사광이 위치하는 픽셀을 상술한 반사광을 수신한 픽셀로 판단할 수 있다.
전자 장치(100)는 반사광을 수신한 픽셀들의 로우에 기초하여 전자 장치(100) 및 물체간의 거리를 판단(S230)할 수 있다.
이를 위해, 전자 장치(100)의 메모리(120)는 복수의 픽셀의 로우 별로 서로 다른 거리에 대한 정보를 매칭하여 저장하고 있을 수 있다. 일 예로, 전자 장치(100)의 메모리(120)는 도 4와 같이, 픽셀의 로우 별로 서로 다른 거리가 매칭된, 거리에 대한 정보를 저장하고 있을 수 있다. 여기에서, 각 픽셀에 매칭된 거리는 광원(111) 및 광을 반사한 물체간의 거리가 될 수 있다. 한편, 도 4에 도시된 예는 일 실시 예로서, 픽셀의 로우 별로 매칭된 거리는 도 4와 상이할 수 있음은 물론이다.
이에 따라, 도 3b에 도시된 바와 같이, 센서(112)에 포함된 복수의 픽셀 중 로우 20의 픽셀에 제1 반사광(211)이 수신된 경우, 전자 장치(100)는 로우 20에 매칭된 거리에 대한 정보에 기초하여, 광원(111)으로부터 제1 물체(210)까지의 거리를 판단할 수 있다. 도 4와 같이, 로우 20에 매칭된 거리가 5.5m라면, 전자 장치(100)는 광원(111)으로부터 제1 물체(210)까지의 거리를 5.5m로 판단할 수 있다.
한편, 본 개시의 일 실시 예에 따른 전자 장치(100)의 메모리(120)는 픽셀의 로우 별로, 센서(112) 및 광을 반사한 물체간의 거리가 매칭된, 거리에 대한 정보를 저장하고 있을 수도 있다. 이 경우, 프로세서(150)는 반사광을 수신한 픽셀의 로우 및 픽셀의 로우 별로 매칭된, 센서(112) 및 광을 반사한 물체간의 거리에 대한 정보에 기초하여, 센서(112) 및 광을 반사한 물체간의 거리를 판단할 수 있다. 그리고, 프로세서(150)는 센서(112) 및 광을 반사한 물체간의 거리, 광원(111)의 조사 각도 및 광원(111)으로부터 센서(112)까지의 거리에 기초하여, 광원(111)으로부터 물체까지의 거리를 판단할 수 있다. 여기에서, 광원(111)의 조사 각도는 광원(111)으로부터 센서(112)를 연결한 가상의 선 및 광원(111)의 정면을 향하는 가상의 선이 이루는 각도가 될 수 있다. 구체적으로, 프로세서(150)는 센서(112) 및 광을 반사한 물체간의 거리, 광원(111)의 조사 각도 및 광원(111)으로부터 센서(112)까지의 거리에 삼각 측량법을 적용하여 광원(111)으로부터 물체까지의 거리를 판단할 수 있다. 여기에서, 삼각 측량법은 공지의 기술인 바 구체적인 설명은 생략하기로 한다. 한편, 광원(111)의 조사 각도 및 광원(111)으로부터 센서(112)까지의 거리는 전자 장치(100)의 메모리(120)에 기저장되어 있을 수 있다.
전자 장치(100)는 전자 장치(100) 및 물체간의 거리에 기초하여, 태스크를 수행(S240)할 수 있다. 구체적으로, 전자 장치(100)의 프로세서(150)는 상술한 방법을 통해 전자 장치(100)로부터 물체까지의 거리를 판단하고, 물체와의 충돌을 방지하도록 전자 장치(100)의 주행부(130) 또는 조작부(140)를 제어할 수 있다.
일 예로, 프로세서(150)는 물체와 충돌하지 않는 방향으로 전자 장치(100)가 이동하도록 주행부(130)를 제어할 수 있다. 여기에서, 주행부(130)는 모터(131) 및 모터(131)에 연결된 구동부(132)를 포함하는 구성으로써, 구동부(132)는 바퀴 또는 로봇의 다리 등으로 구현될 수 있고, 모터(131)는 프로세서(150)의 제어에 따라 구동부(132)를 제어함으로써, 전자 장치(100)를 이동시킬 수 있다. 일 예로, 구동부(132)가 좌측 바퀴 및 우측 바퀴로 구현되는 경우, 프로세서(150)는 전방의 물체와 충돌하지 않는 방향으로 전자 장치(100)를 이동시키기 위해, 좌측 바퀴를 회전시키는 모터에는 제1 회전력을 발생시키기 위한 제어 신호를 전송하고, 우측 바퀴를 회전시키는 모터에는 제1 회전력과는 상이한 제2 회전력을 발생시키기 위한 제어 신호를 전송함으로써, 전자 장치(100)의 주행 방향을 변경할 수 있다.
또한, 프로세서(150)는 물체와 충돌하지 않는 움직임을 수행하도록 전자 장치(100)의 조작부(140)를 제어할 수 있다. 여기에서, 조작부(140)는 제1 모터(141-1), 제1 모터(141-1)에 연결되는 로봇 팔(142), 제2 모터(141-2) 및 제2 모터(141-2)에 연결되는 로봇 핸드(143)를 포함할 수 있다. 그리고, 로봇 팔(142) 및 로봇 핸드(143)는 커넥터를 통해 연결되고, 로봇 팔(142)은 로봇 팔(142)에 연결된 제1 모터(141-1)의 구동에 따라 3차원 이동 또는 회전 등을 수행할 수 있고, 로봇 핸드(143)는 로봇 핸드(143)에 연결된 제2 모터(141-2)의 구동에 따라 3차원 이동, 회전 또는 제품 그립(grip) 등을 수행할 수 있다. 일 예로, 프로세서(150)는 전방의 물체와 충돌하지 않는 방향으로 로봇 팔(142)을 회전시키기 위한 제어 신호를 로봇 팔(142)에 연결된 제1 모터(141-1)로 전송함으로써, 로봇 팔(142)이 물체와 충돌되는 경우를 방지할 수 있고, 전방의 물체와 충돌하지 않는 방향으로 로봇 핸드(143)를 3차원 이동시키기 위한 제어 신호를 로봇 핸드(143)에 연결된 제2 모터(141-2)로 전송함으로써, 로봇 핸드(143)가 물체와 충돌되는 경우를 방지할 수 있다.
한편, 센서(112)에 수신된 반사광은 물체로부터 직접적으로 반사된 광이 아니라, 물체에 반사된 후 다른 물체(가령, 바닥이나 벽면 등)에 의해 재반사된 광 이 될 수도 있다.
예를 들어, 물체 주변의 바닥이 반사 가능한 재질인 경우, 도 5a에 도시된 바와 같이, 센서(112)는 물체(200)의 표면(1)에 의해 반사된 반사광 및 물체(200)의 표면(1)에 반사된 후 바닥(2)에 의해 재반사 된 반사광을 수신할 수 있다.
이 경우, 센서(112)는 도 5b와 같이, 물체(200)의 표면(1)에 의해 반사된 제1 반사광(201) 및 물체(200)의 표면(1)에 반사된 후 바닥(2)에 의해 재반사된 제2 반사광(202)을 수신할 수 있다.
여기에서, 종래의 전자 장치는 제1 반사광(201)에 기초하여 판단한 위치에 제1 물체(200)가 존재하고, 제2 반사광(202)에 기초하여 판단한 위치에 제2 물체(200')가 존재하는 것으로 판단하였다.
그러나, 상술한 바와 같이, 제2 반사광(202)은 물체(200)의 표면(1)에 반사된 후 바닥(2)에 의해 재반사된 반사광으로써, 제2 반사광(202)에 기초하여 판단한 위치에는 실제로 물체가 존재하지 않는다.
이하, 이와 같은 물체의 오인식을 방지하기 위한 본 개시의 동작에 대해 상세히 설명한다.
도 6a는 본 개시의 일 실시 예에 따른 전자 장치의 블록도이고, 도 6b는 본 개시의 일 실시 예에 따른 전자 장치의 동작을 설명하기 위한 흐름도이다.
도 6a를 참조하면, 본 개시의 일 실시 예에 따른 전자 장치(600)는 주행부(610), 광원(621), 제1 센서(622), 제2 센서(630) 및 프로세서(640)를 포함할 수 있다. 다만, 이는 일 실시 예에 따른 구성으로서, 전자 장치(600)는 상술한 구성 중 일부 구성을 제외하고 구현되거나, 상술한 구성 외 다른 구성을 더 포함하여 구현될 수도 있다. 여기에서, 전자 장치(600)는 상술한 전자 장치(100)와 같이 로봇 등과 같은 다양한 전자 장치로 구현될 수 있다. 그리고, 광원(621)은 상술한 광원(111)의 기능을 수행할 수 있으며, 제1 센서(622)는 상술한 센서(112)의 기능을 수행할 수 있다.
주행부(610)는 전자 장치(600)를 이동시킬 수 있다. 여기에서, 주행부(610)는 구동부(미도시) 및 구동부(미도시)에 연결된 모터(미도시)를 포함하는 구성으로써, 주행부(610)의 구동부(미도시)는 바퀴 또는 로봇의 다리 등으로 구현될 수 있고, 주행부(610)의 모터(미도시)는 프로세서(640)의 제어에 따라 구동부(미도시)를 제어함으로써, 전자 장치(600)를 이동시킬 수 있다.
광원(621)은 광을 조사할 수 있다. 이를 위해, 광원(621)은 레이저 다이오드, 라인 레이저 등 광을 조사할 수 있는 다양한 광원으로 구현될 수 있다.
제1 센서(622)는 반사광을 수신할 수 있다. 구체적으로, 제1 센서(622)는 광원(621)에 의해 조사된 광에 기초하여 반사광을 수신할 수 있다. 여기에서, 반사광은 물체에 의해 반사된 반사광이 될 수 있음은 물론, 물체에 의해 반사된 후 다른 물체(가령, 바닥이나 벽면)에 의해 재반사된 반사광이 될 수도 있다.
제2 센서(630)는 전자 장치(600)의 이동 거리를 감지하기 위한 구성이다. 여기에서, 제2 센서(630)는 가속도 센서, 초음파 센서, 적외선 센서, 라이다 센서 등과 같은 다양한 센서가 될 수 있다. 일 예로, 제2 센서(630)가 가속도 센서로 구현되는 경우, 프로세서(640)는 가속도 센서에 의해 감지된 전자 장치(600)의 가속도에 적분 연산을 수행하여 전자 장치(600)의 속도를 산출하고, 전자 장치(600)가 이동한 시간 및 전자 장치(600)의 속도에 기초하여, 전자 장치(600)의 이동 거리를 판단할 수 있다. 또는, 제2 센서(630)가 초음파 센서로 구현되는 경우, 초음파 센서는 초음파를 조사한 후, 조사된 초음파가 물체에 의해 반사되어 수신되면, 초음파가 조사된 후 수신되기까지의 시간에 기초하여 전자 장치(600) 및 물체간의 거리를 산출할 수 있다. 그리고, 프로세서(640)는 제1 위치에서 초음파 센서에 의해 획득한 전자 장치(600) 및 물체간의 거리와 제2 위치에서 초음파 센서에 의해 획득한 전자 장치(600) 및 물체간의 거리의 차이를 전자 장치(600)의 이동 거리로 판단할 수 있다. 또는, 제2 센서(630)가 라이다 센서로 구현되는 경우, 라이다 센서는 광을 조사한 후, 조사된 광이 물체에 의해 반사되어 수신되면, 광이 조사된 후 수신되기까지의 시간에 기초하여 전자 장치(600) 및 물체간의 거리를 산출할 수 있다. 그리고, 프로세서(640)는 제1 위치에서 라이다 센서에 의해 획득한 전자 장치(600) 및 물체간의 거리와 제2 위치에서 라이다 센서에 의해 획득한 전자 장치(600) 및 물체간의 거리의 차이를 전자 장치(600)의 이동 거리로 판단할 수 있다. 또는, 제2 센서(630)가 적외선 센서로 구현되는 경우, 적외선 센서는 광을 조사한 후, 조사된 광이 물체에 의해 반사되어 수신되면, 수광되는 광의 량에 기초하여 전자 장치(600) 및 물체간의 거리를 산출할 수 있다. 그리고, 프로세서(640)는 제1 위치에서 적외선 센서에 의해 획득한 전자 장치(600) 및 물체간의 거리와 제2 위치에서 적외선 센서에 의해 획득한 전자 장치(600) 및 물체간의 거리의 차이를 전자 장치(600)의 이동 거리로 판단할 수 있다. 한편, 이는 일 실시 예로서, 전자 장치(600)는 다양한 방법을 통해 전자 장치(600)의 이동 거리를 판단할 수 있다. 일 예로, 전자 장치(600)는 주행부(610)의 구동부에 연결된 모터의 회전수를 엔코더를 통해 감지하고, 모터의 회전수에 기초하여 전자 장치(600)의 이동 거리를 판단할 수도 있다.
한편, 본 개시의 일 실시 예에 따른 전자 장치(600)는 메모리(미도시)를 더 포함할 수 있다. 메모리(미도시)는 전자 장치(600)의 구성요소의 전반적인 동작을 제어하기 위한 운영체제(Operating System: OS) 및 전자 장치(600)의 구성요소와 관련된 명령 또는 데이터를 저장할 수 있다.
특히, 메모리(미도시)는 제1 센서(622)에 포함된 복수의 픽셀의 로우 별로 서로 다른 거리가 매칭된, 거리에 대한 정보를 저장할 수 있다. 일 예로, 메모리(미도시)는 도 4와 같이, 픽셀의 로우 별로 서로 다른 거리가 매칭된, 거리에 대한 정보를 저장하고 있을 수 있다. 여기에서, 각 픽셀에 매칭된 거리는 광원(621) 및 광을 반사한 물체간의 거리가 될 수 있다. 한편, 도 4에 도시된 예는 일 실시 예로서, 픽셀의 로우 별로 매칭된 거리는 도 4와 상이할 수 있음은 물론이다.
또한, 메모리(미도시)는 픽셀의 로우 별로, 제1 센서(622) 및 광을 반사한 물체간의 거리가 매칭된, 거리에 대한 정보를 저장하고 있을수도 있다. 이 경우, 프로세서(640)는 반사광을 수신한 픽셀의 로우 및 픽셀의 로우 별로 매칭된, 제1 센서(622) 및 광을 반사한 물체간의 거리에 대한 정보에 기초하여, 제1 센서(622) 및 광을 반사한 물체간의 거리를 판단하고, 제1 센서(622) 및 광을 반사한 물체간의 거리, 광원(621)의 조사 각도 및 광원(621)으로부터 제1 센서(622)까지의 거리에 삼각 측량법을 적용하여 광원(621)으로부터 물체까지의 거리를 판단할 수 있다. 한편, 광원(621)의 조사 각도 및 광원(621)으로부터 제1 센서(622)까지의 거리는 메모리(미도시)에 기저장되어 있을 수 있다.
프로세서(640)는 전자 장치(600)의 전반적인 동작을 제어한다. 이를 위해, 프로세서(640)는 중앙처리장치(central processing unit(CPU)) 또는 어플리케이션 프로세서(application processor(AP))를 포함할 수 있다. 그리고, 프로세서(640)는 적어도 하나의 범용 프로세서(general processor), 디지털 신호 프로세서(digital signal processor), ASIC(Application specific integrated circuit), SoC(system on chip), MICOM(Microcomputer), 드라이버 IC 등으로 구현될 수 있다.
프로세서(640)는 전자 장치(600)의 이동에 따라 제1 센서(622) 상에서 반사광이 수신되는 위치가 변경되는 정도에 기초하여, 반사광이 물체에 의해 반사된 반사광인지 또는 물체에 의해 반사된 후 바닥이나 벽면 등의 다른 물체에 의해 재반사된 반사광인지를 판단할 수 있다. 이하, 도 7, 도 8a 및 도 8b를 참조하여 설명한다.
도 7을 참조하면, 전자 장치(600)는 제1 위치(3)에서 광원(621)을 통해 광을 조사할 수 있다. 구체적으로, 전자 장치(600)의 프로세서(640)는 광을 조사하도록 광원(621)을 제어하고, 광원(621)은 프로세서(640)의 제어에 따라 광을 조사할 수 있다. 이 경우, 제1 센서(622)는 도 8a와 같이 제1 반사광(810) 및 제2 반사광(820)을 수신할 수 있다. 여기에서, 제1 반사광(810)은 물체(200)에 의해 반사된 반사광이 될 수 있고, 제2 반사광(820)은 물체(200)에 반사된 후 바닥(2)에 의해 재반사된 반사광이 될 수 있다.
그리고, 전자 장치(600)는 반사광을 수신한 픽셀들의 로우(row)에 기초하여 제1 거리를 판단(S610)할 수 있다. 이를 위해, 전자 장치(600)의 프로세서(640)는 반사광이 제1 센서(622)에 수신되면, 제1 센서(622)에 포함된 복수의 픽셀 중 반사광을 수신한 픽셀을 판단할 수 있다. 구체적으로, 프로세서(640)는 제1 센서(622)에 포함된 복수의 픽셀 중에서 기설정된 밝기 값 이상의 밝기 값을 가진 픽셀을 반사광을 수신한 픽셀로 판단할 수 있다. 보다 구체적으로, 제1 센서(622)에 포함된 복수의 픽셀은 광의 수신 정도에 따라 상이한 크기의 전기적 신호를 출력할 수 있다. 이를 위해, 제1 센서(622)에 포함된 복수의 픽셀은 빛 에너지를 전기적 신호를 변환하기 위한 포토 다이오드를 포함할 수 있다. 그리고, 프로세서(640)는 제1 센서(622)에 의해 출력된 전기적 신호를 디지털 신호로 변환하도록 ADC(Analog to Digital Converter)(미도시)를 제어하고, ADC로부터 수신한 디지털 신호에 기초하여, 제1 센서(622)에 포함된 복수의 픽셀 중에서 기설정된 밝기 값 이상의 밝기 값을 가진 픽셀을 판단할 수 있다. 즉, 프로세서(640)는 ADC로부터 수신한 디지털 신호의 크기에 기초하여, 기설정된 크기 이상의 전기적 신호를 출력한 픽셀을 반사광을 수신한 픽셀로 판단할 수 있다. 한편, 여기서는 프로세서(640)가 별개의 ADC로부터 디지털 신호를 수신하는 것으로 설명하였으나, 디지털 신호는 제1 센서(622)로부터 수신될 수도 있다. 이 경우, 제1 센서(622)는 제1 센서(622)에 구비된 ADC를 통해 전기적 신호를 디지털 신호로 변환하여 프로세서(640)로 출력할 수 있다.
일 예로, 도 8a와 같이 제1 센서(622)에 반사광(810, 820)이 수신된 경우, 프로세서(640)는 제1 센서(622)에 포함된 복수의 픽셀 중에서, 기설정된 밝기 값 이상의 밝기 값을 가진 로우 5의 일부 픽셀을 제1 반사광(810)을 수신한 픽셀로 판단하고, 로우 10의 일부 픽셀을 제2 반사광(820)을 수신한 픽셀로 판단할 수 있다.
한편, 이는 일 실시 예로서, 프로세서(640)는 다양한 방법을 통해 제1 센서(622)에 포함된 복수의 픽셀 중에서 반사광을 수신한 픽셀을 판단할 수 있다 일 예로, 프로세서(640)는 제1 센서(622)에 의해 출력된 전기적 신호에 기초하여 이미지를 생성하고, 이미지 분석을 통해, 제1 센서(622)에 포함된 복수의 픽셀 중 반사광을 수신한 픽셀을 판단할 수 있다. 구체적으로, 프로세서(640)는 복수의 픽셀에 의해 출력된 전기적 신호에 기초하여 이미지를 생성하고, 생성한 이미지에 오브젝트 검출 알고리즘(일 예로, 엣지 검출 알고리즘 등)을 적용하여 이미지에서 오브젝트를 검출할 수 있다. 그리고, 프로세서(640)는 이미지를 구성하는 복수의 픽셀 중에서 검출된 오브젝트를 포함하는 픽셀을, 상술한 반사광을 수신한 픽셀로 판단할 수 있다.
그리고, 프로세서(640)는 복수의 픽셀의 로우 별로 서로 다른 거리가 매칭된, 거리에 대한 정보에 기초하여, 반사광을 수신한 픽셀의 로우에 매칭된 거리를 판단할 수 있다.
이를 위해, 전자 장치(600)는 전술한 바와 같이, 복수의 픽셀의 로우 별로 서로 다른 거리에 대한 정보를 매칭하여 저장하고 있을 수 있다. 일 예로, 전자 장치(600)는 도 4와 같이, 픽셀의 로우 별로 서로 다른 거리가 매칭된, 거리에 대한 정보를 저장하고 있을 수 있다.
이에 따라, 도 8a에 도시된 바와 같이, 제1 센서(622)에 포함된 복수의 픽셀 중 로우 5의 픽셀에 제1 반사광(810)이 수신된 경우, 프로세서(640)는 로우 5에 매칭된 거리에 대한 정보에 기초하여, 제1 반사광(810)을 수신한 로우에 매칭된 거리를 판단할 수 있다. 도 4와 같이, 로우 5에 매칭된 거리가 13m라면, 프로세서(640)는 제1 위치(3)에서, 제1 반사광(810)을 수신한 로우에 매칭된 거리를 13m로 판단할 수 있다.
또한, 프로세서(640)는 로우 10에 매칭된 거리에 대한 정보에 기초하여, 제2 반사광(820)을 수신한 로우에 매칭된 거리를 판단할 수 있다. 도 4와 같이, 로우 10에 매칭된 거리가 10.5m라면, 프로세서(640)는 제1 위치(3)에서, 제2 반사광(820)을 수신한 로우에 매칭된 거리를 10.5m로 판단할 수 있다.
한편, 본 개시의 일 실시 예에 따른 전자 장치(600)는 픽셀의 로우 별로, 제1 센서(622) 및 광을 반사한 물체간의 거리가 매칭된, 거리에 대한 정보를 저장하고 있을수도 있다. 이 경우, 프로세서(640)는 반사광을 수신한 픽셀의 로우 및 픽셀의 로우 별로 매칭된, 제1 센서(622) 및 광을 반사한 물체간의 거리에 대한 정보에 기초하여, 제1 센서(622) 및 광을 반사한 물체간의 거리를 판단할 수 있다. 그리고, 프로세서(640)는 제1 센서(622) 및 광을 반사한 물체간의 거리, 광원(621)의 조사 각도 및 광원(621)으로부터 제1 센서(622)까지의 거리에 기초하여, 광원(621)으로부터 물체까지의 거리를 판단할 수 있다. 여기에서, 광원(621)의 조사 각도는 광원(621)으로부터 제1 센서(622)를 연결한 가상의 선 및 광원(621)의 정면을 향하는 가상의 선이 이루는 각도가 될 수 있다. 구체적으로, 프로세서(640)는 제1 센서(622) 및 광을 반사한 물체간의 거리, 광원(621)의 조사 각도 및 광원(621)으로부터 제1 센서(622)까지의 거리에 삼각 측량법을 적용하여 광원(611)으로부터 물체까지의 거리를 판단할 수 있다. 여기에서, 삼각 측량법은 공지의 기술인 바 구체적인 설명은 생략하기로 한다. 한편, 광원(621)의 조사 각도 및 광원(621)으로부터 제1 센서(622)까지의 거리는 전자 장치(600)의 메모리(미도시)에 기저장되어 있을 수 있다.
이후, 전자 장치(600)는 주행부(610)의 구동에 따라, 제2 위치(4)로 이동할 수 있다. 일 예로, 전자 장치(600)를 이동시키기 위한 사용자 명령이 수신되거나, 전자 장치(600)가 주행에 기반하여 태스크를 수행 중인 경우, 전자 장치(600)는 주행부(610)의 구동에 따라, 제2 위치(4)로 이동할 수 있다.
이 경우, 전자 장치(600)는 제2 위치(4)에서 광원(621)에 의해 조사된 광에 기초한 반사광이, 제1 센서(622)에 포함된 복수의 픽셀 중에서 제2 픽셀들에 수신되면, 반사광을 수신한 제2 픽셀들의 로우에 기초하여 제2 거리를 판단(S630)할 수 있다. 일 예로, 광원(621)이 프로세서(640)의 제어에 따라 제2 위치(4)에서 광을 조사한 경우, 제1 센서(622)는 도 8b와 같이 제1 반사광(810) 및 제2 반사광(820)을 수신할 수 있다.
그리고, 프로세서(640)는 반사광이 제1 센서(622)에 수신되면, 전술한 바와 같이, 제1 센서(622)에 포함된 복수의 픽셀 중 기설정된 밝기 값 이상의 밝기 값을 가진 픽셀을 반사광을 수신한 픽셀로 판단할 수 있다. 이에 대한 설명은 상술한 바 있으므로, 이하에서는 생략하기로 한다.
일 예로, 도 8b와 같이 반사광이 수신된 경우, 프로세서(640)는 기설정된 밝기 값 이상을 가진 로우 15의 픽셀을 제1 반사광(810)을 수신한 픽셀로 판단하고, 로우 22의 픽셀을 제2 반사광(820)을 수신한 픽셀로 판단할 수 있다.
그리고, 프로세서(640)는 전술한 바와 같이, 복수의 픽셀의 로우 별로 서로 다른 거리가 매칭된, 거리에 대한 정보에 기초하여, 반사광을 수신한 픽셀의 로우에 매칭된 거리를 판단할 수 있다.
예를 들어, 도 8b에 도시된 바와 같이, 제1 센서(622)에 포함된 복수의 픽셀 중 로우 15의 픽셀에 제1 반사광(810)이 수신된 경우, 프로세서(640)는 로우 15에 매칭된 거리에 대한 정보에 기초하여, 제1 반사광(810)을 수신한 로우에 매칭된 거리를 판단할 수 있다. 도 4와 같이, 로우 15에 매칭된 거리가 8m라면, 프로세서(640)는 제2 위치(4)에서, 제1 반사광(810)을 수신한 로우에 매칭된 거리를 8m로 판단할 수 있다.
이와 유사하게, 프로세서(640)는 로우 22에 매칭된 거리에 대한 정보에 기초하여, 제2 반사광(820)을 수신한 로우에 매칭된 거리를 판단할 수 있다. 도 4와 같이, 로우 22에 매칭된 거리가 4.5m라면, 프로세서(640)는 제2 위치(4)에서, 제2 반사광(820)을 수신한 로우에 매칭된 거리를 4.5m로 판단할 수 있다.
그리고, 전자 장치(600)는 제1 위치(3)에서 수신된 반사광의 위치에 기초하여 판단한 거리 및 제2 위치(4)에서 수신된 반사광의 위치에 기초하여 판단된 거리의 차이를 연산(S630)할 수 있다.
상술한 실시 예의 경우, 프로세서(640)는 제1 반사광(810)의 경우, 제1 위치(3)에서 판단한 13.5m 및 제2 위치(4)에서 판단한 8m의 차이를 연산하여, 5.5m에 대한 거리 정보를 획득할 수 있고, 제2 반사광(820)의 경우, 제1 위치(3)에서 판단한 10.5m 및 제2 위치(4)에서 판단한 4.5m의 차이를 연산하여 6m에 대한 거리 정보를 획득할 수 있다.
여기에서, 제1 반사광(810)에 기초하여 획득한 거리 정보 및 제2 반사광(820) 에 기초하여 획득한 거리 정보는 상이함을 확인할 수 있다. 이는, 제1 반사광(810)은 물체(200)의 표면(1)에 의해 반사된 반사광이고, 제2 반사광(820)은 물체(200)의 표면(1)에 반사된 후 바닥(2)에 의해 재반사된 반사광임에 기인한다.
구체적으로, 전자 장치(600)가 제1 위치(3)에서 제2 위치(4)로 이동하는 경우, 제1 위치(3)에서의 제1 센서(622) 및 광을 반사한 표면을 연결한 가상의 선 및, 제2 위치(4)에서의 제1 센서(622) 및 광을 반사한 표면을 연결한 가상의 선이 이루는 각도에 따라, 제1 위치(3)에서 반사광을 수신한 픽셀의 로우 및 제2 위치(4)에서 반사광을 수신한 픽셀의 로우 간의 차이는 상이할 수 있다. 일 예로, 상술한 각도가 커질수록, 제1 위치(3)에서 반사광을 수신한 픽셀의 로우 및 제2 위치(4)에서 반사광을 수신한 픽셀의 로우 간의 차이는 커지고, 상술한 각도가 작을수록, 제1 위치(3)에서 반사광을 수신한 픽셀의 로우 및 제2 위치(4)에서 반사광을 수신한 픽셀의 로우 간의 차이는 작을 수 있다.
한편, 바닥(2)의 경우, 물체(200)의 표면(1)보다 상대적으로 전자 장치(600)에 가까운 위치이므로, 제1 위치(3)에서의 제1 센서(622) 및 광을 반사한 표면(1)을 연결한 가상의 선 및, 제2 위치(4)에서의 제1 센서(622) 및 광을 반사한 표면(1)을 연결한 가상의 선이 이루는 각도보다, 제1 위치(3)에서의 제1 센서(622) 및 광을 반사한 표면(2)을 연결한 가상의 선 및, 제2 위치(4)에서의 제1 센서(622) 및 광을 반사한 표면(2)을 연결한 가상의 선이 이루는 각도가 더 클 수 있다. 이에 따라, 제1 위치(3)에서 반사광을 수신한 픽셀의 로우 및 제2 위치(4)에서 반사광을 수신한 픽셀의 로우 간의 차이는, 바닥(2)에 의해 재반사된 제2 반사광(820)의 경우가, 물체(200)의 표면(1)에 의해 반사된 제1 반사광(810)보다 클 수 있고, 따라서, 제1 반사광(810)에 기초하여 획득한 거리 정보 및 제2 반사광(820)에 기초하여 획득한 거리 정보는 상이할 수 있다.
한편, 프로세서(640)는 전자 장치(600)가 제1 위치(3)에서 제2 위치(4)로 이동하는 동안 제2 센서(630)에 의해 감지된 정보에 기초하여, 전자 장치(600)의 이동 거리를 판단할 수 있다. 여기에서, 제2 센서(630)는 전술한 바와 같이, 가속도 센서, 초음파 센서, 적외선 센서, 라이다 센서 등과 같은 다양한 센서가 될 수 있다. 제2 센서(630)를 통해, 전자 장치(600)의 이동 거리를 판단하는 방법은 상술한 바 있으므로 여기서는 생략한다.
그리고, 전자 장치(600)는 제2 센서(630)를 통해 판단된 전자 장치(600)의 이동 거리 및 상술한 연산에 의하여 획득한 거리에 대한 정보에 기초하여, 반사광이 물체(200)에 의해 반사된 광인지 또는 물체(200)에 반사된 후 물체 주변의 바닥(2)에 의해 재반사된 반사광인지를 판단(S640)할 수 있다.
구체적으로, 프로세서(640)는 제2 센서(630)를 통해 판단된 전자 장치(600)의 이동 거리 및 상술한 연산에 의하여 획득한 거리의 차이가 기설정된 임계 값 이하이면(일 예로, 제2 센서(630)를 통해 판단된 전자 장치(600)의 이동 거리 및 연산에 의하여 획득한 거리가 동일한 경우이면), 반사광은 물체에 의해 반사된 광인 것으로 판단하고, 제2 센서(630)를 통해 판단된 전자 장치(600)의 이동 거리 및 연산에 의하여 획득한 거리의 차이가 기설정된 임계 값을 초과하면(일 예로, 제2 센서(630)를 통해 판단된 전자 장치(600)의 이동 거리 및 연산에 의하여 획득한 거리가 동일하지 않은 경우이면), 반사광은 물체에 의해 반사된 후 물체 주변의 바닥 등에 의해 재반사된 반사광인 것으로 판단할 수 있다.
여기에서, 기설정된 임계 값은 0.1m가 될 수 있으나, 이는 일 실시 예일 뿐, 임계 값은 다양하게 설정 또는 변경될 수 있다.
예를 들어, 상술한 제2 반사광(820)과 같이, 연산에 의하여 획득한 거리는 4.5m이고, 제2 센서(630)를 통해 판단된 전자 장치(600)의 이동 거리가 5.5m이면, 프로세서(640)는 제2 반사광(820)을 물체에 반사된 후 바닥 등에 의해 재반사된 반사광으로 판단하고, 상술한 제1 반사광(810)과 같이, 연산에 의하여 획득한 거리는 5.5m이고, 제2 센서(630)를 통해 판단된 전자 장치(600)의 이동 거리가 5.5m이면, 프로세서(640)는 제1 반사광(810)을 물체에 의해 반사된 반사광으로 판단할 수 있다.
한편, 프로세서(640)는 반사광을 수신한 픽셀의 컬럼(column)에 기초하여, 전자 장치(600)로부터 좌우 어느 방향에 물체가 위치하는지를 판단할 수 있다. 일 예로, 전자 장치(600)는 픽셀의 컬럼별로 서로 다른 각도가 매칭된, 각도에 대한 정보를 저장하고 있고, 프로세서(640)는 반사광이 수신되면, 반사광이 수신된 픽셀의 컬럼에 매칭된 각도에 기초하여, 전자 장치(600)의 전방을 기준으로 물체가 위치하는 각도를 판단할 수 있다.
그리고, 프로세서(640)는 제1 센서(622)에 포함된 복수의 픽셀 중에서, 동일한 컬럼의 서로 다른 로우의 픽셀들에 복수의 반사광이 수신되는 경우, 전자 장치(600)의 이동 거리를 감지하도록 제2 센서(630)를 제어할 수 있다. 일 예로, 도 8a나 도 8b에 도시된 바와 같이, 복수의 반사광이 제1 센서(622)에 수신되고, 반사광을 수신한 픽셀들의 컬럼이 동일한 경우, 프로세서(640)는 전자 장치(600)의 이동 거리를 감지하도록 제2 센서(630)를 제어할 수 있다.
이는, 동일한 컬럼의 서로 다른 로우의 픽셀들에 복수의 반사광이 수신되는 경우이면, 복수의 반사광 중 일부 반사광이 바닥에 의해 재반사된 반사광일 확률이 높으므로(일반적으로, 바닥에 의해 재반사된 반사광은, 물체 전방의 바닥에 의해 재반사되므로, 동일 컬럼 상의 서로 다른 로우의 픽셀에 수신될 가능성이 높다.), 바닥에 의해 재반사된 반사광을 식별할 필요성이 높으나, 다른 컬럼의 복수의 반사광이 수신된 경우이면, 수신된 복수의 반사광이 바닥에 의해 재반사된 반사광이 아닐 확률이 높음을 고려한 것으로서, 이에 따라 본 개시는 프로세서(640)의 연산 부담을 최소화시키고, 전력을 절감시킬 수 있다.
도 9a는 본 개시의 일 실시 예에 따른 전자 장치를 설명하기 위한 블록도이고, 도 9b는 본 개시의 일 실시 예에 따른 전자 장치를 동작을 설명하기 위한 흐름도이다.
도 9a를 참조하면, 본 개시의 일 실시 예에 따른 전자 장치(900)는 광원(911), 센서(912) 및 프로세서(920)를 포함할 수 있다. 여기에서, 전자 장치(900)는 상술한 전자 장치(100)와 같이 로봇 등과 같은 다양한 전자 장치로 구현될 수 있다. 그리고, 센서(912)는 상술한 센서(112) 또는 제1 센서(622)의 기능을 수행할 수 있다.
광원(911)은 광을 조사할 수 있다. 이를 위해, 광원(911)은 레이저 다이오드, 라인 레이저 등 광을 조사할 수 있는 다양한 광원으로 구현될 수 있다.
특히, 광원(911)은 특정 패턴을 갖는 광을 조사(S910)할 수 있다. 여기에서, 특정 패턴은 상하가 비대칭인 패턴이 될 수 있다. 예를 들어, 광원(911)은 삼각 패턴을 갖는 광을 조사할 수 있다. 다만, 이는 일 실시 예일 뿐, 특정 패턴은 상하가 비대칭인 패턴, 좌우가 비대칭인 패턴 또는 상하좌우가 비대칭인 패턴 등 다양한 형상의 패턴이 될 수 있다.
이를 위해, 광원(911)에는 특정 패턴을 갖는 광이 조사될 수 있도록 하는 필름이 부착될 수 있다. 또는, 광원(911)의 결합부(미도시)에는 특정 패턴을 갖는 광이 조사될 수 있도록 하는 캡이 결합될 수 있고, 광이 캡을 통과함으로써 특정 패턴을 갖는 광이 조사될 수도 있다. 또는, 광원(911)에 포함된 다이오드의 배열을 특정 패턴으로 집적함으로써, 특정 패턴을 갖는 광이 조사될 수도 있다. 또한, 본 개시의 일 실시 예에 따른 전자 장치(900)는 특정 패턴의 광이 조사되도록, 광원(911)에 포함된 복수의 발광부(예를 들어, 다이오드) 중 일부의 발광부만을 발광시킴으로써, 특정 패턴의 광을 조사할 수도 있다.
센서(912)는 광원(911)에 의해 조사된 광의 반사광을 수신할 수 있다. 여기에서, 반사광은 물체에 의해 반사된 반사광이 될 수 있음은 물론, 물체에 의해 반사된 반사광이 바닥 또는 벽면 등의 다른 물체에 의해 재반사된 반사광이 될 수도 있다. 또는, 반사광은 물체에 반사된 후 물체의 다른 표면에 재반사 된 광이 될 수도 있다.
한편, 본 개시의 일 실시 예에 따른 전자 장치(900)는 메모리(미도시)를 더 포함할 수 있다. 메모리(미도시)는 전자 장치(900)의 구성요소의 전반적인 동작을 제어하기 위한 운영체제(Operating System: OS) 및 전자 장치(900)의 구성요소와 관련된 명령 또는 데이터를 저장할 수 있다.
특히, 메모리(미도시)는 적어도 하나의 패턴에 대한 정보를 저장할 수 있다. 여기에서, 패턴은 상하가 비대칭인 패턴, 좌우가 비대칭인 패턴 또는 상하좌우가 비대칭인 패턴 등 다양한 형상의 패턴이 될 수 있다. 그리고, 패턴에 대한 정보에는, 특정 패턴으로 광을 조사하기 위한 복수의 발광부에 대한 정보가 포함될 수 있다. 이에 따라, 프로세서(920)는 패턴에 대한 정보에 기초하여, 특정 패턴의 광이 조사되도록, 광원(911)에 포함된 복수의 발광부(예를 들어, 다이오드) 중 일부의 발광부만을 발광시킬 수 있다
한편, 메모리(미도시)는 센서(912)에 포함된 복수의 픽셀의 로우 별로 서로 다른 거리가 매칭된, 거리에 대한 정보를 저장할 수 있다. 일 예로, 메모리(미도시)는 도 4와 같이, 픽셀의 로우 별로 서로 다른 거리가 매칭된, 거리에 대한 정보를 저장하고 있을 수 있다. 여기에서, 각 픽셀에 매칭된 거리는 광원(911) 및 광을 반사한 물체간의 거리가 될 수 있다. 한편, 도 4에 도시된 예는 일 실시 예로서, 픽셀의 로우 별로 매칭된 거리는 도 4와 상이할 수 있음은 물론이다.
또한, 메모리(미도시)는 픽셀의 로우 별로, 센서(912) 및 광을 반사한 물체간의 거리가 매칭된, 거리에 대한 정보를 저장하고 있을수도 있다. 이 경우, 프로세서(930)는 반사광을 수신한 픽셀의 로우 및 픽셀의 로우 별로 매칭된, 센서(912) 및 광을 반사한 물체간의 거리에 대한 정보에 기초하여, 센서(912) 및 광을 반사한 물체간의 거리를 판단하고, 센서(912) 및 광을 반사한 물체간의 거리, 광원(911)의 조사 각도 및 광원(911)으로부터 센서(912)까지의 거리에 삼각 측량법을 적용하여 광원(911)으로부터 물체까지의 거리를 판단할 수 있다. 한편, 광원(911)의 조사 각도 및 광원(911)으로부터 센서(912)까지의 거리는 메모리(미도시)에 기저장되어 있을 수 있다.
프로세서(920)는 전자 장치(900)의 전반적인 동작을 제어한다. 이를 위해, 프로세서(920)는 중앙처리장치(central processing unit(CPU)) 또는 어플리케이션 프로세서(application processor(AP))를 포함할 수 있다. 그리고, 프로세서(920)는 적어도 하나의 범용 프로세서(general processor), 디지털 신호 프로세서(digital signal processor), ASIC(Application specific integrated circuit), SoC(system on chip), MICOM(Microcomputer), 드라이버 IC 등으로 구현될 수 있다.
전자 장치(900)는 광원(911)을 통해 광을 조사할 수 있다. 구체적으로, 전자 장치(900)의 프로세서(920)는 광을 조사하도록 광원(911)을 제어하고, 광원(911)은 프로세서(920)의 제어에 따라 광을 조사할 수 있다.
특히, 전자 장치(900)는 상술한 바와 같이, 광원(911)을 통해 특정 패턴을 갖는 광을 조사(S910)할 수 있다. 이 경우, 센서(912)는 광원(911)에 의해 조사된 광이 물체에 의해 반사되는 경우 반사광을 수신할 수 있다. 또는, 센서(912)는 광원(911)에 의해 조사된 광이 물체에 의해 반사된 후 바닥 등에 재반사되는 경우 반사광을 수신할 수 있다.
전자 장치(900)는 광원(911)에 의해 조사된 광에 기초하여 반사광이 센서(912)에 수신되면, 조사된 광이 갖는 특정 패턴 및 센서(912)에 수신된 반사광이 갖는 패턴에 기초하여 반사광이 물체에 의해 반사된 반사광인지 또는 물체에 반사된 후 다른 물체에 의해 재반사된 반사광인지를 판단(S910)할 수 있다.
구체적으로, 프로세서(920)는 센서(912)에 반사광이 수신되면, 반사광이 갖는 패턴을 판단할 수 있다. 이를 위해, 프로세서(920)는 센서(912)에 반사광이 수신되면, 센서(912)에 포함된 복수의 픽셀 중에서, 반사광이 수신된 픽셀을 판단할 수 있다. 일 예로, 센서(912)는 복수의 픽셀 중에서 기설정된 밝기 값 이상의 밝기 값을 가진 픽셀을 반사광을 수신한 픽셀로 판단할 수 있다. 이에 대해서는 상술한 바 있으므로, 구체적인 설명은 생략한다.
그리고, 프로세서(920)는 반사광을 수신한 픽셀들이 이루는 형상에 기초하여, 반사광의 패턴을 판단할 수 있다. 구체적으로, 프로세서(920)는 반사광을 수신한 픽셀들의 로우 및 컬럼 상의 위치를 판단하고, 각 위치의 픽셀들을 연결하여 반사광을 수신한 픽셀들이 이루는 형상을 판단하며, 해당 형상을 반사광의 패턴으로 판단할 수 있다. 일 예로, 도 10a에 도시된 바와 같이, 반사광을 수신한 픽셀들의 형상이 삼각 형인 경우, 프로세서(920)는 반사광의 패턴을 삼각 패턴으로 판단하고, 도 10b에 도시된 바와 같이, 반사광을 수신한 픽셀들의 형상이 역삼각 형인 경우, 프로세서(920)는 반사광의 패턴을 역삼각 패턴으로 판단할 수 있다.
한편, 이는 일 실시 예로서, 프로세서(920)는 다양한 방법을 통해 반사광의 패턴을 판단할 수 있다. 구체적으로, 센서(912)에 포함된 복수의 픽셀은 광의 수신 정도에 따라 상이한 크기의 전기적 신호를 출력할 수 있다. 이를 위해, 센서(912)에 포함된 복수의 픽셀은 빛 에너지를 전기적 신호를 변환하기 위한 포토 다이오드를 포함할 수 있다. 그리고, 프로세서(910)는 센서(912)에 의해 출력된 전기적 신호에 기초하여 이미지를 생성하고, 생성한 이미지에 오브젝트 검출 알고리즘(일 예로, 엣지 검출 알고리즘 등)을 적용하여 이미지에 포함된 반사광의 패턴을 판단할 수도 있다.
프로세서(920)는 조사된 광이 갖는 특정 패턴 및 반사광이 갖는 패턴에 기초하여, 반사광이 물체에 의해 반사된 반사광인지 또는 물체에 반사된 후 다른 물체에 의해 재반사된 반사광인지를 판단할 수 있다.
구체적으로, 프로세서(920)는 반사광의 패턴이 광원(911)에 의해 조사된 광이 갖는 특정 패턴에 대응되는 경우, 반사광을 물체에 의해 반사된 반사광으로 판단하고, 반사광의 패턴이 광원(911)에 의해 조사된 광이 갖는 특정 패턴과 대칭된 패턴인 경우, 반사광을 물체에 반사된 후 바닥 등에 의해 재반사된 반사광으로 판단할 수 있다.
여기에서, 반사광의 패턴이 광원(911)에 의해 조사된 광의 패턴에 대응된다는 의미는, 반사광의 패턴이 광원(911)에 의해 조사된 광의 패턴과 동일한 경우는 물론, 반사광의 패턴이 광원(911)에 의해 조사된 광의 패턴과 임계 값 이상 일치하는 경우를 포함한다. 가령, 프로세서(920)는 정삼각형의 패턴의 광이 광원(911)에 의해 조사되고, 이등변 삼각형의 패턴의 반사광이 수신되면, 반사광의 패턴은 광원(911)에 의해 조사된 광이 갖는 패턴에 대응된다고 판단할 수 있다.
예를 들어, 삼각 패턴을 갖는 광이 광원(911)에 의해 조사되고, 도 11과 같이 삼각 패턴을 갖는 제1 반사광(1110) 및 역삼각 패턴을 갖는 제2 반사광(1120)이 센서(912) 에 수신된 경우, 프로세서(920)는 제1 반사광(1110)은 광원(911)에 의해 조사된 광의 패턴과 동일한 패턴을 가지므로 물체에 의해 반사된 반사광으로 판단할 수 있고, 제2 반사광(1120)은 광원(911)에 의해 조사된 광의 패턴과 대칭된 패턴을 가지므로 물체에 반사된 후 바닥 등에 의해 재반사된 반사광으로 판단할 수 있다.
이후, 프로세서(920)는 물체에 의해 반사된 제1 반사광(1110)의 로우에 기초하여, 광원(911) 및 물체간의 거리를 판단하고, 이에 기반하여 전자 장치(100)의 이동, 청소 작업 등의 태스크를 수행할 수 있다. 한편, 반사광의 로우에 기초하여 광원(911) 및 물체간의 거리를 판단하는 방법은 상술한 바 있으므로, 여기서는 생략한다.
한편, 본 개시의 일 실시 예에 따른 전자 장치는, 전자 장치의 이동에 따라 반사광의 수신 위치가 변경되는 정도 및 반사광이 갖는 패턴 모두를 고려하여, 반사광이 물체에 의해 반사된 반사광인지 또는 물체에 반사된 후 바닥 등에 의해 재반사된 반사광인지를 판단할 수도 있다.
예를 들어, 본 개시의 일 실시 예에 따른 전자 장치는, 제2 센서(가령, 가속도 센서, 라이다 센서 등)를 통해 판단된 전자 장치의 이동 거리 및 반사광의 수신 위치 변경 정도에 기초하여 판단된 이동 거리의 차이가 기설정된 임계 값 이하이고, 반사광의 패턴이 광원(911)에 의해 조사된 광의 패턴인 경우이면, 반사광은 물체에 의해 반사된 반사광으로 판단하고, 제2 센서(가령, 가속도 센서, 라이다 센서 등)를 통해 판단된 전자 장치의 이동 거리 및 반사광의 수신 위치 변경 정도에 기초하여 판단된 이동 거리의 차이가 기설정된 임계 값을 초과하거나, 반사광의 패턴이 광원(911)에 의해 조사된 광의 패턴과 대칭된 패턴인 경우이면, 반사광은 물체에 반사된 후 물체 주변의 바닥 등에 의해 재반사된 반사광으로 판단할 수 있다.
도 12는 본 개시의 일 실시 예에 따른 전자 장치를 설명하기 위한 블록도이다.
도 12를 참조하면, 본 개시의 일 실시 예에 따른 전자 장치(1200)는 광원(1211), 제1 센서(1212), 제2 센서(1220) 및 적어도 하나 이상의 프로세서(1230)를 포함할 수 있다. 여기에서, 전자 장치(1200)는 상술한 전자 장치(100)와 같이 로봇 등과 같은 다양한 전자 장치로 구현될 수 있다. 그리고, 광원(1211)은 상술한 광원(111)의 기능을 수행할 수 있으며, 제1 센서(1212)는 상술한 센서(112)의 기능을 수행할 수 있다.
광원(1211)은 광을 조사할 수 있다. 이를 위해, 광원(1211)은 레이저 다이오드, 라인 레이저 등 광을 조사할 수 있는 다양한 광원으로 구현될 수 있다.
제1 센서(1212)는 반사광을 수신할 수 있다. 구체적으로, 제1 센서(1212)는 광원(1211)에 의해 조사된 광에 기초한 반사광을 수신할 수 있다. 여기에서, 반사광은 물체에 의해 반사된 반사광이 될 수 있음은 물론, 물체에 반사된 후 바닥 등에 의해 재반사된 반사광이 될 수도 있다.
한편, 본 개시의 일 실시 예에 따른 전자 장치(1200)는 메모리(미도시)를 더 포함할 수 있다. 메모리(미도시)는 전자 장치(1200)의 구성요소의 전반적인 동작을 제어하기 위한 운영체제(Operating System: OS) 및 전자 장치(1200)의 구성요소와 관련된 명령 또는 데이터를 저장할 수 있다.
특히, 메모리(미도시)는 제1 센서(1212)에 포함된 복수의 픽셀의 로우 별로 서로 다른 거리가 매칭된, 거리에 대한 정보를 저장할 수 있다. 일 예로, 메모리(미도시)는 도 4와 같이, 픽셀의 로우 별로 서로 다른 거리가 매칭된, 거리에 대한 정보를 저장하고 있을 수 있다. 여기에서, 각 픽셀에 매칭된 거리는 광원(621) 및 광을 반사한 물체간의 거리가 될 수 있다. 한편, 도 4에 도시된 예는 일 실시 예로서, 픽셀의 로우 별로 매칭된 거리는 도 4와 상이할 수 있음은 물론이다.
또한, 메모리(미도시)는 픽셀의 로우 별로, 제1 센서(1212) 및 광을 반사한 물체간의 거리가 매칭된, 거리에 대한 정보를 저장하고 있을수도 있다. 이 경우, 프로세서(1230)는 반사광을 수신한 픽셀의 로우 및 픽셀의 로우 별로 매칭된, 제1 센서(1212) 및 광을 반사한 물체간의 거리에 대한 정보에 기초하여, 제1 센서(1212) 및 광을 반사한 물체간의 거리를 판단하고, 제1 센서(1212) 및 광을 반사한 물체간의 거리, 광원(1211)의 조사 각도 및 광원(1211)으로부터 제1 센서(1212)까지의 거리에 삼각 측량법을 적용하여 광원(1211)으로부터 물체까지의 거리를 판단할 수 있다. 한편, 광원(1211)의 조사 각도 및 광원(1211)으로부터 제1 센서(622)까지의 거리는 메모리(미도시)에 기저장되어 있을 수 있다.
프로세서(1230)는 전자 장치(1200)의 전반적인 동작을 제어한다. 이를 위해, 프로세서(1230)는 중앙처리장치(central processing unit(CPU)) 또는 어플리케이션 프로세서(application processor(AP))를 포함할 수 있다. 그리고, 프로세서(1230)는 적어도 하나의 범용 프로세서(general processor), 디지털 신호 프로세서(digital signal processor), ASIC(Application specific integrated circuit), SoC(system on chip), MICOM(Microcomputer) 등으로 구현될 수 있다.
프로세서(1230)는 제2 센서(1220)에 의해 감지된 정보에 기초하여, 복수의 반사광 중에서 물체에 의해 반사된 반사광 및 물체에 반사된 후 바닥 등에 의해 재반사된 반사광을 판단할 수 있다. 여기에서, 제2 센서(1220)는 이미지 센서, 적외선 센서 또는 스테레오 카메라 등과 같은 다양한 센서가 될 수 있다. 이하, 도 13, 도 14 및 도 15를 참조하여 설명한다.
도 13은 본 개시의 일 실시 예에 따른 센서가 복수로 구현되는 경우의 실시 예를 설명하기 위한 도면이다.
본 개시의 일 실시 예에 따른 전자 장치(1200)는 복수의 센서를 포함할 수 있다. 예를 들어, 도 13을 참조하면, 전자 장치(1200)는 서로 다른 높이의 제1 센서(1212) 및 제2 센서(1220)를 포함할 수 있다. 여기에서, 제2 센서(1220)는 제1 센서(1212)와 마찬가지로 이미지 센서가 될 수 있다.
프로세서(1230)는 광을 조사하도록 광원(1211)을 제어할 수 있다. 이 경우, 제1 및 제2 센서(1212, 1220)는 조사된 광에 기초하여 복수의 반사광을 수신할 수 있다. 일 예로, 제1 센서(1212)에는 도 8a와 같이 제1 반사광(810) 및 제2 반사광(820)이 수신되고, 제2 센서(1220)에는 도 8b와 같이 제1 반사광(810) 및 제2 반사광(820)이 수신될 수 있다.
프로세서(1230)는 제1 및 제2 센서(1212, 1220)에 수신된 반사광의 위치에 기초하여, 거리를 판단할 수 있다. 이를 위해, 프로세서(1230)는 제1 및 제2 센서(1212, 1220)에 반사광이 수신되면, 제1 및 제2 센서(1212, 1220)에 포함된 복수의 픽셀 중에서, 반사광이 수신된 픽셀을 판단할 수 있다. 일 예로, 프로세서(1230)는 복수의 픽셀 중에서 기설정된 밝기 값 이상의 밝기를 가진 픽셀을 반사광을 수신한 픽셀로 판단할 수 있다. 이에 대한 설명은 상술한 바 있으므로 여기서는 생략한다.
그리고, 프로세서(1230)는 복수의 픽셀의 로우 별로 서로 다른 거리가 매칭된, 거리에에 대한 정보에 기초하여, 반사광을 수신한 로우에 매칭된 거리를 판단할 수 있다. 구체적으로, 프로세서(1230)는 제1 센서(1212)에 포함된 복수의 픽셀의 로우 별로 서로 다른 거리가 매칭된, 제1 거리에 대한 정보에 기초하여, 제1 센서(1212)에 수신된 반사광의 로우에 매칭된 거리를 판단하고, 제2 센서(1220)에 포함된 복수의 픽셀의 로우 별로 서로 다른 거리가 매칭된, 제2 거리에 대한 정보에 기초하여, 제2 센서(122)에 수신된 반사광의 로우에 매칭된 거리를 판단할 수 있다. 한편, 전술한 바와 같이, 프로세서(1230)는 삼각 측량 방식을 이용하여 전자 장치(1200)로부터 광을 반사한 물체까지의 거리를 판단할 수도 있음은 물론이다.
일 예로, 도 8a와 같이 제1 반사광(810)이 제1 센서(1212)의 로우 5에 수신되고, 제2 반사광(820)이 로우 10에 수신된 경우, 프로세서(1230)는 제1 거리에 대한 정보에 기초하여, 제1 반사광(810)의 로우에 매칭된 거리 및 제2 반사광(820)의 로우에 매칭된 거리를 판단할 수 있다. 만약, 제1 거리에 대한 정보에 기초하여, 로우 5에 매칭된 거리가 7m이고, 로우 10에 매칭된 거리가 5m로 판단되면, 프로세서(1230)는 제1 반사광(810)의 로우에 매칭된 거리는 7m이고, 제2 반사광(820)의 로우에 매칭된 거리는 5m로 판단할 수 있다.
이와 유사하게, 프로세서(1230)는 도 8b와 같이, 제1 반사광(810)이 제2 센서(1220)의 로우 15에 수신되고, 제2 반사광(820)이 로우 22에 수신된 경우, 프로세서(1230)는 제2 거리에 대한 정보에 기초하여, 제1 반사광(810)의 로우에 매칭된 거리 및 제2 반사광(820)의 로우에 매칭된 거리를 판단할 수 있다. 만약, 제2 거리에 대한 정보에 기초하여, 로우 15에 매칭된 거리가 7m이고, 로우 22에 매칭된 거리가 4m로 판단되면, 프로세서(1230)는 제1 반사광(810)에 대응되는 거리는 7m이고, 제2 반사광(820)에 대응되는 거리는 4m로 판단할 수 있다.
그리고, 프로세서(1230)는 제1 센서(1212)에 수신된 반사광에 기초하여 판단한 거리 및 제2 센서(1220)에 수신된 반사광에 기초하여 판단한 거리의 차이에 기초하여, 반사광이 물체에 의해 반사된 반사광인지 또는 물체에 반사된 후 바닥 등에 의해 재반사된 반사광인지를 판단할 수 있다.
구체적으로, 프로세서(1230)는 제1 센서(1212)에 수신된 반사광에 기초하여 판단한 거리 및 제2 센서(1220)에 수신된 반사광에 기초하여 판단한 거리의 차이가 기설정된 임계 값 이하이면, 반사광은 물체에 의해 반사된 반사광으로 판단하고, 제1 센서(1212)에 수신된 반사광에 기초하여 판단한 거리 및 제2 센서(1220)에 수신된 반사광에 기초하여 판단한 거리의 차이가 기설정된 임계 값을 초과하면, 반사광은 물체에 반사된 후 바닥 등에 의해 재반사된 반사광으로 판단할 수 있다. 여기에서, 임계 값은 0.1m로 설정될 수 있으나 반드시 이에 한정되는 것은 아니다.
예를 들어, 프로세서(1230)는 상술한 실시 예와 같이, 제1 센서(1212)에 수신된 제1 반사광(810)에 기초하여 판단한 거리 및 제2 센서(1220)에 수신된 제1 반사광(810)에 기초하여 판단한 거리의 차이가 0으로써, 기설정된 임계 값 미만인 경우, 제1 반사광(810)을 물체에 의해 반사된 반사광으로 하고, 제1 센서(1212)에 수신된 제2 반사광(820)에 기초하여 판단한 거리 및 제2 센서(1220)에 수신된 제2 반사광(820)에 기초하여 판단한 거리의 차이가 1m로써, 기설정된 임계 값을 초과하는 경우, 제2 반사광(820)을 물체에 반사된 후 바닥 등에 의해 재반사된 반사광으로 판단할 수 있다.
한편, 도 13에서는 두 개의 센서를 예시하였으나, 이는 일 실시 예일 뿐 이미지 센서의 개수가 이에 제한되는 것은 아니다. 또한, 이미지 센서 간의 위치는 상하가 될 수 있음은 물론, 좌우가 될 수도 있다.
도 14는 본 개시의 일 실시 예에 따른 적외선 센서를 이용하여 물체에 반사된 후 바닥 등에 의해 재반사된 광을 판단하는 실시 예를 설명하기 위한 도면이다.
도 14를 참조하면, 본 개시의 일 실시 예에 따른 제2 센서(1220)는 적외선 센서가 될 수 있다.
프로세서(1230)는 적외선을 조사하도록 제2 센서(1220)의 발광부를 제어할 수 있다. 일 예로, 프로세서(1230)는 전자 장치(1200)의 전원을 온하기 위한 사용자 명령이나 전자 장치(1200)를 이동시키기 위한 사용자 명령이 수신되면, 적외선을 조사하도록 제2 센서(1220)의 발광부를 제어할 수 있다. 다만, 이에 한정되는 것은 아니며, 프로세서(1230)는 제1 센서(1212)에 포함된 복수의 픽셀 중에서, 동일한 컬럼의 서로 다른 로우의 픽셀들에 복수의 반사광이 수신되는 경우, 적외선을 조사하도록 제2 센서(1220)의 발광부를 제어할 수도 있다.
그리고, 프로세서(1230)는 제2 센서(1220)에 의해 조사된 적외선이 제2 센서(1220)의 수광부로 수신되면, 수광부에 수신된 적외선의 양에 기초하여 전자 장치(900) 및 물체간의 거리를 감지할 수 있다.
그리고, 프로세서(1230)는 상술한 바와 같이, 제1 센서(1212)에 수신된 반사광의 위치에 기초하여, 반사광의 로우에 매칭된 거리를 판단할 수 있다.
그리고, 프로세서(1230)는 제1 센서(1220)에 수신된 반사광의 로우에 기초하여 판단한 거리 및 제2 센서(1220)에 기초하여 감지된 전자 장치(1220) 및 물체와의 거리의 차이가 기설정된 임계 값 이하이면, 반사광은 물체에 의해 반사된 반사광으로 판단하고, 제1 센서(912)에 수신된 반사광의 로우에 기초하여 판단한 거리 및 제2 센서(913)에 기초하여 감지된 전자 장치(1220) 및 물체와의 거리의 차이가 기설정된 임계 값을 초과하면, 반사광은 물체에 반사된 후 바닥 등에 의해 재반사된 반사광으로 판단할 수 있다.
예를 들어, 제1 센서(1212)에 수신된 반사광의 로우에 기초하여 판단한 거리 및 제2 센서(1220)에 기초하여 감지된 물체와의 거리가 동일하면, 프로세서(1230)는 반사광은 물체에 의해 반사된 반사광으로 판단하고, 제1 센서(1212)에 수신된 반사광의 로우에 기초하여 판단한 거리 및 제2 센서(1220)에 기초하여 감지된 물체와의 거리가 상이하면, 프로세서(1230)는 반사광은 물체에 반사된 후 바닥 등에 의해 재반사된 반사광으로 판단할 수 있다.
한편, 여기서는 적외선 센서를 예를 들어 설명하였으나, 이는 일 실시 예일 뿐, 물체와의 거리를 감지하기 위한 제2 센서(1220)는 초음파 센서, 라이다 센서 등 다양한 센서로 구현될 수 있다.
도 15는 본 개시의 일 실시 예에 따른 스테레오 카메라를 이용하여 바닥 등에 의해 반사광을 판단하는 실시 예를 설명하기 위한 도면이다.
도 15를 참조하면, 본 개시의 일 실시 예에 따른 제2 센서(1220)는 스테레오 카메라가 될 수 있다. 여기에서, 스테레오 카메라는 제1 카메라 및 제2 카메라를 포함할 수 있다.
프로세서(1230)는 좌우 영상을 획득하도록 제2 센서(1220)를 제어할 수 있다. 일 예로, 프로세서(1230)는 전자 장치(1200)의 전원을 온하기 위한 사용자 명령이나 전자 장치(1200)를 이동시키기 위한 사용자 명령이 수신되면, 좌우 영상을 획득하도록 제2 센서(1220)를 제어할 수 있다. 다만, 이에 한정되는 것은 아니며, 프로세서(1230)는 제1 센서(1212)에 포함된 복수의 픽셀 중에서, 동일한 컬럼의 서로 다른 로우의 픽셀들에 복수의 반사광이 수신되는 경우, 좌우 영상을 획득하도록 제2 센서(1220)를 제어할 수 있다.
그리고, 프로세서(1230)는 획득된 좌우 영상을 이용하여 3차원의 공간 좌표를 획득하고, 3차원의 공간 좌표에 기초하여, 전자 장치(1200) 및 물체간의 거리를 감지할 수 있다.
그리고, 프로세서(1230)는 제1 센서(1212)에 수신된 반사광의 로우에 기초하여 판단한 거리 및 제2 센서(1220)에 기초하여 감지된 물체와의 거리의 차이가 기설정된 임계 값 이하이면 반사광은 물체에 의해 반사된 반사광으로 판단하고, 제1 센서(1212)에 수신된 반사광의 로우에 기초하여 판단한 거리 및 제2 센서(1220)에 기초하여 감지된 물체와의 거리의 차이가 기설정된 임계 값을 초과하면, 반사광은 물체에 반사된 후 바닥 등에 의해 재반사된 반사광으로 판단할 수 있다.
예를 들어, 제1 센서(1212)에 수신된 반사광의 로우에 기초하여 판단한 거리 및 제2 센서(1220)에 기초하여 감지된 물체와의 거리가 동일하면, 프로세서(1230)는 반사광은 물체에 의해 반사된 반사광으로 판단하고, 제1 센서(1212)에 수신된 반사광의 로우에 기초하여 판단한 거리 및 제2 센서(1220)에 기초하여 감지된 물체와의 거리가 상이하면, 프로세서(1230)는 반사광은 물체에 반사된 후 바닥 등에 의해 재반사된 반사광으로 판단할 수 있다.
한편, 여기에서는 제2 센서(1220)를 스테레오 카메라로 설명하였으나 이는 일 실시 예일 뿐, 제2 센서(1200)는 물체와의 거리를 감지할 수 있는 다양한 카메라로 구현될 수 있다. 일 예로 제2 센서(1200)는 뎁스 카메라(또는 3D 카메라)로 구현될 수도 있다.
도 16a는 본 개시의 일 실시 예에 따른 전자 장치를 설명하기 위한 상세 블록도이다.
도 16a를 참조하면, 본 개시의 일 실시 예에 따른 전자 장치(1600)는 주행부(1610), 광원(1620), 제1 센서(1631), 제2 센서(1632), 제3 센서(1633), 메모리(1640), 통신부(1650), 디스플레이(1660), 모터(1670), 조작부(1680) 및 프로세서(1690)를 포함할 수 있다. 한편, 이는 일 실시 예로써, 전자 장치(100)는 상술한 복수의 구성 중 일부의 구성을 제외하고 구현될 수도 있고, 상술한 복수의 구성 외 추가적인 구성을 더 포함하여 구현될 수도 있다.
이하 상술한 설명 부분과 중복되는 부분은 생략하거나 축약하여 설명한다.
주행부(1610)는 전자 장치(1600)를 이동시킬 수 있다. 여기에서, 주행부(1610)는 구동부(미도시) 및 구동부(미도시)에 연결된 모터(미도시)를 포함하는 구성으로써, 주행부(1610)의 구동부(미도시)는 바퀴 또는 로봇의 다리 등으로 구현될 수 있고, 주행부(1610)의 모터(미도시)는 프로세서(1690)의 제어에 따라 구동부(미도시)를 제어함으로써, 전자 장치(1600)를 이동시킬 수 있다.
광원(1620)은 광을 조사할 수 있다. 여기에서, 광은 부채꼴 형태의 평면 광이 될 수 있으나 반드시 이에 한정되는 것은 아니고, 광은 다양한 형태로 조사될 수 있다. 예를 들어, 광원(1620) 상하가 비대칭인 패턴, 좌우가 비대칭인 패턴 또는 상하좌우가 비대칭인 패턴을 갖는 광을 조사할 수 있다.
제1 센서(1631)는 광원(1620)에 의해 광이 조사된 이후, 복수의 반사광을 수신할 수 있다. 여기에서, 복수의 반사광은 물체에 의해 반사된 반사광 및 물체에 반사된 후 바닥 등에 의해 재반사된 반사광을 포함할 수 있다.
그리고, 제1 센서(1631)에 포함된 복수의 픽셀은 반사광의 수신 정도에 따라 상이한 크기의 전기적 신호를 출력할 수 있다. 이를 위해, 제1 센서(1631)에 포함된 복수의 픽셀은 빛 에너지를 전기적 신호를 변환하기 위한 포토 다이오드를 포함할 수 있다.
메모리(1640)는 전자 장치(1600)의 구성요소의 전반적인 동작을 제어하기 위한 운영체제(Operating System: OS) 및 전자 장치(1600)의 구성요소와 관련된 명령 또는 데이터를 저장할 수 있다.
이에 따라, 프로세서(1690)는 메모리(1640)에 저장된 다양한 명령 또는 데이터 등을 이용하여 전자 장치(1600)의 다수의 하드웨어 또는 소프트웨어 구성요소들을 제어할 수 있고, 다른 구성요소들 중 적어도 하나로부터 수신된 명령 또는 데이터를 휘발성 메모리에 로드(load)하여 처리하고, 다양한 데이터를 비휘발성 메모리에 저장(store)할 수 있다.
특히, 메모리(1640)는 제1 센서(1631)에 포함된 복수의 픽셀의 로우 별로 서로 다른 거리가 매칭된, 거리에 대한 정보를 저장할 수 있다. 이에 따라, 프로세서(1690)는 반사광이 제1 센서(1631)에 수신되면, 제1 센서(1631)에 포함된 복수의 픽셀 중 반사광을 수신한 픽셀의 로우에 기초하여, 전자 장치(1600) 및 물체간의 거리를 판단할 수 있다.
또한, 메모리(1640)는 거리 별로 구분되는 반사광의 굵기에 관한 정보를 저장할 수 있다.
그리고, 전자 장치(1600)는 반사광의 굵기에 관한 정보에 기초하여, 제1 센서(1631)로 반사된 복수의 반사광 중에서, 물체에 의해 반사된 광 및 물체에 반사된 후 물체 주변의 바닥 등에 의해 재반사된 반사광을 판단할 수 있다.
구체적으로, 전자 장치(1600)의 프로세서(1690)는 제1 센서(1631)에 반사광이 수신되면, 제1 센서(1631)에 포함된 복수의 픽셀 중에서, 기설정된 밝기 값 이상의 밝기를 가진 픽셀을 반사광을 수신한 픽셀로 판단할 수 있다. 그리고, 프로세서(1690)는 제1 센서(1631)에 포함된 각 픽셀의 세로 간격에 기초하여, 반사광의 굵기를 판단할 수 있다. 일 예로, 각 픽셀의 세로 간격 1mm인 경우, 하나의 로우에 반사광이 수신되면 프로세서(1690)는 반사광의 굵기를 1mm로 판단할 수 있다. 또는, 동일한 컬럼상의 서로 다른 로우의 픽셀들에 반사광이 수신되는 경우, 프로세서(1690)는 반사광을 수신한 로우의 개수 및 픽셀 하나당 세로 길이를 곱한 값을 반사광의 굵기로 판단할 수 있다. 일 예로, 동일한 컬럼상의 서로 다른 로우 1, 2에 반사광이 수신되고, 각 픽셀의 세로 간격 1mm인 경우, 프로세서(1690)는 반사광의 굵기를 2mm로 판단할 수 있다 그리고, 프로세서(1690)는 반사광의 굵기에 관한 정보에 기초하여, 전자 장치(1600) 및 물체간의 거리를 판단할 수 있다. 예를 들어, 반사광의 굵기가 0.2mm로 판단되고, 반사광의 굵기에 관한 정보에 기초하여 반사광의 굵기 0.2mm에 매칭된 거리가 2m로 판단되는 경우, 프로세서(1690)는 전자 장치(1600) 및 물체간의 거리를 2m로 판단할 수 있다.
그리고, 프로세서(1690)는 복수의 픽셀의 로우 별로 서로 다른 거리가 매칭된, 거리에 대한 정보에 기초하여 제1 센서(1631)에 수신된 반사광의 로우에 매칭된 거리를 판단할 수 있다. 그리고, 프로세서(1690)는 반사광의 굵기에 관한 정보에 기초하여 판단한 물체와의 거리 및 반사광의 수신 위치에 기초하여 판단한 거리에 기초하여, 제1 센서(1631)에 수신된 복수의 반사광 중에서, 물체에 의해 반사된 반사광 및 물체에 반사된 후 물체 주변의 바닥 등에 의해 재반사된 반사광을 판단할 수 있다.
구체적으로, 프로세서(1690)는 반사광의 굵기에 관한 정보에 기초하여 판단한 물체와의 거리 및 반사광의 수신 위치에 기초하여 판단한 거리의 차이가 기설정된 임계 값 이하이면, 반사광은 물체에 의해 반사된 광인 것으로 판단하고, 반사광의 굵기에 관한 정보에 기초하여 판단한 물체와의 거리 및 반사광의 수신 위치에 기초하여 판단한 거리의 차이가 기설정된 임계 값을 초과하면, 반사광은 물체에 반사된 후 물체 주변의 바닥 등에 의해 재반사된 반사광인 것으로 판단할 수 있다.
여기에서, 기설정된 임계 값은 0.1m가 될 수 있으나, 이는 일 실시 예일 뿐, 임계 값은 다양하게 설정 또는 변경될 수 있다.
이는, 물체와의 거리 별로 제1 센서(1631)에 수신되는 반사광의 굵기가 달라지는 성질을 이용한 것으로써, 이에 따라 본 개시는 반사광이 물체에 의해 반사된 반사광인지 또는 물체에 의해 반사된 후 다른 물체에 의해 재반사된 반사광인지를 판단할 수 있다.
디스플레이(1650)는 다양한 화면을 표시할 수 있다. 예를 들어, 디스플레이(1650)는 전자 장치(1600) 주변의 물체, 물체와의 거리에 대한 정보를 표시할 수 있다.
이러한 디스플레이(1650)는 LCD(Liquid Crystal Display), PDP(Plasma Display Panel) 등과 같은 다양한 형태의 디스플레이로 구현될 수 있다. 디스플레이(1650) 내에는 a-si TFT, LTPS(low temperature poly silicon) TFT, OTFT(organic TFT) 등과 같은 형태로 구현될 수 있는 구동 회로, 백라이트 유닛 등도 함께 포함될 수 있다. 한편, 디스플레이(1650)는 터치 감지부와 결합되어 터치 스크린으로 구현될 수 있다.
통신부(1660)는 외부 장치와 통신을 수행하는 구성이다. 예를 들어, 통신부(1660)는 BT(Bluetooth), BLE(Bluetooth Low Energy), WI-FI(Wireless Fidelity), Zigbee 등과 같은 무선 통신 방식 또는 IR(Infrared) 통신 방식을 통해 다양한 외부 장치와 통신을 수행할 수 있다. 한편, 통신부(1660)는 프로세서(1690)에 탑재되어 있을 수 있음은 물론, 프로세서(1690)와는 별개의 구성으로 전자 장치(1600)에 포함될 수도 있다.
일 실시 예에 따르면, 통신부(1660)는 제1 센서(1631)에 포함된 복수의 픽셀의 로우 별로 서로 다른 거리가 매칭된, 거리에 대한 정보를 외부 장치로부터 수신하거나 거리 별로 구분되는 반사광의 굵기에 관한 정보를 외부 장치로부터 수신할 수 있다.
프로세서(1690)는 전자 장치(1600)의 전반적인 동작을 제어한다.
일 실시 예로, 프로세서(1690)는 광을 조사하도록 광원(1620)을 제어하고, 반사광의 굵기에 관한 정보에 기초하여 판단한 물체와의 거리 및 제1 센서(1631)에 수신된 반사광의 로우에 기초하여 판단한 거리의 차이에 기초하여, 반사광이 물체에 의해 반사된 반사광인지 또는 물체에 의해 반사된 후 바닥이나 벽면 등의 다른 물체에 의해 재반사된 반사광인지를 판단할 수 있다.
또는, 프로세서(1690)는 특정 패턴을 갖는 광을 조사하도록 광원(1610)을 제어하고, 반사광이 갖는 패턴에 기초하여, 반사광이 물체에 의해 반사된 반사광인지 또는 물체에 의해 반사된 후 바닥이나 벽면 등의 다른 물체에 의해 재반사된 반사광인지를 판단할 수 있다.
또는, 프로세서(1690)는 광을 조사하도록 광원(1620)을 제어하고, 전자 장치(1600)의 이동에 따라 반사광이 수신되는 위치가 변경되는 정도에 기초하여 판단한 전자 장치(1600)의 이동 거리 및 제2 센서(1632)를 통해 판단된 전자 장치(1600)의 이동 거리에 기초하여, 반사광이 물체에 의해 반사된 반사광인지 또는 물체에 의해 반사된 후 바닥이나 벽면 등의 다른 물체에 의해 재반사된 반사광인지를 판단할 수 있다.
또는, 프로세서(1690)는 제1 센서(1631)에 수신된 반사광에 기초하여 판단한 거리 및 제3 센서(1632)에 의해 감지된 물체까지의 거리에 기초하여, 복수의 반사광 중에서 물체에 의해 반사된 반사광 및 물체에 의해 반사된 후 바닥이나 벽면 등의 다른 물체에 의해 재반사된 반사광을 판단할 수도 있다. 여기에서, 제3 센서(1632)는 이미지 센서, 적외선 센서 또는 스테레오 카메라 등과 같이, 물체와의 거리를 감지할 수 있는 다양한 센서가 될 수 있다.
한편, 프로세서(1690)는 상술한 다양한 실시 예의 조합에 기초하여 반사광이 물체에 의해 반사된 반사광인지 또는 물체에 의해 반사된 후 바닥이나 벽면 등의 다른 물체에 의해 재반사된 반사광인지를 판단할 수 있다. 예를 들어, 프로세서(1690)는 반사광이 갖는 패턴, 전자 장치(1600)의 이동에 따라 반사광이 수신되는 위치가 변경되는 정도에 기초하여 판단한 전자 장치(1600)의 이동 거리 및 제2 센서(1632)를 통해 판단된 전자 장치(1600)의 이동 거리 모두를 고려하여, 반사광이 물체에 의해 반사된 반사광인지 또는 물체에 의해 반사된 후 바닥이나 벽면 등의 다른 물체에 의해 재반사된 반사광인지를 판단할 수 있다. 또는, 프로세서(1690)는 전자 장치(1600)의 이동에 따라 반사광이 수신되는 위치가 변경되는 정도에 기초하여 판단한 전자 장치(1600)의 이동 거리, 제2 센서(1632)를 통해 판단된 전자 장치(1600)의 이동 거리 및 제3 센서(1633)에 의해 감지된 물체와의 거리를 모두 고려하여 반사광이 물체에 의해 반사된 반사광인지 또는 물체에 의해 반사된 후 바닥이나 벽면 등의 다른 물체에 의해 재반사된 반사광인지를 판단할 수도 있다. 또는, 프로세서(1690)는 반사광이 갖는 패턴, 전자 장치(100)의 이동에 따라 반사광이 수신되는 위치가 변경되는 정도에 기초하여 판단한 전자 장치(1600)의 이동 거리 및 제3 센서(1633)에 의해 감지된 물체와의 거리를 모두 고려하여 반사광이 물체에 의해 반사된 반사광인지 또는 바닥이나 벽면 등의 다른 물체에 의해 반사된 반사광인지를 판단할 수도 있다.
한편, 본 개시의 일 실시 예에 따른 전자 장치(1600)는 상술한 구성 외에도 다양한 구성을 더 포함할 수 있다.
일 예로, 전자 장치(1600)는 사용자 입력을 수신할 수 있는 입력부(미도시)를 더 포함할 수 있다. 여기에서, 입력부(미도시)는 버튼 또는 터치 스크린으로 구현될 수 있고, 전자 장치(1600)를 이동시키기 위한 사용자 명령 등의 다양한 사용자 명령을 수신할 수 있다.
또한, 전자 장치(1600)는 각종 오디오 데이터를 출력할 수 있는 스피커(미도시)를 더 포함할 수 있다. 본 개시의 일 실시 예에 따르면, 스피커(미도시)는 전자 장치(1600)의 주행을 시작하는 경우나 주행 방향을 변경하는 경우 등에 사운드를 출력할 수 있다.
또한, 전자 장치(1600)는 사용자 음성을 수신할 수 있는 마이크(미도시)를 더 포함할 수 있다. 여기에서, 사용자 음성은 전자 장치(1600)의 태스크 실행을 위한 사용자 음성 등이 될 수 있다.
한편, 도 16a에서는 광원(1620) 및 제1 센서(1631)를 별개의 구성으로 도시하였으나, 광원(1620) 및 제1 센서(1631)는 하나의 센서 모듈(1700)로 구성될 수도 있다. 일 예로, 도 16b를 참조하면, 센서 모듈(1700)은 광원(1620), 센서(1631) 및 프로세서(1730)를 포함하고, 여기에서 프로세서(1730)는 메인 프로세서로 동작하는 프로세서(1690)로부터 수신된 제어 신호에 기초하여, 광원(1620) 및 제1 센서(1631)를 제어할 수 있다.
일 예로, 프로세서(1730)는 메인 프로세서(1690)의 제어에 따라, 광을 조사하도록 광원(1620)을 제어하고, 제1 센서(1631)에 반사광이 수신되면, 복수의 픽셀 중 반사광을 수신한 픽셀의 로우에 기초하여 반사광에 대응되는 거리(또는, 광원(1620)으로부터 물체까지의 거리)를 판단할 수 있다. 그리고, 프로세서(1730)는 반사광에 대응되는 거리에 대한 정보를 메인 프로세서(1690)로 전송할 수 있다. 한편, 프로세서(1730)는 마이컴(Microprocessor computer) 또는 FPGA(field programmable gate array)등으로 구현될 수 있다.
한편, 상술한 본 발명의 다양한 실시 예들에 따른 방법들은, 기존 전자 장치에 설치 가능한 소프트웨어 또는 어플리케이션 형태로 구현될 수 있다.
또한, 상술한 본 발명의 다양한 실시 예들에 따른 방법들은, 기존 전자 장치에 대한 소프트웨어 업그레이드, 또는 하드웨어 업그레이드만으로도 구현될 수 있다.
또한, 상술한 본 발명의 다양한 실시 예들은 전자 장치에 구비된 임베디드 서버, 또는 전자 장치 외부의 서버를 통해 수행되는 것도 가능하다.
한편, 본 발명에 따른 전자 장치의 제어 방법을 순차적으로 수행하는 프로그램이 저장된 비일시적 판독 가능 매체(non-transitory computer readable medium)가 제공될 수 있다.
한편, 비일시적 판독 가능 매체란 레지스터, 캐시, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상술한 다양한 어플리케이션 또는 프로그램들은 CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM 등과 같은 비일시적 판독 가능 매체에 저장되어 제공될 수 있다.
또한, 이상에서는 본 발명의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.
100: 전자 장치
111: 광원
112: 센서
160: 프로세서

Claims (15)

  1. 전자 장치에 있어서,
    주행부;
    광을 조사하기 위한 광원;
    상기 광에 기초한 반사광을 수신하기 위한 제1 센서;
    상기 전자 장치의 이동 거리를 감지하기 위한 제2 센서; 및
    상기 광원에 의해 조사된 상기 광에 기초하여 반사광이 상기 제1 센서에 포함된 복수의 픽셀 중에서 제1 픽셀들에 수신되면, 상기 반사광을 수신한 제1 픽셀들의 위치에 기초하여 제1 거리를 판단하고,
    상기 주행부의 구동에 따라, 상기 반사광이 상기 제1 센서에 포함된 복수의 픽셀 중에서 제2 픽셀들에 수신되면, 상기 반사광을 수신한 제2 픽셀들의 위치에 기초하여 제2 거리를 판단하며,
    상기 제1 및 제2 거리의 차이를 연산하고,
    상기 연산에 의해 획득한 거리 및 상기 제2 센서를 통해 판단된 상기 전자 장치의 이동 거리에 기초하여, 상기 반사광이 물체에 의해 반사된 반사광인지 또는 상기 물체에 반사된 후 다른 물체에 의해 재반사된 반사광인지를 판단하는 프로세서;를 포함하는 전자 장치.
  2. 제1항에 있어서,
    상기 복수의 픽셀의 로우 별로 서로 다른 거리가 매칭된 거리에 대한 정보를 저장하는 메모리;를 더 포함하고,
    상기 프로세서는,
    상기 반사광을 수신한 제1 픽셀들의 로우 및 상기 거리에 대한 정보에 기초하여, 상기 제1 거리를 판단하고, 상기 반사광을 수신한 제2 픽셀들의 로우 및 상기 거리에 대한 정보에 기초하여, 상기 제2 거리를 판단하는, 전자 장치.
  3. 제1항에 있어서,
    상기 프로세서는,
    상기 연산에 의해 획득한 거리와 상기 제2 센서를 통해 판단된 상기 전자 장치의 이동 거리의 차이가 기설정된 임계 값 이하인 경우, 상기 반사광을 상기 물체에 의해 반사된 반사광으로 판단하고, 상기 연산에 의해 획득한 거리와 상기 제2 센서를 통해 판단된 상기 전자 장치의 이동 거리의 차이가 기설정된 임계 값을 초과하는 경우, 상기 반사광을 상기 다른 물체에 의해 재반사된 반사광으로 판단하는, 전자 장치.
  4. 제1항에 있어서,
    상기 프로세서는,
    상기 제1 센서에 포함된 복수의 픽셀 중에서, 기설정된 밝기 값 이상의 밝기 값을 가진 픽셀들을 상기 반사광을 수신한 픽셀로 판단하는, 전자 장치.
  5. 제1항에 있어서,
    상기 제1 센서에 포함된 복수의 픽셀은,
    반사광이 수신되는 양에 따라 상이한 크기의 전기적 신호를 출력하고,
    상기 프로세서는,
    상기 제1 센서에 포함된 복수의 픽셀 중에서 기설정된 크기 이상의 전기적 신호를 출력하는 픽셀들을 판단하고, 상기 판단된 픽셀들을 상기 반사광을 수신한 픽셀들로 판단하는, 전자 장치.
  6. 제1항에 있어서,
    상기 프로세서는,
    상기 제1 센서에 포함된 복수의 픽셀 중에서, 동일한 컬럼의 서로 다른 로우의 픽셀들에 반사광이 수신되는 경우, 상기 전자 장치의 이동 거리를 감지하기 위한 상기 제2 센서를 구동하는, 전자 장치.
  7. 전자 장치의 제어 방법에 있어서,
    광원에 의해 조사된 광에 기초하여 반사광이 제1 센서에 포함된 복수의 픽셀 중에서 제1 픽셀들에 수신되면, 상기 반사광을 수신한 제1 픽셀들의 로우에 기초하여 제1 거리를 판단하는 단계;
    주행부의 구동에 따라, 상기 반사광이 제1 센서에 포함된 복수의 픽셀 중에서 제2 픽셀들에 수신되면, 상기 반사광을 수신한 제2 픽셀들의 로우에 기초하여 제2 거리를 판단하는 단계;
    상기 제1 및 제2 거리의 차이를 연산하는 단계; 및
    상기 연산에 의해 획득한 거리 및 제2 센서를 통해 판단된 전자 장치의 이동 거리에 기초하여, 상기 반사광이 물체에 의해 반사된 반사광인지 또는 상기 물체에 의해 반사된 후 다른 물체에 의해 재반사된 반사광인지를 판단하는 단계;를 포함하는, 전자 장치의 제어 방법.
  8. 제7항에 있어서,
    상기 제1 거리를 판단하는 단계는,
    상기 반사광을 수신한 제1 픽셀들의 로우 및 상기 복수의 픽셀의 로우 별로 서로 다른 거리가 매칭된 거리에 대한 정보에 기초하여, 상기 제1 거리를 판단하고,
    상기 제2 거리를 판단하는 단계는,
    상기 반사광을 수신한 제2 픽셀들의 로우 및 상기 거리에 대한 정보에 기초하여, 상기 제2 거리를 판단하는, 전자 장치의 제어 방법.
  9. 제7항에 있어서,
    상기 판단하는 단계는,
    상기 연산에 의해 획득한 거리와 상기 제2 센서를 통해 판단된 상기 전자 장치의 이동 거리의 차이가 기설정된 임계 값 이하인 경우, 상기 반사광을 상기 물체에 의해 반사된 반사광으로 판단하고, 상기 연산에 의해 획득한 거리와 상기 제2 센서를 통해 판단된 상기 전자 장치의 이동 거리의 차이가 기설정된 임계 값을 초과하는 경우, 상기 반사광을 상기 다른 물체에 의해 재반사된 반사광으로 판단하는, 전자 장치의 제어 방법.
  10. 제7항에 있어서,
    상기 제1 센서에 포함된 복수의 픽셀 중에서, 기설정된 밝기 값 이상의 밝기 값을 가진 픽셀들을 상기 반사광을 수신한 픽셀로 판단하는 단계;를 더 포함하는, 전자 장치의 제어 방법.
  11. 제7항에 있어서,
    상기 제1 센서에 포함된 복수의 픽셀 중에서 기설정된 크기 이상의 전기적 신호를 출력하는 픽셀들을 판단하고, 상기 판단된 픽셀들을 상기 반사광을 수신한 픽셀들로 판단하는 단계;를 더 포함하는, 전자 장치의 제어 방법.
  12. 제7항에 있어서,
    상기 제1 센서에 포함된 복수의 픽셀 중에서, 동일한 컬럼의 서로 다른 로우의 픽셀들에 반사광이 수신되는 경우, 상기 전자 장치의 이동 거리를 판단하기 위해 상기 제2 센서를 구동하는 단계;를 더 포함하는, 전자 장치의 제어 방법.
  13. 전자 장치에 있어서,
    특정 패턴을 갖는 광을 조사하기 위한 광원;
    상기 광에 기초한 반사광을 수신하기 위한 센서; 및
    상기 광원에 의해 조사된 상기 광에 기초하여 반사광이 상기 센서에 수신되면, 상기 특정 패턴 및 상기 센서에 수신된 반사광이 갖는 패턴에 기초하여 상기 반사광이 물체에 의해 반사된 반사광인지 또는 상기 물체에 반사된 후 다른 물체에 의해 재반사된 반사광인지를 판단하는 프로세서;를 포함하는 전자 장치.
  14. 제13항에 있어서,
    상기 프로세서는,
    상기 반사광이 상기 특정 패턴을 갖는 경우, 상기 반사광을 상기 물체에 의해 반사된 반사광으로 판단하고, 상기 반사광이 상기 특정 패턴과 대칭된 패턴을 갖는 경우, 상기 반사광을 상기 다른 물체에 의해 재반사된 반사광으로 판단하는, 전자 장치.
  15. 제13항에 있어서,
    상기 특정 패턴은, 상하가 비대칭인 패턴, 좌우가 비대칭인 패턴 또는 상하좌우가 비대칭인 패턴 중 적어도 하나이고,
    상기 프로세서는,
    상기 반사광이 상기 특정 패턴과 대칭된 패턴을 갖는 경우, 상기 반사광을 상기 다른 물체에 의해 재반사된 반사광으로 판단하는, 전자 장치.
KR1020190151982A 2019-07-01 2019-11-25 전자 장치 및 그 제어 방법 KR20210003032A (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
US16/833,777 US11644571B2 (en) 2019-07-01 2020-03-30 Electronic apparatus and control method thereof
EP20834978.7A EP3935412B1 (en) 2019-07-01 2020-04-09 Electronic apparatus and control method thereof
CN202080042406.XA CN114026462A (zh) 2019-07-01 2020-04-09 电子设备及其控制方法
PCT/KR2020/004791 WO2021002569A1 (en) 2019-07-01 2020-04-09 Electronic apparatus and control method thereof

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020190078850 2019-07-01
KR20190078850 2019-07-01

Publications (1)

Publication Number Publication Date
KR20210003032A true KR20210003032A (ko) 2021-01-11

Family

ID=74129319

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190151982A KR20210003032A (ko) 2019-07-01 2019-11-25 전자 장치 및 그 제어 방법

Country Status (1)

Country Link
KR (1) KR20210003032A (ko)

Similar Documents

Publication Publication Date Title
US11644571B2 (en) Electronic apparatus and control method thereof
AU2016216750B2 (en) Cleaning robot and controlling method thereof
JP6949107B2 (ja) 経路を自律走行するようにロボットを訓練するためのシステムおよび方法
US11693427B2 (en) Plurality of autonomous mobile robots and controlling method for the same
US9563205B2 (en) Sensor configurations and methods for mobile robot
US11740625B2 (en) Plurality of autonomous mobile robots and controlling method for the same
US9675229B2 (en) Robot cleaner and method for controlling the same
US11435759B2 (en) Plurality of autonomous mobile robots and controlling method for the same
KR20110138975A (ko) 좌표 인식 장치 및 이를 포함하는 디스플레이 장치, 시큐리티 장치 및 전자 칠판
KR20200059666A (ko) 이동 장치 및 이동 장치의 객체 감지 방법
KR20070087759A (ko) 이동로봇의 주행제어장치 및 그 방법
US9013404B2 (en) Method and locating device for locating a pointing device
JP2020524856A (ja) 電磁放射線を用いた物体検出及び動き識別
RU2602829C2 (ru) Оценка признаков управления от устройства дистанционного управления с камерой
KR20210003032A (ko) 전자 장치 및 그 제어 방법
US20210132225A1 (en) Electronic apparatus and control method thereof
US11653808B2 (en) Robot cleaner and controlling method thereof
KR20130122151A (ko) 인터랙티브 디스플레이 디바이스 및 그 제어 방법
KR20140005516A (ko) 형상 측정 장치
KR20220047155A (ko) 전자 장치 및 그 제어 방법
KR102135369B1 (ko) 거리 검출 장치 및 그 방법
JP4924259B2 (ja) 位置検出装置及びこれを用いた電気機器、位置検出方法
KR20130119601A (ko) 레이저 거리 측정 장치
US20220120902A1 (en) Electronic apparatus and control method thereof
US20240094740A1 (en) Driving robot generating driving map and controlling method thereof

Legal Events

Date Code Title Description
A201 Request for examination