KR101431651B1 - 시각 장애인용 모바일 사진 촬영 장치 및 방법 - Google Patents
시각 장애인용 모바일 사진 촬영 장치 및 방법 Download PDFInfo
- Publication number
- KR101431651B1 KR101431651B1 KR1020130054416A KR20130054416A KR101431651B1 KR 101431651 B1 KR101431651 B1 KR 101431651B1 KR 1020130054416 A KR1020130054416 A KR 1020130054416A KR 20130054416 A KR20130054416 A KR 20130054416A KR 101431651 B1 KR101431651 B1 KR 101431651B1
- Authority
- KR
- South Korea
- Prior art keywords
- face
- unit
- photographing
- subject
- photographed
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 36
- 239000000203 mixture Substances 0.000 claims abstract description 29
- 230000033001 locomotion Effects 0.000 claims abstract description 14
- 230000001771 impaired effect Effects 0.000 claims description 29
- 238000001514 detection method Methods 0.000 claims description 23
- 230000008569 process Effects 0.000 claims description 12
- 239000000284 extract Substances 0.000 claims description 4
- 238000012795 verification Methods 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 8
- 230000004397 blinking Effects 0.000 description 5
- 238000012360 testing method Methods 0.000 description 5
- 238000000605 extraction Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000010606 normalization Methods 0.000 description 3
- 230000003247 decreasing effect Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 206010047571 Visual impairment Diseases 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 244000240602 cacao Species 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000015541 sensory perception of touch Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 208000029257 vision disease Diseases 0.000 description 1
- 230000004393 visual impairment Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/61—Control of cameras or camera modules based on recognised objects
- H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Tourism & Hospitality (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- General Health & Medical Sciences (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- Physics & Mathematics (AREA)
- General Business, Economics & Management (AREA)
- General Physics & Mathematics (AREA)
- Human Resources & Organizations (AREA)
- Theoretical Computer Science (AREA)
- Economics (AREA)
- Health & Medical Sciences (AREA)
- Studio Devices (AREA)
Abstract
시각 장애인용 모바일 사진 촬영 장치가 개시된다. 구도 설정부는 촬영 모드에서 뷰 파인더 내에 존재하는 피사체의 위치에 대한 좌측(left), 중앙(center) 및 우측(right)의 구도를 사전에 설정한다. 음성 피드백부는 구도 설정부에 의해 설정된 구도에 따른 피사체인 상대방의 상대적인 움직임에 따라 사진 촬영부의 움직임을 계산하여 음성 서비스를 제공한다. 사진 촬영부는 음성 피드백부에서 제공된 음성 서비스를 통해 상대방을 원하는 지점에 위치시켜 촬영한다. 얼굴 검출부는 촬영된 상대방의 피부색을 토대로 상기 상대방의 얼굴을 검출한다. 서버 인터페이스부는 서버와 연동하여 촬영된 사진에서 검출된 상대방의 얼굴을 토대로 상대방에 대한 정보 및 촬영된 사진에 대한 정보를 서버로부터 수신하여 사용자에게 음성 서비스를 제공한다. 본 발명에 따르면, 시각 장애인이 다른 사람의 도움없이 모바일 단말을 이용하여 사진을 촬영할 수 있도록 한다.
Description
본 발명은 시각 장애인용 모바일 사진 촬영 장치 및 방법에 관한 것으로, 더욱 상세하게는, 시각 장애인이 독립적으로 모바일 단말을 이용하여 사진 촬영을 할 수 있는 시각 장애인용 모바일 사진 촬영 장치 및 방법에 관한 것이다.
최근 다양한 사용자로부터 스마트폰의 편리함과 유용성이 입증되면서, 고급 사양의 스마트폰이 시장에 활발하게 보급되고 있다. 이러한 관련 산업의 확대와 기술의 발전에 따라 일반인은 물론 스마트폰을 사용하는 장애인들도 크게 늘어나고 있다. 특히 스마트폰의 보급 초기에는 스마트폰이 완전한 터치 기반의 인터페이스를 전제로 설계되었기 때문에 시각 장애인들의 반응은 다소 회의적이었다. 하지만 최근에 개발되는 스마트폰은 iOS의 보이스 오버(voice over), 안드로이드 OS의 스크린 리더(screen reader)와 같은 음성 안내 기능을 지원하고 있으며, 스마트폰을 이용한 사회 참여, 정보 접근 등에 있어 보다 편리하기 때문에 이를 사용하는 시각 장애인이 증가하고 있다.
최근에는 트위터(twitter)와 페이스북(facebook)과 같은 SNS, 다음 뮤직앱, 카카오톡, 지하철 안내 등과 같이 시각 장애인을 위한 간단하고 편리한 인터페이스와 음성 안내를 지원하는 어플리케이션도 많아졌으며, 스마트폰의 카메라를 이용한 물체 인식, 문자 인식 등의 어플리케이션도 등장하였다. 하지만 전체 스마트폰 어플리케이션 수에 비하면 시각 장애인을 위한 어플리케이션의 수는 극히 일부에 불과하다.
본 발명이 이루고자 하는 기술적 과제는, 시각 장애인이 다른 사람의 도움 없이 모바일 단말을 이용하여 사진을 촬영할 수 있는 시각 장애인용 모바일 사진 촬영 장치 및 방법을 제공하는 데 있다.
본 발명이 이루고자 하는 다른 기술적 과제는, 시각 장애인이 다른 사람의 도움 없이 모바일 단말을 이용하여 사진을 촬영할 수 있는 시각 장애인용 모바일 사진 촬영 장치 및 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공하는 데 있다.
상기의 기술적 과제를 달성하기 위한 본 발명에 따른 시각 장애인용 모바일 사진 촬영 장치는, 촬영 모드에서 뷰 파인더 내에 존재하는 피사체의 위치에 대한 좌측(left), 중앙(center) 및 우측(right)의 구도를 사전에 설정하는 구도 설정부; 상기 구도 설정부에 의해 설정된 구도에 따른 상기 피사체인 상대방의 상대적인 움직임에 따라 사진 촬영부의 움직임을 계산하여 음성 서비스를 제공하는 음성 피드백부; 상기 음성 피드백부에서 제공된 음성 서비스를 통해 상기 상대방을 원하는 지점에 위치시켜 촬영하는 사진 촬영부; 상기 촬영된 상대방의 피부색을 토대로 상기 상대방의 얼굴을 검출하는 얼굴 검출부; 및 서버와 연동하여 상기 촬영된 사진에서 검출된 상기 상대방의 얼굴을 토대로 상기 상대방에 대한 정보 및 상기 촬영된 사진에 대한 정보를 상기 서버로부터 수신하여 사용자에게 음성 서비스를 제공하는 서버 인터페이스부;를 구비한다.
상기의 다른 기술적 과제를 달성하기 위한 본 발명에 따른 시각 장애인용 모바일 사진 촬영 방법은, (a) 촬영 모드에서 뷰 파인더 내에 존재하는 피사체의 위치에 대한 좌측(left), 중앙(center) 및 우측(right)의 구도를 사전에 설정하는 구도 설정 단계; (b) 상기 (a) 단계에서 설정된 구도에 따른 상기 피사체인 상대방의 상대적인 움직임에 따라 사진 촬영부의 움직임을 계산하여 음성 서비스를 제공하는 음성 피드백 단계; (c) 상기 (b) 단계에서 제공된 음성 서비스를 통해 상기 상대방을 원하는 지점에 위치시켜 촬영하는 사진 촬영 단계; (d) 상기 촬영된 상대방의 피부색을 토대로 상기 상대방의 얼굴을 검출하는 얼굴 검출 단계; 및 (e) 서버와 연동하여 상기 촬영된 사진에서 검출된 상기 상대방의 얼굴을 토대로 상기 상대방에 대한 정보 및 상기 촬영된 사진에 대한 정보를 상기 서버로부터 수신하여 사용자에게 음성 서비스를 제공하는 단계;를 갖는다.
상기의 다른 기술적 과제를 달성하기 위한 본 발명에 따른 컴퓨터로 읽을 수 있는 매체는 상기한 방법 중 어느 하나를 컴퓨터에서 실행시키기 위한 프로그램을 기록한다.
본 발명에 따른 시각 장애인용 모바일 사진 촬영 장치 및 방법에 의하면, 시각 장애인이 다른 사람의 도움 없이 모바일 단말을 이용하여 사진을 촬영할 수 있도록 한다. 구체적으로, 실시간 얼굴 검출 및 인식 기능을 통해 시각 장애인은 촬영 과정에서 피사체의 위치 정보 등을 음성으로 안내받을 수 있으며, 자신이 원하는 구도의 사진을 촬영할 수 있다. 나아가, 촬영된 사진의 피사체의 블러, 눈 깜빡임 여부 등의 상태 정보를 제공받을 수 있고, 촬영된 사진을 촬영 장소, 촬영 날짜, 식별된 인물 이름 및 관련 정보, 음성 메모 등을 함께 앨범으로 저장할 수 있다.
도 1은 본 발명에 따른 시각 장애인용 모바일 사진 촬영 장치의 구성을 도시한 블록도,
도 2는 본 발명에 따른 얼굴 검출부의 구성을 도시한 도면,
도 3은 본 발명에 따른 시각 장애인용 모바일 사진 촬영 장치를 구현하기 위한 전체 시스템의 구성을 도시한 도면,
도 4는 본 발명에 따른 시각 장애인용 모바일 사진 촬영 방법을 도시한 흐름도,
도 5는 본 발명에 따른 얼굴 검출 과정을 도시한 흐름도,
도 6은 본 발명의 일실시예에 따른 얼굴 영역 검출 과정을 도시한 도면,
도 7은 눈이 떠진 얼굴 영상과 눈이 감긴 얼굴 영상에서 검출된 두 눈의 위치와 해당 영역에서 이진화된 영상의 수직 투영된 히스토그램을 도시한 도면,
도 8은 본 발명의 일실시예에 따른 블러 검출 과정을 도시한 도면,
도 9는 얼굴 검출 알고리즘을 비교한 결과를 도시한 도면,
도 10은 모바일 클라이언트 화면을 도시한 도면,
도 11은 클라이언트로부터 전송된 사진을 분석하는 서버를 도시한 도면, 그리고,
도 12는 일반인 블라인드 테스트와 실제 시각 장애인 테스트한 모습을 도시한 도면이다.
도 2는 본 발명에 따른 얼굴 검출부의 구성을 도시한 도면,
도 3은 본 발명에 따른 시각 장애인용 모바일 사진 촬영 장치를 구현하기 위한 전체 시스템의 구성을 도시한 도면,
도 4는 본 발명에 따른 시각 장애인용 모바일 사진 촬영 방법을 도시한 흐름도,
도 5는 본 발명에 따른 얼굴 검출 과정을 도시한 흐름도,
도 6은 본 발명의 일실시예에 따른 얼굴 영역 검출 과정을 도시한 도면,
도 7은 눈이 떠진 얼굴 영상과 눈이 감긴 얼굴 영상에서 검출된 두 눈의 위치와 해당 영역에서 이진화된 영상의 수직 투영된 히스토그램을 도시한 도면,
도 8은 본 발명의 일실시예에 따른 블러 검출 과정을 도시한 도면,
도 9는 얼굴 검출 알고리즘을 비교한 결과를 도시한 도면,
도 10은 모바일 클라이언트 화면을 도시한 도면,
도 11은 클라이언트로부터 전송된 사진을 분석하는 서버를 도시한 도면, 그리고,
도 12는 일반인 블라인드 테스트와 실제 시각 장애인 테스트한 모습을 도시한 도면이다.
이하에서 첨부의 도면들을 참조하여 본 발명에 따른 시각 장애인용 모바일 사진 촬영 장치 및 방법(이하, '모바일 사진 촬영 장치 및 방법'이라 함)의 바람직한 실시예에 대해 상세하게 설명한다.
본 발명에 따른 모바일 사진 촬영 장치 및 방법은 시각 장애인의 사회 참여, 일반인과 소통할 수 있는 교류 방법으로 사용될 수 있는 사진을 시각 장애인이 독립적으로 촬영할 수 있도록 돕는 새로운 사진 촬영 안내 시스템에 관한 것이다.
즉, 모바일 단말(예를 들어, 스마트폰)에 탑재된 카메라의 영상을 해석하여 사용자가 설정한 구도에 따라 뷰 파인더 상에 피사체(상대방)의 위치를 실시간 계산하고, TTS(Text To Speech) 엔진을 이용하여 음성으로 관련 내용을 안내한다. 또한, 사진을 촬영하면 서버와 연동하여 등록된 사람의 얼굴 식별, 눈 깜빡임, 블러(blur) 검출 등의 사진 정보가 제공되며, 재촬영이 필요한 경우 등을 사용자에게 알려줄 수 있다.
이때, 촬영된 사진은 단순한 이미지로서 앨범에 저장되는 것이 아니라 촬영한 지역, 시간, 촬영된 대상 인물의 인적 사항, 사용자 음성 메모 등의 다양한 정보가 함께 저장된다. 즉, 사용자는 시각 장애인이라는 특성상 직접 사진을 볼 수 없지만, 사진과 함께 저장된 정보들을 통해 촬영된 공간과 상황 등을 종합적으로 연상할 수 있도록 돕는다.
즉, 사진 촬영 인터페이스는 사용자가 촬영하려는 사람의 얼굴 위치를 실시간에 검출하도록 카메라의 움직임 정보를 촬영 중에 음성으로 안내하며, 촬영된 이미지에서 인물의 이름, 사진 상태 등의 정보를 피드백하는 촬영 후 안내 부분으로 구성된다.
도 1은 본 발명에 따른 시각 장애인용 모바일 사진 촬영 장치(100)의 구성을 도시한 블록도이고, 도 2는 본 발명에 따른 얼굴 검출부(500)의 구성을 도시한 도면이다.
도 1을 참조하면, 본 발명에 따른 시각 장애인용 모바일 사진 촬영 장치(100)는 구도 설정부(200), 음성 피드백부(300), 사진 촬영부(400), 얼굴 검출부(500) 및 서버 인터페이스부(600)를 포함한다.
구도 설정부(200)는 촬영 모드에서 뷰 파인더 내에 있는 피사체 위치에 대한 좌측, 중앙, 우측의 3가지 구도를 설정할 수 있다. 이때, 음성 피드백부(300)는 구도 설정부(200)에 의해 설정된 구도에 따른 피사체가 되는 상대방의 얼굴을 검출하고 사전에 설정한 구도에 따라 피사체를 적절한 지점에 위치하기 위해 필요한 카메라의 움직임을 사용자에게 음성으로 안내한다.
따라서 사진 촬영부(400)는 음성 피드백부(300)에서 제공된 음성 서비스를 토대로 상대방을 사용자가 원하는 위치에 위치시켜 촬영할 수 있다. 시각 장애인은 청각을 이용하여 상대방의 거리와 방향을 대략 추정할 수 있으며, 촬영하고자 하는 상대방이 일정 범위 내에 존재하는 상황을 전제로 한다.
얼굴 검출부(500)는 입력되는 영상에서 사람 얼굴을 검출하기 위해서는 먼저 피부색(skin color)을 이용하여 관심 영역(ROI: Region Of Interest)을 구한다. 검출된 얼굴 영역 내에 입술 부분이 존재하면 기울어진 입술의 각도를 인식하여 얼굴 후보 영상의 방향을 정규화한다. 그리고 Haar 분류기를 이용해 최종적으로 얼굴 영역을 검출한다. 도 2를 참조하면, 얼굴 검출부(500)는 피부 영역 추출부(510), 얼굴 후보 영역 추출부(520), 정규화부(530) 및 얼굴 검증부(540)를 포함한다.
피부 영역 추출부(510)는 상술한 바와 같이 피사체인 상대방의 피부색을 이용하여 관심 영역을 검출한다. 이때, YCbCr과 HSV 컬러 모델을 혼합하여 사용하며, 노이즈 등을 제거하기 위해 모폴로지(morphology)의 열기(opening) 연산과 미디언(median) 필터를 적용한다. 얼굴 후보 영역 추출부(520)는 검출된 관심 영역을 토대로 소정의 크기와 소정의 종횡비(aspect ratio)를 가진 얼굴 후보 영역을 추출한다. 일반적으로 사람의 얼굴은 임의의 거리에서 일정 크기와 종횡비를 가지기 때문에 검출된 후보 영역의 크기와 비율을 검사한다. 또한 후보 영역에서 입술 부분의 존재 여부를 추가로 조사하여, 입술이 있으면 정규화부(530)는 해당 기울기를 추출하여 회전된 후보 얼굴 영상의 기울기를 수평으로 정규화한다. 최종적으로 얼굴 검증부(540)는 피사체인 상대방의 눈과 코가 포함된 영상을 토대로 사전에 학습된 소정의 분류기(예를 들어, Haar 분류기)를 통해 얼굴 영역을 검증하여 얼굴을 검출한다. 카메라의 입력 영상으로부터 정규화된 얼굴 후보 영역을 추출하는 과정은 도 5에 도시되어 있다.
얼굴 후보군 추출에 사용된 YCbCr(Y는 휘도 성분이며, Cb와 Cr은 색차 성분임)과 HSV(H는 색상(hue), S는 채도(saturation), V는 명도(value)를 의미) 모델의 컬러 영역 정보는 아래 수학식 1과 같이 나타낼 수 있고, 입술 영역을 추출하기 위해 사용된 HSV 영역은 아래 수학식 2와 같이 나타낼 수 있다. 컬러 영역 정보는 RGB, YCbCr, HSV 모델 등으로 각각 표현될 수 있는데, RGB 정보만을 사용하면 정확하게 영역을 검출하기 어렵다. 따라서 피부 영역(skin area) 및 입술 영역(lip area)을 정확하게 추출하기 위해서는, 기존 방법을 참고하여 YCbCr에서 두 채널, 그리고 HSV 모델에서 두 채널을 각각 이용한다. 아래 수학식 1에 기재된 피부 영역은 Cr, Cb 그리고 H, S 정보가 해당 범위 내에 있는 교집합 영역으로 판단하며, 아래 수학식 2에 기재된 입술 영역은 H, S 정보를 이용해 판단하되, H 영역의 합집합과 S 영역의 교집합으로 결정된다.
여기서, 
는 각 픽셀 값을 의미한다.
도 6을 참조하면, 입력 영상의 컬러 정보를 이용하여 검출된 얼굴 영역이 도시되어 있다. 도 6의 (b)는 상기 수학식 1을 통해 추출된 영역이며, 얼굴의 후보 영역에 대해 수학식 2로 얻어진 입술 영역은 (d)에 도시되어 있다. Haar 분류기는 도 6의 (e)와 같이 얼굴이 기울어진 경우에 해당 영역을 정확하게 검출하지 못하는 결과도 발생한다. 그러나 컬러 정보로부터 얻어진 얼굴 후보 영역에서 입술 영역을 찾고 기울기를 수평이 되도록 정규화한 후 얼굴 검출기를 적용하면, 보다 안정적인 결과를 얻을 수 있다. 이처럼 얼굴의 기울기를 이용해 회전된 얼굴을 정규화하는 과정은 이후 PCA(Principle Component Analysis)를 이용한 얼굴 인식기에서 유용하게 사용될 수 있다.
즉, 상술한 바와 같이 촬영 중 피사체인 상대방의 위치에 따라 카메라의 움직임을 안내하기 위해서 검출된 얼굴의 위치를 이용한다. 뷰 파인더에서 피사체의 위치를 왼쪽, 가운데, 오른쪽에 각각 위치시키는 사전 구도를 사용자가 설정한다. 전방에 위치한 피사체를 설정된 구도에 따라 위치하도록 상대적인 카메라 움직임을 계산하여 TTS(Text To Speech)를 통해 사용자에게 전달한다. 설정된 구도가 '가운데 구도'일 경우 안내되는 음성 내용은 아래 표 1과 같다.
| 설정 구도 | 피사체 위치 | 음성 안내 |
| 중앙 | 좌측 | "카메라를 왼쪽으로 움직여 주세요" |
| 중앙 | 중앙 | "가운데 구도가 맞습니다. 사진을 촬영해 주세요" |
| 중앙 | 우측 | "카메라를 오른쪽으로 움직여 주세요" |
촬영 중 적용되는 얼굴 검출 알고리즘은 JNI(Java Native Interface)를 이용해 안드로이드 환경 스마트 폰에 포팅할 수 있으며, 촬영 모드에서 실시간으로 피사체의 얼굴을 검출할 수 있다.
또한, 도 2 내지 도 4를 참조하면, 본 발명에 따른 모바일 사진 촬영 장치(100)는 서버 인터페이스부(600)를 통해 서버(700)와 연동하여 촬영된 사진에서 검출된 상대방의 얼굴을 토대로 상대방에 대한 정보 및 촬영된 사진에 대한 정보를 사용자에게 제공할 수 있다. 즉, 서버(700)는 촬영된 영상으로부터 인물을 식별하여 그 사람의 이름, 눈 깜빡임(blink) 여부, 블러 발생 등을 체크하여 사용자에게 피드백 할 수 있다. 이때, 서버(700)는 사전에 저장해둔 DB를 통해서 촬영된 영상에 존재하는 인물을 PCA 알고리즘을 이용하여 식별할 수 있고, 사전에 얼굴을 등록한 인물 데이터베이스에서 가장 유사한 사람으로 판단할 수 있다. 즉, 촬영된 영상에 존재하는 인물이 인물 데이터베이스와 일치하는 사람이 없는 경우, 새로운 인물 데이터로 인물 데이터베이스에 등록시킬 수 있다. 다만, 상술한 서버(700)의 기능을 모바일 단말 내 실행 중인 본 발명에 따른 모바일 사진 촬영 장치에서 구현되도록 할 수 있다.
촬영 영상에서 피사체가 눈을 감았는지를 검출하기 위해서는 검출된 얼굴에서 Haar 분류기를 이용하여 눈 영역을 검출한다. 그리고 해당 영역에 대한 이진화 작업과 수직 투영된 히스토그램을 분석하여 눈 깜빡임 여부를 검출한다. 도 7은 각각 눈을 뜬 경우와 감은 상황에서 검출된 두 눈의 위치와 해당 영역에서 이진화된 영상을 수직 투영한 히스토그램을 도시하고 있다.
블러 검출은 영상의 에지 성분의 변화율을 이용하여 검출한다. 촬영된 영상의 크기를 1/2, 1/4로 각각 축소하였을 때 에지의 증가율을 분석하여 이용해 불러의 발생 여부를 판단한다.
즉, 블러가 있는 영상은 영상의 크기를 축소하면, 에지의 성분이 강해지는 특성이 있다. 또한 블러가 없는 경우, 영상을 축소하면 에지의 크기는 같거나 줄어든다. 블러 검출에는 이러한 에지 영상의 성질을 이용한다.
도 8은 블러가 없는 경우 입력 영상 (a)의 에지 영상 (b)에 대해 동일한 개수의 윈도우 영역으로 나눈 다음, 각 영역에서 임계치 이상의 가장 높은 에지의 성분을 각각 원본과 같은 크기, 1/2, 1/4 크기로 변환하여 (c)에 각각 도시하고 있다. 또한, 블러가 발생한 (d)의 경우 에지 영상 (e)에 대해 변환된 에지 영상을 (f)에 도시하고 있다. 실험 결과로부터 블러가 없는 경우, 에지의 개수가 감소하였으며, 블러가 있는 영상은 에지가 증가함을 확인하였다.
서버(700)는 모바일 단말인 클라이언트로부터 전송받은 영상을 분석한 다음, 촬영된 영상에 대한 안내 정보를 처리하고 이 정보를 다시 클라이언트로 전송한다. 사용자는 촬영 후 피드백을 통해 사진의 촬영 상태를 파악할 수 있으며, 문제가 있는 경우에는 재촬영할 수 있다. 촬영 후 안내되는 음성 내용은 아래 표 2와 같다.
| 영상 상태 | 음성 안내 |
| 등록된 인물 존재 | "ooo님이 촬영되셨습니다." |
| 인물의 눈 깜빡임 | "눈을 감으셨습니다." |
| 블러 영상 | "사진이 흔들렸습니다." |
다만, 최근 모바일 단말의 계산 성능과 저장 능력이 급격하게 발전하고 있으므로, 상술한 처리 과정을 서버(700)에 연계하지 않고 실시간 처리할 수 있는 스탠드 얼론(stand-alone) 방식으로 구현할 수 있다.
또한, 본 발명에 따른 모바일 사진 촬영 장치(100)는 앨범보기 인터페이스를 제공할 수 있다. 앨범 보기 인터페이스는 시각 장애인에 의해 촬영된 사진의 촬영 지역, 촬영 일시, 촬영된 인물의 신상 정보, 촬영 과정에서 동시에 추가한 음성 메모 등의 상세한 태그(tag) 정보를 음성으로 사용자에게 전달할 수 있다. 즉, 이는 서버 인터페이스부(600)가 서버(700)로부터 상술한 정보들을 수신하여 사용자에게 음성 서비스로 제공한다.
시각 장애인은 본인이 사진 촬영을 했지만, 그 사진을 실제로 보거나 확인할 수 없기 때문에 본 발명을 통해 사진을 촬영했을 때, GPS(Global Positioning System)를 통해 얻은 지역 정보, 현재시간, 인식된 인물 정보 등을 사진과 함께 저장한다. 따라서 사용자가 추후에 다시 사진을 보고 싶을 때, 저장된 정보를 통해 사진을 찍었던 당시의 순간을 기억하도록 도울 수 있다.
본 발명에 따른 시각 장애인용 모바일 사진 촬영 방법을 테스트해보기 위해 안드로이드 OS 기반의 Quad-core 1.6 GHz Cortex-A9 cpu와 5.5인치 1280x720 디스플레이, 800만 화소의 카메라를 탑재한 Galaxy Note2, Intel Quad0core 2.67 GHz Q9400 cpu의 HP Workstation에서 OpenCV를 이용하여 구현하였다.
또한, 본 발명에 따른 모바일 사진 촬영 방법은 모바일 단말인 클라이언트와 서버에 각각 적용되어 사용될 수 있다. 본 발명의 특성상 실시간 얼굴 검출과 얼굴의 회전 정도를 알 수 있도록 구현하였다. 도 9는 얼굴 검출 알고리즘을 비교한 결과 영상이 도시되어 있다(표 3 및 표 4 참조).
| Haar 알고리즘 검출율(%) | 본 발명 검출율(%) | |
| 회 전 (25개) | 32 | 84 |
| 무회전(25개) | 72 | 88 |
| 합 계 (50개) | 52 | 86 |
| Haar 알고리즘 수행시간(ms) | 본 발명 수행시간(ms) | |
| 피부 영역 추출 | - | 88.6058 |
| 얼굴후보영역 추출 | - | 52.2203 |
| 이미지 정규화 및 얼굴 검출 | - | 224.887 |
| 합계 | 654.164 | 365.713 |
본 발명에서는 보다 많은 사용자가 다양하게 사용하고 있는 안드로이드 환경의 모바일 기기를 클라이언트로 선택하였다. 메인 화면은 도 10의 (a)와 같이 시각 장애인의 선택이 편리하도록 메뉴 버튼을 크게 설정하였으며, 각 버튼의 크기와 간격은 이후 사용자의 체험 등을 통해 조정할 수 있다.
도 10의 (b)는 피사체의 구도 설정 화면이며, 왼쪽, 중앙, 오른쪽의 세 가지 구도 설정 모드가 제공된다. 구도 설정은 촬영 중에 사용자가 원하면, 수시로 변경이 가능하다. (c)는 사진을 촬영하기 이전의 디스플레이 화면으로, 실시간 얼굴 검출을 통해 피사체의 위치 파악과 얼굴의 각도 등을 계산할 수 있다. 이를 설정된 구도에 따라 상대적으로 계산하여 TTS를 통해 촬영 중인 사용자에게 전달한다. (d)는 앨범 화면이며, 촬영 당시의 GPS 위치 정보, 날짜, 시간, 촬영된 인물 정보, 사용자가 기록한 음성 메모 등을 촬영된 사진과 함께 저장한다.
사진과 함께 저장된 정보가 많으면 TTS로 내용을 전달하는 데 많은 시간이 소요되기 때문에 다음의 두 단계에 걸쳐 정보를 제공한다. 첫 번째는 도 10의 (d)와 같이 전체 앨범을 미리 보는 화면에서 사진을 터치하면 지역 정보, 날짜, 촬영된 인물 이름이 제공된다. 두 번째 단계에서 미리보기 화면에서 보고자 하는 사진을 롱 클릭(길게 누름)하면 해당 사진을 전체 화면으로 확인할 수 있으며, 촬영하는 사람이 녹음했던 음성 메모가 재생되도록 하였다. 앨범보기 모드에서 사진의 접근 방식을 두 단계로 구분하면, 사용자에게 전달해야 하는 음성 정보가 많더라도 빠르게 사진을 열람할 수 있는 장점이 있다.
서버는 다수의 클라이언트에 대해 동시에 서비스하도록 설계되었으며, 클라이언트에서 전송된 사진 정보를 분석하여 다시 해당 클라이언트에 관련 정보를 전달한다. 서버에 접속되는 클라이언트, 즉, 모바일 기기들은 고유한 기기 번호를 가지고 있으며, 이 기기 번호를 식별자로 MySQL(MyStructured Query Language)을 이용해 데이터베이스를 구성하였다. 보다 구체적으로 전송받은 사진, 얼굴 인식을 위해 등록된 인물 사진 등을 관리할 수 있는 경로명이 데이터베이스에 입력된다.
도 11은 클라이언트로부터 전송된 사진을 분석하는 서버이며 검출된 얼굴, 식별된 사람의 이름, 사진의 상태(블러 및 눈 깜빡임의 유무, 평균 거리 등), 로그 등의 정보를 모니터링할 수 있도록 구성하였다. 다양한 일반인 블라인드 테스트와 실제로 각 시각 장애인들이 본 발명을 이용하여 성능과 활용도 등을 검증하였으며, 촬영 과정은 도 12에 도시되어 있다.
즉, 본 발명에 따른 시각 장애인용 모바일 사진 촬영 방법은 시각 장애인이 다른 사람의 도움 없이 모바일 단말을 이용하여 사진을 촬영하도록 지원한다. 실시간 얼굴 검출 및 인식 기능을 통해 사용자는 촬영 과정에서 피사체의 위치 정보 등을 음성으로 안내받을 수 있으며, 자신이 원하는 구도의 사진을 촬영할 수 있다. 또한, 촬영된 사진의 피사체의 블러, 눈 깜빡임 여부 등의 상태 정보를 제공받을 수 있다. 촬영된 사진은 추가적으로 촬영 장소, 촬영 일시, 식별된 인물 이름 및 관련 정보, 음성 메모 등을 함께 앨범에 저장할 수 있다. 이를 통해 실제로 사진을 볼 수 없는 시각 장애인이 촬영 당시의 주변, 상황, 느낌 등을 떠올릴 수 있는 중요한 자료로 이용될 수 있다.
본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한, 컴퓨터가 읽을 수 있는 기록매체는 유무선 통신망으로 연결된 컴퓨터 시스템에 분산되어 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
이상에서 본 발명의 바람직한 실시예에 대해 도시하고 설명하였으나, 본 발명은 상술한 특정의 바람직한 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변형 실시가 가능한 것은 물론이고, 그와 같은 변경은 청구범위 기재의 범위 내에 있게 된다.
100 : 시각 장애인용 모바일 사진 촬영 장치
200 : 구도 설정부
300 : 음성 피드백부
400 : 사진 촬영부
500 : 얼굴 검출부
600 : 서버 인터페이스부
700 : 서버
200 : 구도 설정부
300 : 음성 피드백부
400 : 사진 촬영부
500 : 얼굴 검출부
600 : 서버 인터페이스부
700 : 서버
Claims (9)
- 촬영 모드에서 뷰 파인더 내에 존재하는 피사체의 위치에 대한 구도를 사전에 설정하는 구도 설정부;
상기 구도 설정부에 의해 설정된 구도에 따라 상기 피사체인 상대방의 위치를 안내하기 위해 필요한 카메라의 움직임을 음성으로 안내하는 음성 피드백부;
상기 음성 피드백부에서 제공된 음성 서비스를 토대로 상기 상대방을 원하는 지점에 위치시켜 촬영하기 위한 사진 촬영부;
상기 촬영된 상기 상대방의 얼굴을 검출하는 얼굴 검출부; 및
서버에 의해 처리되거나 또는 상기 서버에 연계하지 않고 스탠드얼론(stand-alone) 방식으로 실시간 처리된 안내정보를 상기 음성 피드백부가 음성으로 안내할 수 있도록 제공하는 인터페이스부;를 포함하며,
상기 안내정보는, 촬영된 사진의 촬영지역, 촬영일시, 촬영된 인물의 신상정보, 촬영과정에서 추가된 음성메모 중 적어도 어느 하나를 포함하는 태그정보를 포함하는 것을 특징으로 하는 시각 장애인용 모바일 사진 촬영 장치. - 제 1항에 있어서,
상기 얼굴 검출부는,
상기 촬영된 상대방의 피부색(skin color)을 이용해 관심 영역(ROI : Region Of Interest)을 검출하는 피부 영역 추출부;
상기 검출된 관심 영역을 토대로 소정의 크기와 소정의 종횡비(aspect ratio)를 가진 얼굴 후보 영역을 추출하는 얼굴 후보 영역 추출부;
상기 추출된 얼굴 후보 영역 내에 입술이 존재하면 상기 입술의 기울어진 각도를 인식하여 상기 얼굴 후보 영상의 기울기를 수평으로 정규화하는 정규화부; 및
사전에 학습된 소정의 Haar 분류기를 이용해 최종적으로 얼굴 영역을 검증하여 얼굴을 검출하는 얼굴 검증부;를 포함하는 것을 특징으로 하는 시각 장애인용 모바일 사진 촬영 장치. - 제 2항에 있어서,
상기 피부 영역 추출부는 YCbCr과 HSV 컬러 모델을 혼합하여 피부 영역을 추출하고 모폴로지(morphology)의 열기(opening) 연산과 미디언(median) 필터를 적용하여 노이즈를 제거하는 것을 특징으로 하는 시각 장애인용 모바일 사진 촬영 장치. - 삭제
- 시각 장애인용 모바일 사진 촬영 장치에 의해 수행되는 모바일 사진 촬영 방법에 있어서,
(a) 촬영 모드에서 뷰 파인더 내에 존재하는 피사체의 구도를 사전에 설정하는 구도 설정 단계;
(b) 상기 (a) 단계에서 설정된 구도에 따라 상기 피사체인 상대방의 위치를 안내하기 위해 필요한 카메라의 움직임을 음성으로 안내하는 음성 피드백 단계;
(c) 상기 (b) 단계에서 제공된 음성 서비스를 토대로 상기 상대방을 원하는 지점에 위치시켜 촬영하는 사진 촬영 단계;
(d) 상기 촬영된 상기 상대방의 얼굴을 검출하는 얼굴 검출 단계; 및
(e) 서버에 의해 처리되거나 또는 상기 서버에 연계하지 않고 스탠드얼론(stand-alone) 방식으로 실시간 처리된 안내정보를 사용자에게 음성으로 안내하는 음성 서비스를 제공하는 단계;를 포함하며,
상기 안내정보는, 촬영된 사진의 촬영지역, 촬영일시, 촬영된 인물의 신상정보, 촬영과정에서 추가된 음성메모 중 적어도 어느 하나를 포함하는 태그정보를 포함하는 것을 특징으로 하는 시각 장애인용 모바일 사진 촬영 방법. - 제 5항에 있어서,
상기 (d) 단계는,
(d1) 상기 촬영된 상대방의 피부색(skin color)을 이용해 관심 영역(ROI : Region Of Interest)을 검출하는 피부 영역 추출 단계;
(d2) 상기 검출된 관심 영역을 토대로 소정의 크기와 소정의 종횡비(aspect ratio)를 가진 얼굴 후보 영역을 추출하는 얼굴 후보 영역 추출 단계;
(d3) 상기 추출된 얼굴 후보 영역 내에 입술이 존재하면 상기 입술의 기울어진 각도를 인식하여 상기 얼굴 후보 영상의 기울기를 수평으로 정규화하는 정규화 단계; 및
(d4) 사전에 학습된 소정의 Haar 분류기를 이용해 최종적으로 얼굴 영역을 검증하여 얼굴을 검출하는 얼굴 검증 단계;를 포함하는 것을 특징으로 하는 시각 장애인용 모바일 사진 촬영 방법. - 제 6항에 있어서,
상기 (d1) 단계는 YCbCr과 HSV 컬러 모델을 혼합하여 피부 영역을 추출하고 모폴로지(morphology)의 열기(opening) 연산과 미디언(median) 필터를 적용하여 노이즈를 제거하는 것을 특징으로 하는 시각 장애인용 모바일 사진 촬영 방법. - 삭제
- 제 5항 내지 제 7항 중 어느 한 항에 기재된 시각 장애인용 모바일 사진 촬영 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020130054416A KR101431651B1 (ko) | 2013-05-14 | 2013-05-14 | 시각 장애인용 모바일 사진 촬영 장치 및 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020130054416A KR101431651B1 (ko) | 2013-05-14 | 2013-05-14 | 시각 장애인용 모바일 사진 촬영 장치 및 방법 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR101431651B1 true KR101431651B1 (ko) | 2014-08-22 |
Family
ID=51750781
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020130054416A KR101431651B1 (ko) | 2013-05-14 | 2013-05-14 | 시각 장애인용 모바일 사진 촬영 장치 및 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101431651B1 (ko) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101921162B1 (ko) * | 2017-09-20 | 2018-11-22 | 충북대학교 산학협력단 | 시각 장애인용 영상 정보 처리 시스템 |
| US10691402B2 (en) | 2014-09-02 | 2020-06-23 | Samsung Electronics Co., Ltd. | Multimedia data processing method of electronic device and electronic device thereof |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005269562A (ja) | 2004-03-22 | 2005-09-29 | Fuji Photo Film Co Ltd | 撮影装置 |
| JP2006074368A (ja) | 2004-09-01 | 2006-03-16 | Nikon Corp | 電子カメラ |
| KR100840023B1 (ko) * | 2007-11-13 | 2008-06-20 | (주)올라웍스 | 셀프 촬영 시 얼굴의 구도를 잡도록 도와주는 방법 및시스템 |
| KR20110089655A (ko) * | 2010-02-01 | 2011-08-09 | 삼성전자주식회사 | 촬영 구도를 유도하는 디지털 영상 촬영 장치 및 방법 |
-
2013
- 2013-05-14 KR KR1020130054416A patent/KR101431651B1/ko active IP Right Grant
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005269562A (ja) | 2004-03-22 | 2005-09-29 | Fuji Photo Film Co Ltd | 撮影装置 |
| JP2006074368A (ja) | 2004-09-01 | 2006-03-16 | Nikon Corp | 電子カメラ |
| KR100840023B1 (ko) * | 2007-11-13 | 2008-06-20 | (주)올라웍스 | 셀프 촬영 시 얼굴의 구도를 잡도록 도와주는 방법 및시스템 |
| KR20110089655A (ko) * | 2010-02-01 | 2011-08-09 | 삼성전자주식회사 | 촬영 구도를 유도하는 디지털 영상 촬영 장치 및 방법 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10691402B2 (en) | 2014-09-02 | 2020-06-23 | Samsung Electronics Co., Ltd. | Multimedia data processing method of electronic device and electronic device thereof |
| KR101921162B1 (ko) * | 2017-09-20 | 2018-11-22 | 충북대학교 산학협력단 | 시각 장애인용 영상 정보 처리 시스템 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108197586B (zh) | 脸部识别方法和装置 | |
| EP3179408B1 (en) | Picture processing method and apparatus, computer program and recording medium | |
| WO2017181769A1 (zh) | 一种人脸识别方法、装置和系统、设备、存储介质 | |
| JP2020523665A (ja) | 生体検出方法及び装置、電子機器並びに記憶媒体 | |
| WO2021031609A1 (zh) | 活体检测方法及装置、电子设备和存储介质 | |
| WO2021027537A1 (zh) | 一种拍摄证件照的方法、装置、设备及存储介质 | |
| CN105654039B (zh) | 图像处理的方法和装置 | |
| CN105472239B (zh) | 照片处理方法及装置 | |
| CN105069083B (zh) | 关联用户的确定方法及装置 | |
| US20090174805A1 (en) | Digital camera focusing using stored object recognition | |
| CN108280418A (zh) | 脸部图像的欺骗识别方法及装置 | |
| CN110287671B (zh) | 验证方法及装置、电子设备和存储介质 | |
| JP2006115406A (ja) | 撮像装置 | |
| CN105303161A (zh) | 一种多人拍照的方法及装置 | |
| US11941804B2 (en) | Wrinkle detection method and electronic device | |
| CN106464803A (zh) | 增强的图像捕获 | |
| WO2021047069A1 (zh) | 人脸识别方法和电子终端设备 | |
| US20160277707A1 (en) | Message transmission system, message transmission method, and program for wearable terminal | |
| WO2019213818A1 (zh) | 拍摄控制方法及电子装置 | |
| US10698297B2 (en) | Method for automatically focusing on specific target object, photographic apparatus including automatic focus function, and computer readable storage medium for storing automatic focus function program | |
| JP2020505705A (ja) | 特徴画像を習得するための方法およびデバイスならびにユーザー認証方法 | |
| CN111526287A (zh) | 图像拍摄方法、装置、电子设备、服务器、系统及存储介质 | |
| JP2019118021A (ja) | 撮影制御システム、撮影制御方法、プログラムおよび記録媒体 | |
| JP2019186791A (ja) | 撮像装置、撮像装置の制御方法、および制御プログラム | |
| KR101431651B1 (ko) | 시각 장애인용 모바일 사진 촬영 장치 및 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| FPAY | Annual fee payment |
Payment date: 20170626 Year of fee payment: 4 |
|
| FPAY | Annual fee payment |
Payment date: 20180625 Year of fee payment: 5 |
|
| FPAY | Annual fee payment |
Payment date: 20190701 Year of fee payment: 6 |