KR102552966B1 - 휴대용 단말기 및 그 구동 방법 - Google Patents

휴대용 단말기 및 그 구동 방법 Download PDF

Info

Publication number
KR102552966B1
KR102552966B1 KR1020180160890A KR20180160890A KR102552966B1 KR 102552966 B1 KR102552966 B1 KR 102552966B1 KR 1020180160890 A KR1020180160890 A KR 1020180160890A KR 20180160890 A KR20180160890 A KR 20180160890A KR 102552966 B1 KR102552966 B1 KR 102552966B1
Authority
KR
South Korea
Prior art keywords
portable terminal
image sensor
driving
illuminance
front camera
Prior art date
Application number
KR1020180160890A
Other languages
English (en)
Other versions
KR20200072845A (ko
Inventor
황종희
이부열
김은정
Original Assignee
엘지디스플레이 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지디스플레이 주식회사 filed Critical 엘지디스플레이 주식회사
Priority to KR1020180160890A priority Critical patent/KR102552966B1/ko
Publication of KR20200072845A publication Critical patent/KR20200072845A/ko
Application granted granted Critical
Publication of KR102552966B1 publication Critical patent/KR102552966B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2201/00—Electronic components, circuits, software, systems or apparatus used in telephone systems
    • H04M2201/34—Microprocessors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/52—Details of telephonic subscriber devices including functional features of a camera
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Studio Devices (AREA)

Abstract

본 발명은 휴대용 단말기 및 그 구동 방법에 관한 것으로, 더욱 상세하게는 휴대용 단말기의 전면에 실장된 전면 카메라로부터 조도 정보를 효율적으로 측정하는 방법을 제시함으로써, 휴대용 단말의 조도센서를 전면 카메라에 통합할 수 있는 휴대용 단말기 및 그 구동 방법에 관한 것이다.

Description

휴대용 단말기 및 그 구동 방법{Mobile terminal and driving method thereof}
본 발명은 휴대용 단말기 및 그 구동 방법에 관한 것으로, 더욱 상세하게는 휴대용 단말기의 전면에 실장된 전면 카메라로부터 조도 정보를 효율적으로 측정하는 방법을 제시함으로써, 휴대용 단말의 조도센서를 전면 카메라에 통합할 수 있는 휴대용 단말기 및 그 구동 방법에 관한 것이다.
반도체 기술과 디스플레이 기술 등의 발전에 힘입어 최근 휴대용 단말기는 Full Screen Display로 진화하고 있다.
한편, 휴대용 단말기 전면에 실장된 전면 카메라, 근접 센서, 조도 센서는 광학 방식이므로 불투명한 부분인 디스플레이 Active 영역에는 배치가 불가능하다. 그 결과, 광학기기인 전면 카메라, 근접 센서, 조도 센서의 배치를 위한 공간인 Bezel 영역이 존재하게 되고, 이는 Full Screen Display를 구현하는데 장애가 된다.
이를 극복하기 위한 방법으로서, 불투명한 부분인 디스플레이 Active 영역에 투과율을 확보하기 위한 홀(Hole)을 구성하고 Bezel에 배치된 광학기기를 홀 영역에 배치하여 Bezel 영역을 축소하는 방법이 있다.
그러나 전면 카메라, 근접 센서, 조도 센서를 배치하기 위하여 3개 이상의 홀이 필요하거나 홀 사이즈가 크게 되는 문제점이 존재한다.
전술한 배경기술은 발명자가 본 발명의 도출을 위해 보유하고 있었거나, 본 발명의 도출 과정에서 습득한 기술 정보로서, 반드시 본 발명의 출원 전에 일반 공중에게 공개된 공지기술이라 할 수는 없다.
본 발명은 전술한 문제를 해결하기 위하여 안출된 것으로, 휴대용 단말기에 실장된 전면 카메라에 조도 센서 기능을 통합하는 방법을 제시함으로써, 홀 개수 또는 홀 사이즈를 최소화하여 휴대용 단말기의 Full Screen Display를 구현하는데 목적이 있다.
전술한 과제를 해결하기 위한 수단으로, 본 발명은 다음과 같은 특징이 있는 실시예를 가진다.
본 발명은, 휴대용 단말기의 전면 방향의 피사체를 촬영하는 전면 카메라; 상기 전면 카메라에서 출력되는 디지털 감지영상신호를 신호 처리하는 이미지 신호 처리부; 및 상기 전면 카메라의 동작 모드를 조도측정 모드 또는 카메라 모드로 결정하고, 조도측정 모드 시에는 상기 이미지 신호 처리부로부터 영상 신호를 수신하여 조도정보를 추출하는 중앙처리부; 를 포함하는 것을 특징으로 한다.
상기 전면 카메라는 수광된 빛을 전기신호로 변환하는 이미지 센서를 포함하고, 조도측정 모드 시에 상기 중앙처리부는 상기 이미지 센서의 일부 영역을 선택하여 구동하는 것을 특징으로 한다.
조도측정 모드 시에 상기 중앙처리부가 선택하여 구동하는 상기 이미지 센서의 상기 일부 영역은 녹색 광을 감지하는 G(green) 픽셀만으로 이루어진 것을 특징으로 한다.
또한, 조도측정 모드 시에 상기 중앙처리부가 선택하여 구동하는 상기 이미지 센서의 상기 일부 영역은 G 픽셀의 일부로 구성된 것을 특징으로 한다.
또한, 상기 휴대용 단말기는 휴대용 단말기의 기울기 정보를 검출하는 기울기 측정 센서를 포함하고, 상기 중앙처리부는 상기 기울기 측정 센서로부터 수신한 상기 휴대용 단말기의 기울기 정보를 활용하여 상기 이미지 센서에 빛이 집중되는 영역을 선택하여 구동하는 것을 특징으로 한다.
또한, 조도측정 모드 시에 상기 중앙처리부는 상기 이미지 센서의 상기 일부 영역으로 선택된 픽셀을 동시에 구동하는 것을 특징으로 한다.
또한, 조도측정 모드 시에 상기 중앙처리부는 상기 이미지 센서의 상기 일부 영역으로 선택된 픽셀을 순차적으로 구동하는 것을 특징으로 한다.
또한, 본 발명은, 휴대용 단말기의 전면 방향의 피사체를 촬영하는 전면 카메라가 조도측정 모드 또는 카메라 모드로 동작하는 휴대용 단말기의 구동 방법에 있어서, 상기 전면 카메라가 조도측정 모드로 동작될 경우, 상기 조도측정 모드 동작조건으로 휴대용 단말기의 전면 카메라를 세팅하는 단계; 상기 조도측정 모드 동작조건하에서 전면 카메라로 촬영하여 디지털 감지영상신호를 생성하는 감지영상신호 생성 단계; 및 상기 디지털 감지영상신호로부터 조도에 대한 정보를 추출하는 조도 정보 추출 단계; 를 포함하는 것을 특징으로 한다.
상기 감지영상신호 생성 단계는 복수의 픽셀(pixel) 그룹이 2차원 매트릭스 형태로 배열된 이미지 센서를 구동하는데 있어서, 이미지 센서의 일부 영역을 선택하여 구동하는 것을 특징으로 한다.
상기 감지영상신호 생성 단계는 휴대용 단말기의 기울기 정보를 검출하는 기울기 측정 단계; 및 휴대용 단말기의 기울기 정보를 활용하여 이미지 센서에 빛이 집중되는 영역을 선택하여 구동하는 선택 구동단계; 를 포함하는 것을 특징으로 한다.
상기 감지영상신호 생성 단계는 상기 이미지 센서의 상기 일부 영역으로 선택된 픽셀을 동시에 또는 순차적으로 구동하는 것을 특징으로 한다.
본 발명은 휴대용 단말기에 실장된 전면 카메라에 조도 센서 기능을 통합하는 방법을 제시함으로써, 홀 개수 또는 홀 사이즈를 최소화할 수 있는 효과가 있다.
또한, 본 발명은 이미지 센서의 일부 영역을 선택하여 구동함으로써, 이미지 센서가 디지털 감지영상신호를 생성하는 시간 및 신호처리 시간을 단축하고 전력소모를 감소시키는 효과가 있다.
또한, 본 발명은 휴대용 단말기의 기울어진 각도 정보를 활용하여 이미지 센서에 빛이 집중되는 영역을 선택하여 구동함으로써, 조도측정의 정확도를 높일 수 있는 효과가 있다.
또한, 본 발명은 이미지 센서의 일부 영역으로 선택된 픽셀을 동시에 구동함으로써, 이미지 센서가 디지털 감지영상신호를 생성하는 시간 및 신호처리 시간을 단축시키는 효과가 있다.
도 1은, 본 발명의 일 실시예에 따른 휴대용 단말기에 관한 블록도
도 2는, 본 발명의 일 실시예에 따른 카메라 모드에서, 픽셀 센서 어레이 영역의 모든 픽셀이 구동된 것에 관한 도면
도 3은, 본 발명의 일 실시예에 따른 조도측정 모드에서, 픽셀 센서 어레이 영역의 일부 픽셀이 구동된 것에 관한 도면
도 4는, 도 3의 다른 실시예로서, 픽셀 센서 어레이 영역의 일부 픽셀이 G 픽셀만으로 이루어져 구동된 것에 관한 도면
도 5a 내지 (c)는, 도 4의 다른 실시예로서, 픽셀 선택 영역을 순차적으로 구동하는 것에 관한 도면
도 6은, 본 발명의 다른 실시예에 따른 휴대용 단말기에 관한 블록도
도 7은, 전면 카메라에 빛이 수직으로 입사하는 것에 관한 도면
도 8은, 휴대용 단말기의 기울기가 도 7의 상태인 경우에, 픽셀 센서 어레이 영역의 중앙부분 픽셀이 구동된 것에 관한 도면
도 9는, 전면 카메라가 좌측으로 기울어져 빛이 기울어진 각도로 입사하는 것에 관한 도면
도 10은, 휴대용 단말기의 기울기가 도 9의 상태인 경우에, 픽셀 센서 어레이 영역의 좌측부분 픽셀이 구동된 것에 관한 도면
도 11은, 전면 카메라가 우측으로 기울어져 빛이 기울어진 각도로 입사하는 것에 관한 도면
도 12는, 휴대용 단말기의 기울기가 도 11의 상태인 경우에, 픽셀 센서 어레이 영역의 우측부분 픽셀이 구동된 것에 관한 도면
도 13은, 본 발명의 일 실시예에 따른, 휴대용 단말기의 구동방법에 관한 순서도
이하, 본 발명의 실시를 위한 구체적인 내용을 첨부된 도면을 참조하여 설명한다.
휴대용 단말기
도 1은, 본 발명의 일 실시예에 따른 휴대용 단말기에 관한 블록도이다.
본 발명의 전면 카메라는 중앙처리부의 제어 하에서 선택적으로 카메라 모드 또는 조도 센서 모드로 동작할 수 있다.
카메라 모드에서는 통상의 휴대용 단말기에서의 전면 카메라의 구동과 동일하다.
반면에, 조도 센서 모드에서는, 전면 카메라의 이미지 센서에서 일부 픽셀(pixel)로 이루어진 서브 그룹의 픽셀만을 구동하는데 특징이 있다. 그리고, 서브 그룹의 픽셀이 생성한 디지털 감지영상신호로부터 조도 정보를 추출한다. 조도 정보를 측정하는데 있어서, 이미지 센서를 구성하는 모든 픽셀에서의 디지털 감지영상신호가 필요한 것은 아니므로, 일부 픽셀만을 구동하여 조도 정보를 측정하는 것이 연산 시간 및 소비전력 면에서 효율적이기 때문이다.
상기 휴대용 단말기는, 전면 카메라(10), 이미지 신호 처리부(20), 중앙처리부(30)를 포함한다.
상기 전면 카메라(10)는 휴대용 단말기의 전면 방향의 피사체를 촬영하기 위한 장치로, 피사체를 전기적인 영상 신호로 변환한다. 상기 전면 카메라(10)는 피사체에서 오는 빛을 모으거나 발산시키며 피사체의 이미지를 이미지 센서로 전달하는 렌즈(미도시), 렌즈를 통과한 광신호에 포함된 적외선 성분을 차단하여 이미지 센서에서 발생하는 노이즈를 제거하는 IR 필터(미도시), 빛을 전기신호로 변환하는 이미지 센서(100)를 포함한다.
상기 이미지 센서(100)는 CCD 센서 또는 CMOS 센서를 적용할 수 있지만, 일부 픽셀만을 선택하여 구동 제어할 수 있는 CMOS 센서로 구성하는 것이 바람직하다. 왜냐하면 본 발명은, 조도 센서 모드에서 전면 카메라를 구성하는 이미지 센서를 전부 구동하는 것이 아니라, 일부 픽셀을 선택하여 구동함으로써 효율적으로 조도 정보를 측정한다는데 특징이 있기 때문이다. 이하에서는 CMOS 센서를 기준으로 설명한다.
상기 이미지 센서(100)는 수광 소자를 포함하는 단위 픽셀 들이 2차원 매트릭스 형태로 배열된 픽셀 센서 어레이 영역(110), 어레이 영역을 구동하고 제어하는 수직 구동부(120)와 수평 구동부(130), 상기 수평 구동부와 수직 구동부를 제어하는 제어부(140)를 포함한다.
상기 단위 픽셀은 수광 소자 및 수광 소자를 통해 흐르는 광전류에 따른 전압을 드레인에 발생시키는 전류-전압 변환 트랜지스터를 포함한다. 수광 소자는 빛을 흡수하여 전하를 축적할 수 있고, 축적된 전하는 트랜지스터를 통하여 외부로 출력된다. 수광 소자는 포토다이오드, 포토게이트, 포토트랜지스터 등이 될 수 있다. 상기 단위 픽셀은 화소수 만큼 2차원 매트릭스 형태로 배열된다. 설명의 편의를 위하여 이미지 센서(100)의 화소는 12 x 8로 도시하였다. 단위 픽셀 위에는 R, G, B 색상 필터들이 특정한 패턴을 가지고 배치되어 있다. RGB 패턴은 Bayer 방식으로 하나의 행은 R, G, R, G패턴이 반복되고, 다른 행은 G, B, G, B 패턴이 반복되어 배치되어 있다.
상기 수직 구동부(120)는 픽셀 센서 어레이 영역(110)을 구성하는 단위 픽셀을 행(row)별로 구동 신호를 제공하여 행별로 제어한다.
상기 수평 구동부(130)는 픽셀 센서 어레이 영역(110)을 구성하는 단위 픽셀을 열(column)별로 구동 신호를 제공하여 열별로 제어한다.
상기 제어부(140)는 상기 수직 구동부(120)와 수평 구동부(130)를 제어하여, 결과적으로 픽셀 센서 어레이 영역(110)을 구성하는 단위 픽셀의 구동을 각각 제어할 수 있다.
상기 이미지 신호 처리부(20)는 아날로그 신호를 디지털 신호로 변환하는 ADC를 포함할 수 있으며, 상기 이미지 센서(100)에서 출력되는 디지털 감지영상신호의 RAW Data에 대한 화상 처리를 한다. 화상 처리에는 RGB 데이터를 YCbCr 데이터로 변환하거나, 색 보정 등이 있다.
상기 중앙처리부(30)는, 휴대용 단말기의 전반적인 제어를 담당한다. 구체적으로는 제어부(140)를 통하여 이미지 센서(100)의 단위 픽셀 각각의 구동을 제어하며, 이미지 신호 처리부(20)로부터 화상 처리된 영상 신호를 수신하여 조도 정보를 추출한다. 또한, 후술할 기울기 측정 센서(50)로부터 휴대용 단말기의 기울기 정보를 입력 받아 이를 활용하여 이미지 센서(100)에서 구동되는 단위 픽셀의 영역을 선택한다.
도 2는, 본 발명의 일 실시예에 따른 카메라 모드에서, 픽셀 센서 어레이 영역의 모든 픽셀이 구동된 것에 관한 도면이다.
카메라 모드에서는 통상의 휴대용 단말기에서의 전면 카메라의 동작과 동일하다. 도 2에 도시된 바와 같이, 전면 카메라가 카메라 모드로 동작시에는 픽셀 센서 어레이 영역(110)의 모든 픽셀이 구동되고, 이미지 센서(100)는 피사체를 촬영한 영상 신호를 생성한다. 도 2에서 수직 구동부(120) 및 수평 구동부(130)와 픽셀 센서 어레이 영역(110)을 연결한 선에 표시된 화살표는 해당 픽셀의 행 또는 열에 구동신호가 인가된 것을 표현한 것이다. 이하 도면에서도 같다.
도 3은, 본 발명의 일 실시예에 따른 조도측정 모드에서, 픽셀 센서 어레이 영역의 일부 픽셀이 구동된 것에 관한 도면이다.
전면 카메라가 조도측정 모드로 동작시에는 이미지 센서를 구성하는 픽셀 센서 어레이 영역(110)의 픽셀이 모두 구동하는 것이 아니라, 일부 영역을 선택하여 선택된 영역의 픽셀만을 구동하는데 특징이 있다. 도 3의 실시예에서는 수직 구동부(120)이 2, 3, 4 행을 구동하고, 수평 구동부(130)가 2, 5, 8, 10 열을 구동한 것을 보여준다. 구동되는 단위 픽셀을 좌표로 표현하면, 행과 열 순서로, (2,2), (2,5), (2,8), (2,10), (3,2), (3,5), (3,8), (3,10), (4,2), (4,5), (4,8), (4,10)이 되고, 총 12개의 단위 픽셀이 구동된다.
조도를 측정하는데 있어서, 모든 픽셀에서의 디지털 감지영상신호를 추출하여 조도를 측정하는 것은 비효율이므로, 일부 픽셀만 구동하여 조도 정보를 추출하는 것으로 충분하다. 구동된 일부 픽셀에서 출력된 디지털 감지영상신호의 RAW 데이터인 Data1 내지 Data4는 이미지 신호 처리부(20)에 전달되고, 화상 처리된 신호는 중앙처리부(30)에 전달되어 조도 정보가 추출된다.
도 4는, 도 3의 다른 실시예로서, 픽셀 센서 어레이 영역(110)의 일부 픽셀이 G 픽셀만으로 이루어져 구동된 것에 관한 도면이다.
도 4의 실시예에서는 수직 구동부(120)가 2, 4, 6 행을 구동하고, 수평 구동부(130)가 3, 5, 9, 11 열을 구동한 것을 보여준다. 구동되는 단위 픽셀을 좌표로 표현하면, 행과 열 순서로, (2,3), (2,5), (2,9), (2,11), (4,2), (4,5), (4,9), (4,11), (6,2), (6,5), (6,9), (6,11)이 된다. 구동되는 단위 픽셀의 수는 12개로 도 3의 경우와 동일하지만, 구동되는 픽셀이 모두 녹색광을 감지하는 G 픽셀이라는 점에 차이가 있다
사람의 눈은 녹색 광에 가장 민감하게 반응하고 조도 센서 역시 녹색광에 해당하는 파장 영역이 525nm~560nm의 파장 대역을 사용한다. 따라서 일부 픽셀은 녹색광을 감지하는 G 픽셀만으로 선택하여 구동하는 것이 조도 정보를 추출하는데 있어서 효율적이다. 즉, 도 4의 실시예는 도 3의 실시예와 구동되는 픽셀의 개수는 동일하지만, 더 높은 정확도를 가지고 조도 정보를 추출할 수 있다. 또는 더 적은 수의 픽셀을 구동하더라도 도 3의 실시예와 동일한 정확도를 가지고 조도 정보를 추출할 수 있으므로, 전력 소모를 줄일 수 있는 장점을 가진다.
또한, 제어부(140)의 제어 하에서 수직 구동부(120)는 선택된 픽셀 영역인, (2,3), (2,5), (2,9), (2,11), (4,3), (4,5), (4,9), (4,11), (6,3), (6,5), (6,9), (6,11)에 해당하는 2행, 4행, 6행을 동시 또는 순차적으로 구동할 수 있다.
도 4는 2행, 4행, 6행이 동시에 구동된 것을 보여준다. 여기서 동시에 구동한다는 의미는, 수직 구동부(120)와 수평 구동부(130)의 제어신호를 통하여 선택된 픽셀을 동시에 동작 시키고 선택된 픽셀에서 생성되는 Raw Data를 열 단위로 동시에 추출하는 것을 의미한다. 추출된 Raw Data는 열별로 각 픽셀의 단위의 정보를 합산한 값이 될 수 있다. 조도 정보를 추출하는데 있어서 픽셀 단위의 정보가 필요한 것은 아니므로, 동시에 구동하더라도 조도 정보를 추출하는데 장애가 되지 않는다. 이와 같이 수직 구동부(120)가 2행, 4행, 6행을 동시 구동함으로써 얻는 효과는 이미지 신호 처리부(20)가 이미지 센서(100)로부터 Raw Data를 추출하는 시간을 단축할 수 있고, 또한, 이미지 신호 처리부(20)가 Raw Data를 화상 처리하는 시간 단축 및 화상 처리하는데 소비되는 소모 전력을 감소시킬 수 있는 장점이 있다
도 5a 내지 5c는, 도 4의 다른 실시예로서, 픽셀 선택 영역을 순차적으로 구동하는 것에 관한 도면이다.
도 5a는 2행, 도 5b는 4행, 도 5c는 6행이 구동된 것을 보여준다. 수직 구동부(120)가 2행, 4행, 6행을 순차적으로 구동하는 경우에는 구동되는 단위 픽셀 별로 구분되는 Raw Data를 얻을 수 있다. 도 4의 동시 구동의 실시예와 비교하여 설명하면, 도 4에서는 3열에 해당하는 데이터를 G Data1 하나의 Raw Data로 얻었다. 이에 반하여 도 5a 내지 (c)의 순차 구동 실시예에서는, 3열에 해당하는 데이터를 단위 픽셀 별로 구분되는 Raw Data인, G Data11, G Data12, G data13 각각의 Raw Data로 얻을 수 있다 (5, 9, 11열의 경우도 같다). 이 경우 Raw Data를 추출하는 시간 및 화상 처리하는데 소요되는 시간이 증가하는 단점은 있을 수 있지만, 조도 정보 측정을 위하여 추출되는 데이터의 정확도가 높은 장점이 있다.
도 6은, 본 발명의 다른 실시예에 따른 휴대용 단말기에 관한 블록도이다.
기울기 측정 센서(50)는 휴대용 단말기의 기울기 정보를 검출한다. 상기 기울기 측정 센서는 자이로스코프 센서, 기울기 측정 센서, 가속도 센서, 지자기 센서, 중력 센서 중 어느 하나 또는 조합으로 형성될 수 있다.
이미지 센서(100), 이미지 신호 처리부(20), 중앙처리부(30)는 도 1에서 전술한 바와 같다.
도 7은 전면 카메라에 빛이 수직으로 입사하는 것에 관한 도면이고, 도 8은 휴대용 단말기의 기울기가 도 7의 상태인 경우에 픽셀 센서 어레이 영역의 중앙부분 픽셀이 구동된 것에 관한 도면이다.
전술한 바와 같이, 최근 휴대용 단말기는 Full Screen Display로 진화하고 있다. 이를 위하여 불투명한 디스플레이 Active 영역(11)에 투과율을 확보하기 위한 홀(H)을 구성하고 전면 카메라는 홀(H) 영역에 배치된다. 이러한 홀(H) 구조로 인하여 이미지 센서(110)에 입사된 빛(L)이 집중되는 영역은 휴대용 단말기의 기울기 각도에 따라 달라지게 된다.
도 7의 실시예의 경우에는 전면 카메라에 빛이 수직으로 입사하는 경우이므로, 상대적으로 이미 센서(110)의 중앙 부분에 빛이 집중된다. 따라서 도 8에 도시된 바와 같이 구동되는 픽셀은 픽셀 어레이 영역(110)의 중앙 부분을 선택하여 구동하는 것이 바람직하다. 휴대용 단말기의 기울기 정보는 기울기 측정 센서(50)으로부터 측정되고, 측정된 기울기 정보는 중앙처리부(30)에 전달된다. 중앙처리부(30)는 휴대용 단말기의 기울기 정보를 활용하여 빛이 집중되는 영역인 픽셀 어레이 영역(110)의 중앙 부분을 선택하고, 선택된 영역이 구동되도록 제어부(140)에 명령한다.
도 9는 전면 카메라가 좌측으로 기울어져 빛이 기울어진 각도로 입사하는 것에 관한 도면이고, 도 10은 휴대용 단말기의 기울기가 도 9의 상태인 경우에, 픽셀 센서 어레이 영역의 좌측부분 픽셀이 구동된 것에 관한 도면이다.
도 9의 실시예의 경우에는 전면 카메라에 빛이 좌측으로 기울어진 각도로 입사하는 경우이므로, 상대적으로 이미 센서(110)의 좌측 부분에 빛이 집중된다. 따라서 도 10에 도시된 바와 같이 구동되는 픽셀은 픽셀 어레이 영역(110)의 좌측 부분을 선택하여 구동하는 것이 바람직하다. 좌측 부분을 선택하여 구동하는 방법은, 도 7 내지 도 8의 실시예에서 설명한 바와 같다.
도 11은 전면 카메라가 우측으로 기울어져 빛이 기울어진 각도로 입사하는 것에 관한 도면이고, 도 12는 휴대용 단말기의 기울기가 도 11의 상태인 경우에, 픽셀 센서 어레이 영역의 우측부분 픽셀이 구동된 것에 관한 도면이다.
도 11의 실시예의 경우에는 전면 카메라에 빛이 우측으로 기울어진 각도로 입사하는 경우이므로, 상대적으로 이미 센서(110)의 우측 부분에 빛이 집중된다. 따라서 도 12에 도시된 바와 같이 구동되는 픽셀은 픽셀 어레이 영역(110)의 우측 부분을 선택하여 구동하는 것이 바람직하다. 우측 부분을 선택하여 구동하는 방법은, 도 7 내지 도 8의 실시예에서 설명한 바와 같다.
휴대용 단말기의 구동방법
도 13은, 본 발명의 일 실시예에 따른, 휴대용 단말기의 구동방법에 관한 순서도이다.
도 13에 도시된 바와 같이, 본 발명인 휴대용 단말기의 전면 카메라는 중앙처리부의 제어 하에 조도측정 모드 또는 카메라 모드로 선택적으로 동작한다.
여기서 조도측정 모드를 디폴트로 하여, 사용자가 카메라 모드를 명령하는 경우에만 중앙처리부가 전면 카메라를 카메라 모드로 동작시키고, 그 외에는 조도측정 모드로 동작하도록 설정할 수 있다.
전면 카메라가 조도측정 모드로 동작하도록 결정되어, 조도측정 모드로 동작하는 경우, 휴대용 단말기의 구동 방법은, 세팅 단계(S210), 감지영상신호 생성 단계(S220), 감지영상신호를 화상 처리하는 단계(S230), 화상 처리된 디지털 감지영상신호로부터 조도에 대한 정보를 추출하는 조도 정보 추출 단계(S240); 를 포함한다.
세팅 단계(S210)는, 조도측정용 동작조건으로 휴대용 단말기의 전면에 실장된 전면 카메라를 세팅하는 단계이다. 예를 들면, 주변 조도를 일관성 있게 동일한 조건에서 측정하기 위하여, 전면 카메라의 조리개, 셔터, 초점 및 촬영 주기 등의 촬영 조건을 항상 일정하게 유지하는 등, 조도측정에 적합하도록 전면 카메라를 세팅할 수 있다.
감지영상신호 생성 단계(S220)는, 조도측정 모드 동작 조건하에서 전면 카메라로 피사체를 촬영하여 디지털 감지영상신호를 생성하는 단계이다.
전술한 바와 같이 본 발명이 조도측정 모드에서 전면 카메라가 디지털 감지영상신호를 생성하는데 있어서 특징은, 이미지 센서(100)의 일부 영역을 선택하여 구동하는 것에 있다. 또한, 이미지 센서(100)의 일부 영역은 녹색 광을 감지하는 G(green) 픽셀만으로 이루어진 것을 특징으로 한다. 또한, 이미지 센서(100)의 일부 영역은 휴대용 단말기의 기울어진 각도 정보를 활용하여 이미지 센서(100)에 빛이 집중되는 영역을 선택한 것을 특징으로 한다. 또한, 이미지 센서(100)의 일부 영역으로 선택된 픽셀을 구동하는데 있어서 동시 또는 순차적으로 구동하는 것에 특징이 있다.
감지영상신호 처리 단계(S230)는, 이미지 신호 처리부(20)가 이미지 센서(100)에서 출력되는 디지털 감지영상신호의 RAW Data에 대한 화상 처리를 하는 단계이다.
조도 정보 추출 단계(S240)는, 중앙처리부(30)가 이미지 신호 처리부(20)로부터 화상 처리된 영상 신호를 수신하여 조도 정보를 추출하는 단계이다.
전면 카메라가 카메라 모드로 동작하도록 결정되어, 카메라 모드로 동작하는 경우에 휴대용 단말기의 구동방법은, 통상의 휴대용 단말기가 전면 카메라를 구동하는 방법과 동일하다.
이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로 이해해야만 한다. 본 발명의 범위는 상기 상세한 설명보다는 후술하는 청구범위에 의하여 나타내어지며, 청구범위의 의미 및 범위 그리고 그 등가 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 청구범위에 포함되는 것으로 해석되어야 한다.
10: 전면 카메라
100: 이미지 센서
110: 픽셀 센서 어레이 영역
120: 수직 구동부
130: 수평 구동부
140: 제어부
20: 이미지 신호 처리부
30: 중앙 처리부
50: 기울기 측정 센서

Claims (14)

  1. 휴대용 단말기의 전면 방향의 피사체를 촬영하는 전면 카메라;
    상기 전면 카메라에서 출력되는 디지털 감지영상신호를 신호 처리하는 이미지 신호 처리부;
    상기 전면 카메라의 동작 모드를 조도측정 모드 또는 카메라 모드로 결정하고, 조도측정 모드 시에는 상기 이미지 신호 처리부로부터 영상 신호를 수신하여 조도정보를 추출하는 중앙처리부; 및
    휴대용 단말기의 기울기 정보를 검출하는 기울기 측정 센서를 포함하되,
    상기 전면 카메라는 수광된 빛을 전기신호로 변환하는 이미지 센서를 포함하고,
    상기 중앙처리부는 상기 기울기 측정 센서로부터 수신한 상기 휴대용 단말기의 기울기 정보를 활용하여 상기 이미지 센서에 빛이 집중되는 영역으로, 상기 단말기가 기울어진 방향에 대응하는 상기 이미지 센서의 일부 영역을 선택하여 구동하는 휴대용 단말기.
  2. 제1항에 있어서,
    조도측정 모드 시에 상기 중앙처리부는 상기 이미지 센서의 일부 영역을 선택하여 구동하는 것을 특징으로 하는 휴대용 단말기.
  3. 제2항에 있어서,
    조도측정 모드 시에 상기 중앙처리부가 선택하여 구동하는 상기 이미지 센서의 상기 일부 영역은 녹색 광을 감지하는 G(green) 픽셀만으로 이루어진 것을 특징으로 하는 휴대용 단말기.
  4. 제3항에 있어서,
    조도측정 모드 시에 상기 중앙처리부가 선택하여 구동하는 상기 이미지 센서의 상기 일부 영역은 G 픽셀의 일부로 구성된 것을 특징으로 하는 휴대용 단말기.
  5. 삭제
  6. 제2항에 있어서,
    조도측정 모드 시에 상기 중앙처리부는 상기 이미지 센서의 상기 일부 영역으로 선택된 픽셀을 동시에 구동하는 것을 특징으로 하는 휴대용 단말기.
  7. 제2항에 있어서,
    조도측정 모드 시에 상기 중앙처리부는 상기 이미지 센서의 상기 일부 영역으로 선택된 픽셀을 순차적으로 구동하는 것을 특징으로 하는 휴대용 단말기.
  8. 휴대용 단말기의 전면 방향의 피사체를 촬영하는 전면 카메라가 조도측정 모드 또는 카메라 모드로 동작하는 휴대용 단말기의 구동 방법에 있어서,
    상기 전면 카메라가 조도측정 모드로 동작될 경우,
    상기 조도측정 모드 동작조건으로 휴대용 단말기의 전면 카메라를 세팅하는 단계;
    상기 조도측정 모드 동작조건하에서 전면 카메라로 촬영하여 디지털 감지영상신호를 생성하는 감지영상신호 생성 단계; 및
    상기 디지털 감지영상신호로부터 조도에 대한 정보를 추출하는 조도 정보 추출 단계; 를 포함하되,
    상기 감지영상신호 생성 단계는
    휴대용 단말기의 기울기 정보를 검출하는 기울기 측정 단계; 및
    휴대용 단말기의 상기 기울기 정보를 활용하여 이미지 센서에 빛이 집중되는 영역으로, 상기 단말기가 기울어진 방향에 대응하는 상기 이미지 센서의 일부 영역을 선택하여 구동하는 선택 구동단계; 를 포함하는 휴대용 단말기의 구동 방법.
  9. 제8항에 있어서,
    상기 감지영상신호 생성 단계는 복수의 픽셀(pixel) 그룹이 2차원 매트릭스 형태로 배열된 이미지 센서를 구동하는데 있어서, 이미지 센서의 일부 영역을 선택하여 구동하는 것을 특징으로 하는 휴대용 단말기의 구동 방법.
  10. 제9항에 있어서,
    상기 이미지 센서의 상기 일부 영역은 녹색 광을 감지하는 G(green) 픽셀만으로 이루어진 것을 특징으로 하는 휴대용 단말기의 구동 방법.
  11. 제10항에 있어서,
    상기 이미지 센서의 상기 일부 영역은 G 픽셀의 일부로 구성된 것을 특징으로 하는 휴대용 단말기의 구동 방법.
  12. 삭제
  13. 제9항에 있어서,
    상기 감지영상신호 생성 단계는 상기 이미지 센서의 상기 일부 영역으로 선택된 픽셀을 동시에 구동하는 것을 특징으로 하는 휴대용 단말기의 구동 방법.
  14. 제9항에 있어서,
    상기 감지영상신호 생성 단계는 상기 이미지 센서의 상기 일부 영역으로 선택된 픽셀을 순차적으로 구동하는 것을 특징으로 하는 휴대용 단말기의 구동 방법.
KR1020180160890A 2018-12-13 2018-12-13 휴대용 단말기 및 그 구동 방법 KR102552966B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180160890A KR102552966B1 (ko) 2018-12-13 2018-12-13 휴대용 단말기 및 그 구동 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180160890A KR102552966B1 (ko) 2018-12-13 2018-12-13 휴대용 단말기 및 그 구동 방법

Publications (2)

Publication Number Publication Date
KR20200072845A KR20200072845A (ko) 2020-06-23
KR102552966B1 true KR102552966B1 (ko) 2023-07-10

Family

ID=71137826

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180160890A KR102552966B1 (ko) 2018-12-13 2018-12-13 휴대용 단말기 및 그 구동 방법

Country Status (1)

Country Link
KR (1) KR102552966B1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12022200B2 (en) 2021-03-31 2024-06-25 Samsung Electronics Co., Ltd. Method for measuring illuminance using camera and supporting the same
KR20220135986A (ko) * 2021-03-31 2022-10-07 삼성전자주식회사 카메라를 이용한 조도 측정 방법 및 이를 지원하는 전자 장치

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008306254A (ja) * 2007-06-05 2008-12-18 Sony Ericsson Mobilecommunications Japan Inc カメラモジュールおよび携帯端末装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101859567B1 (ko) * 2012-01-18 2018-06-28 삼성전자 주식회사 휴대 단말기의 휘도 제어 방법 및 장치

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008306254A (ja) * 2007-06-05 2008-12-18 Sony Ericsson Mobilecommunications Japan Inc カメラモジュールおよび携帯端末装置

Also Published As

Publication number Publication date
KR20200072845A (ko) 2020-06-23

Similar Documents

Publication Publication Date Title
CN109474771B (zh) 一种图像捕获设备
US10284769B2 (en) Image sensor with in-pixel depth sensing
JP6651478B2 (ja) 画像センサにおける画素ビニング
US9319611B2 (en) Image sensor with flexible pixel summing
US7812869B2 (en) Configurable pixel array system and method
JP6410824B2 (ja) 画像センサのフリッカ検出
CN107580185B (zh) 图像传感器及操作方法以及成像装置
US11350062B2 (en) Image detecting device and image detecting method using the same
KR101477856B1 (ko) 고체 촬상 장치 및 고체 촬상 시스템
JP6237431B2 (ja) 焦点検出装置、電子機器
JP2012215785A5 (ko)
KR20080017597A (ko) 고화질 영상을 위한 영상 표시 방법 및 장치
KR102552966B1 (ko) 휴대용 단말기 및 그 구동 방법
CN102065221A (zh) 具抖动补偿的图像传感器
JP2018201196A (ja) 撮像装置、撮像システム、車両走行制御システム、及び画像処理装置
US11563910B2 (en) Image capture devices having phase detection auto-focus pixels
US12044805B2 (en) Image-capturing device, image-capturing apparatus and method of acquiring distance image
KR20080029051A (ko) 이미지 센서를 구비한 장치 및 영상 획득 방법
JP2021019287A (ja) 撮像装置およびその制御方法
US8917348B2 (en) Solid-state imaging device, camera module, and illuminance detection method
US12009375B2 (en) Imaging device and imaging element
CN215910907U (zh) 电子设备
KR100707073B1 (ko) 평형 잡음을 제거한 씨모스 이미지 센서

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant