본문 바로가기
[영상처리]

[영상처리] Introduction : Human eye, Color Representation, Digital Image Representation, Software

by seom-j 2024. 6. 26.

📌 Structure of the human eye

 

Cornea : 각막

Pupil : 동공

Iris : 홍채

Lens : 수정체

나이가 들수록 수정체가 커져 유연성을 잃다보니 초점을 맞추기 어려워짐(노화) → 카메라는 이를 묘사하여 구조를 구성

Retina : 망막

Fovea : 중심와

   - 시신경이 몰려있음 (모세혈관)

Blind Spot : 맹점

   - 뇌세포 다발 및 혈관 존재

   - 20도 각도쯤 존재하며 피사체가 이곳에 맺히면 보이지 않음

   (실제로는 뇌가 처리하기에 안보이는 부분이라고 인식 X)

Optic Nerve : 시신경

 

 

📌 The Human Retina

 

Five distinct element

  • Photoreceptors
    • rods
    • cones
  • Horizontal cells
  • Bipolar cells
  • Amacrine cells
  • Ganglion cell (시신경)
    • 몰려 들어가는 왼쪽이 맹점

그림에서 확인할 수 있듯, Ganglion과 Photoreceptors의 개수가 다름(Ganglion보다 Photoreceptors가 많음)

➡️ 한 부분을 판단할 때 사람들은 주변의 부분을 활용하게 됨

착시가 생기는 이유 또한 마찬가지로, Ganglion셀이 100:1로 매핑되며 생긴다고 보면 됨

 

 

📌 Visual Perception

  • Rods
    • BW 시각을 위해 희미한 빛에 반응
    • 형태, 움직임에 반응
    • 색각에 기여 X
  • Cons
    • 일광 색각 제공
    • 3가지 스펙트럼 유형 중 하나
      • 파란색 S : Short-wavelength of visible light
      • 녹색 M : Middle-wavelength of visible light
      • 빨간색 L : Long-wavelength of visible light
    • 망막 중심에 집중되어있음

 

콘은 0도에 몰려있고, 로드가 전체적으로 깔림

20도에 콘, 로드 X

 

콘이 로드에 비해 훨씬 더 큼

 

세가지 콘의 주파수 민감도가 모두 다름

사람 눈은 블루에 둔감함

(태양에너지의 경우 주파수가 짧은 블루가 강하기에 사람은 이를 적응하여 블루에 둔감히 반응하도록 함)

 

 

📌 Optic Nerve

오른쪽 시야 왼쪽 뇌에 맺힘

왼쪽 시야 오른쪽 뇌에 맺힘

끝단에서 시각정보 처리

 

 

📌  Simultaneous Contrast

내부 색은 동일하나, 상대적으로 밝고, 어두워보임

시각 셀은 많으나 이를 처리하는 시신경들이 적어 주변 색들이 안의 색을 파악하는데에 영향을 끼침

 

 

📌 Brightness adaptation

세로축 : 사람이 느끼는 밝기

가로축 : 실제 밝기

(실제 밝기의 차이와 사람이 느끼는 밝기의 차이가 다름)

 

B에 해당하는 선 : 평상시 사람이 보이는 시야

(밝기에 따라 적응하며 좌우로 이동 ➡️ 환경이 갑자기 바뀔 경우 이 선이 서서히 적응하며 이동하기 전까지 잘 안보임)

 

Scotopic : Rod의 시야, 어두울 때, 움직임

Photopic : Cone의 시야, 밝을 때, 색각

 

Rod와 Cone이 떨어져있다면(빈 공간에 해당하는 가로축이 생긴다면) 해당 부분의 밝기에서는 안보임 (완전 어둡거나, 완전 밝아야 보여짐)

 

 

📌 Color Representation

색 표현의 방법은 다양하게 존재

조금씩 다르긴 하지만, 색을 판단하는 사람의 요소인 콘이 세가지이므로 대체적으로 세가지로 표현

TV camera, Display monitor : RGB color space

Publishing industry : CMYK color space

Broadcasting : YIQ color space

HSI Color space : Hue(색상), Saturation(채도), Intensity(명도) XYZ, LAB, YUV, YCbCr, etc.

→ RGB같은 경우 이렇게 존재 !

R G B

↕️  ↕️  ↕️  : 서로 보색관계 !

C M Y

 

RG = Y, GB = C, RB = M

C = 1-R, M = 1-G, Y = 1 - B

 

이때, CMY 합치면 검정 나오긴 하지만, 더 검은 K 활용

➡️ K = min(C, M, Y)

 

 

📌  HSI Color Space

  • Hue : 색상 (color spectrum)
  • Saturation : 채도 (purity of color)
  • Intensity : 명도 (brightness of color

 

셋 중 하나라도 0이면 S는 1 (K가 셋중 최소인것처럼) → 원색

빨강을 0도로, Hue는 각도로 표현됨

위아래 명도축

바깥 표면이 채도가 가장 높음 (원색)

가운데를 뚫는 선이 무채색 선

 

 

📌 YCbCr color space

Y : 밝기

Cb : blue 정도

Cr : red 정도

 

Y = 0.299R + 0.587G + 0.114B

Cb = -0.16874R – 0.33216G + 0.5B

Cr = 0.5R – 0.41869G – 0.08131B

 

cone의 민감도에 따라 압축 수행

사람은 휘도에는 민감하지만 색(컬러)에 둔감

Cone이 크기 때문에 압축해도 별 차이를 느끼지 못함

 

 

📌 Image acquisition process

이미지 ➡️ 피사체가 광원에 의해 반사된 것에 의해 결정

 

f(x,y) : 이미지 밝기 함수

(공간적으로나 진폭적으로 모두 디지털화됨)

0 ≤ f(x, y) ≤ ♾️

 

f(x,y) = i(x,y) r(x,y)

 

i(x, y) : 광원 / 0 ≤ i(x, y) ≤ ♾️

r(x, y) : 반사도 / 0 ≤ r(x, y) ≤ 1

 

 

📌 Digital Image Representation

Sampling : 가로축 (시간) 샘플링

Quantization : 세로축 (밝기) 양자화

 

아날로그 이미지를 디지털화하기 위해서는 시간 샘플링 후 밝기 양자화가 필요함

해당 과정을 거쳐 디지털화 된 이미지는 위와 같으며,

각 부분을 Picture elements = pels = pixels라고 부름

 

해상도(resolution)가 높을수록 원본과 유사하나, 메모리를 많이 사용함

 

f(.)의 의미

  • 밝기
  • 투과율
  • 거리
  • 온도

 

 

📌 Sampling theorem (표본화 정리)

해상도는 높을수록 좋지만, 어느정도로로 샘플링해야 원본 이미지를 알아볼 수 있을까?

 

x(t)의 최대 주파수가 B일때, 최소 1/(2B)초 간격(주파수 2B 이상)으로 샘플링해야 완벽한 원래의 신호로 복구할 수 있음

 

즉, 아날로그 영상을 샘플링할 때 주파수가 중요한데, 가장 높은 주파수의 2배 높게 샘플링하면 됨

➡️ 복원 가능 (최대 주파수의 2배 이상, 낮은 주파수 관계 X)

 

ex) 이미지를 축소할 때, 샘플링 실수 예시

 

 

📌 Digital Image Storage

L : 밝기 레벨

k : 픽셀당 비트 수

L = 2^k 이므로,

 

b : bits required to store a digitized image

image h, w = M, N

b = M * N * k

 

 

📌 Software

가장 간단한 이미지 형식 : PNM(Portable Anymap Format) 파일 형식

압축 해제된 이미지 형식: 취급 용이

 

PBM(portable bitmaps): 바이너리 이미지 파일 형식

PGM(portable greymap): 회색조 이미지 파일 형식

PPM(portable pixelmap): 컬러 이미지 파일 형식

파일 형식은 File 헤더에 정의

 

 

📌 PNM file format : PNM header + image data

[ PNM Header ]

각 필드는 공백(공백, 탭, 줄 바꿈 또는 캐리지 리턴)으로 구분

이미지 데이터: ASCII 또는 원시 바이너리(RAWBITS라고 함)

Max 필드는 PBM 파일에서 사용되지 않음

#: 주석 줄, 파일의 첫 번째 줄 금지

 

[ Magic number ]

표에 따라 이미지 부분의 아스키, 바이너리 여부 알려줌

(PBM : 0이 화이트, PGM, PPM : 0이 블랙)

 

[ Image data format ]