[인공지능] Convolutional layer 종류 : Dilated Convolution, Pointwise Convolution, Group Convolution, Depthwise Separable Convolution

 

📌 Dilated Convolution

[ 🚨 ]

수용 필드를 확대하기 위해 필터 크기를 늘리면 매개변수 수가 많아짐

수용 필드를 확대하기 위해 풀링 레이어를 추가하면 공간 정보 손실

 

➡️ 연속된 계수 사이에 구멍을 삽입하여 필터를 확장한 후 Convolution

 

 

📌 1 X 1 Convolution (Pointwise Convolution)

1×1 필터를 사용하는 특별한 유형의 컨볼루션

입력 채널 전체에 대한 선형 변환(채널별 풀링)으로 차원 감소

낮은 복잡성을 유지하면서 1×1 컨볼루션을 사용하는 매우 깊은 신경망

 

➡️ 채널별 풀링을 활용하여 채널을 줄이는 데에 사용

 

 

📌 Group Convolution

입력 채널을 그룹화한 후 그룹별로 독립적 컨볼루션 수행

매개변수 수는 적으며 그룹 수는 하이퍼파라미터

 

그룹 수가 입력 채널 수와 같을 때 Depthwise Convolution이 됨

 

➡️ 그룹별로 나누어 채널을 줄이기 위해 사용

 

 

📌 Depthwise Separable Convolution

➡️ 연산량을 줄이는 것이 목표

 

채널로 나누어 컨볼루션을 진행(Group = C인 Group Conv)한 후, Pointwise Conv 수행하여 피쳐맵 추출

약 K * K 만큼의 parameter가 감소되는 것을 확인할 수 있음