[Lightweight-Sereis] 2. Quantization
1. Weight Tensor Pytorch, Tensorflow의 Tesnor의 dtype은 float32 여기서 32라는 의미는 해당 Type의 Value를 저장하기 위해 32bit(4bytes)를 사용한다는 의미.
최근 포스트
[Lightweight-Sereis] 1. Pruning
1. Pruning
[Lightweight-Sereis] 0. Intro
1. Lightweight Deep Learning
ResNet-50
1. Vanishing Gradient Problem
[Attention-Series] 1. Self-Attention
Self - Attention 자연어를 처리하기 위해선 문맥을 이해하는 것이 필수적. 사람은 문법을 학습하고 노출되어 왔기에, 특정 문장에서 단어 간의 관계를 이해 가능. Ex. The paper was rejected because it wa...