[Ch5] Mini Sessions

[diemori]

소개하고자 하는 주제를 정리 해주세요~!

[Jeongah-Shin]

BPTT Long-Term Dependency Problem

[diemori]

AutoCorrelation (자기상관성)

• 과거에서 미래로 계속 이어지는 상관 관계
• "네놈의 공격 패턴! 강약약 강강강약 강중약."

[heejour]

Markov Chain (마르코프 연쇄/체인)

[SooDevv]

가중치의 초기값

• [weight init]

[kgeneral]

Vanishing gradients on "derivatives of sigmoid function"

• https://towardsdatascience.com/derivative-of-the-sigmoid-function-536880cf918e
• https://brunch.co.kr/@chris-song/39

[skydice]

Shannon Visualization Method

• https://medium.com/@gandhi.meet/evaluation-of-language-models-through-perplexity-and-shannon-visualization-method-9148fbe10bd0