[AI] KERAS
🎯 가중치를 변경하는 방법
1. Full batch learning
2. 온라인 학습
3. Mini batch 학습 (확률적 경사 하강법)
<Python으로 Mini batch 구현>
import numpy as np
import tensorflow as tf
# 데이터를 학습 데이터와 테스트 데이터로 나눈다.
(x_train, y_train), (x_test, y_test) = tf.keras.datasets.mnist.load_data()
data_size = x_train.shape[0]
batch_size = 12 # batch 크기
selected = np.random.choice(data_size, batch_size) # batch 크기만큼 랜덤하게 선택
print(selected)
x_batch = x_train[selected]
y_batch = y_train[selected]
<행렬을 사용한 Mini batch 구현>
🎯 경사 하강법의 종류
1. 확률적 경사 하강법 (SGD : Stochastic Gradient Descent)
- Gradient Descent를 전체 데이터(Batch)가 아닌 일부 데이터의 모음(Mini-batch)를 사용하는 방법
- 다소 부정확할 수는 있지만, 계산 속도가 훨씬 빠르기 때문에, 같은 시간에 더 많은 step을 나아갈 수 있다.
- Local Minima에 빠지지 않고 Gloval Minima에 수렴할 가능성이 높다.
- 매우 단순하고 구현이 편리하지만 상황에 따라 매우 효율이 떨어지는 경우가 많다.
- 예를 들어 비등방성(anisotropy) 함수와 같이 방향에 따라 기울기가 달라지는 함수에 대해서는 매우 비효율적이다.
- 또한 학습률(Learning rate)이 낮으면 곧장 최적화하지 못하고 지그재그로 이동하게 되면서 지역 최소값(local Minima)에 갇혀 빠져나오지 못하는 경우가 있고, 학습률이 높으면 최적화 자체를 실패할 수도 있다.
2. 모멘텀 (Momentum)
- 경사 하강법에 관성을 더해 주는 것
- 매번 기울기를 구하지만, 가중치를 수정하기 전 이전 수정 방향(+,-)를 참고하여 같은 방향으로 일정한 비율만 수정되게 하는 방법
- 가속도 역할 (gradient가 속도를 조절하는 역할을 한다.)
-> 학습속도 향상
-> Weight 변화가 oscillating(진동) 하는 것 방지
3. 네스테로프 모멘텀 (Nesterov Momemtum)
- 미래의 위치를 미리 계산 후 이동
- momentum값과 gradient값이 더해져 실제(actual) 값을 만드는 기존 모멘텀과 달리 Momentum값이 적용된 지점에서 gradient값이 계산된다.
4. Adagrad (Adaptive Gradient, 아다그리드)
- 가변 학습률을 사용하는 방법
- SGD 방법을 개량한 최적화 방법
- 주된 방법 = 학습률 감쇠 (learning rate decay)
- 학습률을 이전 단계의 기울기들을 누적한 값에 반비례하여 설정
(많이 변화하지 않은 변수들은 학습률(step size)를 크게하고, 반대로 많이 변화한 변수들에 대해서는 학습률을 적게한다.)
5. Adadelta (Adaptive Delta, 아다델타)
- Adagrad의 개선
- Adagrad + RMSprop + Momentum 모두를 합친 경사하강법
- Adapts learning rates based on a moving window of gradient updates/
- 처음부터 현재 시간 t까지의 모든 gradients를 더하지 않고, 최근 일정기간 동안의 gradients만 더한다.
6. RMSprop (Root Mean Square Propagation)
- Adagrad에 대한 수정판
Adagrad의 문제 : 시간이 흐를수록 update양이 작아짐
-> exponentially decaying average to discard history from the extreme past
( 극단적 과거의 역사를 버리기 위해 기하급수적으로 감소하는 평균)
- Geoffy Hinton이 제안
- Gradient 누적 대신에 지수 가중 이동 평균을 사용
7. Adam (Adaptive Moment Estimation)
- RMSprop + Momentum
- RMSprop의 특징인 gradient의 제곱을 지수평균한 값을 사용하며 Momentum의 특징으로 gradient를 제곱하지 않은 값을 사용하여 지수평균을 구하고 수식에 활용
🎯 TensorFlow의 구조
🎯 Keras
- python으로 작성된, 고수준 딥러닝 API
- 여러 가지 백엔드를 선택할 수 있으며, 가장 많이 선택되는 백엔드는 TensorFlow
- 쉽고 빠른 프로토타이핑 가능
- Feed forward 신경망, convolution 신경망과 순환 신경망은 물론, 여러가지 조합도 지원
- CPU 및 GPU에서 원활하게 실행
- Keras로 신경망을 작성하는 절차
- Keras의 핵심 데이터 구조는 모델 (model)
: layer를 구성하는 방법
- 가장 간단한 모델 유형은 Sequential 선형 스택 모델
: layer를 선형으로 쌓을 수 있는 신경망 모델
- XOR를 학습하는 MLP를 작성
model = tf.keras.models.Sequential()
# Sequential 모델을 생성
model.add(tf.keras.layers.Dense(units=2, input_shape=(2,), activation='sigmoid')) # 1.
model.add(tf.keras.layers.Dense(units=1, activation='sigmoid') # 필요한 layer를 추가
model.complie(loss='mean_squared_error', optimizer=keras.optimizers.SGD(lr=0.3))
model.fit(X, y, batch_size=1, epochs=10000) # 학습을 수행
print(model.predict(X))
🎯 Keras를 사용하는 3가지 방법
1. Sequential 모델을 만들고 모델에 필요한 layer를 추가
model = Sequential()
model.add(Dense(units=2, input_shape=(2,), activation='sigmoid'))
model.add(Dense(units=1, activation='sigmoid'))
2. 함수형 API를 사용하는 방법
inputs = input(shape=(2,)) # 입력층
x = Dense(2, activation='sigmoid')(inputs) # 은닉층 1.
prediction = Dense(1, activation='sigmoid')(x). # 출력층
model = Model(inputs=inputs, outputs=prediction)
3. Model 클래스를 상속받아서 우리 나름대로의 클래스를 정의하는 방법
class SimpleMLP(Model):
def __init__(self, num_classes): # 생성자 작성
super(SimpleMLP, self).__init__(name='mlp')
self.num_classes = num_classes
self.dense1 = Dense(32, activation='sigmoid')
self.dense2 = Dense(num_classes, activation='sigmoid')
def call(self, inputs): # 순방향 호출을 구현
x = self.dense1(inputs)
return self.dense2(x)
model = SimpleMLP()
model.compile(...)
model.fit(...)49p ~ )