[KT AIVLE SCHOOL 3기] 언어지능 딥러닝(2)

1. Seq2Seq(Sequence-to-Sequence)

Seq2Seq(Sequence-to-Sequence)은 기계 번역, 챗봇, 요약 등 다양한 자연어 처리 분야에서 활용되는 딥러닝 모델 중 하나이다. Seq2Seq 모델은 인코더-디코더(Encoder-Decoder) 구조로 이루어져 있으며, 시계열 데이터를 입력받아 시계열 데이터를 출력하는 모델이다.

인코더(Encoder)는 입력 시퀀스를 고정 길이의 벡터로 변환하는 역할을 하며, 디코더(Decoder)는 인코더가 생성한 고정 길이의 벡터를 입력으로 받아 출력 시퀀스를 생성하는 역할을 한다. Seq2Seq 모델에서는 입력과 출력의 길이가 일치하지 않을 수 있으며, 이를 해결하기 위해 어텐션(Attention) 메커니즘이 도입되기도 한다.

Seq2Seq 모델은 주로 RNN(Recurrent Neural Network) 계열의 모델로 구현되며, 대표적으로 LSTM(Long Short-Term Memory)과 GRU(Gated Recurrent Unit)가 사용된다. 이 외에도 Transformer, Conformer 등의 모델도 사용되고 있다.

Seq2Seq 모델의 구현에는 TensorFlow, Keras, PyTorch 등의 딥러닝 프레임워크가 사용된다. 이러한 프레임워크를 사용하면 쉽게 Seq2Seq 모델을 구현할 수 있으며, 다양한 자연어 처리 분야에서 활용할 수 있다.

 

다음은 TensorFlow 2.x와 Keras를 이용한 Seq2Seq 모델의 예시 코드이다.

import tensorflow as tf
from tensorflow import keras
from tensorflow.keras.layers import Input, LSTM, Dense, Embedding
from tensorflow.keras.models import Model

# 입력 시퀀스 길이
max_encoder_seq_length = 100
# 출력 시퀀스 길이
max_decoder_seq_length = 100
# 입력 데이터의 단어장 크기
num_encoder_tokens = 10000
# 출력 데이터의 단어장 크기
num_decoder_tokens = 20000
# 임베딩 차원
embedding_dim = 256
# LSTM 유닛 개수
lstm_units = 128

# 인코더 모델 정의
encoder_inputs = Input(shape=(None,))
encoder_embedding = Embedding(num_encoder_tokens, embedding_dim)(encoder_inputs)
encoder_lstm = LSTM(lstm_units, return_state=True)
encoder_outputs, state_h, state_c = encoder_lstm(encoder_embedding)
encoder_states = [state_h, state_c]

# 디코더 모델 정의
decoder_inputs = Input(shape=(None,))
decoder_embedding = Embedding(num_decoder_tokens, embedding_dim)(decoder_inputs)
decoder_lstm = LSTM(lstm_units, return_sequences=True, return_state=True)
decoder_outputs, _, _ = decoder_lstm(decoder_embedding, initial_state=encoder_states)
decoder_dense = Dense(num_decoder_tokens, activation='softmax')
decoder_outputs = decoder_dense(decoder_outputs)

# Seq2Seq 모델 정의
model = Model([encoder_inputs, decoder_inputs], decoder_outputs)

# 모델 컴파일
model.compile(optimizer='rmsprop', loss='categorical_crossentropy')

# 모델 학습
model.fit([encoder_input_data, decoder_input_data], decoder_target_data,
          batch_size=64,
          epochs=50,
          validation_split=0.2)

 

위 코드는 간단한 Seq2Seq 모델의 예시이며, 입력과 출력의 길이가 일치하는 경우에 해당한다. 더 복잡한 Seq2Seq 모델을 구현하려면 어텐션 메커니즘 등을 추가해야 한다.

 

2. Attention 

어텐션(Attention) 메커니즘은 Seq2Seq 모델에서 인코더가 생성한 고정 길이의 벡터를 디코더가 활용할 때, 인코더의 출력 중에서 디코더가 현재 처리해야 하는 정보에 집중하는 방법을 말한다.

Seq2Seq 모델에서는 인코더가 입력 시퀀스를 처리하면서 시간 축을 따라 순차적으로 정보를 출력한다. 따라서 디코더가 출력 시퀀스를 생성할 때, 이전 시점에서 처리한 정보를 고려하여 현재 시점에서 처리해야 하는 정보를 선택하는 것이 중요하다.

어텐션 메커니즘은 이러한 문제를 해결하기 위해 도입되었다. 어텐션 메커니즘은 인코더의 출력 중에서 디코더가 현재 처리해야 하는 정보에 집중하여 가중치를 부여한 후, 가중합을 계산하여 디코더의 입력으로 사용한다. 이를 통해 디코더는 현재 처리해야 하는 정보에 더 집중하며, 모델의 성능을 향상시킬 수 있다.

어텐션 메커니즘은 주로 Seq2Seq 모델에서 사용되며, 다양한 어텐션 메커니즘이 개발되어 있다. 대표적으로는 Bahdanau Attention과 Dot Product Attention이 있다.

TensorFlow와 Keras에서는 어텐션 메커니즘을 쉽게 구현할 수 있도록 다양한 어텐션 레이어를 제공하고 있다. 이를 활용하여 적절한 어텐션 메커니즘을 선택하고 모델에 적용할 수 있다.

 

다음은 Keras와 TensorFlow 2.x를 이용한 Bahdanau Attention 메커니즘 구현 예시 코드이다.

from tensorflow.keras.layers import Input, Embedding, LSTM, Dense, Concatenate
from tensorflow.keras.models import Model

# 입력 시퀀스 길이
max_encoder_seq_length = 100
# 출력 시퀀스 길이
max_decoder_seq_length = 100
# 입력 데이터의 단어장 크기
num_encoder_tokens = 10000
# 출력 데이터의 단어장 크기
num_decoder_tokens = 20000
# 임베딩 차원
embedding_dim = 256
# LSTM 유닛 개수
lstm_units = 128

# 인코더 모델 정의
encoder_inputs = Input(shape=(None,))
encoder_embedding = Embedding(num_encoder_tokens, embedding_dim)(encoder_inputs)
encoder_lstm = LSTM(lstm_units, return_sequences=True, return_state=True)
encoder_outputs, state_h, state_c = encoder_lstm(encoder_embedding)
encoder_states = [state_h, state_c]

# 디코더 모델 정의
decoder_inputs = Input(shape=(None,))
decoder_embedding = Embedding(num_decoder_tokens, embedding_dim)(decoder_inputs)
decoder_lstm = LSTM(lstm_units, return_sequences=True, return_state=True)
decoder_outputs, _, _ = decoder_lstm(decoder_embedding, initial_state=encoder_states)

# 어텐션 메커니즘 적용
attention_layer = Dense(1, activation='tanh')
attention_weights = attention_layer(decoder_outputs)
attention_weights = tf.keras.layers.Softmax(axis=1)(attention_weights)
context_vector = attention_weights * encoder_outputs
context_vector = tf.reduce_sum(context_vector, axis=1)
decoder_outputs = Concatenate()([context_vector, decoder_outputs])
decoder_outputs = Dense(num_decoder_tokens, activation='softmax')(decoder_outputs)

# Seq2Seq 모델 정의
model = Model([encoder_inputs, decoder_inputs], decoder_outputs)

# 모델 컴파일
model.compile(optimizer='rmsprop', loss='categorical_crossentropy')

# 모델 학습
model.fit([encoder_input_data, decoder_input_data], decoder_target_data,
          batch_size=64,
          epochs=50,
          validation_split=0.2)

 

위 코드는 Bahdanau Attention 메커니즘을 적용한 Seq2Seq 모델의 예시이다. 어텐션 레이어를 추가하여 디코더의 출력과 인코더의 출력을 연결하고, 어텐션 가중치를 계산하여 가중합을 구한다. 이를 통해 디코더는 인코더의 출력 중에서 현재 처리해야 하는 정보에 더 집중할 수 있게 된다.