우주의WouldYou

Dataframe - table

Series - list

#Dataframe

built in index가 있을 경우(해당 csv파일에 각 행마다 번호가 붙여진 경우) 불러올 때 index_col =0 을 설정해준다.

read_csv(): 파일 불러오기

to_csv(): 파일 저장하기

.describe 속성: min, mean, max등 값을 대표하는 값들을 알려줌

.columns 속성: 열 이름 보여줌

.colu

.shape 속성: 행,열

.column명: 해당 컬럼만을 보여줌(df[컬럼명])

.column명 == 'a': 'a'일 경우 True 아닐경우 False

.head(): 상위 5개 행 보여줌

.set_index('이름'): 해당이름으로 

- index based selection

.iloc[행]: 해당 행을 보여줌(df.iloc[-5:]: 마지막 행 5개를 보여줌)

.iloc[:, 열]: 해당 열을 보여줌(df.iloc[:3, 0]: 0열의 3번째까지만 보여줌)

- label based selection

.loc[행갯수, ['컬럼명1', '컬럼명2', ...]]: 갯수만큼 해당 컬럼만을 나타냄

.isin['a', 'b'] : a나 b가 있는 것

df.apply(함수, axis='columns') - 해당 함수를 데이터 프레임에 적용

.

pd.DataFrame({'I':['me', 'mine'], 'You':['you', 'yours']}, index = ['a', 'b'])
pd.Series([1,2,3], index =['one', 'two', 'three'], name = 'numbering')

#Series

.unique(): 유일한 항

.value_counts(): 갯수세기

----

Grouping and Sorting

- Groupwise

.value_counts(): 갯수 세기

.groupby('컬럼명'):

.apply():

.agg('함수명1', '함수명2', '함수명3'): 해당 함수들의 값들을 보여줌,  

.reset_index()

.sort_values(by='컬럼명'): 컬럼명 여러 개 가능

.sort_index()

--

.dtype = 데이터프레임, 시리즈 안의 컬럼 데이터 타입

.dtypes = 모든 컬럼의 데이터타입

.astype('데이터타입') : 해당 데이터타입으로 형변환

NaN = Not a Number

pd.isnull('컬럼') 

.fillna("~"): 비어있는 칸을 ~로 대체

.replace("a", "b"): a를 b로 대체

시계열 Time Series

주식, 날씨 예측, 역사적 추세 등 시간 요소가 있는 것들

univariate - 단일 값

multivariate - 여러값

1. 데이터 기반 미

래 예측

2. 과거를 투영하여 현재 위치에 어떻게 도달했는지 확인(imputation), 비어있는 데이터 채우기

3. anomaly detection

4. 해당 Time Series의 패턴찾기

trend 특정 방향으로 이동하는 추세	seasonality 패턴이 예측가능한 간격으로 반복	trend & seasonality 두 가지 융합	white noise 완전 임의의 값

spike -> 다음에 언제 일어날 지, 얼마나 강할지 예측할 수 없음 -> 예측할 수 없는 spike는 innovation이라 불림 빨간 박스 == lag -> lag끼리는 stron autocorrelation이 있음

패턴을 찾으면 prediction이 가능해진다.

마지막 값을 가져오고 다음 값은 같은 값이라고 예측하는거(?) == naive forecasting -> 현재 그래프 -1  -> 성능 평가하는데 비교되는 baseline으로 사용됨	real world trend + seasonality + noise

- metrics for evaluating performance

 if large errors are potentially dangerous and they cost you much more than smaller errors, then you may prefer the mse. But if your gain or your loss is just proportional to the size of the error, then the mae may be better.

- Moving Average

간단한 forecasting method는 이동 평균을 계산하는 것 -> 노이즈를 제거하고 curve를 대략적으로 emulate할 수 있음, 예측을 하는건 아님

오차를 줄이려면 "differencing" 기술을 사용

-> Time Series에서 trend와 seasonality를 제거하는 기법

-> 임의의 시점 T의 값에서 그 이전 시점(1일, 1달,1년 등) 값과의 차이

1년전과의 차이 -> trend, seasonality 없음 해당 Time Series를 이동 평균을 이용해 forecast를 구함

해당 이동 평균을 기존 Series값과 더한다. -> 기존 오차보다 조금 더 개선된 결과를 얻을 수 있다. -> 노이즈가 잔뜩 낀 모습을 볼 수 있음

해당 forecast의 이동평균을 구해 smoothe하게 바꿔준다. -> 조금 더 개선된 오차값을 얻을 수 있음

Moving Average를 계산할 때는 trailing window 사용

학습 시 window 사용

ex) 30개의 데이터가 입력 X라면 그 바로 다음에 나오는 값이 Label Y가 된다.

-> 1개의 Label에 30개의 feature가 있는셈

y는 시간값이 되고 x는 시계열 value값을 가진다.(

window 설정, 5개씩 -> 이후 줄어드는 이유는 9이후의 데이터가 없기 때문

drop_remainder = True 를 이용하여 5개만을 제공하도록 함

numpy로 저장한 이후 input X 와 label Y로 나눔

데이터 섞기

batch

# RNN & LCM

순차적으로 처리

2개의 recurrent layer와 마지막 dense layer

3차원의 input을 가짐 첫 번째 차원은 배치 크기 두 번째 차원은 타임 스탬프 세 번째 차원은 각 시간 단계에서 입력의 차원 (univariate일 경우 1, multivariate는 그 크기만큼)

레이어 재사용 시간 0, zero state를 입력으로 계산 -> 출력 Y0와 다음단계로 공급되는 상태벡터 H0 계산  H0는 X1과 함께 셀에 공급되어 Y1과 H1을 생성하고 이를 계속 반복 => 셀의 출력으로 인해 값이 반복됨 -> 다음단계에 한 단계씩 전달됨 (RNN)

because the values recur due to the output of the cell, a one-step being fed back into itself at the next time step

batch size =4 timestamp = 30 univariate

output = 4 * 3 full output = 4 * 30 * 3 batchsize = 4이고 neuron은 총 3개이므로 4*3크기의 output이 나온다.

간단한 RNN에서는 Hn == Yn이다. 즉, H1=Y1, H2=Y2, ....

시퀀스를 입력하고 싶지만 출력을 원하지 않고 배치의 각 인스턴스에 대해 단일 벡터를 얻으려할때 -> a sequence to vector RNN 마지막 output을 제외하고는 다 무시 return_sequence = True를 통해

(None, 1) -> first dimension = batch size -> None으로 설정(어떤 사이즈든) -> RNN이 시퀀스가 어느길이든 다룰 수 있음을 의미 Second dimension= univariate 두 번째 RNN은 return _sequence가 True가 아님 -> 그냥 output만을 내놓음

둘 다 True인 경우 sequence to sequence RNN dimension이 맞지않을 수도 있음

# Lambda Layer

기존의 2차원 input을 lamda를 통해 3차원으로 변경

출력을 100으로 늘려 학습을 돕는다. 기본적으로 RNN의 activatino function은 tanh임 -> 값이 -1 ~ 1 Time Series값은 대게 40, 50, 60등으로 되어 있으니 간단하게 activation 값에 100을 곱해준다.

#Huber loss

- outlier 에 덜 민감 -> 노이즈에 강함

https://en.wikipedia.org/wiki/Huber_loss

RNN 단점 -> 타임스탬프가 지남에 따라 영향이 감소한다는 것

-> LSTM을 사용해 단점 보완

# LSTM

https://www.coursera.org/lecture/nlp-sequence-models/long-short-term-memory-lstm-KXoay

	clear_session() -> 내부 변수를 지움 lambda layer -> 크기 확장 Bidrectional LSTM -> 32개의 셀, 예측에 미치는 여향을 확인하기 위해 양방향으로 dense Layer -> 예측값을 내놓음

	LSTM 레이어 추가 더 나은 결과를 볼 수 있다.

https://www.coursera.org/learn/convolutional-neural-networks/home/welcome

# mini-batch gradient descent

https://www.youtube.com/watch?v=4qJaSmvhxi8

출처: Coursera, Sequences, Time Series and Prediction

cv - 패턴을 일치시켜 classification을 수행, feature 기반

NLP

LISTEN vs SILENT

두 단어는 같은 아스키 값들을 가진다. but 반대의 의미

단어마다 값이 있고, 같은 단어에 대해 값이 동일하도록

ex)

i love my cat. / i love my dog

1 2    3   4      1 2    3    5

"Tokenizer(num_words=고유단어 개수)"

This will handle the heavy lifting for us, generating the dictionary of word encodings and creating vectors out of the sentences.

-> word_index (key = word, value = index property)

-> 구두점, 느낌표, 물음표 등의 문장부호는 영향미치지 않으며 대문자와 소문자 구분 없음

=> 단어 사전을 만든다고 생각

texts_to_sequences : 단어들을 해당 토큰들 순서로, 없는 단어는 번호를 출력하지 않음

1. 많은 training data필요

2. unseen data는 무시하는게 좋음

unseen data 표시-> oov토큰 추가

- padding

행렬 너비를 긴 문장에 맞춘다. 0으로 채우기

maxlen -> 길이 제한

pre(default): 문장처음부터 잃음

truncating='post'로 설정해서 문장 뒤부터 자를 수 잇음

- Sarcasm Detection

https://rishabhmisra.github.io/publications/

fit 호출 시 단어 인덱스 생성, 토크나이저 초기화

- IMDB dataset(movie review)

http://ai.stanford.edu/~amaas/data/sentiment/

K9라는 단어를 본 적이 없어도 K9가 개와 관련된 개와 비슷한 것을 의미한다는 것을 알고리즘에 알릴 수 있습니다.

built in dataset - tfts(tensorflow data services)

'embedding'

어떤 단어와 관련단어를 다차원 공간에서 벡터로 묶음

<조건>

1. python 3.0ver

2. tensorflow 2.0ver

(그보다 낮을 경우 tf.enable_eager_execution()실행 필요

문장 속의 단어, 비슷한 의미일 수록 가깝다.

ex) 이영화는 지루하고 재미없었어. 이 영화는 재미있고 흥미로웠어

-> 지루& 재미없다, 재미 & 흥미롭다

tf.Tensor사용

embedding결과 -> 문장 길이만큼의 2D array

flatten() 사용 -> 출력벡터의 크기 때문에 해당 길이만큼이 안나옴

해결방법) GlobalAveragePooling1D()를 사용한다.

sequence에서 value와 key를 뒤집어야 한다.

16차원 값 -> vector.tsv로

실제 단어 -> meta.tsv로

(projector.tensorflow.org)

hyper parameter를 조정하면서 val_loss확인

max_length=1000과 truncate = pre,  padding = post	max_length=1000과 truncate = post,  padding = pre

max_length=1000과 truncate & padding = post	max_length=1000과 truncate & padding = pre

max_length=32와 truncate & padding = pre	max_length=32와 truncate & padding = post

max_length = 1000, embedding_dim = 32(before 16)	max_length = 1000, vocab_size = 1000(before 10000)

https://github.com/tensorflow/datasets/tree/master/docs/catalog

https://www.tensorflow.org/datasets/catalog/overview

bytes -> text들은 byte level로 encode되어 있다.

- subwords text encoder

https://www.tensorflow.org/datasets/api_docs/python/tfds/features/text/SubwordTextEncoder

사전 훈련 된 하위 단어 토크 나이저가 있으므로 하위 단어 속성을 확인하여 어휘를 검사 할 수 있습니다. 

 하위 단어의 의미는 종종 의미가 없으며 의미있는 의미를 갖는 순서로 조합 할 때만 사용됩니다

- ValueError: logits and labels must have the same shape ((None, 1) vs ())

train_data = train_data.map(lambda x_text, x_label: (x_text, tf.expand_dims(x_label, -1)))

test_data = test_data.map(lambda x_text, x_label: (x_text, tf.expand_dims(x_label, -1)))

https://developers.google.com/machine-learning/glossary?hl=ko

https://developers.google.com/machine-learning/crash-course/embeddings/video-lecture

https://subinium.github.io/Keras-6-1/

https://wikidocs.net/32105

- purpose of embedding dimensions

: number of dimensions for the vector representing the word encoding

- num_words=n parameter do..

; specifies the maximum number of words to be tokenized and picks the most common 'n' words

(가장 빈도 수 높은 n개의 단어)

단어 순서가 바뀌면 문장의 의미가 크게 바뀔 수 있다.

RNN -> 컨텍스트가 타임 스탬프 보존, 더 긴 문장에서는 손상될 수 있다.

LSTM -> 셀 상태(컨텍스트를 끝까지 전달하는 컨베이어 벨트), 

단어가 하위 단어로 나뉘어 질 때 단어의 문맥을 따르기가 어려웠으며 하위 단어의 토큰이 나타나는 순서가 의미를 이해하는 데 매우 중요해 졌기 때문입니다

# RNN

x input, y - output

x0는 네트워크를 통해 모든 요소에 공급된다.

https://www.coursera.org/lecture/nlp-sequence-models/deep-rnns-ehs0S

context를 통해 다음 단어를 유추할 수 있다. Syntactic Issue

ex) today has a beautiful blue~

 ==> today has a beautiful blue sky

#LSTM

cell state means that they carry context along with them,

RNN에서 유지되는 context이외에 'cell state'라 불리는 추가 컨텍스트 파이프라인 존재

양방향, 단방향 가능/ 장,단기 메모리

https://www.coursera.org/lecture/nlp-sequence-models/long-short-term-memory-lstm-KXoay

tf.keras.layers.LSTM(x) -> x = 해당 레이어에서 원하는 출력 수

단방향이 아닌 Bidirectional이었기에 64가아닌 128 크기

	return_sequences = True -> LSTM레이어  여러개 쌓으려면(?)

single LSTM 에 비해 Multi LSTM이 더 smooth 한 결과를 내놓음

-> 10epoch에서는 둘다 결과가 비슷해보이지만 epoch이 50가까이 되면 multi가 훨씬 좋음

-> single은 변동이 커 신뢰할 수 없는 정확도를 보인다.

다른형태의 네트워크를 같이 쓸 때는 parameter 조정을 유의(?)

5개의 단어에 대해 128개의 필터 처음과 끝의 2 단어씩 깎기 때문에 116단어가 남음

기본	LSTM	GRU(different type of RNN)	Convolution

-> 모두 over fitting문제 발생

image에 비해 text가 더 overfitting 많이 발생: validation에 그 전에 보지 못했던 어휘가 훨 많아서

key word, value token

- Sequence model

코드

결과

n-gram sequence 생성	n-gram sequence 생성  결과
가장 긴 문장을 찾아 그 길이에 맞추어 padding 시킴	pre padding을 사용

마지막 토큰을 레이블로 사용

마지막 토큰을 레이블로 사용

sentence 문장

x -> 마지막 토큰을 제외한 SEQUENCE

label -> 마지막 토큰, 레이블로 사용

y -> one-hot-encode, label번호만 1로 표기(이 경우는 70번째원소가 1로 표기)

  -> tf.keras.utils.to_categorical(labels, num_classes = len(word_index) + 1

word_index 갯수 +1 = total number of unique words that are in the corpus

처음 예측은 높은 확률로 말이 되는 문장을 만들어낸다. 하지만 문장의 길이가 길어질수록 점점 그 확률이 낮아져 말이 안이어짐

total_words -> 모든 단어를 다 다룸 64 -> number of dimensions input_length -> max -1 -> 마지막 단어를 잘라서 label을 구하므로 max -1 길이

문장의 반복 -> LSTM이 context를 앞으로만 전달하기 때문 -> Bidirectional하게 바꾸어준다.

----------

lawrence는 없는 단어라서 무시됨

training_set과 맞춤

sequence에서 그 다음에 확률이 높은 토큰 선택

역방향 조회를 수행하여 토큰을 다시 단어로 바꾸고 시드 텍스트에 추가

https://www.tensorflow.org/tutorials/text/text_generation

출처: coursera, natural language processing in tensorflow 과정

가상환경 설정

conda create -n 이름

가상환경 정보

conda info --envs

가상환경 삭제

conda remove --name 이름 --all

conda env remove -n  이름