본문 바로가기

First step89

[TIL]21.07.30 reuters 기사 분류 import numpy as np import tensorflow as tf from tensorflow.keras.datasets import reuters seed=0 np.random.seed(seed) tf.random.set_seed(seed) (X_train,Y_train),(X_test,Y_test)=reuters.load_data(num_words=1000, test_split=0.2) category=np.max(Y_train)+1 print(category,'카테고리') print(len(X_train),'학습용 뉴스 기사') print(len(X_test),'테스트용 뉴스 기사') print(X_train[0]) print(X_test[0]) #첫번째 기사 출력 #get_word_in.. 2021. 7. 30.
[TIL]21.07.29 임베딩 중간에 가상환경이 한번 꼬여서 주피터 노트북으로 수업을 따라가다가 어쩔수없이 코랩으로 듣고있었는데 뒤로갈수록 용량이 큰 데이터를 다뤄야해서 더이상은미룰수 없다 싶어서 오늘 가상환경을 새로 설정하고 주피터 노트북 으로 수업을 듣기 시작했다. import os imdb_dir=('C://MLwork//aclImdb//aclImdb') train_dir= os.path.join(imdb_dir,'train') labels=[] texts=[] for label_type in ['neg','pos']: dir_name = os.path.join(train_dir,label_type) print(dir_name) for fname in os.listdir(dir_name): if fname[-4:] == '.tx.. 2021. 7. 29.
[TIL]21.07.28 오전중에는 어제 배운 cnn 활용해서 각자 웹에서 데이터를 찾아 실습해보았다. 워낙적은 데이터를 수작업으로 하나씩 모았고 학습이 실행되는지만 확인했다 정확도를 더 올리고 싶다면 더많은 데이터를 가지고 학습하고 epoch 나 lr등을 조정하면 정확도를 더 올릴수 있을것 같다. 오후에는 단어의 토큰화를 배웠다. #주어진 문장을 '단어'로 토큰화 하기 # 텍스트 전처리 함수 text_to_word_sequence() 호출 from tensorflow.keras.preprocessing.text import text_to_word_sequence #전처리할 텍스트를 정합니다 text='해보지 않으면 해낼 수 없다.' #해당 텍스트를 토큰화 합니다. result =text_to_word_sequence(text).. 2021. 7. 28.
[TIL]21.07.27 CNN 기초2 이미지 데이터로 학습하기 시작하니까 컴퓨터 사양이 중요하다는걸 느끼게 되었다. 사실 기초지식을 배우는 정도의 개발연습에서 고사양 컴퓨터가필요할거란 생각을 안했고 노트북을 구매할떄 적당히 타협해서 라이젠 4650u 루느아르 cpu에 램도 추후 필요하면 업그레이드 할요량으로 8gb만 달았는데 머신러닝하면서 그레픽카드가 있었다면 ram 이 더 많았다면 하는 생각이 들었다. # CNN을 사용하는image처리 예제 cifar from tensorflow.keras import datasets from tensorflow.keras.models import Sequential from tensorflow.keras.layers import Dense, Dropout, Flatten, Conv2D, MaxPoolin.. 2021. 7. 27.

티스토리툴바