전체 글 12

[NLP] 자연어처리와 친해지기 : 머신러닝과 딥러닝 모델은 코드적으로 어떻게 다를까? (feat. 네이버 영화 리뷰 데이터(nsmc) 감성 분석)

지난 두달동안 머신러닝과 딥러닝을 차례로 공부하다보니 두 기술이 동일한 테스크를 처리하는데 파이썬 코드 관점에서 어떤 차이가 있을까 궁금해졌다. 그래서 오늘 이렇게 알아본다.오늘의 학습 목표 :**네이버 영화 리뷰 데이터를 사용하여 머신러닝과 딥러닝 모델(분류모델)을 비교하기** 비교 항목 :1. 데이터 전처리 2. EDA(탐색적 데이터 분석) 3. 모델 설정 및 학습 4. 성능 평가 과정 사용한 데이터셋 :**네이버 영화 리뷰 데이터** - ratings_train.txt - ratings_test.txt 출처 URL : https://github.com/e9t/nsmc 사용한 모델 :- 머신러닝 모델 : **TF-IDF + Naive Bayes** - 딥러닝 모델 : **LSTM** 비교1. 데이터 ..

[시스템디자인] 머신러닝 디자인 패턴의 안티패턴(Antipatterns)이란?

📌 목차머신러닝 디자인 패턴의 안티패턴(Antipatterns)이란 무엇인가요?왜 머신러닝 안티패턴이 필요한가요?머신러닝 안티패턴 종류 1. 머신러닝 디자인 패턴의 안티패턴(Antipatterns)이란 무엇인가요?머신러닝이 실제 운영 환경에서 겪는 어려움들, 즉 비효율적이거나 비생산적인 운영 사례들을 '원인에서 문제 발생까지의 과정'으로 묶어 정리한 것입니다.이러한 묶음을 '안티패턴(Antipatterns)'이라 부르며, 패턴은 크게 4가지로 구분됩니다.디자인 패턴은 경험을 바탕으로 정의되었기 때문에 모든 어려운 상황에 대한 해결책이 되지는 않지만,문제 발생 시 문제 해결의 방향을 잡는 데 매우 유용합니다.머신러닝이 실제 운영 환경에서 겪는 어려움들?❗Data quality (데이터 품질)데이터의 정확..

[AI정보] UPENN에서 언어모델(Language Modeling)컨퍼런스를 주최한다? COLM 2024 (Google DeepMind, Allen Institute for AI)

🎉Hello, COLM 2024COLM 2024는 미국 아이비리그의 명문 대학인 Upenn에서 주최하는 '언어 모델링(Language Modeling)'을 주제로 한 최초의 컨퍼런스로, 연구자들에게 새로운 학문적 통찰을 제공할 것으로 기대됩니다. 이번 컨퍼런스는 특히 Denny Zhou(Google DeepMind)와 Yejin Choi(Allen Institute for AI) 두 저명한 연구자들이 의장을 맡아 업계와 학계에서 큰 관심을 받고 있습니다. 🚴🏻Go to COLM 2024  Who are They? COLM 2024 의장 소개 🪑 Yejin Choi 의장 (Allen Institute for AI) :Yejin Choi는 인간 언어와 AI 간의 상호작용을 연구하는 데 있어 세계적으로..

[함수정리] ML, DL, AI, 데이터분석 기초 : 데이터 전처리

🧐 데이터 전처리에서는 뭐를 해야하나?데이터 전처리는 데이터분석, 머신러닝(ML), 딥러닝(DL), 그리고 인공지능(AI)에서 필수적인 과정입니다. 데이터를 효과적으로 사용하기 위해 필수적인 과정이죠! 데이터 분석에서의 전처리는, '결측치 처리', '이상치 처리', '정규화' 등으로 통계적 분석의 신뢰성과 정확성을 향상 시키기 위해 진행하고 머신러닝에서는, '스케일링', '범주형 데이터 처리', '중복 제거'등으로 딥러닝에서는, '이미지 데이터 처리(pixel값 정규화 등)', '텍스트 데이터 처리(텍스트 토큰화 등)', '데이터 증강(augmentation)'등으로 모델이 학습하기 좋도록 데이터 정리하여 좋은 성능을 내는데 일조한답니다!우선 아래 본문에서, '결측치 ..

[시각화] matplotlib pyplot 만져보기 : (선행대수) 벡터, 그리드 생성, 축 설정, 축 라벨 추가

라이브러리 불러오기import numpy as npimport matplotlib.pyplot as plt# 행렬과 벡터를 위해 numpy 불러오기# 벡터 시각화를 위해 pylot 불러오기pyplot의 subplots 시각화 함수로 "x,y축, 라벨, 범례, 그리드활성" 만들기# 시각화fig, axs = plt.subplots()# 그리드를 생성합니다.x_vals = np.linspace(0, 2, 5) # -5에서 5 사이의 11개의 점 (축과 맞추기 위함)y_vals = np.linspace(0, 2, 5) # -5에서 5 사이의 11개의 점 (축과 맞추기 위함)X, Y = np.meshgrid(x_vals, y_vals)# 벡터 1, 2axs.arrow(0, 0, 1.9, 1.9, head_wi..

[AI정보] 중국계 인공지능 커뮤니티가 있다? Machine Heart(机器之心)

이 페이지는 9월 25일 업로드한 정보글 "[AI정보] UPENN에서 언어모델(Language Modeling)컨퍼런스를 주최한다? COLM 2024 (Google DeepMind, Allen Institute for AI)" 작성중 알게된 정보입니다. 자매글이 업로드되어 링크 공유합니다. ⬇️ ⬇️ 링크 걸어 놓았습니다 ⬇️ ⬇️https://whosaidiamdev.tistory.com/10 Machine Heart (机器之心) 기계의 마음...?? 🧐중국 인공지능 커뮤니티(Machine Heart)는 어쩌다 찾은 거야? 연휴 기간동안  논문 AutoGen>을 읽어보려고 찾다가 우연히 해당 논문이 2024년 COLM (Conference on Language Modeling)이라는 학술대회의 학회 ..

[시각화] #01_세그멘테이션 함수 써보기 : 우주대스타 덕구를 진짜 우주로!

🛸우주대스타 덕구를 진짜 우주로!오늘 제 페이보릿 인플루언서 멍멍이 덕구(@life_of_duckoo)를 `pixellib`라이브러리의 인스턴트 세그멘테이션 모델을 사용해서 ✨우주🪐로 보내보겠습니다.우주대스타가 있어야 할 곳은 우주니까요! (가자! 덕구!! 🦮🚀🪐🌌)📌목차라이브러리 & 데이터 불러오기모델 및 세그멘테이션 함수 선택이미지 분할, 배열 값 확인Color Map 조정 (BGR->RGB)이미지 합치기 : 덕구를 우주로!  1. 라이브러리 & 데이터 불러오기 ✅사용할 라이브러리를 불러온다       미리 가져오면 곧 진행할 과제의 전체 플로우를 한눈에 볼 수 있다 (효율🆙)import osimport urllibimport cv2import numpy as npfrom pixelli..

[번역] 전치 합성곱을 사용한 업샘플링(Up-sampling with Transposed Convolution)

출처 : https://kikaben.com/up-sampling-with-transposed-convolution/참고용 깃허브 : https://github.com/naokishibuya/deep-learning/blob/master/python/transposed_convolution.ipynb자료 제목 :Up-sampling with Transposed ConvolutionGentle Reminder : 번역 중 중심내용은 되도록 직역, 아닌 부분은 가독성을 위해 의역을 사용하였습니다. 정확한 내용은 위 출처 원문에서 확인 가능합니다. 아래 글은 영문 원문 읽기 전 참고용으로만 사용하기를 권장드립니다.  Up-sampling with Transposed Convolution게재일 2017년 11월..

DeepLearning101_07_케라스완전정복_Code : 사용자 정의 '지표' 만들기

Recreating code 7-18 from book "Deep Learning with Python" by François CholletCODE 7-18 : Metric 클래스 상속하여 사용자 정의 지표 구하기Import Tools'''pythonimport tensorflow as tffrom tensorflow import kerasfrom tensorflow.keras import layersfrom tensorflow.keras.datasets import mnist'''Define Functions'''pythondefining_modeldef get_mnist_model(): inputs = keras.Input(shape=(28*28,)) features = layers.Den..

DeepLearning101_07_케라스완전정복_워크플로우란?

Keras는 모델 훈련을 위한 다양한 워크플로를 제공한다.워크플로란 딥러닝 모델의 전체과정으로,데이터 수집*과 *전처리, 모델의 설계, 훈련, 검증, 튜닝, 평가, 배포, 모니터링까지 과정의 단계들을 내포한다.만드는 것도, 훈련하는 것도 다양한 Keras 워크플로케라스는 이 모든 과정을 크게 세 가지 방향으로 제공한다.사용자가...1. 개별 단계(ex.훈련루프)와 단계에서 사용될 요소(ex.모델)까지 모두 직접 짤 수 있는 방향과2. 개별 단계를 매서드로 호출하도록 API를 만들어 매서드 내 모델과 파라미터 등 결정하면 되는 방향3. 위 두 가지를 혼용하는 방향이렇게 워크플로를 유연하게 사용할 수 있는 이유는, 모든 워크플로는 keras.Model keras.Layer같은 Keras API를 기반하기 때..