본문 바로가기

DataScience58

파이토치(PyTorch) 딥러닝 모델링 전략 (2) - 파이토치 딥러닝 모델링 단계 파이토치(PyTorch) 딥러닝 모델링 전략 (2) - 파이토치 딥러닝 모델링 단계 파이토치를 활용한 딥러닝 모델링이 익숙하지 않아서중요하다고 생각되는 부분들을 정리하고자 포스팅합니다.파이토치 딥러닝 모델링 단계 1) 문제 이해, 모델링 전략 수립   - 해결할 문제를 이해하고, 문제에 대한 배경과 목적을 정의한다.   - 어떤 데이터를 활용해서 어떤 방식으로 무엇을 예측/분류/처리 해야 하며 어떻게 접근할지 등을 확인한다. 2) 데이터 확보 전략 수립 및 확보   - 상기 1의 문제이해/정의가 명확해지면 목적에 맞는 데이터를 확보하기 위한 전략을 수립하고, 필요한 데이터의 형태, 수량에 맞게 확보하여야 한다. (확보시 많은 시간과 비용이 들 수 있음) 3) 데이터 구조 탐색/시각화 - EDA(Explo.. 2024. 6. 30.
파이토치(PyTorch) 딥러닝 모델링 전략 (1) - 모델링 할 때 지녀야 할 마인드셋 파이토치(PyTorch) 딥러닝 모델링 전략 (1) - 모델링 할 때 지녀야 할 마인드셋 파이토치를 활용한 딥러닝 모델링이 익숙하지 않아서중요하다고 생각되는 부분들을 정리하고자 포스팅합니다.모델링 할 때 지녀야 할 마인드셋  먼저, 코드를 짜는 것 보다 생각해야 할 것들이 있다.   개발자마다 생각하는 내용들이 다를 수 있겠지만, 지금까지 익혀왔던 내용을 바탕으로 아래와 같이 작성해보았다.  - 먼저 해결해야 할 문제, 또는 목적에 대해서 명확하게 정의한다.   명확한 문제정의는 바람직한 방법을 찾는데 도움이 되며,   이러한 문제를 어떻게 해결할지 명확한 정의가 필수이다.  - 사용할 수 있는 자원이 어떻게 되는지 판단한다.   현재 가진 컴퓨팅 자원으로 해결이 어려운 문제라면, 해결할 수 있는 다른 .. 2024. 6. 30.
강화학습_DRL, MDP(Markov Decision Process) 강화학습_DRL, MDP(Markov Decision Process) 1. 개요※ 머신러닝의 종류(3가지)  1) Supervised Learning (지도학습)    : 레이블이 있는 데이터로부터 훈련하여 학습한다.    : 주로 회귀(Regression), 분류(Classification) 방식으로 학습  2) Unsupervised Learning (비지도학습)    : 레이블 없는 데이터를 통해 학습한다.    : 상대적으로 지도학습보다 다수의 데이터가 필요    : 주로 데이터내 유사한 성격을 가진 데이터를 찾아내는 군집(Cluster) 방식으로 패턴을 찾는다.  3) Reinforcement Learning (강화학습)    : 샘플 데이터 없이 환경에 따른 상호작용을 통해 학습한다.    :.. 2024. 6. 22.
구글 코랩(Colab) seaborn, matplotlib 한글 폰트 깨짐 현상 해결(2024.01월 버전) 구글 코랩 한글 폰트 깨짐 현상 해결 (seaborn(sns), matplotlib.pyplot(plt))_2024.01 구글 코랩으로 데이터 분석 시각화를 하다 보면, matplotlib을 사용하는데, 데이터에 따라 한글로 된 속성명이 많아서 그래프 출력시 이를 읽어내지 못해서 '□□□' 등과 같이 폰트가 깨지는 현상이 발생한다. 먼저 구글링을 한 결과, 압도적인 다수의 포스트에서 아래와 같은 코드를 사용해서 해결한다고 되어 있다. (챗GPT에 문의해도 유사한 답변을 받았다.) !sudo apt-get install -y fonts-nanum !sudo fc-cache -fv !rm ~/.cache/matplotlib -rf import matplotlib.pyplot as plt plt.rcParam.. 2024. 1. 25.
자주 사용하는 conda 커멘드 명령어(activate, install) 정리 아나콘다를 활용하여 가상환경을 관리할 때 자주 사용할 수 있는 명령어들입니다. 다른 명령들도 많지만 제가 자주 사용하는 기준으로 정리하였습니다. 1. 아나콘다(미니콘다) 버전 확인 // conda 버전 확인 conda --version // conda 업데이트 conda update --all 2. 이미 설치된 아나콘다 가상환경 확인하기 // 설치된 가상환경 확인 conda env list // 활성화 된 가상환경 정보 확인 conda info 3. 가상환경 생성 // 가상환경 생성 conda create -n // 가상환경 삭제 conda env remove -n 4. 가상환경 복제 conda create --name --clone 5. 설치된 패키지 확인 conda list 6. 가상환경 활성화/비활.. 2023. 8. 14.
파이썬 가상환경 라이브러리 설치/내보내기(Import/Export requirements.txt) 파이썬을 통해 개발하다 보면 가상환경을 변경함에 따라 라이브러리를 새로 설치해야 하는 경우들이 발생한다. 내 경우, pip를 통한 패키지 관리와 conda를 통한 패키지 관리를 둘 다 해야 하는 경우가 있다. 가상환경을 변경할 때에는 기존에 사용했던(또는 라이브러리를 가져오려는 환경) 가상환경에서 각각 패키지 리스트를 txt파일로 저장한 후 새로 사용할 가상환경에서 이를 불러와서 설치할 수 있다. *때론 깃허브를 통해 코드를 clone하였을 때 requirements.txt라는 파일로 패키지들이 저장되어 있어 이를 불러오는 경우도 있다. 1. pip를 사용하는 경우 pip를 사용하는 경우 아래와 같이 패키지 리스트를 기존 가상환경에서 저장[1) Export]하고 새로운 가상환경에서 패키지 리스트를 불러오.. 2023. 8. 13.
Exporting Python Virtual Environment Library When developing with Python, there are cases where you need to install libraries as you switch between virtual environments. In my case, I sometimes need to manage packages using both pip and conda. When changing virtual environments, you can save the package list from the previous environment (or the environment you want to replicate) as a text file and then load it into the new virtual environ.. 2023. 8. 13.
통계학 _ 기대값, 분산, 체비셰프의 부등식, 적률 통계학_기대값, 분산, 체비셰프의 부등식, 적률 기대값(Expected value) - 사건이 발생했을 때, 이득과 그 사건이 발생할 확률을 곱한 값을 전체 사건에 대하여 합한 값 (=어떤 확률적 사건에 대한 평균의 의미를 가진다.) 분산(Variance) - 확렬변수가 기대값으로부터 얼마나 떨어진 곳에 분포하는지 나타내는 기대값과 분산의 성질 Let X ~(μ, σ²), c: 상수 1) E(c) = c 2) E(X) = μ 3) E(cX) = cE(X) = cμ 4) V(c) = 0 5) V(X) = σ² 6) V(c, X) = c²V(X) = c²σ² 7) E(X₁+X₂) = E(X₁) + E(X₂) = μ₁+μ₂ 8) V(X₁+X₂) = V(X₁) + V(X₂) + 2Cov(X₁+X₂) *Cov(X.. 2023. 7. 15.
통계학 _ 이산형 확률변수, 연속형 확률변수 통계학_이산형 확률변수, 연속형 확률변수 확률 변수(Random Variable) - 확률적 시행의 결과에 따라 결과 값이 결정되는 변수 - 이산형(Discrete) 확률변수 → 이산형 확률분포, 확률질량함수(Probability Mass Function, Pmf) → 이산형 확률변수의 누적분포함수 * 특성 1) F(∞) = 1, F(-∞) = 0 2) F(x)는 단조함수이면서 비감소함수이다. F(a) ≤ F(b) (*단 a < b) 3) F(x)는 h가 0으로 변화하는 구간에서 연속이다. lim F(x+h) = F(x) (* - 연속형(Continuous) 확률변수 → 연속형 확률분포, 확률밀도함수(Probability Density Function, Pdf) → 연속형 확률분포에서 X가 a와 b사이의.. 2023. 7. 14.
통계학 _ 확률, 베이즈 정리 통계학_확률, 베이즈 정리 사상 & 표본공간 - 확률실험 (random experiment) : 확실히 예측할 수 없는 결과를 유발하는 행위 또는 과정 - 표본공간 (sample space) : 출현가능한 모든 단일사상들의 집합 - 사상 (events) : 표본공간의 부분집합, 하나 이상의 단일사상의 집합 - 근원사상 (elementary outcome, =단일사상) : 표본공간을 구성하는 분해할 수 없는 무작위 실험의 기본적인 결과 - 여사상 (complement) : 특정 사상의 나머지 집합, P(A^c) = 1-P(A) 확률(Probability) - 각 근원사상들이 발생할 가능성이 발생할 가능성이 같을 때, 사상 A의 확률 P(A)는 확률의 성질 - 임의의 사상 A에 대하여 1) 0 ≤ P(A) .. 2023. 7. 13.
반응형