프루브유어드림

내가 대학원에 온 가장 큰 학문적 이유는 이러한 이론 (수학적 이론 코드) 이 필요해서이다. 이번 학기 딥러닝 수업을 수강하는데 딱 내가 필요했던 방식으로 수업을 해주셔서 공부할 맛이 난다. Optimization에 대한 과제를 하면서 좀 더 이해가 필요한 부분을 구글링을 통해 찾아가면서 공부하여 정리하였다. Output Layer 에서 Loss 값이 계산되는 구조 Loss 는 실제 레이블과 예측된 레이블의 차이를 계산하며, Input Data, Label, Weight 로 구성된다. Gradient Desecnt 에서는 모든 데이터에 대해 Gradient 가 계산된다. 모든 데이터의 Gradient를 계산할 때, 효율성을 위해 Batch를 사용한다. (m=Batch Size, Batch=Subset) ..

데이터를 서버에 업로드, 다운로드할 때 속도가 더 빠른 방법은?

The topics of this article are as follows. 1. What is Transfer Learning and Fine Tuning? 2. How are they different?

오랜만에 이 블로그를 업데이트한다. 예전에는 Colab(코랩)에서 실습할 때 데이터셋의 이미지를 resize할 때 메모리가 모자라서 중단된 적이 없었다. 그런데 이번에 수업 과제를 하는데 CIFAR-10 이미지를 resize 하는 단계에서 메모리가 부족해서 진행을 할 수가 없었다. 모두연에서 공부할 때 아마 I.D.G를 사용했을 텐데 이전에 실습한 노트북은 참고하지 않고 쌩으로 그냥 해 보고자 해서 삽질을 좀 했다. 당시 공부하면서 이론 부분에 부족함을 크게 느껴 그 부분을 보충하고자 하는 것도 대학원을 진학한 이유 중 하나이기 때문이다. tf.image.resize() 아래가 내가 처음 시도한 코드. (tf.image.resize() 사용) 메모리 부족 에러가 뜨면서 런타임이 자동으로 중단되었다. Tr..

딥러닝 기술적 측면 중심의 글을 발행하게 되면서, '왜 작성하게 되었나'에 대한 서론이 깁니다. Accuracy 높이는 방법만 궁금하신 분은 스크롤을 내려 해당 부분만 참고하시고, 서론을 읽고 싶은 분은 얼마든지 환영입니다. 서론 내가 인공지능 교육을 통해 머신러닝과 딥러닝을 공부하는 동안 비즈니스 실무 분야를 선택할 것인가, 딥러닝 연구 분야를 선택할 것인가에 관한 고민이 있었다. 공부를 하다 보니 엔지니어 영역은 기존에 컴퓨터공학을 제대로 전공했던지, 아니면 프로그래밍 능력이 출중하다던지 둘 중 하나가 우선 갖춰져야 하는 것이라는 걸 깨닫게 되었다. 그래서 나는 엔지니어 영역보다는 비즈니스 영역에 중점을 두고 직업인으로서의 진로를 집중하게 됐다. 그러다 보니 비즈니스 실무 영역에 더욱 도움이 될 만한..

아래의 순서로 선형분류기를 정리할 것이며, 이번 글에서는 Linear Regression의 구현에 대해 기술한다. 1) Linear Regression (선형회귀분석) 2) Binary Classification (이진분류기) 3) Softmax Classification (다중분류기) 선형회귀분석(Linear Regression)의 기본 구조가 궁금하다면 아래의 글을 참고하길 바란다. Linear Regression 선형회귀분석의 기본 구조 (수식과 그래프) Linear Regression 선형회귀분석의 Learning rate (수식과 그래프) Multi-Variable Linear Regression 선형회귀분석의 이론적 이해를 위해 처음과 같은 수식으로 먼저 개념을 익힌다. 그런데, 현실에서는 다..

아래의 순서로 선형분류기를 정리할 것이며, 이번 글에서는 Linear Regression의 Learning rate에 대해 기술한다. 1) Linear Regression (선형회귀분석) 2) Binary Classification (이진분류기) 3) Softmax Classification (다중분류기) 선형회귀분석(Linear Regression)의 기본 구조가 궁금하다면 아래의 글을 참고하길 바란다. Linear Regression 선형회귀분석의 기본 구조 (수식과 그래프) Learning Rate를 구하는 방법 α : Learning rate Learning rate(α)가 너무 크면 Overshooting이라고 하며, 2차 함수의 기울기가 0이 되는 지점까지 도달하지 못하고 튕겨나갈 수 있다. ..

Linear Functions (선형분류기) 선형분류기에는 Linear Regression, Binary Classification, Softmax Classification 세 가지가 있다. 선형분류기를 기반으로 기본적인 인공신경망을 이해할 수 있다. 그리고 이 인공신경망이 진화한 것이 딥러닝 구조이다. 선형분류기를 먼저 학습하는 이유는, 이론들이 점점 진화하면서 조금씩 발전하여 만들어졌기 때문에 근본적인 구조를 이해하면 Neural Network를 더 잘 이해할 수 있기 때문이다. 아래의 순서로 선형분류기를 학습하며 정리할 것이며, 이번 글에서는 Linear Regression의 기본적인 구조에 대해 기술한다. 1) Linear Regression (선형회귀분석) 2) Binary Classifica..

CNN(Convolutional Neural Network) 2차원 이상의 입력을 받기 위해 만들어졌다. 주로 시각 정보 학습(visual information learning)에 사용되는 인공신경망이다. RNN(Recurrent Neural Network) 시간 정보를 가지는 벡터를 다룬다. 시간의 지남에 따른 경과를 담는다. 예를 들어 주식 가격 예측, 비트코인 가격 변동 같은 것이 있으며, 시계열 정보 처리(time-series information learning)를 위해 사용되는 인공신경망이다. CNN이 사용되는 경우(Visual Learning) - Object Recognition : 사물을 알아맞추는 것 (ex. 자동차를 바운딩박스 처리) - Object Identification : 사물..

Deep Learning Computation Procedure ① Deep Learning Model Setup (딥러닝 모델 만들기) 딥러닝 모델 만들기 단계에 포함되는 내용은 아래와 같다. MLP, CNN, RNN, GAN, Customized Model Hidden Layers, Units, Input/Output Cost Function, Optimizer Selection 이 모델의 Hidden Layer는 4개이고, Unit은 각 레이어 당 7개이다. 레이어와 유닛이 많아질수록 정교한 분류가 가능해진다. 예를 들어, 사과와 체리 같이 분류가 어려운 경우에 정교한 분류가 필요하다. ② Training (모델 훈련하기) 모델에 대량의 데이터를 집어넣는 단계이다. Input: Data, Outpu..