프루브유어드림

데이터를 서버에 업로드, 다운로드할 때 속도가 더 빠른 방법은?

The topics of this article are as follows. 1. What is Transfer Learning and Fine Tuning? 2. How are they different?

오랜만에 이 블로그를 업데이트한다. 예전에는 Colab(코랩)에서 실습할 때 데이터셋의 이미지를 resize할 때 메모리가 모자라서 중단된 적이 없었다. 그런데 이번에 수업 과제를 하는데 CIFAR-10 이미지를 resize 하는 단계에서 메모리가 부족해서 진행을 할 수가 없었다. 모두연에서 공부할 때 아마 I.D.G를 사용했을 텐데 이전에 실습한 노트북은 참고하지 않고 쌩으로 그냥 해 보고자 해서 삽질을 좀 했다. 당시 공부하면서 이론 부분에 부족함을 크게 느껴 그 부분을 보충하고자 하는 것도 대학원을 진학한 이유 중 하나이기 때문이다. tf.image.resize() 아래가 내가 처음 시도한 코드. (tf.image.resize() 사용) 메모리 부족 에러가 뜨면서 런타임이 자동으로 중단되었다. Tr..

Table of contents 0. Introduction 1. The procedure of scrapping data 2. The main procedure for making a web scrapper 3. Save to CSV file 4. Error history 5. Conclusion 6. References Introduction 비즈니스 영역에서 활용도가 높은 스크래퍼를 직접 만들어보았다. 이번 글은 Python을 사용하여 Web Scrapper를 구현하는 과정 중 Back-end 작업에 해당하는 핵심적인 내용을 정리하였다. The procedure of scrapping data 웹 스크래퍼를 구현하기 위해 스크래퍼가 어떻게 웹사이트에서 데이터를 가져오는지 개념 정리가 필요하다. 우선..

Table of contents 0. Introduction 1. My codes & The way of more effective coding 2. Conclusion 3. References Introduction 파이썬 외장 라이브러리 중 request의 기능을 공부하는 차원에서 URLs Checker를 구현해 보았다. 사용자에게 url을 입력받아 각 url이 유효한지 유효하지 않은지 판별할 수 있는 코드를 짰다. 이 과정에서 효율적인 코드에 대해서 생각을 해 보게 되었고, 사용자 정의 함수(function)의 유용성에 대한 이해도를 높일 수 있었다. 내가 짠 코드를 보면서 코드를 왜 이렇게 짰는지를 설명해 보고, 더욱 효율적인 코딩을 하는 방법에 대한 인사이트를 탐구해 보겠다. My codes &..

프로그래머스 코딩테스트 문제 중에 SQL 고득점 Kit이라는 문제 세트가 있다. 해당 문제들을 직접 풀어서 결과를 정리해 보겠다. 이번 글은 STRING, DATE를 다루는 문제이다. 문제 1 우선, 이 문제는 문제 지침에 오류가 있는 듯하다. 정렬 순서 예시에 나온 데로 정렬하려면 더 복잡한 코드가 필요하다고 생각되나, 그냥 전체 컬럼을 오름차순으로 정렬하는 게 정답이라고 나온다. 그리고 REGEXP 문을 써도 같은 결과가 나오는데 그건 채점 결과에서 틀렸다고 나온다. 그냥 간단하게 이름을 나열하고 이름이 이 중에서 같은 동물을 찾을 수 있도록 IN을 사용하면 정답이 된다. 문제 2 특정 문자를 포함하는 데이터를 조회하는 문제이다. LIKE '%문자%'를 사용한다. '%문자' 또는 '문자%'를 사용하여..

프로그래머스 코딩테스트 문제 중에 SQL 고득점 Kit이라는 문제 세트가 있다. 해당 문제들을 직접 풀어서 결과를 정리해 보겠다. 이번 글은 JOIN을 활용하는 문제이다. 문제 1 두 개의 테이블 중 하나의 테이블에는 정보가 있고 다른 하나의 테이블에는 정보가 없는 경우를 찾아서 조회하는 문제이다. 어느 테이블을 첫 번째로 지정하냐에 따라 코드 작성 결과는 달라질 수 있고, LEFT JOIN 혹은 RIGHT JOIN 중 어느 것을 사용해도 조회 결과는 같게 만들 수 있다. 문제 2 오기재로 인해 인과관계가 불명확한 데이터를 찾는 문제이다. JOIN 문은 문제 1과 동일한 원리이고, WHERE 절에서 요구하는 조건에 해당하는 데이터만 조회할 수 있도록 하는 코드를 입력하면 된다. 문제 3 한쪽 테이블에 데..

프로그래머스 코딩테스트 문제 중에 SQL 고득점 Kit이라는 문제 세트가 있다. 해당 문제들을 직접 풀어서 결과를 정리해 보겠다. 이번 글은 IS NULL을 다룬다. 문제 1 특정 컬럼에서 NULL값을 가지는 행을 추출하는 문제이다. WHERE 절에 IS NULL을 사용한다. 문제 2 특정 컬럼에 값이 채워진(NULL이 아닌) 행을 조회하는 문제이다. WHERE 절에 IS NOT NULL을 사용한다. 문제 3 특정 컬럼의 값 중에서 NULL 값이 존재하는 경우 다른 값으로 치환하여 출력하는 문제이다. SELECT 절에 IFNULL(컬럼명, '치환할 값')을 사용한다.

프로그래머스 코딩테스트 문제 중에 SQL 고득점 Kit이라는 문제 세트가 있다. 해당 문제들을 직접 풀어서 결과를 정리해 보겠다. 이번 글에서는 GROUP BY를 활용하는 문제들을 풀고 정리한다. 문제 1 그룹별로 데이터의 개수를 집계하는 문제이다. SELECT 절에서 COUNT()를 사용하고, GROUP BY를 통해 Cat과 Dog로 그룹을 만들어주면 그룹별로 데이터의 개수를 출력할 수 있다. (마지막에 ORDER BY 지정해주어야 한다. 당연히 알파벳 순서라 Cat -> Dog 순서로 출력되니까 ORDER BY 지정하지 않아도 되는 줄 알았는데 ORDER BY 적어주지 않으면 채점 결과에서 틀렸다고 나온다.) 문제 2 NULL인 값을 제외하고 2번 이상 쓰인 이름이어야 하고, 그 이름에 해당하는 데이..

프로그래머스 코딩테스트 문제 중에 SQL 고득점 Kit이라는 문제 세트가 있다. 해당 문제들을 직접 풀어서 결과를 정리해 보겠다. 이번 글에서는 SUM, MAX, MIN을 활용하는 문제를 풀어 정리했다. 문제 1 해당 컬럼 값 중에서 최댓값을 조회하는 문제이다. SELECT 시, MAX(컬럼명)을 사용해서 컬럼의 최댓값을 조회하도록 한다. 문제 2 해당 컬럼 값 중에서 최솟값을 조회하는 문제이다. SELECT 시, MIN(컬럼명)을 사용해서 컬럼의 최솟값을 조회하도록 한다. 문제 3 고유값을 가지는 컬럼을 지정하여 고유값의 개수를 조회하는 문제이다. ANIMAL_ID는 중복 값이 없는 고유값이기 때문에 동물의 마리 수를 세는 데 적합하다고 판단하였으며 SELECT COUNT(컬럼명)을 사용하였다. 문제 ..