부족함 덕분에 성장할 수 있었던 소중한 시간

그러다가 원래 3개였던 테이블을 4개로 늘리고 중복되는 부분을 다른 새로운 테이블로 뽑아내야겠다는 생각을 했다. 그렇게 ERD를 수정하여 hoohoo님께 링크를 공유했는데, 정말 내가 생각하지 못했던 부분과 고민하던 부분에 대해서 바로 집어내셔서 DM을 보내주셨다. 

그냥 지나칠 뻔한 부분에 대해서 바로 말씀해 주신 것도 너무 놀라웠고 질문하려고 준비하고 있던 부분에 대해서 먼저 질문해 주셔서 더더욱 놀랐다. 몇 차례 DM이 왔다 갔다 했을 때, 내가 DB구조에 대해 잘못 이해하고 있다는 것을 깨달았다. 정말, "유레카"를 외칠 뻔했다. (사실 이미 마음속으로 외쳤다.)

[ 개발일지2 ]

DB 모델링을 마무리 짓고 셀레늄 스크래핑 전체 코드 구현에 뛰어들었다.

계속 테이블만 보다가 코드 구현을 시작하니까 정말 즐겁고 의욕이 넘쳤다. 셀레늄 스크래핑 전체 코드는 이전에 구현해두었던 전처리 함수 3가지와 그렇게 전처리 시킬 데이터를 받아오는데 이용될 selenium 모듈을 통해 이루어져 있다. 이때는 DB 연결 직전이어서 코드에 넣을 데이터는 딕셔너리 형식으로 각 회사별 셀렉터를 직접 코드에 입력해두었다. 그리고 이 과정에서 전에 만들어둔 전처리 함수의 오류를 발견하였고 맨 앞자리가 숫자가 아닐 경우, 앞에 있는 문자를 다 지워버리는 코드를 추가했다. 의욕이 넘쳐서 그런지 하루 만에 DB 연결 전까지 코드를 다 구현했다. 

이후에 해야 했던 일은 크게 두 가지였는데, 첫 번째는 메인 페이지에서 셀렉터를 가져오지 못할 경우에 공시자료 페이지에서 가져오도록 구현하는 것이었고, 두번째는 DB를 파이썬 코드와 연결시켜 DB에 저장되어 있는 셀렉터 값을 이용해서 데이터를 스크래핑해오고 이를 전처리 함수를 통해 정리하여 원하는 형식으로 DB에 저장하는 것이었다. 

첫 번째를 해결하기 위해 셀렉터가 있거나 없거나, 만약 있다면 이것이 메인 페이지에서 쓸 수 있는 셀렉터인지 등을 파악하는 경우의 수를 정리했다. 이를 if-else를 이용해서 코드로 구현하였고 조금씩 발생하는 오류를 수정해가면서 결국 첫 번째를 해결했다. 또 효율적이지 못한 코드를 리팩토링하는 과정을 거치며 코드 길이를 줄였다. MySQL과 파이썬 코드를 연결하는 건 처음이라 멘토님께서 조언해 주신 대로 많은 자료를 둘러보고 공부하면서 DB 연결을 시도해 보았다. 그런데 여기서 문제가 발생하였다. 학부생 때, 데이터베이스 수업을 들으면서 MySQL을 사용한 적이 있었는데 이때 설정해둔 비밀번호를 잊어버린 것이다. 처음엔 "스택오버플로우" 사이트를 돌아다니며 해결 방안을 찾아서 시도해 보았지만, 어림도 없었다. 결국 전부 삭제하고 다시 다운로드해서 실행시켰다. 여기서 필요 없는 시간을 낭비해버렸지만 위의 과정을 거친 덕분에 MySQL에 임의의 값을 넣고 파이썬으로 잘 가져와지는 것을 볼 수 있었다. DB와 파이썬 코드를 연결했으니 남은 것은 DB에 셀렉터 데이터를 넣고 이를 파이썬 코드를 통해 가져와서 전처리 시키고 다시 DB에 저장시키는 일이었다.

그런데 위에서 작성했던 셀레늄 스크래핑 전체 코드는 코드에 딕셔너리로 직접 데이터를 넣어준 코드였기 때문에 코드에 있는 데이터를 DB에 넣고 셀레늄 스크래핑 전체 코드를 DB에서 셀렉터와 기업별 홈페이지 링크를 받아와 데이터를 수집해오는 구조로 코드를 수정해야 했다. 이를 위해 코드에 작성해 둔 데이터를 DB에 옮겨 저장을 하였고 딕셔너리 형식을 깨고 리스트 형식으로 코드를 재구성하였다. 인텍스를 사용하여 for문을 돌리는 부분이 있어서 리스트로 수정하였다. 

그렇게 전체적인 수정을 거친 결과, DB 데이터를 이용하여 각 기업의 데이터를 스크래핑해오고 이를 전처리 함수를 통해 정리하는 부분을 다 구현하였다. 

이후, INSERT와 SELECT 를 통해 데이터를 넣고, 넣은 데이터를 확인하는 과정까지 모두 마쳤다.

[ 여러 문제를 만나며 ]

세상에는 그냥 되는 일은 없는 것 같다. 정말 이제는 잘 할 것 같다는 마음이 들다가도 바로 그게 아니라는 것이 느껴지는 게 재밌다고 생각한다.

매주, 매일 내가 부족하다는 것을 깨닫고 더 공부해야 한다는 것을 알려주니 너무 고맙고 매주, 매일 성장할 수 있도록 도와주는 데일리펀딩에 항상 감사하다. 

더 열심히 공부하고 이 프로젝트를 꼭 완벽하게 끝내고 싶다.

[ 데일리펀딩 인턴 생활 이래서 좋았어요 ]

1. 연차 사용

현재 휴학생이지만, 학교 단과대학 학생회와 코딩-보안 동아리 운영진을 겸직하고 있다. 이번에 학생회와 동아리가 협업하여 "개발자의 밤"이라는 코딩 관련 축제를 열었다. 단과대 내 축제 중에 가장 큰 행사였기에 원래 하던 디자인 직무 말고도 축제 당일 내부 안내 및 개발 세션 통솔 및 인터뷰 등을 맡았기에 연차를 써야 했다. 

학교 행사 때문에 연차를 써야 한다는 것이 사실 눈치가 보여서 처음에 어떻게 말씀드릴까 고민했는데 인턴 기간 내에 연차를 안 쓰고 놔두면 사라진다며 눈치 보지 말고 다 쓰라고 오히려 먼저 말씀해 주셔서 감사했다. (정말 눈치 안 보고 그 주에 두 번을 썼다.)

덕분에 축제를 잘 마무리했고 선배님들의 코딩 직무 강연도 여유롭게 들을 수 있었다. 

2. 소중한 기록

인턴 일지도 개인이 작성하여 인턴 활동 과정 검사를 위해 제출하는 것뿐만 아니라 인사이트에 업로드가 되니 더 뿌듯함이 느껴진다. 그동안에 얼마나 진행을 했고 어떤 생각을 하고 있었고 어떤 노력을 했는지 등 스스로 검사하고 성찰해 보는 시간을 가질 수 있어서 좋았다.

그리고 인턴 인터뷰를 하면서 마지막 정리를 하고 이런 자리가 아니었다면 할 기회가 없었던 말을 전달하면서 더 보람과 뿌듯함을 가질 수 있어서 정말 감사했다. 이런 세세한 프로그램 하나하나까지 준비해 주시는 부분이 모이고 또 모여서 데일리펀딩의 가치를 더 부각시키지 않을까라는 생각이 들었다.