⛄ 인턴을 시작할 때는 에어컨 바람과 함께였는데 지금은 벌써 겨울 냄새가 물씬 풍기는 11월이 지나갔다. 이번 일지에서는 지난번 일지에 이어 ‘캠퍼스론을 위한 데이터 정형화 프로젝트’가 어떻게 진행되고 있는지 작성해 보았다.
개발일지
[ 그동안 만난 이슈들 ]
새로운 코드를 추가할 때마다 새로운 이슈를 마주했다? 열심히 구글링도 하고 조언도 구하면서 해결한 상황을 정리해 보려 한다.
❌문제 상황 1
그동안 instagram에서 데이터를 가져올 때 해당 유저의 게시글이 100개가 있으면 python에서 100개의 게시글 데이터와 각 게시글의 댓글 데이터를 모두 스크래핑을 한 후 nestjs로 넘겨주어 저장하도록 코드를 작성했다. 데이터의 양이 적으면 상관이 없지만 일정 정도를 넘어가면 nestjs로 넘어올 때 인스타그램 데이터를 담은 json이 잘려서 변환이 안되는 오류가 발생했다. 또한 인스타그램의 게시글 수가 많아지면 python에서 데이터를 가져오는 시간이 길어져서 중간에 네트워크의 오류 등의 문제로 연결이 끊기면 nestjs에 데이터를 저장을 하지 못하는 상황이 발생한다.
⭕해결 방법
이에 python에서 한 번에 모든 게시글을 가져오는 것이 아니라 게시글의 수를 n개 씩 가져오도록 코드를 수정했다. 게시글의 총개수가 Mxn개라면 nestjs에서 python 파일을 M번 호출하는 식으로 구현했다.
❌문제 상황 2
인스타그램의 데이터를 불러오는 request 호출을 많이 보내면 계정이 spam 처리가 되어 데이터를 불러올 수가 없었다. 이는 일정 시간이 지나면 해결이 됐는데 반복해서 spam 처리가 되면 인스타그램 앱에서 카메라에 얼굴을 돌려가며 사람이라는 것을 인증해야 했다?(아무도 보는 사람이 없지만 회사에서 얼굴을 돌리는 것은 매우 부끄러웠다?)
