kasumil의 코딩 공작소

youtu.be/D8JnyG-Die4 최근 크롤링을 진행할 수 있게되어, 개인 사이드프로젝트가 이제 진행되고 있다.위코드 졸업한지 4개월만에!! 아무도 크롤링, 웹스크래핑에 대해서 알려주지 않았기에 고생했던 부분 ㅠㅠ파이썬의 경우 크롤링을 해봤지만, 웹스크래핑을 알려주지 않아서 그냥 전체페이지 긁어와서 해당 페이지 내용을일일히 긁어와야 했던지라 포기했으나 이제 다시 진행하게 되었다. 하지만 초짜라 그런지 자료구조를 이상하게 짜서 잘못만들어졌다. 동영상을 보면FOOTER부분보다 아래에 빈칸이 생겨 있는 것이다. json파일 자료만 봐도 잘못 만들어서 다시 만들어야한다.쓸데없는 map을 돌릴때 필요없는 FOOTER자료까지 긁어와서 해당 빈칸이 생긴 것으로 추측한다.이를 고치고, 다시금 JSON을 만들어서 진..

구글에서 노드 크롤링을 검색하면 의외로 자료가 없다. 그나마 검색되는 내용중에 'cheerio', 'cheerio-httpcli'를 사용하라고 한다. 하지만 'puppeteer'에 관련된 내용은 없더라. 어쨌든간에 노드크롤링에 대한 해당 내용을 찾아보았다. data-make.tistory.com/436 [Node.js] cheerio module 로 크롤링하기 .Install cheerio module - Install Cheerio from npm npm i cheerio .Using cheerio 달러 환율의 일별 시세를 크롤링 해보려고 한다. 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 c.. data-make.tistory...

- 오늘 해야할 일 테슬라 클론 진행 - 오늘 수정사항 - 오늘 진행사항 백엔드에서 크롤링 작업 시도. - 오늘의 코드 실패. 위코드를 졸업하고 근 1주일만에 글을 쓰는 것 같다. 그런데, 개인적으로 공부를 하고 있는데 공부의 내용보다 클론을 진행하면서 내용을 구성하는 게 나을 것 같다고 생각하여 클론을 진행했으나 백엔드 데이터가 없어 해당 사이트를 구현하는데 있어 막혀버렸다. 그래서 그냥 내가 크롤링해서 가져오자라는 생각에 파이썬 학습 중. 파이썬의 기초는 알고 있는데, 장고와 같은 중급 기술은 잘 모르겠다. 아무튼 내가 원하는 바는 그냥 크롤링이 되느냐 여부. 인터넷 보면서 여차저차 진행해서 크롤링을 시도했으나 실패. 아마도 requests로 요청하는 것을 서버측에서 막은거 같은데, 인터넷 블로그를 ..