분류 전체보기
개발자 채용
3월이 되어 본격 개발자 지원을 하고, 이력서를 넣고 있다. 탈락도 많이하고, 인터뷰도 많이 보고, 기술인터뷰는 언제나 적응안되고, 내가 부족하다는 걸 공부를 더 해야한다는 걸 느끼게 해주지만 그럼에도 아직 따뜻한 세상이라는 걸 느끼게 되는 감사한 시간. 채용은 인터뷰도 그렇고, 인터뷰어나 인터뷰이 모두 보통 힘든일이 아니지만, 채용공고를 보고 이력서를 작성하는 과정에서 이 세상에는 세상의 불편한 문제를 해결하려고 노력하는 멋진 기업이 많다는 것도 알게되고 멋진 마인드의 사람들도 많고, 나의 작은 도움이 필요한 곳이 있다는 것도 알게되고 감사한 현실이다. 하고싶은 것 흥미있는 걸 물어봐주고 그런 일을 할 수 있는 기업… 그런 기업에서 기업과 함께 성장한다면 내가 꿈에 그리는 삶일지도!
scrapy 학습
scrapy spiders : 크롤링 로직이 들어 있는 디렉토리 items.py : 대상에 대한 정보 등을 정의 pipelines.py : 저장된 정보를 가지고 크롤링한 이후의 처리 작업 scrapy.cfg : 전체 프로젝트 배포 시의 설정, 로그 변경 가능 settings.py : scrapy 프로젝트에 대한 설정 scrapy의 동작 items 정의 스타트 url 지정(start_requests, start_urls, callback 함수 지정(parse()) start_url : list file, string list start_requests : 특정한 url에 대해서 callback 함수 지정 가능 callback함수 정의 selector(xpath, css)를 이용하여 데이터를 선택 items..
Scrapy, Selenium
# 웹 크롤링과 웹 스크래핑 - 웹 스크래핑 : 웹사이트 상에서 원하는 부분에 위치한 정보를 자동으로 추출하여 수집하는 기술 웹 크롤러가 가져오는 하나의 웹 페이지가 있을 때, 추출하길 원하는 항목의 위치 지정해서 데이터로 가져오는 것! - 웹 크롤링 : 자동화 bot인 웹 크롤러가 정해진 규칙에 따라 복수 개의 웹 페이지를 브라우징하는 행위 링크를 따라 돌면서 연결된 페이지를 가져오는 과정 웹 크롤링 및 스크래핑을 위한 Python libarary : Scrapy 웹 사이트를 크롤링 및 스크래핑 통해 정보 추출하고 이를 데이터 셋 형태로 저장하는데 특화된 라이브러리로 기초적인 기능만 사용하면, 보고 있는 화면을 그대로 스크래핑할 수 없다. ex) 동적 웹페이지나, 쿠키를 함께 보내야하는 웹페이지의 경우..
주니어 개발자를 위한 커리어 로드맵 신청
주니어 개발자를 위한 커리어 로드맵세미나가 열린다 해서 바로 신청하고 옴 주니어 개발자를 위한 커리어 로드맵 국내 대기업 엔지니어에서 글로벌 기업 본사 근무까지🌟 시니어 개발자의 커리어 라이프와 경험담, 업무 노하우까지 전격 공유! heyjoyce.com