모빈켈님! 웹 크롤링과 아케텍쳐 글 잘 읽었습니다. 제가 타사이트 데이터를 수집하는 토이 프로젝트를 설계하고 있는데 스크랩하려는 사이트가 죄다 Disallow / 로 되어있는데, 토이 프로젝트에서 스크랩하는 것도 문제가 될까요? 그리고 실제 운영중인 서비스에서 Disallow / 로 되어있는 사이트를 스크랩하고 있다면 이 분들은 불법으로 스크랩하고 있는 걸까요? 추가로! 글을 너무 전문적으로 잘 쓰셨는데 자료조사를 잘하는 팁이 따로 있으신가요? ㅎㅎ
토이 프로젝트 여부보다는 수집한 데이터로 무언가의 영리 활동을 하신다면 문제가 될 수 있습니다. 만약 Disallow 된 robot 룰을 무시하고 스크랩 중이라면 룰을 어긴것은 사실입니다... 그게 불법이냐 아니냐는 수집한 데이터로 무슨 일을 할거냐에 달려 있습니다. 저작권과 비슷한 상황에 놓여 있다고 생각하면 될 것 같아요. 누군가의 작품을 무단으로 사용했지만 크리에이터가 그 사실을 모르고 소송을 안 건다면 그냥 넘어가는?... 🙄 실제로 그런 경우도 매우 많고요. 글을 전문적으로 잘 쓰는 법은!.... 이것은 나중에 보이스로 답변할게요 😀