2023. 8. 9. 11:13ㆍ광고차단 머신러닝
이번 광고 차단의 기능을 수행하는 기계학습 모델 만들기 프로젝트를 진행하게 된 이유는 다음과 같습니다.
광고 차단 규칙이 명시가 되어 있어 악성 광고사이트 제작자들은
이 규칙들을 보며 매번 새롭게 광고 사이트들을 만들어내고,
AdGuard는 계속해서 필터링 규칙들을 업데이트해나가야 하는 구조이다.
따라서 자동으로 규칙을 업데이트 하지 않아도
알아서 잡아내도록 기계학습을 활용해보자!
프로젝트를 진행하며 광고 차단을 하는 기계학습 모델을 Fine-Tuning 했지만
진행하면서 이런 생각이 들었습니다.
그냥 애초에 필터를 공개 안 하면 이런 고생을 안 해도 되지 않을까?
아무래도 EasyList 같은 필터를 공개하지 않는 다면
악성 광고 사이트 제작자들이 규칙을 제대로 파악할 수 없어
악성 광고 사이트의 발전을 늦출 수 있지 않나라고 생각했죠.
하지만 제 생각과는 다르게 고수 개발자들은 이를 공개하기로 결정을 했고
오늘날에도 이러한 규칙들은 유효함과 동시에 커스터마이징 등의 기능까지도 제공합니다.
이번 글에서는 규칙들이 어째서 공개되어 있는지에 대해 알아보도록 하겠습니다!
AdGuard와 EasyList 란?
광고차단 프로그램은 사용자와 개발자들이 만든 규칙 목록(필터)을 통해
웹 요청을 차단하거나 웹 페이지의 구조를 수정함으로써 광고와 추적을 차단하게 됩니다.
그리고 AdGuard는 EasyList와 같은 오래됨과 동시에 유효함을 입증받은 여러 필터와
자체적으로 제작한 필터를 이용해 광고 사이트를 검열하게 됩니다.
[출처] : https://xpmxf4.tistory.com/44
이번 프로젝트의 주 비교 대상은 AdGuard였습니다.
AdGuard는 EasyList 여러 필터 규칙들을 이용해 광고 사이트를 검열한다고 했죠.
이러한 규칙들이 왜 공개가 되었는지 바로 알기 전에
먼저 EasyList와 AdGuard에 대해 간략히 알아볼까요?
EasyList 란?
EasyList는 원치 않는 프레임, 이미지 및 개체를 포함하여
해외 웹페이지에서 대부분의 광고를 제거하는 기본 필터 목록입니다.
많은 광고 차단 프로그램에서 가장 많이 사용하는 목록으로, 12가지 이상의 조합 및 보조 필터 목록의 기초를 형성합니다.
[출처] : https://easylist.to/index.html
EasyList는 인터넷에 존재하는 광고를 제거하는 기본 필터 목록이자,
수많은 필터 중 하나입니다.
AdGuard 란?
AdGuard는 10년 이상의 경험과 다양한 플랫폼을 위한 12개 이상의 제품,
3천만 건 이상의 사용자 설치 횟수를 보유한 광고 차단 소프트웨어 시장의 선두주자 중 하나입니다.
...
필터는 배너, 팝업 또는 트래커와 같은 광고 및 개인 정보를 위협하는 콘텐츠를 필터링하기 위해
AdGuard 앱과 프로그램에서 사용하는 텍스트 형식의 규칙 집합입니다.
[출처]
https://adguard.com/kb/ko/
https://adguard.com/kb/ko/general/ad-filtering/adguard-filters/
즉, AdGuard는 여러 필터 규칙을 통해 광고 사이트를 차단하는 소프트웨어입니다!
https://adguard.com/kb/ko/general/ad-filtering/adguard-filters/
위 링크는 AdGuard 공식 홈페이지에서 확인할 수 있는
필터들의 목록과 각 필터들의 세부사항의 링크를 확인할 수 있는 페이지이니
관심 있으신 분들은 한번 가서 보시는 것도 추천드립니다!
AdGuard와 EasyList의 관계
AdGuard는 자체 필터 목록을 개발하고 유지 관리하기도 하지만
동시에 EasyList와 같은 기존의 효과적인 필터 목록을 통합하여
사용자에게 더 나은 광고 차단 경험을 제공하려고 합니다.
EasyList을 사용함으로써 AdGuard는 이미 검증된 광고 차단 규칙의 이점을 활용하면서
동시에 자체 필터를 통해 추가적인 차단 기능을 제공합니다.
결론적으로, EasyList와 AdGuard는 각각의 방식으로
인터넷의 광고와 추적기를 차단하는 데 중요한 역할을 하며,
이 둘은 사용자에게 더 나은 브라우저 환경을 제공하게 됩니다.
이 두 서비스에는 오픈 소스의 원칙이 깔려 있고 다음 사항들을 중시합니다!
- 커뮤니티의 참여
- 투명성
- 자유로운 배포와 수정
- 사용자 중심의 가치
이제 EasyList의 오픈소스로의 선택과 그 중요성에 대해 자세히 알아보겠습니다.
EasyList: 오픈 소스의 선택
EasyList는 광고 차단 필터 목록의 선두주자로, 2005년 봄 Rick Petnel에 의해 창설되었습니다.
그의 목표는 "간단하고, 효과적이며, 이해하기 쉽고 편집하기 쉬운"
Adblock 확장 프로그램을 위한 구독 목록을 작성하는 것이었습니다.
그러나 이러한 목표는 단순히 기술적인 측면만을 의미하는 것은 아니었습니다.
EasyList의 오픈소스로의 방향성은 여러 중요한 원칙과 가치에 기반하고 있습니다.
[커뮤니티 참여]
EasyList는 Rick Petnel이 시작한 프로젝트이지만,
그 이후로도 많은 사람들이 참여하여 프로젝트를 발전시켰습니다.
Rick의 사망 후에도 오픈소스의 특성상 누구나 프로젝트에 기여할 수 있어
Ares2와 같은 다른 커뮤니티 구성원들이 그의 위치를 이어받아 프로젝트를 계속 발전시켰습니다.
광고와 추적 스크립트의 빠른 변화에 신속하게 대응하는 것이 가능하도록 했습니다!
[투명성]
Rick의 목표 중 하나는 이해하기 쉽고 편집하기 쉬운 구독 목록을 만드는 것이었습니다.
이것은 사용자들이 필터의 내용을 직접 볼 수 있게 하여, 어떤 요소가 차단되는지,
왜 차단되는지에 대한 투명성을 보장하는 것을 의미합니다.
[자유로운 배포와 수정]
EasyList와 관련된 다양한 필터 목록들은 Creative Commons Attribution-ShareAlike 및
GNU General Public License 하에 라이선스가 부여되어 있습니다.
이는 필터 목록을 자유롭게 배포하고 수정할 수 있도록 하며,
다양한 프로젝트나 환경에서 필터를 사용하거나 확장할 수 있게 합니다.
[사용자 중심]
2006년 11월, 웹 버그를 제거하는 필터는 EasyList에서 분리되어
"ABP Tracking Filter"로 만들어졌고, 이는 현재 EasyPrivacy로 알려져 있습니다.
이러한 분리는 사용자의 프라이버시를 중요시하는 동기에서 출발하였습니다.
[출처] : https://easylist.to/index.html
이러한 원칙과 가치를 바탕으로, EasyList는 오픈소스로 제공되며,
이는 사용자와 개발자 커뮤니티에게 많은 이점을 제공합니다!
정리
즉 오늘 글을 요약하자면 다음과 같습니다!
- AdGuard와 EasyList 란?
- 광고 차단 프로그램의 규칙의 공개 이유
긴 글 읽으시느라 고생 많으셨습니다 :)
'광고차단 머신러닝' 카테고리의 다른 글
옵티마이저 아무거나 선택하면 안되는 이유, Adam vs AdamW (20) | 2023.08.21 |
---|---|
???:"휴먼, 당신의 말은 이해할 수 없습니다.(진짜모름)", 자연어처리를 위한 BERT 선택의 이유와 근거 (11) | 2023.08.07 |
어디서부터 이게 잘못된 걸까..., 기계 학습 시 데이터셋 양의 중요성 (0) | 2023.08.03 |
BERT 로는 노오력이 부족하다, RoBERTa 로 성능 개선 시도했는 데 결과물이...? (0) | 2023.08.03 |
"너가 만든 거 유효하긴 해?", BERT, Random Forest 성능테스트 하기 (0) | 2023.08.01 |