Memex este un motor de cautare mai special, folosit in lupta impotriva criminalitatii, dezvoltat de catre agentia americana DARPA (Defense Advanced Research Projects Agency). Tinand cont de informatiile oferite chiar de catre DARPA, pe site-ul agentiei, la inceputul anului 2014, programul Memex a luat nastere din dorinta de a avea la indemana unelte mai eficiente in lupta impotriva traficului de persoane.
Memex este un motor de cautare mai special, prin faptul ca se concentreaza asupra acelei parti ascunse a Internetului, acolo unde au loc tot felul de tranzactii ilegale, de la trafic de droguri, arme, persoane, pana la contractarea asasinilor platiti.
Astfel de site-uri nu sunt indexate de catre motoarele de cautare pe care le stim cu totii, deoarece, evident, nu se doreste acest lucru.
Pentru ca un site sa fie indexat de catre un motor de cautare, Google de exemplu, trebuie inscris in acesta, completand un formular sau, si mai rapid, trimitand un link catre el.
Daca nu se doreste indexarea site-ului in motoarele de cautare, acest lucru se realizeaza editand fisierul robots.txt. Majoritatea motoarelor de cautare tin cont de instructiunea “Disallow: /” care inseamna ca nu doresti ca site-ul sa-ti fie vizitat de catre robotii acestora. Sau poti bana clasele IP de unde vin botii motoarelor de cautare, asa cum s-a intamplat in acest caz. Desigur, daca cineva face trimite catre site-ul tau, acesta tot va exista in cautari.
Astfel de metode sunt folosite si de catre oamenii obisnuiti, cei care pur si simplu nu doresc sa le fie indexat site-ul, sau doar anumite parti ale acestuia, pentru a proteja anumite informatii sensibile, nefiind vorba despre lucruri ilegale. Cunosc si persoane care nu doresc sa le fie indexat site-ul, pentru ca au ceva impotriva politicilor marilor corporatii.
Cand vine vorba despre site-uri care au fost construite exclusiv pentru a facilita tranzactiile cu tot felul de lucruri ilicite, acestea nu ar putea fi indexate nici daca s-ar dori (nu ca s-ar vrea) deoarece pentru a le putea accesa ai nevoie de programe speciale, cum ar fi TOR. Asta inseamna ca Google, sau oricare alt motor comercial de cautare, nu poate fi folosit de catre autoritati pentru a-i descoperi pe cei care incalca legea.
Asa a aparut Memex (memory + index) motorul de cautare folosit de catre autoritati pentru a putea avea acces si la acea parte a Internetului invizibila pentru cei mai multi dintre noi, despre care se crede ca reprezinta un sfert din acesta.