A robots.txt a keresőrobotok (web crawler) viselkedését befolyásoló fájl. Melynek segítségével adhatunk hozzáférést az összes keresőnek, vagy bizonyos keresőmotoroknak, egy teljes web oldalhoz, vagy bizonyos oldalakra szűkítve. Eredeti angol nevén "The Robots Exclusion Protocol" ami olyasmit jelent, hogy a robotok tiltására szolgáló protokoll. A sztenderd fájlt 1994-ben fejlesztették ki. A keresőrobotok olyan speciális programok gyűjtőneve, amelyek képesek az interneten fellelhető publikus, illetve a robots.txt és a robots metatag által engedélyezett tartalmak letöltésére, és ezek valamilyen formában való elemzésére, az adatok eltárolására.