1770年，英国科学家约瑟夫·普利斯特里说："我见到一种非常合适于擦去铅笔笔迹的物质。"

当时，整个欧洲均采用切成小立方体的橡胶粒来擦走笔迹。这种物质称为橡皮擦。

另一位英国工程师 Edward Naime 则被认为是发明橡皮擦的人，时间也是在1770年。在此之前，人们使用面包屑来擦去笔迹。 Naime 称他一次在无意之中拾起一块橡胶当作面包屑，但发觉它的效果很好，於是开始生产和售卖橡皮擦。

初期的橡皮擦并不算方便，因为未经加工的橡胶容易腐坏。直至1839年，发明家 Charles Goodyear 发现了硫化可以使橡胶的质素提升，橡皮擦才变得可靠。

1858年一位来自美国费城的李普曼因为把橡皮擦嵌在铅笔尾部而取得了一项专利，但后来这种附有橡皮擦的铅笔因为被判定为「只是把两项已有的东西嵌在一起而不是新产品」而被取消专利。

橡皮擦的英文名称：在英国和澳洲，橡皮擦被称为 rubber；但是在美国，rubber 是安全套的其中一个俗称，而橡皮擦的名称是 eraser。这分别往往被美国人用来开玩笑。