去除重复行
从列表中移除重复的行。可选择区分大小写、比较前去除首尾空白、保留首次或最后一次出现的行，并可对结果进行排序。
使用方法
- 1 将列表粘贴到输入框中，每行一项。
- 2 调整比较方式：是否区分大小写、是否在比较前去除空白、保留首次还是最后一次出现的重复行。
- 3 可选：按字母顺序对结果排序。
- 4 复制去重后的列表。
为什么使用此工具
- 默认保持原始顺序 —— 不会自行重新排序。
- 关闭大小写区分后，Apple、apple、APPLE 会被视为同一项合并。
- 去除空白选项会忽略行首尾空白字符的差异。
- 计数器会准确显示被移除的行数。
常见问题
空行会被当作重复行处理吗？
会 —— 多个空行会被合并为一行。如果启用了去除空白选项，仅包含空白字符的行也会被一并合并。
“保留最后一次”选项是如何工作的？
默认的“保留首次”会移除首次出现之后的所有重复项。“保留最后一次”则会移除之前的出现，只保留最后的位置 —— 当后面出现的条目包含更新的数据时非常实用。
不区分大小写时是如何比较的？
系统仅将各行转换为小写作为比较键；输出结果仍会保留被保留那一行原本的大小写形式。
有哪些相关工具？
可以使用 Sort Lines 按长度或数值对结果排序，或使用 Filter Lines 仅保留匹配特定模式的行。
什么是 去除重复行？
去除重复行是一款帮助你从文本列表中删除重复行的工具。它完全在浏览器中运行，支持区分大小写、比较前去除每行首尾空白、选择保留每组重复行中的首次或最后一次出现，并可对结果进行排序。
功能特性
保留首次或最后一次出现
删除重复行，同时保留每行的首次或最后一次出现。
大小写与去空白选项
比较时可不区分大小写并去除空白，同时支持可选排序。
100% 隐私保护
在您的设备上运行 — 您的文本永远不会被上传。
示例
Input
a
b
a
cOutput
a
b
c常见使用场景
-
1
清理列表
从粘贴的列表中删除重复的电子邮件、URL 或关键词。
-
2
去除日志重复行
合并重复的日志条目，只查看唯一的事件。
-
3
准备唯一数据
在导入或分析之前生成一组不重复的值。
Zerethon 的 deduplicate-lines 工具可在浏览器中直接删除文本中的重复行，保留首次（或最后一次）出现的内容。选项包括不区分大小写匹配、比较前去除空白，以及可选的按字母顺序排序结果。所有处理均在客户端完成 — 不会上传任何数据。
- 分类
- 创作者
- 价格
- 免费
- 隐私
- 基于浏览器
- 注册
- 无需
参考资料
- Set — JavaScript — MDN
- uniq（Unix 实用工具） — Wikipedia
隐私
除非另有说明，否则你的数据永远不会离开浏览器。去除重复行 完全在客户端运行 — 无需上传服务器，不记录日志，不追踪你输入的内容。
相关工具
在 Zerethon Social 上创作、分享与成长
免费注册。赚取积分，收集成就，与全球创作者建立联系。