去除重复行
从列表中移除重复的行。可选择区分大小写、比较前去除首尾空白、保留首次或最后一次出现的行，并可对结果进行排序。
使用方法
- 1 将列表粘贴到输入框中，每行一项。
- 2 调整比较方式：是否区分大小写、是否在比较前去除空白、保留首次还是最后一次出现的重复行。
- 3 可选：按字母顺序对结果排序。
- 4 复制去重后的列表。
为什么使用此工具
- 默认保持原始顺序 —— 不会自行重新排序。
- 关闭大小写区分后，Apple、apple、APPLE 会被视为同一项合并。
- 去除空白选项会忽略行首尾空白字符的差异。
- 计数器会准确显示被移除的行数。
常见问题
空行会被当作重复行处理吗？
会 —— 多个空行会被合并为一行。如果启用了去除空白选项，仅包含空白字符的行也会被一并合并。
“保留最后一次”选项是如何工作的？
默认的“保留首次”会移除首次出现之后的所有重复项。“保留最后一次”则会移除之前的出现，只保留最后的位置 —— 当后面出现的条目包含更新的数据时非常实用。
不区分大小写时是如何比较的？
系统仅将各行转换为小写作为比较键；输出结果仍会保留被保留那一行原本的大小写形式。
有哪些相关工具？
可以使用 Sort Lines 按长度或数值对结果排序，或使用 Filter Lines 仅保留匹配特定模式的行。
什么是 去除重复行？
去除重复行是一款帮助你从文本列表中删除重复行的工具。它完全在浏览器中运行，支持区分大小写、比较前去除每行首尾空白、选择保留每组重复行中的首次或最后一次出现，并可对结果进行排序。
功能特性
Keep first or last
Remove repeats while preserving either the first or last occurrence of each line.
Case & trim options
Match case-insensitively and trim whitespace before comparing, with optional sorting.
100% private
Runs on your device — your text is never uploaded.
示例
Input
a
b
a
cOutput
a
b
c常见使用场景
-
1
Clean up lists
Remove duplicate emails, URLs, or keywords from a pasted list.
-
2
Dedupe log lines
Collapse repeated log entries to see unique events.
-
3
Prep unique data
Produce a distinct set of values before import or analysis.
Zerethon's deduplicate-lines tool removes duplicate lines from text in your browser, keeping the first (or last) occurrence. Options include case-insensitive matching, trimming before comparison, and optional alphabetical sorting of the result. Everything runs client-side — nothing is uploaded.
- 分类
- 创作者
- 价格
- 免费
- 隐私
- 基于浏览器
- 注册
- 无需
References
- Set — JavaScript — MDN
- uniq (Unix utility) — Wikipedia
隐私
除非另有说明，否则你的数据永远不会离开浏览器。去除重复行 完全在客户端运行 — 无需上传服务器，不记录日志，不追踪你输入的内容。
相关工具
在 Zerethon Social 上创作、分享与成长
免费注册。赚取积分，收集成就，与全球创作者建立联系。