중복 줄 제거

중복 줄 제거는 어떤 작업에 사용할까요?

여러 줄의 목록을 다루다 보면 같은 항목이 두 번 이상 들어가는 경우가 많습니다. 짧은 목록이라면 눈으로 찾아 삭제할 수도 있지만, 항목이 수십 개나 수백 개가 되면 중복을 정확히 찾는 데 시간이 오래 걸립니다.

중복 줄 제거 도구는 각 줄을 하나의 항목으로 비교한 뒤 처음 등장한 항목은 남기고 반복된 항목만 제거합니다. 목록의 원래 순서를 유지하기 때문에 단순 정렬과도 목적이 다릅니다.

중복 제거는 어떤 기준으로 판단되나요?

화면에서 똑같아 보이는 두 줄도 실제 문자값이 다르면 컴퓨터에서는 서로 다른 항목으로 인식될 수 있습니다. 그래서 텍스트집에서는 자주 문제가 되는 기준을 옵션으로 분리했습니다.

원본 순서는 그대로 유지됩니다

중복 제거와 가나다순 정렬은 서로 다른 작업입니다. 이 도구는 목록을 자동으로 가나다순이나 숫자순으로 정렬하지 않습니다.

같은 항목이 여러 번 나오면 가장 먼저 등장한 항목만 남기고 뒤에 반복된 항목을 제거하기 때문에 원본의 흐름을 최대한 유지합니다.

포도가 배보다 먼저 입력되었기 때문에 결과에서도 포도가 먼저 유지됩니다. 결과를 가나다순으로 다시 배열하고 싶다면 이후 텍스트 정렬 도구를 사용하면 됩니다.

앞뒤 공백 때문에 중복이 제거되지 않는 경우

목록을 웹페이지나 PDF, 엑셀에서 복사하면 글자 앞이나 뒤에 눈에 잘 보이지 않는 공백이 함께 들어올 수 있습니다.

예를 들어 화면에서는 두 줄 모두 사과라고 보이더라도 하나는 사과이고 다른 하나는 사과 뒤에 스페이스가 들어가 있다면 실제 문자열은 서로 다릅니다.

영문 대소문자는 같은 항목으로 볼까요?

영어 목록에서는 대소문자를 어떻게 처리할지가 중요할 수 있습니다. 일반적인 키워드 목록이라면 Apple과 apple을 같은 단어로 보는 경우가 많지만, 코드나 식별자에서는 대소문자 차이가 중요한 경우도 있습니다.

일반 단어 목록은 대소문자 차이 무시가 편리하지만, 프로그래밍 코드나 대소문자를 구분하는 ID라면 옵션을 끄는 것이 안전합니다.

엑셀에서 복사한 목록도 바로 사용할 수 있습니다

엑셀이나 스프레드시트에서 한 열의 데이터를 복사하면 일반적으로 각 셀의 값이 줄바꿈으로 구분되어 붙여넣어집니다. 따라서 한 열의 중복 데이터를 정리하는 간단한 작업이라면 별도의 수식 없이 이 도구를 사용할 수 있습니다.

다만 여러 열을 동시에 복사하면 탭 문자가 포함될 수 있고 각 줄 전체를 하나의 항목으로 비교하기 때문에, 특정 열만 기준으로 중복을 제거하려는 작업과는 결과가 다를 수 있습니다.

빈 줄 제거와 중복 줄 제거를 함께 사용하면

목록 사이에 아무 내용도 없는 줄이 많이 들어가 있다면 빈 줄 역시 목록 정리를 방해할 수 있습니다.

현재 도구에서는 빈 줄 제거 옵션을 기본으로 제공하기 때문에 중복 제거와 동시에 내용이 없는 줄도 정리할 수 있습니다.

다만 문서 구조상 빈 줄 하나를 의도적으로 남겨야 한다면 빈 줄 제거 옵션을 끌 수 있습니다.

중복이 남아 있는 것처럼 보인다면 확인하세요

결과에 같은 내용이 두 번 남아 있는 것처럼 보인다면 실제로는 서로 다른 문자가 포함됐을 가능성이 있습니다.

• 문장 가운데에 스페이스가 한 칸과 두 칸으로 다르게 들어 있을 수 있습니다.
• 일반 스페이스가 아닌 특수 공백 문자가 포함될 수 있습니다.
• 한쪽 항목에 탭 문자가 포함되어 있을 수 있습니다.
• 한글 또는 영문이 겉보기에는 비슷하지만 다른 유니코드 문자일 수 있습니다.
• 앞뒤 공백이 아니라 항목 가운데의 공백 차이는 현재 별도 값으로 판단됩니다.

항목 내부에 들어간 여러 칸의 공백까지 동일하게 만들고 싶다면 먼저 공백 제거 도구에서 연속 공백을 한 칸으로 정리한 뒤 중복 줄 제거를 사용하는 방법이 좋습니다.

중복 제거 후 정렬이 필요한 경우

중복 줄 제거는 원본 순서를 유지하는 것이 목적입니다. 따라서 결과를 가나다순, 알파벳순, 숫자순으로 바꾸지는 않습니다.

예를 들어 수백 개의 키워드에서 중복을 먼저 제거하고 이후 가나다순으로 보고 싶다면 중복 줄 제거 → 텍스트 정렬 순서로 사용하는 것이 좋습니다.

이렇게 기능을 분리하면 중복만 제거하고 원래 순서를 보존해야 하는 경우와 최종적으로 정렬까지 필요한 경우를 모두 처리할 수 있습니다.

입력한 텍스트는 어떻게 처리되나요?

이 중복 줄 제거 도구는 입력한 목록을 사용자의 웹브라우저에서 직접 비교하고 처리합니다. 중복 확인을 위해 입력한 내용을 별도의 서버로 전송하는 기능을 사용하지 않습니다.

결과 생성과 줄 수 계산 역시 현재 페이지에서 실행되며, 입력한 텍스트를 서버에 저장하는 기능은 없습니다.

페이지를 새로고침하거나 닫으면 현재 입력 내용은 유지되지 않으므로 중요한 목록은 작업 전에 원본을 별도로 보관하는 것이 좋습니다.

브라우저 내부에서 처리하더라도 비밀번호, 주민등록번호, 인증번호, 금융정보처럼 중요한 개인정보는 온라인 도구에 입력하지 않는 것을 권장합니다.

중복 줄 제거 전에 확인하면 좋은 것

• 일반 목록이라면 대소문자 차이 무시와 앞뒤 공백 무시를 켜는 것이 편리합니다.
• 코드나 식별자라면 대소문자를 구분해야 하는지 먼저 확인하세요.
• 공백 자체가 의미가 있는 데이터라면 앞뒤 공백 무시 옵션을 끄는 것이 안전합니다.
• 여러 열의 스프레드시트 데이터를 붙여넣으면 한 줄 전체가 비교 대상이 됩니다.
• 결과를 가나다순으로 정리하려면 중복 제거 후 별도의 텍스트 정렬을 사용하세요.

자주 묻는 질문

관련 텍스트 도구