JAVA
[ JAVA ] 문자열 자르기 Splite VS StringTokenizer
anycoding
2024. 12. 20. 23:19
반응형
문자열을 특정 구분자로 분리할 수 있는 StringTokenizer와 Splite을 사용하던 중
구체적인 차이점이 무엇인지 궁금하여 조사하게 되었다.
메모리에서 장점을 가진다고 하지만 정확히 어떤구조로 작용하는지 알아보자
StringTokenizer
StringTokenizer 클래스 내부를 살펴보면 다음과 같은 내용을 볼 수 있습니다.
public StringTokenizer(String str, String delim, boolean returnDelims) {
currentPosition = 0;
newPosition = -1;
delimsChanged = false;
this.str = str;
maxPosition = str.length();
delimiters = delim;
retDelims = returnDelims;
setMaxDelimCodePoint();
}- 생성자 3가지
| 생성자 | 설명 |
| StringTokenizer(String str) | 문자열(str)을 기본 구분자를 제외하고 문자열을 반환한다. 기본 구분자 : 공백( ), 탭(\t), 줄바꿈(\n), 캐리지 리턴(\r), 폼 피드(\f) |
| StringTokenizer(String str, String delim) | 문자열(str)을 구분자(delim)를 제외하고 문자열을 반환한다. |
| StringTokenizer(String str, String delim, boolean returnDelims) | 문자열(str)을 구분자(delim)을 제외할 것 인지(returnDelims)에 따라 true면 반환한다. |
- 주요 메서드
| 메서드 | 설명 |
| hasMoreTokens() | 더 읽을 토큰이 있는지 확인, true/flase 반환 |
| nextToken() | 다음 토큰 반환 및 포인터 이동 |
| nextToken(String delim) | 구분자를 새로 지정하여 다음 토큰 반환 |
| countTokens() | 남아있는 토큰 개수를 반환 |
| hasMoreElements() | hasMoreToken()와 동일 |
| nextElement() | nextToken()과 동일, 반환값이 Object 타입 |
1. StringTokenizer(String str)
public StringTokenizer(String str) {
this(str, " \t\n\r\f", false);
}
StringTokenizer stringtokenizer = new StringTokenizer("Hello World\tJAVA");
while (tokenizer.hasMoreTokens()) {
System.out.println(tokenizer.nextToken();
}Hello
world
JAVA
- 기본 구분자 : 공백( ), 탭(\t), 줄바꿈(\n), 캐리지 리턴(\r), 폼 피드(\f)
- returnDelims는 기본적으로 false
2. StringTokenizer(String str, String delim)
public StringTokenizer(String str, String delim) {
this(str, delim, false);
}
StringTokenizer stringTokenizer = new StringTokenizer("A,B|C", ",|");
while (stringTokenizer.hasMoreTokens()) {
System.out.println(stringTokenizer.nextToken());
}
A
,
B
|
C
3. StringTokenizer(String str, String delim, boolean returnDelims)
public StringTokenizer(String str, String delim, boolean returnDelims) {
currentPosition = 0;
newPosition = -1;
delimsChanged = false;
this.str = str;
maxPosition = str.length();
delimiters = delim;
retDelims = returnDelims;
setMaxDelimCodePoint();
}
StringTokenizer stringTokenizer = new StringTokenizer("A,B|C", ",|", true);
while (stringTokenizer.hasMoreTokens()) {
System.out.println(stringTokenizer.nextToken());
}
A
,
B
| C
다음과 같은 생성자를 가지고 있는데 코드를 살펴보면 단 하나의 구분자로만 사용되는 것으로 보인다.
즉, 구분자 문자가 개별로 작용하여 하지만 String 클래스의 split은 ,| 를 하나의 구분자로 사용할 수 있다.
Split
split 메드는 문자열을 특정 정규식(regex)을 기준으로 나눈다.
다음은 String 클래스에 있는 split 메서드이다.
public String[] split(String regex) {
return split(regex, 0);
}
public String[] split(String regex, int limit) {
char ch = 0;
if (((regex.length() == 1 &&
".$|()[{^?*+\\".indexOf(ch = regex.charAt(0)) == -1) ||
(regex.length() == 2 &&
regex.charAt(0) == '\\' &&
(((ch = regex.charAt(1))-'0')|('9'-ch)) < 0 &&
((ch-'a')|('z'-ch)) < 0 &&
((ch-'A')|('Z'-ch)) < 0)) &&
(ch < Character.MIN_HIGH_SURROGATE ||
ch > Character.MAX_LOW_SURROGATE))
{
int off = 0;
int next = 0;
boolean limited = limit > 0;
ArrayList<String> list = new ArrayList<>();
while ((next = indexOf(ch, off)) != -1) {
if (!limited || list.size() < limit - 1) {
list.add(substring(off, next));
off = next + 1;
} else { // last one
//assert (list.size() == limit - 1);
int last = length();
list.add(substring(off, last));
off = last;
break;
}
}
// If no match was found, return this
if (off == 0)
return new String[]{this};
// Add remaining segment
if (!limited || list.size() < limit)
list.add(substring(off, length()));
// Construct result
int resultSize = list.size();
if (limit == 0) {
while (resultSize > 0 && list.get(resultSize - 1).isEmpty()) {
resultSize--;
}
}
String[] result = new String[resultSize];
return list.subList(0, resultSize).toArray(result);
}
return Pattern.compile(regex).split(this, limit);
}
위를 보면 limit을 통해 배열의 길이를 조절할 수 있다.
로직을 보기 전까지는 사실 어떻게 작동하는 지 헷갈릴 수 있다.
A, B, C와 2를 대입하여 사용한다면 A와 B인지 A와 B,C 인지...
그것을 보여주는 코드예시이다.
public class SplitExample {
public static void main(String[] args) {
String str = "apple,banana,cherry,orange,grape";
String[] result = str.split(",", 3);
for (String token : result) {
System.out.println(token);
}
}
}
apple
banana
cherry,orange,grape
split은 구분자를 찾아 subString으로 분리반복하고 결과 배열을 생성하는 것을 볼 수 있다.
그리고 빈 문자열, 구분자 사이에 문자가 없는 경우
,,
StringTokenizer는 이를 무시하지만 split은 빈 문자열로 간주한다.
StringTokenizer와 split의 차이는 다음과 같다.
| 특징 | String.split() | StringTokenizer |
| 구분자 | 정규식 지원 ( 복잡한 패턴 가능 ) | 단순한 문자 집합( 정규식 미지원 ) |
| 결과 형태 | String [] 배열 | 각 토큰으로 개별 반 |
| 구분자 반환 | 지원하지 않음 | returenDelims 설정을 통한 반환 옵션 제공 |
| 동작 방식 | 정규식으로 문자열 분리 빠른 최적화 코드 포함 빈 문자열도 인식 |
구분자 위치계산 내부 위치 포인터로 하나씩 반환 빈 문자열은 인식하지 않음 |
| 유연성 | 졍규식으로 높은 유연성 | 제한적 |
| 사용성 | 결과를 한 번에 반환 | 각 토큰으로 분리하여 하나씩 처리 |
둘 중 누가 성능이 좋은가?
정규식이나 복잡한 패턴이 아닌 두 메서드 모두 가능한 구분자로 진행하였을 때, 어느 때 어떤 메서드가 성능이 좋은지 4가지 기준으로 분류했다. 4가지 기준은 다음과 같다
- 유니코드를 사용한 경우
- 긴 문자열과 한 가지 구분자를 사용한 경우
- 짧은 문자열과 한 가지 구분자를 사용한 경우
- 짧은 문자열과 여러 구분자를 동시에 사용한 경우
StringTokenizer 한 가지 구분자로 이루어진 문자열을 사용한 경우는 문자열이 길든 짧든 항상 빨랐다.
split()은 여러 구분자와 유니코드를 사용한 경우에 빨랐다.
StringTokenizer
StringTokenizer 클래스의 내부를 살펴보면 구분자에 따라 성능이 좌우된다.
StringTokenizer 클래스 scanToken 메서드
private int scanToken(int startPos) {
int position = startPos;
while (position < maxPosition) {
if (!hasSurrogates) {
char c = str.charAt(position);
if ((c <= maxDelimCodePoint) && (delimiters.indexOf(c) >= 0))
break;
position++;
} else {
int c = str.codePointAt(position);
if ((c <= maxDelimCodePoint) && isDelimiter(c))
break;
position += Character.charCount(c);
}
}
if (retDelims && (startPos == position)) {
if (!hasSurrogates) {
char c = str.charAt(position);
if ((c <= maxDelimCodePoint) && (delimiters.indexOf(c) >= 0))
position++;
} else {
int c = str.codePointAt(position);
if ((c <= maxDelimCodePoint) && isDelimiter(c))
position += Character.charCount(c);
}
}
return position;
}( hasSurrogates는 유니코드인지 확인하는 것이고 indexOf와 isDelimiter 메서드는 같은 로직이다. )
여기서 성능에 영향을 끼치는 것은 indexOf() 메서드 이다. 이는 순차탐색으로 최악의 경우 O(|delimiter|)의 시간이 걸린다.
모든 문자에 이 코드를 작동된다고 생각한다면 성능은 구분자의 개 수에 따라 달라진다. 다음 예시를 보자
| @ | , | < | - |
아스키 코드 값
@ : 64
, : 44
< : 60
{ : 123
| @ | , | < | { |
@ 찾는 경우
| @ | , | < | { |
< 찾는 경우
| @ | , | < | { |
} ( 없는 구분자 ) 를 찾는 경우
} 는 아스키 코드 값이 125이기 때문에 maxDelimCodePoint ( 123 ) 보다 크다.
때문에 탐색되지 않는다.
| @ | , | < | { |
구분자가 아닌 문자 A인 경우
A( 65 ) < maxDelimCodePoint (125)
때문에 모두 탐색해본다.
이처럼 단순 문자일 경우도 모두 탐색한다. 그래서 구분자가 많으면 많을수록 괴랄하게 탐색시간이 늘어난다.
유니코드라면 두 개의 char 를 쓰기 때문에 더욱 더 심각해진다.
split()
- split 메서드는 정규식을 사용하여 구분자를 기준으로 문자열을 나눈다.
- Pattern 클래스(정규 표현식 엔진)를 활용해 문장열을 순회, 구분자를 매칭한다.
- 그 구분자 자리를 기억하고 문자열을 자른다.
다음과 같이 표현할 수 있다.
String input = "apple,banana,grape";
String[] result = input.split(",");
매칭 과정
- 구분자 ,를 문자열에서 찾기 시작.
- 첫 번째 ,의 위치: 5.
- 두 번째 ,의 위치: 12.
- 매칭된 위치: [5, 12].
자르는 위치 계산
구분자의 위치를 기반으로 문자열을 나눕니다:
- 첫 번째 구분자의 앞부분 → 0~5 ("apple").
- 첫 번째 구분자와 두 번째 구분자의 사이 → 6~12 ("banana").
- 마지막 구분자 이후 → 13~끝 ("grape").
때문에 StringTokenizer가 많은 구분자나 유니코드를 문자마다 확인하는 경우에 정규 표현식 엔진으로 보다 빠르게 비교할 수 있고 문자열을 자르기 때문에 split() 성능이 좋지만, 정규 표현식 엔진의 기본 처리 시간이 StringTokenizer가 한 개의 구분자를 비교하는 것보다는 느린 경우가 많다. 또한 긴 문자열일 때 종종 같은 구분자라도 split() 빠른 경우가 있는데.. 같은 문자열을 길게 복사한 것이라서 모든 문자가 구분자의 코드 포인트보다 낮아 코드를 끝까지 읽어서 느린 경우가 아닌 찾아보니 split()은 JVM 메모리 관리 측면에서 같은 문자를 나누는 기준은 캐싱되어 성능이 최적화될 수 있다고 한다.
그렇다면 무엇을 사용해야 할까?
자바에서는 다음과 같이 설명하고 있다.
사실 StringTokenizer는 레거시 클래스이다?
StringTokenizer is a legacy class that is retained for compatibility reasons although its use is discouraged in new code. It is recommended that anyone seeking this functionality use the split method of String or the java.util.regex package instead.
호환성 이유로 유지되는 레거시 클래스이며 새로운 코드에서는 사용이 권장되지 않음. 대신 Split이나 java.util.regex 패키지를 사용하는 것이 좋다.
출처 : JAVA StringTokenizer
StringTokenizer는 사용하면 안될까?
결론적으로는 그렇다고 생각한다. JDK가 업데이트 됨에 따라 레거시 클래스는 삭제될 수도 있다.
JDK가 업데이트 되었다고 해서 사용하던 JDK를 바로 당장 전부 업데이트하지 않겠지만,
미래 지향적으로 본다면 그렇다고 생각한다.
반응형