klay

KLAY - Korean Language AnalYzer (한국어 형태소 분석기)

---

Project maintained by ks-shim Hosted on GitHub Pages — Theme by mattgraham

1. KLAY

Korean Language AnalYzer using KOMORAN’s dictionaries.

• korean morphology analysis
• 한국어 형태소 분석기 입니다.
• 목표
  • 좀 더 빠른 분석 속도
  • 좀 더 자바스럽게 …
  • 품질 유지 (추후 품질 개선 계획)
• 개발 시작일 : 2019. 02 ~
  • version : 0.1 (2019.02.26)
  • version : 0.3 (2019.03.18)
  • version : 0.3.2 (2022.01.18)
  • version : 0.3.6 (2022.09.07) <– current
• KOMORAN의 사전을 기반으로 분석하며, 사용하는 Data structure와 분석 방식은 상이합니다.
• Data Structure : KLAY의 분석 방식에 맞게 수정한 Lucene의 Trie를 사용합니다.
• KLAY is a thread-safe analyzer. (멀티 쓰레드 환경에서의 사용을 권장합니다.)

2. Architecture

Performance와 동시에 확장성을 고려하였으며 Readability에 많은 신경을 썼습니다. 그래서 조금 더 자바(Java)스럽게 Design하였습니다.

2-1. Tokenization

Chain of Responsibiility 패턴을 사용하여 구현하였습니다. ChainedTokenizationRule 인터페이스를 구현하여 Rule을 쉽게 추가할 수 있습니다. 현재는 아래와 같은 Rule을 순차적으로 적용하고 있습니다.

• UserDictionaryMatchRule : 사용자 사전에 매칭하는 Rule
• CharacterTypeAndLengthLimitRule : 문자타입 및 길이 제한 Rule

2-2. Analysis

마찬가지로 Chain of Responsibility 패턴을 사용하여 구현하였습니다. ChainedAnalysisRule 인터페이스를 구현하여 Rule을 쉽게 추가할 수 있습니다. 현재는 아래와 같은 Rule을 순차적으로 적용하고 있습니다.

• CanSkipRule : 분석없이 생략할 수 있는 Rule
• FWDRule : 기분석 사전으로 Fully 매칭하는 Rule
• AllPossibleCandidateRule : 미등록어 추정 Rule
• NARule : 분석 불가 Rule

HMM(Viterbi)는 MorphSequence 클래스를 사용하여 계산되어집니다.

2-3. Dictionary

Lucene의 Trie를 변형하여 적용하였습니다.

3. Example

    //***********************************************************************
    // 1. configuration and creating Klay object ...
    //***********************************************************************
    Klay klay = new Klay(Paths.get("data/configuration/klay.conf"));

    //***********************************************************************
    // 2. start morphological analysis.
    //***********************************************************************
    String text = "너무기대안하고갔나....................재밌게봤다";
    Morphs morphs = klay.doKlay(text);

    //***********************************************************************
    // 3. print result.
    //***********************************************************************
    Iterator<Morph> iter = morphs.iterator();
    while(iter.hasNext()) {
        System.out.println(iter.next());
    }

4. Performance

4-1. 사양 및 데이터

• 프로세서 : Intel(R) Core(TM) i7-6700K CPU @ 4.00GHz, 4008Mhz, 4코어, 8 논리 프로세서
• 메모리 : 32.0 GB
• 분석 데이터 위치 : data/performance/test.txt
• 분석 데이터 건수 : 199,992 건

  4-2. 결과 및 코드

• 사전 로딩 : 0.284 (s)
• 분석 시간 : 16.815 (s)

   String src = "data/performance/test.txt";
   Klay klay = new Klay(Paths.get("data/configuration/klay.conf"));
  
   StopWatch watch = new StopWatch();
   watch.start();
   int count = 0;
   try (BufferedReader in = new BufferedReader(new FileReader(src))) {
       String line = null;
       while((line = in.readLine()) != null) {
           line = line.trim();
           if(line.isEmpty()) continue;
  
           klay.doKlay(line);
           System.out.print("\r" + ++count);
       }
   }
   watch.stop();
   System.out.println("Analysis Time : " + watch.getTime(TimeUnit.MILLISECONDS) / 1000.0 + " (s)");
  

5. Elasticsearch Plugin Download

• Download : https://github.com/ks-shim/klay-es-plugin

6. Resources Download

• Dictionary : https://github.com/ks-shim/klay-resources/tree/master/dictionary
• Configuration : https://github.com/ks-shim/klay-resources/tree/master/configuration

7. KLAY for python

• https://github.com/ks-shim/klay4py
• 개발중 …

8. Maven

<dependency>
  <groupId>io.github.ks-shim.klay</groupId>
  <artifactId>klay-common</artifactId>
  <version>0.3.8</version>
</dependency>

<dependency>
  <groupId>io.github.ks-shim.klay</groupId>
  <artifactId>klay-dictionary</artifactId>
  <version>0.3.8</version>
</dependency>

<dependency>
  <groupId>io.github.ks-shim.klay</groupId>
  <artifactId>klay-core</artifactId>
  <version>0.3.8</version>
</dependency>

<repositories>
  <repository>
      <id>oos</id>
      <url>https://s01.oss.sonatype.org/content/groups/public/</url>
  </repository>
</repositories>

9. Dictionary build

• dictionary-build 모듈 : klay.dictionary.build.DictionaryBuilder 실행

  public static void main(String[] args) throws Exception {
  
    // 1. 사전에 환경설정 파일의 Raw 사전 정보를 변경합니다.
    Properties config = new Properties();
    config.load(Files.newInputStream(Paths.get("data/configuration/klay.conf")));
  
    // 2. 관측확률/전이확률에 사용한 pos-frequency 정보를 읽어들입니다.
    DictionaryTextSource posFreqSource = new DictionaryTextSource(Paths.get(config.getProperty("dictionary.grammar.path")));
  
    // 3. 관측확률 사전의 소스/타겟 정보를 생성합니다.
    DictionaryTextSource[] emissionSources = {
            // *** must build DIC_WORD first !!
            new DictionaryTextSource(
                    Paths.get(config.getProperty("dictionary.word.path")), DictionaryTextSource.DictionaryType.DIC_WORD),
            new DictionaryTextSource(
                    Paths.get(config.getProperty("dictionary.irregular.path")), DictionaryTextSource.DictionaryType.DIC_IRREGULAR)
    };
    DictionaryBinaryTarget emissionTarget =
            new DictionaryBinaryTarget(Paths.get(config.getProperty("dictionary.emission.path")));
  
    // 4. 전이확률 사전의 소스/타켓 정보를 생성합니다.
    DictionaryTextSource transitionSource =
            new DictionaryTextSource(
                    Paths.get(config.getProperty("dictionary.grammar.path")), DictionaryTextSource.DictionaryType.GRAMMAR);
    DictionaryBinaryTarget transitionTarget =
            new DictionaryBinaryTarget(Paths.get(config.getProperty("dictionary.transition.path")));
  
    // 5. 빌더를 생성하고 빌딩을 시작합니다.
    DictionaryBuilder builder = new DictionaryBuilder.Builder()
            .posFreqSource(posFreqSource)
            .emissionSourcesAndTarget(emissionSources, emissionTarget)
            .transitionSourceAndTarget(transitionSource, transitionTarget)
            .build();
  
    builder.buildAll();
  }