260215 LiteDB byte변환시 FullQuery 성능변화

⚡ 260215 LiteDB float[]→byte[] 변환 시 Full Query 성능 변화

💡 이전 문서 LiteDB Full Query 전체 읽기 성능 분석에서 MyMesh 50만건 Full Query가 OOM으로 사실상 불가능하다고 분석하였다. 본 문서에서는 float[]를 byte[]로 변환 저장(BsonBinary) 했을 때 Full Query 성능이 얼마나 개선되는지를 정량적으로 분석한다.

📌 1. 핵심 질문

float[] vertexList를 그대로 저장 (BsonArray)  →  Full Query 성능?
float[] vertexList를 byte[]로 변환 저장 (BsonBinary)  →  Full Query 성능?
둘의 차이는?

결론부터 말하면, byte[] 변환은 디스크 크기, 역직렬화 속도, 메모리 사용 모든 면에서 극적인 개선을 가져온다.

🏗️ 2. BSON 포맷 레벨: BsonArray vs BsonBinary 구조

🗂️ 2.1 BsonArray (타입 0x04) — float[]를 그대로 저장

BSON 스펙에 따르면, 배열은 내부적으로 문서와 동일한 구조로 저장된다. 각 요소마다:

[1B 타입코드] [키 cstring "0","1","2"...] [8B double 값]

✨ 핵심: BSON에는 float32 타입이 없다. float은 항상 double(8bytes)로 변환되어 데이터 자체가 2배로 팽창한다.

💡 참고: BSON 스펙

🗂️ 2.2 BsonBinary (타입 0x05) — byte[]로 변환 저장

[4B 전체 길이] [1B 서브타입 0x00] [N bytes 원시 데이터]

오버헤드는 고정 5bytes뿐이다.

⚖️ 3. 정량적 크기 비교: float 1,000개 기준

🔹 3.1 바이트 단위 계산

BsonArray (float 1,000개):

키 이름 크기:
  "0"~"9"     → 2B × 10개  = 20 bytes
  "10"~"99"   → 3B × 90개  = 270 bytes
  "100"~"999" → 4B × 900개 = 3,600 bytes
  합계: 3,890 bytes

요소 크기:
  (1B 타입 + 키 cstring + 8B double) × 1,000개
  = 1,000 + 3,890 + 8,000 = 12,890 bytes

문서 래핑:
  4B 길이 + 12,890 + 1B 종료 = 12,895 bytes

총: ~12.6 KB

BsonBinary (float 1,000개 → byte 4,000개):

4B 길이 + 1B 서브타입 + 4,000B 데이터 = 4,005 bytes

총: ~3.9 KB

⚖️ 3.2 비교표

💡 float 1,000개 기준, BsonBinary는 BsonArray의 31% 크기만 차지한다.

⚖️ 4. 역직렬화 경로 비교

🔹 4.1 BsonArray 역직렬화

반복 1,000회:
  ┌→ 타입 바이트 읽기 (1B)
  ├→ 키 cstring 스캔 (null 종료 탐색)
  ├→ double 값 읽기 (8B)
  ├→ new BsonValue(double) 힙 할당    ← GC 객체 생성
  ├→ float로 다운캐스트
  └→ List<BsonValue>.Add()

총 GC 객체 생성: ~2,001개 (BsonValue 1,000 + List + BsonArray)
총 힙 할당: ~68 KB (BsonValue 56B × 1,000 + List 오버헤드)

💡 참고: LiteDB 메모리 할당 이슈 #1062 — BsonValue 래핑으로 20MB 문서가 200MB 메모리 사용 (7~10x 팽창)

🔹 4.2 BsonBinary 역직렬화

1회:
  ┌→ int32 길이 읽기 (4B)
  ├→ subtype 읽기 (1B)
  ├→ ReadBytes(N) → Buffer.BlockCopy 1회  ← 네이티브 memcpy
  └→ new byte[N] 힙 할당 1회

이후 float[] 복원:
  ┌→ new float[N/4] 힙 할당 1회
  └→ Buffer.BlockCopy(bytes → floats) 1회  ← 네이티브 memcpy

총 GC 객체 생성: 3개 (BsonValue, byte[], float[])
총 힙 할당: ~8 KB (byte[] 4KB + float[] 4KB)

💡 Buffer.BlockCopy는 .NET 런타임 내부에서 네이티브 memcpy를 호출하며, 1KB 복사에 ~23ns 소요된다. 사실상 병목이 될 수 없는 수준이다.

⚡ 4.3 역직렬화 성능 비교

💡 추정 근거: BsonArray는 요소별 파싱 + 객체 생성 비용이 지배적이고, BsonBinary는 memcpy 한 번이므로 이론적으로 5~10배 빠를 것으로 추정된다. GitHub에서 이 둘을 직접 비교한 공식 벤치마크는 발견되지 않았으나, 메모리 할당 패턴 분석에 기반한 추정이다.

⚖️ 5. MyMesh 50만건 Full Query: BsonArray vs BsonBinary

🔹 5.1 중형 메시 기준 (정점 1,000개)

하나의 MyMesh 문서에 포함되는 배열:

• vertexList: float × 3,000 (x,y,z × 1,000정점)
• indexList: int × 1,000
• triangleIndexList: int × 3,000

💡 문서 크기 산출:
💡 - BsonArray: vertexList 38.7KB + indexList 12.9KB + triIndexList 38.7KB + 기타 0.1KB ≈ ~90 KB (이전 문서에서 ~28KB로 산출한 것은 원본 크기 기준이었음. BSON 팽창 반영 시 실제 디스크는 더 큼)
💡 - BsonBinary: vertexList 12KB + indexList 4KB + triIndexList 12KB + 기타 0.1KB ≈ ~28 KB

BSON 팽창을 정확히 반영한 재산출:

⚡ 5.2 Full Query 성능 비교 (50만건)

▫️ 디스크 I/O

▫️ 역직렬화

▫️ 메모리 사용

🗄️ Full Query 총 소요시간

⚖️ 5.3 스트리밍 모드 (IEnumerable) 에서의 비교

FindAll().ToList() 대신 foreach로 스트리밍 소비할 경우:

✨ 핵심: byte[] 변환 + 스트리밍 조합이면 MyMesh 50만건 Full Query가 ~1~2분, 메모리 ~100MB 내에서 실현 가능해진다.

📌 6. MyProp 테이블은 영향 없음

MyProp은 float[]/int[] 배열이 없으므로 BsonArray→BsonBinary 전환의 영향을 받지 않는다.

⚖️ 7. 페이징 모드에서의 비교 (10,000건/배치)

50만건을 10,000건씩 페이징으로 읽을 때:

⚖️ 8. 종합 비교표

🎮 MyMesh 50만건 (중형 메시, 정점 1,000개)

🔹 변환 효과 요약 다이어그램

float[] → BsonArray 저장          float[] → byte[] → BsonBinary 저장
─────────────────────             ────────────────────────────────

디스크:  ████████████ 42GB         디스크:  ████ 13GB          (3.2x↓)
시간:    ████████████ 5~7min       시간:    ███ 1~2min         (3~5x↓)
메모리:  █████████ ~1GB(스트림)     메모리:  █ ~100MB(스트림)    (8x↓)
GC객체:  ████████████ 70억         GC객체:  █ 450만            (1,500x↓)

📌 9. 최종 권장사항

🔹 9.1 byte[] 변환은 필수

⚠️ 9.2 그래도 남는 한계

byte[] 변환을 적용하더라도:

🚀 9.3 추가 최적화 전략

byte[] 변환 이후에도 성능이 부족하다면:

🔗 참고 자료

• BSON 공식 스펙
• LiteDB Object Mapping 문서
• LiteDB 데이터 구조 문서
• LiteDB BsonDocument 문서
• LiteDB 메모리 할당 이슈 #1062 — 7~10x 팽창
• LiteDB byte[] 저장 시 9% 크기 감소 #2443
• LiteDB 메모리 3GB 이슈 #865
• LiteDB 100만건 10분+ 이슈 #1822
• LiteDB BsonMapper 소스코드
• LiteDB BufferReader 소스코드
• .NET Buffer.BlockCopy — 내부적으로 memcpy 호출
• SoloDB vs LiteDB 메모리 할당 555배 차이