Parquet fayli hdfs fayl boʻlib, fayl metamaʼlumotlarini oʻz ichiga olishi kerak. Bu ustunlarni bir nechta fayllarga bo'lish imkonini beradi, shuningdek, bitta metama'lumot fayliga bir nechta parket fayllariga murojaat qiladi. Metadata faylda saqlangan ma'lumotlar sxemasini o'z ichiga oladi.
Parket fayli sxemasini qanday yarataman?
Parket namunasi ma'lumotlarining sxemasini yaratish uchun quyidagilarni bajaring:
- Haddop/Hive qutisiga kiring.
- U stdoutdagi sxemani quyidagicha hosil qiladi: -------------- [~] parket-asboblar sxemasi abc.parquet. xabar hive_schema { …
- Ushbu sxemani faylga nusxalash. parket/. nominal kengaytma.
Parket sxemalar rivojlanishini qoʻllab-quvvatlaydimi?
Sxemalarni birlashtirish
Protokol buferi, Avro va tejamkorlik kabi Parquet ham sxema evolyutsiyasini qoʻllab-quvvatlaydi Foydalanuvchilar oddiy sxemadan boshlashlari va asta-sekin koʻproq ustunlar qoʻshishlari mumkin. kerak bo'lganda sxema. Shunday qilib, foydalanuvchilar turli, lekin bir-biriga mos sxemalarga ega bir nechta Parket fayllariga ega bo'lishlari mumkin.
Parket fayllarida ma'lumotlar turlari bormi?
Parket fayl ma'lumotlar turlari Ma'lumotlarni integratsiyalashuv xizmati platformalar bo'ylab ma'lumotlarni ko'chirish uchun foydalanadigan transformatsiya ma'lumotlari turlariga mos keladi. Parket faylini oʻqish yoki yozish uchun siz belgilagan Parket sxemasi kichikroq harfda boʻlishi kerak.
Parket faylining tuzilishi qanday?
Parket fayllari satr guruhlari, sarlavha va altbilgilardan iborat Har bir qator guruhi bir xil ustunlardagi ma'lumotlarni o'z ichiga oladi. Xuddi shu ustunlar har bir qator guruhida birga saqlanadi: Bu tuzilma ham tezkor soʻrovlar ishlashi, ham past kiritish/chiqarish (skanerlangan maʼlumotlar miqdorini minimallashtirish) uchun yaxshi optimallashtirilgan.
