tag:blogger.com,1999:blog-2841494812902188256.post1657727991165977565..comments2023-08-03T15:46:09.227+03:00Comments on Скахин Алексей / pihel: Оптимизация хранения данных в Orc для Hiveskahinhttp://www.blogger.com/profile/03348517219987663555noreply@blogger.comBlogger5125tag:blogger.com,1999:blog-2841494812902188256.post-76069342249684771042021-03-01T17:37:48.471+03:002021-03-01T17:37:48.471+03:00Hive 1.2 и 2.1Hive 1.2 и 2.1skahinhttps://www.blogger.com/profile/03348517219987663555noreply@blogger.comtag:blogger.com,1999:blog-2841494812902188256.post-63057945102256075072021-02-26T09:35:16.152+03:002021-02-26T09:35:16.152+03:00Спасибо огромное! Очень интересная статья!
Какая в...Спасибо огромное! Очень интересная статья!<br />Какая версия Hive использовалась?Павелnoreply@blogger.comtag:blogger.com,1999:blog-2841494812902188256.post-4087221933464816512020-10-09T18:11:23.570+03:002020-10-09T18:11:23.570+03:00В спарке не силён, буду пробовать sqoop-ом) Еще, с...В спарке не силён, буду пробовать sqoop-ом) Еще, схему то не сложно выудить, только вот при создании таблицы с указанием схемы Hive валится и говорит, что не поддерживает struct, думаю вариант только разбивать массив на дополнительные колонки.Викторhttps://www.blogger.com/profile/11524615528895543156noreply@blogger.comtag:blogger.com,1999:blog-2841494812902188256.post-11844906127137078932020-10-03T16:35:14.865+03:002020-10-03T16:35:14.865+03:00Hive не сохраняет названия столбцов в orc файлы, а...Hive не сохраняет названия столбцов в orc файлы, а берет их из метастора<br />Насчет как импортировать: описать схему в метасторе и копировать файлы или загружать sparkом, он вытаскивает схему из файловskahinhttps://www.blogger.com/profile/03348517219987663555noreply@blogger.comtag:blogger.com,1999:blog-2841494812902188256.post-81899721746404161862020-10-01T15:26:25.795+03:002020-10-01T15:26:25.795+03:00Крутой материал получился! Спасибо!
Есть такой воп...Крутой материал получился! Спасибо!<br />Есть такой вопрос: правильно ли я понимаю, что Хайв до сих пор не умеет создавать таблицу со схемой и данными из файлов орк, паркет и как импортить данные в Хайв в таких случаях?Викторhttps://www.blogger.com/profile/11524615528895543156noreply@blogger.com