-=авто-флудилка!!! Том10=-

[_pavel]

я там еще вариант добавил - в БишКвере должно работать

а пока пойду писать то за шо мне заплатят)

Такой вариант я в самом начале написал Ты же пришел рассказать нам про запрос . Я так понял, родишь нам DML . c DDL да руками оно ваше все можно .

Мих, не пыжься выдавить то, что не работает на уровне теории. Все варианты обхода этого известны и без тебя.
Мой (раз я уже начал) претензия в том, что в сегментах бигквери не используется локатор конкретной стоки (точнее я думаю что он есть, просто не доступен внешне).
Тоесть нельзя отличить в физическом сегменте строки друг от друга. А нельзя отличить = нельзя сослаться.

Я конечно, умолчу что дубликаты в принципе - это косяк разработки.

[Glavriba]

Мих, не пыжься выдавить то, что не работает на уровне теории.

no comments

Все варианты обхода этого известны и без тебя.

зачем тогда спрашивал не ясно

Мой (раз я уже начал) претензия в том, что в сегментах бигквери не используется локатор конкретной стоки (точнее я думаю что он есть, просто не доступен внешне).
Тоесть нельзя отличить в физическом сегменте строки друг от друга. А нельзя отличить = нельзя сослаться.

хочешь сказать там на работает SELECT TOP n * FROM Table?
при желании там тоже есть индексы
по ним уже можно идентифицировать

[_pavel]

зачем тогда спрашивал не ясно

Такое впечатление, что тебе хотелось так написать, что вводные задачи ты проигнорировал.
изначально

hey google
Q: how delete duplicates in bigquery
A:

• Step 1: Identify whether your dataset contains duplicates. For this example, I'm using this Bigquery public dataset showing information about baseball games. ...
• Step 2: Create a SELECT statement to identify unique values. ...
• Step 3: Materialize the result to a new table.

Тут ты - а давайте я напишу запрос . Ну мы я и замер в ожидании DML. А ты лишь нам родил как эти три тезиса засунуть в один DDL

Даже отвлекаясь от DDL (хорошая ли это идея) можно поговорить про сколько то будет "стоить" в разрезе хуилона строк и пары дубликатов.

[Glavriba]

Чтобы был запрос, нужен уникальный идентификатор строки , чтобы привязатся к нему [что мы оставляем, а что удаляем].
Так вот , там его нет.

так нужен идентификатор для запроса или нет?

з.ы. и я напаисал уже что не нужно Materialize the result to a new table.
можно прям в ту же

[_pavel]

так нужен идентификатор для запроса или нет?

з.ы. и я напаисал уже что не нужно Materialize the result to a new table.
можно прям в ту же

Извини, я не думал что мы дойдем до непонимания разницы между сегментом и его именем.
больше не буду.

[Glavriba]

дубликаты в БигКвери удаляются через гланды путем использования промежуточной таблицы, ибо не за что зацепится за идентификатор строки

т.е. просто запросом уже не по пацански?

Чтобы был запрос, нужен уникальный идентификатор строки , чтобы привязатся к нему [что мы оставляем, а что удаляем].
Так вот , там его нет.

промежуточная таблица не нужна
идентификатор не нужен
хочешь дальше на лету менять свои вводные - пожалуйста
я в эти игры не играю

[_pavel]

промежуточная таблица не нужна
идентификатор не нужен
хочешь дальше на лету менять свои вводные - пожалуйста
я в эти игры не играю

извини2

[Glavriba]

извиняю

[_pavel]

Товарищи космонавты, чтобы утереть нос американцам, мы приняли решение полететь на Солнце.
Так сгорим же
За вас все подумали, полетите ночью.
(с) бородатый анекдот об ситуации.

[Glavriba]

хочешь select таблицей называть - кто ж я такой что б запрещать
оно то на низжем уровне так и есть только вот не принято так в приличном общесте просто потому что не все команды присущие таблицам над ней власны не говоря уже про физическое присутствие на диске

[_pavel]

Ты реально думаешь, что проблема которую я озвучил заключается в нехватке букв для названия временного сегмента?
Вопрос классического стейтмента удаления дубликата записей с низкой селективностью, не копирует весь сегмент, а лишь помечает запись как не активную, а этот подход копирует ВСЕ данные физически. Стоит как чугунный мост в клауде. В моменте тебе нужно 2х места + косты на это. Это и есть "проблема" для больших датасетов.


лад, я понял, что пришел явно не туда с этим В принципе, я и не ожидал какой либо пользы, так возмутится в Пятницу 13, а вышло оно вон чего .
Вадим понял вон с первого раза. Зебр со своей "ценой дистинкта" тоже и только ты уцепился за синтаксис даже не пытаясь демонстрировать что понимаешь разницу между DDL и DML .

[Glavriba]

приходишь с желанием УДАЛИТЬ, но зачем-то пишешь про DDL и еще меня обвиняешь что я разницы не знаю
ты принес сюда задачу даже с реальным примером, которая решается минимум 4мя способами как два пальца
но после первого же решения включил заднюю и вдруг выясняется что она должна отработать на хуиллиарде данных и тебе надо думать еще и о костах (интересно как ты вообще представлял себе удаление хулириарда записей без привлечения ресурсов)
тебе написать то же самое с батчем в цикле? или сам уже додумаешь что реализация зависит от условий по перформансу и аффекта текущей нагрузки?
ты пытаешься в то в чем сам плаваешь
не надо так

[RaS]

но после первого же решения включил заднюю и вдруг выясняется что она должна отработать на хуиллиарде данных и тебе надо думать еще и о костах (интересно как ты вообще представлял себе удаление хулириарда

Ну он про это вроде сразу сказал )) Ну я так понял по крайней мере

[Glavriba]

Ну он про это вроде сразу сказал )) Ну я так понял по крайней мере

да нет там ничего)

кстати (новость недели для меня), после того, что я узнал что дубликаты в БигКвери удаляются через гланды путем использования промежуточной таблицы, ибо не за что зацепится за идентификатор строки - я ваще зауважал клауды.
Ар сравнению с этим, какие то там тимсы для раздачи иконок - уже мелочь. Даже "шотам(ы)" не доставляли так.

сказал же - запросом без всяких идентификаторов и промежуточных таблиц
после последовал пример мол на реши
там вообще про нагрузку и количества записей не было ни слова

[RaS]

да нет там ничего)

сказал же - запросом без всяких идентификаторов и промежуточных таблиц
после последовал пример мол на реши
там вообще про нагрузку и количества записей не было ни слова

Ну он сказал про БигКвери и это для меня стало показателем, что речь не про 100 мегабайт )

[Zebr]

тебе написать то же самое с батчем в цикле?

А напиши. Я бы посмотрел на эффективное удаление дупликатов батчами в несортированных данных.

[RaS]

А напиши. Я бы посмотрел на эффективное удаление дупликатов батчами.

Где тестировать будем? ))

[Glavriba]

Ну он сказал про БигКвери и это для меня стало показателем, что речь не про 100 мегабайт )

хоть 100500, можно запрос написать который порционно будет брать данные и работать только с ними, после переходить к следущей порции и никакох бешанных ресурсов там не потребуется
но шо интересно вот это его устраивает

узнал что дубликаты в БигКвери удаляются через гланды путем использования промежуточной таблицы

и х2 места он тут не видит))

А напиши. Я бы посмотрел на эффективное удаление дупликатов батчами в несортированных данных.

хорошо шо ты про несортированные дописал)))
дальше сами
покажите мне в принципе эффективное удаление дубликатов несортированных данных для начала) и так что б 100% availability

[Цветочник...]

Да хлопці, затемнення й на вас давить, не тільки на дівчат )

[Zebr]

хорошо шо ты про несортированные дописал)))

Ну так твой следующий шаг был очевиден, потому и дописал. Хотя вроде и сам Павла пытался уколоть изменением входных условий.
Жаль, что обещанного примера не будет. Но молодец, что вовремя остановился