CIFS: curious information funneled sometimes

The Little Manual of API Design

Thu, 17 Dec 2009 14:01:52 GMT

Рекомендуется к прочтению: http://chaos.troll.no/~shausman/api-design/api-design.pdf тем, кто еще не читал. :)

This manual gathers together the key insights into API design that were discovered through many years of software development on the Qt application development framework at Trolltech (now part of Nokia). When designing and implementing a library, you should also keep other factors in mind, such as efficiency and ease of implementation, in addition to pure API considerations. And although the focus is on public APIs, there is no harm in applying the principles described here when writing application code or internal library code.
[Qt!] Examples from Qt’s history are presented in blocks like this one. If you are new to Qt, you might find some of these examples obscure. Don’t hesitate to ask your colleagues for details. Also, many of the examples come from classes on which I worked, for the simple reason that I know those best. Other classes could have provided just as good examples.

Топка Переключателя Контекста

Thu, 10 Dec 2009 20:54:09 GMT

Поскольку устройство мы выпустили и даже отпраздновали вчера, можно рассказывать байки. А может и не байки, а страшилки, но это уж как кому подумается. Сегодня рассказ о том, как на N900 используется виртуализация.

Обычно виртуализацию используют для того, чтобы экономить. Экономят на электроэнергии, на расходах на покупку серверов, "уплотняют" нагрузку на единицу серверной мощности и повышают ARPU в расчете на одного хостера. В N900 виртуализация используется для реализации идей Робина Гуда -- отнять у богатых и раздать бедным. Или, как говорилось, у нас все для человека и мы знаем имя этого человека -- Пользователь.

В ядре Linux поддерживаются несколько методов виртуализации, среди которых выделяется виртуализация методом контейнеров. Для контейнеров характерна так называемая "легкая виртуализация" -- все контейнеры работают под управлением одного и того же ядра, а вот доступ к дисковому пространству, к пространству процессов и памяти у них разграничен. Один контейнер не видит, что творится в другом контейнере. Из знакомых решений такого типа -- OpenVZ (и коммерческий вариант Virtuozzo от Parallels), Linux Vserver и еще несколько альтернатив.

Накладные расходы при такой виртуализации невелики, но в основном ядре Linux в чистом виде контейнерная виртуализация не прижилась -- слишком много разных подходов, чтобы отдать предпочтение какому-то одному. Вместо этого, разработчики разных контейнерных технологий, наступив на горло собственной песне, смогли разделить свои решения на отдельные части и выработать общие подходы. Два базовых подхода к контейнерам -- это учет ресурсов и разделение пространств имен. Если с ресурсами все более-менее понятно, для каждого контейнера ядро должно отдельно считать потребляемую память, выделяемые квоты на использование процессора и так далее, то с пространствами имен ситуация более интересна. Пространства имен важны не только для структуры хранения файлов на диске. Для того, чтобы отдельные процессы в разных контейнерах не знали о существовании друг друга, нужно пространство имен процессов. Для того, чтобы на одной машине могли работать несколько сетевых приложений с потенциально пересекающимися, но независящими друг от друга сетевыми стеками, нужно сетевое пространство. Да и дисковое пространство тоже должно быть независимым.

Независимое дисковое пространство умеют в POSIX-совместимых системах уже довольно давно. Изоляция "в chroot" -- нормальная практика с 1982 года, когда системный вызов chroot(2) появился в том, что стало через 17 месяцев версией 4.2BSD -- для тестирования установки и сборки системы. В девяностые в Plan 9 идея изоляции пространств имен была доведена до логического конца, с изолированными сетевым пространством для каждого процесса. В ядре Linux адаптация изолрованных пространств продолжается до сих пор, отдельные типы пространств можно использовать довольно стабильно с 2.6.25.

А вот с подсчетом ресурсов долгое время было не очень. Фактически, для контейнерной виртуализации нужно обсчитывать потребление всего, что только можно -- потребление памяти, использования процессора, создаваемый сетевой трафик, дисковое пространство и так далее. Идея привязать к каждому типу ресурса счетчик вылилась в довольно сложную на практике задачу, так что самодельные подходы со временем были приведены к общему знаменателю -- управляющим группам.

Control groups или cgroups, представляют собой как раз такой общий знаменатель. Тот или иной вариант ресурса описывается определенным типом управляющей группы, а процессы в системе могут быть добавлены в "пространство" соответствующей управляющей группы. В этом случае использование ресурсов этими процессами будет подсчитано согласно и учтено.

Управляющие группы не дают еще возможность полностью реализовать контейнер, они позволяют сгруппировать процессы и влиять на их поведение. Контейнер получается, когда вся группа процессов, входящая в cgroup, помещается в отдельное пространство имен, а вокруг этого выстраивается разнообразная инфраструктура, превращающая группу процессов в отдельную систему, со своими терминалами, корневой файловой системой и сетевыми адаптерами.

Это очень схематичное описание, для приблизительного представления. k001 может рассказать более подробно, а у меня совсем иная цель.

Вернемся к управляющим группам и ресурсам. В ядре Linux определено несколько типов контролеров ресурсов, позволяющих обсчитывать их потребление. Разработка новых контролеров ведется постоянно, как и усовершенствование существующих. С точки зрения системы с ограниченными ресурсами, которую представляет из себя мобильное устройство, интересны контролеры памяти, процессора и сети.

У системы с ограниченными ресурсами основная головная боль состоит в том, чтобы научиться вовремя изыскивать ресурсы для тех, кому они нужны и отбирать их у тех, кто сейчас ими пользоваться не должен. Крайне опасная в жизни, но очень полезная в мобильном телефоне способность. Хорошо, что нет в телефоне демократии и оппозиции, а то бы Крылов с "а вы, друзья, как ни садитесь..." наверняка был бы на каждой коробке невышедшего в продажу устройства.

В случае с N900 все исполняемые процессы классифицируются определенным образом на тех, кто помогает приложению, с которым сейчас работает Пользователь, и на тех, кто может и подождать. Помощники получают "подпитку", в виде дополнительных памяти и циклов процессора, а также приоритетов при планировании процессов на исполнение. Классификация -- дело довольно сложное, политики классификатора описаны в виде базы знаний на языке Пролог. Неудобный для реализации "типичных алгоритмов" других задач, Пролог пришелся к месту для классификации приоритетов.

На самом деле, этот классификатор в N900 также обслуживает и распределение звуковых потоков между приложениями, определяя, кому и в какой момент времени можно звучать и куда -- в колонки, наушники, радио-передатчик FM-диапазона и так далее. Расширение области его применения для управление перебрасыванием процессов из одной приоритетной управляющей группы в другую теперь уже кажется делом совершенно логичным, а вот еще полгода назад...

Впрочем, в этом месте можно и остановиться. Когда приходит телефонный звонок, все незадействованные в его обработке процессы умирают -- на доли секунды у них отбирают всякую возможность быть запланированными на исполнение, чтобы Пользователь смог увидеть и услышать сигнал звонка. А когда Пользователь не смотрит на экран, потому что он выключен, все незадействованные в обслуживании Пользователя процессы получают минимальный приоритет. В результате, все ресурсы отдаются проигрывателю или тому, кому они в этот момент нужны -- например, браузеру, который транслирует поток из интернет-радио. Все равно кроме звука или отображения на телевизор пользователь больше делать ничего не будет -- экран-то выключен.

Все это сказывается положительным образом на энергопотреблении. Ядро бы и радо отключать определенные аппаратные устройства и уходить в режимы сниженного энергопотребления, да хорошо бы, чтобы приложения не заставляли невовремя из этих режимов выходить. Я теперь не могу смотреть на скринсейверы на десктопах, "как же они расходуют-то энергию!". Так и представляются толпы замызганых прерываний, в поте лица тягающие сигналами неповоротливых и прожорливых приложения в топку Переключателя Контекста и Господина Батарейкина.

В результате, удается не только звонок вовремя доставлять, но и экономить батарейку, причем существенно. В великом деле мелочей не бывает.

Тест устойчивости электронного общества

Thu, 10 Dec 2009 12:15:42 GMT

С понедельника, 14 декабря, в Финляндии будут три дня бастовать 29000-30000 сотрудников финансовых учреждений. Отраслевые профсоюзы не смогли договориться с работодателями об изменении условий труда и зарплаты, поэтому вывели всех на забастовку. Профсоюзы отказались от предложенного компромиссного варианта с незамедлительным повышением зарплаты на 0.69% и дальнейшим ростом не менее чем на 1% с июня 2010, несмотря на согласие на предложение со стороны федерации, представляющей банковские учреждения и на то, что предложенные цифры выше 0.5% ограничения, установленного конфедерацией финских отраслей (координирующей переговоры с профсоюзами всех работодателей).

Современное общество сильно завязано на электронные финансовые системы. Трехдневная забастовка будет показательной -- что произойдет с обществом в случае нарушения связности финансовых систем? Обещают перебои в работе банкоматов (будут работать, пока не закончатся деньги, а пополнять их в это время скорее всего будет некому), обслуживании электронных карт (с онлайновой проверкой баланса перед покупкой, вроде Visa Electron/Maestro), исполнении электронных платежей, поступивших в этот период (все, что заказано до наступления забастовки, общают исполнить).

Ссылки на новости: http://www.yle.fi/uutiset/news/2009/12/30000_finance_sector_workers_to_strike_next_monday_1256614.html и http://www.hs.fi/english/article/Strike+to+close+banks+on+Monday+/1135251376305.

О безграмотности

Sun, 29 Nov 2009 07:08:44 GMT

Иногда поражаешься, насколько тяжело некоторым даются простые вещи. И как сон разума рождает чудовищ. Возьмем, например, камеру в N900. Устройство системы довольно простое -- есть аппаратные компоненты (датчики, вспышка, модуль самой камеры), есть программная обработка на низком уровне (драйвера к аппаратным компонентам, интерфейс к V4L2, модуль алгоритмов 3А) и на высоком (элементы gstreamer и собственно приложение камеры). Тому, кто знаком с устройством типичного десктопа на GNU/Linux, ничего нового или необычного найти в такой структуре не получится. Конечно, есть свои элементы gstreamer для обобщения и облегчения написания приложений, но в целом вся схема довольно проста: дали команду из пользовательского интерфейса, по конвейеру gstreamer она ушла к драйверам, те дернули железки, назад пришел ответ, его обработали и вернули в конвейер данные. Конвейер прогнал данные через себя, данные ушли на экран, диск и еще куда. Естественно, что конкретное поведение "куда писать" настраивается в приложении, как и требуется по спецификации FreeDesktop (http://www.freedesktop.org/wiki/Software/xdg-user-dirs). И даже из чего состоит конвейер тоже можно переопределить.

Но сон разума все равно сильнее.

Прогулки с динозаврами

Sun, 22 Nov 2009 20:12:48 GMT

Сходили, наконец, на "Прогулки с динозаврами", билеты на которые купили еще марте. Если в окрестностях вашей локации (в Европе тур идет в 2009-2010) вдруг вывесят афиши "Прогулок", обязательно сходите. Приблизительно в два раза дешевле оперы, но по насыщенности и зрелищности вполне соперничает. К тому же, инженерам в душе будет интересны выбранные решения для "оживляжа".

В середине слайд-шоу есть видео-ролик на полторы минуты. Снимать видео было запрещено правилами, но все их нарушали, насколько получалось. Охранники аккуратно и методично ходили по горящим экранам и просили выключить. Фотоаппараты не трогали. Да, шоу идет локализованное. Будет интересно разобрать звукозапись и перевести, что же Палеонтолог говорил, копаясь в куче дерьма трицератопса...

Пироги

Mon, 02 Nov 2009 20:50:00 GMT

А еще сегодня мы отмечали Д.Р. дражайшей супруги. Она спекла вот такой черничный пирог:

Растим хакера или качественный QA?

Mon, 02 Nov 2009 20:26:01 GMT

Тот самый младший, у которого в субботу в дежурной поликлинике вырывали зуб, перед отъездом к врачу взломал игрушку, в которую играла супруга в Facebook. Всего-лишь парой нажатий на кнопки в Aquarium он научился совершенно безвозмездно пополнять аквариумный бюджет на несколько десятков монет.

Никто ему не объяснял, что и как делать, все самостоятельно -- самостоятельно заметил, что деньги растут, если туда-сюда походить поссылкам. Понятно, что в игре в этом месте неверно обрабатываются краевые случаи, но не совсем понятно, что делать с этим навыком в будущем -- мы едва смогли остановить эйфорию и объяснить, что деньги, пусть и виртуальные, на пустом месте не берутся.

Википедия и свободное программное обеспечение

Sun, 01 Nov 2009 10:51:10 GMT

Мы как-то привыкли, что по крайней мере англоязычная Википедия служит неплохим источником информации о разных областях знаний. Несмотря на критику, проект выработал сложную систему балансировки взглядов и оценок, которую используют редакторы Википедии для определения фактологической точности или значимости приводимых фактов.

Впрочем, эта система во многом построена на подходах традиционных энциклопедий и не всегда срабатывает в отношении программного обеспечения. Свободное ПО особенно подвержено атакам о "незначимости" или невозможности проверить фактическую сторону дела, поскольку в традиционных источниках, которые редакторы Википедии считают "значимыми", статьи о свободном ПО могут не публиковаться, а часто и просто отсутствуют для свободного ПО в каких-нибудь не очень популярных областях. Хорошая подборка проблем описана в предложениях по изменению критерия значимости для свободного ПО: http://en.wikipedia.org/wiki/Wikipedia:Notability/RFC:Notability_of_free_open_source_software. Несмотря на то, что решение о значимости не должно быть связано со спецификой обсуждаемой темы, критерии отбора значимых источников сейчас в Википедии сильно ущемляют ПО в целом и свободное ПО в частности. Что интересно, простая статья-обзор в каком-нибудь околокомпьютерном журнале о новой программе считается более значимой, чем десяток-два материалов о такой же программе на значимых конференциях о свободном ПО в мире.

Мы столкнулись с этим неожиданно в Midgard Project. Статья о Мидгарде была предложена к удалению в связи с "невозможностью найти нетривиальное упоминание во вторичных значимых источниках". То, что проект существует уже десять лет, используется или использовался в крупных внедрениях по миру (в 2005 на нем был сделан сайт электронного правительства Новой Зеландии, проработавший до 2008, он включен в программу исследований семантических сетей для интернет-проектов еврокомиссии, а с 2007 на нем работает maemo.org), не имеет значения, потому что об этом не пишут в крупных изданиях, вроде cnn.com и тому подобных.

Практически неделю мы пытались хоть что-то предложить в качестве аргументации, собирали ссылки и искали старые статьи. В конце концов, статью отстояли, "но осадок остался". Нас даже обвинили в попытках повлиять на "редакторов Википедии" в их выборе -- путем обсуждения проблемы вне Википедии. Дискуссия по поводу предложений в критерии значимости СПО тоже очень показательна.

Медицинские новости

Sun, 01 Nov 2009 09:20:43 GMT

31 октября в Финляндии праздничный выходной. Не работают магазины и все социальные объекты. Естественно, что в ночь на 31-е у младшего разболелся зуб. Лечение чего-либо в выходные и так затруднено, а в праздник практически невозможно. Хорошо, клиника Хаартмана открыта. Провели три часа в очереди, вырвали начавший гноить молочный зуб и по темноте вернулись домой. Младший был безумно рад прописанному доктором поеданию мороженного. Больница чистая, аккуратная, пока искали ее, видели в Меилахти черного кролика на лугу.

А сегодня читаю в The Prior Art увлекательную статью о похождениях нечистого на руку отоларинголога, сидящего в федеральной тюрьме по обвинению в подделке документов для страховых компаний. Отоларинголог оказался владельцем 21 патента в области мобильной телефонии, который подписал договор с компанией-патентным троллем, которая судится по его патентам с Apple, LG, Garmin, TomTom, Magellan и другими. Врач на тюремной печатной машинке пишет запрос на вмешательство в дело, поскольку считает, что компания и юристы не делятся с ним денежками от исков в надлежащем виде. Читайте сами -- http://thepriorart.typepad.com/the_prior_art/2009/10/how-much-money-a-patent-troll-makes-sp-technologies.html

Меня в этом деле привлекло вот что. Отоларинголог в 2003 году подает заявку, а в 2005 получает патентное свидетельство на изобретение раскладного коммуникационного устройства, телефона-раскладушки или телефона-слайдера, у которого количество управляющих элементов в сложенном состоянии меньше их же в разложеном, а доставка звука осуществляется беспроводным методом. Практически любой аппарат-раскладушка или аппарат-слайдер с включенным в комплект bluetooth-наушником описывается этим "изобретением", полученным через 5-7 лет после появления первых устройств такого типа на рынке.

Если у него все такие "патенты", то понятен объем исков, доведенных до реального суда. Мышиная возня вокруг извлекаемых денег тоже показательна.

Maemo Summit 2009 -- второй и третий дни

Wed, 14 Oct 2009 03:41:43 GMT

Кратко о втором и третьем днях. По плану организаторов, суббота и воскресенье должны были быть днями сообщества. Правда, с проектированием программы у них возникли определенные проблемы и основной поток заявок посыпался ближе к концу регистрации. К этому времени организаторы уже раздавали подтверждения о приеме докладов тем, кто пришел заранее, поэтому "шквал" новых обращений вызвал у них странные позывы. А что поделаешь, если сроки закрытия регистрации пересекались со временем публичного объявления устройства, из-за чего многие задействованные в его создании, как со стороны сообщества, так и "изнутри" Нокии, не могли ничего говорить до "часа Х".

Дни сообщества, таким образом, были нещадно разбавлены. Мне достался целый дом на 25 человек. Влезло бы туда и больше, да огромный стол в середине предполагал практическое участие и эффективно отбирал свободные места у слушателей. Желающих восседать или возлежать на столе так и не обнаружилось, поэтому человек 30-40 набилось вокруг. Я впервые уложился в отведенные 25 минут и даже успел ответить на несколько вопросов. Более того, демо на N900 того, что мы будем делать с обработкой изображений в Maemo 6, даже заработало. Так что выступление можно считать удачным. Никаких внешних комментариев о нем я в сети не нашел, что также можно считать удачным, поскольку аудитория четко знала, зачем она шла, и случайных слушателей там тоже не оказалось. Даже китаец, пытавшийся выведать, кто же производит сенсор, установленный в N900, был явно неслучаен.

Из интересного одним предложением. Был продемонстрирован просмотр офисных документов на основе KOffice и обещан перенос всех 12 приложений KOffice в полном объеме на N900. Лена Решетова объяснила, что система безопасности в Maemo 6 будет как закрытой (для заблокированных операторами телефонов), так и открытой (для телефонов в свободной продаже), для чего делается стандартная обвязка. Томас Юноннен продемонстрировал уже описанный мной пользовательский интерфейс для Maemo 6. Иван Фраде сотоварищи рассказал о том, какими темпами Tracker движется в наше семантическое будущее. Троица из Браузера выжгла в зрителях все пять своих основных постулатов быстрых браузеров. Влад Васильев отлично выстрелил с OMWeather. Эдуардо Лима вселил в меня новую порцию неверия в Питон, показав как быстро запускается обновленная Canola.

На всех таких конференциях главное сосредоточено в кулуарах. Группы заинтересованных разработчиков, оторвавших от созерцания выданных накануне черных кирпичей, обсуждали что и как будем делать в ближайшем будущем. Наша "былинная" бригада, в составе камеры, браузера и эмуляторов (ваш покорный слуга, Олег Ромашин из MicroB/Mozilla и Марат Файзуллин с fMSX и прочими эмуляторами) ходила и смущала неокрепший разум слушателей кросс-железно-оптимизаторскими байками. Было весело, результаты веселья уже можно найти на http://maemo.gitorious.org/ и в форумах http://talk.maemo.org/.

Maemo Summit, день первый

Fri, 09 Oct 2009 20:25:10 GMT

День нулевой начался прилетом и регистрацией, а также отсутствием в регистрационном пакете майки моего размера. Пришлось взять XL -- это максимум, что было. Складывается ощущение, что пошло резкое омоложение разработчиков. Самые разбираемые размеры на последнем Guadec-е были M и L, а тут -- M. XXL явно уходит в прошлое...

День нулевой закончился пивным баром, в котором не было никакой еды, но было более 240 сортов пива. Поскольку я не пью, ужина у меня не было.

День первый. 400 человек, старые заводские здания, переоборудованные под арт-центры и места проведения мероприятий. Голландские названия для простоты переименовали в N900, N810, N800 и 770 -- согласно размерам. N900 -- здание бывшей трансформаторной, огромный кирпичный ангар. Помещаются все 400 человек, еще остается место для службы безопасности и подсобных помещений. Служба безопасности серьезна -- попасть в N800 (~50 человек) на доклад по архитектуре Maemo 6 от главного выпускающего архитектора Юхи Туккинена не удалось, поскольку комната заполнилась еще за минут пять до начала выступления и остальных просто не пустили. Пришлось смотреть, как Юха описывал то, что мы делаем, через стеклянные двери.

Вернемся к началу. Ари Яякси (вице-президент Нокии, руководящий Maemo Devices) ударился в ностальгию. Достал из кармана старый прототип Nokia 770, найденный им в шкафу до отлета, показал пользовательский интерфейс на стареньком оверхед-проекторе и популярно объяснил как все поменялось за прошедшие пять лет. Говорил много и со вкусом. Рассказал, что внутренние названия устройств были первоначально построены на русской космической тематике -- Спутник, Гагарин. Все перешло в сферу деятельности НАСА в тот момент, когда кто-то предложил назвать следующий за Гагариным продукт Лайкой. Никому не хотелось ассоциировать продукт с мертвой собакой и на этом тема быстро пересекла океан -- N900 зовется Rover. Но все же главное было в конце: 300 предпродажных образцов N900 уходят в зал, каждому участнику саммита, на 6 месяцев с обещанием активно участвовать в тестировании и исправлении. По рядам пошли шушукания -- устройств 300, участников 400, будет давка, готовимся... Хуже всего пришлось Джиму Землину, исполнительному директору Linux Foundation, который выступал следом. Во-первых, показав старый вариант 770-й, Ари сорвал часть его доклада про "зверушек надо много, хороших и разных, да и вообще они уже давно над такими работают", а во-вторых, как собрать внимание публики, уже предвкушавшей забег за устройством и вожделенное вождение пальцем по экрану? В утешение Джим получил коробку с "Not for sale" N900 первым, уходя со сцены после выступления.

Следом прозвучали предупредительные выстрелы в воздух. Technology Preview Qt 4.6 уже опубликовано. Нокия начинает официальную поддержку Qt 4.6 на N900 для разработки приложений (релиз в первом квартале 2010), с соблюдением хилдоновских стилей и прочего хозяйства, на Youtube появились демо-ролики. Демонстрируется подход к пользовательскому интерфейсу в Maemo 6 -- в виде комикса, показывающего вертикально прокручиваемые рабочие столы, между которыми тоже можно переключаться. Реально интерфейс не демонстрировался, только его карандашные зарисовки, но это и понятно. Объявляется, что интерфейс будет сделан поверх Qt 4.6, а его Technology Preview опубликовано на http://qt.gitorious.org/maemo-6-ui-framework/. Далее -- обед.

Точнее, кому обед, а кому -- в очередь за устройствами. Мне -- обед. "Пиво только членам профсоюза", точнее, ровно наоборот -- членам профсоюза не наливать, "вам и так на работе нальют". Поэтому я успел хорошо пообедать, пока разгоряченные неожиданным подарком слушатели получали свои устройства. Оказывается, организаторы перепрошивали их последними прошивками всю ночь, адаптируя устройства под каждого конкретного слушателя -- каждый получил ту версию прошивки, которая сертифицирована в его регионе. Поскольку была предварительная регистрация посетителей, это было легко, хоть и потребовало механической работы.

После обеда мы русскоговорящей группой прогулялись по Вестерпарк, посмотрели на голландский вариант "дача на болоте" -- со спутниковой антенной, декоративно постриженным кустраником-изгородью и предусмотрительным каналом между прогулочной дорожкой и дачами. Наверное, с той стороны есть выдвижные мостки для особо шустрых дачников.

После обеда цельность выступлений нарушилась, появилось три линии -- в N900 остались пользователи, в N810 -- разработчики приложений, в N800 -- разработчики платформы. Во второй и третий день еще добавится 770, совсем маленькая, для BoF и рабочих групп. Я посмотрел демки Qt и странную пузомерку "как вы думаете, сколько строк кода потребовалось, чтобы реализовать эти демки?" Гадалки практически всегда ошибались, кроме случая с демонстрацией картографического полотна на основе OpenStreetMap, здесь было максимальное точное попадание -- 120 против реальных 140 строк кода на Qt/C++.

Ведущий разработчик Mer рассказал о том, как попытка сделать полностью свободную версию Maemo, пережила свой первый год. Даже продемонстрировал скриншот Fremantle, запущенный на N810 с программной эмуляцией OpenGL ES. Планов громадье, делать только пока не очень понятно кому.

В N900 следом Стюарт из Mozilla рассказывал о космических кораблях, которые бороздят просторы Мозиллы. А следом за ним выступали рекламщики. Все-таки сочетание британского рекламного агенства и финских лесов, в которых растут 2500 разновидностей грибов, сказываются на рекламе довольно своеобразно. Да и город для демонстрации своих вообразительных возможностей они выбрали правильный -- Амстердам. Представьте себе запись камерой наблюдения встречи в переговорной, в ходе которой один из персонажей начинает мутнеть, резко обретает резвую прыть и становится угловатым роботом-Шивой со множеством лиц и рук из N900. Переговорная, как следует по законам жанра, разносится в дребезги, а робот исчезает, оставив напоследок мирно лежащий на кресле N900. "Пациент весь ушел в себя".

А я побежал смотреть архитектуру Харматтана, точнее, как ее покажет Юха. Тут история замыкается, потому что мест действительно не было. На демонстрацию Quake 3 Arena с акселерометром и стрельбой путем "палец-закрывает-датчик-приближения" я уже не пошел, мне его показал утром Олег Ромашин, разработчик MicroB. Видео этой демонстрации в задних рядах во время выступления Джима Землина можно скачать тут (MP4, 16Mb). На видео одновременно работают две OpenGL ES игрушки -- Quake III Arena и Bounce Evolution, в том числе и в переключателе задач, перерисовывая себя в маленьких окошках и реагируя на повороты устройства.

Далее была вечеринка, на которую я не пошел. Судя по твиттеру, там тоже не было еды, зато давали голубые коктейли от Скайпа. Скайп за день отличился -- они раздавали USB-камеры и майки, а вечером наливали коктейли.

У меня завтра свой доклад, надо еще дорисовать картинки и пересобрать демки с финальной версией SDK. Пока!

Рекрутеры

Tue, 06 Oct 2009 16:58:06 GMT

В "Моем круге" пришел рекрутер и попытался переманить меня из моей компании в компанию, которая работает по субподрядам на мою компанию по тем же самым проектам, над которыми работаю я. Рекрутер из Минска, агентство, с которым он сотрудничает -- финское. Заказчик -- тоже финская фирма. Моя компания -- тоже финская.

Внимание -- опрос.

View Poll: Этика рекрутерства

Франкенкамера 2.0

Sat, 03 Oct 2009 19:39:46 GMT

Иногда в работе на большие корпорации бывают свои прелести -- например, возможность пообщаться с университетскими исследователями, до которых добраться в реальной жизни получится еще нескоро. К нам приезжал ~~цирк~~профессор стенфордского университета Марк Левой, группа аспирантов которого работает над созданием полностью программируемой камеры. Текущая версия собрана из ~~отобранных у бедных~~частей других устройств -- кнопка спуска от PowerShot G6, сенсор Aptina MT9P031 взят от N95, закреплен на подложку Elphel 10338, байонет Canon EF в исполнении Birger Engineering. По поводу последнего, Марк Левой отметил, что обратная инженерия байонета от Canon легальна, тут нет никаких проблем (байонет от Birger был разработан для Red One Cinema, производителя ведущей цифровой видеокамеры для киноиндустрии). Так что камера получает всю информацию, которую сообщают о своей работе объективы.

Внутренности Франкенкамеры представлены OMAP3530, упрощенной версией чипа, который стоит в Nokia N900. На этом OMAP3 запушен GNU/Linux, собранный Eino-Ville Talvala. Эдди (как он предпочитает себя называть на американский манер) также улучшил и поддерживает драйвера для работы с сигнальным процессором ISP внутри OMAP3 (внутри OMAP3 на самом деле четыре процессора -- ARMv7, Neon, DSP и ISP). Качество драйверов от TI довольно посредственное, так что любые улучшения в этой области только приветствуются, тем более, что версия от Эдди работает на 2.6.31, самом распоследнем ядре.

Сама по себе камера напоминает Лейку где-нибудь так 50-60 лет назад. Качество получаемой картинки приблизительно соответствует Nokia N95. С этой стороны весь проект можно было бы и закрыть, особенно для обывателя (подумаешь, изобрели велосипед). На самом деле, все только тут и начинается.

Все дело в вычислительной фотографии. С отдельными ее проявлениями (сжатие с потерями, основанное на восприимчивости человеческого глаза, широкий динамический диапазон, построение панорамы) знакомы практически все. Последние лет двадцать дали существенный толчок развитию и других направлений, например в теории светового поля появились многомерные (пять и выше) пленоптические функции, позволяющие более точно описать происходящее со светом на записаном кадре. Результат -- многие усовершенствования в расчетах искусственных изображений, а также возможность исправлять "недостатки" реальности. Например, устранять блики на линзах объективов или убирать нежелательные объекты с фотографий.

Многие из этих методов основаны не только на обработке уже полученных изображений. Напротив, некоторые требуют изменений в самом процессе съемки. Так, множественные микролинзы перед основным сенсором позволяют записать информацию о направленности лучей и использовать ее потом для перефокусировки уже снятого изображения. В результате получается, что исследователям надо изменять не только программное обеспечение камеры, но и ее физические характеристики.

Вот тут-то и поджидает самый большой "обломинго". Производители массовых камер не заинтересованы в проникновении в их "святая святых" обыкновенных фотографов. Получить доступ ко всем параметрам, которые выдает объектив через байонет, или к данным прямо с сенсора, без предварительной обработки, практически невозможно. Не говоря уже о том, что у всех производителей более-менее серьезных камер свое ПО запустить внутри камеры невозможно. Для Canon есть CHDK, хак, который позволяет переписать определенные действия после съемки кадра. Добраться же до начальных этапов (измерение и фокусировка) или до обработки данных (демозаика, устранение шума, баланс белого), увы нельзя.

Марк Левой провел несколько лет, пытаясь убедить азиатских производителей фотоаппаратов открыть доступ для исследователей. Бесполезно. В 2007 году Nokia поддержала его работу по вычислительной фотографии и в рамках этого проекта (Camera 1.0) было выполнено довольно много интересных работ. Некоторые из них даже попали в устройства -- N86 8MP в новой прошивке содержит алгоритм получения панорамы во время работы видоискателя, разработанный одним из талантливейших аспирантов из команды Левоя -- Эндрю Адамсом -- вместе с сотрудниками Nokia Research Center в Пало-Альто. По утверждению Левоя, мощности современных телефонов достаточно для выполнения многих задач вычислительной фотографии.

Впрочем, и этого мало. Франкенкамера -- это попытка создать действительно полностью адаптируемую к задачам пользователя камеру как на уровне программного обеспечения, так и на уровне аппаратной платформы. Нужно заменить сенсор? Поставить другую оптику? Изменить логику обработки данных из сенсора? Использовать другой механизм синхронизации затвора и вспышки? Все это должно быть возможно в Camera 2.0, прототипом которой и служит Франкенкамера.

Одной из нетривиальных задач стала разработка интерфейсов взаимодействия устройств, участвующих в съемке и обработке. Затвор, сенсор, вспышка, цифровой процессор, всем им надо посылать сигналы и данные, синхронизировать их между собой и желательно иметь возможность описать их взаимодействие на высокоуровневом языке, чтобы встроить этот алгоритм в алгоритм обработки получаемых с сенсора данных. Интерфейсы пока не определены, нам был продемонстрирован некий прототип, скорее направление работы, которая должна вылиться во что-то внятное к SIGGRAPH 2010.

Результатом должна стать свободная платформа управления фотографическим оборудованием и результатами съемки, которая будет опубликована на www.opensourcecamera.org. Ключевое слово здесь "будет", потому что сейчас на этом сайте блог, несвязанный с проектом, но о передаче домена договорились. Впрочем, было бы все так хорошо...

Пока что имеющийся объем кода позволяет делать некоторые обнадеживающие эксперименты. Например, видоискатель с широким динамическим диапазоном. На имеющейся франкенкамере с 5Мп камерой удается сделать видоискатель с частотой 15 кадров в секунду с автоматическим выравниванием динамического диапазона. Замечу -- не перетонировка после съемки, а прямо в живом видоискателе. Работает неплохо, хотя код совсем неоптимизирован под платформу -- голый C, никаких оптимизаций под использование возможностей Neon или DSP.

Следующий шаг, обещанный Марком Левоем -- поддержка N900 в качестве платформы для начинки Camera 2.0, чтобы можно было расширить круг исследователей и разработчиков хотя бы в трех из пяти областей вычислительной фотографии, которые профессор обозначает в качестве целевых. Две оставшиеся требуют модификации оптического или регистрирующего трактов. Надеюсь, к началу 2010 у нас будет о чем говорить.

И еще интересный момент. В Стенфорде 96 франкенкамер были объединены в многокамерный массив и использовались для съемки с последующей программной перефокусировкой получившегося многомегапиксельного изображения. Две главные проблемы, возникшие в рамках этого проекта -- как гарантировано быстро передавать данные между камерами для обработки, а также как добиться стабильности оптической системы. Даже объективы из одной партии обладали такой разбежкой в качестве сборки и оптики, что потребовалось разработать новые алгоритмы борьбы с бликами и прочими подобными артефактами. В результате, докторская диссертация Эдди Талвалы получилась вовсе не о Франкенкамере, а о борьбе с засветками.

На вопросы публики, что же реально влияет на качество картинки, профессор ответил просто: "Влияет всё. Но если у вас плохая оптика, то ничего не спасет." Так что первый вопрос, который был направлен профессором нам, звучал так: "Можно ли в N900 заменить оптику на внешнюю?" Конечно, какой-либо стандартный байонет из мира DSLR в N900 отсутствует, но умельцы профессора явно не остановятся перед препарированием пациента. Впрочем, у нашего пациента и штатный объектив не такой уж плохой -- он лучше N95. Весь вопрос в последующей обработке.

Maemo Summit 2009

Fri, 25 Sep 2009 17:16:26 GMT

В субботу, 10 октября, на Maemo Summit мы с Jussi Rautio будем рассказывать об обработке многопиксельных изображений на Maemo. Точнее, что есть сейчас с камерой и обработкой изображений во Фремантле и что мы хотим сделать в Maemo 6. Комнатку нам дали самую маленькую (25 человек) и вообще это будет BoF, но лиха беда -- начало.

Если вдруг вы будете в это время в Амстердаме и вас не интересуют обзорные рассказы о Rygel, Mer и адаптации приложений GNOME, добро пожаловать в аудиторию 770.

http://wiki.maemo.org/Maemo_Summit_2009/Schedule

EPIC WIN!

Mon, 14 Sep 2009 14:21:21 GMT

Sat, 12 Sep 2009 17:49:24 GMT

Инфобанк, финский государственный ресурс для иммигрантов, существенно обновил свое содержимое 7 сентября. Теперь доступна информация на 15 языках, а русский раздел стал настолько информативен, что в него можно спокойно отправлять желающих узнать подробности о переезде.

http://www.infopankki.fi/ru-RU/home/

А мы после долгого перерыва снова нанимаем: http://bit.ly/12RmDo

Из рабочего

Thu, 10 Sep 2009 14:11:48 GMT

"Unfortunately, I am going to spend my vacations in Siberia next three months."

Вот это ссылка! vitaly_repin, ты там аккуратней, не надо ходить по стопам декабристов!

Onedotzero

Fri, 04 Sep 2009 17:06:10 GMT

И еще одно видео с N900, на этот раз используемой в качестве пульта управления трехмерной арт-инсталяцией на начинающемся на следующей неделе фестивале Onedotzero. Трехмерные объекты инсталяции нарисованы из сообщений Твиттера, Facebook и других социальных сетей, отобранных по ключевым словам, которые задаются с пульта управления. Пульт (N900) также используется для навигации в полученой структуре -- в команды для пролета виртуальной камеры преобразуются сигналы акселерометра и нажатия на экране.

Смотрите сами:

onedotzero interactive festival identity - preview from onedotzero on Vimeo.

Чемпионат фейерверков

Fri, 04 Sep 2009 14:05:10 GMT

Небольшой ролик со вчерашнего чемпионата фейерверков в Хельсинки:

Записывал коллега с N900, я решил не возиться и просто смотрел.

Демо камеры и обмена изображениями в N900

Fri, 04 Sep 2009 08:21:21 GMT

В небольшом видео от TheNokiaBlog -- квитэссенция то, что наша команда делала для N900:

В ролике участвуют: камера (фото и видеозапись), просмотр изображений, посылка сообщений в социальные сервисы и API для интеграции внешних служб. В данном случае клиент для Pixelpipe не присутствует в стандартной поставке, его на основе нашего API делали в самой Pixelpipe. Так что картинки и видео можно будет отправлять в более чем сотню различных социальных сервисов.

Вчера в Хельсинки был чемпионат Финляндии по фейерверкам и салютам. Один коллега записал несколько видео (темнота, вспышки салютов) с N900. Ближе к вечеру выложу.

История повторяется трижды

Mon, 31 Aug 2009 13:48:55 GMT

Вот так:

August 27, 1999: Nokia announces Linux-based touchscreen internet cellular device >> http://press.nokia.com/PR/199908/776321_5.html
August 27, 2009: Nokia announces Linux-based touchscreen internet cellular device >> http://www.nokia.com/press/press-releases/showpressrelease?newsid=1337594

Ждем 27 августа 2019?

Maemo 5 / N900

Thu, 27 Aug 2009 13:59:53 GMT

Я хоть и присоединился в последней трети строительства, но свои седые волосы заработать успел и теперь всем остальным можно наслаждаться -- не седыми волосами, пока только картинками и роликами, а потом и самим продуктом: http://maemo.nokia.com/

Демонстрация будет на Nokia World на следующей неделе, а до того времени сайт http://maemo.nokia.com -- основной источник информации.

Письмо счастья

Tue, 11 Aug 2009 19:42:38 GMT

Прелестное письмо от интернет-магазина:

Your CDs have been gently taken from our CD Baby shelves with sterilized contamination-free gloves and placed onto a satin pillow. A team of 50 employees inspected your CDs and polished them to make sure they were in the best possible condition before mailing. Our packing specialist from Japan lit a candle and a hush fell over the crowd as he put your CDs into the finest gold-lined box that money can buy. We all had a wonderful celebration afterwards and the whole party marched down the street to the post office where the entire town of Portland waved "Bon Voyage!" to your package, on its way to you, in our private CD Baby jet on this day, August 11, 2009. We hope you had a wonderful time shopping at CD Baby. In commemoration, we have placed your picture on our wall as "Customer of the Year." We're all exhausted but can't wait for you to come back to CDBABY.COM!!

Thank you, thank you, thank you!

Понятно, что достаточно было сказать, что посылка отправлена. Однако вот такие мелочи заставляют вернуться через некоторое время. Кроме того, где еще можно купить диски независимых музыкантов?

Географическая глобализация

Mon, 10 Aug 2009 14:03:27 GMT

"В том числе, через российско-литовскую границу в страну поступают товары из Китая – транзитом из Финляндии, где они перегружаются на автомобильный транспорт для последующего ввоза в Россию." (gzt.ru)

Понедельник начинается в ...

Thu, 06 Aug 2009 20:56:52 GMT

Первый раз я почувствовал всю мощь Стругацких я совсем не в момент чтения и перечитывания великолепных произведений. Стругацкие растворили меня полностью и без возврата в Саудовской Аравии пять лет назад. Именно влиянием арабского календаря -- приехав поздно вечером в пятницу и выйдя на работу в первый день недели, субботу, -- обязан я безвозвратной любви к деталям слов и тонких смыслов.

Нет, и до этого были откровения, но их можно рассматривать как открытия кабинетного ученого, вдруг нашедшего забытое богом племя в расселине вулкана на открытом и успешно закрытом удаленностью от торговых путей хрупком островке в Тихом океане, нашедшего их в двух строчках корабельного журнала капитана бог весть какого флота какой империи.

Когда жесткая реальность понедельника, начавшегося в субботу, и накатившейся пятницы-среды в конце той недели принесла первый седой волос, смысл работ Кристобаля Хозевича Хунты стал мне близок и понятен.

Сегодня я в очередной раз осознал, что работаю в НИИЧАВО. Отдел малой памяти, отдел прикладного множества, отдел (не)стабильности системы, отдел ... ЧАВО в полный рост, даже результаты как у Христобаля Хозевича -- мы тоже доказали. что смерть отнюдь не является непременным атрибутом жизни (приложений), а сейчас ищем Белый Тезис, совсем как Бен Бецалель.

И дубли у нас есть. Они, правда, совсем неполезные, а только осложняют работу, отнимая время, но это дело такое... В конце концов, если выбирать из совещаний и дублей, я бы выбрал дубли. Или лучше сосредоточиться на матрикатах?

Одно я не могу пока понять. Если в НИИЧАВО был заведующий отдела Технического Обслуживания, то неужели lvader был в прошлой жизни Саваофом Бааловичем?