arutema47's blog

書いたり書かなかったり。

10 computer vision papers I enjoyed reading in 2019.

10 computer vision papers of 2019.

I would like to list my 10 computer vision papers I enjoyed reading this year. The papers are picked from favorites from Mendley app (great app!).

The papers are picked from my opinions, which I think many of these papers will become the mainstream of computer vision researches.

I would like to list some reasons why I picked these papers..

Paper list

Reasons I picked the papers.

Object as points (CenterNet)

f:id:aru47:20191230173913p:plain
before and after nms

As shown in the figure, suppressing all the predicted binding boxes to the final prediction was a pain in the xxx in object detection tasks, and had been the accuracy and speed bottleneck. Tuning the nobs of NMS thresholds was a lot of pain; everybody knew that, but not many techniques were proposed to fix this.

f:id:aru47:20191230162202p:plain
centernet

The authors came up with a simple and elegant idea, to simply regress the objects as center points. Without NMS, the proposed Centernet achieves state-of-the-art accuracy. Center-regression may become the mainstream of object detection task; this technique is efficient in software (fewer tuning parameters) and hardware (easy to multi-process).

Also a similar idea was proposed in the paper CornerNet, and Centernet uses a lot of techniques proposed in the cornernet paper (preprocessing, loss calculations). While CornerNet predicts the two edges of the binding box, CenterNet predicts only the binding box center point, which makes the entire network simpler.

Where is my mirror?

f:id:aru47:20191230162121p:plain
mirrornet

Detecting mirrors was an open problem in computer vision: mirror causes unintended predictions in LiDARs and may cause false alarms in self-driving tasks!

This paper 1) constructed a large scale dataset of mirrors and 2) proposed MirrorNet (straight forward..) which can segment mirror regions within an imaging space with high accuracy.

This helps the robot and self-driving engineers since mirror detection was a big problem.

Learning to see in the dark

f:id:aru47:20191230162600p:plain
learn

Can we fix under-exposed images with Deep Learning techniques? The authors proved that it can be done, with surprisingly high quality. The network itself is simple (U-net like), but the question they tackled was very interesting.

EfficientNet, EfficientDet

f:id:aru47:20191230163210p:plain
en

These two papers crashed the state-of-the-art race of image classification and object detection tasks.

The key methods they use in the paper are quite simple (resolution scaling, search-space efficient NAS, better FPN), the combined accuracy increase was huge. The papers are easy to follow and the experiments are conducted in a very nice way; a must-read for all researchers!

These methods are computationally efficient, and I see them being used in many competitions in Kaggle.

Point Pillers

f:id:aru47:20191230163649p:plain
pp

3D object detection with point clouds was somewhat chaotic in 2018: many new techniques were being proposed at CVPR, but many were useless.. It was similar to back then when people worked on weird CNN or Relu layer modifications and none seemed to be working.

I liked the idea of Pointpillars, which encodes the point cloud information as pillars, and then convert it to a multi-channel 2D image. The object detection task itself is conducted via 2D, and successful object detectors like SSD and frcnn can be used.

This 3D-2D fusion click for me, since 3D object detectors had a very bad accuracy compared to 2D detectors, but point cloud encoders like pointnet had a good performance.

Shabuway

しゃぶうぇいとは

f:id:aru47:20191104223151p:plain
shabu
某サンドウィッチチェーンをもじったくっだらない店名のしゃぶしゃぶチェーン店がシリコンバレーバレーにはある(そしてとても美味しい)。嘘が真かはわからないのだが、しゃぶしゃぶは炙るときに肉の油が湯に溶けるためとてもヘルシーな料理らしい。真意はわからないがシリコンバレーの名だたるエンジニアがそういうならそうなのだろう。

American Kobe Beef!?

アメリカの牛肉は美味しく安く、それがしゃぶしゃぶに合わないはずがない。ここでは驚きのAmerican神戸牛が食べられる。もう何を言っているかわからないのだが神戸牛と言われたら神戸牛なのだろう。(またAmerican和牛beefも食べられる。)

アメリカではKobe beefはなぜか一般的で大抵のステーキ屋で食べられる。そしてしゃぶしゃぶで食べるとかなり美味しい。ホンモノを食べたことないので本家と比べたパフォーマンスは不明だが。。しゃぶしゃぶ肉は専用の機械でスライスしており、それも食べる直前でスライスするため新鮮である。

まとめ

とても良いコストパフォーマンスで美味しいしゃぶしゃぶが食べれるお気に入りのお店である($20くらい)。チェーン数も多いため、ググれば近くにお店が見つかるのではないだろうか?ちなみにゴマダレやご飯はお替りしたら無限に食べられる。infinity riceの完成である。

Impossible Burger

シリコンバレーのテクノグルメ

シリコンバレーグルメの中でも日本で味わえないレストランの一つにインポッシブルバーガーがある。イーロンマスクも投資したImpossible Foodのレストランである。

不可能なハンバーガー

この店名は直訳すると”不可能なハンバーガー”。これはどういうことだろうか?

f:id:aru47:20191104222817p:plain
burger

彼らはビーガン用のハンバーガーを提供しているフードチェインである。ビーガン向けということは動物の肉、魚、乳製品、そして卵を全く使わずに料理を作っているということである。ビーガン食はこれまである種精進料理のような質素で健康的なイメージがあり、ハンバーガーのような食べごたえのある食物を作ることはまさしく不可能と言われてきた。

この不可能を実現したのがインポッシブルバーガーである。彼らのハンバーガーは肉汁滴り、とても食べごたえのある、上等なハンバーガーそのもの。これを肉や卵など一切使ってないというので食べた人は皆”こんなの肉を使っているに決まっている、実現不可能だろう!”と思う一品である。(言われないと普通の肉としか思えないのだ。)おそらく大豆の肉を高度な加工をして実現している。。と思われる。

ぜひシリコンバレーに来たらインポッシブルバーガーを食べて不可能を可能にしたバーガーを体験していただきたい。

海外を目指す若者たちへ。

海外を目指す若者たちへ。

私は2017-2018年の間スタンフォード大学に客員研究員として一年間留学していました。海外を目指す若者たちへ、海外留学や就職のススメとして本稿を寄稿します。 実際シリコンバレーという名前はよく聞くものの、どんなところか具体的なイメージは付かないものです(私も留学前はよくわかりませんでした)。スタンフォード大に研究員として一年このエリアで過ごし、ちょっとわかってきたのでコラムに書かせて頂きます。そして何故シリコンバレーが世界中の若者の憧れの地なのか、そして何故この文章を読んでいるあなたも目指すべきなのかという視点でも文章を書かせていただきます。本稿を読むことでシリコンバレーを身近に感じ、将来のキャリア目標の一つとして考えるという人が一人でも増えたら幸いです。

なぜスタンフォード大に留学したのか?

私はスタンフォードに先端のAIシステムを学び、研究するために留学しました。元々はハードウェア畑の人間であり、そもそもソフトウェア(SW)やAIなどは分野外です。ただハードウェア界隈ではこの十年ほど大きな技術革新がなかった一方で、SWやAIでは大きな変革が立て続けに起こりその学会の盛り上がりが異分野の私にも聞こえてくるほどでした。ディープラーニング等でブレイクスルーしたAIの進歩がどこまで行くのか興味があり、業務外で機械学習やニューラルネットの勉強をはじめました。そして留学する機会を会社から頂いた際には自分の本流分野であるハードウェアではなく、コンピュータサイエンス分野の教授のグループに行くことを希望し無事にスタンフォードの教授にも受け入れてもらえました。

しかしAIを研究している環境は日本にも多くあるのに何故海外に出る必要があったのでしょうか?材料、メカ系など日本のお家芸分野を除き、AIやソフトウェアなど現状のホットな技術は圧倒的に海外(特にアメリカと中国)が強く日本のプレゼンスはほとんどありません。例えばNeurIPSといったAIのトップ学会では日本から出ている論文数を全て足しても、スタンフォード大から出ている論文数に及ばないという厳しい現実があります。(もちろん本数が最重要というわけではありませんが。。)もちろんAIやソフトウェアでアメリカが強いのは最近に限った話ではないですが、問題はAIとSWが今後の社会で一番重要な技術になろうと(または既になっている)している点です。そのような日本との技術ギャップがあるため、留学して最先端の知識や人材と触れあえることは最大のメリットであると思います。

また留学し研究室の友人と築いた人脈(または友情)は一生モノです。(元)スタンフォード生が日本に仕事や旅行で来た際は観光名所などを案内したりご飯を一緒に食べながら貴重な業界動向や昔話を語らうことができます。特にテレビ番組のテラスハウスの話題は盛り上がります。。笑

シリコンバレーについて

それではシリコンバレーという街自体の簡単な紹介をさせてください。どのような特徴があって何故憧れの地となっているかという視点で話せれば、と思います。

夢とテクノロジーの街

シリコンバレーと呼ぶ地域(現地ではベイエリアと呼称)にはこれでもかというほどトップIT企業の本社やオフィスが詰め込まれています。特にAppleやGoogleの本社は敷地近くまで部外者でも入れるため、半ば観光名所となっています。

またこの辺りの道路を走っていると目につくのが自動運転車です。渡米前は自動運転が実用化されるのは10年も先の話・・と考えていたため隣の車線に自動運転車が止まったと時の驚きは忘れられません。(一年滞在した今ではすっかり見慣れたものとなってしまいましたが。。)現カルフォルニア州法では運転手が同乗しなくてはならず有人ですが、そう遠くないうちに無人になるのではないでしょうか。

日本の公道にも自動運転車が走るという日が早く訪れてほしいですね。

日本のX倍の給料? 

よくアメリカやシリコンバレーは給料が非常に高い一方で日本の企業は低い(略)という記事を最近よく目にします。確かにシリコンバレーのエンジニアの給料は非常に高く、博士新卒が年収2000万円以上のオファーを受けるという話も珍しくありません。特に現在ソフトウェアエンジニアのお給料は法外で、ソフトの研究をしていればよかったと研究室の学生と軽口を叩きます。

ただおいしい話には裏があるものです。

まずシリコンバレーはアメリカ1位、2位を争う物価の高さであり、特にシリコンバレー近辺の家賃は(自分が今住んでいる)川崎市の3-4倍の相場です。また製品開発中止に伴うレイオフ(集団解雇)も身近であり、ある日出社したらダンボールを渡されチームごと解雇。。というドラマのような話も聞きます。このような事情を考えると高額な給料には一定のリスクがあることがわかります。

なぜここまでシリコンバレーは発展?

綺麗なオフィスビルや高額な給料に目を取られてしまいますが、結局は優秀な人材を引き止める・惹きつけるための手段なのではないでしょうか。スタンフォード大やシリコンバレー企業の研究機関は凄まじいアウトプットを出しているが、原動力となっているのは世界中から集まった優秀な人材です。給料だけではなく様々な要素で人材を引きつけようとしています。例えば高名な研究者を広告塔に、盛んな学会発表を行うなど各社計算高くやっています。

なぜアメリカ、シリコンバレーで働くべきか?

技術を極めたい場合

前述したとおり、SWやAIの技術、研究レベルは海外の方が高いです。やはり技術は優秀な人材やマネジャーに囲まれた方が伸びやすいものだと思います。そのためエンジニアや研究者としてキャリアを一歩進めたい、技術を極めたいというならば海外へ出るのは良い決断だと思います。

技術を高く売りたい場合

一部ベンチャーを除き、日本企業は年功序列であなたがいくら優秀で世界に戦える技術をもっていたとしても、あなたに払う給料は会社に長くいる人達より少ないのが多いでしょう。

一方でFacebook CEOのマーク・ザッカーバーグは"ソフトウェア技術者は30歳でピークを迎え、技術力はそこから段々下がっていく”、と言っています。そのためあなたが若く優秀であれば老人たちよりはるかに高い給料(大学卒でも優秀であればソフトウェア技術者であれば3000万円以上)を稼ぐことができるでしょう。もちろんそのようなトップ企業への入社のハードルはとても高いですが、自分の腕一本で億万長者を目指すアメリカンドリームには文字通り夢があります。

一方で日本の年功序列も良いところはあり、安定した収入と雇用が保証されるというのは精神的にも人生設計的にも大きなメリットがあります。アメリカでは技術の流行り廃りが起きるため定期的にレイオフ(集団解雇)が行われるため、そのリスクを常に念頭に立ち回らないといけないというプレッシャーがあります。どちらも一長一短ですね。

(備考)ビザ戦略

アメリカにおいて就業ビザ(H1Bといったワーキングビザ)を得ることは入社試験を突破することと並び日本からの若者を悩ませる種だと思います。実際日本から来てアメリカで働いている友人の多くもビザ取得課程で苦労していました。

日本にいるとあまり意識することはないですが、アメリカで仕事をするためにはワーキングビザという許可証が必要です。トランプ政権になってからこのワーキングビザを得るのは年々難しくなってきています。もし日本の大学を卒業し、アメリカで働くならば流れとしては1)面接を突破し、入社する企業が決定→2)ビザ取得→3)渡米というステップです。しかしながらワーキングビザを取得するには運も必要で、会社が手配してくれる弁護士の優秀さや推薦文がどれくらい手に入るかなどで取得までの年数が変わってくるかと思います。(大きな会社であれば大抵問題はないらしいですが。。せっかく入社が決まってもビザが決まらないのはつまらないので自身でよく調べたり、インタビュー時に渡米した際に周りのビザ取得者からアドバイスをもらっておくのをオススメします。(留学など収入を得ない長期滞在のビザ(J1,F1)はすぐに降りるので安心してください。)

Dish'n Dash シリコンバレー中東料理のススメ

What's Dish'n Dash?

シリコンバレーに来たら是非挑戦したい中東系レストランの"Dish'n Dash"。

これはSunnyvaleにある予約必須店"Dish Dash"の廉価版。

といっても味のクオリティはかなり高い。

個人的には何を頼んでも美味しく、日本人好みの味なんじゃないかと思っている。

定期的に食べたくなる味。値段も$15くらいと安いので気軽にいける。

イスラエル系のOrremans Hammasも流行ってるが自分はDish'n Dash派。

高級な"Dish Dash"

https://www.yelp.com/biz/dishdash-sunnyvale Wow, 4.5 stars in Yelp :)

予約必須なためwalk-inしないほうがいい(超待たされる)。前日で十分予約取れます。

美味しいんだけどちょっと高いかなあ、という印象だった。 デートで来てる人も多かった。

場所

f:id:aru47:20181112055121p:plain 店舗はSunnyvale, San Jose, Cuppertinoと三店舗ある。 San Jose店とCuppertino店には行ったがどちらも雰囲気は似ている。 昼時に行っても座れなくて待つということはない。

Yelp

https://www.yelp.com/biz/dish-n-dash-sunnyvale

料理

f:id:aru47:20181112054948j:plain

★★★★★ Five stars :) 毎回ノリで頼んでおり、何を頼んだかちゃんとログを取っていなかった。

中東系の料理ってどんな味?と表現しようとしても味自体が日本語で存在しないため、何とも言い難い。 毎回"なんだかよくわからないが美味い!"という頭の悪い感想になってしまう。

それでも定期的に行きたくなる不思議な魔力を持っているのが"中東系"料理であり"Dish'n Dash"なんだと思う。

日本にも支店をオープンしてくれたら通うんだけどなあ。。

Menu

f:id:aru47:20181112055931p:plain

  1. Rice or Salad

  2. Mainの料理

  3. サイド

の順で選び定食?を完成させる。

Riceは黄色の米で結構イケてサラダもグリーンサラダで美味しい。

メインはChicken Shawarma(鳥のケバブ的なもの)が基本でラムケバブやFalafelなどどれもハズレ無し。

これらをいくらでも付けられるソース(ヨーグルト、バジル、チリなどなど)をつけながら食べる。 ソースの種類も多く飽きが来ない。

lastly..

と書いてたらまた行きたくなった。。笑

シリコンバレーを訪れる機会があれば、なんだかよくわからないけど美味しいという不思議な気持ちになる中東料理に是非チャレンジしてほしい。

Orenchi Ramen "Tonkotsu base" Five stars!

 

f:id:aru47:20181112053827j:plain

ホーム感あふれる看板で出迎えてくれるOrenchi Ramen.

読める人いないんじゃww

 

寂れたショッピングセンターの一角にあります。

日本州あふれるけど店内のお客様はほとんどnot-japanese。

 

f:id:aru47:20181112053832j:plain

 

店内のwaiting space.

f:id:aru47:20181112053240p:plain

Credit: Yelp

 

Yelp:

https://www.yelp.com/biz/orenchi-ramen-santa-clara-2

4 stars.

 

混雑:

日曜昼に到着(12:30くらい?)

店内のwaiting spaceはいっぱいでwaitlistに記入後に三十分ほど近くのスーパーをぶらぶら。

店内でも待ち、合計で45分位待ったかな?シリコンバレーラーメン屋の中では一番待たされた記憶!

 

 

f:id:aru47:20181112053006p:plain

 

感想:

★★★★★

I give it a five star!

大好物な"コッテリ系"豚骨!

油が浮くくらいのスープはOrenchiでしか食べられない。。笑

 

しつこすぎずスープは美味しく飲めるくらいと感じましたがこれは個人差があるかも。

コッテリ系が好きな人には超オススメ。

 

長蛇の列ができるということはアメリカ人もコッテリ系ファンが多いんですかね?

あまり関係ないけどアメリカのとんこつラーメンにはだいたいきくらげが付いてくるのがきくらげファンとしては嬉しい笑

 

Ramen Seas "Clam Ramen" Three Stars

Image result for ramen seas

image credit: godfuncgrammic.espressomachinecritics.pw

 

SunnyvaleにあるRamen Seasを訪問。

Sunnyvaleは土曜にfarmer's marketをやっていて楽しいですね。

新鮮な果物や野菜を試食しながら買えるので時間あるときはいってます。

 

Image result for sunnyvale farmers market

image credit: yelp

 

Yelp:

https://www.yelp.com/biz/ramen-seas-sunnyvale

4 stars in Yelp

 

f:id:aru47:20181112033315j:plain

感想:

Clam ramenといってアサリが入ってるラーメンですね。

こんなの見たことない!と思って思わず頼んでみました。

がちょっと豚骨+アサリの風味でスープがぼやけてしまって個人的にはイマイチ。

人気があるメニューらしいので作成ミス。。?笑

自分が貝類苦手というのもあります・・笑

 

Ramen SeaはSunnyvaleで一番人気なので寄ったりしたら是非。