In this article, I want to share my experience of creating illustrations for AirBrush, the popular photo editing app used by over 1.6M people daily. About AirBrush iOS & Android Photo Editor +100M Downloads worldwide +167K 5-Star iOS ratings US #9 in iOS Photo & Video app category Background I had some illustration…

Design systems are an integral part of creating effective and cohesive user interfaces. In this post, I’ll dive into the process of developing a color palette for AirBrush, a digital photo editing app. …

很榮幸今年能夠被邀請參加 2018 金曲獎國際論壇，擔任 6/21 主題: 虛實共構的音樂體驗 講者之一。身為第一線的 AR 音樂內容開發者，我很高興能將這一年多在音樂實境界打滾的經驗分享給喜歡音樂的各位。關於分享內容，我更新了這兩個月的產品開發進度，故與原演講內容略有差異。 首先簡單解釋一下什麼是 VR / AR / MR / XR 區別。 VR (Vi …

This last episode will cover the main experience of Music Everywhere: Augmented Reality Piano Lessons People might ask: “Is Music Everywhere better than a real piano teacher?” “Can I make significant improvement with Music Everywhere?” Or might criticize (Youtube Comments.): “It’s not the right way to learn piano!” “A piano…

This episode will cover Phase 2 of the contest, and mainly focus on the Settings design of the HoloLens with a digital piano. — After our initial application, Microsoft announced we were among its top 10 finalist submissions. This meant we were advancing to Phase 2, for another 4 months of development before final submission to the HoloLens Store. We were excited, but soon filled with worry. …

Winning this contest is a good start for Music Everywhere. I want to share how we prepared for the competition, and review problems we encountered from both the design and team perspectives. The contest had two phases; this episode will cover the first phase: Submit an idea to solve a…

最後一篇終於要談 Music Everywhere 的本體：互動鋼琴課程。有人會問：「Music Everywhere 有比真的鋼琴老師好嗎？」、「使用後我的鋼琴程度會進步嗎？」網路上也有人批評：「用這東西根本學不會鋼琴，只會讓人程度越來越差。」、「鋼琴老師能夠教的知識是無法被取代的」、「要真正學好鋼琴，需花很多時間反覆練習。而這是不對的方法。」 Music Everywhere 幫助在鋼琴學習途徑遇到挫折而停止學習的人，開闢一條新的道路。 Music Everywhere 的執行長 Seth 擁有茱莉雅音樂學院及多年鋼琴教學的經驗。鋼琴學習流程及細節由他全權負責設計。面對眾人的質疑，他說：「Music Everywhere 是幫助在傳統鋼琴學習途徑遇到挫折而停止學習的人，在好玩有趣的環境中繼續學習。我們從來沒想過要取代真正的鋼琴老師，畢竟如果你的目標是成為鋼琴家，找個好老師是不二法門。」

本篇將描述比賽的第二階段的 HoloLens 與電子琴設定設計部分。第二階段為期四個月的開發，之後將軟體上架於微軟 HoloLens 商店經由評審測試、宣布最終結果。得知進前十名決賽名單後，團隊興奮之餘，也開始憂心忡忡⋯⋯ 最大的問題：要怎麼讓評審順利使用 Music Everywhere。 沒錯，最基本的事情竟然是最大的問題。Music Everywhere 使用藍芽傳輸琴鍵的 MIDI 訊號至 HoloLens，讓 HoloLens 知道使用者彈的音符。所以藍芽相容的電子鋼琴是必備品，這也許可以用寄琴的方式解決。那要寄哪種尺寸的琴的呢？88 鍵全尺寸？76 鍵？61 鍵？49 鍵？甚至是 25 鍵？答案是，我們必須對各種不同尺寸做設計。為了瞭解市面上常見的電子琴尺寸，以及其琴鍵大小，我們拿著尺，浩浩蕩蕩地到 Guitar Center 調查，並建立資料庫。 硬體問題看似解決了，那要怎麼引導評審將虛擬 3D 琴鍵 UI 對齊及鎖定在實體的琴鍵上呢？要對齊在哪個琴鍵呢？之前在 CMU、GDC 及 NIME 都是由團隊人員操作，其過程神秘無比，需靠操作者的直覺，隔空調整虛擬琴鍵位置，有時還會找不到 3D 模型，原來是漂浮在隔壁房間。

贏了這場比賽，對於 Music Everywhere 來說只是個開始。我想要分享準備這個比賽的過程，也檢討設計與團隊的問題。比賽分成兩個階段，上篇將會著墨於第一階段：提交一個利用 HoloLens 解決某個問題的想法。 2017年五月底，Music Everywhere 還沒有辦公室，白天我們在咖啡店集思廣益；晚上天氣舒服，就晃到 CMU 某個大樓前庭繼續討論提案。用HoloLens學習鋼琴，創造出更有效率、有趣的學習體驗，是我們破題點。學習音樂永遠有很多問題等待被解決，而我們堅信擴增實境，AR。(或是採用微軟的Buzzword：混合實境，MR。）是未來的解決方案。