Data Analysis

データ分析について語ります。

2022-10-01から1ヶ月間の記事一覧

クラウドファースト、という言葉に潜むダブルスタンダード性

自分をよく知っている人、と思っていた人から、クラウド否定派なんですか?と聞かれました。その人に比べたらだいぶクラウド利用しているんですが…知ってるやろ、と思わず突っ込みたくなりました。クラウドは基本肯定派ですし、普通の人よりは活用してる方だ…

DXという多大なる見栄の代償、という笑えない話

DXという御旗のもと、数多くの方がDX化に向けた取り組みをされていると思います。無理やりやらされている方はご苦労様です。 企業利益を減らし続ける罪悪 久々に、日本にもましなことをいう人がいるな、と思った記事がありました。 DXしているぜ! という多…

AIは人の仕事を奪うか?それとも寄り添うのか?

AIが人の仕事を奪うと話がよく聞かれます。果たして、どうなのか。 AIは人を超えるか? シンギュラリティという言葉をご存じですか?技術的特異点(En: Technological Singularity)とも言われ、発明家にして思想家のレイ・カーツワイルがAIの技術的成長が指数…

分析プログラムもAIが書いてくれる世界が来る、かも。

ちょっと、いつもと違う話題を。 データ分析をしていると、分析コードは多かれ少なかれ、書かないといけませんね。少し前に、「プログラマはAIに駆逐される職業」みたいな話がありましたが、それが少し真実味を帯びるようなソリューションが出てきました。 A…

SQCからビッグデータ分析に移行します、は止めた方が。ビッグデータ分析も活用してます、がよろしいかと。

量産工程を担当されている方から、「SQCは止めて、ビッグデータ分析に移行したいです」というご意見を伺うことが多いです。「止めといた方ですよ」と答えます。 それぞれ得手不得手があり、SQCとビッグデータ分析を並行して、もしくはSQCを強化するためにビ…

AIを工程の制御に活用することの功罪、あなたは責任を取れるでしょうか?

自動運転で事故を起こしたら、誰の責任か 考えたことありますか?(以下、人とでてきたら「人や会社」と読み換えましょう) 自動運転のソフトを作った人、それに学習させたデータを取得した人・学習させた人、そのシステムを承認した人、車を作った人、それを…

DX時代のアプローチはデータドリブンかと。「まずデータを見る」に変えていきましょう。

"DX時代の働き方をつくりだしなさい" なんて言われている方多いと思います。とはいえ、難しいですよね。今の業務をデジタル技術で変革する、どうやって?というのが本音のところかもしれません。 まずはこれですかね、RPA RPAとはRobotic Process Automation…

製造工程のDX 単なるデジタル化で終わってませんよね?

製造業や製造工程におけるDXを再考してみます。 日本では、特に製造業では、いまだに根強く単にデジタル化(電子化)しただけで、DXしてる、と喜んでいる人々のなんと多いことか…。困ったものです。 DXとは 最近よう聞きますね、DX。デジタルトランスフォーメ…

ビッグデータ分析ではヒストグラムより密度曲線のほうがオススメ

ヒストグラム(En: histogram)は度数分布図ともいわれ、データ分析にはなくてはならないツールの一つですね。一目でデータの分布が分かります。朗報としては、Big Dataでも破綻しにくい特性を持っています、が…。 ヒストグラムは要注意 Big Dataでは使わない…

ビッグデータ分析で陥りがちな海苔みたいな残念なグラフ

Big Dataでこういう海苔グラフはNG Big Dataを扱っていると、従来の手法ではいろいろうまくいかないことがあります。 例えば、こういうグラフ。 これ、とあるデータ(10万点の正規乱数)を単純に表示する数だけ変えてプロットしたものです。x軸でどのくらいの…

68–95–99.7則の罠、ビッグデータ分析には思わぬ落とし穴が…

68–95–99.7則、知ってないといけない大原則 68–95–99.7則(En: 68–95–99.7 rule)ご存じですよね。おさらいですが、 ±1σの範囲に68%±2σの範囲に95%±3σの範囲に99.7% のデータが存在している、という経験則です。σ:標準偏差(正規分布の、例えば平均から両側σま…

ビックデータ分析はロバストで行こう、平均さえ気を付けないと危ないかも

ロバストとは ロバスト(En: robust)は、堅牢な、頑強な、強靭な、みたいな意味の言葉です。 古典統計(というと怒られるかもしれませんが、データサイエンスに比べた従来の統計学、と取ってください)では、サンプリングが基本です。なので、外れ値みたいなも…